凌晨三点,监控告警显示某台业务服务器的出口带宽突然跑满;登录上去一看,CPU 被陌生进程占满,/tmp 下多了一个改名成系统进程名的可执行文件。更糟的是,当你尝试修改密码时发现已经没有权限——账号被盗这件事,往往不是通过一封通知邮件发现的,而是通过业务异常倒推出来的。
账号被盗后的每一分钟都在放大损失:攻击者可能在批量外传数据库导出文件、植入持久化后门、以你的服务器为跳板横向移动。本文给出一套可复制的应急处理流程:先做登录审计还原入侵窗口,再切断通道、轮换凭据、清理残留,最后补齐加固措施。全文不涉及任何攻击手法,只讲防守方该做的事。
一、先判断:账号到底有没有被盗
"疑似被盗"和"确认被盗"需要不同的响应力度。盲目重置所有凭据的成本很高(尤其是涉及几十个 API 密钥时),而漏判的代价更高。以下是运维中最常遇到的、可信度较高的异常信号:
- 登录记录异常:
last中出现你不认识的来源 IP、非常用时间段、非常用终端;lastb中出现大量失败尝试后紧跟一次成功登录。 - 行为异常:
history里出现你没执行过的命令,或者历史记录被清空(history -c后文件大小为 0 本身就是强信号)。 - 资源异常:CPU/带宽/磁盘 IO 无故飙升,
ss -lntup出现陌生监听端口,进程名伪装成sshd、nginx、kworker这类系统名。文件权限或属主被改动,/etc/passwd出现未知账号。 - 外部信号:云厂商发来"对外攻击/违规"通知、邮件服务商提示发信被拒、CDN 或 WAF 提示源站异常回源、客户反馈收到来自你们域名的异常邮件。
只要出现上面任意两类以上的信号,就应该按"确认被盗"处理。宁可在事后复盘时发现自己反应过度,也不要在取证时才发现已经错过了最佳窗口。
1.1 应急处理的三条底线
- 不要直接删除账号:删除会同时丢失该账号拥有的文件属主信息、定时任务记录,也会让攻击者察觉。优先用锁定、过期、吊销密钥的方式使其失效。
- 不要只改密码:如果密钥被复制、API Key 被读取、会话仍在线,改密码毫无意义。必须做完整的凭据轮换。
- 保留证据先于清理:在重装系统之前,先把
/var/log、~/.bash_history、可疑二进制文件打包留档(tar czf /root/incident-$(date +%F).tgz /var/log /root/.bash_history),否则事后无法复盘。
二、登录审计:把入侵窗口还原出来
应急处置的核心不是"立刻修好",而是先回答三个问题:什么时候进来的、从哪进来的、做了什么。这三个问题的答案决定了轮换范围和清理深度。
2.1 成功/失败登录记录
Linux 的登录记录由三个文件承载:/var/log/wtmp(成功登录与重启)、/var/log/btmp(失败尝试)、/var/log/lastlog(每个账号最后一次登录)。对应三个命令:
# 最近 50 条成功登录记录,-F 显示完整时间,-a 把来源 IP 放到最后一列
last -n 50 -F -a
# 失败登录尝试(需要 root,btmp 默认 600 权限)
lastb -n 50 -a
# 所有账号最后一次登录时间,重点看 "Never logged in" 之外的陌生账号
lastlog
# 统计失败尝试来源 IP 的 Top 20
lastb -a | awk '{print $NF}' | sort | uniq -c | sort -nr | head -20
# 针对某个可疑来源 IP 精确检索
last -i | grep '203.0.113.77'
判定依据:如果某个 IP 在 btmp 中出现了几百次失败,随后 wtmp 中出现了来自同一 IP 的成功记录,基本可以确认口令被爆破成功。这条时间线就是你的"入侵起点",之后所有的文件改动、新增账号、异常进程都要以它为基准往前后各追溯一段时间。
2.2 系统日志与 journald
wtmp/btmp 只记录登录事件,详细的认证过程要看认证日志。RHEL/CentOS 系在 /var/log/secure,Debian/Ubuntu 系在 /var/log/auth.log;使用 systemd 的系统统一可以用 journalctl 查询,后者还能跨发行版工作:
# 按服务单元查询 sshd 日志
journalctl -u sshd --since "2024-05-01 00:00:00" --until "2024-05-02 12:00:00"
# 按进程名过滤(跨发行版通用,推荐)
journalctl _COMM=sshd --since yesterday -o short-precise
# Debian/Ubuntu 的文本日志
grep -E 'Failed password|Accepted password|Accepted publickey' /var/log/auth.log
grep 'Failed password' /var/log/auth.log | awk '{print $(NF-3)}' | sort | uniq -c | sort -nr | head
# RHEL/CentOS
grep -E 'Failed password|Accepted' /var/log/secure
# 查 sudo 提权记录
grep 'COMMAND=' /var/log/secure
journalctl _COMM=sudo --since today
需要特别注意的是:攻击者登录后第一件事通常是清理日志。如果发现 auth.log 或 secure 在某个时间点前后出现明显的空档,或者 last 输出被截断,说明日志已被处理过——这种情况下只能依赖集中式日志平台或云厂商的操作审计服务来还原。这也是为什么生产环境必须配置日志远程留存(见第七节)。
三、应急第一步:切断通道
在搞清楚完整时间线之前,先把当前的通路掐断,防止损害继续扩大。这一步的操作顺序很重要:先踢会话、再锁账号、再吊销密钥。
# 1) 查看当前所有在线会话 w who -u ls -l /dev/pts/ # 2) 踢掉某个账号的全部会话(先 -TERM 给正常退出机会,再 -KILL) pkill -TERM -u username sleep 3 pkill -KILL -u username # 3) 锁定账号(passwd -l 在 /etc/shadow 密码前加 !,不影响文件属主) passwd -l username usermod -L username # 4) 设置账号立即过期,双保险 chage -E 1970-01-01 username # 5) 撤销 sudo / wheel 组权限 gpasswd -d username sudo gpasswd -d username wheel # 6) 确认锁定生效 passwd -S username # 输出含 "L" 表示已锁定:username L 01/01/1970 0 99999 7 -1
关于 pkill -u 需要提醒两点:一是它只终止进程,不会阻止对方再次登录,所以必须配合锁定账号;二是如果对方已经建立了反向 shell 或守护进程,且该进程由其他账号(如 nobody、www-data)运行,pkill -u username 会漏掉,需要配合 ss -lntup 与 ps 交叉确认。
3.1 网络层面的临时封禁
系统层锁定账号的同时,建议在网络层同步封禁来源 IP,避免攻击者换用其他账号继续尝试:
# ufw(Ubuntu/Debian) ufw deny from 203.0.113.77 ufw reload # firewalld(RHEL/CentOS) firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="203.0.113.77" reject' firewall-cmd --reload # 临时应急(重启失效,适合没有防火墙管理工具的场景) iptables -I INPUT -s 203.0.113.77 -j DROP # 云环境同步在安全组中添加拒绝规则,优先级置顶
四、凭据轮换:改密码只是第一步
这是最容易被低估的一步。很多团队在被盗后改了服务器密码就宣布"处理完毕",但攻击者只要拿到过一次 shell,就已经读取过环境变量、配置文件、数据库连接串和密钥文件。下面是完整的轮换清单,按优先级排列:
| 优先级 | 凭据类型 | 常见位置 | 轮换方式 |
|---|---|---|---|
| P0 | SSH 私钥 | ~/.ssh/id_*、跳板机、CI Runner 缓存 | 重新 ssh-keygen,全量替换 authorized_keys |
| P0 | root / 运维账号口令 | /etc/shadow | 立即修改,长度 ≥16 位随机 |
| P0 | 所有 authorized_keys | 全机搜索,含非 root 用户 | 清空后只写回已确认可信的公钥 |
| P1 | 数据库账号密码 | 应用配置、.env、连接池配置 | 改密并同步更新所有客户端 |
| P1 | API Key / Secret | 环境变量、K8s Secret、配置文件 | 在厂商后台吊销旧 Key 并签发新 Key |
| P1 | 云厂商 AccessKey | ~/.aws/credentials、~/.aliyun、环境变量 | 控制台禁用旧 AK,签发新 AK |
| P2 | JWT / OAuth 签名密钥 | 应用配置、KMS | 轮换密钥并强制全端重新登录 |
| P2 | Web 后台管理员口令 | 业务系统 | 改密 + 强制下线所有会话 |
| P2 | 证书私钥 | /etc/ssl/private、Nginx 配置 | 重新签发并吊销旧证书 |
| P3 | 第三方服务 webhook/回调密钥 | 支付、短信、IM 配置 | 按服务商流程更新 |
4.1 全机 authorized_keys 清理
这是最容易被遗漏的地方。攻击者一旦获得写权限,往任意可登录用户的 authorized_keys 里追加一行自己的公钥,就能永久保留后门,而且你改多少次密码都没用。
# 全盘搜索所有 authorized_keys 文件
find / -name authorized_keys -type f 2>/dev/null -exec ls -l {} \;
# 逐条查看内容,对比指纹是否在你的可信清单里
for f in $(find / -name authorized_keys -type f 2>/dev/null); do
echo "=== $f ==="
ssh-keygen -l -f "$f"
done
# 清空后只写回可信公钥(示例:先备份再清空)
cp /root/.ssh/authorized_keys /root/incident-authorized_keys.bak
: > /root/.ssh/authorized_keys
chmod 600 /root/.ssh/authorized_keys
# 重新签发运维密钥
ssh-keygen -t ed25519 -a 100 -C "ops-2024-rotation" -f ~/.ssh/id_ed25519_new
ssh-keygen -l -f ~/.ssh/id_ed25519_new
判定标准:任何一台生产服务器的 authorized_keys,都应该能对应到一个具体的负责人和一台具体的设备。如果你看到某个公钥的注释是空的、或者是 root@localhost 这种无法追溯的默认注释,就应该先移除,确认无人受影响后再彻底删除。
五、排查残留:持久化与异常进程
账号失效不代表威胁解除。攻击者通常会留下持久化入口,必须在凭据轮换后系统性地排查。
# 1) 计划任务(注意每个用户都要查,不只是 root)
for u in $(cut -f1 -d: /etc/passwd); do
echo "== $u =="; crontab -l -u "$u" 2>/dev/null
done
ls -l /etc/cron.d/ /etc/cron.daily/ /var/spool/cron/
# 2) systemd 定时器与服务单元
systemctl list-timers --all
systemctl list-unit-files --type=service | grep enabled
ls -lt /etc/systemd/system/ /usr/lib/systemd/system/
# 3) 网络监听与进程
ss -lntup
ps -eo pid,ppid,user,%cpu,%mem,lstart,cmd --sort=-%cpu | head -30
# 4) 近期被改动的敏感文件(7 天内)
find /etc /usr/bin /usr/sbin -mtime -7 -type f -printf '%TY-%Tm-%Td %p\n' | sort | tail -40
# 5) 系统文件完整性校验
rpm -Va 2>/dev/null | head -40 # RHEL/CentOS
dpkg -V | head -40 # Debian/Ubuntu
# 6) 检查是否有异常 UID 0 账号与空密码账号
awk -F: '($3 == 0) {print "UID0:", $1}' /etc/passwd
awk -F: '($2 == "") {print "空密码:", $1}' /etc/shadow
# 7) 开机启动脚本与 profile
ls -l /etc/rc.local /etc/profile.d/ /etc/bash.bashrc
grep -rn 'curl\|wget\|base64' /etc/profile.d/ 2>/dev/null
排查要点:rpm -Va 与 dpkg -V 会输出包内文件的校验差异,其中 "5" 表示 MD5 校验不符、"M" 表示权限/属主被改、"T" 表示 mtime 变化。正常的配置修改(如 sshd_config)会出现 5 和 M,这属于预期;但 /bin、/usr/sbin 下的二进制文件出现 5,就是强烈的木马替换信号。
六、恢复服务与加固
清理完成后,按下面的顺序恢复并加固。顺序很重要——先恢复可验证的最小集合,再逐个放开。
- 确认备份可用:检查事件前的最近一次可用备份(含数据备份与系统快照),确认能正常恢复,再动生产环境。
- 决定重建还是清理:如果
rpm -Va/dpkg -V显示系统二进制被替换,或已发现内核级后门,直接重建实例,只迁移数据,不要试图"杀干净"。 - 重建后先配 SSH 密钥登录:设置
PubkeyAuthentication yes、PasswordAuthentication no、PermitRootLogin prohibit-password,密钥是新签发的。 - 收敛 sudo 权限:只授予必要的命令白名单,关键操作保留
log_output审计。 - 接入失败登录封禁:部署 fail2ban 或等效机制,
sshdjail 建议 maxretry=3、bantime=3600。 - 开启多因素认证:SSH 使用
AuthenticationMethods publickey,keyboard-interactive配合 TOTP 模块;云控制台、堡垒机必须开 MFA。 - 网络层收口:SSH、数据库、管理后台只对堡垒机 IP 或办公网出口 IP 放行,安全组与系统防火墙双层配置。
- 恢复业务并灰度观察:先放量一部分流量,观察日志、连接数、错误率,确认无异常再全量。
- 复扫与验证:跑一遍基线扫描(如 Lynis)和端口扫描,确认没有遗留的开放端口与弱配置。
6.1 一个可直接复用的应急时间线模板
| 时间点 | 动作 | 产出物 |
|---|---|---|
| T+0 | 发现异常、确认信号、通知值班负责人 | 事件记录单 |
| T+15min | 日志与内存快照留档、网络层封禁来源 IP | 证据包 |
| T+30min | 登录审计,确定入侵窗口与影响范围 | 时间线表格 |
| T+1h | 踢会话、锁账号、吊销密钥 | 操作记录 |
| T+2h | 凭据全量轮换(P0/P1 项) | 轮换清单签字确认 |
| T+4h | 持久化排查与残留清理 | 排查报告 |
| T+1d | 重建或加固、灰度恢复业务 | 恢复报告 |
| T+3d | 复扫验证、补齐全量凭据轮换(P2/P3) | 验证报告 |
| T+7d | 复盘会、更新加固基线与应急预案 | 复盘文档、待办清单 |
七、事后复盘:把一次性事故变成长期能力
事件处理完不等于结束。复盘要回答的不是"谁的锅",而是"哪个环节本可以拦住它"。常见的高价值改进项包括:
- 日志远程留存:本机日志一定会被攻击者优先处理。把 journald 与 auditd 日志实时转发到独立的日志服务器或云日志服务,保留期不少于 180 天。
- 文件完整性监控:对
/etc、/usr/bin、网站根目录建立基线(AIDE、 auditd 规则均可),改动即告警。 - 凭据集中管理:API Key、数据库口令放进密钥管理服务或 Vault,应用运行时拉取,不要硬编码在配置文件里,这样轮换才不会牵一发动全身。
- 强制密钥登录与堡垒机:所有生产服务器禁止口令登录,统一通过堡垒机访问,操作全程录屏留痕。
- 例行演练:每季度做一次"假设某台机器已被入侵"的桌面推演,检验应急预案是否可执行、联系人是否还有效。
小结
服务器账号被盗的应急处理,本质上是三件事:用登录审计还原时间线、用凭据轮换切断后续损害、用持久化排查确认清理彻底。顺序不能颠倒——没有时间线就不知道该轮换哪些凭据,没有轮换就清理残留,等于一边打扫一边有人继续往里丢垃圾。
避坑清单:
- 不要第一时间删除账号,锁定、过期、吊销密钥更安全,也保留了取证信息。
- 不要只改密码。
authorized_keys、API Key、云 AccessKey 全都要换,这是最常漏的一步。 - 不要在清理前重装系统。先打包
/var/log和可疑文件,否则复盘时无从下手。 - 不要忽略日志缺口。
auth.log出现空档本身就说明日志被处理过,应立即转向集中式日志与云厂商操作审计。 - 不要跳过
rpm -Va/dpkg -V。系统二进制被替换时,清理是无用的,必须重建。 - 不要忘了"下游":被盗服务器能访问的内网服务、能读取的数据库,都要按同等标准排查。
- 时间不同步会让跨机日志无法对齐,务必保证所有服务器
chronyd正常运行并指向同一时间源。
本文聚焦于防守与应急处置视角,所有命令均用于自查、加固与恢复,不涉及任何攻击或入侵手法。
企业QQ咨询




