Linux服务器如何检查可疑进程?进程树、网络连接与文件路径分析

服务器突然变得很卡、风扇狂转、CPU 长期跑满,第一反应往往是"业务量大了"。但很多时候真正的原因是机器上多了一个不该在的进程——可能是被人塞进来的挖矿程序,也可能是留的后门。这类进程有个共同特点:它们会刻意伪装自己的名字,比如把自己叫成 kworker、sshd、[kthreadd] 这类看起来像系统进程的名字,让人一眼扫过去不会起疑。

这篇文章要解决的是"怎么把可疑进程揪出来"。会从最基础的进程树讲起,一步步教你怎么用 ps、pstree、ss、lsof、/proc 这些工具,把"哪个进程在跑、它在连谁、它从哪个文件启动、它的可执行文件到底在哪"这一整条线索串起来。

读完你应该能独立完成一次进程层面的排查:先发现异常,再确认它是不是恶意的,最后定位到它的可执行文件和持久化手段。文中给出的判断阈值都是经验值,具体要结合你自己机器的正常基线来看。

一、排查思路:从整体到局部

进程排查最忌讳一上来就 top 盯着看半天。有条理的顺序是这样的:

第一步,看整体资源,找到"可疑的消耗大户"——谁的 CPU、内存、连接数明显不对劲。第二步,看进程树,判断它是不是从正常父进程派生出来的。第三步,看网络连接,确认它在和谁通信。第四步,追到文件,找出它的可执行文件和配置。最后,再用文件完整性和审计手段确认它是什么时候、怎么进来的。

这个顺序的好处是每一步都在缩小范围,不会在几千个进程里迷失。

二、用 ps 和 pstree 摸清进程全貌

ps 是排查的主力。日常最常用的组合是 ps aux 或 ps -ef,但在排查可疑进程时,需要额外关注几列:进程的启动时间、启动者、父进程 PID。

# 完整列出所有进程,关注 USER、START、TIME、COMMAND
ps -ef

# 按 CPU 占用排序,把吃 CPU 的排到前面
ps aux --sort=-%cpu | head -n 20

# 按内存占用排序
ps aux --sort=-%mem | head -n 20

# 只看某个可疑用户启动的进程
ps -u www-data -f

很多人不知道 ps -ef 显示的命令行是可以被进程自己篡改的(通过覆盖 argv),所以一个恶意进程完全可以把 ps 里的 COMMAND 列显示成空白或者 sshd。这时候就要换个角度——去看真实的可执行文件路径:

# 直接读 /proc 下每个进程的真实可执行文件链接
ls -l /proc/*/exe 2>/dev/null | grep -v -E "/(usr|lib|bin|sbin)/"

# 更干净的方式:用 pwdx 看工作目录,用 readlink 看 exe

pstree 则从"血缘关系"上帮你看进程:它会以树形展开父子关系,一个孤零零挂在 init(PID 1)下面、没有任何合理父进程的进程,往往值得怀疑。

pstree -p            # 带 PID 显示进程树
pstree -p 1          # 只看 PID 1 以下

正常的服务进程一般有明确的父进程(比如被 systemd 拉起,父进程是 PID 1,但通常在 systemd 下有条目、有对应的 unit),而临时挂载在 /tmp 里的脚本拉起的进程往往父进程已经消失,变成"孤儿进程"挂在 PID 1 下,这是个明显的红旗。

三、可疑进程的几个典型特征

光看资源占用不够,还要结合特征判断。下面整理的是常见可疑信号,都是实战中反复出现的模式。

可疑特征 具体表现 佐证方法
名字伪装系统进程 叫 kworker、[kthreadd] 但带方括号以外字符 用 [...] 区分,内核线程带方括号且无 exe
可执行文件在临时目录 exe 指向 /tmp、/dev/shm、/var/tmp ls -l /proc//exe
CPU 长期接近满 单核或全核 100% 持续 top 持续观察
异常外联 连到陌生公网 IP 和非常见端口 ss -tunp
父进程为 1 且无 unit systemctl status 查不到 pstree、systemctl
启动时间与业务无关 在某次可疑登录后出现 ps -eo lstart,pid,cmd

一个关键的区分点:真正的内核线程在 ps 里是带方括号的,比如 [kworker/0:1],而且它们的 exe 链接是不可读的(内核线程没有用户态可执行文件)。如果有个进程名字叫 kworker 但没有方括号,或者它的 exe 指向一个真实文件,那基本可以确定是伪装。

另外,排查时别忘了关注进程的启动时间。ps -eo pid,lstart,cmd 可以列出每个进程的精确启动时刻,把它和你的运维时间线对照:如果某个陌生进程的启动时间正好落在一次可疑登录之后几分钟,那就是强关联证据。还可以用 systemd 或者 atop、sysstat(sar)这类历史采样工具回溯刚才的资源变化,判断进程是什么时候开始吃 CPU 的。

# 内核线程的 exe 一般是这样的:
ls -l /proc//exe
# 输出:... -> /  (或者是空的,readlink 报权限/无此文件)

四、把进程和网络连接关联起来

挖矿和后门都要联网,所以"哪个进程连着外网"是最有效的线索之一。ss 已经取代 netstat 成为主流工具,加上 -p 参数能直接显示持有连接的进程。

# 看所有 TCP/UDP 连接及对应进程
ss -tunp

# 只看处于 ESTABLISHED 状态的连接(正在通信的)
ss -tunp state established

# 只看 LISTEN 的端口,确认有没有多出来的监听
ss -tlnp

# 有些系统需要 root 才能看到别人进程的 PID
sudo ss -tunp

ss 输出的 users:(("进程名",pid=xxx,fd=x)) 就是关键:把这个 PID 拿去和 ps、/proc 对照,就能确认通信方是谁。凡是连到陌生公网 IP、端口又不在常见范围(如 3333、4444、5555、8080 之外的自定义端口)的连接,都值得深挖。

需要留意的是,挖矿木马连接的矿池端口和 C2 端口换得很勤,单靠端口号黑名单并不靠谱,更有效的是看"这个连接的持有者是不是一个陌生进程"。所以排查顺序通常是先从连接反查进程,再判断这个进程是否正常,而不是先猜端口。对一台正常服务器来说,主动向公网发起的、数量有限的出站连接通常是可枚举的;凡是出现你解释不了的持续性外联,就应该逐个落实。

# 用 lsof 交叉验证:按端口找进程,或按进程找端口
lsof -i :22                 # 谁在监听/连接 22
lsof -p                # 某个进程打开了哪些网络句柄
lsof -nP -iTCP -sTCP:ESTABLISHED   # 所有已建立的 TCP 连接

五、顺着 /proc 找出文件路径和启动参数

确定了可疑 PID 之后,/proc// 目录就是它的"档案室",几乎所有你想知道的东西都在里面。

PID=<可疑进程PID>

ls -l /proc/$PID/exe        # 可执行文件的真实路径(最关键的线索)
ls -l /proc/$PID/cwd        # 进程的工作目录
cat  /proc/$PID/cmdline | tr '\0' ' '; echo    # 完整启动命令
cat  /proc/$PID/environ | tr '\0' '\n'         # 环境变量,可能含 C2 地址

拿到 exe 的路径之后,就可以对这个文件做进一步分析:看它的创建时间、算哈希、丢到沙箱或威胁情报平台比对。很多时候这个文件就在 /tmp/.x/ 或者 /dev/shm 下,名字是随机字符串。

# 找到文件后,先别急着删,先取证
ls -l --time-style=full-iso /proc/$PID/exe
sha256sum /proc/$PID/exe        # 记录哈希
strings /proc/$PID/exe | head   # 粗略看字符串,找 IP/域名

注意:/proc/$PID/exe 是软链接,直接 sha256sum 指向的文件如果进程还在运行是可以读的。如果进程已经退出但文件被删了,可以尝试用 cp /proc/$PID/exe /tmp/recovered.bin 恢复,趁进程还没死透。

六、确认恶意之后怎么办

确认是恶意进程后,处置要讲顺序。直接 kill -9 往往没用,因为攻击者多半留了计划任务或守护进程会自动拉起它。

# 1) 先记录证据:进程信息、连接、文件哈希
ps -p $PID -o pid,ppid,lstart,cmd
ss -tunp | grep $PID
sha256sum /proc/$PID/exe

# 2) 检查持久化:crontab、systemd、rc.local、authorized_keys
crontab -l
ls -l /etc/cron.*/
systemctl list-units --type=service | grep -i -E "tmp|update|kworker"
cat /etc/rc.local 2>/dev/null

# 3) 隔离主机(云上可先解绑公网/改安全组),再停机取证
# 4) 确认清理干净前不要贸然重启,重启可能触发持久化

风险提示:直接删除文件或杀掉进程可能触发攻击者的"自毁"逻辑,也会丢失证据。正确做法是先把机器从网络中隔离(云上改安全组、断公网),保留现场,取证之后再决定是清理还是重装。对生产机而言,一旦确认被入侵,最稳妥的处置常常是"重装系统 + 从可信备份恢复数据",而不是在原地打补丁。

常见问题

Q:ps 里看到进程名叫 [kworker/u8:2],这是挖矿吗?
A:带方括号的是内核线程,属于系统正常进程,不是挖矿。挖矿程序通常伪装成不带方括号的 kworker 或者干脆指向 /tmp 下的文件。

Q:进程 CPU 高,一定是恶意的吗?
A:不一定。先看它的 exe 路径和父进程:正常业务进程的可执行文件在 /usr、/opt 下,有对应的 systemd unit;可疑进程常在临时目录、无 unit、父进程为 1。

Q:ss -tunp 看不到 PID 是什么原因?
A:普通用户看不到其他用户进程的连接信息,需要 sudo。另外若内核或工具版本较老,可能显示不完整,可改用 lsof -i 交叉验证。

Q:可疑进程已经被杀掉又自动起来,怎么回事?
A:说明存在持久化机制。检查 crontab、systemd 服务、/etc/rc.local、/etc/profile.d/ 和 authorized_keys,把拉起它的源头一起去掉。

Q:可以只删掉挖矿文件不重装吗?
A:不建议。运行过恶意程序的系统,rootkit 可能已驻留。生产环境优先重装并轮换所有凭据,除非你有把握做完完整取证和清理。

总结

  • 排查顺序是"整体资源 → 进程树 → 网络连接 → 文件路径 → 持久化机制",每一步都在缩小范围。
  • 识别可疑进程靠组合信号:名字伪装、exe 在临时目录、父进程异常、持续满 CPU、外联陌生 IP。
  • /proc//exe、cwd、cmdline 是定位恶意文件的三把钥匙,ss -tunp 和 lsof 用来关联网络行为。
  • 处置要先隔离、先取证、后清理;直接杀进程往往会被持久化机制自动拉起。
  • 确认被入侵的生产机,最稳妥的做法通常是重装系统加从可信备份恢复,并轮换所有账号凭据。