Linux服务器如何审计用户操作?命令记录、系统日志与权限追踪

一次线上事故复盘会上,最常听到的三句话是:"这台机器上个月谁改过 Nginx 配置?""当时执行了哪条命令?""日志里查不到了。"前两句是审计能力的问题,第三句通常是日志留存没做好,或者更糟——日志被人为清理过。

操作审计要解决的核心问题是可追溯:谁、在什么时间、从哪台机器、用什么身份、执行了什么操作、改动了哪个文件。这件事单靠 history 是做不到的——它记录不全、可以被清空、也不区分用户。本文按"命令历史 → sudo 日志 → 系统日志 → 内核审计"四层递进,给出一套从能用到合规的完整方案。

一、审计的四个层次与能力边界

层次记录内容存放位置能否防篡改开销
shell 命令历史交互式执行的命令~/.bash_history否,用户可 history -c极低
sudo 日志提权执行的命令,可含 I/O 录像/var/log/sudo.log、/var/log/sudo-io一般,root 可改低
systemd-journal / syslog服务日志、登录事件、sshd 事件/var/log/journal、/var/log/auth.log可配持久化与转发中
auditd 内核审计系统调用级:文件读写、进程执行、权限变更/var/log/audit/audit.log较强,需 root 且留痕自身中高

重要认知:层次越高越权威,但也越重。生产环境的常见组合是"shell 历史做日常便利 + sudo 日志管提权 + journald 集中留存 + auditd 只监控关键文件与目录"。把 auditd 规则开到"记录所有 execve"会导致日志量暴增,需要提前评估磁盘与性能。

二、shell 命令历史加固

默认的 bash history 有三个致命缺陷:不带时间戳、退出时才写入文件(异常退出就丢)、用户可随意清空。用下面这份配置可以全部解决。

# /etc/profile.d/history.sh  (全局生效,对所有登录用户)
export HISTTIMEFORMAT='%F %T %u '          # %u 记录执行该命令的用户名
export HISTSIZE=10000                       # 内存中保留条数
export HISTFILESIZE=200000                  # 文件中保留条数
export HISTCONTROL=ignoredups:ignorespace   # 去重;以空格开头的命令不记录
export HISTIGNORE='ls:ll:cd:pwd:history:exit:clear'
export HISTFILE=~/.bash_history

# 关键一招:每条命令执行后立即追加到文件,避免异常退出丢失
shopt -s histappend
export PROMPT_COMMAND='history -a'

# 只读化,防止用户 unset 关键变量
readonly HISTTIMEFORMAT
readonly HISTFILE
readonly HISTFILESIZE

其中 PROMPT_COMMAND='history -a' 让每条命令执行完就落盘,而不是等 shell 退出。这一条能救很多次"机器重启后历史全没了"的场景。

2.1 把历史同步写入 syslog

上面的方案仍有一个漏洞:history 文件在用户的家目录下,用户可以直接编辑它。更强的做法是把每条命令同时通过 logger 发到系统日志——日志一旦发出,用户在本机就改不掉了(前提是日志已远程留存)。

# /etc/profile.d/history-syslog.sh
# 把当前用户的每条命令实时写入 local6 设施,便于 rsyslog 转发到日志服务器
export PROMPT_COMMAND='RETRN_VAL=$?; \
  logger -p local6.notice "$(whoami) [$$] [$(pwd)] $(history 1 | sed "s/^ *[0-9]* *//") [$RETRN_VAL]"'

# rsyslog 侧把 local6 单独存文件
# /etc/rsyslog.d/command.conf
local6.notice    /var/log/commands.log

# 并转发到集中日志服务器(TCP,带队列缓冲)
local6.notice    @@10.0.9.9:514

systemctl restart rsyslog

# 查看效果
tail -f /var/log/commands.log

注意两点:一是这种方式只覆盖交互式 bash,用 sh、zsh 或脚本执行的命令不会记录,需要在对应 shell 的配置文件里加同样的逻辑;二是它依赖 PROMPT_COMMAND,用户如果覆盖该变量就会失效——对高合规场景应改用 auditd 或堡垒机。

三、sudo 日志:把提权操作看清楚

生产环境应禁止直接使用 root 登录,所有人通过普通账号 + sudo 提权。这样一来,sudo 日志就是最有价值的操作记录。

# /etc/sudoers.d/audit  (务必用 visudo -f 编辑,它有语法检查)
Defaults    logfile="/var/log/sudo.log"
Defaults    log_year                 # 日志中带年份,跨年检索不出错
Defaults    log_host                 # 记录主机名,集中日志时必备
Defaults    loglinelen=0             # 不截断长命令行
Defaults    log_input                # 记录输入
Defaults    log_output               # 记录输出(含终端回显)
Defaults    iolog_dir="/var/log/sudo-io"
Defaults    iolog_file="%{user}/%{host}/%Y%m%d-%H%M%S"

# 语法检查(任何改动前都要做)
visudo -c
visudo -c -f /etc/sudoers.d/audit

配置后,每次 sudo 都会生成一条带会话 ID 的记录和一份 I/O 录像,可以用 sudoreplay 回放:

# 查看 sudo 日志
tail -f /var/log/sudo.log
grep 'COMMAND=' /var/log/sudo.log

# 列出可回放的会话
sudoreplay -l

# 回放某个会话(按日志中的会话 ID)
sudoreplay 1a2b3c4d5e6f

# 只看某个用户在某个时间段的记录
sudoreplay -l user ops fromdate 2024-05-01 todate 2024-05-31

3.1 最小权限授权

审计的前提是"每个人有自己的账号、有限的权限"。ALL=(ALL) NOPASSWD:ALL 这种写法虽然方便,但等于所有人都是 root,日志也只能告诉你"有人干了",无法收敛责任。

# /etc/sudoers.d/webops —— 按命令白名单授权
Cmnd_Alias NGINX_CMD = /usr/bin/systemctl reload nginx, \
                       /usr/bin/systemctl restart nginx, \
                       /usr/bin/nginx -t
Cmnd_Alias LOG_CMD   = /usr/bin/tail /var/log/nginx/*.log, \
                       /usr/bin/journalctl -u nginx

User_Alias WEBOPS = alice, bob
Runas_Alias APPRUN = www-data

# 允许的免密操作(低风险)
WEBOPS ALL=(root) NOPASSWD: NGINX_CMD, LOG_CMD

# 高风险操作需要输入密码(默认 requiretty/需要认证)
%senior ALL=(root) PASSWD: /usr/bin/systemctl restart *, /usr/bin/yum, /usr/bin/dnf

# 以应用身份执行,避免直接用 root
WEBOPS ALL=(APPRUN) NOPASSWD: /usr/bin/php /var/www/site/artisan *

四、systemd-journald 与系统日志查询

journald 是 systemd 系统的日志核心,它的结构化字段让查询比 grep 文本文件精准得多。

# 按服务单元查询
journalctl -u nginx --since "2024-05-01 09:00" --until "2024-05-01 10:00"
journalctl -u sshd -o short-precise -n 200

# 按进程名过滤(跨发行版通用,推荐)
journalctl _COMM=sshd --since today
journalctl _COMM=su --since yesterday
journalctl _COMM=sudo --since "1 hour ago"

# 按 UID 追踪某个用户的所有行为
journalctl _UID=1000 --since "2024-05-01" --until "2024-05-02"

# 按可执行文件路径、PID
journalctl _PID=1234
journalctl /usr/sbin/sshd

# 只看错误级别
journalctl -p err -b
journalctl -p warning --since today

# 实时跟踪
journalctl -f -u nginx

# 日志完整性自检(检测日志是否被改动过)
journalctl --verify

4.1 让 journald 持久化

很多发行版默认把 journald 日志放在 /run/log/journal(内存盘),重启即失。审计场景下必须改成持久化:

# 创建持久化目录(注意权限,systemd-journal 组可读)
mkdir -p /var/log/journal
systemd-tmpfiles --create --prefix /var/log/journal
systemctl restart systemd-journald

# /etc/systemd/journald.conf
[Journal]
Storage=persistent
Compress=yes
SystemMaxUse=4G
SystemKeepFree=2G
MaxRetentionSec=6month
ForwardToSyslog=yes

# 应用配置
systemctl restart systemd-journald
journalctl --disk-usage

# 非 root 用户查看所有日志:加入 systemd-journal 组
usermod -aG systemd-journal ops

其中 MaxRetentionSec=6month 直接决定了日志保留期。等保与多数合规要求通常是不少于 180 天,这里按 6 个月配置;磁盘紧张时应改为转发到集中日志平台,本机只留短期。

五、auditd:内核级审计

前面几层都运行在用户态,root 可以修改或绕过。auditd 工作在内核层,能记录文件被谁、被哪个进程、以什么方式读写或执行,是合规审计的标配。

5.1 规则语法与常用规则

auditd 有两类规则:文件监视(-w)监视指定路径的读写执行属性变更;系统调用规则(-a)监视某类系统调用。推荐做法是用 -w 覆盖关键文件,用 -a 少量覆盖高风险操作。

# /etc/audit/rules.d/hardening.rules

# 1) 删除旧规则,保证规则集干净
-D

# 2) 缓冲区与失败策略(磁盘满时务必让系统停机或告警,不能静默丢日志)
-b 8192
-f 1
--backlog_wait_time 60000

# 3) 账号与认证文件:-w 路径 -p 权限(r读/w写/x执行/a属性变更) -k 关键字
-w /etc/passwd -p wa -k identity
-w /etc/shadow -p wa -k identity
-w /etc/group -p wa -k identity
-w /etc/gshadow -p wa -k identity
-w /etc/sudoers -p wa -k sudoers
-w /etc/sudoers.d/ -p wa -k sudoers
-w /etc/ssh/sshd_config -p wa -k sshd_config
-w /etc/security/ -p wa -k pam_config

# 4) 审计日志自身,防止被悄悄关闭或清理
-w /var/log/audit/ -p wa -k audit_log
-w /etc/audit/ -p wa -k audit_config

# 5) 关键目录变更(系统二进制目录)
-w /usr/bin/ -p wa -k bin_watch
-w /usr/sbin/ -p wa -k bin_watch
-w /etc/cron.d/ -p wa -k cron
-w /var/spool/cron/ -p wa -k cron

# 6) 系统调用规则:记录 root 执行的所有命令
-a always,exit -F arch=b64 -S execve -F euid=0 -k root_cmd
-a always,exit -F arch=b32 -S execve -F euid=0 -k root_cmd

# 7) 记录 /etc 下文件的删除与重命名
-a always,exit -F arch=b64 -S unlink -S unlinkat -S rename -S renameat -F dir=/etc -k etc_change

# 8) 记录用户/组的增删改
-w /etc/passwd -p wa -k user_mod
-a always,exit -F arch=b64 -S sethostname -S setdomainname -k system_mod

# 9) 锁定规则集,防止未经授权的修改(设为 2 后需重启才能改)
-e 2
# 加载规则(推荐用 augenrules,它会合并 rules.d 下的所有文件)
augenrules --load

# 也可以临时加载(重启失效,用于测试)
auditctl -R /etc/audit/rules.d/hardening.rules

# 查看当前生效规则与状态
auditctl -l
auditctl -s

# 服务管理
systemctl enable --now auditd
systemctl status auditd

关于 -e 2:它把规则集锁定,任何修改都需要重启系统,这是防止攻击者关闭审计的有效手段。但它也会给你自己添麻烦——调试阶段先设 -e 1,规则稳定后再改为 2。

六、ausearch 与 aureport 查询

规则装上只是开始,能查才有用。

# 按关键字检索(最常用)
ausearch -k identity -i            # -i 把 uid 翻译成用户名、syscall 翻译成名称
ausearch -k root_cmd -i --start today
ausearch -k etc_change -i --start 05/01/2024 --end 05/31/2024

# 按用户检索
ausearch -ua 1000 -i               # uid
ausearch -ui alice -i              # 用户名

# 按事件类型
ausearch -m USER_LOGIN -i
ausearch -m USER_AUTH -i
ausearch -m SYSCALL -i

# 按文件检索
ausearch -f /etc/passwd -i
ausearch -f /etc/ssh/sshd_config -i

# 按时间
ausearch --start today --end now -i
ausearch --start 09:00:00 --end 18:00:00 -i

# 按登录会话(配合 pam 的 ses 字段)
ausearch --session 42 -i

# 失败事件
ausearch -m USER_LOGIN --success no -i
# aureport:出报表,适合周报/月报
aureport                 # 总览
aureport -au             # 认证报表(谁在什么时候登录、成功/失败)
aureport -u              # 用户行为汇总
aureport -x --summary    # 可执行文件执行汇总
aureport -f -i           # 文件访问明细
aureport -m              # 账号变更报表
aureport -l              # 登录报表
aureport -k              # 按关键字汇总
aureport -t              # 按时间汇总(看高峰期)

# 组合:查看最近一天的所有认证失败
aureport -au --failed --start yesterday

七、日志防篡改与留存

本机日志一定会被有 root 权限的人处理。唯一的解法是实时转发到独立的日志服务器,本机只做缓冲。

# 方案一:rsyslog 转发到集中日志服务器(TCP + 队列缓冲,断网不丢)
# /etc/rsyslog.d/99-remote.conf
$WorkDirectory /var/spool/rsyslog
$ActionQueueType LinkedList
$ActionQueueFileName fwdRule
$ActionQueueMaxDiskSpace 1g
$ActionQueueSaveOnShutdown on
$ActionResumeRetryCount -1
*.* @@10.0.9.9:514

# 方案二:auditd 自带的远程转发(audisp-remote)
# /etc/audit/auditd.conf 或 /etc/audisp/plugins.d/au-remote.conf
active = yes
direction = out
path = /sbin/audisp-remote
type = always
args = 10.0.9.9
format = ascii

# /etc/audit/audisp-remote.conf
remote_server = 10.0.9.9
port = 60
transport = tcp
mode = forward

# 日志轮转:保留 52 周
# /etc/logrotate.d/audit
/var/log/audit/audit.log {
    weekly
    rotate 52
    compress
    missingok
    notifempty
    sharedscripts
    postrotate
        /usr/bin/systemctl kill -s HUP auditd.service
    endscript
}

另外两点补充:时间必须同步,否则跨机日志无法对齐,用 chronyd 统一指向同一时间源,并设为 Asia/Shanghai;日志文件权限收紧,/var/log/audit/ 应为 750、日志文件 640,属 root:root。

八、审计基线落地清单

  1. 全局启用带时间戳的 bash history,PROMPT_COMMAND='history -a' 保证实时落盘。
  2. 把命令历史通过 logger 同步写入 local6,并转发到日志服务器。
  3. 禁止 root 直接登录,所有人走普通账号 + sudo。
  4. sudo 开启 log_input/log_output 与 iolog_dir,保留会话录像。
  5. 按命令白名单授权 sudo,不使用无限制的 ALL。
  6. journald 改为 Storage=persistent,设置 MaxRetentionSec=6month。
  7. 安装并启用 auditd,加载关键文件监视规则与 root 命令执行规则。
  8. 规则稳定后设 -e 2 锁定规则集。
  9. 配置 rsyslog/audisp 远程转发,日志落地到独立服务器。
  10. 配置 logrotate,保留期不少于 180 天。
  11. 所有服务器启用 chronyd 时间同步并统一时区。
  12. 每月跑一次 aureport -au 与登录审计,异常项进入工单。

小结

Linux 用户操作审计不是装一个工具就完事,而是四层能力的叠加:history 提供日常便利、sudo 日志管住提权、journald 汇总服务事件、auditd 提供内核级的权威记录。再配合远程转发和足够长的保留期,才能在真正需要追溯时拿得出证据。

避坑清单:

  • auditd 规则不要一上来就全量记录所有 execve,先评估日志量(可用 aureport -x --summary 观察一周再调整)。
  • 不要跳过 journalctl --verify,它能发现日志是否被改动过。
  • 不要在规则没验证前设 -e 2,否则每次调整都要重启机器。
  • 不要忘了 -f 1(磁盘满时的失败策略),否则日志满了会静默丢弃,你却不知道。
  • 不要只在本机留日志。远程转发是防篡改的唯一有效手段。
  • 不要忽略时间同步,跨机日志时间对不上等于无法取证。
  • 修改 sudoers 一律用 visudo,它有语法检查,能避免把自己锁在系统外。
  • 开启 log_output 时留意:命令输出中可能包含密码等敏感信息,日志服务器侧要有访问控制。
  • 审计日志本身也是敏感数据,访问日志服务器的人同样要有审计。

本文所有配置用于自有服务器的操作审计与合规留存。