一次线上事故复盘会上,最常听到的三句话是:"这台机器上个月谁改过 Nginx 配置?""当时执行了哪条命令?""日志里查不到了。"前两句是审计能力的问题,第三句通常是日志留存没做好,或者更糟——日志被人为清理过。
操作审计要解决的核心问题是可追溯:谁、在什么时间、从哪台机器、用什么身份、执行了什么操作、改动了哪个文件。这件事单靠 history 是做不到的——它记录不全、可以被清空、也不区分用户。本文按"命令历史 → sudo 日志 → 系统日志 → 内核审计"四层递进,给出一套从能用到合规的完整方案。
一、审计的四个层次与能力边界
| 层次 | 记录内容 | 存放位置 | 能否防篡改 | 开销 |
|---|---|---|---|---|
| shell 命令历史 | 交互式执行的命令 | ~/.bash_history | 否,用户可 history -c | 极低 |
| sudo 日志 | 提权执行的命令,可含 I/O 录像 | /var/log/sudo.log、/var/log/sudo-io | 一般,root 可改 | 低 |
| systemd-journal / syslog | 服务日志、登录事件、sshd 事件 | /var/log/journal、/var/log/auth.log | 可配持久化与转发 | 中 |
| auditd 内核审计 | 系统调用级:文件读写、进程执行、权限变更 | /var/log/audit/audit.log | 较强,需 root 且留痕自身 | 中高 |
重要认知:层次越高越权威,但也越重。生产环境的常见组合是"shell 历史做日常便利 + sudo 日志管提权 + journald 集中留存 + auditd 只监控关键文件与目录"。把 auditd 规则开到"记录所有 execve"会导致日志量暴增,需要提前评估磁盘与性能。
二、shell 命令历史加固
默认的 bash history 有三个致命缺陷:不带时间戳、退出时才写入文件(异常退出就丢)、用户可随意清空。用下面这份配置可以全部解决。
# /etc/profile.d/history.sh (全局生效,对所有登录用户) export HISTTIMEFORMAT='%F %T %u ' # %u 记录执行该命令的用户名 export HISTSIZE=10000 # 内存中保留条数 export HISTFILESIZE=200000 # 文件中保留条数 export HISTCONTROL=ignoredups:ignorespace # 去重;以空格开头的命令不记录 export HISTIGNORE='ls:ll:cd:pwd:history:exit:clear' export HISTFILE=~/.bash_history # 关键一招:每条命令执行后立即追加到文件,避免异常退出丢失 shopt -s histappend export PROMPT_COMMAND='history -a' # 只读化,防止用户 unset 关键变量 readonly HISTTIMEFORMAT readonly HISTFILE readonly HISTFILESIZE
其中 PROMPT_COMMAND='history -a' 让每条命令执行完就落盘,而不是等 shell 退出。这一条能救很多次"机器重启后历史全没了"的场景。
2.1 把历史同步写入 syslog
上面的方案仍有一个漏洞:history 文件在用户的家目录下,用户可以直接编辑它。更强的做法是把每条命令同时通过 logger 发到系统日志——日志一旦发出,用户在本机就改不掉了(前提是日志已远程留存)。
# /etc/profile.d/history-syslog.sh # 把当前用户的每条命令实时写入 local6 设施,便于 rsyslog 转发到日志服务器 export PROMPT_COMMAND='RETRN_VAL=$?; \ logger -p local6.notice "$(whoami) [$$] [$(pwd)] $(history 1 | sed "s/^ *[0-9]* *//") [$RETRN_VAL]"' # rsyslog 侧把 local6 单独存文件 # /etc/rsyslog.d/command.conf local6.notice /var/log/commands.log # 并转发到集中日志服务器(TCP,带队列缓冲) local6.notice @@10.0.9.9:514 systemctl restart rsyslog # 查看效果 tail -f /var/log/commands.log
注意两点:一是这种方式只覆盖交互式 bash,用 sh、zsh 或脚本执行的命令不会记录,需要在对应 shell 的配置文件里加同样的逻辑;二是它依赖 PROMPT_COMMAND,用户如果覆盖该变量就会失效——对高合规场景应改用 auditd 或堡垒机。
三、sudo 日志:把提权操作看清楚
生产环境应禁止直接使用 root 登录,所有人通过普通账号 + sudo 提权。这样一来,sudo 日志就是最有价值的操作记录。
# /etc/sudoers.d/audit (务必用 visudo -f 编辑,它有语法检查)
Defaults logfile="/var/log/sudo.log"
Defaults log_year # 日志中带年份,跨年检索不出错
Defaults log_host # 记录主机名,集中日志时必备
Defaults loglinelen=0 # 不截断长命令行
Defaults log_input # 记录输入
Defaults log_output # 记录输出(含终端回显)
Defaults iolog_dir="/var/log/sudo-io"
Defaults iolog_file="%{user}/%{host}/%Y%m%d-%H%M%S"
# 语法检查(任何改动前都要做)
visudo -c
visudo -c -f /etc/sudoers.d/audit
配置后,每次 sudo 都会生成一条带会话 ID 的记录和一份 I/O 录像,可以用 sudoreplay 回放:
# 查看 sudo 日志 tail -f /var/log/sudo.log grep 'COMMAND=' /var/log/sudo.log # 列出可回放的会话 sudoreplay -l # 回放某个会话(按日志中的会话 ID) sudoreplay 1a2b3c4d5e6f # 只看某个用户在某个时间段的记录 sudoreplay -l user ops fromdate 2024-05-01 todate 2024-05-31
3.1 最小权限授权
审计的前提是"每个人有自己的账号、有限的权限"。ALL=(ALL) NOPASSWD:ALL 这种写法虽然方便,但等于所有人都是 root,日志也只能告诉你"有人干了",无法收敛责任。
# /etc/sudoers.d/webops —— 按命令白名单授权
Cmnd_Alias NGINX_CMD = /usr/bin/systemctl reload nginx, \
/usr/bin/systemctl restart nginx, \
/usr/bin/nginx -t
Cmnd_Alias LOG_CMD = /usr/bin/tail /var/log/nginx/*.log, \
/usr/bin/journalctl -u nginx
User_Alias WEBOPS = alice, bob
Runas_Alias APPRUN = www-data
# 允许的免密操作(低风险)
WEBOPS ALL=(root) NOPASSWD: NGINX_CMD, LOG_CMD
# 高风险操作需要输入密码(默认 requiretty/需要认证)
%senior ALL=(root) PASSWD: /usr/bin/systemctl restart *, /usr/bin/yum, /usr/bin/dnf
# 以应用身份执行,避免直接用 root
WEBOPS ALL=(APPRUN) NOPASSWD: /usr/bin/php /var/www/site/artisan *
四、systemd-journald 与系统日志查询
journald 是 systemd 系统的日志核心,它的结构化字段让查询比 grep 文本文件精准得多。
# 按服务单元查询 journalctl -u nginx --since "2024-05-01 09:00" --until "2024-05-01 10:00" journalctl -u sshd -o short-precise -n 200 # 按进程名过滤(跨发行版通用,推荐) journalctl _COMM=sshd --since today journalctl _COMM=su --since yesterday journalctl _COMM=sudo --since "1 hour ago" # 按 UID 追踪某个用户的所有行为 journalctl _UID=1000 --since "2024-05-01" --until "2024-05-02" # 按可执行文件路径、PID journalctl _PID=1234 journalctl /usr/sbin/sshd # 只看错误级别 journalctl -p err -b journalctl -p warning --since today # 实时跟踪 journalctl -f -u nginx # 日志完整性自检(检测日志是否被改动过) journalctl --verify
4.1 让 journald 持久化
很多发行版默认把 journald 日志放在 /run/log/journal(内存盘),重启即失。审计场景下必须改成持久化:
# 创建持久化目录(注意权限,systemd-journal 组可读) mkdir -p /var/log/journal systemd-tmpfiles --create --prefix /var/log/journal systemctl restart systemd-journald # /etc/systemd/journald.conf [Journal] Storage=persistent Compress=yes SystemMaxUse=4G SystemKeepFree=2G MaxRetentionSec=6month ForwardToSyslog=yes # 应用配置 systemctl restart systemd-journald journalctl --disk-usage # 非 root 用户查看所有日志:加入 systemd-journal 组 usermod -aG systemd-journal ops
其中 MaxRetentionSec=6month 直接决定了日志保留期。等保与多数合规要求通常是不少于 180 天,这里按 6 个月配置;磁盘紧张时应改为转发到集中日志平台,本机只留短期。
五、auditd:内核级审计
前面几层都运行在用户态,root 可以修改或绕过。auditd 工作在内核层,能记录文件被谁、被哪个进程、以什么方式读写或执行,是合规审计的标配。
5.1 规则语法与常用规则
auditd 有两类规则:文件监视(-w)监视指定路径的读写执行属性变更;系统调用规则(-a)监视某类系统调用。推荐做法是用 -w 覆盖关键文件,用 -a 少量覆盖高风险操作。
# /etc/audit/rules.d/hardening.rules # 1) 删除旧规则,保证规则集干净 -D # 2) 缓冲区与失败策略(磁盘满时务必让系统停机或告警,不能静默丢日志) -b 8192 -f 1 --backlog_wait_time 60000 # 3) 账号与认证文件:-w 路径 -p 权限(r读/w写/x执行/a属性变更) -k 关键字 -w /etc/passwd -p wa -k identity -w /etc/shadow -p wa -k identity -w /etc/group -p wa -k identity -w /etc/gshadow -p wa -k identity -w /etc/sudoers -p wa -k sudoers -w /etc/sudoers.d/ -p wa -k sudoers -w /etc/ssh/sshd_config -p wa -k sshd_config -w /etc/security/ -p wa -k pam_config # 4) 审计日志自身,防止被悄悄关闭或清理 -w /var/log/audit/ -p wa -k audit_log -w /etc/audit/ -p wa -k audit_config # 5) 关键目录变更(系统二进制目录) -w /usr/bin/ -p wa -k bin_watch -w /usr/sbin/ -p wa -k bin_watch -w /etc/cron.d/ -p wa -k cron -w /var/spool/cron/ -p wa -k cron # 6) 系统调用规则:记录 root 执行的所有命令 -a always,exit -F arch=b64 -S execve -F euid=0 -k root_cmd -a always,exit -F arch=b32 -S execve -F euid=0 -k root_cmd # 7) 记录 /etc 下文件的删除与重命名 -a always,exit -F arch=b64 -S unlink -S unlinkat -S rename -S renameat -F dir=/etc -k etc_change # 8) 记录用户/组的增删改 -w /etc/passwd -p wa -k user_mod -a always,exit -F arch=b64 -S sethostname -S setdomainname -k system_mod # 9) 锁定规则集,防止未经授权的修改(设为 2 后需重启才能改) -e 2
# 加载规则(推荐用 augenrules,它会合并 rules.d 下的所有文件) augenrules --load # 也可以临时加载(重启失效,用于测试) auditctl -R /etc/audit/rules.d/hardening.rules # 查看当前生效规则与状态 auditctl -l auditctl -s # 服务管理 systemctl enable --now auditd systemctl status auditd
关于 -e 2:它把规则集锁定,任何修改都需要重启系统,这是防止攻击者关闭审计的有效手段。但它也会给你自己添麻烦——调试阶段先设 -e 1,规则稳定后再改为 2。
六、ausearch 与 aureport 查询
规则装上只是开始,能查才有用。
# 按关键字检索(最常用) ausearch -k identity -i # -i 把 uid 翻译成用户名、syscall 翻译成名称 ausearch -k root_cmd -i --start today ausearch -k etc_change -i --start 05/01/2024 --end 05/31/2024 # 按用户检索 ausearch -ua 1000 -i # uid ausearch -ui alice -i # 用户名 # 按事件类型 ausearch -m USER_LOGIN -i ausearch -m USER_AUTH -i ausearch -m SYSCALL -i # 按文件检索 ausearch -f /etc/passwd -i ausearch -f /etc/ssh/sshd_config -i # 按时间 ausearch --start today --end now -i ausearch --start 09:00:00 --end 18:00:00 -i # 按登录会话(配合 pam 的 ses 字段) ausearch --session 42 -i # 失败事件 ausearch -m USER_LOGIN --success no -i
# aureport:出报表,适合周报/月报 aureport # 总览 aureport -au # 认证报表(谁在什么时候登录、成功/失败) aureport -u # 用户行为汇总 aureport -x --summary # 可执行文件执行汇总 aureport -f -i # 文件访问明细 aureport -m # 账号变更报表 aureport -l # 登录报表 aureport -k # 按关键字汇总 aureport -t # 按时间汇总(看高峰期) # 组合:查看最近一天的所有认证失败 aureport -au --failed --start yesterday
七、日志防篡改与留存
本机日志一定会被有 root 权限的人处理。唯一的解法是实时转发到独立的日志服务器,本机只做缓冲。
# 方案一:rsyslog 转发到集中日志服务器(TCP + 队列缓冲,断网不丢)
# /etc/rsyslog.d/99-remote.conf
$WorkDirectory /var/spool/rsyslog
$ActionQueueType LinkedList
$ActionQueueFileName fwdRule
$ActionQueueMaxDiskSpace 1g
$ActionQueueSaveOnShutdown on
$ActionResumeRetryCount -1
*.* @@10.0.9.9:514
# 方案二:auditd 自带的远程转发(audisp-remote)
# /etc/audit/auditd.conf 或 /etc/audisp/plugins.d/au-remote.conf
active = yes
direction = out
path = /sbin/audisp-remote
type = always
args = 10.0.9.9
format = ascii
# /etc/audit/audisp-remote.conf
remote_server = 10.0.9.9
port = 60
transport = tcp
mode = forward
# 日志轮转:保留 52 周
# /etc/logrotate.d/audit
/var/log/audit/audit.log {
weekly
rotate 52
compress
missingok
notifempty
sharedscripts
postrotate
/usr/bin/systemctl kill -s HUP auditd.service
endscript
}
另外两点补充:时间必须同步,否则跨机日志无法对齐,用 chronyd 统一指向同一时间源,并设为 Asia/Shanghai;日志文件权限收紧,/var/log/audit/ 应为 750、日志文件 640,属 root:root。
八、审计基线落地清单
- 全局启用带时间戳的 bash history,
PROMPT_COMMAND='history -a'保证实时落盘。 - 把命令历史通过
logger同步写入local6,并转发到日志服务器。 - 禁止 root 直接登录,所有人走普通账号 + sudo。
- sudo 开启
log_input/log_output与iolog_dir,保留会话录像。 - 按命令白名单授权 sudo,不使用无限制的
ALL。 - journald 改为
Storage=persistent,设置MaxRetentionSec=6month。 - 安装并启用 auditd,加载关键文件监视规则与 root 命令执行规则。
- 规则稳定后设
-e 2锁定规则集。 - 配置 rsyslog/audisp 远程转发,日志落地到独立服务器。
- 配置 logrotate,保留期不少于 180 天。
- 所有服务器启用 chronyd 时间同步并统一时区。
- 每月跑一次
aureport -au与登录审计,异常项进入工单。
小结
Linux 用户操作审计不是装一个工具就完事,而是四层能力的叠加:history 提供日常便利、sudo 日志管住提权、journald 汇总服务事件、auditd 提供内核级的权威记录。再配合远程转发和足够长的保留期,才能在真正需要追溯时拿得出证据。
避坑清单:
- auditd 规则不要一上来就全量记录所有 execve,先评估日志量(可用
aureport -x --summary观察一周再调整)。 - 不要跳过
journalctl --verify,它能发现日志是否被改动过。 - 不要在规则没验证前设
-e 2,否则每次调整都要重启机器。 - 不要忘了
-f 1(磁盘满时的失败策略),否则日志满了会静默丢弃,你却不知道。 - 不要只在本机留日志。远程转发是防篡改的唯一有效手段。
- 不要忽略时间同步,跨机日志时间对不上等于无法取证。
- 修改 sudoers 一律用
visudo,它有语法检查,能避免把自己锁在系统外。 - 开启
log_output时留意:命令输出中可能包含密码等敏感信息,日志服务器侧要有访问控制。 - 审计日志本身也是敏感数据,访问日志服务器的人同样要有审计。
本文所有配置用于自有服务器的操作审计与合规留存。
企业QQ咨询




