季度成本复盘会上,一个尴尬的数字被摆到桌面:所有生产服务器的平均 CPU 利用率只有 12%,内存利用率 28%。也就是说,公司花 100 块钱买的算力,实际用掉了不到 15 块。这不是个别现象——大量团队在业务上线时按"预估峰值"采购,业务平稳后又从不回收,久而久之账上堆着一批"没人用但一直在扣费"的服务器。本文给出一套从识别到处置的完整方法:如何科学定义闲置、如何安全地降配缩容、以及除降配之外还有哪些成本优化手段。
一、先定义"闲置":什么样的实例算浪费
把"CPU 低"等同于"闲置"会误伤很多正常实例。数据库备库、灾备节点、批处理机在大部分时间都很空闲,但它们是业务连续性的必要保障。因此要先分类,再判定。
1.1 实例分类
| 类别 | 典型特征 | 是否适用降配 | 处置建议 |
|---|---|---|---|
| 长期在线生产实例 | 承载核心业务,需 7×24 可用 | 适用(谨慎) | 按 P95 用量下调一档,观察 7 天 |
| 已下线业务的残留实例 | 无流量、无访问日志、无告警 | 不适用 | 快照后直接释放 |
| 临时测试/压测实例 | 创建时间明确,有生命周期 | 不适用 | 加标签并设置自动释放时间 |
| 灾备/备库节点 | CPU 极低但必须常驻 | 部分适用 | 降配但保留冗余,不可合并 |
| 批处理/定时任务机 | 周期性尖峰 | 不适用 | 改按量计费或调度到低峰 |
| 开发联调环境 | 工作时间有负载 | 适用 | 非工作时段定时停机 |
1.2 闲置的量化判定标准
一个被广泛采用的经验规则是:连续 7 天 CPU 峰值低于 20% 且内存使用率低于 40%,视为可降配候选;若同时满足连续 7 天网络入出站流量接近于零、无新增业务日志,则视为可释放候选。注意两个限定词:
- 峰值:用日峰值而非日均值,避免被夜间空闲时段拉低。
- 连续 7 天:覆盖一个完整业务周期(含周末),避免把周期性任务误判为闲置。
二、识别闲置:从单台排查到批量盘点
2.1 单台实例的资源画像
# 1. 负载与核数对比(15 分钟 load 远低于核数 = CPU 空闲)
uptime
nproc
cat /proc/loadavg
# 2. CPU 历史峰值(取当日 %user+%system 的最大值)
sar -u -f /var/log/sa/sa$(date +%d) | awk 'NR>3 && $3 != "" {u=$3+$5; if(u>max) max=u} END {printf "CPU 峰值: %.1f%%\n", max}'
# 3. 内存历史峰值(已扣除 buffer/cache)
sar -r -f /var/log/sa/sa$(date +%d) | awk 'NR>3 && $2+0>0 {r=($3-$5-$6)/$3*100; if(r>max) max=r} END {printf "内存峰值: %.1f%%\n", max}'
# 4. 磁盘 IO 峰值(%util)
sar -d -f /var/log/sa/sa$(date +%d) | awk 'NR>3 && $NF+0>max {max=$NF} END {printf "磁盘 util 峰值: %.1f%%\n", max}'
# 5. 网络流量峰值(换算成 Mbps)
sar -n DEV -f /var/log/sa/sa$(date +%d) | awk '/eth0/ && $6+0>max {max=$6} END {printf "出口峰值: %.2f Mbps\n", max*8/1024}'
# 6. 一次性输出近 7 天汇总,用于生成"资源画像"
for d in $(seq -w 1 7); do
f=/var/log/sa/sa$(printf "%02d" $((10#$(( $(date +%d) - d )) )))
[ -f "$f" ] || continue
cpu=$(sar -u -f "$f" | awk 'NR>3 && $3 != "" {u=$3+$5; if(u>m) m=u} END {printf "%.1f", m}')
mem=$(sar -r -f "$f" | awk 'NR>3 && $2+0>0 {r=($3-$5-$6)/$3*100; if(r>m) m=r} END {printf "%.1f", m}')
echo "T-$d 天 CPU峰值=${cpu}% 内存峰值=${mem}%"
done
2.2 判断"是否有业务在跑"
资源低不代表可释放,还要确认是否还有真实访问。以下三个信号最能说明问题:
# 1. 最近 7 天是否有新增业务日志(无修改 = 无访问) find /var/log/nginx /var/log/httpd /var/log/app -name '*.log' -mtime -7 2>/dev/null | head find /var/log -name 'access*' -mtime -7 2>/dev/null | head # 2. 当前是否有外部连接(ESTABLISHED 连接数长期为 0 基本可判定无业务) ss -s ss -ant state established | wc -l # 3. 系统运行时长与最后登录时间(长时间无人登录且无流量) uptime -s last -5 lastlog | grep -v 'Never' | tail -10 # 4. 磁盘是否有写入变化(对比两次 du 或直接看数据目录的 mtime) find /data -maxdepth 2 -newermt '7 days ago' 2>/dev/null | head
2.3 容器环境的闲置识别
# 容器维度实时占用(与各自 limit 对比)
docker stats --no-stream --format "table {{.Name}}\t{{.CPUPerc}}\t{{.MemUsage}}\t{{.MemPerc}}"
# Kubernetes:找出 request 设置远高于实际用量的 Pod(典型的资源浪费)
kubectl top pods -A --sort-by=memory | head -30
kubectl top pods -A --sort-by=cpu | head -30
# 查看命名空间级别的 request 总和,与实际用量对比
kubectl describe node | egrep -A20 'Allocated resources'
# 长期未使用的资源对象(如 30 天未更新的 ConfigMap、无流量的 Service)
kubectl get svc -A
kubectl get pods -A --field-selector status.phase=Running -o json | jq -r '.items[] | .metadata.name + " " + .metadata.creationTimestamp'
三、处置动作:从降配到释放的四种手段
3.1 规格调整(降配)
降配是收益最直接也最需要谨慎的动作。执行顺序:
- 取基线:保存降配前的 CPU、内存、IO、业务 P95 响应时间数据。
- 打快照:系统盘与数据盘各一份,确认快照可用。
- 只降一档:例如从 8 核 16G 降到 4 核 8G,不要一次砍到 2 核 4G。
- 同步调整应用参数:JVM 堆、数据库连接池、Nginx worker、Redis maxmemory 都要按新内存重新计算,否则会出现"内存没满但 OOM"的诡异现象。
- 观察 7 天:用同一套指标对比,重点关注 P95 响应时间和
si/so。 - 回滚准备:若 P95 恶化超过 20% 或出现 swap,立即升回原规格。
# 降配前的基线采集(保存到文件便于对比)
{
echo "=== $(date) ==="
uptime
nproc
free -m
vmstat 1 5
iostat -x 1 5
ss -s
} > /opt/tco/baseline_$(hostname)_$(date +%F).txt
# 降配后同步调整的典型参数(示例)
# JVM:堆上限设为容器/实例内存的 60%~70%
# -Xms4g -Xmx4g (8G 实例建议不超过 5g)
# MySQL:缓冲池设为内存的 50%~60%
# innodb_buffer_pool_size = 4G
# Redis:
# maxmemory 3gb
# maxmemory-policy allkeys-lru
# Nginx:
# worker_processes auto; # 或设为 nproc 的值
# 观察期每日检查项
vmstat 1 5 # si/so 必须为 0
free -m # available 应大于总量 15%
3.2 定时停机(适用于开发/测试环境)
非生产环境的实例在夜间和周末完全可以关机,只保留磁盘费用。用 cron 定时开关机,通常能省下 60% 以上的计算费用。
# 编辑 crontab(注意时区,建议统一用 UTC 或明确指定 TZ) crontab -e # 每天 20:00 关机(工作日也在内,按需调整) 0 20 * * 1-5 /usr/sbin/shutdown -h +5 "auto shutdown" # 每周一至周五 8:30 开机(需云平台的开机 API 或 Wake-on-LAN 支持, # 物理机通常依赖 IPMI/带外管理,云主机可用厂商 CLI) 30 8 * * 1-5 /usr/local/bin/cloud_start.sh # 若使用云厂商 CLI,开机脚本可写成: cat > /usr/local/bin/cloud_start.sh <<'EOF' #!/bin/bash # 通过厂商 CLI 启动指定实例,凭据走环境变量,不写入脚本 /usr/local/bin/cloudcli instance start --id "$INSTANCE_ID" EOF chmod +x /usr/local/bin/cloud_start.sh
注意:定时关机只适用于无状态、可随时恢复的环境,生产服务切勿使用;依赖本机 cron 关机后无法自行开机,开机动作必须走外部调度(云平台控制台的定时任务或另一台常驻机器)。
3.3 释放与归档
确认无业务的实例,流程是:做最后一次全量快照 → 快照转低频/归档存储 → 保留 30 天 → 释放实例。这样既省下计算费用,又保留回退能力。
3.4 计费模式调整
把稳定负载部分转为包年包月或预留实例,把波动部分留在按量付费,是降低单价的有效手段。前提是先用历史数据确认"基线负载"是多少。
四、防止复发的机制:让闲置无处藏身
一次性清理只能解决存量,机制才能解决增量。四件事值得做:
- 强制标签:所有实例必须带 owner、project、env、expire 四个标签,无标签实例禁止创建(通过云平台策略或创建模板约束)。
- 生命周期规则:测试环境默认 14 天自动停机、30 天自动释放,需要延期必须续签。
- 月度成本报告:自动输出"闲置候选清单",发给各项目负责人确认。
- 变更留痕:升配降配全部记录到资产台账,季度复盘时对照效果。
# 月度闲置候选巡检脚本(可放进定时任务,输出到报告文件)
#!/bin/bash
OUT=/opt/tco/idle_report_$(date +%F).txt
: > "$OUT"
for d in $(seq -w 1 7); do
f=/var/log/sa/sa$(printf "%02d" $((10#$(date +%d) - d)))
[ -f "$f" ] || continue
cpu=$(sar -u -f "$f" | awk 'NR>3 && $3 != "" {u=$3+$5; if(u>m) m=u} END {printf "%.1f", m}')
mem=$(sar -r -f "$f" | awk 'NR>3 && $2+0>0 {r=($3-$5-$6)/$3*100; if(r>m) m=r} END {printf "%.1f", m}')
echo "$(hostname) T-${d}d CPU=${cpu}% MEM=${mem}%" >> "$OUT"
done
# 判定:7 天中全部满足 CPU<20 且 MEM<40,才判定为可降配候选
if awk -F'[= %]' '{cpu=$4; mem=$6; if (cpu+0 >= 20 || mem+0 >= 40) exit 1}' "$OUT"; then
echo "判定结果: $(hostname) 为【可降配候选】(7 天 CPU 峰值均<20% 且内存峰值均<40%)"
else
echo "判定结果: $(hostname) 暂不满足降配条件"
fi
cat "$OUT"
五、降本幅度速查与优先级
| 手段 | 典型降本幅度 | 实施难度 | 风险 | 优先级 |
|---|---|---|---|---|
| 释放无业务残留实例 | 省 100% 该实例费用 | 低 | 中(需确认无业务) | 最高 |
| 测试环境定时停机 | 省 60%~70% 计算费 | 低 | 低 | 高 |
| 闲置实例降配 | 省 30%~50% | 中 | 中(需同步调参数) | 高 |
| 调整 requests/limits | 提升装箱率 20%~40% | 中 | 中 | 高(K8s 场景) |
| 包年包月/预留实例 | 省 15%~30% 单价 | 低 | 中(锁定规格) | 中 |
| 静态资源切 CDN | 省 50%+ 源站带宽 | 低 | 低 | 中 |
| 备份生命周期策略 | 省 30%~60% 存储费 | 低 | 低 | 中 |
| 架构优化(读写分离等) | 视情况,可能 30%+ | 高 | 高 | 低(长周期) |
小结
服务器资源利用率低的治理,本质是把"拍脑袋采购"改成"数据驱动的资源管理":用连续 7 天的 CPU 峰值低于 20% 且内存低于 40% 作为降配触发线,用"无访问日志 + 无建立连接 + 无文件变更"作为释放依据,处置时务必先快照、只降一档、同步调整应用内存参数、观察 7 天。清理完存量后,再用强制标签、生命周期规则和月度巡检报告防止反弹。真正健康的成本结构,不是一次大扫除的结果,而是机制持续运转的结果。
避坑清单
- 别用日均值判断:必须用日峰值,否则批处理类业务会被误判为闲置。
- 别只看 CPU:内存、磁盘 IO、网络任一打满都会成为瓶颈,降配前要全维度确认。
- 别忘了同步改应用参数:内存降了但 JVM 堆、数据库缓冲池没改,会立刻 OOM。
- 别对灾备节点下手:备库 CPU 低是设计使然,可以微降但不能合并或删除。
- 别用本机 cron 做开机:关机后 cron 不会执行,开机必须依赖外部调度或带外管理。
- 别跳过快照直接释放:快照转归档的成本远低于"误删后无法恢复"的代价。
- 别一次降太多档:一次只降一档,观察 7 天再决定,稳比快重要。
企业QQ咨询




