服务器资源利用率低怎么办?闲置实例、规格调整与成本优化方法

季度成本复盘会上,一个尴尬的数字被摆到桌面:所有生产服务器的平均 CPU 利用率只有 12%,内存利用率 28%。也就是说,公司花 100 块钱买的算力,实际用掉了不到 15 块。这不是个别现象——大量团队在业务上线时按"预估峰值"采购,业务平稳后又从不回收,久而久之账上堆着一批"没人用但一直在扣费"的服务器。本文给出一套从识别到处置的完整方法:如何科学定义闲置、如何安全地降配缩容、以及除降配之外还有哪些成本优化手段。

一、先定义"闲置":什么样的实例算浪费

把"CPU 低"等同于"闲置"会误伤很多正常实例。数据库备库、灾备节点、批处理机在大部分时间都很空闲,但它们是业务连续性的必要保障。因此要先分类,再判定。

1.1 实例分类

类别典型特征是否适用降配处置建议
长期在线生产实例承载核心业务,需 7×24 可用适用(谨慎)按 P95 用量下调一档,观察 7 天
已下线业务的残留实例无流量、无访问日志、无告警不适用快照后直接释放
临时测试/压测实例创建时间明确,有生命周期不适用加标签并设置自动释放时间
灾备/备库节点CPU 极低但必须常驻部分适用降配但保留冗余,不可合并
批处理/定时任务机周期性尖峰不适用改按量计费或调度到低峰
开发联调环境工作时间有负载适用非工作时段定时停机

1.2 闲置的量化判定标准

一个被广泛采用的经验规则是:连续 7 天 CPU 峰值低于 20% 且内存使用率低于 40%,视为可降配候选;若同时满足连续 7 天网络入出站流量接近于零、无新增业务日志,则视为可释放候选。注意两个限定词:

  • 峰值:用日峰值而非日均值,避免被夜间空闲时段拉低。
  • 连续 7 天:覆盖一个完整业务周期(含周末),避免把周期性任务误判为闲置。

二、识别闲置:从单台排查到批量盘点

2.1 单台实例的资源画像

# 1. 负载与核数对比(15 分钟 load 远低于核数 = CPU 空闲)
uptime
nproc
cat /proc/loadavg

# 2. CPU 历史峰值(取当日 %user+%system 的最大值)
sar -u -f /var/log/sa/sa$(date +%d) | awk 'NR>3 && $3 != "" {u=$3+$5; if(u>max) max=u} END {printf "CPU 峰值: %.1f%%\n", max}'

# 3. 内存历史峰值(已扣除 buffer/cache)
sar -r -f /var/log/sa/sa$(date +%d) | awk 'NR>3 && $2+0>0 {r=($3-$5-$6)/$3*100; if(r>max) max=r} END {printf "内存峰值: %.1f%%\n", max}'

# 4. 磁盘 IO 峰值(%util)
sar -d -f /var/log/sa/sa$(date +%d) | awk 'NR>3 && $NF+0>max {max=$NF} END {printf "磁盘 util 峰值: %.1f%%\n", max}'

# 5. 网络流量峰值(换算成 Mbps)
sar -n DEV -f /var/log/sa/sa$(date +%d) | awk '/eth0/ && $6+0>max {max=$6} END {printf "出口峰值: %.2f Mbps\n", max*8/1024}'

# 6. 一次性输出近 7 天汇总,用于生成"资源画像"
for d in $(seq -w 1 7); do
  f=/var/log/sa/sa$(printf "%02d" $((10#$(( $(date +%d) - d )) )))
  [ -f "$f" ] || continue
  cpu=$(sar -u -f "$f" | awk 'NR>3 && $3 != "" {u=$3+$5; if(u>m) m=u} END {printf "%.1f", m}')
  mem=$(sar -r -f "$f" | awk 'NR>3 && $2+0>0 {r=($3-$5-$6)/$3*100; if(r>m) m=r} END {printf "%.1f", m}')
  echo "T-$d 天  CPU峰值=${cpu}%  内存峰值=${mem}%"
done

2.2 判断"是否有业务在跑"

资源低不代表可释放,还要确认是否还有真实访问。以下三个信号最能说明问题:

# 1. 最近 7 天是否有新增业务日志(无修改 = 无访问)
find /var/log/nginx /var/log/httpd /var/log/app -name '*.log' -mtime -7 2>/dev/null | head
find /var/log -name 'access*' -mtime -7 2>/dev/null | head

# 2. 当前是否有外部连接(ESTABLISHED 连接数长期为 0 基本可判定无业务)
ss -s
ss -ant state established | wc -l

# 3. 系统运行时长与最后登录时间(长时间无人登录且无流量)
uptime -s
last -5
lastlog | grep -v 'Never' | tail -10

# 4. 磁盘是否有写入变化(对比两次 du 或直接看数据目录的 mtime)
find /data -maxdepth 2 -newermt '7 days ago' 2>/dev/null | head

2.3 容器环境的闲置识别

# 容器维度实时占用(与各自 limit 对比)
docker stats --no-stream --format "table {{.Name}}\t{{.CPUPerc}}\t{{.MemUsage}}\t{{.MemPerc}}"

# Kubernetes:找出 request 设置远高于实际用量的 Pod(典型的资源浪费)
kubectl top pods -A --sort-by=memory | head -30
kubectl top pods -A --sort-by=cpu | head -30

# 查看命名空间级别的 request 总和,与实际用量对比
kubectl describe node  | egrep -A20 'Allocated resources'

# 长期未使用的资源对象(如 30 天未更新的 ConfigMap、无流量的 Service)
kubectl get svc -A
kubectl get pods -A --field-selector status.phase=Running -o json | jq -r '.items[] | .metadata.name + " " + .metadata.creationTimestamp'

三、处置动作:从降配到释放的四种手段

3.1 规格调整(降配)

降配是收益最直接也最需要谨慎的动作。执行顺序:

  1. 取基线:保存降配前的 CPU、内存、IO、业务 P95 响应时间数据。
  2. 打快照:系统盘与数据盘各一份,确认快照可用。
  3. 只降一档:例如从 8 核 16G 降到 4 核 8G,不要一次砍到 2 核 4G。
  4. 同步调整应用参数:JVM 堆、数据库连接池、Nginx worker、Redis maxmemory 都要按新内存重新计算,否则会出现"内存没满但 OOM"的诡异现象。
  5. 观察 7 天:用同一套指标对比,重点关注 P95 响应时间和 si/so。
  6. 回滚准备:若 P95 恶化超过 20% 或出现 swap,立即升回原规格。
# 降配前的基线采集(保存到文件便于对比)
{
  echo "=== $(date) ==="
  uptime
  nproc
  free -m
  vmstat 1 5
  iostat -x 1 5
  ss -s
} > /opt/tco/baseline_$(hostname)_$(date +%F).txt

# 降配后同步调整的典型参数(示例)
# JVM:堆上限设为容器/实例内存的 60%~70%
#   -Xms4g -Xmx4g        (8G 实例建议不超过 5g)
# MySQL:缓冲池设为内存的 50%~60%
#   innodb_buffer_pool_size = 4G
# Redis:
#   maxmemory 3gb
#   maxmemory-policy allkeys-lru
# Nginx:
#   worker_processes auto;    # 或设为 nproc 的值

# 观察期每日检查项
vmstat 1 5      # si/so 必须为 0
free -m         # available 应大于总量 15%

3.2 定时停机(适用于开发/测试环境)

非生产环境的实例在夜间和周末完全可以关机,只保留磁盘费用。用 cron 定时开关机,通常能省下 60% 以上的计算费用。

# 编辑 crontab(注意时区,建议统一用 UTC 或明确指定 TZ)
crontab -e

# 每天 20:00 关机(工作日也在内,按需调整)
0 20 * * 1-5 /usr/sbin/shutdown -h +5 "auto shutdown"

# 每周一至周五 8:30 开机(需云平台的开机 API 或 Wake-on-LAN 支持,
# 物理机通常依赖 IPMI/带外管理,云主机可用厂商 CLI)
30 8 * * 1-5 /usr/local/bin/cloud_start.sh

# 若使用云厂商 CLI,开机脚本可写成:
cat > /usr/local/bin/cloud_start.sh <<'EOF'
#!/bin/bash
# 通过厂商 CLI 启动指定实例,凭据走环境变量,不写入脚本
/usr/local/bin/cloudcli instance start --id "$INSTANCE_ID"
EOF
chmod +x /usr/local/bin/cloud_start.sh

注意:定时关机只适用于无状态、可随时恢复的环境,生产服务切勿使用;依赖本机 cron 关机后无法自行开机,开机动作必须走外部调度(云平台控制台的定时任务或另一台常驻机器)。

3.3 释放与归档

确认无业务的实例,流程是:做最后一次全量快照 → 快照转低频/归档存储 → 保留 30 天 → 释放实例。这样既省下计算费用,又保留回退能力。

3.4 计费模式调整

把稳定负载部分转为包年包月或预留实例,把波动部分留在按量付费,是降低单价的有效手段。前提是先用历史数据确认"基线负载"是多少。

四、防止复发的机制:让闲置无处藏身

一次性清理只能解决存量,机制才能解决增量。四件事值得做:

  • 强制标签:所有实例必须带 owner、project、env、expire 四个标签,无标签实例禁止创建(通过云平台策略或创建模板约束)。
  • 生命周期规则:测试环境默认 14 天自动停机、30 天自动释放,需要延期必须续签。
  • 月度成本报告:自动输出"闲置候选清单",发给各项目负责人确认。
  • 变更留痕:升配降配全部记录到资产台账,季度复盘时对照效果。
# 月度闲置候选巡检脚本(可放进定时任务,输出到报告文件)
#!/bin/bash
OUT=/opt/tco/idle_report_$(date +%F).txt
: > "$OUT"
for d in $(seq -w 1 7); do
  f=/var/log/sa/sa$(printf "%02d" $((10#$(date +%d) - d)))
  [ -f "$f" ] || continue
  cpu=$(sar -u -f "$f" | awk 'NR>3 && $3 != "" {u=$3+$5; if(u>m) m=u} END {printf "%.1f", m}')
  mem=$(sar -r -f "$f" | awk 'NR>3 && $2+0>0 {r=($3-$5-$6)/$3*100; if(r>m) m=r} END {printf "%.1f", m}')
  echo "$(hostname) T-${d}d CPU=${cpu}% MEM=${mem}%" >> "$OUT"
done
# 判定:7 天中全部满足 CPU<20 且 MEM<40,才判定为可降配候选
if awk -F'[= %]' '{cpu=$4; mem=$6; if (cpu+0 >= 20 || mem+0 >= 40) exit 1}' "$OUT"; then
  echo "判定结果: $(hostname) 为【可降配候选】(7 天 CPU 峰值均<20% 且内存峰值均<40%)"
else
  echo "判定结果: $(hostname) 暂不满足降配条件"
fi
cat "$OUT"

五、降本幅度速查与优先级

手段典型降本幅度实施难度风险优先级
释放无业务残留实例省 100% 该实例费用低中(需确认无业务)最高
测试环境定时停机省 60%~70% 计算费低低高
闲置实例降配省 30%~50%中中(需同步调参数)高
调整 requests/limits提升装箱率 20%~40%中中高(K8s 场景)
包年包月/预留实例省 15%~30% 单价低中(锁定规格)中
静态资源切 CDN省 50%+ 源站带宽低低中
备份生命周期策略省 30%~60% 存储费低低中
架构优化(读写分离等)视情况,可能 30%+高高低(长周期)

小结

服务器资源利用率低的治理,本质是把"拍脑袋采购"改成"数据驱动的资源管理":用连续 7 天的 CPU 峰值低于 20% 且内存低于 40% 作为降配触发线,用"无访问日志 + 无建立连接 + 无文件变更"作为释放依据,处置时务必先快照、只降一档、同步调整应用内存参数、观察 7 天。清理完存量后,再用强制标签、生命周期规则和月度巡检报告防止反弹。真正健康的成本结构,不是一次大扫除的结果,而是机制持续运转的结果。

避坑清单

  • 别用日均值判断:必须用日峰值,否则批处理类业务会被误判为闲置。
  • 别只看 CPU:内存、磁盘 IO、网络任一打满都会成为瓶颈,降配前要全维度确认。
  • 别忘了同步改应用参数:内存降了但 JVM 堆、数据库缓冲池没改,会立刻 OOM。
  • 别对灾备节点下手:备库 CPU 低是设计使然,可以微降但不能合并或删除。
  • 别用本机 cron 做开机:关机后 cron 不会执行,开机必须依赖外部调度或带外管理。
  • 别跳过快照直接释放:快照转归档的成本远低于"误删后无法恢复"的代价。
  • 别一次降太多档:一次只降一档,观察 7 天再决定,稳比快重要。