服务器租用如何判断配置是否够用?业务指标、资源利用率与扩容依据

运维群里最常见的争论是"要不要加机器":业务方说慢,运维看监控发现 CPU 才 40%,于是答复"资源还很充裕,是代码问题"。可用户确实在抱怨卡顿。问题的根源在于,单看 CPU 使用率根本无法判断配置是否够用——真正的判断需要把业务指标(响应时间、错误率、并发量)和资源利用率(CPU、内存、磁盘 IO、网络、连接数)放在一起做关联分析。本文给出一套完整的判断框架:先看业务指标是否达标,再看资源是否有瓶颈,最后给出明确的扩容触发线和降配依据。

一、判断顺序:业务指标优先于资源指标

资源使用率高低本身没有意义,只有与业务体验挂钩才有判断价值。一台 CPU 90% 但响应时间稳定的服务器,可能比一台 CPU 30% 但 P99 延迟飙高的服务器健康得多。因此判断的第一步永远是业务指标。

1.1 四个必须关注的业务指标

  • 响应时间(RT):看 P95/P99 分位,而不是平均值。平均值会被大量快请求掩盖真实的长尾问题。
  • 错误率:5xx 错误、超时率、连接拒绝率。错误率上升往往早于资源打满出现。
  • 吞吐量:QPS/TPS 是否还能随资源增加而线性提升。
  • 并发用户数:在线连接数、活跃会话数,决定内存与连接表的压力。

这四个指标达标,说明配置够用;不达标,才进入资源瓶颈排查环节。实践中可以用下面的命令从本机侧快速取一组响应数据作为参考:

# 用 curl 批量探测接口耗时,观察长尾(取 20 次)
for i in $(seq 1 20); do
  curl -o /dev/null -s -w "%{time_total}\n" https://example.com/api/health
done | sort -n | awk '{a[NR]=$1} END {
  printf "min=%.3fs  P50=%.3fs  P95=%.3fs  max=%.3fs\n", a[1], a[int(NR*0.5)], a[int(NR*0.95)], a[NR]
}'

# 查看当前连接数与状态分布
ss -s
ss -ant | awk 'NR>1 {c[$1]++} END {for (k in c) printf "%-14s %d\n", k, c[k]}'

# 查看监听端口与对应进程
ss -lntp

1.2 建立"够用"的量化定义

建议为每个业务定一条 SLO(服务等级目标),例如:

  • 接口 P95 响应时间 < 300ms,P99 < 800ms。
  • 5xx 错误率 < 0.1%。
  • 峰值时段 CPU 利用率 < 70%,内存利用率 < 80%。
  • 磁盘 %util 峰值 < 80%,网络带宽峰值 < 购买带宽的 70%。

有了 SLO,"配置是否够用"就从主观争论变成了可判定的条件。

二、资源利用率:五个维度逐一排查

2.1 CPU:看 load average,而不是只看使用率

uptime 输出的 load average 三个值分别是 1、5、15 分钟的系统平均负载,包含正在运行和不可中断睡眠(D 状态,通常是等 IO)的进程数。判读规则:

  • 15 分钟 load 持续高于 CPU 核数:说明有进程排队,CPU 是瓶颈。
  • load 高但 CPU 使用率低:通常是 IO 等待(D 状态进程多),瓶颈在磁盘或网络存储,此时升 CPU 无效。
  • CPU 的 %iowait 持续高于 20%:明确指向存储瓶颈。
# 基础负载与核数
uptime
nproc
cat /proc/loadavg

# 逐核使用率,观察是否负载不均(绑定、单线程瓶颈)
mpstat -P ALL 1 5

# 实时进程视角
top -b -n 1 | head -25
# 或
htop

# 查看 D 状态(不可中断睡眠)进程数量,定位 IO 等待
ps -eo stat,pid,comm | awk '$1 ~ /D/ {print}' | head -20
ps -eo stat | grep -c '^D'

2.2 内存:看 available 与 si/so

Linux 会尽量把空闲内存用于 page cache,所以 free 列小不等于内存不足。正确的判读顺序:

  1. free -m 看 available 列:这是系统估算的、可供新进程使用的内存量,低于总量 10% 需要警惕。
  2. vmstat 1 看 si(swap in)与 so(swap out)两列:持续非零说明真的在换页,性能会断崖式下降。
  3. sar -r 看历史趋势,避免被瞬时值误导。
# 内存总量与可用量(重点看 available)
free -m
cat /proc/meminfo | egrep 'MemTotal|MemAvailable|SwapTotal|SwapFree'

# 是否发生换页:si/so 持续 > 0 即为内存不足的硬证据
vmstat 1 10

# 历史趋势(%memused 与 %swpused)
sar -r 1 5
sar -r -f /var/log/sa/sa$(date +%d) | tail -10

# 找出内存占用最高的进程(RSS 单位 KB)
ps -eo pid,ppid,rss,comm --sort=-rss | head -15

2.3 磁盘 IO:%util 与 await 是一对

iostat -x 1 里最有价值的两列是 %util(设备忙碌比例)和 await(IO 平均等待毫秒)。判读规则:

  • %util 接近 100% 且 await 明显升高(机械盘 > 20ms,SSD > 5ms):存储饱和,需要换更高 IOPS 的盘或做读写分离。
  • %util 高但 await 正常:设备忙但响应快,通常尚可接受。
  • 队列长度 aqu-sz 持续大于 2:有 IO 排队。
# 详细 IO 指标
iostat -x 1 5

# 只看某个设备
iostat -x /dev/vda 1 5

# 进程级 IO(需 kernel 支持,iotop 更直观)
iotop -o -b -n 2 2>/dev/null || pidstat -d 1 5

# 历史 IO
sar -d -f /var/log/sa/sa$(date +%d) | tail -10

2.4 网络:带宽、重传与连接表

网络瓶颈常被误判为应用慢。需要看三件事:带宽是否打满、是否有大量重传、连接表是否接近上限。

# 网卡实时流量(rxkB/s txkB/s),换算 Mbps = kB/s * 8 / 1024
sar -n DEV 1 5

# TCP 重传与连接状态统计(retrans 持续增长说明链路质量差)
sar -n ETCP 1 5
nstat -az | egrep 'RetransSegs|EstabResets|ListenOverflows'

# 连接数总量与状态分布
ss -s
ss -ant | awk 'NR>1 {c[$1]++} END {for (k in c) printf "%-16s %d\n", k, c[k]}' | sort -k2 -nr

# 文件描述符与连接跟踪上限(nf_conntrack 打满会导致丢包)
cat /proc/sys/fs/file-nr
cat /proc/sys/net/netfilter/nf_conntrack_count 2>/dev/null
cat /proc/sys/net/netfilter/nf_conntrack_max 2>/dev/null

2.5 综合工具:dstat 与 nmon

需要同时观察多个维度时,dstat 和 nmon 比逐个跑命令高效。

# dstat:CPU/磁盘/网络/分页 一屏全览
dstat -cdnm 1 10
dstat -tcm --disk-util --top-cpu 1 10

# nmon:交互式全维度监控,适合现场排查
nmon
# 采集模式:每 30 秒一次,共 120 次(1 小时数据),结果可离线分析
nmon -f -s 30 -c 120 -m /var/tmp/nmon

三、容器与 Kubernetes 环境的判断方法

如果业务跑在容器里,宿主机指标不足以定位问题,需要看容器维度的用量。

# 容器实时资源占用(CPU% MEM% 以及相对 limit 的比例)
docker stats --no-stream

# 只看某几个容器
docker stats --no-stream --format "table {{.Name}}\t{{.CPUPerc}}\t{{.MemUsage}}\t{{.MemPerc}}"

# cgroup v2 下从文件系统读取容器内存上限与当前用量
cat /sys/fs/cgroup/memory.max
cat /sys/fs/cgroup/memory.current

# Kubernetes:节点与 Pod 维度
kubectl top nodes
kubectl top pods -A --sort-by=memory
kubectl top pods -n default --sort-by=cpu

# 查看 requests/limits 配置是否合理(request 过低会调度密集,limit 过低会 OOMKill)
kubectl describe pod  | egrep -A5 'Requests|Limits'
kubectl get events -A --sort-by=.lastTimestamp | tail -20

容器场景的典型误判是:宿主机内存充足,但容器 limit 设得太低被 OOMKill。判断依据要落到 docker stats 的 MEM % 与 kubectl top pods 的实际用量上,而不是宿主机的 free。

四、扩容触发线速查表

指标观察窗口扩容/处理触发线优先动作
业务 P95 响应时间连续 3 天峰值时段超出 SLO 且趋势上升先定位瓶颈资源再扩容
load average(15 分钟)连续 7 天持续 > CPU 核数 × 1.0区分 CPU 瓶颈与 IO 等待
CPU 使用率连续 7 天峰值> 70%(且 load 同步高)升配或横向扩容
CPU %iowait连续 3 天> 20%换更高 IOPS 云盘,勿升 CPU
内存 available连续 7 天< 总量 10%升配或优化应用内存
vmstat si/so任意持续非零立即升配,属硬瓶颈
磁盘 %util连续 3 天峰值> 80% 且 await 升高升级存储性能或做读写分离
磁盘剩余空间任意< 20%立即扩容,避免写满导致故障
带宽使用率连续 7 天峰值> 购买带宽 70%加带宽或将静态资源切 CDN
TCP 重传率连续 1 小时> 1% 且持续排查链路质量,非扩容问题
容器 MEM %连续 3 天> limit 的 80%上调 limit 或优化应用
CPU 峰值 < 20% 且内存 < 40%连续 7 天降配候选进入降配评审

五、从判断到落地:一套标准流程

  1. 定义 SLO:与业务方共同确认响应时间、错误率、可用性的量化目标。
  2. 采集基线:开启 sysstat,保留至少 30 天历史数据,避免事后无据可查。
  3. 关联分析:把业务慢的时间点与资源曲线对齐,确认是相关性还是因果。
  4. 定位瓶颈资源:按 CPU → 内存 → 磁盘 → 网络的顺序逐一排除,找出真正的约束项。
  5. 区分纵向与横向:单进程、有状态服务(如数据库主库)优先纵向升配;无状态服务优先横向扩容 + 负载均衡。
  6. 小步验证:先升一档观察 3 到 7 天,用同一套指标对比前后效果。
  7. 更新资产台账:记录变更时间、前后规格、效果评估,形成组织记忆。
  8. 季度复盘:重跑触发线检查,把进入降配区间的实例纳入成本优化。

小结

判断服务器租用配置是否够用,正确的顺序是先看业务 SLO 是否达标,再看资源瓶颈在哪一项,最后才决定升配还是横向扩容。CPU 使用率高不等于要加 CPU——load 高而 CPU 低、iowait 高于 20%,指向的都是存储瓶颈;free -m 的 free 列偏小是正常现象,available 和 vmstat 的 si/so 才是内存不足的硬证据。把这些判断标准固化成触发线表格,团队就不再需要每次都从头争论。

避坑清单

  • 别只看 CPU 百分比:load average 与 %iowait 才能区分 CPU 瓶颈和 IO 瓶颈。
  • 别把 page cache 当内存泄漏:free -m 看 available,Linux 空闲内存用于缓存是设计使然。
  • 别用平均值判断响应:看 P95/P99 分位,平均值会掩盖长尾。
  • 别忽略容器 limit:宿主机有余量但容器被 OOMKill 是常见陷阱,用 docker stats 与 kubectl top 判断。
  • 别忘记开启历史采集:没有 sar 的 30 天数据,事后复盘只能靠猜。
  • 别一上来就升配:先确认瓶颈资源,升错方向的扩容既花钱又不解决问题。