租了一台 8 卡服务器,跑起训练任务后打开监控一看:GPU 利用率长期只有 20%~30%,偶尔还掉到 0,一万元的卡用出了两千元的效果。更尴尬的是你不知道该怪谁——是数据太慢、代码有问题、还是机器本身不行。GPU 利用率低从来不是单一原因,它可能是数据供给不足、CPU 预处理跟不上、任务调度不合理、批处理太小、CPU 与 GPU 同步过多、或者硬件降频中的任何一个。本文按"先分类、后定位、再优化"的思路,给出一套可复用的排查流程:先看清利用率的形态,再逐层排除,最后针对每类原因给出具体参数与命令。
一、第一步:看清"低利用率"到底是哪种形态
同样是"利用率 30%",不同形态指向完全不同的原因。用持续采样先看形态:
# 每 2 秒采样一次,观察利用率曲线是否周期性掉零 nvidia-smi --query-gpu=timestamp,index,utilization.gpu,utilization.memory,memory.used,memory.total,power.draw,temperature.gpu --format=csv -l 2 # dmon 更适合长时间留档:p(功耗) u(利用率) c(时钟) v(显存) m(显存) e(ECC) t(温度) nvidia-smi dmon -s pucvmet -d 5 -o DT -f gpu_dmon.log # 用 DCGM 看更细的剖析指标,区分"SM 在忙"和"显存在忙" dcgmi dmon -e 200,201,202,203,204 -d 5
三种典型形态与对应方向:
- 锯齿形(周期性冲高后掉到 0):几乎必然是数据加载或 CPU 预处理跟不上,GPU 在等下一批数据。优先查 DataLoader 与存储吞吐。
- 长期平稳在低位(20%~40%)但从不掉零:通常是 kernel 本身太小或 CPU 侧同步太多,GPU 一直在跑细碎任务。优先查 batch size、算子粒度与同步点。
- 多卡之间极不均衡(有的 90%,有的 10%):任务调度或负载划分问题,可能是数据分片不均、某张卡被其他进程占用、或并行策略配置错误。
这里必须纠正一个常见误解:utilization.gpu 的含义是"采样周期内有无 kernel 在 GPU 上执行"的时间比例,它高不代表算力用得好。一个只做内存拷贝的 kernel 也会让利用率显示 100%。真正衡量训练效率的是 MFU(Model FLOPs Utilization,模型算力利用率):
MFU = 实际达成的浮点运算量 ÷ 硬件理论峰值浮点运算量
实际达成 FLOPs ≈ 6 × 参数量 × 训练 token 数(前向 + 反向的粗算)
(6 = 前向 2 + 反向 4,标准 Transformer 的经验系数)
MFU 参考区间:调优良好的大模型训练 40%~50%;一般水平 20%~35%;
低于 15% 通常说明存在明显瓶颈(数据/通信/小 batch)
所以排查的目标是同时提高利用率与 MFU,只把利用率刷到 100% 而 MFU 不变,等于什么都没改善。
把常见现象与原因的对应关系整理成速查表,排查时可以直接对号入座:
| 现象 | 可能原因 | 验证命令 | 处理方向 |
|---|---|---|---|
| 利用率锯齿形,周期性掉到 0 | 数据加载慢 / CPU 预处理重 | vmstat 1、iostat -x 1、fio | 调 DataLoader 参数,优化数据格式或升级存储 |
| 利用率平稳在 20%~40% 不掉零 | batch 太小 / kernel 太碎 / 同步点过多 | PyTorch Profiler、nsys profile | 增大 batch、去掉 .item() 与 torch.cuda.synchronize() |
| 多卡利用率极不均衡 | 任务未隔离 / 负载划分不均 / 并行配置错误 | nvidia-smi --query-compute-apps | 用 CUDA_VISIBLE_DEVICES 严格隔离,检查并行策略 |
| 利用率 100% 但吞吐很低 | 低效 kernel / 未开混合精度 / 显存带宽受限 | dcgmi dmon、MFU 计算 | 开启混合精度,检查算子与访存瓶颈 |
| 利用率正常但时钟偏低 | 温度墙 / 功耗墙降频 | clocks_throttle_reasons.active | 排查风道与机房温度,必要时限功耗 |
| 偶发卡顿并伴随错误日志 | Xid 错误 / ECC 错误 / 掉卡 | dmesg -T | grep -i xid、dcgmi diag | 按 Xid 类型隔离故障卡并报修 |
二、数据加载瓶颈:最常见的元凶
训练时数据要经过"磁盘 → 页缓存 → 用户内存 → 锁页内存 → 显存"这条链路,任何一环慢都会让 GPU 空转。PyTorch DataLoader 的几个关键参数直接影响这条链路:
num_workers:加载数据的子进程数。为 0 时数据加载与训练串行,GPU 必然周期性等待;过大则进程争抢 CPU、内存暴涨(每个 worker 会复制一份 dataset 对象)。经验起点是4 × GPU 数,上限不超过 CPU 核数。pin_memory=True:把数据放到锁页(pinned)内存,使 Host-to-Device 传输可用 DMA,配合non_blocking=True能与计算重叠。不开启时 H2D 拷贝会变成同步阻塞,GPU 每次都要等。prefetch_factor:每个 worker 提前准备的 batch 数(PyTorch 默认 2)。样本大、预处理重时可调到 4 或更高,代价是内存占用上升。persistent_workers=True:跨 epoch 复用 worker 进程,避免每个 epoch 重新 fork 的开销,多 epoch 训练建议开启。
# 典型的 DataLoader 配置(多卡训练)
loader = DataLoader(
dataset,
batch_size=64,
shuffle=True,
num_workers=8 * world_size, # 按 GPU 数量放大,但不超 CPU 核数
pin_memory=True, # 锁页内存,配合 non_blocking 传输
prefetch_factor=4, # 每个 worker 预取 4 个 batch
persistent_workers=True, # 跨 epoch 复用 worker
drop_last=True,
)
for batch in loader:
x = batch["input_ids"].cuda(non_blocking=True) # 非阻塞传输,与计算重叠
y = batch["labels"].cuda(non_blocking=True)
out = model(x)
配合下面这组命令判断到底是"CPU 不够"还是"磁盘太慢":
# 看 CPU 时间分布:us(用户态)高 = 预处理重;wa(IO等待)高 = 存储慢;sy 高 = 系统调用/上下文切换多
vmstat 1
# 看各进程的磁盘读写,定位是否是数据进程打满带宽
pidstat -d 1
iostat -x 1
# 实测数据集目录的顺序读吞吐(4 并发 1MB)
fio --name=seqread --directory=/data/train --rw=read --bs=1m --size=20g \
--numjobs=4 --ioengine=libaio --direct=1 --group_reporting --runtime=60 --time_based
# 海量小文件场景测随机读 IOPS
fio --name=randread --directory=/data/train --rw=randread --bs=4k --numjobs=8 \
--ioengine=libaio --direct=1 --group_reporting --runtime=60 --time_based
判读标准:vmstat 里 wa 持续超过 10% 说明存储是瓶颈;us 接近 100% 而 id 接近 0 说明 CPU 预处理是瓶颈。存储侧的判断依据是 fio 测出的带宽:若 4 并发顺序读只有几百 MB/s,而你的每个 epoch 需要在几分钟内读完几十 GB 数据,那必然喂不饱 GPU。此时有三种处理路径:把小文件打包成 WebDataset/TFRecord/Arrow 等连续格式(解决 IOPS 瓶颈)、多盘做 NVMe RAID 0(提升带宽)、或者把预处理离线化(提前算好,训练时只读结果)。
三、任务调度:多卡、多进程与资源争用
多卡环境下利用率低的另一大来源是调度混乱。常见情况:几个同事在同一台机器上各跑一个任务,都以为自己独占了 8 张卡,结果互相争抢;或者单进程内多卡负载不均。
# 看清楚每张卡上到底跑了哪些进程、各占多少显存 nvidia-smi nvidia-smi --query-compute-apps=pid,used_memory,gpu_uuid --format=csv # 用 CUDA_VISIBLE_DEVICES 严格隔离,让进程只看到分配给自己的卡 CUDA_VISIBLE_DEVICES=0,1 python train.py --gpus 2 CUDA_VISIBLE_DEVICES=2,3 python train.py --gpus 2 # 设置独占模式,防止其他进程误占(需 root,且变更会影响已有任务) sudo nvidia-smi -c EXCLUSIVE_PROCESS -i 0 # 开启 persistence mode,减少短任务反复启动的驱动初始化开销 sudo nvidia-smi -pm 1 # 多个小任务共享同一张卡时,可用 MPS 提高并发利用率 export CUDA_MPS_PIPE_DIRECTORY=/tmp/nvidia-mps export CUDA_MPS_LOG_DIRECTORY=/tmp/nvidia-mps-log nvidia-cuda-mps-control -d # 启动 MPS 守护进程 echo start_server | nvidia-cuda-mps-control
关于 MPS(Multi-Process Service)要谨慎:它让多个进程的 kernel 在同一张卡上并发执行,对小模型推理、多任务共享单卡场景能显著提高利用率;但它会隔离失效、一个进程崩溃可能影响同卡其他进程,且显存仍受单卡总量约束。训练任务通常不需要 MPS,用 CUDA_VISIBLE_DEVICES 做硬隔离更安全可靠。
3.1 NUMA 亲和也是调度的一部分
CPU 与 GPU 跨 NUMA 节点时,数据加载线程的内存访问要跨 Socket,延迟上升。用 numactl 绑定:
# 查看 NUMA 拓扑 numactl --hardware # 把训练进程绑定到与 GPU 同侧的 CPU 与内存 CUDA_VISIBLE_DEVICES=0,1,2,3 numactl --cpunodebind=0 --membind=0 python train.py
四、代码层面:把 GPU 等 CPU 的同步点找出来
有一类"利用率低"是代码写出来的,与硬件无关:
- 每个 step 打印或做
.item():把 GPU 张量取回 CPU 会强制同步,流水线被打断,利用率周期性掉零。 - 频繁调用
torch.cuda.synchronize():调试用可以,训练循环里出现就是性能杀手。 - batch size 太小:kernel 启动开销占比高,算力吃不饱。先尽量把单卡 batch 提到显存允许的上限,再用梯度累积模拟更大的全局 batch。
- CPU 侧做重逻辑:动态 mask 构造、复杂采样、Python 循环处理样本,都会让 GPU 等待。能向量化的尽量向量化,能预计算的提前算好。
- 混合精度未开启:FP32 训练算力比 BF16/FP16 低一个量级,且显存占用翻倍导致 batch 被迫减小。
# 用 PyTorch Profiler 定位 CPU/GPU 时间线与瓶颈算子
python - <<'EOF'
import torch, torchvision.models as models
from torch.profiler import profile, ProfilerActivity, tensorboard_trace_handler
model = models.resnet50().cuda()
x = torch.randn(64, 3, 224, 224).cuda()
opt = torch.optim.SGD(model.parameters(), lr=0.01)
with profile(activities=[ProfilerActivity.CPU, ProfilerActivity.CUDA],
with_stack=True, record_shapes=True,
on_trace_ready=tensorboard_trace_handler("./log")) as prof:
for _ in range(10):
out = model(x); loss = out.sum(); loss.backward(); opt.step(); opt.zero_grad()
print(prof.key_averages().table(sort_by="cuda_time_total", row_limit=15))
EOF
# 更底层的系统级剖析:Nsight Systems(需单独安装)
nsys profile -o report --trace=cuda,nvtx,osrt python train.py
Profiler 输出的判读重点:看 GPU kernel 之间是否有明显的空隙(说明 CPU 没喂上),以及 CUDA kernel 平均时长是否过短(大量几十微秒的 kernel 说明算子太碎,需要融合或增大 batch)。
五、硬件与驱动层面:别忽略降频和错误
如果软件侧都排完了,利用率还是上不去,检查硬件状态:
# 降频原因:出现 HW_THERMAL / HW_SLOWDOWN / SW_POWER_CAP 都说明硬件在自我保护 nvidia-smi --query-gpu=index,clocks.sm,clocks.max.sm,clocks_throttle_reasons.active,power.draw,power.limit,temperature.gpu --format=csv # ECC 错误计数:大量错误会导致重传与性能下降 nvidia-smi --query-gpu=index,ecc.errors.uncorrected.volatile.total,ecc.errors.corrected.volatile.total --format=csv # Xid 错误(驱动/硬件异常)会在 dmesg 中留下记录 dmesg -T | grep -i -E 'xid|nvidia' | tail -50 # PCIe 链路是否掉速 nvidia-smi --query-gpu=index,pcie.link.gen.current,pcie.link.gen.max,pcie.link.width.current --format=csv # DCGM 一键健康诊断 dcgmi diag -r 1 # 快速诊断 dcgmi diag -r 2 # 标准诊断 dcgmi diag -r 3 # 完整诊断(耗时较长,会占用 GPU)
常见 Xid 码的含义(用于快速判断严重性):Xid 13 通常是 GR 异常或与驱动/应用相关;Xid 31 多为 GPU 内存页错误,常指向显存故障或非法访问;Xid 43/45 常见于 GPU 停止响应(fallback 或 preemptive cleanup);Xid 48 多为 DBE(双比特 ECC 错误);Xid 63/64 与 NVLink 或行重映射相关。看到 Xid 79(GPU 掉出总线)基本意味着这张卡需要下线检修。出现这些错误时,不要继续硬跑训练,先隔离故障卡。
六、GPU利用率排查的标准流程
- 采样看形态:用
nvidia-smi --query-gpu=... -l 2或nvidia-smi dmon采样 5~10 分钟,判断是锯齿形、平稳低位还是多卡不均。 - 算 MFU:按"6 × 参数量 × token 数 ÷ 训练时间 ÷ 峰值 FLOPS"粗算,确认是真低效还是指标误读。
- 看 CPU 与 IO:
vmstat 1、iostat -x 1、pidstat -d 1,区分 CPU 瓶颈与存储瓶颈。 - 测存储吞吐:
fio实测数据集目录,带宽不足先优化数据格式或升级存储。 - 调 DataLoader:开启
pin_memory、调大num_workers与prefetch_factor、开启persistent_workers,并用non_blocking=True。 - 核对调度隔离:
nvidia-smi检查是否有其他进程占用,用CUDA_VISIBLE_DEVICES明确划分,必要时配numactl绑定。 - 查代码同步点:去掉训练循环里的
.item()、torch.cuda.synchronize()与高频日志;用 Profiler 找 kernel 间隙。 - 排除硬件降频:核对
clocks_throttle_reasons.active、温度与功耗墙;dmesg | grep Xid查错误。 - 跑 DCGM 诊断:
dcgmi diag -r 2做一次标准健康检查,作为是否报修的依据。 - 建立基线并回归:把优化后的吞吐、MFU、利用率曲线存档,后续代码或环境变更时对比,防止性能回退。
小结
GPU 利用率低不可怕,可怕的是盲目加卡或换机器。按"形态分类 → 数据链路 → 任务调度 → 代码同步 → 硬件健康"这个顺序排查,绝大多数问题都能在前三步解决。记住利用率只是表象,MFU 与端到端吞吐才是目标——把利用率从 30% 提到 90% 而训练时长不变,说明你只是让 GPU 更忙地空转;真正的优化应该体现为单 epoch 时间缩短或单位成本下降。
避坑清单
- 只看利用率百分比:它是"有无 kernel"的时间占比,不代表算力效率,务必结合 MFU 与端到端吞吐。
- num_workers 盲目调大:超过 CPU 核数会造成进程争抢与内存暴涨,反而更慢。
- 忘了 pin_memory:不锁页时 H2D 传输无法异步,GPU 每次都要等数据搬完。
- 多任务不隔离:不同时用
CUDA_VISIBLE_DEVICES划分,多进程互相抢占会让所有任务都变慢。 - 忽略 Xid 错误:
dmesg -T | grep -i xid是判断硬件故障最快的方式,带病运行可能导致训练结果错误。 - 在训练循环里做同步取值:
.item()与torch.cuda.synchronize()会打断流水线,日志与指标统计应降频或异步化。 - 忽略散热与功耗墙:温度超过阈值触发降频时,利用率可能仍然很高,但时钟已经降下来了。
关键词回顾:显卡利用率低、GPU性能排查、数据加载、DataLoader参数、任务调度、nvidia-smi dmon、DCGM、Xid错误、NUMA亲和。
企业QQ咨询




