一个很常见的做法:团队花大价钱租了一台 8 卡训练服务器,模型训练完成后顺手就把推理服务也部署在同一台机器上,结果发现每天 GPU 利用率只有百分之十几,成本却一点没降。反过来也有:把一批 L40S 或 4090 拿来跑 70B 模型的全参数微调,显存不够、通信太慢,折腾两周最后还是换机器。训练和推理对硬件的需求几乎是两个方向:训练是"吞吐优先、容量优先、通信优先",推理是"延迟优先、带宽优先、成本优先"。本文从显存构成、算力类型、互联要求、存储与网络、以及成本核算方式五个维度,把两者的硬件取舍讲透,并给出一套按任务类型反推配置的实操方法。
一、最本质的区别:显存里装的东西不一样
理解训练与推理差异,最快的方式是看显存被谁占用了。同一个 7B 模型,训练和推理的显存构成完全不同:
训练显存 ≈ 模型权重 + 梯度 + 优化器状态 + 激活值 + 框架与碎片开销
(以 AdamW + BF16 混合精度为例,常见经验值约为每参数 16~20 字节:
权重 FP32 主副本 4 + 梯度 4 + Adam m/v 状态 8,外加 BF16 权重与激活)
推理显存 ≈ 模型权重 + KV Cache + 少量激活值 + 框架与碎片开销
(权重按部署精度:BF16 约 2 字节/参数,FP8/INT8 约 1 字节/参数)
(KV Cache 随 层数 × 并发数 × 序列长度 线性增长,是推理侧最大变量)
这两行公式解释了很多现象。为什么 7B 模型推理用一张 24GB 的 RTX 4090 就能跑,而全参数微调却要 80GB 的 A100/H100?因为训练时每个参数背后要挂梯度和优化器状态,显存占用从"2 字节/参数"膨胀到十几字节/参数,整整放大了一个数量级。这也是 LoRA、QLoRA 这类参数高效微调方法流行的根本原因——它们冻结主干权重,只为少量低秩矩阵保存优化器状态,把训练显存压回到接近推理的水平。
推理侧的变量则是 KV Cache。它缓存的是注意力层已经算过的 Key/Value,用来避免每生成一个 token 就重算整个上下文。它的大小大致正比于"层数 × 注意力头数 × head_dim × 序列长度 × 并发请求数 × 精度字节数",而且是每个并发序列各占一份。所以推理服务器的显存规划逻辑是:装下权重只是起步,剩下的显存几乎全部用于换取并发能力,并发越高、上下文越长,单位请求成本越低。
二、算力类型不同:训练看算力峰值,推理看显存带宽
训练是典型的 compute-bound(计算受限)负载。大矩阵乘法、卷积这些操作的算术强度高,数据从显存取进来后会被反复使用,因此瓶颈在 FP16/BF16(以及新一代的 FP8)张量核心算力上。评测训练卡时,大家看的是 TFLOPS 峰值、以及实际能达到的 MFU(Model FLOPs Utilization,模型算力利用率)。MFU 能到 40%~50% 已经是相当不错的训练集群,超过这个值通常意味着做了很好的算子融合与通信重叠。
推理则分两个阶段,性质截然不同:
- Prefill(预填充):把用户的整个 prompt 一次性送入模型做前向计算。这个阶段是大批量矩阵运算,接近 compute-bound,能吃满算力。
- Decode(解码):逐 token 生成。每生成一个 token 都要把完整权重从显存读一遍,算术强度极低,是典型的 memory-bound。单 token 延迟 ≈ 权重总量 ÷ 显存带宽。
这个区分非常重要:它解释了为什么 H100(80GB HBM3,约 3.35 TB/s)在推理上也贵得有道理——带宽翻倍,decode 阶段速度几乎翻倍,同样的 SLA 下能支撑的并发翻倍。也解释了为什么显存带宽较低的卡(如 L40S 约 864 GB/s)适合做 prefill 重、decode 短的批处理任务,或者干脆用来跑小模型、做视频图像类高算术强度任务,但不太适合做超长上下文的交互式对话。
用下面这组命令观察你的负载到底卡在哪一端:
# 区分算力与显存访问瓶颈:utilization.gpu 高而 utilization.memory 低 → 计算密集 # utilization.memory 接近 100% 而 utilization.gpu 偏低 → 访存受限(典型 decode) nvidia-smi --query-gpu=utilization.gpu,utilization.memory,memory.used,memory.total,power.draw --format=csv -l 1 # 更细粒度地看:DCGM 可以给出 SM 占用率、DRAM 占用率等剖析指标 dcgmi dmon -e 200,201,202,203,204 -d 5 # 查看是否有降频(clocks throttle reasons),排除硬件层面的性能损耗 nvidia-smi --query-gpu=clocks_throttle_reasons.active --format=csv
判断标准可以这样定:utilization.gpu 长期高于 80% 且 utilization.memory 只有 30%~50%,说明是计算受限,升级算力更高的卡效果明显;反过来 utilization.memory 长期贴着 90% 以上而 utilization.gpu 在 50% 以下,说明是带宽受限,此时换更高带宽的 HBM 卡、或做量化降低权重体积,收益远大于堆算力。
三、互联要求:训练几乎必须高速互联,推理可以松散
训练要频繁做梯度同步。数据并行时每个 step 结束要做一次 all-reduce,模型大到需要张量并行时,每一层的注意力与 FFN 计算中间都要做 all-gather / reduce-scatter,通信量与层数、隐藏维度、序列长度、batch size 直接相关。这意味着卡间带宽决定了多卡训练能否线性加速。
# 查看 GPU 互联拓扑:NV# 表示 NVLink 直连,PIX/PHB/SYS 表示走 PCIe 或跨 CPU nvidia-smi topo -m # 查看当前链路代际与宽度,确认是否跑满 x16 Gen4/Gen5 nvidia-smi --query-gpu=index,pcie.link.gen.max,pcie.link.gen.current,pcie.link.width.current --format=csv # 多机训练时确认网卡与 RDMA 状态 ibstat 2>/dev/null || rdma link
推理的互联需求则低得多。如果模型能装进单卡,推理就是完全独立的并行任务,卡之间几乎不需要通信——此时推理集群可以横向扩展到很多台普通 PCIe 机器,靠负载均衡分发请求即可。只有当模型大到需要跨卡切分(张量并行)时,推理才需要 NVLink 级的互联。这就是为什么大规模推理部署常见两种架构并存:小模型用大量中低端卡做横向扩展,超大模型用少量 NVLink 全互联节点做张量并行。
| 对比维度 | 训练服务器 | 推理服务器 |
|---|---|---|
| 核心目标 | 单位时间处理尽可能多的 token(吞吐) | 单位 token 成本最低 + 满足延迟 SLA |
| 显存关键项 | 权重 + 梯度 + 优化器状态 + 激活 | 权重 + KV Cache(并发的函数) |
| 算力关注点 | FP16/BF16/FP8 张量核心峰值、MFU | 显存带宽、decode 阶段访存效率 |
| 卡间互联 | NVLink / 高速 RDMA,强依赖 | 单卡可装下时几乎无要求,靠横向扩展 |
| 典型卡型 | H100/H800/A100 80GB 等大显存 HBM 卡 | H100 高带宽卡、L40S 48GB、4090 24GB 按场景分层 |
| 存储要求 | 高吞吐数据集读取,NVMe RAID 或并行文件系统 | 主要是模型权重加载,本地 SSD 即可 |
| 容错与调度 | 需断点续训、长时间独占、故障代价高 | 无状态、可随时迁移、按并发弹性扩缩 |
| 成本核算 | 按卡时 × 训练时长 | 按每百万 token 成本 / 每 QPS 成本 |
四、存储与网络:训练的数据供给链是硬指标
训练服务器最容易踩的坑不是算力不够,而是数据喂不进去。一个典型症状:nvidia-smi 里 GPU 利用率周期性掉到 0,而 CPU 却跑满。这几乎一定是数据加载或预处理成了瓶颈。相关的关键参数:
- DataLoader 的
num_workers:每个 worker 是一个独立进程,数量不足会导致 GPU 等待;数量过多会造成进程争抢 CPU、内存暴涨。经验起点是num_workers = 4 × GPU 数,再根据 CPU 核数调整。 pin_memory=True:把数据锁页到主机内存,配合non_blocking=True的.cuda()可以让 H2D 传输与计算重叠,通常能带来稳定收益。prefetch_factor:每个 worker 预取的 batch 数(PyTorch 默认 2),序列长、样本大时可以调高,代价是内存占用上升。- 存储吞吐:数据集总大小 ÷ 每个 epoch 允许的时间 = 需要的持续读取带宽。若单盘 NVMe 顺序读约 3 GB/s 量级,做 RAID 0 可以成倍提升;TB 级数据集且多机共享时,常考虑 Lustre、GPFS 等并行文件系统或高速 NFS。
用 fio 实测数据集所在目录的读取吞吐,是判断存储是否达标的标准动作:
# 顺序读测试,模拟大规模数据集按 epoch 读取
fio --name=seqread --directory=/data/train --rw=read --bs=1m --size=20g \
--numjobs=4 --ioengine=libaio --direct=1 --group_reporting --runtime=60 --time_based
# 随机小文件读测试,模拟海量小样本(图片/短文本)场景
fio --name=randread --directory=/data/train --rw=randread --bs=4k \
--numjobs=8 --ioengine=libaio --direct=1 --group_reporting --runtime=60 --time_based
# 同时观察 CPU 是否卡在 iowait / 系统调用
vmstat 1
pidstat -d 1
判读方法:如果 4 并发 1MB 顺序读的总带宽连 1 GB/s 都不到,那么训练时数据加载必然成为瓶颈,此时升级 GPU 毫无意义。海量小文件场景尤其要注意:随机 4K 读的 IOPS 才是决定因素,把小样本打包成 TFRecord、WebDataset、Arrow 这类大文件连续格式,往往比换更快的盘收益更大。
推理服务器对存储的要求简单得多:主要是启动阶段把权重从磁盘读进显存,之后几乎不再访问磁盘。所以推理机用本地 NVMe 甚至普通 SSD 都够用,把预算省下来投到显存带宽和卡数上更划算。
五、如何按任务反推配置:实操决策流程
把上面的取舍串成一个可执行的流程:
- 确认任务类型与模型规模:预训练/全参微调、LoRA 微调、还是推理?参数量是多少?
- 估算显存需求:训练按"每参数 16~20 字节(AdamW + 混合精度)"粗算,LoRA 可大幅下降;推理按"权重 + KV Cache + 开销"算,先确定目标上下文长度和并发数再算 KV Cache。
- 确定单卡能否装下:装得下走单卡/数据并行路线,装不下必须引入张量并行或流水线并行,此时互联带宽成为硬门槛。
- 判断瓶颈类型:训练默认按计算受限规划(看算力峰值与 MFU);推理按 decode 访存受限规划(看显存带宽),长上下文高并发场景尤其如此。
- 实测验证:用
nvidia-smi --query-gpu=utilization.gpu,utilization.memory,... -l 1采样,配合dcgmi dmon看 SM/DRAM 占用,确认瓶颈判断是否正确。 - 按成本核算:训练算"卡时 × 时长",尽量缩短训练时间;推理算"每百万 token 成本",尽量提高单卡并发与利用率。
- 分池部署:把训练池与推理池分开,训练用大显存高互联机型并按任务排队独占,推理按并发弹性扩缩,避免互相干扰。
小结
训练和推理不是"同一件事的两个阶段",而是两种负载形态:训练吃容量、算力和通信,推理吃带宽、并发和成本。把这两件事放在同一批机器上做,通常会得到"训练时资源紧张、推理时资源浪费"的双输结果。正确的做法是分池规划——训练池追求最短 Time-to-Train,推理池追求最低 Cost-per-Token,各自的卡型、数量与租用周期也应当分别决策。
避坑清单
- 用推理卡做全参训练:24GB/48GB 卡装不下大模型的优化器状态,显存会直接 OOM。
- 只看 TFLOPS 选推理卡:decode 阶段瓶颈在显存带宽,算力高但带宽低的卡性价比可能更差。
- 忽略 KV Cache 规划:上线后并发一上来就 OOM,往往是 KV Cache 没预留够,可参考 PagedAttention 的分页思路做显存管理。
- 多机训练用普通以太网:梯度同步会把训练拖垮,多机场景必须有 RDMA/InfiniBand 或 RoCE 高速网络。
- 训练机跑推理服务:推理是常驻低利用率负载,长期占用训练机会让昂贵的算力长期闲置。
- 不做断点续训:长周期训练任务必须定期保存 checkpoint,否则一次硬件故障损失整个训练周期。
关键词回顾:AI训练服务器、AI推理服务器、硬件配置、显存估算、显存带宽、KV Cache、互联拓扑、成本对比。
企业QQ咨询




