多GPU服务器如何配置?显卡数量、PCIe带宽与散热规划详解

一台机器插满 8 张卡,理论算力是单卡的 8 倍,但实际训练加速比常常只有 5 倍甚至 3 倍;有时任务跑着跑着突然变慢一半,查了一圈才发现有卡掉到了 PCIe Gen3 x4;还有的情况是机器刚跑满负载十分钟就开始降频,功耗墙和温度墙同时触发,八张卡的钱只买到了六张卡的算力。多 GPU 服务器的配置,难点不在"插几张卡",而在卡数、互联带宽、CPU 与内存配比、NUMA 亲和、供电与散热这五件事是否匹配。本文按这五条线逐一展开,给出可复制的检查命令和一套配置决策流程。

一、显卡数量怎么定:先算显存,再算加速比

决定卡数的第一约束永远是显存,不是算力。模型装不进去,再多算力也没用。先按下面的公式估算单任务的总显存需求,再除以单卡可用显存:

训练总显存 ≈ 参数量 × 每参数字节数(AdamW + 混合精度经验值 16~20 字节)
            + 激活值(与 batch size、序列长度、隐藏维度正相关)
            + 框架与碎片开销(经验预留 1~3 GB 或 10%~15%)

推理总显存 ≈ 权重(BF16 约 2 字节/参数,FP8/INT8 约 1 字节/参数)
            + KV Cache(2 × 层数 × 头数 × head_dim × 序列长 × 并发 × 精度字节)
            + 少量激活 + 框架开销

算出来之后,卡数还要过第二关:加速比是否合理。多卡训练的加速比受两件事侵蚀——并行带来的通信开销,以及无法并行的串行部分(Amdahl 定律)。数据并行下每个 step 要做一次 all-reduce 梯度同步,通信量约等于模型参数量 × 精度字节数 × 2;如果卡间互联带宽不足,通信时间会超过计算时间,加速比断崖式下跌。经验判断标准:

卡数与互联预期训练加速比说明
2 卡,NVLink 直连1.7~1.9×通信开销小,接近线性
4 卡,NVLink 全互联3.2~3.7×仍是主流甜点配置
8 卡,NVLink + NVSwitch6~7.5×需要良好的通信重叠优化
8 卡,仅 PCIe Gen4 交换3~5×大 batch 尚可,小 batch 通信占比高
8 卡,跨 CPU Socket(SYS 互联)2.5~4×all-reduce 走 CPU 互联,明显受限

所以一个很实用的建议是:如果单卡能装下,优先用更少的卡 + 更大的 batch,而不是堆卡数。只有在单卡显存不足、或者确实需要缩短训练时间时,才向上加卡,并且必须同步确认互联拓扑够用。

二、PCIe 带宽与拓扑:配置前必须先看的一张矩阵

多卡服务器的性能差异,大半藏在这张拓扑矩阵里。用下面的命令拿到实机拓扑:

# 打印 GPU 与 GPU、GPU 与网卡之间的连接矩阵
nvidia-smi topo -m

# 同时标注 NUMA 与 CPU 亲和关系
nvidia-smi topo -mp

# 确认每张卡实际运行的 PCIe 代际与通道宽度
nvidia-smi --query-gpu=index,name,pcie.link.gen.max,pcie.link.gen.current,pcie.link.width.current --format=csv

输出矩阵里各标记的含义:NV# 表示两卡之间有 NVLink 连接(数字越大通常表示链路数越多);PIX 表示两卡挂在同一个 PCIe 交换机下;PHB 表示经过 PCIe 主机桥;NODE 表示在同一 NUMA 节点但不同桥;SYS 表示跨 NUMA 节点,通信要经过 CPU 之间的互联(如 UPI/Infinity Fabric)。看到大量 SYS 就要警惕——跨 Socket 的 GPU 通信延迟和带宽都远差于同 Socket。

PCIe 通道数同样关键。高端 GPU 设计为 PCIe x16,如果插在共享通道的槽位上,可能被拆成 x8 甚至 x4,带宽直接腰斩。判读标准:pcie.link.width.current 显示 16 且 pcie.link.gen.current 等于 gen.max 才算跑满;如果 width 只有 8 或 4,先检查槽位是否被拆分、BIOS 里是否开启了相关 bifurcation 设置。还要注意链路是在空闲时降速的——PCIe 有 ASPM 省电机制,空载时可能显示低代际,需要在负载下再确认一次。

另一个常被忽略的点是NUMA 亲和。CPU 与 GPU 不在同一个 NUMA 节点时,数据要跨 Socket 传输,延迟上升、带宽下降。除了看 topo -mp,还可以用 numactl 验证与绑定:

# 查看 NUMA 节点划分与 CPU/内存分布
numactl --hardware
lscpu | grep -i numa

# 查看某张卡挂载在哪个 NUMA 节点
cat /sys/class/pci_bus/0000:*/device/numa_node 2>/dev/null
for d in /sys/bus/pci/devices/*/numa_node; do echo -n "$d: "; cat $d; done | grep -v '^$'

# 把训练进程绑定到指定 NUMA 节点的 CPU 与本地内存
numactl --cpunodebind=0 --membind=0 python train.py

# 用 CUDA_VISIBLE_DEVICES 限定进程可见的卡,避免跨节点混用
CUDA_VISIBLE_DEVICES=0,1,2,3 numactl --cpunodebind=0 --membind=0 python train.py

实践中的常见做法:把八卡按 NUMA 分成两组,每组四卡绑定对应 Socket 的 CPU 与内存,同时用 CUDA_VISIBLE_DEVICES 让每个进程只看到自己那一组卡。这样既避免了跨 Socket 通信,也避免了数据加载线程抢错核。

三、CPU、内存与存储配比:别让 GPU 等人

多卡机器最容易出现的浪费是"卡在等数据"。配比建议:

  • CPU:每张高端训练卡配 8~16 核较为稳妥,数据加载与预处理密集的任务(图像增强、视频解码、长文本分词)要往上限靠。
  • 内存:单卡对应 32~64 GB 是常见区间。内存不足会触发 swap,导致整个训练卡死。注意大模型加载阶段(尤其是从 checkpoint 恢复、做 CPU offload)内存峰值可能远高于稳态。
  • 系统盘与数据盘分离:系统盘用 SSD 保证稳定性,数据盘按吞吐需求选 NVMe 或多盘 RAID。
  • DataLoader 参数:num_workers 建议从 4 × GPU 数 起步,配合 pin_memory=True 与 prefetch_factor=2~4;如果 vmstat 里 CPU 的 idle 接近 0 而 GPU 利用率周期性归零,说明 worker 不够或存储太慢。
# 实测数据集读取吞吐:4 并发 1MB 顺序读
fio --name=seqread --directory=/data/train --rw=read --bs=1m --size=20g \
    --numjobs=4 --ioengine=libaio --direct=1 --group_reporting --runtime=60 --time_based

# 观察 GPU 是否周期性空转(利用率掉 0)以及 CPU 是否卡在 iowait
nvidia-smi --query-gpu=utilization.gpu,utilization.memory,memory.used --format=csv -l 1
vmstat 1

如果 fio 测出的持续读取带宽低于训练所需吞吐(数据集大小 ÷ 单 epoch 期望时间),那么多卡配置再豪华也只是把等待时间放大数倍。此时应优先做数据格式优化(大文件打包)或升级存储,而不是加卡。

四、供电与散热:决定你能拿到多少"实算算力"

功耗与散热是多卡服务器最容易被低估的一环。一台八卡 H100 整机功耗可达数千瓦量级,普通机柜根本喂不饱;而 GPU 一旦触及温度墙或功耗墙,会通过降频自我保护,标称算力直接打折。

# 实时采样:功耗(pwr)、温度(temp)、SM 利用率(sm)、显存占用(mem)、时钟(clk)
nvidia-smi dmon -s pucvmet -d 5

# 查看当前是否发生降频以及降频原因
nvidia-smi --query-gpu=index,temperature.gpu,power.draw,power.limit,clocks.sm,clocks_throttle_reasons.active --format=csv

# 设定功耗上限(例如限到 400W,用于机柜功率受限场景,代价是算力下降)
sudo nvidia-smi -pl 400

散热规划的几个实操要点:

  • 进风温度:数据中心 GPU 机型对进风温度敏感,常见做法是维持较低的冷通道温度并保证风道封闭,避免热回流。
  • 风道与风压:GPU 多为被动散热的 SXM 形态或涡轮风扇形态,依赖服务器内部高风压风扇,机箱风扇策略异常会导致局部过热。
  • 高密度选液冷:单机柜功率密度超过风冷经济区间时,冷板式液冷是常见选择,能显著改善高负载下的持续频率。
  • 留功耗余量:电源与机柜配电要按整机峰值而非平均功耗规划,瞬时功耗尖峰可能触发整机过流保护。
  • 开启 persistence mode:sudo nvidia-smi -pm 1,避免每次任务启动时驱动重新初始化带来的延迟,代价是空闲时保持基础功耗。

验收标准可以这么定:满载跑 30 分钟,nvidia-smi dmon 里 temp 稳定在 80℃ 以下、pwr 未长期贴着 power.limit、clocks_throttle_reasons.active 中没有 SW_POWER_CAP 或 HW_THERMAL,才算散热与供电合格。出现 HW_SLOWDOWN 类原因就要立刻排查风道与环境温度。

五、系统层与 BIOS:容易漏掉的几项设置

硬件装好后,还有几项系统层设置会直接影响多卡表现:

  • Above 4G Decoding / 64-bit BAR:必须在 BIOS 开启,否则大量 PCIe 设备地址空间不足,可能导致部分卡识别不到或性能异常。
  • Resizable BAR:允许 CPU 一次访问整块显存,部分场景有收益,按需开启。
  • IOMMU:直通给虚拟机时通常需开启;纯物理机训练场景可按需关闭以减少开销,但要注意与 ACS(Access Control Services)配合,ACS 未正确配置会强制 P2P 传输绕经 CPU,严重拖慢 GPU 间通信。
  • ECC:数据中心卡默认开启 ECC,会占用少量可用显存,换来的是长期训练中的数据正确性;长时间训练任务不要为了多那一点显存关闭它。
  • 关闭不必要的图形服务:计算卡不需要 X server,避免额外占用显存。

六、多GPU配置实施清单

  1. 算显存定卡数下限:按权重 + 梯度 + 优化器 + 激活 + 开销估算,得出最少需要几张卡。
  2. 确认互联拓扑:索要或亲自执行 nvidia-smi topo -m,确认 NVLink 覆盖情况与是否存在大量 SYS 连接。
  3. 核对 PCIe 链路:执行 --query-gpu=pcie.link.gen.current,pcie.link.width.current,要求 Gen 与 Width 均跑满设计值。
  4. 检查 NUMA 划分:执行 numactl --hardware,确认 CPU、内存与 GPU 的对应关系,规划 CUDA_VISIBLE_DEVICES 分组。
  5. 核对 CPU/内存配比:按每卡 8~16 核、32~64 GB 内存核对,不足则调整机型或降低 num_workers。
  6. 测存储吞吐:用 fio 测数据集目录,确认满足单 epoch 时间要求,不达标先优化数据格式。
  7. 开启 persistence mode 与核对 ECC:nvidia-smi -pm 1,确认 ECC 处于开启状态。
  8. 满载烤机 30 分钟:用 nvidia-smi dmon 采样温度、功耗、时钟与降频原因,确认无温度墙与功耗墙。
  9. 跑一遍真实任务做加速比测试:分别测 1/2/4/8 卡的实际吞吐,算出加速比曲线,作为长期基线。

小结

多 GPU 服务器的配置逻辑是"先满足显存下限,再验证互联带宽,最后保证供电散热能长期维持"。这三个环节任何一环掉链子,都会让昂贵的卡变成摆设。建议把 nvidia-smi topo -m、PCIe 链路查询、fio 吞吐测试和满载烤机做成标准化的验收脚本,每次新机器上架都跑一遍并留存基线数据,后续出现性能回退时才有对照依据。

避坑清单

  • 只看卡数不看拓扑:8 卡全走 SYS 互联的机器,训练加速比可能还不如 4 卡 NVLink。
  • 忽略 PCIe 宽度降级:x8/x4 链路会让多卡通信与数据搬运大幅变慢,务必核对 pcie.link.width.current。
  • CPU 核数配得太少:数据加载线程与 GPU 争抢 CPU,表现为 GPU 利用率周期性掉零。
  • 机柜功率不足被迫降频:签机房前先确认单机柜可用功率与制冷方式,否则只能用 nvidia-smi -pl 限功耗换稳定。
  • 未开启 persistence mode:短任务反复启动会有驱动初始化开销,吞吐测试也更容易抖动。
  • 为省显存关闭 ECC:长周期训练中出现静默数据错误,损失远大于省下的那点显存。
  • 跨 NUMA 混用 GPU:用 numactl 与 CUDA_VISIBLE_DEVICES 按 Socket 分组,避免无谓的跨节点传输。

关键词回顾:多GPU服务器、显卡数量、PCIe带宽、NVLink拓扑、NUMA亲和、散热规划、nvidia-smi topo -m、加速比。