很多团队愿意为一台 8 卡训练服务器付出高昂租金,却在存储上选了最低配:一块 SATA SSD 或者几块机械盘凑数。结果训练跑起来,八张卡的利用率平均只有三成,每个 epoch 要跑好几个小时,其中大部分时间在等数据。这在 AI 服务器选型里是最典型的"高配低用"。GPU 的算力只有在数据按时送达时才有意义——存储系统决定了数据供给链的上限,而这条链路上的任何一处瓶颈,都会被昂贵的 GPU 放大成真实的成本损失。本文讲清楚训练为什么需要高速存储、怎么量化需求、如何实测、以及不同存储方案的取舍。
一、GPU 为什么会"饿着":一条完整的供给链
训练时一个 batch 的数据要经历完整链路才能送到张量核心:
- 磁盘上的文件(可能是几百万张小图、也可能是若干打包好的大文件)
- 内核页缓存(page cache)与文件系统层
- 用户态内存(DataLoader worker 读取并做解码/增强)
- 锁页内存(pin memory,供 DMA 传输)
- 显存(H2D 拷贝,与计算重叠)
每一环都有自己的吞吐上限,最终有效吞吐是这条链路上最慢的一环(木桶效应)。所以"存储慢"的表现未必是磁盘打满——更常见的是 CPU 在等 IO(wa 升高)或者 worker 进程抢不到 CPU,而 GPU 侧表现为利用率锯齿形波动、周期性掉零。
# 观察锯齿形态:利用率冲高后掉到 0,是数据供给不足的典型特征 nvidia-smi --query-gpu=timestamp,utilization.gpu,utilization.memory,memory.used --format=csv -l 1 # 同时观察 CPU 时间分布:wa 高 = 等 IO;us 高 = 预处理重;id 高 = 线程没跑满 vmstat 1 iostat -x 1 pidstat -d 1
二、把存储需求算成一个数字
存储选型不该凭感觉,应该从训练任务反推。核心公式只有一条:
所需持续读取带宽 = 数据集总大小 ÷ 单个 epoch 允许的时间 × 冗余系数
举例:数据集 2 TB,希望单 epoch 在 30 分钟内读完
2 TB ÷ 1800 s ≈ 1.14 GB/s(这是净数据量的下限)
考虑多轮 epoch 有页缓存命中、但第一轮必然冷读,
并按 1.3~1.5 冗余系数留余量 → 目标带宽 1.5~2 GB/s
注意:这个值是"顺序读吞吐"。如果数据集由海量小文件组成,
真正的瓶颈是随机读 IOPS,而不是顺序带宽,需要另算:
所需 IOPS ≈ 每秒需处理的样本数 × 每样本的元数据/打开开销
还要考虑两个放大因素。第一,多卡并行会成倍放大读取需求:8 卡数据并行时,每个 rank 各自读取自己那一份 shard,瞬时带宽需求是单卡的 8 倍,若共用一块盘就会互相抢。第二,checkpoint 写入是突发大流量:大模型训练每隔一段时间要保存几十 GB 到几百 GB 的 checkpoint,如果存储写入慢,保存期间 GPU 完全空闲。这两点常常被忽略,直到实际跑起来才暴露。
三、存储方案对比:按吞吐、IOPS 与共享需求选
| 方案 | 持续吞吐(量级) | 随机 IOPS | 共享性 | 适用与不适用 |
|---|---|---|---|---|
| 机械硬盘(HDD)单盘 | 150~250 MB/s | 很低(百级) | 本地 | 只适合归档与冷数据,不适合训练 |
| SATA SSD 单盘 | 约 500 MB/s | 数万 | 本地 | 小数据集、推理机可用;大模型训练偏弱 |
| NVMe SSD 单盘 | 数 GB/s 量级 | 数十万 | 本地 | 单机训练主力;容量有限,注意写入寿命 |
| 多盘 NVMe RAID 0 | 接近单盘带宽 × 盘数 | 成倍提升 | 本地 | 高吞吐单机训练;无冗余,需配合备份策略 |
| NFS(网络文件系统) | 受网络与服务端限制,单流通常几百 MB/s | 一般 | 强,多机共享 | 小团队共享与小数据集;大规模训练易成瓶颈 |
| Lustre / GPFS 等并行文件系统 | 可聚合到数十 GB/s 以上 | 高 | 强 | 大规模多机训练集群;建设与运维成本高 |
| 对象存储(S3 兼容) | 取决于并发与网络 | 元数据操作慢 | 极强 | 数据集归档与分发;直接训练需配本地缓存层 |
选型的核心判断标准有三条:是否需要多机共享(决定走本地还是网络存储)、数据集是"大文件连续读"还是"海量小文件随机读"(决定看带宽还是看 IOPS)、总容量与预算(决定用几块多大容量的盘)。单机训练且数据集能本地化时,NVMe RAID 0 是性价比最高的方案;多机训练必须共享数据时,小规模可用高速 NFS,规模上去后要考虑 Lustre 这类并行文件系统或"对象存储 + 本地缓存"的两级架构。
3.1 小文件问题往往比带宽问题更致命
视觉、语音、短文本类数据集常常是几十万到几千万个小文件。此时瓶颈不是顺序带宽而是元数据操作与随机 IOPS:每打开一个文件要走路径解析、inode 查找、权限检查,这些开销在小文件场景里占比极高。解决思路是改变数据组织方式,而不是一味升级硬件:
- 把样本打包成 WebDataset(tar 分片)、TFRecord、Arrow/Parquet 等连续格式,顺序读取大文件。
- 使用 LMDB、HDF5 等单文件数据库,把随机访问变成文件内偏移访问。
- 必要时用
tmpfs(内存盘)或本地 NVMe 做热数据缓存层,冷数据留在共享存储。 - 调整文件系统的挂载参数与预读策略,并避免在网络存储上做海量元数据遍历。
四、用 fio 实测:不要相信标称值
存储性能必须实测,标称带宽和真实表现差距很大。标准测法是分别测顺序读与随机读,并做多并发:
# 测试 1:顺序读,模拟大文件/打包格式的数据集按 epoch 读取
fio --name=seqread --directory=/data/train --rw=read --bs=1m --size=20g \
--numjobs=4 --ioengine=libaio --iodepth=16 --direct=1 \
--group_reporting --runtime=60 --time_based
# 测试 2:随机小读,模拟海量小文件场景
fio --name=randread --directory=/data/train --rw=randread --bs=4k \
--numjobs=8 --ioengine=libaio --iodepth=32 --direct=1 \
--group_reporting --runtime=60 --time_based
# 测试 3:模拟多卡并行读取(8 个 rank 同时读)
fio --name=multi --directory=/data/train --rw=read --bs=1m --size=10g \
--numjobs=8 --ioengine=libaio --iodepth=16 --direct=1 \
--group_reporting --runtime=60 --time_based
# 测试 4:写入性能,评估 checkpoint 保存耗时
fio --name=write --directory=/data/ckpt --rw=write --bs=1m --size=20g \
--numjobs=1 --ioengine=libaio --iodepth=8 --direct=1 \
--group_reporting --runtime=60 --time_based
关键参数说明:--direct=1 绕过页缓存,测的是真实设备能力(如果不加,测到的可能是内存速度);--numjobs 模拟并发进程数;--iodepth 是队列深度,机械盘靠深度提升吞吐,NVMe 需要足够深度才能打满;--group_reporting 汇总输出便于读数。
结果判读:看输出里的 READ: bw=xxx MiB/s 这一行的聚合带宽。若 4 并发顺序读不到 1 GB/s,而有 8 张卡在等数据,那么存储必然是瓶颈。还要看 lat(延迟)分布:网络存储上延迟抖动大,会导致 GPU 利用率出现不规则毛刺,即使平均带宽达标也会影响端到端时间。
五、缓存与内存:用便宜的资源换昂贵的 GPU 时间
如果第一遍冷读不可避免,可以通过缓存策略让后续 epoch 变快:
- 页缓存(page cache):Linux 会自动用空闲内存缓存文件。数据集能装进内存时,第二个 epoch 起基本是内存速度。用
free -h看buff/cache,用vmstat观察cache变化。 - 主动预热:训练开始前先顺序读一遍数据集(如
cat到/dev/null或写一个小脚本遍历),把数据压进页缓存。 - 本地 SSD 作为共享存储的缓存层:数据集归档在对象存储或 NFS,训练前同步到本地 NVMe,训练中只读本地盘。
- 内存足够时的 tmpfs:小数据集可直接挂载到
/dev/shm,但要注意 tmpfs 占用的是内存,会挤掉页缓存与进程可用内存。
# 查看内存与缓存占用 free -h # 手动清理页缓存(仅在需要重测冷读性能时执行,生产环境慎用) sync; echo 3 > /proc/sys/vm/drop_caches # 查看进程实际占用内存与是否有 swap 活动(swap 出现会严重拖慢训练) vmstat 1 cat /proc/meminfo | grep -E 'SwapTotal|SwapFree|Dirty|Writeback'
判断标准:vmstat 里 si/so(swap 换入换出)持续大于 0,说明内存不足已开始换页,此时即使存储很快,训练也会卡死。多卡训练的内存规划要包含 DataLoader worker 的副本开销——每个 worker 会复制 dataset 对象,num_workers 设得过大很容易把内存吃光。
六、把存储和 GPU 利用率联动起来排查
实际排查时,建议把存储指标和 GPU 指标放在同一时间轴上看。下面是一个可复制的联动排查流程:
- 先采样 GPU 形态:
nvidia-smi --query-gpu=utilization.gpu,utilization.memory --format=csv -l 1,确认是否是锯齿形(周期性掉零)。 - 同时采样 CPU 与 IO:另开终端跑
vmstat 1与iostat -x 1,看wa、%util、await是否在 GPU 掉零的时间点同步升高。 - 确认瓶颈在盘还是在 CPU:
wa高且磁盘%util接近 100% → 存储瓶颈;us高而%util低 → CPU 预处理瓶颈。 - 用 fio 量化存储能力:按第四节的四条命令实测,得出顺序读、随机读、多并发读与写入的实际数值。
- 对照需求判断是否达标:把实测带宽与"数据集大小 ÷ epoch 期望时间"对比,并额外核对 checkpoint 写入耗时。
- 按瓶颈类型优化:带宽不足 → NVMe 或多盘 RAID;IOPS 不足 → 打包数据格式;共享不足 → 并行文件系统或本地缓存层;CPU 不足 → 减少在线预处理、加核或离线预计算。
- 回归验证:优化后重跑同一个 epoch,对比 GPU 平均利用率与单 epoch 时长,用数据确认收益。
顺带一提,DataLoader 侧的调整也应与存储匹配:num_workers 从 4 × GPU 数 起步并按 CPU 核数设上限,pin_memory=True 配合 non_blocking=True,prefetch_factor 在数据读取慢时调高(代价是内存占用),persistent_workers=True 避免每 epoch 重新 fork。这些参数只有建立在"存储够快"的前提下才有意义。
小结
AI 服务器需要高速存储,根本原因是GPU 的时间远比存储的成本贵。一块 NVMe 的差价,可能抵不上八张卡浪费一天算力的零头。选型时按"数据集大小 ÷ epoch 期望时间 × 冗余系数"算出带宽需求,再结合是否需要多机共享、数据是大文件还是海量小文件,决定走本地 NVMe RAID、高速网络存储还是并行文件系统。最后一定要用 fio 实测,用 GPU 利用率曲线的变化验证优化效果。
避坑清单
- 只看容量不看吞吐:TB 级机械盘能装下数据,但喂不饱一张卡。
- 用标称带宽代替实测:务必用
fio --direct=1实测,网络存储的实际表现常远低于标称。 - 忽略多卡并发放大:8 个 rank 同时读一块盘,瞬时需求是 8 倍,应按并发场景测。
- 忽略小文件的 IOPS 瓶颈:加盘解决不了元数据开销,应改为打包格式。
- 不评估 checkpoint 写入:大模型 checkpoint 写入慢会让 GPU 在保存期间完全空闲。
- num_workers 调得过大导致内存耗尽:触发 swap 后整套系统会陷入极慢状态,比数据慢更难排查。
- NVMe RAID 0 不做备份:无冗余意味着单盘故障即数据全损,重要数据集必须有独立备份。
关键词回顾:AI服务器高速存储、训练数据读取、GPU利用率、NVMe RAID、网络存储、Lustre、fio实测、数据格式优化。
企业QQ咨询




