AI服务器为什么需要高速存储?训练数据读取与GPU利用率优化

很多团队愿意为一台 8 卡训练服务器付出高昂租金,却在存储上选了最低配:一块 SATA SSD 或者几块机械盘凑数。结果训练跑起来,八张卡的利用率平均只有三成,每个 epoch 要跑好几个小时,其中大部分时间在等数据。这在 AI 服务器选型里是最典型的"高配低用"。GPU 的算力只有在数据按时送达时才有意义——存储系统决定了数据供给链的上限,而这条链路上的任何一处瓶颈,都会被昂贵的 GPU 放大成真实的成本损失。本文讲清楚训练为什么需要高速存储、怎么量化需求、如何实测、以及不同存储方案的取舍。

一、GPU 为什么会"饿着":一条完整的供给链

训练时一个 batch 的数据要经历完整链路才能送到张量核心:

  1. 磁盘上的文件(可能是几百万张小图、也可能是若干打包好的大文件)
  2. 内核页缓存(page cache)与文件系统层
  3. 用户态内存(DataLoader worker 读取并做解码/增强)
  4. 锁页内存(pin memory,供 DMA 传输)
  5. 显存(H2D 拷贝,与计算重叠)

每一环都有自己的吞吐上限,最终有效吞吐是这条链路上最慢的一环(木桶效应)。所以"存储慢"的表现未必是磁盘打满——更常见的是 CPU 在等 IO(wa 升高)或者 worker 进程抢不到 CPU,而 GPU 侧表现为利用率锯齿形波动、周期性掉零。

# 观察锯齿形态:利用率冲高后掉到 0,是数据供给不足的典型特征
nvidia-smi --query-gpu=timestamp,utilization.gpu,utilization.memory,memory.used --format=csv -l 1

# 同时观察 CPU 时间分布:wa 高 = 等 IO;us 高 = 预处理重;id 高 = 线程没跑满
vmstat 1
iostat -x 1
pidstat -d 1

二、把存储需求算成一个数字

存储选型不该凭感觉,应该从训练任务反推。核心公式只有一条:

所需持续读取带宽 = 数据集总大小 ÷ 单个 epoch 允许的时间 × 冗余系数

举例:数据集 2 TB,希望单 epoch 在 30 分钟内读完
      2 TB ÷ 1800 s ≈ 1.14 GB/s(这是净数据量的下限)
      考虑多轮 epoch 有页缓存命中、但第一轮必然冷读,
      并按 1.3~1.5 冗余系数留余量 → 目标带宽 1.5~2 GB/s

注意:这个值是"顺序读吞吐"。如果数据集由海量小文件组成,
      真正的瓶颈是随机读 IOPS,而不是顺序带宽,需要另算:
      所需 IOPS ≈ 每秒需处理的样本数 × 每样本的元数据/打开开销

还要考虑两个放大因素。第一,多卡并行会成倍放大读取需求:8 卡数据并行时,每个 rank 各自读取自己那一份 shard,瞬时带宽需求是单卡的 8 倍,若共用一块盘就会互相抢。第二,checkpoint 写入是突发大流量:大模型训练每隔一段时间要保存几十 GB 到几百 GB 的 checkpoint,如果存储写入慢,保存期间 GPU 完全空闲。这两点常常被忽略,直到实际跑起来才暴露。

三、存储方案对比:按吞吐、IOPS 与共享需求选

方案持续吞吐(量级)随机 IOPS共享性适用与不适用
机械硬盘(HDD)单盘150~250 MB/s很低(百级)本地只适合归档与冷数据,不适合训练
SATA SSD 单盘约 500 MB/s数万本地小数据集、推理机可用;大模型训练偏弱
NVMe SSD 单盘数 GB/s 量级数十万本地单机训练主力;容量有限,注意写入寿命
多盘 NVMe RAID 0接近单盘带宽 × 盘数成倍提升本地高吞吐单机训练;无冗余,需配合备份策略
NFS(网络文件系统)受网络与服务端限制,单流通常几百 MB/s一般强,多机共享小团队共享与小数据集;大规模训练易成瓶颈
Lustre / GPFS 等并行文件系统可聚合到数十 GB/s 以上高强大规模多机训练集群;建设与运维成本高
对象存储(S3 兼容)取决于并发与网络元数据操作慢极强数据集归档与分发;直接训练需配本地缓存层

选型的核心判断标准有三条:是否需要多机共享(决定走本地还是网络存储)、数据集是"大文件连续读"还是"海量小文件随机读"(决定看带宽还是看 IOPS)、总容量与预算(决定用几块多大容量的盘)。单机训练且数据集能本地化时,NVMe RAID 0 是性价比最高的方案;多机训练必须共享数据时,小规模可用高速 NFS,规模上去后要考虑 Lustre 这类并行文件系统或"对象存储 + 本地缓存"的两级架构。

3.1 小文件问题往往比带宽问题更致命

视觉、语音、短文本类数据集常常是几十万到几千万个小文件。此时瓶颈不是顺序带宽而是元数据操作与随机 IOPS:每打开一个文件要走路径解析、inode 查找、权限检查,这些开销在小文件场景里占比极高。解决思路是改变数据组织方式,而不是一味升级硬件:

  • 把样本打包成 WebDataset(tar 分片)、TFRecord、Arrow/Parquet 等连续格式,顺序读取大文件。
  • 使用 LMDB、HDF5 等单文件数据库,把随机访问变成文件内偏移访问。
  • 必要时用 tmpfs(内存盘)或本地 NVMe 做热数据缓存层,冷数据留在共享存储。
  • 调整文件系统的挂载参数与预读策略,并避免在网络存储上做海量元数据遍历。

四、用 fio 实测:不要相信标称值

存储性能必须实测,标称带宽和真实表现差距很大。标准测法是分别测顺序读与随机读,并做多并发:

# 测试 1:顺序读,模拟大文件/打包格式的数据集按 epoch 读取
fio --name=seqread --directory=/data/train --rw=read --bs=1m --size=20g \
    --numjobs=4 --ioengine=libaio --iodepth=16 --direct=1 \
    --group_reporting --runtime=60 --time_based

# 测试 2:随机小读,模拟海量小文件场景
fio --name=randread --directory=/data/train --rw=randread --bs=4k \
    --numjobs=8 --ioengine=libaio --iodepth=32 --direct=1 \
    --group_reporting --runtime=60 --time_based

# 测试 3:模拟多卡并行读取(8 个 rank 同时读)
fio --name=multi --directory=/data/train --rw=read --bs=1m --size=10g \
    --numjobs=8 --ioengine=libaio --iodepth=16 --direct=1 \
    --group_reporting --runtime=60 --time_based

# 测试 4:写入性能,评估 checkpoint 保存耗时
fio --name=write --directory=/data/ckpt --rw=write --bs=1m --size=20g \
    --numjobs=1 --ioengine=libaio --iodepth=8 --direct=1 \
    --group_reporting --runtime=60 --time_based

关键参数说明:--direct=1 绕过页缓存,测的是真实设备能力(如果不加,测到的可能是内存速度);--numjobs 模拟并发进程数;--iodepth 是队列深度,机械盘靠深度提升吞吐,NVMe 需要足够深度才能打满;--group_reporting 汇总输出便于读数。

结果判读:看输出里的 READ: bw=xxx MiB/s 这一行的聚合带宽。若 4 并发顺序读不到 1 GB/s,而有 8 张卡在等数据,那么存储必然是瓶颈。还要看 lat(延迟)分布:网络存储上延迟抖动大,会导致 GPU 利用率出现不规则毛刺,即使平均带宽达标也会影响端到端时间。

五、缓存与内存:用便宜的资源换昂贵的 GPU 时间

如果第一遍冷读不可避免,可以通过缓存策略让后续 epoch 变快:

  • 页缓存(page cache):Linux 会自动用空闲内存缓存文件。数据集能装进内存时,第二个 epoch 起基本是内存速度。用 free -h 看 buff/cache,用 vmstat 观察 cache 变化。
  • 主动预热:训练开始前先顺序读一遍数据集(如 cat 到 /dev/null 或写一个小脚本遍历),把数据压进页缓存。
  • 本地 SSD 作为共享存储的缓存层:数据集归档在对象存储或 NFS,训练前同步到本地 NVMe,训练中只读本地盘。
  • 内存足够时的 tmpfs:小数据集可直接挂载到 /dev/shm,但要注意 tmpfs 占用的是内存,会挤掉页缓存与进程可用内存。
# 查看内存与缓存占用
free -h

# 手动清理页缓存(仅在需要重测冷读性能时执行,生产环境慎用)
sync; echo 3 > /proc/sys/vm/drop_caches

# 查看进程实际占用内存与是否有 swap 活动(swap 出现会严重拖慢训练)
vmstat 1
cat /proc/meminfo | grep -E 'SwapTotal|SwapFree|Dirty|Writeback'

判断标准:vmstat 里 si/so(swap 换入换出)持续大于 0,说明内存不足已开始换页,此时即使存储很快,训练也会卡死。多卡训练的内存规划要包含 DataLoader worker 的副本开销——每个 worker 会复制 dataset 对象,num_workers 设得过大很容易把内存吃光。

六、把存储和 GPU 利用率联动起来排查

实际排查时,建议把存储指标和 GPU 指标放在同一时间轴上看。下面是一个可复制的联动排查流程:

  1. 先采样 GPU 形态:nvidia-smi --query-gpu=utilization.gpu,utilization.memory --format=csv -l 1,确认是否是锯齿形(周期性掉零)。
  2. 同时采样 CPU 与 IO:另开终端跑 vmstat 1 与 iostat -x 1,看 wa、%util、await 是否在 GPU 掉零的时间点同步升高。
  3. 确认瓶颈在盘还是在 CPU:wa 高且磁盘 %util 接近 100% → 存储瓶颈;us 高而 %util 低 → CPU 预处理瓶颈。
  4. 用 fio 量化存储能力:按第四节的四条命令实测,得出顺序读、随机读、多并发读与写入的实际数值。
  5. 对照需求判断是否达标:把实测带宽与"数据集大小 ÷ epoch 期望时间"对比,并额外核对 checkpoint 写入耗时。
  6. 按瓶颈类型优化:带宽不足 → NVMe 或多盘 RAID;IOPS 不足 → 打包数据格式;共享不足 → 并行文件系统或本地缓存层;CPU 不足 → 减少在线预处理、加核或离线预计算。
  7. 回归验证:优化后重跑同一个 epoch,对比 GPU 平均利用率与单 epoch 时长,用数据确认收益。

顺带一提,DataLoader 侧的调整也应与存储匹配:num_workers 从 4 × GPU 数 起步并按 CPU 核数设上限,pin_memory=True 配合 non_blocking=True,prefetch_factor 在数据读取慢时调高(代价是内存占用),persistent_workers=True 避免每 epoch 重新 fork。这些参数只有建立在"存储够快"的前提下才有意义。

小结

AI 服务器需要高速存储,根本原因是GPU 的时间远比存储的成本贵。一块 NVMe 的差价,可能抵不上八张卡浪费一天算力的零头。选型时按"数据集大小 ÷ epoch 期望时间 × 冗余系数"算出带宽需求,再结合是否需要多机共享、数据是大文件还是海量小文件,决定走本地 NVMe RAID、高速网络存储还是并行文件系统。最后一定要用 fio 实测,用 GPU 利用率曲线的变化验证优化效果。

避坑清单

  • 只看容量不看吞吐:TB 级机械盘能装下数据,但喂不饱一张卡。
  • 用标称带宽代替实测:务必用 fio --direct=1 实测,网络存储的实际表现常远低于标称。
  • 忽略多卡并发放大:8 个 rank 同时读一块盘,瞬时需求是 8 倍,应按并发场景测。
  • 忽略小文件的 IOPS 瓶颈:加盘解决不了元数据开销,应改为打包格式。
  • 不评估 checkpoint 写入:大模型 checkpoint 写入慢会让 GPU 在保存期间完全空闲。
  • num_workers 调得过大导致内存耗尽:触发 swap 后整套系统会陷入极慢状态,比数据慢更难排查。
  • NVMe RAID 0 不做备份:无冗余意味着单盘故障即数据全损,重要数据集必须有独立备份。

关键词回顾:AI服务器高速存储、训练数据读取、GPU利用率、NVMe RAID、网络存储、Lustre、fio实测、数据格式优化。