AI服务器租用需要关注哪些参数？GPU型号、显存、网络与存储选型指南

很多团队在自建和租用之间纠结，最后往往选租用：不用一次性投入大笔采购资金，按小时或按月付费，随时换机型、随时扩缩容，对预算有限或需求不稳定的团队很友好。但租用也有代价——参数看不懂就会被牵着走，花高价租了一张跑不动业务的卡，或者为了省一点钱选了没有高速互联的机型，训练速度慢好几倍。

租 AI 服务器，最关键的能力是读懂参数并和业务对上。同样写着"GPU 服务器"，卡型号、显存大小、卡间互联、CPU 核数、内存、网络带宽、存储类型，每一项都在悄悄影响最终性能和成本。只看"几张卡"是远远不够的。

这篇文章按"GPU 型号 → 显存容量 → 卡间互联 → CPU 与内存 → 网络 → 存储 → 计费与服务"的顺序，讲清每项参数为什么重要、该怎么看、什么业务需要什么配置，并给出下单前后可执行的环境核验命令（区分 RHEL/CentOS/Rocky 与 Debian/Ubuntu）。文中性能与带宽数字为经验量级，用于建立直觉；不涉及具体厂商报价，具体价格以实时报价为准。

GPU 型号：先看架构代际与用途

同样是"数据中心 GPU"，不同代际、不同定位的卡差别巨大。看型号时要关注三点：

架构代际。 新一代架构通常在算力、能效、对新精度（如新的低精度格式）的支持上更好。租用时如果价格相近，优先选更新的代际。可以查卡的运算能力等级（compute capability）来粗略判断代际新旧。

面向训练还是推理。 有些卡主打大显存与高互联，适合训练；有些卡主打高能效比与推理吞吐，适合在线服务。用推理卡硬训大模型会非常吃力。

是否支持高速互联。 这是最容易被忽略的一项。卡之间能不能通过 NVLink/NVSwitch 高速互联，直接决定多卡训练能不能线性加速。

查看卡信息：

# 概况：型号、显存、驱动、CUDA 版本
nvidia-smi

# 详细：算力等级、显存类型与带宽、互联能力
nvidia-smi -q

# 多卡拓扑，重点看卡间连接类型
nvidia-smi topo -m

nvidia-smi topo -m 输出的 NV# 表示 NVLink 互联，PIX/PHB/SYS 表示走 PCIe 或跨 NUMA。租多卡机时，这张表是必看的，它直接回答"多卡是真互联还是假互联"。

显存容量与带宽

显存是 AI 负载最硬的约束。租之前先估算需求。

推理显存大致等于：模型权重（参数量 × 精度字节数）+ KV Cache（随上下文长度和并发增长）+ 运行时开销。量化能显著降低权重占用。

训练显存大致等于：权重 + 梯度 + 优化器状态 + 激活值，通常是参数量的十数倍量级，另加激活值。

除容量外，显存带宽也关键，尤其推理时解码阶段往往受显存带宽限制。带宽越高，单位时间内能搬的数据越多，吞吐越高。

下单前务必确认：租的是不是你指定的卡，显存有没有被超卖或限制。

# 确认卡型号与显存总量
nvidia-smi --query-gpu=index,name,memory.total,memory.bandwidth --format=csv 2>/dev/null || nvidia-smi -q | grep -Ei "Product Name|Total.*Memory|Bandwidth"

卡间互联：多卡训练的分水岭

如果只用单卡，互联无所谓；一旦用到多卡，互联类型就是决定性的。

租用多卡机时，问清两件事：卡间是否有 NVLink/NVSwitch、每卡分到的 PCIe 通道数。要求提供 nvidia-smi topo -m 的实际输出，而不是配置单上的一句话。拿到机器后自己再跑一遍验证。

CPU 与内存：别忽略的配套

很多团队只看 GPU，忽略了 CPU 和内存，结果 GPU 长期等数据。

CPU 核数决定数据预处理、数据加载和框架调度的能力。数据密集的训练（大图像、大文本）对 CPU 核数敏感，核少了 DataLoader 就成瓶颈。经验上，多卡训练时 CPU 核数最好能与卡数匹配，避免"卡多核少"。

内存容量要能放下数据集缓存、预处理缓冲和进程开销。内存不足会导致换页甚至 OOM。数据密集场景建议内存与 GPU 总显存保持合理比例。

检查资源：

# CPU 与 NUMA
lscpu
numactl --hardware

# 内存
free -h
cat /proc/meminfo | head

# 核数是否为物理核
nproc

注意区分"物理核"和"逻辑核"。有些商家标注的是超线程后的逻辑核数，实际算力要打折。用 lscpu 看 Core(s) per socket 和 Thread(s) per core 判断。

网络：多机与数据吞吐的关键

网络要分场景看：

单机内部通信：靠 NVLink/PCIe，见上一节。

多机训练：靠 RDMA/InfiniBand 或高速以太网。跨机通信带宽不足时，多机训练加速比会崩塌。租多机时要确认机间网络类型与带宽。

数据下载与公网访问：下载模型权重和数据集用的公网带宽。带宽小的话，拉一个几十 GB 的模型要等很久。注意有些平台对入网/出网流量分别计费。

存储网络：如果挂载网络存储，存储网络带宽决定读写速度。

检查网络：

# 网卡与速率
ip -br addr
ethtool <网卡名> | grep -Ei "Speed|Duplex"

# RDMA 设备（若有）
ibv_devinfo 2>/dev/null
rdma link show 2>/dev/null

# 实际带宽测试（需另一台机器配合）
iperf3 -c <对端地址> -P 8 -t 20

安装网络工具。RHEL/CentOS/Rocky：

sudo dnf install -y ethtool iproute iperf3 rdma-core libibverbs-utils

Debian/Ubuntu：

sudo apt install -y ethtool iproute2 iperf3 rdma-core ibverbs-utils

存储：模型、数据集与缓存

租用时存储通常有三种：系统盘、数据盘、网络/对象存储。

• 系统盘：放系统和软件，容量需求小，但要注意别被日志写满。
• 数据盘（本地 NVMe）：放数据集、缓存、检查点。优先选 NVMe，机械盘做训练数据会严重拖慢。
• 对象存储/网络存储：放冷数据、模型归档、共享数据集，成本低但访问慢，不适合高频随机读。

容量规划按"模型版本 + 数据集 + 预处理膨胀 + 检查点 + 缓存"累加，再留增长空间。

检查存储：

# 块设备与类型
lsblk -d -o NAME,SIZE,ROTA,MODEL,TYPE
# ROTA=0 为固态

# 容量与 inode
df -hT
df -i

# 简单读写测速（注意会写满目标盘，先确认空间）
dd if=/dev/zero of=./testfile bs=1M count=2048 oflag=direct conv=fdatasync
sync && rm -f ./testfile

若装了 fio，可做更专业的测试：

fio --name=randread --filename=./testfile --size=4G --rw=randread \
    --bs=4k --iodepth=32 --ioengine=libaio --direct=1 --runtime=30 --group_reporting

计费方式与服务条款

参数之外，这些条款同样要看清：

计费单位。 按小时、按天、按月的单价不同，长期用包月更划算，短期任务按小时更灵活。

可中断/抢占式实例。 价格便宜，但可能被随时回收，只适合能断点续训或容错的任务，不适合在线服务。

带宽与流量计费。 注意公网出入流量的计费方式，避免下载大模型产生意外费用。

开关机与存储计费。 有些平台关机后仍对存储和 IP 收费，闲置成本要算进去。

数据持久化。 实例释放后数据是否保留，务必确认。重要数据要主动备份到对象存储。

地域与合规。 数据驻留要求、跨地域延迟、合规限制都要提前确认。

租用后的核验清单

拿到机器后先跑一遍，避免被"参数不符"坑到：

# 1. 卡型号与数量
nvidia-smi --query-gpu=index,name,memory.total --format=csv

# 2. 卡间拓扑
nvidia-smi topo -m

# 3. 驱动与 CUDA
nvidia-smi | grep "CUDA Version"
nvcc --version 2>/dev/null

# 4. CPU 物理核与内存
lscpu | grep -E "Socket|Core|Thread"
free -h

# 5. 磁盘类型与容量
lsblk -d -o NAME,SIZE,ROTA,MODEL
df -hT

# 6. 网络速率
ethtool <网卡名> | grep Speed

# 7. 简单算力验证（用框架跑一个矩阵乘法，看是否符合预期）
python -c "
import torch, time
x = torch.randn(8192, 8192, device='cuda', dtype=torch.float16)
torch.cuda.synchronize(); t = time.time()
for _ in range(50): x = x @ x
torch.cuda.synchronize()
print('elapsed:', round(time.time()-t, 3), 's')
"

任何一项和订单不符，及时联系平台确认，别等跑到一半才发现。

常见问题

Q1：租用比自己买划算吗？
短期、需求不稳定、需要快速验证时，租用更灵活、前期投入小。长期稳定、满负荷运行时，自建的单位成本可能更低。看使用时长和利用率。

Q2：只看显存大小选卡够吗？
不够。还要看显存带宽、是否支持高速互联、架构代际。显存大但互联差的多卡机，训练同样慢。

Q3：抢占式/可中断实例能用于生产吗？
不适合在线服务。适合可断点续训、可重试的任务，且要做好被回收的准备与检查点保存。

Q4：为什么多卡速度不是单卡乘卡数？
存在通信开销。卡间互联越弱、任务通信占比越高，加速比损失越大。要实测而不是按卡数线性外推。

Q5：租用前如何确认互联能力？
要求提供 nvidia-smi topo -m 的实际输出，看卡间是否 NVLink/NVSwitch，以及是否存在大量 SYS。到货后再自行验证一次。

总结

• 租 AI 服务器的核心能力是读参数：卡型号、显存容量与带宽、卡间互联、CPU 核数、内存、网络、存储缺一不可。
• 卡间互联是多卡训练的分水岭，下单前要求提供 nvidia-smi topo -m 输出，到货后自行复核，警惕大量 SYS 的跨 NUMA 拓扑。
• 显存按"权重 + KV Cache + 运行时"估算，训练还要加梯度与优化器状态，宁大勿小但不必盲目堆顶配。
• 网络与存储按场景选：多机训练要高速 RDMA/IB，训练数据要 NVMe，冷数据可用对象存储降本。
• 参数之外看清计费单位、可中断条款、流量计费与数据持久化，到货后按核验清单逐项验证，避免参数不符带来的隐性损失。