业务需要 GPU 算力，但一次投入几十万甚至上百万采购，对大多数团队来说不现实。更常见的路径是先租：跑三个月验证业务模型，跑通了再决定要不要自建。但真到租用这一步，会发现报价单上的变量比想象中多得多——同样是"A100 8 卡"，不同供应商的报价差距可能很大，而差距的来源往往藏在配置细节里。
本文不讨论任何具体报价（市场价格波动大，任何数字都会很快过时），而是讲清楚租用 GPU 服务器时应该看哪些维度、这些维度怎么影响成本和效果、以及如何避免在合同和验收环节踩坑。
一、先想清楚：租来干什么
这一步决定了后面所有选择。三种典型用法的需求差异极大：
| 用途 | 关注点排序 | 建议计费方式 | 典型周期 |
|---|---|---|---|
| 短期实验 / 调参 | 卡型 > 单价 > 开通速度 | 按小时 / 按天 | 几小时到几天 |
| 模型训练（周期性） | 卡型 > 互联 > 存储 > 单价 | 包周 / 包月 | 数周到数月 |
| 在线推理服务 | 稳定性 > 网络 > 卡型 > SLA | 包月 / 包年 | 长期 |
一个常见的错误是：用按量计费的机器跑长期推理服务。按小时计费的单价折算成月费，通常显著高于包月价，长期跑下来会多花不少钱。反过来，用包年机器做一次性实验，则是把灵活性白白让出去了。
二、显卡型号：决定能跑什么
2.1 主流可租用卡型与定位
| 卡型 | 显存 | 显存带宽 | 典型用途 | 相对租价量级 |
|---|---|---|---|---|
| RTX 3090 / 4090 | 24 GB | 约 936 / 1008 GB/s | 小模型推理、入门微调 | 最低 |
| T4 | 16 GB | 约 300 GB/s | 轻量推理、老项目兼容 | 很低 |
| L4 / A10 | 24 GB | 约 300 / 600 GB/s | 视频推理、通用加速 | 低到中低 |
| L40S | 48 GB | 约 864 GB/s | 大模型推理、多模态 | 中 |
| A800 / A100 | 40 / 80 GB | 1555 / 2039 GB/s | 训练与推理通用主力 | 中到高 |
| H800 / H100 | 80 GB | 约 3.35 TB/s（H100 SXM） | 大规模训练、高吞吐推理 | 高 |
| H200 | 141 GB | 约 4.8 TB/s | 超长上下文、超大 batch | 最高 |
注意几个容易混淆的点：
- A100 有 SXM 和 PCIe 两种形态，SXM 版本支持 NVLink（600 GB/s），PCIe 版本只能走主板总线（约 63 GB/s @ Gen4 x16）。多卡训练场景，这两种是天壤之别。报价单上如果只写"A100 80G"，必须追问形态。
- A800 / H800 是特定市场版本，算力规格与 A100/H100 接近，但互联带宽有所限制。如果业务强依赖 NVLink 做多卡训练，需要特别确认。
- 消费级卡（4090 等）通常没有 ECC 显存，长时间训练的数据可靠性不如数据中心卡，但价格量级低很多，适合非关键任务。
2.2 根据模型规模反推卡型
先算显存再选卡，这是唯一可靠的路径：
推理显存 ≈ 参数量 × 每参数字节数 + 单tokenKV × 上下文 × 并发 + 2GB 开销
训练显存 ≈ 参数量 × 16 字节（AdamW 混合精度下的权重+梯度+优化器状态）
+ 激活值（可用梯度检查点大幅压缩）
| 任务 | 模型规模 | 最低卡型建议 | 说明 |
|---|---|---|---|
| 推理 | 7B FP16 | 单卡 24GB | 并发高时 KV Cache 会不够 |
| 推理 | 13B FP16 | 单卡 40～48GB | 24GB 需降到 INT8 |
| 推理 | 70B INT4 | 单卡 80GB 或 2×48GB | 优先单卡，减少并行复杂度 |
| 推理 | 70B FP16 | 2×80GB（NVLink 互联） | 张量并行必须有高速互联 |
| 全参微调 | 7B | 4～8 × 80GB | 需 ZeRO 优化器切分 |
| LoRA 微调 | 7B～13B | 1～2 × 24～48GB | 显存需求接近推理 |
三、除了显卡，还有四个必须确认的配置项
3.1 卡间互联：NVLink 还是 PCIe
这是最容易被供应商略过、但对训练效率影响最大的一项。多卡训练每一步都要做梯度同步，通信带宽不够，GPU 就在空等。
# 到货后第一件事：确认拓扑 nvidia-smi topo -m # 看 NVLink 链路是否正常 nvidia-smi nvlink -s nvidia-smi nvlink -c # 确认 PCIe 实际链路速率（对比 LnkCap 与 LnkSta） sudo lspci -vvv | grep -A 20 -i nvidia | grep -E "LnkCap|LnkSta"
解读：topo -m 输出矩阵里出现 NV1~NV18 说明卡间有 NVLink；全是 PXB/SYS 说明走 PCIe。8 卡训练场景，没有 NVLink 的机器加速比会明显打折，此时更划算的做法是租两台 4 卡 NVLink 机器，而不是一台 8 卡 PCIe 机器。
3.2 CPU、内存与本地存储
很多低价 GPU 租用套餐，缩水就缩在这三项上：
- CPU 核数：经验配比是每 GPU 8～16 核。如果租的是 8 卡机器却只配了 16 核 CPU，数据加载会成为瓶颈，GPU 利用率上不去。
- 系统内存：每 GPU 配 64～128GB。内存不足会导致数据预处理换页。
- 本地 NVMe：训练数据集和模型文件需要高速本地盘。有的套餐只给几百 GB 系统盘，数据集只能放网络存储，训练时 IO 会严重拖后腿。务必确认本地盘的容量和类型（SSD 还是 NVMe）。
# 验收时核对配置 lscpu | grep -E "^CPU\(s\)|Model name" free -g lsblk -d -o NAME,SIZE,MODEL df -h # 测一下本地盘真实读写速度（对比标称值） dd if=/dev/zero of=/data/testfile bs=1G count=8 oflag=direct sync; echo 3 | sudo tee /proc/sys/vm/drop_caches dd if=/data/testfile of=/dev/null bs=1G iflag=direct
3.3 网络带宽与 IP
网络这一项分两部分看：
- 公网带宽：影响上传数据集、下载模型、以及对外提供推理服务的速度。下载一个 140GB 的 70B 模型，100Mbps 需要约 3 小时，1Gbps 约 20 分钟。要确认是独享带宽还是共享带宽、是否限流量。
- 节点间网络：多机训练时，节点间必须高速互联（100GbE 或 InfiniBand）。普通 1G/10G 网络做多机训练基本不可行。
- 公网 IP：是否需要独立公网 IP、是否额外收费、能否备案（国内场景）。
3.4 GPU 是否独占
这是个隐蔽但重要的坑。部分低价套餐提供的是vGPU 切分实例或共享卡，即一张物理卡分给多个租户。这类方案价格低，但存在性能波动（受邻居租户影响）、显存受限、以及无法使用某些底层特性等问题。
验收方法：
# 确认看到的卡数是否与合同一致，且卡上无其他人的进程 nvidia-smi -L nvidia-smi --query-compute-apps=pid,process_name,used_memory --format=csv # 检查是否处于 MIG 切分模式（若是，说明拿到的是切分实例） nvidia-smi --query-gpu=mig.mode.current --format=csv nvidia-smi mig -lgi # 确认 GPU 的 UUID 与数量，防止被虚拟化层隐藏 nvidia-smi --query-gpu=index,uuid,name --format=csv
四、计费方式：三种模式怎么选
| 计费方式 | 适用负载 | 优点 | 缺点 | 需要注意 |
|---|---|---|---|---|
| 按量（小时/分钟） | 短期实验、突发算力 | 灵活，不用就停 | 单位时间价格最高 | 注意停机后是否仍计存储费 |
| 包周 / 包月 | 持续训练、稳定推理 | 单价明显低于按量 | 提前释放通常不退款 | 确认续费价格是否一致 |
| 包年 / 预留 | 长期稳定负载 | 单价最低，资源有保障 | 资金占用大，灵活性差 | 确认是否支持中途升级配置 |
几个必须在签约前问清楚的问题：
- 按量计费的起停规则：关机后是否还收费？（多数平台关机后仍收存储/系统盘费用，只是不收 GPU 费）
- 是否有最低消费时长：有些按小时计费设有最少计费 1 小时或 6 小时。
- 超时/超量如何计费：带宽超出套餐后是限速还是额外计费？单价多少？
- 包月提前释放是否退款：多数不退，但也有按剩余天数折算的平台。
- 续费是否同价：首月优惠价结束后的续费价格是多少？
- 是否含税、能否开票：企业采购的硬性要求。
- 数据删除与安全：释放实例后数据如何销毁？是否提供磁盘加密？
五、供应商与 SLA 要看什么
5.1 硬件与故障保障
- 故障替换时效：GPU 出现 ECC 不可纠正错误或硬件故障时，多久能换卡/换机？有没有备用机？
- 可用率承诺（SLA）：通常表述为月度可用率百分比，以及未达标时的赔付方式。要看赔付条款是否可执行，而不只是看百分比数字。
- 是否提供健康检查工具：好的供应商会提供 DCGM 或类似的监控接口。
5.2 与自建的成本对比框架
租还是买，可以用一个简单的临界点来判断：
自建年化成本 ≈ GPU 采购费 / 折旧年限(通常 3~5 年)
+ 服务器与网络设备分摊
+ 机柜费
+ 电费（GPU 功耗 × 24 × 365 × 电价 × PUE）
+ 运维人力
+ 故障维修与备件
租用年成本 ≈ 月租 × 12（或按量累计）
粗略的判断规律：当 GPU 年利用率高于 50%～60% 且负载长期稳定时，自建的年均成本通常开始低于租用；利用率低于 30%、或者负载波动极大、或者业务方向还没验证清楚，租用更划算。另外还要考虑：自建占用大量现金流、承担残值风险和技术迭代风险（新卡发布后老卡贬值快），这些是财务报表上看不到的隐性成本。
六、租用决策与验收步骤清单
- 明确用途与周期：实验、训练还是在线服务？预计用多久？
- 算清显存需求：按公式估算，确定卡型和卡数。
- 确认卡的具体形态：SXM 还是 PCIe？有无 NVLink？是否有 MIG 切分？是否独占？
- 核对配套配置：CPU 核数、内存容量、本地 NVMe 容量与类型。
- 确认网络：公网带宽是否独享、是否限流量、节点间是否有高速互联。
- 对比计费方式：按量、包月、包年的折算月费，选最适合当前负载的。
- 问清合同细节：最低消费、停机是否计费、续费价格、提前释放规则、发票。
- 看 SLA 条款：可用率承诺、故障响应与替换时效、赔付方式。
- 开机验收：执行以下命令核对配置与合同一致性。
- 跑压测：用真实模型跑一遍，记录吞吐和显存峰值，确认性能符合预期。
- 建立监控：把 GPU 温度、ECC 错误、利用率纳入自己的监控体系，不要只依赖供应商。
- 定期复盘：每月统计 GPU 实际利用率，据此调整租用的规格和时长。
# 开机验收：一条命令核对核心配置 echo "=== GPU ==="; nvidia-smi --query-gpu=index,name,memory.total,driver_version --format=csv echo "=== TOPO ==="; nvidia-smi topo -m echo "=== CPU ==="; lscpu | grep -E "^CPU\(s\)|Model name" echo "=== MEM ==="; free -g echo "=== DISK ==="; df -h echo "=== NICS ==="; ip -o addr show | grep -v lo # 跑一段压力测试，确认散热与降频正常 nvidia-smi dmon -s pucvmet -d 2 -c 180 nvidia-smi --query-gpu=clocks_throttle_reasons.active --format=csv
七、常见踩坑点
- 只看"几张卡"，不看形态和互联：8 张 PCIe 版 A100 的多卡训练效率，可能不如 4 张 SXM 版。
- 忽略配套配置：CPU 核数和内存被严重缩水的"低价 8 卡机"，实际跑起来 GPU 利用率可能只有 50%。
- 按量计费跑长期服务：折算下来比包月贵很多。
- 没确认带宽是否独享：共享带宽在传输大模型文件时速度波动极大。
- 不验收就用：开机后不核对配置，等跑了一周才发现拿到的不是约定的型号。
- 数据备份依赖供应商：一定要自己做好异地备份，释放实例时数据会被清空。
- 忽略利用率复盘：租了 8 卡却长期只用 2 卡，是纯粹的浪费。
小结
GPU 服务器租用的选型逻辑可以总结成四步：先按显存需求定卡型，再确认互联形态与配套配置，然后按负载特征选计费方式，最后逐条核对合同与 SLA。
四条最实用的经验：第一，报价单上"卡型 + 形态 + 互联"三者缺一不可，只写芯片型号的一定要追问；第二，配套配置（CPU、内存、本地 NVMe）是低价套餐最常见的缩水点，必须写进合同；第三，按量、包月、包年没有绝对优劣，只看你的负载是否稳定持续；第四，开机必须验收，用本文的命令核对一遍，五分钟能省掉后面无数麻烦。
最后提醒一句：不要把供应商提供的监控当成唯一依据。GPU 的温度、ECC 错误、降频原因这些指标，建议自己采集一份，既是故障排查的依据，也是在出现争议时的凭证。
本文涉及的显卡规格为公开规格常见值，具体以厂商官方文档为准；租用成本部分仅讨论影响因素、相对量级与判断方法，不涉及任何具体报价。
企业QQ咨询
