做 AI 算力选型最难受的一点,是硬件迭代速度远快于你的采购决策周期。今天签下的机器,半年后可能就有新一代卡发布;而业务这边,模型规模在涨、上下文在变长、并发目标在提高,谁也不敢把配置定死。因此面向 2027 年的选型,核心不是"押注某一款卡",而是建立一套能随需求变化重算的决策框架:从模型规模推出显存下限,从并发目标推出卡数,从使用方式推出成本模型,并留出可扩展的余地。本文给出这样一套框架,包含显存估算公式、按模型规模分档的配置参考、成本拆解方法,以及一份可直接套用的选型流程。
一、选型的起点:把需求翻译成三个数字
无论硬件怎么变,选型的输入始终是三个数字。把它们算清楚,配置就出来了:
- 模型规模(参数量)与精度:决定显存下限,也决定能不能单卡装下。
- 目标并发 / 吞吐:推理场景是峰值并发会话数与输出速度,训练场景是期望的训练时长。
- 预算与成本目标:是一次性采购还是按周期租用,可接受的成本单位(每百万 token、每训练小时)。
这三个数字之间是有依赖的:模型规模决定"能不能跑",并发决定"要多少卡",成本决定"选哪档卡、用多久"。下面逐一展开。
二、显存:所有配置的第一个约束
显存永远是第一约束,因为它决定"能不能跑",而算力只决定"跑多快"。两个场景的估算公式:
推理显存 = 权重 + KV Cache + 激活与临时 buffer + 框架与碎片开销
权重 = 参数量 × 每参数字节数
BF16/FP16 ≈ 2 字节;FP8/INT8 ≈ 1 字节;INT4 量化 ≈ 0.5 字节
KV Cache = 2 × 层数 × 注意力头数 × head_dim × 序列长度 × 并发数 × 每元素字节数
(Key 与 Value 各一份;用 FP8 存 KV 可再减半)
开销 ≈ 1~3 GB(CUDA context、workspace)或按总量 10%~15% 预留
训练显存 = 权重 + 梯度 + 优化器状态 + 激活值 + 开销
AdamW + 混合精度的经验系数 ≈ 每参数 16~20 字节
LoRA 等参数高效微调:仅为少量低秩矩阵保存优化器状态,可下降一个数量级
举个对照:7B 模型 BF16 推理权重约 14 GB,一张 24GB 卡装得下但 KV Cache 余量有限;70B 模型 BF16 权重约 140 GB,必须两张 80GB 卡做张量并行,或者量化到 INT4(约 35 GB)后单卡部署。量化在这里不只是"加速手段",更是"能不能用某档卡"的决定因素。
还有一个趋势要在规划时提前考虑:上下文长度正在变长。KV Cache 与序列长度成正比,上下文从 4K 提到 32K,同样的并发下 KV Cache 会增长数倍。所以规划显存时,不要按当前业务的平均上下文算,而要按未来可能支持的最大上下文算,否则扩功能时会被迫换卡。
三、硬件配置的三条主线:容量、带宽、互联
选卡时看三个指标就够了,其他都是这三条的衍生:
| 主线 | 决定什么 | 训练场景重要性 | 推理场景重要性 |
|---|---|---|---|
| 显存容量 | 模型能否装下、并发上限、上下文长度上限 | 极高(梯度与优化器状态放大占用) | 极高(权重 + KV Cache) |
| 显存带宽 | 解码(decode)速度、单 token 延迟 | 高(影响数据搬运与部分算子) | 极高(decode 是访存受限负载) |
| 互联带宽 | 多卡并行效率、能否做张量并行 | 极高(梯度同步与通信频率高) | 中(单卡装得下时几乎不需要) |
由此可以推出几个实用的判断:
- 训练优先大显存 + 高互联:HBM 显存(HBM2e/HBM3)与 NVLink 级互联是训练机的核心,单卡显存不足会迫使引入更复杂的并行策略。
- 推理优先显存带宽 + 容量:解码阶段单 token 耗时约等于"权重总量 ÷ 显存带宽",带宽直接决定单卡能承载的并发与成本。H100 80GB(约 3.35 TB/s)、A100 80GB(约 2 TB/s)、L40S 48GB(约 864 GB/s)在这条线上差距明显。
- 小模型推理可以横向堆卡:只要单卡装得下,多副本 + 负载均衡就是最优解,不必追求高端互联。
- 注意特定市场版本的互联裁剪:如 A800/H800 这类版本互联带宽低于同代标准版,做大规模张量并行训练时要评估影响,但用于推理或通信不密集的微调通常影响有限。
# 选型/验收时必须核对的三张"体检表" nvidia-smi --query-gpu=index,name,memory.total,memory.used,utilization.gpu,utilization.memory,temperature.gpu,power.draw --format=csv nvidia-smi topo -m # 互联拓扑:NV# = NVLink;PIX/PHB/SYS = PCIe 或跨 NUMA nvidia-smi --query-gpu=index,pcie.link.gen.current,pcie.link.gen.max,pcie.link.width.current --format=csv
四、按模型规模的配置档位参考
下面这张表按模型规模给出部署形态参考(描述资源形态与卡型方向,不涉及具体报价):
| 模型规模 | BF16 权重 | 推理部署形态 | 训练/微调形态 | 卡型方向 |
|---|---|---|---|---|
| 7B 级 | 约 14 GB | 单卡,多副本横向扩展 | 单卡 80GB 可做全参微调;24GB 卡适合 LoRA | 24GB(RTX 4090)/ 48GB(L40S)起步,高并发选 80GB |
| 14B 级 | 约 28 GB | 48GB 单卡,或 24GB + 量化 | LoRA 单卡可行;全参需 80GB 多卡 | L40S 48GB、A100/H100 80GB |
| 32B~34B 级 | 约 64~68 GB | 80GB 单卡,或两卡张量并行 | 多卡 + 并行策略 | A100/H100 80GB |
| 70B 级 | 约 140 GB | 2 卡以上张量并行;INT4 后可单卡 | 8 卡节点 + 张量/流水线并行 | 2~8 张 80GB 卡,需 NVLink 级互联 |
| MoE / 百 B 级以上 | 数百 GB 起 | 多节点并行,工程复杂度高 | 大规模集群 + RDMA 网络 | 8 卡 NVLink 节点 × 多节点 |
需要特别提醒的是 MoE(混合专家)架构:它的总参数量很大,但每次推理只激活一部分专家,因此"参数量"不能直接换算显存占用——要看"激活参数量 + 全部专家权重是否常驻显存"具体实现。MoE 模型对显存容量和互联带宽的要求都更高,规划时不要套用稠密模型的经验系数。
五、使用成本:把成本拆成可计算的单位
硬件选型的终点是成本。建议把成本换算成业务能理解的单位,而不是停留在"每台每月多少钱"。
推理成本:每百万 token 成本 =(单卡每小时成本 ÷ 单卡每小时产出 token 数)× 1,000,000
单卡每小时产出 token 数 ≈ 3600 ÷ 单 token 平均耗时 × 平均并发数
单 token 平均耗时(decode)≈ 权重总量 ÷ 显存带宽(理论下限)
训练成本:单次训练成本 = 卡数 × 单卡小时成本 × 训练小时数
训练小时数 ≈ 总训练 token 数 × 6 × 参数量 ÷(峰值 FLOPS × MFU × 3600)
(6 为前向 + 反向的经验系数;MFU 通常 20%~50%)
这个拆解的价值在于,它把"选哪张卡"变成了一个可比较的问题:一张显存带宽翻倍、价格也更高的卡,如果带来的吞吐提升超过价格提升,那么它的每百万 token 成本反而更低。便宜的卡不等于便宜的 token,这是选型中最容易算错的一笔账。
| 成本构成 | 自建(自购) | 租用(托管/租赁) | 说明 |
|---|---|---|---|
| 硬件获取 | 一次性大额资本支出 | 按期支付,无大额 upfront | 自建需承担折旧与代际迭代风险 |
| 机房与电力 | 需自建或租机柜,承担电费与制冷 | 通常含在租金内 | 高密度 GPU 机柜对供电制冷要求高 |
| 运维人力 | 需自有运维团队 | 部分服务由供应商承担 | 故障响应、驱动与环境维护是长期投入 |
| 弹性 | 固定容量,扩容周期长 | 可按周期调整,短租验证灵活 | 业务不确定时租用的试错成本更低 |
| 利用率风险 | 闲置即沉没成本 | 可按需退租 | 利用率低于一定水平时自建不划算 |
判断方法可以简化为一个问题:预计利用率有多高、需求有多稳定。需求稳定且长期高利用率(例如推理服务 7×24 常驻),自建或长期包年的单位成本更低;需求波动大、技术路线未定(例如还在选模型、调算法),先用短周期租用验证,跑通后再谈长期方案。很多团队踩的坑是反过来——业务还没跑稳就自购硬件或签长约,结果模型选型一变,硬件直接不匹配。
另外,成本里还有一块常被忽略的:隐性闲置成本。利用率低的时候,再便宜的机器也是贵的。因此选型时应把"能不能把这张卡喂饱"作为重要判断——与其买更多卡,不如先确认数据链路、批处理策略、并发参数是否已经调优到位。参考判断标准:如果 GPU 利用率长期低于 50% 且 utilization.memory 也不高,先做性能优化再谈扩容。
# 用持续采样确认真实利用率,作为成本决策依据 nvidia-smi --query-gpu=timestamp,utilization.gpu,utilization.memory,memory.used,power.draw --format=csv -l 60 -f /var/log/gpu_usage.csv # 用 DCGM 剖析算力与访存占用,判断是否为低效空转 dcgmi dmon -e 200,201,202,203,204 -d 5 # 排查降频,避免把散热问题误判为算力不足 nvidia-smi --query-gpu=clocks_throttle_reasons.active,clocks.sm,clocks.max.sm --format=csv
六、面向 2027 的几个规划取向
硬件型号会变,但几个方向性的判断可以帮助你留出余量(以下为规划取向,具体规格以厂商公开资料为准):
- 低精度会成为默认选项:从 FP16/BF16 向 FP8、乃至更低精度演进是明确方向。选型时优先考虑支持低精度加速的硬件,并把"量化后能否装进更小的卡"纳入方案备选。
- 上下文长度持续变长:KV Cache 的显存压力会越来越大,规划显存时按最大上下文预留,并关注支持 KV Cache 降精度与分页管理(如 PagedAttention)的方案。
- MoE 架构对显存与互联更苛刻:参数量与显存占用不再线性对应,需要按激活参数与专家常驻方式单独估算。
- 推理侧更看重带宽与并发:continuous batching、prefix caching、chunked prefill 等调度优化已经成为主流框架的标配,选型时应确认硬件能被这些优化充分发挥。
- 高密度部署推动散热升级:单机柜功率密度上升使风冷的成本与难度增加,液冷方案在高密度场景会更常见,选型时要同步确认机房的供电与制冷能力。
- 软件栈的可移植性很重要:把训练与推理流程做成可迁移的(容器化、配置化),比锁定某一代硬件更能抵御迭代风险。
七、AI算力服务器选型流程
- 确定模型规模与精度路线:列出当前与未来 6~12 个月可能使用的模型规模,按 BF16 与量化两种口径分别估算权重显存。
- 算推理显存与并发上限:按最大上下文长度算单序列 KV Cache,得出"单卡能承载多少并发",进而推出所需副本数。
- 算训练显存(如有):按每参数 16~20 字节或 LoRA 口径估算,决定是否需要多卡并行与高速互联。
- 确定卡型档位:按容量、带宽、互联三条主线对照卡型方向,优先满足容量下限,再按带宽与成本选档。
- 核对整机配套:CPU 核数(每卡 8~16 核起步)、内存(每卡 32~64 GB 起步)、存储(NVMe,按数据吞吐需求)、网络(多机需 RDMA)。
- 建立成本模型:按每百万 token 或每次训练成本换算,比较不同卡型的单位成本,而不是只比单价。
- 短租实测验证:先按小时/天租一小段时间跑真实负载,用
nvidia-smi dmon与dcgmi采样,确认瓶颈判断与吞吐预期。 - 再决定周期与形态:验证通过后,按预计利用率与需求稳定性决定短租、包月、包年还是自建。
- 留扩展路径:明确下一步是"加副本"还是"换更大卡",并把触发条件写成指标(如峰值并发达到规划上限的 70%)。
- 建立监控基线:持续采集利用率、显存、温度、Xid 与业务指标,作为后续扩容与故障判断的依据。
小结
面向 2027 年的 AI 算力选型,最稳妥的策略不是"押注最强硬件",而是把模型规模、硬件配置、使用成本三件事用公式连起来,并保留调整空间。显存决定能不能跑,带宽决定跑得省不省,互联决定能不能扩展,而成本要通过"每百万 token"或"每次训练"这样的业务单位来比较。先短租验证、再长期决策,先做性能优化、再考虑扩容,这两条顺序能帮你避开大多数代价高昂的错误。
避坑清单
- 只比单价不比单位成本:高带宽卡单价更高但每 token 成本可能更低,务必换算后比较。
- 按平均上下文算显存:上线后支持长上下文会直接击穿显存规划,应按最大值预留。
- 套用稠密模型经验估 MoE:MoE 的参数量与显存占用不线性对应,需单独核算。
- 业务未验证就自购或长约:模型选型一旦变化,硬件可能整体不匹配,先短租验证。
- 忽略整机配套:CPU、内存、存储、网络任一不足都会让高端卡发挥不出性能。
- 利用率低时盲目扩容:先排查数据加载、批处理与并发参数,把现有算力用满再谈加卡。
- 忽略机房供电与制冷:高密度 GPU 部署前必须确认机柜功率与散热方案,否则会被迫降频运行。
- 不核对实机拓扑:签约前务必执行
nvidia-smi topo -m与 PCIe 链路查询,确认与配置单一致。
关键词回顾:AI算力服务器选型、模型规模、硬件配置、使用成本、显存估算、互联带宽、每百万token成本、2027规划。
企业QQ咨询




