2027年AI算力服务器选型指南:模型规模、硬件配置与使用成本

做 AI 算力选型最难受的一点,是硬件迭代速度远快于你的采购决策周期。今天签下的机器,半年后可能就有新一代卡发布;而业务这边,模型规模在涨、上下文在变长、并发目标在提高,谁也不敢把配置定死。因此面向 2027 年的选型,核心不是"押注某一款卡",而是建立一套能随需求变化重算的决策框架:从模型规模推出显存下限,从并发目标推出卡数,从使用方式推出成本模型,并留出可扩展的余地。本文给出这样一套框架,包含显存估算公式、按模型规模分档的配置参考、成本拆解方法,以及一份可直接套用的选型流程。

一、选型的起点:把需求翻译成三个数字

无论硬件怎么变,选型的输入始终是三个数字。把它们算清楚,配置就出来了:

  • 模型规模(参数量)与精度:决定显存下限,也决定能不能单卡装下。
  • 目标并发 / 吞吐:推理场景是峰值并发会话数与输出速度,训练场景是期望的训练时长。
  • 预算与成本目标:是一次性采购还是按周期租用,可接受的成本单位(每百万 token、每训练小时)。

这三个数字之间是有依赖的:模型规模决定"能不能跑",并发决定"要多少卡",成本决定"选哪档卡、用多久"。下面逐一展开。

二、显存:所有配置的第一个约束

显存永远是第一约束,因为它决定"能不能跑",而算力只决定"跑多快"。两个场景的估算公式:

推理显存 = 权重 + KV Cache + 激活与临时 buffer + 框架与碎片开销

  权重      = 参数量 × 每参数字节数
              BF16/FP16 ≈ 2 字节;FP8/INT8 ≈ 1 字节;INT4 量化 ≈ 0.5 字节
  KV Cache  = 2 × 层数 × 注意力头数 × head_dim × 序列长度 × 并发数 × 每元素字节数
              (Key 与 Value 各一份;用 FP8 存 KV 可再减半)
  开销      ≈ 1~3 GB(CUDA context、workspace)或按总量 10%~15% 预留

训练显存 = 权重 + 梯度 + 优化器状态 + 激活值 + 开销
  AdamW + 混合精度的经验系数 ≈ 每参数 16~20 字节
  LoRA 等参数高效微调:仅为少量低秩矩阵保存优化器状态,可下降一个数量级

举个对照:7B 模型 BF16 推理权重约 14 GB,一张 24GB 卡装得下但 KV Cache 余量有限;70B 模型 BF16 权重约 140 GB,必须两张 80GB 卡做张量并行,或者量化到 INT4(约 35 GB)后单卡部署。量化在这里不只是"加速手段",更是"能不能用某档卡"的决定因素。

还有一个趋势要在规划时提前考虑:上下文长度正在变长。KV Cache 与序列长度成正比,上下文从 4K 提到 32K,同样的并发下 KV Cache 会增长数倍。所以规划显存时,不要按当前业务的平均上下文算,而要按未来可能支持的最大上下文算,否则扩功能时会被迫换卡。

三、硬件配置的三条主线:容量、带宽、互联

选卡时看三个指标就够了,其他都是这三条的衍生:

主线决定什么训练场景重要性推理场景重要性
显存容量模型能否装下、并发上限、上下文长度上限极高(梯度与优化器状态放大占用)极高(权重 + KV Cache)
显存带宽解码(decode)速度、单 token 延迟高(影响数据搬运与部分算子)极高(decode 是访存受限负载)
互联带宽多卡并行效率、能否做张量并行极高(梯度同步与通信频率高)中(单卡装得下时几乎不需要)

由此可以推出几个实用的判断:

  • 训练优先大显存 + 高互联:HBM 显存(HBM2e/HBM3)与 NVLink 级互联是训练机的核心,单卡显存不足会迫使引入更复杂的并行策略。
  • 推理优先显存带宽 + 容量:解码阶段单 token 耗时约等于"权重总量 ÷ 显存带宽",带宽直接决定单卡能承载的并发与成本。H100 80GB(约 3.35 TB/s)、A100 80GB(约 2 TB/s)、L40S 48GB(约 864 GB/s)在这条线上差距明显。
  • 小模型推理可以横向堆卡:只要单卡装得下,多副本 + 负载均衡就是最优解,不必追求高端互联。
  • 注意特定市场版本的互联裁剪:如 A800/H800 这类版本互联带宽低于同代标准版,做大规模张量并行训练时要评估影响,但用于推理或通信不密集的微调通常影响有限。
# 选型/验收时必须核对的三张"体检表"
nvidia-smi --query-gpu=index,name,memory.total,memory.used,utilization.gpu,utilization.memory,temperature.gpu,power.draw --format=csv

nvidia-smi topo -m        # 互联拓扑:NV# = NVLink;PIX/PHB/SYS = PCIe 或跨 NUMA

nvidia-smi --query-gpu=index,pcie.link.gen.current,pcie.link.gen.max,pcie.link.width.current --format=csv

四、按模型规模的配置档位参考

下面这张表按模型规模给出部署形态参考(描述资源形态与卡型方向,不涉及具体报价):

模型规模BF16 权重推理部署形态训练/微调形态卡型方向
7B 级约 14 GB单卡,多副本横向扩展单卡 80GB 可做全参微调;24GB 卡适合 LoRA24GB(RTX 4090)/ 48GB(L40S)起步,高并发选 80GB
14B 级约 28 GB48GB 单卡,或 24GB + 量化LoRA 单卡可行;全参需 80GB 多卡L40S 48GB、A100/H100 80GB
32B~34B 级约 64~68 GB80GB 单卡,或两卡张量并行多卡 + 并行策略A100/H100 80GB
70B 级约 140 GB2 卡以上张量并行;INT4 后可单卡8 卡节点 + 张量/流水线并行2~8 张 80GB 卡,需 NVLink 级互联
MoE / 百 B 级以上数百 GB 起多节点并行,工程复杂度高大规模集群 + RDMA 网络8 卡 NVLink 节点 × 多节点

需要特别提醒的是 MoE(混合专家)架构:它的总参数量很大,但每次推理只激活一部分专家,因此"参数量"不能直接换算显存占用——要看"激活参数量 + 全部专家权重是否常驻显存"具体实现。MoE 模型对显存容量和互联带宽的要求都更高,规划时不要套用稠密模型的经验系数。

五、使用成本:把成本拆成可计算的单位

硬件选型的终点是成本。建议把成本换算成业务能理解的单位,而不是停留在"每台每月多少钱"。

推理成本:每百万 token 成本 =(单卡每小时成本 ÷ 单卡每小时产出 token 数)× 1,000,000

  单卡每小时产出 token 数 ≈ 3600 ÷ 单 token 平均耗时 × 平均并发数
  单 token 平均耗时(decode)≈ 权重总量 ÷ 显存带宽(理论下限)

训练成本:单次训练成本 = 卡数 × 单卡小时成本 × 训练小时数
          训练小时数 ≈ 总训练 token 数 × 6 × 参数量 ÷(峰值 FLOPS × MFU × 3600)
          (6 为前向 + 反向的经验系数;MFU 通常 20%~50%)

这个拆解的价值在于,它把"选哪张卡"变成了一个可比较的问题:一张显存带宽翻倍、价格也更高的卡,如果带来的吞吐提升超过价格提升,那么它的每百万 token 成本反而更低。便宜的卡不等于便宜的 token,这是选型中最容易算错的一笔账。

成本构成自建(自购)租用(托管/租赁)说明
硬件获取一次性大额资本支出按期支付,无大额 upfront自建需承担折旧与代际迭代风险
机房与电力需自建或租机柜,承担电费与制冷通常含在租金内高密度 GPU 机柜对供电制冷要求高
运维人力需自有运维团队部分服务由供应商承担故障响应、驱动与环境维护是长期投入
弹性固定容量,扩容周期长可按周期调整,短租验证灵活业务不确定时租用的试错成本更低
利用率风险闲置即沉没成本可按需退租利用率低于一定水平时自建不划算

判断方法可以简化为一个问题:预计利用率有多高、需求有多稳定。需求稳定且长期高利用率(例如推理服务 7×24 常驻),自建或长期包年的单位成本更低;需求波动大、技术路线未定(例如还在选模型、调算法),先用短周期租用验证,跑通后再谈长期方案。很多团队踩的坑是反过来——业务还没跑稳就自购硬件或签长约,结果模型选型一变,硬件直接不匹配。

另外,成本里还有一块常被忽略的:隐性闲置成本。利用率低的时候,再便宜的机器也是贵的。因此选型时应把"能不能把这张卡喂饱"作为重要判断——与其买更多卡,不如先确认数据链路、批处理策略、并发参数是否已经调优到位。参考判断标准:如果 GPU 利用率长期低于 50% 且 utilization.memory 也不高,先做性能优化再谈扩容。

# 用持续采样确认真实利用率,作为成本决策依据
nvidia-smi --query-gpu=timestamp,utilization.gpu,utilization.memory,memory.used,power.draw --format=csv -l 60 -f /var/log/gpu_usage.csv

# 用 DCGM 剖析算力与访存占用,判断是否为低效空转
dcgmi dmon -e 200,201,202,203,204 -d 5

# 排查降频,避免把散热问题误判为算力不足
nvidia-smi --query-gpu=clocks_throttle_reasons.active,clocks.sm,clocks.max.sm --format=csv

六、面向 2027 的几个规划取向

硬件型号会变,但几个方向性的判断可以帮助你留出余量(以下为规划取向,具体规格以厂商公开资料为准):

  • 低精度会成为默认选项:从 FP16/BF16 向 FP8、乃至更低精度演进是明确方向。选型时优先考虑支持低精度加速的硬件,并把"量化后能否装进更小的卡"纳入方案备选。
  • 上下文长度持续变长:KV Cache 的显存压力会越来越大,规划显存时按最大上下文预留,并关注支持 KV Cache 降精度与分页管理(如 PagedAttention)的方案。
  • MoE 架构对显存与互联更苛刻:参数量与显存占用不再线性对应,需要按激活参数与专家常驻方式单独估算。
  • 推理侧更看重带宽与并发:continuous batching、prefix caching、chunked prefill 等调度优化已经成为主流框架的标配,选型时应确认硬件能被这些优化充分发挥。
  • 高密度部署推动散热升级:单机柜功率密度上升使风冷的成本与难度增加,液冷方案在高密度场景会更常见,选型时要同步确认机房的供电与制冷能力。
  • 软件栈的可移植性很重要:把训练与推理流程做成可迁移的(容器化、配置化),比锁定某一代硬件更能抵御迭代风险。

七、AI算力服务器选型流程

  1. 确定模型规模与精度路线:列出当前与未来 6~12 个月可能使用的模型规模,按 BF16 与量化两种口径分别估算权重显存。
  2. 算推理显存与并发上限:按最大上下文长度算单序列 KV Cache,得出"单卡能承载多少并发",进而推出所需副本数。
  3. 算训练显存(如有):按每参数 16~20 字节或 LoRA 口径估算,决定是否需要多卡并行与高速互联。
  4. 确定卡型档位:按容量、带宽、互联三条主线对照卡型方向,优先满足容量下限,再按带宽与成本选档。
  5. 核对整机配套:CPU 核数(每卡 8~16 核起步)、内存(每卡 32~64 GB 起步)、存储(NVMe,按数据吞吐需求)、网络(多机需 RDMA)。
  6. 建立成本模型:按每百万 token 或每次训练成本换算,比较不同卡型的单位成本,而不是只比单价。
  7. 短租实测验证:先按小时/天租一小段时间跑真实负载,用 nvidia-smi dmon 与 dcgmi 采样,确认瓶颈判断与吞吐预期。
  8. 再决定周期与形态:验证通过后,按预计利用率与需求稳定性决定短租、包月、包年还是自建。
  9. 留扩展路径:明确下一步是"加副本"还是"换更大卡",并把触发条件写成指标(如峰值并发达到规划上限的 70%)。
  10. 建立监控基线:持续采集利用率、显存、温度、Xid 与业务指标,作为后续扩容与故障判断的依据。

小结

面向 2027 年的 AI 算力选型,最稳妥的策略不是"押注最强硬件",而是把模型规模、硬件配置、使用成本三件事用公式连起来,并保留调整空间。显存决定能不能跑,带宽决定跑得省不省,互联决定能不能扩展,而成本要通过"每百万 token"或"每次训练"这样的业务单位来比较。先短租验证、再长期决策,先做性能优化、再考虑扩容,这两条顺序能帮你避开大多数代价高昂的错误。

避坑清单

  • 只比单价不比单位成本:高带宽卡单价更高但每 token 成本可能更低,务必换算后比较。
  • 按平均上下文算显存:上线后支持长上下文会直接击穿显存规划,应按最大值预留。
  • 套用稠密模型经验估 MoE:MoE 的参数量与显存占用不线性对应,需单独核算。
  • 业务未验证就自购或长约:模型选型一旦变化,硬件可能整体不匹配,先短租验证。
  • 忽略整机配套:CPU、内存、存储、网络任一不足都会让高端卡发挥不出性能。
  • 利用率低时盲目扩容:先排查数据加载、批处理与并发参数,把现有算力用满再谈加卡。
  • 忽略机房供电与制冷:高密度 GPU 部署前必须确认机柜功率与散热方案,否则会被迫降频运行。
  • 不核对实机拓扑:签约前务必执行 nvidia-smi topo -m 与 PCIe 链路查询,确认与配置单一致。

关键词回顾:AI算力服务器选型、模型规模、硬件配置、使用成本、显存估算、互联带宽、每百万token成本、2027规划。