"我们要把大模型部署在自己的机房里,需要买什么样的服务器?"这个问题如果只回答"几张卡",几乎一定会出问题。私有化部署和调用云 API 的最大区别在于:你要为峰值负责——没有弹性伸缩兜底,所有容量必须提前规划,而规划错了的代价是业务上线后卡顿、OOM、或者资源长期闲置。一个可落地的资源规划必须从四个输入出发:模型规模与精度、目标并发与延迟 SLA、是否要做微调训练、以及数据与合规要求。本文按 GPU、CPU、内存、存储、网络五类资源逐一给出估算方法,并给出一张按模型规模分档的配置参考表与一份实施清单。
一、先定边界:四个输入决定了所有资源
动手算配置之前,先把下面四个问题问清楚。它们不确定,后面所有数字都是猜的:
- 模型规模与精度:7B、14B、32B、70B 还是更大?部署精度是 BF16、FP8、INT8 还是 INT4 量化?这直接决定显存下限。
- 并发与延迟目标:峰值同时多少路会话?平均输入/输出多长?P95 的首 token 延迟和输出速度要求是多少?这决定卡数与显存余量。
- 是否做微调:只做推理,还是要支持 LoRA 微调甚至全参数训练?训练的资源需求与推理不是一个量级,必须单独划池。
- 数据合规与高可用:数据是否要求不出内网?是否需要双机热备?日志与对话记录保存多久?这决定机器数量、备份与存储容量。
很多企业的实际形态是"一套推理服务 + 一套轻量微调环境 + 一套 RAG 检索服务",三者的资源特征完全不同,应该分开规划而不是塞进一台机器。
二、GPU:显存是第一约束,并发是第二约束
私有化部署最常见的失败是"卡买少了"。先按公式算显存:
推理单卡显存需求 = 模型权重 + KV Cache + 激活与临时 buffer + 框架与碎片开销
模型权重 ≈ 参数量 × 每参数字节数
BF16/FP16 = 2 字节;FP8/INT8 ≈ 1 字节;INT4 量化 ≈ 0.5 字节
KV Cache ≈ 2 × 层数 × 注意力头数 × head_dim × 序列长度 × 并发数 × 每元素字节数
(系数 2 表示 Key 与 Value 各一份;FP8 存 KV 可再减半)
开销预留 ≈ 1~3 GB(CUDA context、cuBLAS workspace)或按总量的 10%~15% 预留
并发上限估算 =(单卡显存 − 权重 − 开销)÷ 单序列 KV Cache 大小
以常见的 7B 级别模型为例:BF16 权重约 14 GB;若上下文按 4096 token 规划,单序列 KV Cache 视模型结构可能在数百 MB 到 1 GB 量级;一张 24GB 的 RTX 4090 在装完权重后大约能容纳个位到十来路并发,一张 L40S(48GB)则明显宽裕,而 80GB 的 A100/H100 可以支撑更高的并发与更长的上下文。这就是"显存决定并发上限"的直观含义——同一张卡,上下文从 2K 提到 8K,可承载并发会成倍下降。
如果做微调,公式换成训练口径:
训练显存 ≈ 权重 + 梯度 + 优化器状态 + 激活值 + 开销
AdamW + 混合精度的经验系数约为每参数 16~20 字节
LoRA 微调只需为少量低秩矩阵保存优化器状态,可下降一个数量级
下面这张表按模型规模给出部署形态的参考(仅描述资源形态与卡型方向,不涉及具体报价):
| 模型规模(BF16) | 权重显存 | 单节点部署形态 | 建议卡型方向 | 说明 |
|---|---|---|---|---|
| 7B 级 | 约 14 GB | 单卡可装,多副本横向扩展 | 24GB 级(RTX 4090)起步,48GB(L40S)更宽裕 | 并发需求高时增加副本数而非加大单卡 |
| 14B 级 | 约 28 GB | 单卡 48GB 可装,24GB 需量化 | L40S 48GB,或 A100/H100 80GB | 量化到 INT4 后可下探到 24GB 卡 |
| 32B~34B 级 | 约 64~68 GB | 单卡 80GB 可装,或两卡张量并行 | A100/H100 80GB | 并发要求高时优先 80GB 单卡多副本 |
| 70B 级 | 约 140 GB | 至少两卡张量并行(BF16),INT4 后可单卡 | 2×A100/H100 80GB(需 NVLink 级互联) | 张量并行依赖高带宽互联,跨机不可取 |
| 百 B 级以上 | 数百 GB | 多卡 TP + PP 组合,跨节点 | 8 卡 NVLink 节点 × 多节点 + RDMA | 需专业并行方案与高速网络,规划复杂度高 |
高可用方面要单独留冗余。私有化部署不能只部署一个副本:单副本意味着一次 GPU 故障或一次发版就导致服务整体不可用。常见做法是至少两个副本分布在不同物理机上,前置负载均衡做健康检查;如果预算有限,也要保证"故障后能在可接受时间内拉起"的冷备能力。
三、CPU 与内存:被低估的配套资源
推理服务不是只有 GPU 在工作。CPU 承担的活儿不少:
- 请求接入与编排:API 网关、鉴权、限流、会话管理、流式输出(SSE)处理。
- Tokenizer 与 detokenizer:长文本的分词与拼接是纯 CPU 工作,高并发时占用可观。
- RAG 检索链路:向量检索、重排序、文档切片与召回拼装,往往比模型推理更吃 CPU 与内存。
- 安全与审计:敏感词过滤、内容审核、日志落盘、对话记录持久化。
- 数据加载与预处理(微调场景):解码、增强、打包,与训练吞吐直接相关。
内存规划则要考虑三块:服务进程本身(含向量索引常驻内存)、页缓存(数据与模型文件的缓存,越多越好)、以及可能的 CPU offload 峰值(部分框架在显存不足时会把层卸载到内存)。同时要避免 swap——一旦训练或大 batch 推理触发换页,性能会断崖式下跌。
# 核对 CPU 核数、NUMA 拓扑与内存容量
lscpu
numactl --hardware
free -h
# 观察是否发生 swap(si/so 持续大于 0 即已开始换页)
vmstat 1
# 把推理服务绑定到指定 NUMA 节点,减少跨 Socket 访问
numactl --cpunodebind=0 --membind=0 python -m vllm.entrypoints.openai.api_server \
--model /models/Qwen2.5-7B-Instruct --tensor-parallel-size 1
# 用 CUDA_VISIBLE_DEVICES 明确指定服务使用的 GPU
CUDA_VISIBLE_DEVICES=0 numactl --cpunodebind=0 --membind=0 python serve.py
经验配比建议(供参考起点,按实际负载调整):推理服务每卡配 8~16 核 CPU、32~64 GB 内存,若同时跑向量检索则应再上浮;微调训练每卡配 8~16 核、64 GB 以上内存,并预留 DataLoader worker 的内存副本开销。
四、存储:容量规划比吞吐更容易被漏掉
私有化部署的存储不是"放得下模型就行",至少要规划五类数据:
| 数据类别 | 容量量级 | 性能要求 | 建议 |
|---|---|---|---|
| 模型权重 | 单模型数 GB 到数百 GB,多版本并存时成倍增长 | 启动时顺序读,之后极少访问 | 本地 NVMe;按版本管理,保留回滚版本 |
| 向量库索引 | 随知识库规模增长,可达数十 GB 以上 | 随机读,对延迟敏感 | NVMe;索引尽量常驻内存 |
| 业务知识与原始文档 | 数十 GB 到数 TB | 批量写入、低并发读 | 大容量存储,配独立备份 |
| 微调数据集与 checkpoint | 单次 checkpoint 可达数十 GB 以上 | 写入突发、读取偶发 | 高速 NVMe,按保留策略定期清理 |
| 日志、审计与对话记录 | 按合规要求保留,长期累积可观 | 顺序写为主 | 独立磁盘或日志系统,避免占满系统盘 |
三类容易被低估的容量陷阱:多模型版本并存(灰度发布时新旧版本同时在盘)、checkpoint 累积(微调任务每隔若干步存一次,几天就能吃掉数 TB)、日志与审计留存(合规要求保留数月甚至更久)。规划时建议给存储留 50% 以上的余量,并设置配额与清理策略。
# 实测数据盘吞吐,确认能满足模型加载与数据集读取
fio --name=seqread --directory=/models --rw=read --bs=1m --size=20g \
--numjobs=4 --ioengine=libaio --direct=1 --group_reporting --runtime=60 --time_based
# 检查磁盘空间与 inode 使用,避免"有空间但 inode 耗尽"
df -h
df -i
五、网络:内网互联与对外带宽要分开算
网络规划分三层:
- 对外服务带宽:由并发数与响应体大小决定。流式输出下,单个会话的下行带宽不高,但会话数多时总量可观;还要考虑上传文档(RAG 场景)的入向流量。
- 内网服务间带宽:API 服务、向量库、模型服务、数据库之间的调用,万兆或 25G 通常足够;注意避免把向量库和模型服务放在跨机房链路上。
- 卡间与机间互联:单节点内做张量并行必须依赖 NVLink 级高带宽;跨节点扩展才需要 RDMA/InfiniBand 或 RoCE。私有化部署若只做 7B~14B 规模,通常根本用不到跨节点互联。
# 查看 GPU 互联拓扑,确认是否具备节点内高速互联 nvidia-smi topo -m # 查看网卡速率与丢包 ip -s link ethtool eth0 | grep -E 'Speed|Duplex'
六、运维与可观测:私有化部署的长期成本大头
机器到位只是开始。私有化部署没有云厂商托管,监控与故障处理要自己做:
# GPU 健康与利用率持续采样,作为容量规划的基线数据 nvidia-smi --query-gpu=timestamp,utilization.gpu,utilization.memory,memory.used,memory.total,power.draw,temperature.gpu --format=csv -l 60 # DCGM 标准健康诊断,定期跑一次做预防性检查 dcgmi diag -r 2 # 硬件/驱动异常排查:Xid 错误 dmesg -T | grep -i -E 'xid|nvidia' | tail -50 # 服务层指标:建议至少监控 QPS、TTFT、TPOT、P95/P99 延迟、排队长度、OOM 次数
建议把 GPU 指标(利用率、显存占用、温度、Xid)与业务指标(QPS、P95 延迟)接入同一套监控系统,并设置容量告警:当峰值并发达到规划上限的 70%~80% 时就应该触发扩容评估,而不是等到用户投诉才行动。
七、私有化部署资源规划实施清单
- 确定模型规模与部署精度,按公式算出单卡权重显存,确认单卡能否装下。
- 估算 KV Cache 与并发上限:按目标上下文长度与峰值并发算 KV Cache,反推所需显存与副本数。
- 确定副本数与高可用策略:至少两个副本分布在不同物理机,前置负载均衡与健康检查。
- 规划微调池(如有):按每参数 16~20 字节(或 LoRA 的低成本口径)单独估算,与推理池物理隔离。
- 配 CPU 与内存:按每卡 8~16 核、32~64 GB 起步,跑向量检索或长文本处理时上浮,并预留页缓存空间。
- 规划存储五类容量:权重、向量库、知识库、checkpoint、日志,各留余量并设清理策略。
- 确认网络三层带宽:对外、内网服务间、卡间互联;确认是否需要 NVLink 与 RDMA。
- 做上线前压测:用真实分布的请求压到峰值并发的 1.5 倍,记录吞吐与 P95/P99 延迟曲线,找到拐点。
- 建立监控与告警基线:GPU 指标 + 业务指标统一接入,设置容量阈值告警,定期跑 DCGM 诊断。
- 准备扩容路径:明确"加副本"与"换更大显存卡"两条路径的触发条件与实施成本,避免临时决策。
小结
企业私有化部署大模型的资源规划,本质是把业务指标(并发、延迟、模型规模)翻译成硬件指标(显存、核数、容量、带宽)。其中显存是第一约束,决定了能不能跑;并发与副本数决定用户体验与可用性;CPU、内存、存储与网络则是让 GPU 稳定发挥的配套。规划时务必留余量并先压测再上线,硬件成本之外,运维与容量管理才是私有化部署真正的长期投入。
避坑清单
- 只按权重显存买卡:忽略 KV Cache,上线后并发一上来就 OOM。
- 只部署单副本:无高可用,一次故障或发版就整体中断。
- 推理池与微调池混用:训练任务会长时间独占显存,直接影响线上服务 SLA。
- 忽略 CPU 与内存:Tokenizer、RAG 检索、流式输出编排都会吃掉大量 CPU,成为隐性瓶颈。
- 存储不留余量:checkpoint 与日志累积会快速吃满磁盘,务必配额加清理策略。
- 不做压测就上线:必须提前画出"并发—吞吐—延迟"曲线并找到拐点。
- 忽略合规留存要求:对话记录与审计日志的保存期限会直接决定存储容量与备份策略。
- 跨机做张量并行:通信开销会显著恶化延迟,应限制在 NVLink 互联的节点内。
关键词回顾:私有化部署大模型、服务器资源规划、GPU显存估算、CPU与内存配比、存储容量规划、高可用、KV Cache、压测。
企业QQ咨询




