线上推理服务最难受的状态是这样的:GPU 利用率显示 40%,显存还剩一半,但用户反馈响应慢,单机 QPS 上不去。加机器成本翻倍,加并发就 OOM,调 batch 又怕延迟超标。这类问题的根源通常是没有分清吞吐量、延迟和并发这三个指标的关系,也没有针对 prefill 与 decode 两个阶段分别优化。大模型推理的优化是个多目标问题:你要在满足延迟 SLA 的前提下,把单位时间生成的 token 数(吞吐)最大化,同时让单卡承载尽可能多的并发请求。本文从指标定义出发,讲清楚批处理策略、KV Cache 与 PagedAttention、量化方案、并行方式,以及并发参数的调优顺序。
一、先把指标定义清楚:吞吐、延迟、并发不是一回事
优化之前必须确定"优化什么"。推理服务常用的四类指标:
- Throughput(吞吐):单位时间生成的 token 数(tokens/s),或单位时间完成的请求数(QPS/RPS)。这是成本指标,直接决定每百万 token 的成本。
- TTFT(Time To First Token,首 token 延迟):用户发请求到收到第一个字的等待时间,主要由 prefill 阶段决定。
- TPOT(Time Per Output Token,每输出 token 耗时):决定"字蹦得快不快",主要由 decode 阶段的显存带宽决定。
- Concurrency(并发数):同时在处理的请求数。它是手段不是目标——提高并发是为了填满 GPU,但并发过高会同时抬升 TTFT 和 TPOT。
三者的关系是:吞吐 = 并发 ÷ 平均延迟(Little's Law)。所以提高并发本身不会自动提高吞吐,只有在 GPU 还没被填满时提高并发才有效;一旦 GPU 饱和,再加并发只会让所有请求的延迟一起变差。判断"是否饱和"的标准做法就是看 GPU 利用率曲线的形态:
# 每秒采样一次,观察利用率、显存占用、功耗的变化趋势 nvidia-smi --query-gpu=utilization.gpu,utilization.memory,memory.used,memory.total,power.draw,temperature.gpu --format=csv -l 1 # 用 DCGM 看更细的剖析指标:SM 占用率、DRAM 占用率 dcgmi dmon -e 200,201,202,203,204 -d 5 # 检查是否触发降频(温度墙/功耗墙会让吞吐测试结论失效) nvidia-smi --query-gpu=clocks_throttle_reasons.active,clocks.sm --format=csv
判读经验:如果 utilization.gpu 稳定在 90% 以上且 power.draw 接近 power.limit,说明算力已接近饱和,继续加并发只会增加排队;如果利用率在 40%~60% 徘徊而 utilization.memory(显存带宽占用)也不高,说明并发不足或批处理策略不合理,还有很大提升空间。
二、prefill 与 decode:两个阶段要用两套思路
大模型推理的一次请求分两个阶段,性质完全不同:
- Prefill(预填充):把整个 prompt 一次性做前向计算。这是大矩阵乘法,属于 compute-bound,能充分利用张量核心,所以增加 batch 能显著提高算力利用率。它决定 TTFT。
- Decode(解码):逐 token 生成。每个 token 都要把全部权重从显存读一遍,算术强度极低,属于 memory-bound。单 token 耗时 ≈ 权重总量 ÷ 显存带宽。它决定 TPOT。
这个区分解释了推理优化的两条主线:prefill 靠批处理把算力填满,decode 靠显存带宽和 KV Cache 管理。也解释了为什么 decoder-only 模型的交互式服务特别吃显存带宽——H100 80GB 约 3.35 TB/s 的 HBM3 带宽,正是它在这类场景里的核心优势。
decode 阶段的显存大头是 KV Cache,它的估算公式:
KV Cache ≈ 2 × 层数 × 注意力头数 × head_dim × 序列长度 × 并发序列数 × 每元素字节数
(系数 2 = Key 与 Value 各一份;FP16/BF16 为 2 字节,FP8 为 1 字节)
可用显存分配 ≈ 总显存 − 模型权重 − 框架与碎片开销
最大并发估算 ≈ 可用显存 ÷ 单序列 KV Cache 大小
举例:一个 7B 模型,层数 32、头数 32、head_dim 128,BF16 精度下单个 2048 token 序列的 KV Cache 大约是 2 × 32 × 32 × 128 × 2048 × 2 字节 ≈ 1 GB 量级。也就是说,装完 14 GB 权重后,一张 24GB 的 RTX 4090 大约还能容纳几个到十来个这样的长序列并发——这就是"并发数"的物理上限,不是靠调参数能突破的。想提高并发,要么缩短上下文,要么降 KV Cache 精度(FP8),要么换更大显存的卡。
三、批处理策略:从静态批到 continuous batching
批处理是提升吞吐最直接的手段,但不同的批处理策略效果差距巨大:
| 策略 | 原理 | 优点 | 缺点 |
|---|---|---|---|
| 逐请求串行 | 一次只处理一个请求 | 实现简单,延迟可预测 | GPU 严重空闲,吞吐极低,仅适合调试 |
| 静态批处理(static batching) | 凑够固定 batch 一起跑,等最慢的请求完成才释放整批 | 吞吐明显高于串行 | 短请求被长请求拖住(队头阻塞),显存按最长序列预留,浪费大 |
| Continuous batching(连续批处理) | 每生成一个 token 就重新组批,完成请求立即退出并释放 KV Cache,新请求随时加入 | GPU 几乎不空转,吞吐与延迟兼顾 | 调度实现复杂,需要精细的显存管理 |
| Chunked prefill | 把长 prompt 的 prefill 切块,与 decode 请求混合组批 | 避免长 prefill 独占导致 decode 卡顿,稳定 TPOT | 需要调优 chunk 大小,过小会增加调度开销 |
目前主流推理框架(vLLM、TensorRT-LLM、TGI 等)都已把 continuous batching 作为默认能力,其中 vLLM 的核心机制是 PagedAttention:它把 KV Cache 按固定大小的 block(页)来管理,就像操作系统管理虚拟内存一样,一个序列的 KV Cache 不必在显存里连续存放。这带来三个直接收益——显存碎片大幅减少、同一 prompt 前缀可以被多个请求共享(prefix caching)、以及并发数可以动态伸缩而不必预先按最大长度预留。
以 vLLM 为例,几个直接影响吞吐与并发的关键参数(版本不同参数名可能略有差异,以官方文档为准):
# 启动一个 OpenAI 兼容的推理服务,并显式约束并发与批处理规模 python -m vllm.entrypoints.openai.api_server \ --model /models/Qwen2.5-7B-Instruct \ --tensor-parallel-size 1 \ --max-model-len 8192 \ --max-num-batched-tokens 8192 \ # 单次迭代参与的最大 token 数,直接影响 prefill 吞吐 --max-num-seqs 256 \ # 最大并发序列数,受 KV Cache 显存上限约束 --gpu-memory-utilization 0.90 \ # 允许框架使用的显存比例,留出余量防 OOM --enable-prefix-caching \ # 开启前缀缓存,系统提示词相同的场景收益明显 --block-size 16 # PagedAttention 的分页粒度 # 简单的并发压测:观察吞吐与延迟随并发变化的曲线 python benchmarks/benchmark_serving.py \ --backend vllm --model /models/Qwen2.5-7B-Instruct \ --num-prompts 500 --request-rate 32 --dataset-name sharegpt
参数之间的因果关系要理顺:max_num_batched_tokens 决定单次迭代能吃进多少 token(偏 prefill 吞吐),max_num_seqs 决定同时跑多少条序列(偏并发与 decode 吞吐),gpu_memory_utilization 决定留给 KV Cache 的显存总量。三者共同受"可用显存"这一个物理上限约束——如果 gpu_memory_utilization 设得过高,KV Cache 空间看似更大,但框架与临时 buffer 可能挤爆显存导致运行时 OOM;通常 0.85~0.92 是比较稳妥的区间。
四、量化:降低权重体积就是直接换带宽
既然 decode 是访存受限,"把权重变小"就等于"把带宽变宽"。常见精度方案对比:
| 精度 | 每参数字节数 | 权重显存(7B 为例) | 速度收益 | 精度损失 |
|---|---|---|---|---|
| FP32 | 4 | 约 28 GB | 基准 | 无,推理场景基本不用 |
| FP16 / BF16 | 2 | 约 14 GB | 主流基准 | 极小,训练与推理通用 |
| FP8 | 约 1 | 约 7 GB | 权重体积减半,带宽压力减半 | 需硬件支持,校准得当损失很小 |
| INT8(W8A8) | 1 | 约 7 GB | 带宽与算力双重收益 | 需校准,个别任务有轻微退化 |
| INT4 / GPTQ / AWQ | 约 0.5 | 约 3.5 GB | 显存占用大幅下降,小卡也能跑大模型 | 损失更明显,需按业务做效果验收 |
选型的判断标准很清晰:如果瓶颈是显存容量(模型装不下),用 INT4/GPTQ/AWQ 这类权重量化;如果瓶颈是显存带宽(decode 慢),用 FP8/W8A8 这类能同时降低访存量的方案;如果瓶颈是算力(prefill 慢),则要考虑支持低精度张量核心的硬件。量化不是免费的,每次上线前都要用业务真实数据集做效果回归,尤其是数学、代码、长文本抽取这类对数值精度敏感的任务。
另外,KV Cache 也可以单独降精度(例如用 FP8 存 KV),这对长上下文高并发场景的显存压力缓解非常直接,且对生成质量的影响通常小于权重量化。
五、并行策略:张量并行与流水线并行怎么选
当单卡装不下模型或单卡吞吐不够时,要引入多卡并行:
- 张量并行(Tensor Parallelism, TP):把每一层的权重矩阵切分到多张卡上,每层计算后需要 all-reduce 合并结果。它降低单卡显存占用(权重与 KV Cache 都被切分),且因为所有卡同时参与同一次计算,能显著降低单次请求的延迟。代价是通信频繁,必须依赖 NVLink 级高带宽互联,跨机做 TP 基本不可行。
- 流水线并行(Pipeline Parallelism, PP):按层切分,每张卡负责若干层,请求在卡间流水传递。通信量小、可跨机,但存在流水线气泡(bubble),且不降低单请求的显存峰值以外的延迟,更适合提高吞吐而非降低延迟。
- 数据并行 / 多副本(DP):每张卡放一份完整模型,靠负载均衡分发请求。最简单、无通信开销,但要求单卡能装下完整模型。这也是小模型推理最常见的横向扩展方式。
选型结论:小模型(单卡装得下)优先多副本横向扩展;大模型单卡装不下时用 TP(节点内 NVLink),TP 规模受限于单节点卡数;再大则 TP + PP 组合跨节点。推理场景里 TP 比 PP 更常用,因为用户能感知到的是单次请求延迟。
六、并发参数调优的标准流程
- 先算物理上限:按"权重 + KV Cache + 开销"估算,得出在当前上下文长度下理论最大并发数,作为调参的边界。
- 确定 SLA 目标:明确 P50/P95/P99 的 TTFT 与 TPOT 目标。没有 SLA,吞吐优化就没有止点也无从验收。
- 固定模型与精度,先跑基线:用压测工具在低并发下测出单请求延迟,再逐步提高
request-rate。 - 画出"并发—吞吐—延迟"三条曲线:找到吞吐开始趋于平缓、而 P99 延迟开始急剧上升的那个拐点,这就是最佳并发工作点。
- 调批处理参数:在拐点附近微调
max_num_batched_tokens与max_num_seqs;长 prompt 场景开启 chunked prefill 以稳定 TPOT。 - 开启 prefix caching:系统提示词、RAG 模板、few-shot 示例重复度高的场景收益非常明显。
- 再考虑量化:先做 KV Cache 降精度,再做权重量化,每一步都要做效果回归。
- 最后才加卡:确认单卡已接近饱和(利用率与带宽占用都高)后,再引入 TP 或多副本扩展。
- 固化为监控基线:把压测得到的吞吐、P99 延迟、GPU 利用率记入监控,线上出现偏离时及时告警。
小结
大模型推理服务器优化吞吐量的本质,是在显存容量这一物理约束下,用批处理填满算力、用 PagedAttention 与 prefix caching 提高显存复用、用量化降低访存量、用并行策略突破单卡上限。顺序很重要:先诊断瓶颈类型(算力 / 带宽 / 容量),再选择对应手段,最后才考虑堆硬件。跳过诊断直接加卡,往往是成本翻倍而收益有限。
避坑清单
- 只盯 GPU 利用率:利用率 100% 也可能是低效的内存拷贝,要结合
utilization.memory与 DCGM 的 SM/DRAM 指标判断。 - 忽略降频干扰:压测前先确认
clocks_throttle_reasons.active无异常,否则测出的是散热能力不是算力。 - 并发调得过大:超过 KV Cache 容量后请求会被抢占或排队,P99 延迟暴涨,吞吐反而下降。
- 静态批处理导致队头阻塞:交互式服务务必使用支持 continuous batching 的框架。
- 量化不做效果回归:数学、代码、结构化抽取任务对低精度更敏感,必须按业务数据验收。
- 跨机做张量并行:通信开销会让延迟恶化,TP 应限制在 NVLink 互联的节点内。
- 显存预留过满:
gpu_memory_utilization设到 0.95 以上容易在流量高峰触发 OOM,留 8%~15% 余量更稳。
关键词回顾:大模型推理、吞吐量优化、continuous batching、PagedAttention、KV Cache、量化、并发参数、张量并行。
企业QQ咨询




