大模型推理服务器如何优化吞吐量?批处理、量化与并发参数分析

线上推理服务最难受的状态是这样的:GPU 利用率显示 40%,显存还剩一半,但用户反馈响应慢,单机 QPS 上不去。加机器成本翻倍,加并发就 OOM,调 batch 又怕延迟超标。这类问题的根源通常是没有分清吞吐量、延迟和并发这三个指标的关系,也没有针对 prefill 与 decode 两个阶段分别优化。大模型推理的优化是个多目标问题:你要在满足延迟 SLA 的前提下,把单位时间生成的 token 数(吞吐)最大化,同时让单卡承载尽可能多的并发请求。本文从指标定义出发,讲清楚批处理策略、KV Cache 与 PagedAttention、量化方案、并行方式,以及并发参数的调优顺序。

一、先把指标定义清楚:吞吐、延迟、并发不是一回事

优化之前必须确定"优化什么"。推理服务常用的四类指标:

  • Throughput(吞吐):单位时间生成的 token 数(tokens/s),或单位时间完成的请求数(QPS/RPS)。这是成本指标,直接决定每百万 token 的成本。
  • TTFT(Time To First Token,首 token 延迟):用户发请求到收到第一个字的等待时间,主要由 prefill 阶段决定。
  • TPOT(Time Per Output Token,每输出 token 耗时):决定"字蹦得快不快",主要由 decode 阶段的显存带宽决定。
  • Concurrency(并发数):同时在处理的请求数。它是手段不是目标——提高并发是为了填满 GPU,但并发过高会同时抬升 TTFT 和 TPOT。

三者的关系是:吞吐 = 并发 ÷ 平均延迟(Little's Law)。所以提高并发本身不会自动提高吞吐,只有在 GPU 还没被填满时提高并发才有效;一旦 GPU 饱和,再加并发只会让所有请求的延迟一起变差。判断"是否饱和"的标准做法就是看 GPU 利用率曲线的形态:

# 每秒采样一次,观察利用率、显存占用、功耗的变化趋势
nvidia-smi --query-gpu=utilization.gpu,utilization.memory,memory.used,memory.total,power.draw,temperature.gpu --format=csv -l 1

# 用 DCGM 看更细的剖析指标:SM 占用率、DRAM 占用率
dcgmi dmon -e 200,201,202,203,204 -d 5

# 检查是否触发降频(温度墙/功耗墙会让吞吐测试结论失效)
nvidia-smi --query-gpu=clocks_throttle_reasons.active,clocks.sm --format=csv

判读经验:如果 utilization.gpu 稳定在 90% 以上且 power.draw 接近 power.limit,说明算力已接近饱和,继续加并发只会增加排队;如果利用率在 40%~60% 徘徊而 utilization.memory(显存带宽占用)也不高,说明并发不足或批处理策略不合理,还有很大提升空间。

二、prefill 与 decode:两个阶段要用两套思路

大模型推理的一次请求分两个阶段,性质完全不同:

  • Prefill(预填充):把整个 prompt 一次性做前向计算。这是大矩阵乘法,属于 compute-bound,能充分利用张量核心,所以增加 batch 能显著提高算力利用率。它决定 TTFT。
  • Decode(解码):逐 token 生成。每个 token 都要把全部权重从显存读一遍,算术强度极低,属于 memory-bound。单 token 耗时 ≈ 权重总量 ÷ 显存带宽。它决定 TPOT。

这个区分解释了推理优化的两条主线:prefill 靠批处理把算力填满,decode 靠显存带宽和 KV Cache 管理。也解释了为什么 decoder-only 模型的交互式服务特别吃显存带宽——H100 80GB 约 3.35 TB/s 的 HBM3 带宽,正是它在这类场景里的核心优势。

decode 阶段的显存大头是 KV Cache,它的估算公式:

KV Cache ≈ 2 × 层数 × 注意力头数 × head_dim × 序列长度 × 并发序列数 × 每元素字节数
           (系数 2 = Key 与 Value 各一份;FP16/BF16 为 2 字节,FP8 为 1 字节)

可用显存分配 ≈ 总显存 − 模型权重 − 框架与碎片开销
最大并发估算 ≈ 可用显存 ÷ 单序列 KV Cache 大小

举例:一个 7B 模型,层数 32、头数 32、head_dim 128,BF16 精度下单个 2048 token 序列的 KV Cache 大约是 2 × 32 × 32 × 128 × 2048 × 2 字节 ≈ 1 GB 量级。也就是说,装完 14 GB 权重后,一张 24GB 的 RTX 4090 大约还能容纳几个到十来个这样的长序列并发——这就是"并发数"的物理上限,不是靠调参数能突破的。想提高并发,要么缩短上下文,要么降 KV Cache 精度(FP8),要么换更大显存的卡。

三、批处理策略:从静态批到 continuous batching

批处理是提升吞吐最直接的手段,但不同的批处理策略效果差距巨大:

策略原理优点缺点
逐请求串行一次只处理一个请求实现简单,延迟可预测GPU 严重空闲,吞吐极低,仅适合调试
静态批处理(static batching)凑够固定 batch 一起跑,等最慢的请求完成才释放整批吞吐明显高于串行短请求被长请求拖住(队头阻塞),显存按最长序列预留,浪费大
Continuous batching(连续批处理)每生成一个 token 就重新组批,完成请求立即退出并释放 KV Cache,新请求随时加入GPU 几乎不空转,吞吐与延迟兼顾调度实现复杂,需要精细的显存管理
Chunked prefill把长 prompt 的 prefill 切块,与 decode 请求混合组批避免长 prefill 独占导致 decode 卡顿,稳定 TPOT需要调优 chunk 大小,过小会增加调度开销

目前主流推理框架(vLLM、TensorRT-LLM、TGI 等)都已把 continuous batching 作为默认能力,其中 vLLM 的核心机制是 PagedAttention:它把 KV Cache 按固定大小的 block(页)来管理,就像操作系统管理虚拟内存一样,一个序列的 KV Cache 不必在显存里连续存放。这带来三个直接收益——显存碎片大幅减少、同一 prompt 前缀可以被多个请求共享(prefix caching)、以及并发数可以动态伸缩而不必预先按最大长度预留。

以 vLLM 为例,几个直接影响吞吐与并发的关键参数(版本不同参数名可能略有差异,以官方文档为准):

# 启动一个 OpenAI 兼容的推理服务,并显式约束并发与批处理规模
python -m vllm.entrypoints.openai.api_server \
  --model /models/Qwen2.5-7B-Instruct \
  --tensor-parallel-size 1 \
  --max-model-len 8192 \
  --max-num-batched-tokens 8192 \        # 单次迭代参与的最大 token 数,直接影响 prefill 吞吐
  --max-num-seqs 256 \                   # 最大并发序列数,受 KV Cache 显存上限约束
  --gpu-memory-utilization 0.90 \        # 允许框架使用的显存比例,留出余量防 OOM
  --enable-prefix-caching \              # 开启前缀缓存,系统提示词相同的场景收益明显
  --block-size 16                        # PagedAttention 的分页粒度

# 简单的并发压测:观察吞吐与延迟随并发变化的曲线
python benchmarks/benchmark_serving.py \
  --backend vllm --model /models/Qwen2.5-7B-Instruct \
  --num-prompts 500 --request-rate 32 --dataset-name sharegpt

参数之间的因果关系要理顺:max_num_batched_tokens 决定单次迭代能吃进多少 token(偏 prefill 吞吐),max_num_seqs 决定同时跑多少条序列(偏并发与 decode 吞吐),gpu_memory_utilization 决定留给 KV Cache 的显存总量。三者共同受"可用显存"这一个物理上限约束——如果 gpu_memory_utilization 设得过高,KV Cache 空间看似更大,但框架与临时 buffer 可能挤爆显存导致运行时 OOM;通常 0.85~0.92 是比较稳妥的区间。

四、量化:降低权重体积就是直接换带宽

既然 decode 是访存受限,"把权重变小"就等于"把带宽变宽"。常见精度方案对比:

精度每参数字节数权重显存(7B 为例)速度收益精度损失
FP324约 28 GB基准无,推理场景基本不用
FP16 / BF162约 14 GB主流基准极小,训练与推理通用
FP8约 1约 7 GB权重体积减半,带宽压力减半需硬件支持,校准得当损失很小
INT8(W8A8)1约 7 GB带宽与算力双重收益需校准,个别任务有轻微退化
INT4 / GPTQ / AWQ约 0.5约 3.5 GB显存占用大幅下降,小卡也能跑大模型损失更明显,需按业务做效果验收

选型的判断标准很清晰:如果瓶颈是显存容量(模型装不下),用 INT4/GPTQ/AWQ 这类权重量化;如果瓶颈是显存带宽(decode 慢),用 FP8/W8A8 这类能同时降低访存量的方案;如果瓶颈是算力(prefill 慢),则要考虑支持低精度张量核心的硬件。量化不是免费的,每次上线前都要用业务真实数据集做效果回归,尤其是数学、代码、长文本抽取这类对数值精度敏感的任务。

另外,KV Cache 也可以单独降精度(例如用 FP8 存 KV),这对长上下文高并发场景的显存压力缓解非常直接,且对生成质量的影响通常小于权重量化。

五、并行策略:张量并行与流水线并行怎么选

当单卡装不下模型或单卡吞吐不够时,要引入多卡并行:

  • 张量并行(Tensor Parallelism, TP):把每一层的权重矩阵切分到多张卡上,每层计算后需要 all-reduce 合并结果。它降低单卡显存占用(权重与 KV Cache 都被切分),且因为所有卡同时参与同一次计算,能显著降低单次请求的延迟。代价是通信频繁,必须依赖 NVLink 级高带宽互联,跨机做 TP 基本不可行。
  • 流水线并行(Pipeline Parallelism, PP):按层切分,每张卡负责若干层,请求在卡间流水传递。通信量小、可跨机,但存在流水线气泡(bubble),且不降低单请求的显存峰值以外的延迟,更适合提高吞吐而非降低延迟。
  • 数据并行 / 多副本(DP):每张卡放一份完整模型,靠负载均衡分发请求。最简单、无通信开销,但要求单卡能装下完整模型。这也是小模型推理最常见的横向扩展方式。

选型结论:小模型(单卡装得下)优先多副本横向扩展;大模型单卡装不下时用 TP(节点内 NVLink),TP 规模受限于单节点卡数;再大则 TP + PP 组合跨节点。推理场景里 TP 比 PP 更常用,因为用户能感知到的是单次请求延迟。

六、并发参数调优的标准流程

  1. 先算物理上限:按"权重 + KV Cache + 开销"估算,得出在当前上下文长度下理论最大并发数,作为调参的边界。
  2. 确定 SLA 目标:明确 P50/P95/P99 的 TTFT 与 TPOT 目标。没有 SLA,吞吐优化就没有止点也无从验收。
  3. 固定模型与精度,先跑基线:用压测工具在低并发下测出单请求延迟,再逐步提高 request-rate。
  4. 画出"并发—吞吐—延迟"三条曲线:找到吞吐开始趋于平缓、而 P99 延迟开始急剧上升的那个拐点,这就是最佳并发工作点。
  5. 调批处理参数:在拐点附近微调 max_num_batched_tokens 与 max_num_seqs;长 prompt 场景开启 chunked prefill 以稳定 TPOT。
  6. 开启 prefix caching:系统提示词、RAG 模板、few-shot 示例重复度高的场景收益非常明显。
  7. 再考虑量化:先做 KV Cache 降精度,再做权重量化,每一步都要做效果回归。
  8. 最后才加卡:确认单卡已接近饱和(利用率与带宽占用都高)后,再引入 TP 或多副本扩展。
  9. 固化为监控基线:把压测得到的吞吐、P99 延迟、GPU 利用率记入监控,线上出现偏离时及时告警。

小结

大模型推理服务器优化吞吐量的本质,是在显存容量这一物理约束下,用批处理填满算力、用 PagedAttention 与 prefix caching 提高显存复用、用量化降低访存量、用并行策略突破单卡上限。顺序很重要:先诊断瓶颈类型(算力 / 带宽 / 容量),再选择对应手段,最后才考虑堆硬件。跳过诊断直接加卡,往往是成本翻倍而收益有限。

避坑清单

  • 只盯 GPU 利用率:利用率 100% 也可能是低效的内存拷贝,要结合 utilization.memory 与 DCGM 的 SM/DRAM 指标判断。
  • 忽略降频干扰:压测前先确认 clocks_throttle_reasons.active 无异常,否则测出的是散热能力不是算力。
  • 并发调得过大:超过 KV Cache 容量后请求会被抢占或排队,P99 延迟暴涨,吞吐反而下降。
  • 静态批处理导致队头阻塞:交互式服务务必使用支持 continuous batching 的框架。
  • 量化不做效果回归:数学、代码、结构化抽取任务对低精度更敏感,必须按业务数据验收。
  • 跨机做张量并行:通信开销会让延迟恶化,TP 应限制在 NVLink 互联的节点内。
  • 显存预留过满:gpu_memory_utilization 设到 0.95 以上容易在流量高峰触发 OOM,留 8%~15% 余量更稳。

关键词回顾:大模型推理、吞吐量优化、continuous batching、PagedAttention、KV Cache、量化、并发参数、张量并行。