实训过程中对Prefill入图有了理解

昇腾上海线下实训LAB3:

昇腾A2单卡环境Qwen3.5-0.8B@vLLM-Ascend多模态推理性能调优

实验要求:

针对昇腾 A2 单卡环境,在单并发、1080P(1920×1080)高清图像输入的典型端侧视觉理解场景中,

基于 vLLM 推理框架,围绕算子实现、计算图结构、内存调度及多模态预处理链路展开系统性性能调优,

优化首字响应延迟(TTFT)和逐 Token 生成速度(TPOT)指标。

单请求输入1080P图片,输出tokens数64,达到:

1.E2E 总耗时要求<0.6s

2.TTFT要求<250ms

3.TPOT< 10ms

实验环境:

HiDevLab容器:昇腾A2,CANN_9.0.0 Release, OpenEuler24.03,1NPU 32G内存 32核CPU 300G存储

============

本帖只要分享在实现Prefill入图优化过程中,自己的学习心得和验证过程。

vllm0.23的cudagraph_mode支持三种模式:

三种入图模式对比

NONE:每生成一个 token,host(CPU)要把几百个算子逐个下发到 NPU,host 调度开销远大于 NPU 计算本身。

实验实测:TPOT 72ms(对比入图后的TPOT 8~11ms可得出结论:Prefill入图和Decode入图都是本次优化的核心)

eager 逐算子下发 vs 入图

FDO:decode 每 token 走的计算形状完全固定(batch、token 数都一样),是图捕获的完美场景,replay 消掉全部 host 下发开销 → TPOT 72→11ms。但 prefill 形状随输入 token 数变化(实验要求 2055 tokens),传统整图捕获对不上,所以 prefill 保持 eager;

FAP:把模型在注意力算子处切开,前后非注意力部分分别捕获成图(piecewise=分段),attention 现算。好处是 prefill 也能吃到图收益,但要求前提是 cudagraph_capture_sizes 里要有覆盖 prefill token 数的档位。

仅更改 cudagraph_mode 的调优结果

由实验结果可知,仅仅更改cudagraph_mode无法从根本上提升性能,但Decode入图可以提升10%的性能,将TTFT压缩到330ms上下。

接下来进一步固化Prefill入图:

根据导师手册提示,组 A:固化配置

VLLM_ENABLE_V1_MULTIPROCESSING=0 PROF_DIR=/workspace/prof_A \

CC_JSON='{"cudagraph_mode": "FULL_AND_PIECEWISE", "cudagraph_capture_sizes":[1,2,3,4,8,16,24,32,64,128,144,152,168,184,200,256,1024,2048,2279,2280,3072]}' \

接下来是笔者理解导师手册中这些数字的含义:

●

机制约束(多或者少都不合适)

每个档位 = 捕获一张独立的图,每张图占一份独立显存(激活 buffer 按该档位大小预留)。档位越多显存吃得越多,所以列表长度天然受限(20 个左右已是合理上限)。同时因为运行时是“向上取整 pad 到最近档”,档位太稀 = pad 冗余大,太密 = 显存爆炸——列表本质上是在这两者间找平衡。

●

结构分层

20 个档位的含义

●

场景校准

128~256 每 8~16 递增的密集段,唯独2279/2280 这两个精确值,不是公式算出来的,大概率是按照导师实测负载的 num_tokens 分布校准的:

decode 多并发混跑时,每步 num_tokens = batch 大小(或 batch+chunked prefill 残段),会出现各种非 2 幂的值(比如 17 个并发就是 17,pad 到 32 冗余 47%);密集段就是为了让常见 batch 值都能贴近落档;本次实验的prompt实测长度是2055,最终落在2279档位。

所以其实20个档位中,2279、2280、3072是可以自定义的,在其他场景中可以通过serve 日志或 bench 中的num_tokens分布进行调整。

在本实验中,"cudagraph_capture_sizes":[1,2,3,4,8,16,24,32,64,128,144,152,168,184,200,256,1024,2048,2056,2279,2280]}' 是最优解。

实测验证:

Prefill 固化配置结果

但从实验数据来看,TTFT降低了接近40%,已经压线达标导师要求的数字,但E2E虽然同样降低了40%,但依旧没有达标。

当笔者的能力无法进一步优化的时候,ModelAgent开始介入。

因为组 B:固化 + 2304 预算

首先来看一下vllm0.23主仓的默认定义MNBT值:

grep -rn "DEFAULT_MAX_NUM_BATCHED_TOKENS" /vllm-workspace/vllm/vllm/ --include="*.py"

/vllm-workspace/vllm/vllm/config/scheduler.py:42: DEFAULT_MAX_NUM_BATCHED_TOKENS: ClassVar[int] = 2048

由此可见,本次实验中因为1080p图像的prompt输入是2055tokens超过2048的默认值,因此被切成 2048 + 7 两段,跑两次 prefill 迭代。

第二段只有 7 个 token 却要付一整套固定开销(调度、block table 提交、KV 写入、图调度)。

为了确保MNBT值的设定能满足2055tokens一次算完,MNBT就需要从默认的2048修改成>=2055。

为了确定这个2048+x的这个x,ModelAgent开始根据经验进行步长选取和测试:

MNBT 各值对照

实测验证:

VLLM_ENABLE_V1_MULTIPROCESSING=0 PROF_DIR=/workspace/prof_B \

MNBT=2304 \

CC_JSON='{"cudagraph_mode": "FULL_AND_PIECEWISE", "cudagraph_capture_sizes":[1,2,3,4,8,16,24,32,64,128,144,152,168,184,200,256,1024,2048,2279,2280,3072]}' \

Prefill 固化 + MNBT2304 指标

可以看到TTFT减少110ms后,指标已经远低于导师要求的250ms,

因为E2E ≈ TTFT + (输出 tokens - 1) × TPOT = TTFT + 63 × TPOT,在更改MNBT后,E2E基本稳定在143+63x8.5≈ 680ms,

根据导师的要求,E2E还有80ms左右的优化空间。

总结来看,入图确保一次读完,MNBT确保一次处理完,两者共同作用有效提升了TTFT和E2E性能指标。

笔者为了深刻理解,针对本次优化进行了5轮验证:

五轮场景配置对照

无论测试控制变量,仅更改必要的选项:

① NONE

compilation_config={"cudagraph_mode": "NONE"}

② FDO

compilation_config={"cudagraph_mode": "FULL_DECODE_ONLY"}

③ FAP

compilation_config={"cudagraph_mode": "FULL_AND_PIECEWISE"}

④ FAP+sizes

compilation_config={"cudagraph_mode": "FULL_AND_PIECEWISE",

"cudagraph_capture_sizes":[1,2,3,4,8,16,24,32,64,128,144,152,168,184,200,256,1024,2048,2279,2280]}

⑤ = ④ + MNBT2304

compilation_config={"cudagraph_mode": "FULL_AND_PIECEWISE",

"cudagraph_capture_sizes":[1,2,3,4,8,16,24,32,64,128,144,152,168,184,200,256,1024,2048,2279,2280]},

max_num_batched_tokens=2304

每一组均均预热1轮,测试4轮取平均值:

场景① NONE 四轮测试
场景② FDO 四轮测试

单一从数据上看,符合decode 入图、prefill eager预期,而且 TTFT 313.1 相对 ①场景的371.6 还低了 58ms,这说明 bench 有并发,decode 加速排空排队也压低了 TTFT。

场景③ FAP 四轮测试

不难得出,FAP比FDO在性能上是退化的;需要进一步分析两种场景下既然Decode均入图,但为什么会有接近2ms的性能回退。

场景④ FAP+sizes 四轮测试

从数据上看,TTFT收益明显,但TPOT的收益不高,似乎与FDO场景的“decode 加速排空排队也压低了 TTFT”有出入。

场景⑤ +MNBT2304 四轮测试

总结全部5组实验数据:

五组实验数据汇总

根据实验数据初步判断原因如下:

收益段分析

=====================

抓包分析验证猜测:

注:抓包环境tokens长度从2055变成2060,TOKENS也从64缩短到8,但不影响总体结论。

trace 文件逐档下降

文件大小22M → 14M → 14M → 12M → 8.6M,逐档下降,这也反映从T1到T5的优化方案,将host 侧事件密度从 eager 降到 graph replay 。

从Decode性能上来看:

五轮 Decode 性能对照

之前五轮结果测试如下:

①②场景 E2E 对照
③④⑤场景 E2E 对照

E2E ≈ TTFT + 63 × TPOT(输出 64 token,首 token 已在 TTFT 内)

忽略掉场景① 的Decode不入图,E2E性能的优化更多是TTFT的优化;其他4组63xTPOT除了② 组另类一点外,③ ④ ⑤基本保持在650ms上下。

TTFT + decode 部分与 bench E2E

②组之所以另类的快,是因为②组是FULL整图,③ ④组是piecewise切段图,多付出了2ms左右的端间调度;④ ⑤组的Decode图相同,段间调度付出也一样,因此徘徊在10ms附近。

E2E 全链路拆解柱状图

回过头来再看猜测,还有prefill阶段的性能提升没有完全验证(第一次实验的脚本无法对Prefill入图进行有效的验证)

T1→T5 收益段分析

脚本记录三个操作:

脚本记录的三个操作

实际抓包的记录情况如下:

################ t1 ################

CHECK capture=0 exec=0 launch=12130

################ t2 ################

CHECK capture=1 exec=14 launch=7011

################ t3 ################

CHECK capture=26 exec=14 launch=7927

################ t4 ################

CHECK capture=451 exec=114 launch=20431

################ t5 ################

CHECK capture=501 exec=64 launch=21030

对抓包数据进行分析记录:

1图捕获capture和重放replay符合参数定义

五轮抓包统计
TTFT + 63×TPOT 完整对照

① ② 档位本身不对Prefill入图,因此均有2100+数量级的CPU到NPU下发,所以prefill耗时很多,TTFT均在300ms以上;

④ ⑤ 档位Prefill入图,因此CPU到NPU的prefill下发降低了约98%,Prefill耗时降低到了65-70ns数量级,最直观的体现就是TTFT下降了110ms以上。

小图测试 TTFT 优化分析

如果单看②和③,在本实验样本中可能会得出FAP对FDO是负优化的结论,在初看到实验数据以及抓包数据的时候,笔者也是这样想的,但在分析了测试样本后,笔者猜测原因是2055/2060tokens超出了默认的2048限制,系统认为没有档位可以匹配,直接退回到eager模式。因为④档位相对于③只定义了cudagraph_capture_sizes,但④的确通过Prefill入图大幅度提升了性能。

笔者上传了一张小图进行测试验证:

测试结果有点出乎笔者意料:

小图测试 capture/exec/launch 统计

因为测试脚本设定max_tokens=8, 首 token 出在 prefill,后面 7 步是 decode。

2 个请求 × 7 步 = 14 次 replay,全部对应 decode,没有一次prefill捕获图的replay。

如果③场景的piecewise 图被 prefill 使用,就必然产生 replay;现在 replay 数量正好等于 decode 步数,没有余量,只能证明默认FAP通常不会实现Prefill入图。

通过日志确认:

'cudagraph_capture_sizes': [1]

'max_cudagraph_capture_size': 1

Capturing CUDA graphs (mixed prefill-decode, PIECEWISE): 1/1

Capturing CUDA graphs (decode, FULL): 1/1

分段图的拆分由 splitting_ops 里的 vllm::unified_attention_with_output 完成,每层切一刀,Qwen3.5-0.8B 有 24 层,所以 1 个档位会被切成 25 段,再加上 1 张 FULL decode 图,合计 26 张。

笔者设置SIZES = [1, 2, 3, 4, 8, 16, 24, 32, 64, 128,144, 152, 168, 184, 200, 256, 1024, 2048, 2279, 2280],合计20个档位。

mnbt 与有效档位数对照

在④ ⑤两个场景中,因为笔者设置了size,因此会根据size定义的档位进行切段,实现prefill入图,但是在③的场景中,因为没有定义size,所以 max_cudagraph_capture_size is set to min(max_num_seqs*2, ...)

一次 forward 的 token 构成原理

# compilation.py:695

If not specified, max_cudagraph_capture_size is set to min(max_num_seqs*2, ...)

同时虽然④ ⑤两个场景都实现了Prefill入图,但切分的情况还是有差异的。

以2060那轮实验为例,⑤场景中,因为2060<2079<mnbt,因此Prefill一次入图;④场景中,2060被切分成2048+12,其中2048匹配到档位,入图,12向上取整到16档位,入图。

服务日志确认默认档位
④场景 2048+12 切分入图日志(续)
④场景切分与入图完整日志

此外,既然④ ⑤两个场景都实现了Prefill入图,为何TTFT还会相差100ms以上?

通过日志分析:

日志分析:段间空隙与执行耗时

虽然④和⑤都实现了Prefill入图,但是多切1块会多出的25段,段与段之间大概有5ms左右的空隙,NPU处理执行大概0.5ms左右,所以每一段时间有4.5ms左右的空隙是空等,25*4.5=112.5ms,同时块与快之间大概还有20ms左右的间隔,在Decode耗时几乎相同的情况下,④比⑤平白多出了132.5ms左右的消耗,符合338.3-181.8=156.5ms

多切 1 块的额外耗时核对

这里笔者再次出现了一个疑问,如果③场景没有max_num_seqs 1 ,默认的FAP能否有机会实现入图?

笔者用导入的sample.jpg再次进行了验证。

按照之前python文件的定义

# compilation.py:695

If not specified, max_cudagraph_capture_size is set to min(max_num_seqs*2, ...)

max_num_seqs 与 capture size 关系

为了快速验证,笔者先对512配置进行了验证,结果和预料的还是出现了偏差:

512 配置验证结果

这说明capmax并不是max_num_seqs*2,肯定有vllm-ascend配置文件覆盖了vllm的配置:

vllm_ascend/platform.py:207 getdefault_max_cudagraph_capture_size()

vllm_ascend/platform.py:259 default_max_cg_capture_size = cls._get_default_max_cudagraph_capture_size(vllm_config)

vllm_ascend/platform.py:261 compilation_config.max_cudagraph_capture_size = default_max_cg_capture_size

sed -n '200,270p' /vllm-workspace/vllm-ascend/vllm_ascend/platform.py

return min(max_num_seqs * decode_query_len, 512)

由此可知:

如果使用默认的FAP,并且要支持如测试sample.jpg类似的图进行交互,max_num_seqs的设置就需要设置到很大,而max_num_seqs越大,预留的显存越多,启动时间就越慢。

max_num_seqs 越大启动越慢
并发与档位命中情况

因此,通过实验环境(vllm-ascend0.23)Prefill入图优化TTFT和E2E的要点在于:

1. 定义cudegraphy mode是FAP或者使用默认定义;

2. 指定size,并且最大档位涵盖prompts长度的主要分布区间;

3. 指定size的数量通常不要超过20个;

4. mnbt必须要超过最大档位。

本文由 奶莉小跟班 原创,首发于华为昇腾社区,哦对了,我就是奶莉小跟班~~~~

Antares

>_