从 Padding 到 Continuous Batching:LLM 推理中的长度感知调度

长度感知调度不只是在组批前按长度分桶,还要同时控制请求组合、每轮 Token 预算、变长数据布局以及请求的动态进出。

2026 年 10 月 08 日 · 9 分钟 · 4212 字 · Ge Zhang