VLLM on Ge Zhang · 技术笔记

VLLM on Ge Zhang · 技术笔记 https://zhangge.dev/tags/vllm/ Recent content in VLLM on Ge Zhang · 技术笔记 Ge Zhang · 技术笔记 https://zhangge.dev/images/site-card.png https://zhangge.dev/images/site-card.png Hugo zh-CN 2026 Ge Zhang Thu, 08 Oct 2026 00:00:00 +0000 从 Padding 到 Continuous Batching：LLM 推理中的长度感知调度 https://zhangge.dev/model-inference/length-aware-scheduling/ Thu, 08 Oct 2026 00:00:00 +0000 https://zhangge.dev/model-inference/length-aware-scheduling/ 从 Length Bucketing、Token Budget、Packed/Ragged Batching 到 Continuous Batching 与 Chunked Prefill，梳理变长请求在 LLM 推理中的组批、存放和调度方式。