PagedAttention和Continuous Batching有什么区别？

主要概念与痛点一览 在 LLM 推理中，最常见的三大痛点是：GPU 空转 显存浪费 和Prefill/Decode 混批效率低 。这三大罪行导致吞吐量低、延迟抖动、资源利用率差。下面按技术细分，逐条剖析方法与工程落地。不过， 1️⃣ Continuous Batching：让 GPU 永不空转 痛点：每个 batch 里最短请求先跑完后 GPU 就闲置。 Orca 的迭代级调度 :

查看更多 2026-08-09