NOTES & IDEAS

分离式推理

关于「分离式推理」的 1 篇记录。

时间线按本站发布日期 · 从新到旧

20261 篇

10.06
Mooncake：以 KV Cache 为中心的解耦推理架构
围绕 Prefill / Decode 分离、分布式 KV Cache 存储池与请求调度的论文中文精读。