yuzheng将大模型推理引擎放入递归自改进（RSI）闭环？
探讨如何利用强化学习后训练与多 Agent 群体协作，构建自动优化推理调度器、KV Cache 管理器、路由与算子的递归自改进（RSI）系统。
NOTES & IDEAS
KV Cache
关于「KV Cache」的 7 篇记录。
时间线按本站发布日期 · 从新到旧
20267 篇
-
-
Continuum：多轮 Agent 调度与 KV Cache TTL
理解工具调用期间的 KV 驻留、多轮任务连续性，以及 TTL 与调度策略之间的取舍。
-
图解大模型推理：从 Prefill 到 Decode
沿分词、注意力、KV Cache 和解码的执行路径，理解推理延迟与吞吐瓶颈。
-
Mooncake：以 KV Cache 为中心的解耦推理架构
围绕 Prefill / Decode 分离、分布式 KV Cache 存储池与请求调度的论文中文精读。
-
py-kvcache：基于 NVMe SSD 的外部 KV 缓存
论文 §5、§6.4–6.6、§7–8 选章中译，保留原始图表、实验条件与公式，梳理缓存加载的关键路径。
-
深入理解 vLLM：高吞吐大语言模型推理系统架构剖析
从 PagedAttention、连续批处理、前缀缓存、投机解码等核心机制，到多 GPU 动态服务架构的全景剖析。
-
多轮 Agent 中的 KV 状态管理
把一次模型请求放回完整的工具调用循环中看。