py-kvcache：基于 NVMe SSD 的外部 KV 缓存
论文 §5、§6.4–6.6、§7–8 选章中译，保留原始图表、实验条件与公式，梳理缓存加载的关键路径。
NOTES & IDEAS
vLLM
关于「vLLM」的 2 篇记录。
时间线按本站发布日期 · 从新到旧
20262 篇
-
-
深入理解 vLLM：高吞吐大语言模型推理系统架构剖析
从 PagedAttention、连续批处理、前缀缓存、投机解码等核心机制，到多 GPU 动态服务架构的全景剖析。
yuzheng yuzheng NOTES & IDEAS
关于「vLLM」的 2 篇记录。
论文 §5、§6.4–6.6、§7–8 选章中译，保留原始图表、实验条件与公式，梳理缓存加载的关键路径。
从 PagedAttention、连续批处理、前缀缓存、投机解码等核心机制，到多 GPU 动态服务架构的全景剖析。