深入理解 vLLM：高吞吐大语言模型推理系统架构剖析
从 PagedAttention、连续批处理、前缀缓存、投机解码等核心机制，到多 GPU 动态服务架构的全景剖析。
笔记
从项目实践中整理的技术记录。
深入浅出 FlashAttention：快如闪电的精确注意力机制与 IO 感知计算
从第一性原理、GPU 显存金字塔到 Online Softmax 动态分块与反向重计算的全景图解推导。
GPU 算子与执行优化：从 26 到 100 token/s 的推理引擎破茧之路
使用 Nsight Systems 定位同步、传输与发射瓶颈，集成 FlashInfer 分页注意力、融合算子与 Decode CUDA Graph 的全景深度复盘。
怎样读一个推理性能数字
先明确比较的对象，再讨论加速比。
多轮 Agent 中的 KV 状态管理
把一次模型请求放回完整的工具调用循环中看。