yuzhengKarpathy 加速本地大模型的秘诀，终于有了工程解法：Uzu 如何突破 Apple Silicon 访存墙
Karpathy 曾指出单批次自回归解码受制于内存带宽，而推测解码可利用闲置算力并行验证多个 token。Mirai 推出的开源引擎 Uzu 结合量化、Metal 算子、DFlash-Weaver 投机树与无回滚验证，在 M5 上将 9B 模型推到 92~117 tok/s。
NOTES & IDEAS
翻译
关于「翻译」的 14 篇记录。
时间线按本站发布日期 · 从新到旧
202614 篇
-
-
将大模型推理引擎放入递归自改进（RSI）闭环？
探讨如何利用强化学习后训练与多 Agent 群体协作，构建自动优化推理调度器、KV Cache 管理器、路由与算子的递归自改进（RSI）系统。
-
为什么推测解码（Speculative Decoding）会更快？
推测解码不仅没有减少每个 token 的计算量，反而增加了总 FLOPs。它之所以更快，是因为改变了 GPU 的工作负载类型：在小批大小下利用闲置算力置换延迟。
-
图解大模型推理并行策略：从数据、张量到混合并行
全面解析大模型推理中的多卡并行切分策略：数据并行、张量并行、流水线并行、上下文并行与专家并行，权衡通信开销并给出实战决策路径。
-
Alisa’s Book of LLMs：大模型 Infra 核心章节
围绕 Transformer 计算核算、推理、数值精度、GPU 与分布式并行整理的中文学习材料。
-
Continuum：多轮 Agent 调度与 KV Cache TTL
理解工具调用期间的 KV 驻留、多轮任务连续性，以及 TTL 与调度策略之间的取舍。
-
CUDA 从零到精通 #1
从 GPU 硬件、线程层次与内存结构出发，理解 CUDA 编程的基本执行模型。
-
CUDA 矩阵乘法优化：从朴素 Kernel 到接近 cuBLAS
沿 Simon Boehm 的工作日志，理解合并访存、共享内存、寄存器分块与线程束级优化。
-
图解大模型推理：从 Prefill 到 Decode
沿分词、注意力、KV Cache 和解码的执行路径，理解推理延迟与吞吐瓶颈。
-
Mooncake：以 KV Cache 为中心的解耦推理架构
围绕 Prefill / Decode 分离、分布式 KV Cache 存储池与请求调度的论文中文精读。
-
py-kvcache：基于 NVMe SSD 的外部 KV 缓存
论文 §5、§6.4–6.6、§7–8 选章中译，保留原始图表、实验条件与公式，梳理缓存加载的关键路径。
-
Ultra-Scale Playbook：在 GPU 集群上训练大语言模型
覆盖显存核算、数据并行、张量并行、流水线并行、上下文并行与 GPU 性能分析。
-
深入浅出 FlashAttention：快如闪电的精确注意力机制与 IO 感知计算
从第一性原理、GPU 显存金字塔到 Online Softmax 动态分块与反向重计算的全景图解推导。
-
深入理解 vLLM：高吞吐大语言模型推理系统架构剖析
从 PagedAttention、连续批处理、前缀缓存、投机解码等核心机制，到多 GPU 动态服务架构的全景剖析。