yuzhengKarpathy 加速本地大模型的秘诀，终于有了工程解法：Uzu 如何突破 Apple Silicon 访存墙
Karpathy 曾指出单批次自回归解码受制于内存带宽，而推测解码可利用闲置算力并行验证多个 token。Mirai 推出的开源引擎 Uzu 结合量化、Metal 算子、DFlash-Weaver 投机树与无回滚验证，在 M5 上将 9B 模型推到 92~117 tok/s。
NOTES & IDEAS
大模型推理
关于「大模型推理」的 9 篇记录。
时间线按本站发布日期 · 从新到旧
20269 篇
-
-
将大模型推理引擎放入递归自改进（RSI）闭环？
探讨如何利用强化学习后训练与多 Agent 群体协作，构建自动优化推理调度器、KV Cache 管理器、路由与算子的递归自改进（RSI）系统。
-
为什么推测解码（Speculative Decoding）会更快？
推测解码不仅没有减少每个 token 的计算量，反而增加了总 FLOPs。它之所以更快，是因为改变了 GPU 的工作负载类型：在小批大小下利用闲置算力置换延迟。
-
图解大模型推理并行策略：从数据、张量到混合并行
全面解析大模型推理中的多卡并行切分策略：数据并行、张量并行、流水线并行、上下文并行与专家并行，权衡通信开销并给出实战决策路径。
-
Alisa’s Book of LLMs：大模型 Infra 核心章节
围绕 Transformer 计算核算、推理、数值精度、GPU 与分布式并行整理的中文学习材料。
-
图解大模型推理：从 Prefill 到 Decode
沿分词、注意力、KV Cache 和解码的执行路径，理解推理延迟与吞吐瓶颈。
-
GPU 算子与执行优化：从 26 到 100 token/s 的推理引擎破茧之路
使用 Nsight Systems 定位同步、传输与发射瓶颈，集成 FlashInfer 分页注意力、融合算子与 Decode CUDA Graph 的全景深度复盘。
-
深入理解 vLLM：高吞吐大语言模型推理系统架构剖析
从 PagedAttention、连续批处理、前缀缓存、投机解码等核心机制，到多 GPU 动态服务架构的全景剖析。
-
怎样读一个推理性能数字
先明确比较的对象，再讨论加速比。