yuzhengKarpathy 加速本地大模型的秘诀，终于有了工程解法：Uzu 如何突破 Apple Silicon 访存墙
Karpathy 曾指出单批次自回归解码受制于内存带宽，而推测解码可利用闲置算力并行验证多个 token。Mirai 推出的开源引擎 Uzu 结合量化、Metal 算子、DFlash-Weaver 投机树与无回滚验证，在 M5 上将 9B 模型推到 92~117 tok/s。
NOTES & IDEAS
推测解码
关于「推测解码」的 2 篇记录。
时间线按本站发布日期 · 从新到旧
20262 篇
-
-
为什么推测解码（Speculative Decoding）会更快？
推测解码不仅没有减少每个 token 的计算量，反而增加了总 FLOPs。它之所以更快，是因为改变了 GPU 的工作负载类型：在小批大小下利用闲置算力置换延迟。