NOTES & IDEAS

Apple Silicon

关于「Apple Silicon」的 1 篇记录。

时间线按本站发布日期 · 从新到旧

20261 篇

10.12
Karpathy 加速本地大模型的秘诀，终于有了工程解法：Uzu 如何突破 Apple Silicon 访存墙
Karpathy 曾指出单批次自回归解码受制于内存带宽，而推测解码可利用闲置算力并行验证多个 token。Mirai 推出的开源引擎 Uzu 结合量化、Metal 算子、DFlash-Weaver 投机树与无回滚验证，在 M5 上将 9B 模型推到 92~117 tok/s。