yuzhengKarpathy 加速本地大模型的秘诀，终于有了工程解法：Uzu 如何突破 Apple Silicon 访存墙
Karpathy 曾指出单批次自回归解码受制于内存带宽，而推测解码可利用闲置算力并行验证多个 token。Mirai 推出的开源引擎 Uzu 结合量化、Metal 算子、DFlash-Weaver 投机树与无回滚验证，在 M5 上将 9B 模型推到 92~117 tok/s。
NOTES & IDEAS
GPU 优化
关于「GPU 优化」的 6 篇记录。
时间线按本站发布日期 · 从新到旧
20266 篇
-
-
为什么推测解码（Speculative Decoding）会更快？
推测解码不仅没有减少每个 token 的计算量，反而增加了总 FLOPs。它之所以更快，是因为改变了 GPU 的工作负载类型：在小批大小下利用闲置算力置换延迟。
-
CUDA 矩阵乘法优化：从朴素 Kernel 到接近 cuBLAS
沿 Simon Boehm 的工作日志，理解合并访存、共享内存、寄存器分块与线程束级优化。
-
Ultra-Scale Playbook：在 GPU 集群上训练大语言模型
覆盖显存核算、数据并行、张量并行、流水线并行、上下文并行与 GPU 性能分析。
-
深入浅出 FlashAttention：快如闪电的精确注意力机制与 IO 感知计算
从第一性原理、GPU 显存金字塔到 Online Softmax 动态分块与反向重计算的全景图解推导。
-
GPU 算子与执行优化：从 26 到 100 token/s 的推理引擎破茧之路
使用 Nsight Systems 定位同步、传输与发射瓶颈，集成 FlashInfer 分页注意力、融合算子与 Decode CUDA Graph 的全景深度复盘。