Alisa’s Book of LLMs：大模型 Infra 核心章节
围绕 Transformer 计算核算、推理、数值精度、GPU 与分布式并行整理的中文学习材料。
NOTES & IDEAS
分布式训练
关于「分布式训练」的 2 篇记录。
时间线按本站发布日期 · 从新到旧
20262 篇
-
-
Ultra-Scale Playbook：在 GPU 集群上训练大语言模型
覆盖显存核算、数据并行、张量并行、流水线并行、上下文并行与 GPU 性能分析。
yuzheng yuzheng NOTES & IDEAS
关于「分布式训练」的 2 篇记录。
围绕 Transformer 计算核算、推理、数值精度、GPU 与分布式并行整理的中文学习材料。
覆盖显存核算、数据并行、张量并行、流水线并行、上下文并行与 GPU 性能分析。