图解大模型推理并行策略：从数据、张量到混合并行
全面解析大模型推理中的多卡并行切分策略：数据并行、张量并行、流水线并行、上下文并行与专家并行，权衡通信开销并给出实战决策路径。
NOTES & IDEAS
并行计算
关于「并行计算」的 2 篇记录。
时间线按本站发布日期 · 从新到旧
20262 篇
-
-
Ultra-Scale Playbook：在 GPU 集群上训练大语言模型
覆盖显存核算、数据并行、张量并行、流水线并行、上下文并行与 GPU 性能分析。
yuzheng yuzheng NOTES & IDEAS
关于「并行计算」的 2 篇记录。
全面解析大模型推理中的多卡并行切分策略：数据并行、张量并行、流水线并行、上下文并行与专家并行，权衡通信开销并给出实战决策路径。
覆盖显存核算、数据并行、张量并行、流水线并行、上下文并行与 GPU 性能分析。