并行策略
介绍各种并行策略的基本概念、实现方法以及在 PyTorch 中的使用方法
数据并行
介绍数据并行的基本概念、实现方法以及在 PyTorch 中的使用方法
DeepSpeed ZeRO
介绍 DeepSpeed ZeRO 的基本概念、实现方法以及在 PyTorch 中的使用方法
FSDP
介绍 FSDP 的基本概念、实现方法以及在 PyTorch 中的使用方法
张量并行
介绍张量并行的基本概念、实现方法以及在 PyTorch 中的使用方法
序列并行
介绍序列并行的基本概念、实现方法以及在 PyTorch 中的使用方法
上下文并行
介绍上下文并行的基本概念、实现方法以及在 PyTorch 中的使用方法
流水线并行
介绍流水线并行的基本概念、实现方法以及在 PyTorch 中的使用方法
ZeroBubble
介绍 ZeroBubble 技术（包括 DualPipe）的基本原理及其在深度学习中的代码实现方法
专家并行
介绍专家并行的基本概念、实现方法以及在 PyTorch 中的使用方法
并行策略总结
介绍各种并行策略的基本概念、实现方法以及在 PyTorch 中的使用方法
这篇文档有帮助吗？