CUDA

介绍 GPU 的基本概念、GPU 的计算层次结构、内存层次结构、通信 - 计算重叠的开销等内容

介绍 CUDA 的基础知识，包括 GPU 架构、CUDA 编程模型、PyTorch 中的 CUDA 支持等内容

介绍 CUDA 执行模型的基本概念，包括核函数、CUDA 的执行层级、线程索引体系等内容

介绍 CUDA 内存模型的基本概念，包括 CUDA 内存类型、内存访问模式、内存一致性模型等内容

介绍 CUDA Stream 的基本概念、CUDA Stream 的创建与管理、CUDA Stream 的同步与异步操作等内容

介绍 CUDA 优化的基本方法和技巧，包括访存模式优化、数据复用优化、片上存储优化等内容

介绍 CUDA 中的并行通信原语，包括 Broadcast、Reduce、AllReduce、Gather、AllGather、Scatter、ReduceScatter、Ring AllReduce 和 Barrier 等内容