大模型分布式并行技术–数据并行优化2023，11，0120，10，53通信和计算的重叠通常是将通信和计算算子调度到不同的流，stream，上实现的，通信算子调度到通信流，计算算子调度到计算流，同一个流上的算子间是顺序执行的，不同流上的算子可以并行执行，从而实现反向中梯度通信和计算的并行重叠，从上文知道数据并行中需要同步每一个模型梯度，...。