标签： distributed-training

所有带有「distributed-training」标签的文章。

• 从矩阵反向传播到 DP、TP 与 CP：Transformer 训练如何拆开计算

  更新于 2026年7月28日

  从一个批量矩阵的梯度推导出发，解释 Adam、DP 梯度平均、TP 分片反传、CP 长上下文与 ZeRO 状态分片的共同数学基础。