viable/strict/1786769835: Add more ops support for functional all_reduce (#190942)
PyTorch PR #190942 为 functional all_reduce 添加 premul_sum 支持，通过将 reduce_op 参数改为 Any 以传递 ReduceOp 对象及因子；为 min 和 max 添加反向支持，通过本地比较输出与输入路由梯度；参数化现有 all_reduce 测试。PR 由 AI 辅助编写，合入 viable/strict/1786769835 和 trunk 分支。
Development
- First Reportviable/strict/1786769835: Add more ops support for functional all_reduce (#190942)PyTorch Core
- Industry Responsetrunk/83296c3e43ed02cef6184ba879f6a7f08886338f: Add more ops support for functional all_reduce (#190942)PyTorch Core
- Current AssessmentPyTorch 持续增强分布式训练原语，functional all_reduce 的扩展反映了对高效通信和灵活归约操作的需求。AI 辅助编写 PR 表明 AI 在开源开发中的参与度提升，可能加速代码生成和测试覆盖。Agent Pulse · analysis
PyTorch 合入 PR #190942，扩展了 functional all_reduce 的操作支持。该 PR 为前向和反向传播添加了 premul_sum 支持，通过将 reduce_op 参数类型改为 Any，允许直接传递 ReduceOp 对象及因子补充。同时，为 min 和 max 操作添加了反向支持，通过本地比较输出值与输入来路由梯度。现有 all_reduce 测试被参数化以覆盖这些变更。PR 由 AI 辅助编写，并合入 viable/strict/1786769835 和 trunk 分支。
该 PR 通过将 reduce_op 参数类型改为 Any，使 functional all_reduce 能够接受 ReduceOp 对象及因子，从而支持 premul_sum。对于 min 和 max 的反向传播，采用本地比较输出与输入的方式路由梯度，避免了额外的通信开销。这为分布式训练中的梯度压缩和自定义归约操作提供了更灵活的接口。
PyTorch 持续增强分布式训练原语，functional all_reduce 的扩展反映了对高效通信和灵活归约操作的需求。AI 辅助编写 PR 表明 AI 在开源开发中的参与度提升，可能加速代码生成和测试覆盖。
该 PR 提升了 PyTorch 分布式训练的能力，使开发者能够更高效地实现梯度压缩和自定义归约，降低大规模训练中的通信开销。对于使用 PyTorch 进行大规模模型训练的企业，这可能带来训练成本降低和效率提升。
未来可能看到更多归约操作（如加权平均、L2 范数等）被支持，以及更高效的梯度压缩方案。可关注 PyTorch 后续 PR 是否扩展其他通信原语（如 all_gather、reduce_scatter）的操作支持。