viable/strict/1790332145: [distributed] Preserve PreMulSum in single-rank reduce-scatter (#198571)
PyTorch 合并 PR #198571，修复单 rank reduce-scatter 在 legacy PGNccl 后端下静默丢弃 PreMulSum 因子的问题：该 workaround 直接把输入拷贝到输出而不应用归约算子。修复方案为 NCCL 2.29.7 及以上直接使用 ncclReduceScatter，更老版本改用等价的单 rank ncclAllReduce；覆盖 list、single-tensor、coalesced 三类 API，并补充标量/张量因子、float16/bfloat16/float32/float64、同步/异步的回归测试，测试保留原始 corruption bug 的 8193 元素规模。
发展脉络
- 首次出现viable/strict/1790332145: [distributed] Preserve PreMulSum in single-rank reduce-scatter (#198571)PyTorch Core
- 行业反馈trunk/3b49aa3272e03eee4fd070851532f714995e402b: [distributed] Preserve PreMulSum in single-rank reduce-scatter (#198571)PyTorch Core
- 当前判断分布式训练的正确性缺陷往往集中在单 rank、小规模等边界配置，这类路径在常规多卡压测中不易暴露，却会在特定并行度或调试场景下污染结果。此次修复同时补齐三类 API 与四种浮点精度的回归覆盖，反映主流框架正把通信算子的数值语义纳入可测试契约。对依赖 PyTorch 分布式栈的团队而言，NCCL 版本与算子路径的对应关系正在成为需要显式管理的兼容性维度。Agent Pulse · 分析
PyTorch 发布 PR #198571，针对分布式训练中单 rank reduce-scatter 的 PreMulSum 语义错误做修复。证据中的说明指出：NCCL2 后端行为正确，但 legacy PGNccl 会产生静默错误结果；原因是单 rank reduce-scatter 的 workaround 将输入直接拷贝到输出、未应用归约算子，从而静默丢弃 PreMulSum 的因子。修复策略是按 NCCL 版本分流：2.29.7 及更新版本直接调用 ncclReduceScatter，更老版本改用等价的单 rank ncclAllReduce（其已正确处理 host 与 device 的 PreMulSum 因子）。改动覆盖 list、single-tensor、coalesced 三类 API，并新增回归覆盖：标量与张量因子、float16/bfloat16/float32/float64、同步与异步执行，测试沿用 8193 元素规模并校验输入被保留。
这是典型的静默数值错误而非崩溃：单 rank 场景下 reduce-scatter 退化为拷贝，PreMulSum 的缩放因子被丢弃，梯度或聚合结果会以看似正常的方式偏离预期。修复按 NCCL 版本分流是务实做法，但意味着同一份代码在不同 NCCL 版本上走不同算子路径，行为一致性依赖版本判断的正确性。可验证的下一信号：确认该版本分流逻辑是否在 CI 中同时覆盖 NCCL 2.29.7 前后两条路径，以及 8193 元素测试是否在 legacy PGNccl 配置下真实执行。
分布式训练的正确性缺陷往往集中在单 rank、小规模等边界配置，这类路径在常规多卡压测中不易暴露，却会在特定并行度或调试场景下污染结果。此次修复同时补齐三类 API 与四种浮点精度的回归覆盖，反映主流框架正把通信算子的数值语义纳入可测试契约。对依赖 PyTorch 分布式栈的团队而言，NCCL 版本与算子路径的对应关系正在成为需要显式管理的兼容性维度。
对训练基础设施团队，这类静默数值错误会以难以归因的精度下降或复现困难的形式消耗调试成本，修复的直接价值是消除单 rank 归约路径上的结果偏差。工程上需要评估的是升级 NCCL 到 2.29.7 以上与保留旧版本回退路径之间的取舍，并把浮点精度与同步/异步组合纳入自有回归集，以降低跨版本行为漂移带来的验证负担。
若该修复进入稳定发布，使用 NCCL 2.29.7 及以上版本的训练任务将直接走 ncclReduceScatter，老版本则回退到单 rank ncclAllReduce。可观察的下一信号是：后续发布说明中是否出现相关回归测试的持续通过记录，以及是否将 NCCL 版本要求写入分布式使用文档或安装约束。