viable/strict/1790175101: [Pipeline] Support outer gradient accumulation (#196641)
PyTorch 合并 PR #196641，为流水线并行引入 finalize_gradients 步骤选项，使调用方能在完整流水线调度期间保持 FSDP 梯度累积处于打开状态。实现使用公开的 FSDP finalizer，并单独跟踪跨调用保留的 stage，在 reduction 重新分片时更新运行时状态，从而保留重复 unshard 检查且无需在延迟步骤间额外 all-gather。该选项仅限 FSDP，DDP 与非 FSDP stage 保持原有 reduction 与 scaling 行为。
Development
- First Reportviable/strict/1790175101: [Pipeline] Support outer gradient accumulation (#196641)PyTorch Core
- Current Assessment这属于训练框架内部的组合性修复，而非新能力发布。它反映的是大规模训练栈中流水线并行与 FSDP 组合使用时的工程摩擦仍在被逐项清理，对框架维护者和自建训练栈的团队有直接价值，对应用层产品短期影响有限。Agent Pulse · analysis
PyTorch 核心仓库合并 PR #196641，标题为「[Pipeline] Support outer gradient accumulation」。变更引入 finalize_gradients 步骤选项，让调用方可以在完整流水线调度期间保持 FSDP 梯度累积打开，并使用公开的 FSDP finalizer。由于 FSDP finalization 会重新分片参数，而流水线运行时此前仍将 stage 标记为未分片，本次改动单独跟踪跨调用保留的 stage，并在 reduction 重新分片时更新运行时状态，从而保留重复 unshard 检查、避免在延迟步骤之间强制再做一次 all-gather。该选项被限定在 FSDP 范围内，DDP 与非 FSDP stage 的 reduction 和 scaling 行为不变。测试计划覆盖 test_schedule.py、test_composability.py 中 PP+FSDP 外层梯度累积、unshard/reshard 运行时以及 PP+DDP 用例，并运行 lintrunner。提交说明注明该 commit 在 Codex 协助下完成，PR 由 SherlockNoMad 与 sanketpurandare 批准。
从描述看，改动核心是让流水线运行时对 stage 分片状态的记账与 FSDP finalizer 的实际重分片行为对齐，而不是改变数值语义。可验证的下一信号是：该选项在真实长序列、多 micro-batch 训练脚本中的显存与吞吐对比数据，以及是否出现新的 unshard 状态不一致类 issue。
这属于训练框架内部的组合性修复，而非新能力发布。它反映的是大规模训练栈中流水线并行与 FSDP 组合使用时的工程摩擦仍在被逐项清理，对框架维护者和自建训练栈的团队有直接价值，对应用层产品短期影响有限。
对自建训练基础设施的团队，减少一次额外 all-gather 意味着在相同硬件上可能降低通信开销与显存峰值，从而影响单位训练成本；但证据未给出量化收益，需以自身负载实测为准。
若该选项被上游文档化并进入稳定 API，后续可观察是否扩展到非 FSDP 的梯度累积路径，或是否出现配套的配置示例与性能基准。反之，若长期停留在测试覆盖阶段，则说明其适用范围仍窄。