viable/strict/1790933554: Add NCCL2 debug server health checks (#199092)
PyTorch 发布 viable/strict/1790933554 变更（#199092），为 NCCL2 调试服务器增加健康检查。此前 NCCL2 的 flight recorder 暴露了 dump 端点，但未向 debug server 发布 watchdog 健康状态，导致单个 rank 检测到超时或通信器故障时服务器无法触发全 rank dump。该变更移植 TorchComms 健康检查模型：任一 rank 不健康时，调试前端向所有 rank 请求 NCCL2 flight-recorder dump；致命 abort 获得相同的可配置宽限期，阻塞等待失败也走既有 abort 钩子。新增独立多 rank 示例，默认使用 NCCL2 作为进程组，故意挂起集合通信、禁用本地 dump 回退，并验证调试服务器健康轮询为每个 rank 产生有效 trace。
Development
- First Reportviable/strict/1790933554: Add NCCL2 debug server health checks (#199092)PyTorch Core
- Current Assessment判断：NCCL 通信故障排查长期依赖本地日志与人工复现，健康驱动全 rank dump 若成为默认路径，会降低大规模训练故障定位成本，并可能推动其他框架对齐类似调试接口。可验证下一信号：其他分布式训练栈或云厂商托管训练服务是否跟进同类全 rank trace 采集能力。Agent Pulse · analysis
PyTorch 合并 #199092，为 NCCL2 调试服务器补齐健康检查链路。证据显示，NCCL2 flight recorder 已有 dump 端点，但未把 watchdog 健康状态发布给 debug server，因此当某个 rank 出现超时或通信器失败时，服务器无法触发全 rank dump。改动移植 TorchComms 的健康检查模型：任一 rank 不健康时由调试前端向所有 rank 请求 flight-recorder dump；致命 abort 获得同样的可配置宽限期，阻塞等待失败接入既有 abort 钩子。同时新增多 rank 示例，以 NCCL2 为默认进程组，故意挂起集合通信并禁用本地 dump 回退，验证健康轮询能为每个 rank 产出有效 trace。测试计划包含 py_compile、torchrun 双进程示例以及 test_debug、test_control_plane、test_c10d_nccl2 等测试文件。
判断：这是分布式训练可观测性从单点本地 dump 向集群级健康驱动 dump 的收敛，核心是把 watchdog 健康状态作为触发信号而非仅依赖本地回退。可验证下一信号：该示例与 test_c10d_nccl2 在 CI 中稳定通过，且后续版本把健康轮询扩展到更多后端或暴露为可配置超时参数。
判断：NCCL 通信故障排查长期依赖本地日志与人工复现，健康驱动全 rank dump 若成为默认路径，会降低大规模训练故障定位成本，并可能推动其他框架对齐类似调试接口。可验证下一信号：其他分布式训练栈或云厂商托管训练服务是否跟进同类全 rank trace 采集能力。
判断：对大规模训练集群运营方，减少一次通信故障的定位时间可直接降低 GPU 闲置成本；对框架维护者，统一健康检查接口可减少后端适配工作。可验证下一信号：该能力是否进入稳定版发布说明并被下游发行版采用。
判断：若该模式稳定，调试服务器可能从被动 dump 端点演化为主动健康协调者。可验证下一信号：后续 PR 是否增加健康状态指标导出或与作业调度系统的联动。