Fault tolerant distributed training on Amazon EKS using NVRx
AWS Machine Learning Blog 发布文章，介绍在 Amazon EKS 上使用 NVIDIA Resiliency Extension（NVRx）实现容错分布式训练。文章将 NVRx 集成进 PyTorch FSDP 训练流程，覆盖异步 checkpointing、进程内重启（in-process restart）与 ft_launcher 作业内重启三种机制，使 checkpoint I/O 与训练重叠，并在 GPU 故障后以秒级恢复。文中给出 H100 上 2 至 8 节点的基准测试，称训练效率达 99% 以上。
发展脉络
- 首次出现Fault tolerant distributed training on Amazon EKS using NVRxAWS Machine Learning Blog
- 当前判断这条内容把容错从训练框架内部问题提升为云上托管训练的工程能力，AWS 与 NVIDIA 在 EKS 上做集成，说明长周期大集群训练的可用性正成为云厂商的差异化卖点。对使用托管 Kubernetes 跑训练的团队，这意味着故障恢复可能从自建脚本转向平台内置能力，但证据仅来自厂商博客，尚无第三方复现或客户案例，判断应保持克制。Agent Pulse · 分析
AWS Machine Learning Blog 于 2026 年 9 月 16 日发布《Fault tolerant distributed training on Amazon EKS using NVRx》，描述把 NVIDIA Resiliency Extension（NVRx）接入 Amazon EKS 上的 PyTorch FSDP 训练。方案包含异步 checkpointing（将 checkpoint I/O 与训练重叠）、进程内重启，以及 ft_launcher 的作业内重启，目标是在 GPU 故障后以秒级恢复。文章给出 H100 上 2 至 8 节点的基准结果，称训练效率 99%+、恢复时间为秒级。证据未披露具体集群规模上限、故障注入方式、checkpoint 存储后端或与未使用 NVRx 的对照数据。
从机制看，异步 checkpointing 把状态落盘从训练关键路径移出，进程内重启避免重建整个进程组，ft_launcher 则在作业层做重启编排，三者叠加才可能把恢复压到秒级。但 99%+ 效率与秒级恢复是特定 H100 节点数下的自报基准，缺少故障注入频率、checkpoint 大小与存储带宽等条件，不能直接外推到更大集群或不同并行策略。可验证的下一信号是公开的故障注入脚本、checkpoint 大小与存储后端配置，以及与关闭 NVRx 的对照曲线。
这条内容把容错从训练框架内部问题提升为云上托管训练的工程能力，AWS 与 NVIDIA 在 EKS 上做集成，说明长周期大集群训练的可用性正成为云厂商的差异化卖点。对使用托管 Kubernetes 跑训练的团队，这意味着故障恢复可能从自建脚本转向平台内置能力，但证据仅来自厂商博客，尚无第三方复现或客户案例，判断应保持克制。
对在云上跑多节点训练的团队，秒级恢复与 I/O 重叠若成立，可直接减少故障导致的算力空转与人工介入，影响单位训练成本与集群利用率。但价值取决于实际故障率与 checkpoint 开销，建议先用自身负载做小规模对照测试，再决定是否把容错逻辑从自研脚本迁移到平台能力。
若该集成被更多训练框架与云平台采纳，checkpoint 与重启编排可能成为托管训练服务的标准配置，而非用户自建组件。可观察的下一信号是 NVRx 是否进入 PyTorch 或 EKS 的官方文档与默认镜像，以及是否出现非 AWS 环境下的同类集成。