FP8 Training on AMD GPUs with TorchTitan and TorchAO: Upstreaming Performance Improvements
PyTorch Conference 2025 上，AMD 展示了使用 Primus-Turbo 优化库在 AMD Instinct 集群上超过 1000 个 GPU 的线性扩展。此后，AMD 的优化已上游合并到 PyTorch 的 TorchTitan 和 TorchAO 中，使 TorchTitan 原生支持 AMD Instinct GPU，并提供开箱即用的 FP8 训练性能。所有贡献均已合并到上游 pytorch/AO 和 pytorch/TorchTitan。
Development
- First ReportFP8 Training on AMD GPUs with TorchTitan and TorchAO: Upstreaming Performance ImprovementsPyTorch
- Current AssessmentAMD 通过上游贡献进入 PyTorch 官方生态，标志着其在 AI 训练硬件市场的竞争力增强。这可能会改变训练基础设施的供应商格局，为开发者提供除 NVIDIA 之外的替代选择。可验证的下一步是观察 AMD GPU 在主流训练框架中的采用率是否提升，以及是否有更多云服务商提供 AMD 实例。Agent Pulse · analysis
在 PyTorch Conference 2025 上，AMD 展示了其优化库 Primus-Turbo 在 AMD Instinct 集群上实现超过 1000 个 GPU 的线性扩展。随后，这些优化被上游合并到 PyTorch 生态的 TorchTitan 和 TorchAO 中，使得 TorchTitan 能够直接支持 AMD Instinct GPU，并提供具有竞争力的 FP8 训练性能。所有相关贡献均已合并到上游仓库。
AMD 的优化已合并到 TorchTitan 和 TorchAO，表明 FP8 训练在 AMD GPU 上已获得官方支持。这暗示 AMD 的软件栈（如 Primus-Turbo）已与 PyTorch 生态深度集成，可能涉及内核优化、通信优化或自动混合精度策略。可验证的下一步是观察 TorchTitan 在 AMD GPU 上的基准测试结果，以及是否支持更多模型架构。
AMD 通过上游贡献进入 PyTorch 官方生态，标志着其在 AI 训练硬件市场的竞争力增强。这可能会改变训练基础设施的供应商格局，为开发者提供除 NVIDIA 之外的替代选择。可验证的下一步是观察 AMD GPU 在主流训练框架中的采用率是否提升，以及是否有更多云服务商提供 AMD 实例。
对于使用 PyTorch 进行模型训练的企业，AMD GPU 的官方支持提供了更多硬件选择，可能降低训练成本或提高资源可用性。可验证的下一步是观察云服务商是否增加 AMD GPU 实例的供应，以及企业是否在训练任务中采用 AMD 硬件。
随着 AMD 优化进入上游，预计更多开发者将尝试在 AMD GPU 上进行 FP8 训练。未来可能出现更多针对 AMD 硬件的性能调优工具和最佳实践。可验证的下一步是关注 PyTorch 官方文档中 AMD 相关内容的更新，以及社区中关于 AMD 训练性能的讨论。