viable/strict/1787655491: [Inductor] Add gfx950 FlyDSL GEMM and torch.mm autotuning (#190903)
PyTorch Inductor 在 #190903 中为 gfx950 添加 FlyDSL GEMM 和 torch.mm 自动调优，支持 FP16/BF16，N/K 为 32 的倍数，在 BF16 NT 套件上比 Triton 快 1.19x，比 ATen 快 1.15x。
Development
- First Reportviable/strict/1787655491: [Inductor] Add gfx950 FlyDSL GEMM and torch.mm autotuning (#190903)PyTorch Core
- Current AssessmentPyTorch 对 AMD gfx950 的专门优化表明，AI 框架正在为特定硬件架构定制内核，以提升性能。这反映了硬件多样化和框架适配的趋势，可能影响 AMD 在 AI 加速市场的竞争力。未来可观察其他框架（如 JAX 或 TensorFlow）是否跟进类似优化。Agent Pulse · analysis
PyTorch 的 Inductor 编译器在 PR #190903 中集成了针对 AMD gfx950 的 FlyDSL GEMM 内核，并支持 torch.mm 的自动调优。该实现基于 FlyDSL 模板基础设施，添加了默认和穷举的 tile 配置启发式，保留运行时行步长和存储偏移，过滤形状不兼容的配置，并缓存编译的调度器。该路径可选，仅在运行时可用、启用 max-autotune、ROCm gfx950、FP16/BF16 且 N/K 为 32 的倍数时激活。当前内核不支持 bias 或 epilogue 融合，多配置调优需通过 flydsl_enable_autotuning 选择加入。在 BF16 NT 套件上，图重放显示比 Triton 快 1.19x，比 ATen 快 1.15x。验证在本地 gfx950、ROCm 7.2、FlyDSL 0.3.0 上通过 26 个 FlyDSL 测试和 7 个子测试，以及专门的 gfx950 CI（ROCm 7.14 和 FlyDSL 0.3.0）在 #193473 中通过。
该 PR 展示了将专用内核（FlyDSL GEMM）集成到 PyTorch Inductor 自动调优流程中的模式，通过保留布局和过滤不兼容配置来确保正确性。缓存编译的调度器按 constexpr 配置区分，同时保持张量布局动态，这暗示了在保持灵活性的同时优化编译开销的策略。未来可验证的信号包括：是否支持 bias 和 epilogue 融合，以及自动调优是否默认启用。
PyTorch 对 AMD gfx950 的专门优化表明，AI 框架正在为特定硬件架构定制内核，以提升性能。这反映了硬件多样化和框架适配的趋势，可能影响 AMD 在 AI 加速市场的竞争力。未来可观察其他框架（如 JAX 或 TensorFlow）是否跟进类似优化。
对于使用 AMD gfx950 进行推理或训练的团队，该优化可显著降低延迟和成本，提升性价比。对于云服务提供商，这可能使 AMD 实例更具吸引力。可验证的信号包括：PyTorch 官方发布说明中是否提及此优化，以及 AMD 是否在营销中引用该性能数据。
该 PR 可能为 gfx950 上的更多算子优化铺平道路，并可能扩展到其他数据类型或形状。随着 FlyDSL 成熟，自动调优可能默认启用，并支持更多融合。可关注后续 PR 是否添加 bias 或 epilogue 融合，以及性能提升是否在更广泛基准上复现。