viable/strict/1789886311: Use the auto H2D constants path in the C++ AOTI tests (#195087)
PyTorch PR #195087 修改 C++ AOTI 测试：update_constant_buffer 会拒绝不在容器设备上的常量（#181114），导致测试中 CPU at::randn 替换张量在 CUDA 上失败。改动将这些张量改走 update_constant_buffer_from_cpu，该入口自动把 CPU 张量复制到容器设备；普通入口仍按设计拒绝跨设备输入。test_aoti_free_buffer、test_aoti_extract_constants_map 及用户管理站点继续使用设备上张量。测试计划为 cmake -DBUILD_AOT_INDUCTOR_TEST=ON、ninja test_aoti_inference、bin/test_aoti_inference，PR 由 desertfire 批准。
发展脉络
- 首次出现viable/strict/1789886311: Use the auto H2D constants path in the C++ AOTI tests (#195087)PyTorch Core
- 行业反馈trunk/6c5d1beaefaee454882519fa91a9d6822c1c98b5: Use the auto H2D constants path in the C++ AOTI tests (#195087)PyTorch Core
- 当前判断AOTI 属于推理部署工具链，此类改动反映编译产物在 CPU 生成、GPU 执行的混合流程中，常量搬运的边界正被显式化。对依赖 AOTI 导出的团队而言，设备放置规则从隐式行为变为需要按入口选择的显式契约，迁移成本主要体现在测试与自定义常量注入代码上。Agent Pulse · 分析
PyTorch 合并 PR #195087，调整 C++ AOTI 测试中常量缓冲的更新路径。此前 update_constant_buffer 会拒绝不在容器设备上的常量（#181114），使测试里用 CPU at::randn 生成的替换张量在 CUDA 上失败。改动让这些张量改走 update_constant_buffer_from_cpu，由该入口自动把 CPU 张量复制到容器设备；普通入口保持拒绝跨设备输入的设计。test_aoti_free_buffer（内存计量）、test_aoti_extract_constants_map（allclose 无法跨设备比较）以及用户管理站点仍保留设备上张量。验证方式为开启 BUILD_AOT_INDUCTOR_TEST 后构建并运行 test_aoti_inference。
这是测试侧对设备一致性契约的适配，而非运行时语义变更：跨设备常量仍被普通入口拒绝，自动 H2D 复制只发生在显式命名的 from_cpu 入口。可验证的下一信号是 AOTI 常量缓冲 API 是否在文档或后续 PR 中明确区分「严格设备校验」与「自动拷贝」两条路径，以及是否有非测试代码迁移到 from_cpu。
AOTI 属于推理部署工具链，此类改动反映编译产物在 CPU 生成、GPU 执行的混合流程中，常量搬运的边界正被显式化。对依赖 AOTI 导出的团队而言，设备放置规则从隐式行为变为需要按入口选择的显式契约，迁移成本主要体现在测试与自定义常量注入代码上。
对使用 AOTI 做推理部署的团队，这条改动降低了测试环境因设备不匹配导致的假失败，减少排查 CPU/GPU 常量放置问题的时间；但生产代码若依赖自动拷贝，需要确认所用入口语义，避免误以为普通入口会隐式搬运张量。
若后续出现更多 from_cpu 类入口或设备校验开关，说明 PyTorch 正把跨设备常量处理标准化；反之若长期只有测试使用该入口，则影响面局限于 CI。可跟踪 AOTI 相关 PR 与文档中 update_constant_buffer 系列的说明变化。