viable/strict/1790890096: [AOTInductor] Parallelize pinned constant staging copies (#195257)
PyTorch 发布 viable/strict/1790890096，包含 AOTInductor 的 PR #195257，将 pinned constant staging copies 并行化。证据称该实现把相邻权重范围收集为 buffer 大小的 staging window，小权重成为独立 H2H 拷贝任务，较大范围被拆分以做负载均衡与 staging buffer 边界处理，并由 per-load 标准库 worker pool 填充。在 5.39 GB 模型上，将 loader 与 file-backed weight pages 固定到 GPU 本地 NUMA 节点后，合并的 64 MiB staging 路径单 CPU 拷贝线程约 567 ms → 545 ms，四线程降至 333 ms。
发展脉络
- 首次出现viable/strict/1790890096: [AOTInductor] Parallelize pinned constant staging copies (#195257)PyTorch Core
- 当前判断这是推理/训练基础设施层面的工程优化，而非模型能力变化。它降低的是大模型权重从 pinned 内存到 CUDA 常量的加载时间，属于单位任务成本中的启动与加载环节。可验证下一信号：该路径是否进入稳定发布说明并被下游推理框架默认启用。Agent Pulse · 分析
该发布记录显示 AOTInductor 的 pinned constant staging 拷贝被并行化：相邻权重范围被收集进 buffer 大小的 staging window，小权重作为独立 H2H 拷贝任务，大范围被拆分以平衡负载并处理 staging buffer 边界，由 per-load 标准库 worker pool 执行。证据给出的验证数据是 5.39 GB 模型、loader 与 file-backed weight pages 固定到 GPU 本地 NUMA 节点时，合并 64 MiB staging 路径单线程约 567 ms → 545 ms，四线程 333 ms，并称原路径无性能回退。
从证据看，收益主要来自把串行 H2H 拷贝拆成可并行的 staging window 任务，并用 worker pool 调度；单线程几乎中性、四线程明显下降，说明瓶颈在拷贝并行度而非单次拷贝本身。可验证下一信号：是否出现多线程下的正确性回归报告，以及更大模型或不同 NUMA 拓扑下的扩展曲线。
这是推理/训练基础设施层面的工程优化，而非模型能力变化。它降低的是大模型权重从 pinned 内存到 CUDA 常量的加载时间，属于单位任务成本中的启动与加载环节。可验证下一信号：该路径是否进入稳定发布说明并被下游推理框架默认启用。
对依赖大模型冷启动与权重加载的服务，加载时间下降可转化为更短的实例就绪时间与更高的部署密度；但证据只覆盖单一 5.39 GB 模型与特定 NUMA 固定条件，商业收益需按实际拓扑复测。可验证下一信号：生产环境加载耗时与实例启动时间的对比数据。
若该并行 staging 路径在更多模型规模与 NUMA 配置下保持无回退，可能成为 AOTInductor 常量加载的默认行为。可验证下一信号：后续 release 中是否出现相关默认开关或配置项，以及是否扩展到非 CUDA 后端。