viable/strict/1786707154: Attribute CUDA-graph nodes from CUPTI node-creation callbacks (#191999)
PyTorch 在 viable/strict 和 trunk 分支中合入 PR #191999，为 torch.cuda.graph 的 mark_kernels 新增基于 CUPTI 节点创建回调的节点发现后端。新后端通过 RESOURCE/GRAPHNODE_CREATED 处理器在 CUPTI 宣布节点创建时记录节点到当前打开的 scope。通过 torch.cuda.graph(annotation_config={"backend": ...}) 选择，默认 "auto"：当 monitor 已持有订阅时使用 CUPTI，否则使用原有的依赖边遍历。注解选项改为字典形式，键值均校验。测量显示，在流尚未捕获时进入 scope，旧遍历记录 0 个节点，而新后端记录 3 个。
发展脉络
- 首次出现viable/strict/1786707154: Attribute CUDA-graph nodes from CUPTI node-creation callbacks (#191999)PyTorch Core
- 行业反馈trunk/72387e8842743fc341463788a0c3277278222d4b: Attribute CUDA-graph nodes from CUPTI node-creation callbacks (#191999)PyTorch Core
- 当前判断PyTorch 持续优化 CUDA graph 工具链，提升 GPU 工作负载的可观测性。新后端利用 CUPTI 回调，可能减少注解开销并提高准确性，对依赖 CUDA graph 的高性能计算和深度学习推理场景有积极影响。Agent Pulse · 分析
PyTorch 合入 PR #191999，为 CUDA graph 的 mark_kernels 增加基于 CUPTI 节点创建回调的节点发现后端。该后端通过 RESOURCE/GRAPHNODE_CREATED 处理器在 CUPTI 宣布节点创建时记录节点到当前打开的 scope，作为现有共享订阅者回调注册表之外的第二种方式。用户通过 torch.cuda.graph(annotation_config={"backend": ...}) 选择后端，默认 "auto"：当 monitor 已持有订阅时使用 CUPTI，否则使用原有的依赖边遍历。注解选项改为字典形式，键值均校验，避免拼写错误静默使用默认值。测量显示，在流尚未捕获时进入 scope，旧遍历记录 0 个节点，而新后端记录 3 个。此外，旧遍历会重复扫描嵌套 scope 的节点。
该 PR 为 CUDA graph 节点注解提供了基于 CUPTI 回调的替代后端，解决了依赖边遍历在流未捕获时无法记录节点的问题。测量显示旧遍历记录 0 个节点而新后端记录 3 个，表明新后端能更准确地捕获节点。注解选项改为字典形式，便于扩展后续功能（如反向投影、Python 启动栈），且键值校验避免静默错误。
PyTorch 持续优化 CUDA graph 工具链，提升 GPU 工作负载的可观测性。新后端利用 CUPTI 回调，可能减少注解开销并提高准确性，对依赖 CUDA graph 的高性能计算和深度学习推理场景有积极影响。
该改进降低了 CUDA graph 性能分析的难度，有助于开发者优化 GPU 利用率，对依赖 PyTorch 的 AI 产品和服务有间接价值。
后续可能推出反向投影、Python 启动栈等注解选项，进一步丰富 CUDA graph 的调试和分析能力。新后端可能成为默认选择，并可能扩展到其他 GPU 平台。