trunk/80a802e49932d20c6b2539dc6cab6cc8d0dd04cc: Log multi-device backward passes via C10_LOG_API_USAGE_ONCE (#192081)
PyTorch 在 trunk 分支提交 #192081，通过 C10_LOG_API_USAGE_ONCE 为跨设备 backward 传递添加一次性 API 使用日志。日志按设备集合拆分，发出两个独立信号：torch.autograd.multidevice_backward（当观察到两个不同的非 CPU 设备时）和 torch.autograd.gpu_cpu_backward（当单个非 CPU 设备与 CPU 节点一起运行时）。每个信号每个进程最多触发一次，一旦两个信号都触发，则跳过逐节点设备检查。测试使用 PYTORCH_API_USAGE_STDERR=1 验证了 CUDA+CPU 和纯 CUDA 场景。
Development
- First Reporttrunk/80a802e49932d20c6b2539dc6cab6cc8d0dd04cc: Log multi-device backward passes via C10_LOG_API_USAGE_ONCE (#192081)PyTorch Core
- Current AssessmentPyTorch 作为主流深度学习框架，其内部决策过程反映了对多设备训练场景的重视。通过日志收集使用数据，表明框架在优化多设备支持时采取数据驱动的方法，这可能导致未来默认行为的变化，影响依赖多线程 autograd 的分布式训练工作负载。可验证的下一信号：PyTorch 发布关于多设备 backward 使用率的统计数据，或基于这些日志调整多线程 autograd 的默认设置。Agent Pulse · analysis
PyTorch 在 trunk 分支提交 #192081，引入了一次性 API 使用日志，用于记录跨设备 backward 传递，按设备集合拆分，以评估真实工作负载对多线程 autograd 的依赖程度，然后再更改其默认行为。该检查在 compute_dependencies 中遍历图根节点，并发出两个独立信号，可能在同一传递中同时触发：torch.autograd.multidevice_backward（当观察到两个不同的非 CPU 设备时）和 torch.autograd.gpu_cpu_backward（当单个非 CPU 设备与 CPU 节点一起运行时）。多设备（一次 backward 中多个加速器）是真正受益于多线程 autograd 的情况，预计很少见；GPU+CPU 情况预计很常见。每个日志每个进程最多触发一次，一旦两个信号都触发，则完全跳过逐节点设备检查。测试计划：构建后，在全新进程中运行每个案例，设置 PYTORCH_API_USAGE_STDERR=1 并 grep 发出的事件：a = torch.randn(4, requires_grad=True, device="cuda") b = torch.randn(4, requires_grad=True, device="cpu") (a.sum() + b.sum()).backward() a = torch.randn(4, requires_grad=True, device="cuda") (a * 2).sum().backward() a = torch.randn(4, requires_grad=True, device="cpu") (a * …
该提交表明 PyTorch 正在收集跨设备 backward 的使用数据，以评估多线程 autograd 的实际需求。通过区分多设备（多个加速器）和 GPU+CPU 场景，团队可以量化哪些工作负载真正受益于多线程 autograd，从而为默认行为变更提供依据。可验证的下一信号：PyTorch 发布关于多设备 backward 使用率的统计数据，或基于这些日志调整多线程 autograd 的默认设置。
PyTorch 作为主流深度学习框架，其内部决策过程反映了对多设备训练场景的重视。通过日志收集使用数据，表明框架在优化多设备支持时采取数据驱动的方法，这可能导致未来默认行为的变化，影响依赖多线程 autograd 的分布式训练工作负载。可验证的下一信号：PyTorch 发布关于多设备 backward 使用率的统计数据，或基于这些日志调整多线程 autograd 的默认设置。
对于依赖 PyTorch 进行多设备训练的团队，此日志功能提供了对框架内部行为的可见性，但本身不直接产生业务价值。然而，如果默认行为变更，可能影响训练性能和稳定性，因此团队应关注后续发布说明。可验证的下一信号：PyTorch 发布关于多设备 backward 使用率的统计数据，或基于这些日志调整多线程 autograd 的默认设置。
如果日志显示多设备 backward 使用率较低，PyTorch 可能会更改多线程 autograd 的默认行为，例如默认禁用或优化为按需启用，从而简化单设备场景的性能。如果使用率高，则可能增强多线程 autograd 的稳定性和性能。可验证的下一信号：PyTorch 发布关于多设备 backward 使用率的统计数据，或基于这些日志调整多线程 autograd 的默认设置。