Hybrid-Adaptive Thread Tuning to Mitigate Simulation Execution Bottlenecks in High-Performance Reinforcement Learning Inference
AutoThread 是一种混合自适应线程调优方法，用于缓解强化学习推理中的仿真瓶颈。它使用物理信息神经算子（PINO）作为线程数预测器，并结合有限源 M/M/1 排队模型来约束和指导预测。实验显示，与静态策略相比，AutoThread 平均加速比提升 18.4%，平均吞吐量达到 XG 的 1.7 倍和 1.8 倍。
发展脉络
- 首次出现Hybrid-Adaptive Thread Tuning to Mitigate Simulation Execution Bottlenecks in High-Performance Reinforcement Learning InferencearXiv cs.LG
- 当前判断该研究针对强化学习推理中的仿真瓶颈，表明在仿真在环系统中，线程配置优化对性能提升有显著作用。AutoThread 的混合方法结合了机器学习与排队论，可能推动更智能的资源调度工具发展，对需要高吞吐量推理的行业（如自动驾驶、机器人）具有潜在价值。Agent Pulse · 分析
在仿真在环决策系统中，强化学习推理常受仿真器执行开销限制，工作负载高度动态且对运行时线程配置敏感。现有线程策略难以在运行前或运行中匹配线程资源，导致资源争用、调度开销和吞吐量下降。通过实证分析，研究者发现任务执行时间与调度时间的比率是决定最优线程数的关键因素。基于此，他们提出 AutoThread，一种混合自适应线程调优方法，采用物理信息神经算子（PINO）作为线程数预测器，并引入有限源 M/M/1 排队模型来约束和指导预测，实现动态工作负载下的快速准确估计。AutoThread 还执行负载感知的在线微调以补偿预测误差并优化资源分配。实验表明，AutoThread 相比静态策略平均加速比提升 18.4%，平均吞吐量达到 XG 的 1.7 倍和 1.8 倍。
AutoThread 的核心创新在于将物理信息神经算子（PINO）与排队论结合，利用任务执行时间与调度时间的比率作为关键特征，通过有限源 M/M/1 模型提供物理约束，使预测更稳健。在线微调机制进一步适应动态负载，减少预测误差。这种方法为动态线程配置提供了新思路，可能适用于其他资源调度场景。
该研究针对强化学习推理中的仿真瓶颈，表明在仿真在环系统中，线程配置优化对性能提升有显著作用。AutoThread 的混合方法结合了机器学习与排队论，可能推动更智能的资源调度工具发展，对需要高吞吐量推理的行业（如自动驾驶、机器人）具有潜在价值。
AutoThread 通过提升 RL 推理吞吐量，可降低仿真在环系统的计算成本，提高实时决策效率。对于提供仿真服务或依赖 RL 推理的企业，采用此类方法可提升系统性能，减少硬件投入，从而带来成本节约和竞争优势。
未来可验证的信号包括：AutoThread 是否被集成到主流 RL 框架或仿真工具中；其方法是否扩展到其他资源类型（如内存、带宽）的调优；以及是否出现基于类似混合方法的商业产品或开源项目。