Enhancing Social Intelligence in LLMs with Hierarchical Reasoning and Utterance-Level Goal Rewarding
arXiv 论文 2608.05832v1 提出 TSR 框架，将社交对话分解为高层策略规划和低层语言执行两个层级，并引入 LHRL-VGR 算法，根据目标达成分数的方差动态路由奖励。在 SOTOPIA 基准上，该方法微调的 Qwen2.5-7B 智能体在目标完成成功率上超过 GPT-4o 基线 7.32%。
Development
- First ReportEnhancing Social Intelligence in LLMs with Hierarchical Reasoning and Utterance-Level Goal RewardingarXiv cs.CL
- Current Assessment该研究展示了通过分层强化学习提升 LLM 社交智能的潜力，可能影响对话式 AI 产品的开发。在客服、教育、娱乐等需要长期目标协调的场景中，此类方法可能提升用户体验。但当前仅在 SOTOPIA 基准上验证，实际部署效果需进一步测试。Agent Pulse · analysis
该论文针对大语言模型在动态社交互动中的不足，提出 Think-Strategy-Response (TSR) 框架，受计划行为理论启发，将社交对话分解为高层策略规划和低层语言执行两个层级。为优化 TSR，引入 Linearized Hierarchical Reinforcement Learning with Variance-Gated Rewards (LHRL-VGR) 算法，根据目标达成分数的方差动态路由奖励，平衡目标完成和策略遵循。在 SOTOPIA 基准上，微调的 Qwen2.5-7B 智能体在目标完成成功率上超过 GPT-4o 基线 7.32%，展示了在多智能体社交协商任务中的先进性能。
TSR 框架将社交对话分解为策略规划和语言执行两个层级，类似于分层强化学习。LHRL-VGR 算法通过方差门控动态调整奖励分配，可能提高样本效率和稳定性。在 SOTOPIA 基准上的提升表明，分层推理和奖励整形对社交智能有效。下一步可关注该方法在其他对话任务上的泛化能力，以及方差门控机制的理论解释。
该研究展示了通过分层强化学习提升 LLM 社交智能的潜力，可能影响对话式 AI 产品的开发。在客服、教育、娱乐等需要长期目标协调的场景中，此类方法可能提升用户体验。但当前仅在 SOTOPIA 基准上验证，实际部署效果需进一步测试。
对于开发对话式 AI 产品的公司，该方法可能提升智能体在复杂社交互动中的表现，从而改善用户留存和满意度。但当前仍处于研究阶段，商业化应用需考虑计算成本和实际效果。
未来可期待 TSR 框架在更大模型和更多对话场景中的应用，以及 LHRL-VGR 算法与其他强化学习方法的结合。可验证的下一信号包括：该方法在公开基准上的复现结果、在真实对话数据上的表现，以及是否有后续工作扩展其适用范围。