Cocktail-Talker: Multi-Speaker Dialog Modeling in Noisy Social Environments with Turn Action GRPO
Cocktail-Talker 是一个面向嘈杂社交环境中多说话人对话建模的语音 LLM 框架，通过三个动作 token（说话、倾听、忽略）决定助手是否发言及回应内容，采用监督微调和强化学习训练，并配套 Cocktail-DialogGen 数据生成管线。
Development
- First ReportCocktail-Talker: Multi-Speaker Dialog Modeling in Noisy Social Environments with Turn Action GRPOarXiv cs.CL
- Current Assessment该研究指向语音助手从单用户交互向多参与者社交场景的扩展，可能影响智能音箱、会议助手等产品的交互设计。然而，论文尚未展示真实环境评测，实际部署仍需验证。Agent Pulse · analysis
Cocktail-Talker 论文提出一个语音 LLM 框架，用于在嘈杂社交环境中建模多说话人对话。传统口语对话系统假设单用户与助手轮流发言，而真实社交场景包含多个说话人、无关语音和背景噪声，助手需判断是否发言及回应对象。该框架引入三个动作 token 置于回应或沉默之前，通过监督微调和强化学习训练生成合适的动作 token，仅在需要时生成语音回应。为准备训练数据，作者开发了 Cocktail-DialogGen，一个基于 LLM 的数据管线，模拟不同社交场景下的多说话人对话。该工作向更自然的口语对话系统迈出一步。
该框架的核心创新在于将对话参与决策显式建模为动作 token，而非隐式生成，这为语音 LLM 提供了更可控的交互策略。强化学习（可能采用 GRPO）用于优化动作选择，暗示奖励函数需区分相关与无关语音。Cocktail-DialogGen 数据管线表明合成数据在训练此类系统时的重要性，但需注意合成数据与真实噪声环境的分布差异。
该研究指向语音助手从单用户交互向多参与者社交场景的扩展，可能影响智能音箱、会议助手等产品的交互设计。然而，论文尚未展示真实环境评测，实际部署仍需验证。
对于语音交互产品，该技术可能提升在多人场景下的可用性，减少误触发和无关回应，但商业化落地需考虑计算成本和实时性。
后续可关注该框架在真实嘈杂环境中的评测结果，以及动作 token 机制是否被其他语音 LLM 采用。Cocktail-DialogGen 数据管线可能成为多说话人对话数据生成的标准工具。