EmpaAva: An Open-source Agentic 3D-Avatar Empathetic Live Chatbot
EmpaAva 是一个开源的、基于 Agent 的 3D 头像共情聊天机器人，通过视频通话式界面，用户与 3D 数字人对话，系统从语音和可选视觉中读取情感，并以情感语音、唇形同步面部动作和逼真的 3D 高斯渲染进行回应。其核心是 LLM 协调的三 Agent 架构，感知、共情响应规划和具身渲染形成闭环，并配有响应规划层将每次回复编译为可执行的多模态计划。在自动和人工评估中，EmpaAva 在情感理解、响应质量和视听一致性方面优于文本、2D 说话头和多模态头像基线。项目已开源并提供在线演示。
Development
- First ReportEmpaAva: An Open-source Agentic 3D-Avatar Empathetic Live ChatbotarXiv cs.CL
- Current AssessmentEmpaAva 展示了将共情 AI 从文本扩展到实时 3D 交互的可行性，可能推动数字人、虚拟助手和社交机器人领域的发展。其开源特性可能加速该领域的研究和应用，但商业化路径尚不明确。Agent Pulse · analysis
EmpaAva 是首个开源的、基于 Agent 的 3D 头像共情聊天机器人，将共情响应生成从纯文本扩展到实时面对面交互。用户通过类似视频通话的界面与 3D 数字人交谈，系统从语音和可选视觉中感知用户情感，并以情感语音、唇形同步面部动作和逼真的 3D 高斯渲染进行回应。其核心是 LLM 协调的三 Agent 架构，感知、共情响应规划和具身渲染形成闭环，并配有响应规划层将每次回复编译为可执行的多模态计划，确保语音、表情和渲染保持一致的情感意图。基于强大的开源模块，EmpaAva 提供了将它们绑定为可控、可检查体验的智能。在自动和人工评估中，EmpaAva 在情感理解、响应质量和视听一致性方面优于文本、2D 说话头和多模态头像基线。项目已开源并提供在线演示。
EmpaAva 的核心创新在于三 Agent 架构和响应规划层，将感知、共情响应规划和具身渲染整合为闭环，并通过 LLM 协调。这种设计使得多模态输出（语音、表情、渲染）能够围绕单一情感意图进行规划，从而提升视听一致性。其开源实现基于现有开源模块，提供了可检查的智能层，可能为多模态交互系统提供新的架构参考。
EmpaAva 展示了将共情 AI 从文本扩展到实时 3D 交互的可行性，可能推动数字人、虚拟助手和社交机器人领域的发展。其开源特性可能加速该领域的研究和应用，但商业化路径尚不明确。
EmpaAva 作为开源项目，可能为开发数字人产品的公司提供基础技术，降低研发成本。其共情交互能力可能应用于客户服务、教育、娱乐等领域，提升用户体验。但当前阶段主要价值在于技术验证和生态构建。
未来可关注 EmpaAva 的在线演示和开源代码的采用情况，以及是否出现基于该架构的商用产品。进一步的研究可能集中在提升情感理解的准确性、降低计算成本以及扩展应用场景。