Best Friends, Not Forever: Evaluating Long-Horizon Persona Collapse and Behavioral Drift in AI Companions
arXiv 论文 2607.28818v1 提出 ANCHOR 审计框架,用于评估 AI 陪伴模型在长期交互中的角色一致性和行为漂移。研究包含 2,008 段对话,覆盖 27 种角色、9 种交互计划、3 种记忆设置和 4 个模型。结果显示轨迹准确率平均仅 44.4%,用户状态回忆接近四选一随机水平,没有模型或配置能可靠保持角色和记忆。
Development
- First ReportBest Friends, Not Forever: Evaluating Long-Horizon Persona Collapse and Behavioral Drift in AI CompanionsarXiv cs.CL
- Current Assessment该研究揭示了 AI 陪伴产品在长期交互中的可靠性问题,可能影响用户信任和产品留存。尽管研究未涉及具体公司,但结果对依赖长期记忆的陪伴类应用具有警示意义。Agent Pulse · analysis
arXiv 论文 2607.28818v1 提出 ANCHOR 审计框架,用于评估 AI 陪伴模型在长期交互中的角色一致性和行为漂移。研究包含 2,008 段对话,覆盖 27 种角色、9 种交互计划、3 种记忆设置和 4 个模型。结果显示轨迹准确率平均仅 44.4%,用户状态回忆接近四选一随机水平,没有模型或配置能可靠保持角色和记忆。
ANCHOR 框架通过身份探针和轨迹探针分别测量角色扮演和轨迹回忆,其中身份探针使用 102 项密封问卷和回合级判断,轨迹探针使用 35 个对话库中的 110 个校准反事实问题。结果表明,即使有记忆设置,模型也无法可靠保持角色一致性,轨迹准确率平均仅 44.4%,用户状态回忆接近随机水平。这提示当前模型在长期上下文中的记忆和角色保持能力存在系统性缺陷。
该研究揭示了 AI 陪伴产品在长期交互中的可靠性问题,可能影响用户信任和产品留存。尽管研究未涉及具体公司,但结果对依赖长期记忆的陪伴类应用具有警示意义。
对于 AI 陪伴产品,角色一致性是用户留存的关键。该研究提供了量化评估方法,可帮助开发者识别和修复模型缺陷,从而提升产品体验和用户忠诚度。
未来可能需要开发更有效的记忆机制或角色保持训练方法,以解决长期交互中的角色崩溃和行为漂移问题。可验证的下一信号是:后续研究是否提出改进方法,并在类似基准上取得显著提升。