2026年8月5日 · MirageBench
The Personalization Mirage: How LLMs Fabricate User Profiles, and Why Self-Monitoring Misleads
MirageBench 基准包含 150 个角色，覆盖刻板、反刻板和中性画像，以及 6 个个性化任务。12 个模型在 143616 条判断中，过度推断比例在 35% 到 49% 之间，平均 41.6%。自我监控反转显示，模型自我评估的过度推断与法官测量的过度推断呈负相关（rho = -0.60, p = 0.044）。
EVENT STORY
发展脉络
- 首次出现The Personalization Mirage: How LLMs Fabricate User Profiles, and Why Self-Monitoring MisleadsarXiv cs.CL
- 当前判断个性化 LLM 的部署需警惕过度推断风险，模型可能虚构用户属性，导致不准确的个性化体验。自我监控的不可靠性意味着需要独立的评估机制来确保用户模型的忠实度。Agent Pulse · 分析
该研究引入 MirageBench，用于评估个性化 LLM 中用户模型的忠实度，重点关注过度推断（OI）现象。基准包含 150 个角色和 6 个任务，使用独立法官和四类忠实度分类法，在 400 条声明上验证了 Cohen's kappa = 0.863。对 12 个模型（7 个家族）的 143616 条判断显示，所有模型都过度推断，平均 41.6% 的声明超出证据支持。最显著的是自我监控反转：模型自我报告的 OI 与法官测量的 OI 呈负相关（rho = -0.60, p = 0.044），表明自我评估不可靠。
自我监控反转表明，模型对自身过度推断的自我评估与外部测量负相关，这暗示依赖模型自我报告来校准个性化系统可能适得其反。未来可探索外部评估器或基于行为的验证来替代自我监控。
个性化 LLM 的部署需警惕过度推断风险，模型可能虚构用户属性，导致不准确的个性化体验。自我监控的不可靠性意味着需要独立的评估机制来确保用户模型的忠实度。
对于构建个性化 AI 产品的公司，过度推断可能导致用户信任下降和体验偏差。投资于减少过度推断的技术和评估工具，可提升产品可靠性和用户满意度。
未来研究可能开发更可靠的过度推断检测方法，或设计训练策略以减少过度推断。个性化系统可能需要结合用户反馈或外部数据来验证用户模型。