2026年8月28日 · Apple
LLMs Are Not (Consistently) Bayesian: Quantifying Internal (In)consistencies of LLMs’ Probabilistic Beliefs
Apple 机器学习研究团队于 2026 年 8 月 28 日发布研究，提出将 LLM 视为信息处理规则，利用信息处理差距（与贝叶斯更新的偏差）来研究 LLM 如何从证据更新概率信念，并评估其内部一致性。
EVENT STORY
发展脉络
- 首次出现LLMs Are Not (Consistently) Bayesian: Quantifying Internal (In)consistencies of LLMs’ Probabilistic BeliefsApple Machine Learning Research
- 当前判断该研究对 AI 行业在医疗、法律等高风险领域的应用具有警示意义，表明 LLM 的概率推理可能不可靠，需要额外的校准或验证机制。Agent Pulse · 分析
Apple 机器学习研究团队发布了一项研究，探讨 LLM 在医学、科学、法律等复杂领域中的概率信念更新是否遵循贝叶斯规则。他们提出将 LLM 视为信息处理规则，并利用信息处理差距（即与贝叶斯更新的偏差）来量化 LLM 内部的不一致性。实验评估了 LLM 如何从证据更新信念，揭示了其概率推理中的系统性偏差。
该研究引入了一种新方法，通过测量 LLM 更新概率信念时与贝叶斯更新的偏差，来量化其内部不一致性。这为评估 LLM 的推理可靠性提供了新的度量标准，可能用于改进模型校准或设计更一致的推理机制。
该研究对 AI 行业在医疗、法律等高风险领域的应用具有警示意义，表明 LLM 的概率推理可能不可靠，需要额外的校准或验证机制。
对于依赖 LLM 进行决策的企业，该研究提示需要关注模型的不确定性表达，可能推动对模型校准和验证工具的需求。
未来可能看到更多关于 LLM 概率校准的研究，以及基于这些发现开发的工具或方法，以提高 LLM 在不确定性推理中的可靠性。