ForgetBench: Benchmarking Forgetting Dynamics of Long-Term Parametric Memory in Language Models
ForgetBench 是一个用于系统化表征大语言模型在持续知识编辑下遗忘行为的基准。它引入概念型 QA 和场景型 QA 两种互补评估范式，以区分孤立事实保留与结构化关系知识保留。基于顺序编辑框架，构建时间排序的知识流，并在多个编辑阶段评估模型行为。引入统一评估框架，建模知识随时间的演化，以测量时间衰减、保留强度和跨实例稳定性。
发展脉络
- 首次出现ForgetBench: Benchmarking Forgetting Dynamics of Long-Term Parametric Memory in Language ModelsarXiv cs.CL
- 当前判断该基准的提出反映了行业对模型长期可靠性的关注，尤其是在模型持续更新场景下。它可能推动模型更新策略的改进，例如更智能的编辑调度或记忆巩固机制。未来可观察该基准是否被主流模型提供商采用，作为模型更新质量的评估标准。Agent Pulse · 分析
ForgetBench 是一个新提出的基准，旨在系统化表征大语言模型在持续知识编辑下的遗忘行为。现有评估范式主要关注单步推理或静态知识编辑，未能捕捉持续模型修改过程中知识保留和退化的时间动态。ForgetBench 引入两种互补评估范式：概念型 QA 和场景型 QA，以区分孤立事实保留与结构化关系知识保留。基于顺序编辑框架，构建时间排序的知识流，并在多个编辑阶段评估模型行为。为定量分析长期保留动态，引入统一评估框架，建模知识随时间的演化，从而测量时间衰减、保留强度和跨实例稳定性。该工作来自 arXiv 论文，发表于 2026 年 7 月 29 日。
ForgetBench 的评估框架可能揭示模型在持续编辑下遗忘的非线性模式，例如早期编辑对后续知识保留的影响。其概念型与场景型 QA 的区分可能帮助识别模型在孤立事实与关系知识上的不同遗忘速率。未来可关注该基准在多种模型规模上的结果，以验证其泛化性。
该基准的提出反映了行业对模型长期可靠性的关注，尤其是在模型持续更新场景下。它可能推动模型更新策略的改进，例如更智能的编辑调度或记忆巩固机制。未来可观察该基准是否被主流模型提供商采用，作为模型更新质量的评估标准。
对于依赖模型持续更新的企业，ForgetBench 可能提供一种评估模型更新后知识保留能力的方法，从而降低因遗忘导致的服务质量下降风险。它可能影响模型更新决策，例如选择更稳健的编辑策略或模型版本。
后续可关注 ForgetBench 在更大模型和更多编辑场景下的表现，以及它是否催生新的遗忘缓解技术。若该基准被广泛采用，可能成为模型持续学习能力的标准测试。