TransMem: Transforming Hidden States into Memory for Large Language Models
TransMem 是一个轻量级推理时参数记忆模块，将冻结 LLM 骨干网络的稀疏历史隐藏状态转换为可复用的记忆表示，通过轻量级门控网络动态干预当前隐藏状态，无需重复编码先前上下文。实验在 LoCoMo、HotpotQA 和 MemoryAgentBench 上显示一致改进，LoCoMo 上 F1 提升 11.58-29.25。
发展脉络
- 首次出现TransMem: Transforming Hidden States into Memory for Large Language ModelsarXiv cs.CL
- 当前判断该研究展示了在不微调骨干模型的情况下增强长上下文推理能力的可能性，可能影响 LLM 代理系统的设计。对于依赖长交互历史的 Agent 应用，如复杂任务执行和多轮对话，TransMem 提供了一种轻量级改进方案，可能降低部署成本并提升性能。Agent Pulse · 分析
TransMem 提出了一种轻量级推理时参数记忆模块，旨在解决 LLM 代理在长交互历史中有效利用任务相关证据的问题。该模块将冻结 LLM 骨干网络的稀疏历史隐藏状态转换为可复用的记忆表示，通过轻量级门控网络动态干预当前隐藏状态，无需重复编码先前上下文。为学习可迁移的记忆利用而非任务特定知识，引入了证据条件自蒸馏：记忆增强的学生处理完整上下文，并匹配共享相同冻结骨干的证据教师预测分布。在 LoCoMo、HotpotQA 和 MemoryAgentBench 上的实验表明，不同模型架构和规模下均有一致改进，LoCoMo 上 F1 提升 11.58-29.25。
TransMem 的核心创新在于将历史隐藏状态转化为可复用的记忆表示，并通过门控网络动态干预当前隐藏状态，避免了重复编码上下文，从而降低了推理成本。证据条件自蒸馏机制使得记忆利用能力可迁移，而非过拟合特定任务。这暗示了一种新的记忆机制方向：利用冻结模型的内部表示作为外部记忆，可能比显式存储文本或向量更高效。
该研究展示了在不微调骨干模型的情况下增强长上下文推理能力的可能性，可能影响 LLM 代理系统的设计。对于依赖长交互历史的 Agent 应用，如复杂任务执行和多轮对话，TransMem 提供了一种轻量级改进方案，可能降低部署成本并提升性能。
TransMem 通过减少重复编码上下文，可能降低长上下文推理的计算成本，从而降低 LLM 应用的推理费用。对于提供长上下文服务的公司，这能提升利润率或降低客户成本。同时，其即插即用的特性可能加速 Agent 产品的迭代。
后续可验证的信号包括：TransMem 在更长上下文或更多任务上的泛化表现，其门控网络的可解释性，以及与其他记忆机制（如检索增强）的组合效果。若该方法被集成到主流推理框架或 Agent 系统中，将验证其实际价值。