Beyond Retrieval: Analytic Memory for Multimodal Agents
论文提出 AdaMM 框架,将长期多模态记忆分为检索记忆与分析记忆,支持过滤、聚合、排序和时间比较。AdaMM 从对话、图像和元数据中提取属性-值观察,发现重复字段结构,并在推理时由记忆感知规划器将查询分解为检索和分析操作。在 MemEye 和 MemGallery 两个基准上,AdaMM 表现优于现有系统。
Development
- First ReportBeyond Retrieval: Analytic Memory for Multimodal AgentsarXiv cs.AI
- Current Assessment该研究可能推动多模态 Agent 记忆系统的设计,从检索增强转向分析增强,但尚处于研究阶段,距离产品化有距离。Agent Pulse · analysis
论文《Beyond Retrieval: Analytic Memory for Multimodal Agents》提出 AdaMM 框架,将长期多模态记忆从单纯的检索记忆扩展为检索与分析记忆的结合。现有系统主要强调检索记忆,通过摘要和索引返回查询相关的信息。AdaMM 则从对话、图像和上下文元数据中提取带来源链接的属性-值观察,自动发现重复的字段结构,并物化为可查询的结构,支持过滤、聚合、排序和时间比较。推理时,记忆感知规划器将查询分解为检索和分析操作,并路由到相应工具。在 MemEye 和 MemGallery 两个长期多模态记忆基准上,AdaMM 取得了改进。
AdaMM 的核心创新在于将记忆从检索型扩展到分析型,通过自动提取属性-值对并发现重复结构,使记忆可被计算。这暗示多模态 Agent 的记忆系统可能从简单的向量检索转向结构化查询,但论文未提供具体性能数据,需关注后续评测细节。
该研究可能推动多模态 Agent 记忆系统的设计,从检索增强转向分析增强,但尚处于研究阶段,距离产品化有距离。
对于构建多模态 Agent 的公司,AdaMM 可能提升长期记忆的查询能力,但当前缺乏商业验证,价值尚不明确。
后续可关注 AdaMM 在更多基准上的表现,以及是否被集成到主流 Agent 框架中。