Memory Decoder at Scale: A Pretrained, Parametric Long-Term Memory
Memory Decoder at Scale 将记忆模型扩展到 6.9B 参数，在 300B tokens 上预训练。使用分布式 Faiss 索引和检索，以及稀疏批量加载 kNN 分布。在 17 个基准上，6.9B 通用记忆配合 Pythia-410M 平均分从 29.86 提升至 37.34，超过 Pythia-12B（37.24），总参数少 39%。对于 Qwen3 Base 模型（0.6B 至 14B），1.7B 领域记忆在三个领域平均分提升超过 9 分。
发展脉络
- 首次出现Memory Decoder at Scale: A Pretrained, Parametric Long-Term MemoryarXiv cs.CL
- 当前判断该研究可能推动行业重新思考模型扩展策略：与其单纯扩大基础模型，不如独立扩展记忆模块。这或将对模型训练成本结构产生影响，并催生新的记忆基础设施需求。但需注意，该结果基于特定基准和模型，实际应用效果需进一步验证。Agent Pulse · 分析
Memory Decoder at Scale 提出了一种独立扩展参数化长期记忆的方法，将记忆模型扩展到 6.9B 参数并在 300B tokens 上预训练。为解决大规模下 Faiss 索引和检索的成本瓶颈，他们设计了分布式流水线和稀疏批量加载 kNN 分布。实验表明，在多个模型规模下，将更多参数分配给记忆比单独扩展基础模型带来更好的参数-性能权衡。例如，6.9B 通用记忆配合 Pythia-410M 在 17 个基准上平均分从 29.86 提升至 37.34，超过 Pythia-12B（37.24），且总参数少 39%。对于 Qwen3 Base 模型（0.6B 至 14B），1.7B 领域记忆在三个领域平均分提升超过 9 分。这些结果证明独立扩展记忆模块的有效性。
该工作表明，通过独立扩展参数化记忆模块，可以在不增加基础模型规模的情况下显著提升下游性能，且参数效率更高。分布式 Faiss 流水线和稀疏批量加载 kNN 分布解决了大规模检索的工程瓶颈。这提示记忆增强架构可能成为提升模型能力的新方向，但需关注记忆模块与基础模型的协同训练成本。
该研究可能推动行业重新思考模型扩展策略：与其单纯扩大基础模型，不如独立扩展记忆模块。这或将对模型训练成本结构产生影响，并催生新的记忆基础设施需求。但需注意，该结果基于特定基准和模型，实际应用效果需进一步验证。
该技术可能降低模型扩展成本，使中小团队通过添加记忆模块获得接近大模型的性能，从而改变模型服务市场的竞争格局。但需评估记忆模块的额外存储和检索成本。
未来可关注记忆模块在更大规模（如超过 6.9B）上的表现，以及其与不同基础模型（如 Qwen3 更大版本）的适配性。同时，记忆模块的推理效率和部署成本将是商业化关键。