Mergeable Model-Side Aggregation States for Long-Context Language Models
论文提出一种模型侧聚合接口，通过冻结语言模型旁的紧凑 HyperLogLog（HLL）草图状态，为长上下文语言模型提供非加性、基于集合的聚合能力。提取器将记录映射到规范身份并哈希更新 HLL 状态，状态可跨上下文段合并或直接读出。HLL 状态大小为 2 KiB（2048 个寄存器），不随上下文长度或集合基数增长。在包含一百万条记录的去重计数实验中，平均相对误差为 1.6%。在合并测试中，来自多达 256 个段的状态产生完全相同的读出结果。
发展脉络
- 首次出现Mergeable Model-Side Aggregation States for Long-Context Language ModelsarXiv cs.CL
- 当前判断该研究针对长上下文模型在集合聚合任务上的短板，提出外部状态接口，可能推动长上下文模型在日志分析、表格处理等场景的应用。固定大小的状态设计暗示了推理成本的可控性，可能影响长上下文应用的部署策略。Agent Pulse · 分析
论文针对长上下文语言模型在非加性、基于集合的聚合任务（如基数估计、集合关系、分组统计）上性能不可靠的问题，提出一种模型侧聚合接口。该接口在冻结的语言模型旁维护紧凑的基于哈希的 HyperLogLog（HLL）草图状态。模型处理上下文时，提取器将相关记录映射到规范身份，身份经哈希后更新 HLL 状态。这些状态可跨上下文段合并，或直接读出用于下游推理，避免了额外的生成-执行-返回循环。实验设置 HLL 状态大小为 2 KiB（2048 个寄存器），不随上下文长度或集合基数增长。在包含一百万条记录的去重计数实验中，平均相对误差为 1.6%。在合并测试中，来自多达 256 个段的状态产生完全相同的读出结果。
该方法通过外部 HLL 草图状态绕过语言模型内部的注意力机制，为长上下文中的集合聚合提供确定性支持。HLL 状态大小固定为 2 KiB，不随上下文长度或基数增长，这暗示了一种将外部状态与冻结模型结合的模式，可能降低长上下文任务的计算开销。合并测试中 256 个段的状态产生相同读出，表明状态合并具有确定性，这为跨段聚合提供了可靠性。
该研究针对长上下文模型在集合聚合任务上的短板，提出外部状态接口，可能推动长上下文模型在日志分析、表格处理等场景的应用。固定大小的状态设计暗示了推理成本的可控性，可能影响长上下文应用的部署策略。
该方法可能降低长上下文聚合任务的计算成本，因为 HLL 状态大小固定，不随上下文增长。对于处理日志、表格等数据的应用，这可能提升效率并降低成本，但需验证实际部署中的收益。
后续可验证的信号包括：该方法是否被集成到主流长上下文模型中，或是否出现类似的外部状态接口用于其他非加性任务。可关注相关开源实现或基准测试结果。