Reduce RAG costs on Amazon Bedrock with query-aware compression
AWS 博客于 2026-08-21 发布文章，介绍在 Amazon Bedrock 上通过查询感知压缩降低 RAG 成本。该方法在检索后使用较小模型根据查询过滤检索到的块，再让主模型回答，以减少输入 token 和成本，同时保持答案质量。
发展脉络
- 首次出现Reduce RAG costs on Amazon Bedrock with query-aware compressionAWS Machine Learning Blog
- 当前判断该模式反映了 RAG 成本优化的趋势，即通过模型级联或路由来降低推理成本。AWS 将其作为官方推荐模式，可能推动 Bedrock 用户采用类似方法，并影响其他云厂商的类似服务。可验证的下一信号：其他云厂商是否推出类似功能，或 Bedrock 是否将该模式集成到托管服务中。Agent Pulse · 分析
AWS 博客文章提出了一种在 Amazon Bedrock 上降低 RAG 成本的模式：查询感知上下文压缩。在检索增强生成中，输入 token 通常是成本的重要组成部分。该方法在检索后，使用一个较小的模型根据查询过滤检索到的块，然后再由主模型生成答案，从而减少输入 token 和成本，同时保持答案质量。
该模式在检索后引入一个轻量级过滤步骤，利用小模型对检索块进行相关性判断，丢弃与查询无关的块，从而减少主模型的输入 token。这类似于重排序但更侧重压缩，可能通过小模型生成相关性分数或二元标签实现。可验证的下一信号：AWS 是否提供该模式的官方实现或示例代码，以及是否报告具体的压缩率和质量指标。
该模式反映了 RAG 成本优化的趋势，即通过模型级联或路由来降低推理成本。AWS 将其作为官方推荐模式，可能推动 Bedrock 用户采用类似方法，并影响其他云厂商的类似服务。可验证的下一信号：其他云厂商是否推出类似功能，或 Bedrock 是否将该模式集成到托管服务中。
对于使用 Amazon Bedrock 的企业，该模式可直接降低 RAG 应用的推理成本，尤其适合大规模检索场景。通过减少输入 token，企业可以在不牺牲答案质量的情况下控制成本，提高 RAG 系统的经济性。可验证的下一信号：AWS 是否发布成本节省的案例研究或客户证言。
未来，查询感知压缩可能成为 RAG 系统的标准组件，并可能发展出更智能的压缩策略，如动态选择压缩比例或结合语义缓存。可验证的下一信号：相关论文或产品是否出现更高效的压缩模型或自适应压缩方法。