2026年7月30日 · CoRA
Gradient-free Task-Conditioned Retrieval for On-Device In-Context Learning
CoRA (Conditional Retrieval Alignment) 是一种无梯度的框架，用于设备端上下文学习中的任务条件检索。它通过配对候选输入和输出，将冻结的编码器转换为任务条件的检索器，利用闭式岭回归对齐表示，并通过低秩分解构建紧凑的检索基础。查询时仅需查询输入和预计算索引，候选输出仅在离线索引构建时使用。
EVENT STORY
发展脉络
- 首次出现Gradient-free Task-Conditioned Retrieval for On-Device In-Context LearningarXiv cs.CL
- 当前判断该研究可能推动设备端上下文学习的发展，使模型在本地内存中高效选择演示样本，减少对云端依赖，提升隐私和响应速度。Agent Pulse · 分析
CoRA 提出了一种无梯度的任务条件检索框架，用于设备端上下文学习。它通过配对候选输入和输出，将冻结的编码器转换为任务条件的检索器，利用闭式岭回归对齐表示，并通过低秩分解构建紧凑的检索基础。查询时仅需查询输入和预计算索引，候选输出仅在离线索引构建时使用。
CoRA 的核心创新在于利用闭式岭回归和低秩分解，在无梯度的情况下实现任务条件检索，避免了反向传播的计算开销。其秩约束基是最优的低秩压缩，且通过两遍流式构建避免物化完整矩阵，适合内存受限的设备端场景。
该研究可能推动设备端上下文学习的发展，使模型在本地内存中高效选择演示样本，减少对云端依赖，提升隐私和响应速度。
对于设备端 AI 产品，CoRA 可能降低推理成本，提升用户体验，增强隐私保护，从而在商业上具有吸引力。
未来可能看到 CoRA 在更多设备端应用中的集成，以及与其他检索方法的结合，进一步提升检索效率和准确性。