Voice Memory for Agentic Speech Recognition
Voice Memory 是一种仅推理的语音识别方案，通过冻结的修正器读取每域 memory.md 决定是否采纳假设，异步优化器通过有界编辑修订该文件。在金融新闻上，无约束生成式纠错（GER）在高达 64% 的编辑中破坏正确 token，Voice Memory 将其降至 35%。在 HyPoradise 十个域上，加权词错误率从 8.36% 降至 7.52%（加三个上下文示例后为 7.47%），无数据集低于 1-best 基线；空中旅行命令从 8.40% 降至 3.40%。
Development
- First ReportVoice Memory for Agentic Speech RecognitionarXiv cs.CL
- Current Assessment该研究展示了在语音识别中通过推理时记忆而非微调来提升准确率的潜力，可能降低领域适配成本。但当前结果基于 HyPoradise 基准，实际部署效果需验证。Agent Pulse · analysis
Voice Memory 提出了一种仅推理的 agentic 语音识别方案，将经典 ASR-LM 框架扩展为 listener-thinker 架构：流式时，冻结的修正器读取单个 per-domain memory.md，决定是否对假设采取行动或弃权保留 1-best；异步地，分数门控的优化器通过有界编辑修订该文件，仅当严格改进保留分数时才接受编辑。两个角色仅通过 memory 耦合，权重不变，学习技能可审计且可移植。实验表明，无约束生成式纠错（GER）在金融新闻上过度纠正，破坏正确 token 的比例高达 64%，而 Voice Memory 将其降至 35%。在 HyPoradise 十个域上，使用开放修正器，加权词错误率从 8.36% 降至 7.52%（加三个上下文示例后为 7.47%），且无数据集低于其 1-best 基线；收益集中在可恢复余量最大的域，如空中旅行命令（8.40% 至 3.40%）和嘈杂远场场景。
Voice Memory 的核心在于将纠错能力外置到可编辑的 memory 文件，而非模型权重，实现了可审计、可移植的技能。其 score-gated 优化器通过有界编辑严格改进保留分数，避免了无约束 GER 的过度纠正问题。这种 listener-thinker 分离架构可能启发其他序列任务（如翻译、摘要）的类似设计，但需注意其依赖 per-domain memory，跨域泛化能力未知。
该研究展示了在语音识别中通过推理时记忆而非微调来提升准确率的潜力，可能降低领域适配成本。但当前结果基于 HyPoradise 基准，实际部署效果需验证。
Voice Memory 可能降低语音识别系统在特定领域的适配成本，因为无需重新训练模型，仅需维护 memory 文件。但当前为研究阶段，商业价值需进一步验证。
后续可关注 Voice Memory 在更多领域和真实场景的验证，以及 memory 文件的可解释性和编辑策略的进一步优化。