Should We Type or Talk to LLM Agents? A Comprehensive Study of Voice and Keyboard Input Perturbations
论文《Should We Type or Talk to LLM Agents?》提出 HIVE（Human Input-Variation Engine），包含语音转录扰动和 QWERTY 键盘扰动。研究发现语音转录扰动会降低所有指令微调模型的准确率，且成本来自转录结构而非填充词；键盘扰动成本较低，模型能吸收较多扰动；两种扰动的根本原因都是问题 token 的存活数量，破坏 token 会损害性能，而添加新 token 影响较小；通道差异仅出现在需要构造或推断答案的任务中，多项选择中无差异；危害并非仅来自测试集污染。
Development
- First ReportShould We Type or Talk to LLM Agents? A Comprehensive Study of Voice and Keyboard Input PerturbationsarXiv cs.AI
- Current Assessment该研究对语音交互产品（如语音助手、语音输入法）有直接启示：语音转录的误差会显著影响 LLM 性能，因此产品需优化转录质量或设计鲁棒性更强的模型。同时，键盘输入的错误容忍度较高，可能意味着文本交互仍是更可靠的方式。未来可观察：语音交互产品是否会采用更鲁棒的模型或增加纠错机制。Agent Pulse · analysis
该论文研究人类输入方式（语音 vs 键盘）对 LLM 性能的影响，提出 HIVE 工具套件，包含语音转录扰动和 QWERTY 键盘扰动。实验发现：语音转录扰动显著降低所有指令微调模型的准确率，且成本主要来自转录的结构而非填充词；键盘扰动成本较低，模型能吸收较多扰动。两种扰动的根本原因都是问题中 token 的存活数量：破坏 token 会损害性能，而添加新 token 影响较小。通道差异仅出现在需要构造或推断答案的任务中，多项选择中无差异。研究还排除了测试集污染作为唯一原因。
该研究揭示了 LLM 对输入扰动的鲁棒性机制：token 的破坏（如替换、删除）比添加新 token 更致命，这提示模型对关键信息的依赖。语音转录的结构性变化（如重排）比填充词更影响性能，说明模型对语义结构的敏感性。未来可验证：针对 token 破坏的对抗训练是否能提升鲁棒性，以及不同模型规模对扰动的容忍度差异。
该研究对语音交互产品（如语音助手、语音输入法）有直接启示：语音转录的误差会显著影响 LLM 性能，因此产品需优化转录质量或设计鲁棒性更强的模型。同时，键盘输入的错误容忍度较高，可能意味着文本交互仍是更可靠的方式。未来可观察：语音交互产品是否会采用更鲁棒的模型或增加纠错机制。
对于语音交互产品（如智能音箱、语音助手），该研究提示转录质量是性能瓶颈，投资于转录优化或鲁棒模型可提升用户体验。对于键盘输入场景，模型对错误的容忍度较高，可减少纠错成本。企业可据此调整产品策略，例如优先提升语音转录准确率，或针对关键任务采用文本输入。
后续研究可能探索针对 token 破坏的鲁棒性训练方法，以及不同模型架构（如编码器-解码器 vs 仅解码器）对扰动的敏感性。产品层面，语音助手可能引入基于上下文的纠错或置信度提示。可验证信号：新论文是否提出缓解 token 破坏的微调策略，或语音产品是否报告准确率提升。