Translation with Thought: Difficulty-Adaptive Reasoning via Reinforcement Learning for Multi-Domain Machine Translation
TwT（Translation with Thought）框架通过两阶段训练（监督微调与强化学习）实现难度自适应推理，在15个基准、3种已见语言和59种未见语言上，TwT-7B和TwT-14B在翻译质量上超越更大的SOTA推理模型，同时减少32-60%的token使用。
Development
- First ReportTranslation with Thought: Difficulty-Adaptive Reasoning via Reinforcement Learning for Multi-Domain Machine TranslationarXiv cs.AI
- Current Assessment该研究显示，通过强化学习实现难度自适应推理，可以在较小模型上达到甚至超越更大模型的翻译质量，同时显著降低推理成本。这可能推动行业在部署翻译系统时更注重推理效率，而非单纯追求模型规模。Agent Pulse · analysis
多领域机器翻译（MDMT）因各领域语言复杂度不同而具有挑战性。受人类译者根据难度调整推理努力的启发，TwT框架学习在直觉推理和深思熟虑推理之间调节推理强度。训练分两阶段：首先在从DeepSeek-R1蒸馏并由GPT-4o重写的难度感知长思维链轨迹上进行监督微调，以反映人类推理的经济性；然后使用混合奖励进行强化学习，优化翻译质量和推理效率。在15个基准（涵盖领域内和领域外设置）以及3种已见语言和59种未见语言上，TwT-7B和TwT-14B在翻译质量上优于更大的SOTA推理模型，同时token使用减少32-60%。结果表明，将翻译行为与认知原则对齐可实现MDMT中的鲁棒泛化、高质量翻译和高效推理。
TwT的核心创新是资源理性框架，通过强化学习动态调整推理深度，而非固定推理链长度。混合奖励同时优化翻译质量和推理效率，使模型在简单任务上减少计算，在复杂任务上增加推理。这为推理效率优化提供了新范式，可能影响未来模型设计中对推理成本的控制。
该研究显示，通过强化学习实现难度自适应推理，可以在较小模型上达到甚至超越更大模型的翻译质量，同时显著降低推理成本。这可能推动行业在部署翻译系统时更注重推理效率，而非单纯追求模型规模。
对于提供机器翻译服务的公司，TwT表明可以通过更小的模型和更低的推理成本获得高质量翻译，从而降低运营成本并提高响应速度。这可能改变翻译服务的成本结构，提升竞争力。
下一步可验证的信号包括：TwT方法是否被扩展到其他NLP任务（如摘要、问答），以及其推理效率优势是否在更大规模模型或实际部署中保持。