Studying quantization trade-offs for efficient inference deployment in machine translation
arXiv 论文 2607.29397v1 研究了 EuroLLM 和 Hy-MT2 两个翻译模型家族（1.7B 到 22B）在单张 A100 或 H100 GPU 上的量化权衡。结合文档分块策略与 W4A8 或 W8A8 量化可改善延迟-吞吐量帕累托曲线。论文引入基于 WMT24++ 的文档级评估，发现标准段级评估无法预测量化与长上下文文档翻译的交互。
Development
- First ReportStudying quantization trade-offs for efficient inference deployment in machine translationarXiv cs.CL
- Current Assessment该研究为机器翻译模型的低成本部署提供了实证指导，表明量化与分块策略的组合可以在不显著牺牲质量的情况下提升效率。这可能会影响翻译服务提供商的部署决策，推动更高效的推理方案。Agent Pulse · analysis
该论文针对大语言模型在真实服务器环境部署中的量化权衡进行了研究，重点关注机器翻译任务。作者评估了 EuroLLM 和 Hy-MT2 两个翻译模型家族，涵盖从 1.7B 到 22B 的五个模型，在单张 A100 或 H100 GPU 上进行部署。研究发现，将文档分块策略与 W4A8 或 W8A8 量化相结合，可以在多种工作负载下改善延迟-吞吐量的帕累托曲线。此外，由于标准机器翻译基准依赖孤立句子，无法捕捉长上下文动态，论文引入了基于 WMT24++ 的文档级评估，以评估文本分块策略在量化条件下对翻译质量的影响。结果表明，标准段级评估可能无法预测量化与长上下文文档翻译之间的交互。
该研究提供了量化在真实部署场景下对延迟和吞吐量影响的受控评估，填补了以往仅关注内存占用减少的空白。文档分块策略与 W4A8/W8A8 量化的结合，为在单 GPU 上高效部署大模型提供了实用方案。文档级评估的引入揭示了段级评估的局限性，提示在长上下文场景下需要新的评估方法。
该研究为机器翻译模型的低成本部署提供了实证指导，表明量化与分块策略的组合可以在不显著牺牲质量的情况下提升效率。这可能会影响翻译服务提供商的部署决策，推动更高效的推理方案。
对于提供机器翻译服务的公司，该研究提供了降低推理成本、提升吞吐量的具体方法，有助于在保持服务质量的同时降低运营成本，增强竞争力。
未来可进一步研究其他量化方案（如 W4A16）与不同分块策略的组合，并探索在更多模型和任务上的泛化性。文档级评估方法有望成为标准，推动长上下文翻译质量的提升。