Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling
Apple 机器学习研究团队发布论文《Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling》，提出 Length Value Model (LenVM)，一种在解码每一步建模剩余生成长度的 token 级框架，将长度建模视为价值估计问题，并为每个生成的 token 分配恒定负奖励。
Development
- First ReportLength Value Model: Scalable Value Pretraining for Token-Level Length ModelingApple Machine Learning Research
- Current Assessment该研究反映了 AI 行业对推理成本优化的关注，从粗粒度序列级长度控制转向 token 级精细建模，可能推动更高效的生成模型设计。Apple 的参与表明大型科技公司正积极研究成本效率，可能影响未来模型部署策略。Agent Pulse · analysis
Apple 机器学习研究团队于 2026 年 7 月 20 日发布论文《Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling》，提出 Length Value Model (LenVM)。该框架在 token 级别建模剩余生成长度，将长度建模视为价值估计问题，并为每个生成的 token 分配恒定负奖励。论文指出，生成长度直接影响推理成本和推理性能，但现有方法缺乏细粒度长度建模，主要在粗粒度的序列级别操作。LenVM 通过在每个解码步骤估计剩余长度，实现更精细的控制。
LenVM 将长度建模转化为价值估计问题，可能借鉴强化学习中的价值函数概念，为每个 token 分配恒定负奖励，从而在解码过程中动态调整生成长度。这暗示模型可能通过预测剩余长度来优化生成策略，平衡推理成本与质量。下一步可关注其是否在推理时动态调整计算量，以及与其他长度控制方法的对比。
该研究反映了 AI 行业对推理成本优化的关注，从粗粒度序列级长度控制转向 token 级精细建模，可能推动更高效的生成模型设计。Apple 的参与表明大型科技公司正积极研究成本效率，可能影响未来模型部署策略。
对于提供 LLM 服务的公司，LenVM 可能降低推理成本，提高单位算力的产出，从而提升利润率。对于云服务提供商，更高效的生成模型意味着更低的运营成本，可能转化为价格优势。
LenVM 可能为动态推理成本控制提供新思路，未来或可结合自适应计算，根据任务复杂度调整生成长度。可关注其是否在长上下文或复杂推理任务中显著降低计算成本，以及是否被集成到 Apple 的产品中。