Aug 4, 2026 · Structure-Aware Fine-Tuning (SAFT)
Enhancing VLM Reward Models Through Structure-Aware Fine-Tuning
arXiv 论文提出 Structure-Aware Fine-Tuning (SAFT)，一种自监督方法，通过 LoRA 适配器利用内在结构先验正则化 VLM 的潜在空间，在线精炼噪声奖励信号，无需真实监督。实验表明 SAFT 能持续去噪奖励景观，加速策略收敛并提升对齐（EPIC 距离）。
EVENT STORY
Development
- First ReportEnhancing VLM Reward Models Through Structure-Aware Fine-TuningarXiv cs.AI
- Current AssessmentSAFT 减少对人类偏好标注的依赖，用结构归纳偏置替代，可能降低 RL 对齐成本，推动 VLM 奖励模型在更广泛任务中的应用。Agent Pulse · analysis
arXiv 论文提出 Structure-Aware Fine-Tuning (SAFT)，一种自监督方法，通过 LoRA 适配器利用内在结构先验正则化 VLM 的潜在空间，在线精炼噪声奖励信号，无需真实监督。实验表明 SAFT 能持续去噪奖励景观，加速策略收敛并提升对齐（EPIC 距离）。
SAFT 通过 LoRA 适配器在 VLM 潜在空间施加结构先验，在线精炼噪声奖励信号，无需真实监督。这暗示奖励模型的失败可能源于结构脆弱性而非语义误解，为提升 RL 对齐提供新路径。
SAFT 减少对人类偏好标注的依赖，用结构归纳偏置替代，可能降低 RL 对齐成本，推动 VLM 奖励模型在更广泛任务中的应用。
SAFT 可能降低强化学习中对人类标注的依赖，加速 VLM 在机器人、自动驾驶等领域的部署，减少人工成本。
后续可验证信号：SAFT 在更多基座模型和任务上的泛化表现，以及其与人类反馈结合的实际收益。