Correcting What You Cannot See: Credit Assignment for Perception Distillation in Multimodal Reasoners
论文《Correcting What You Cannot See: Credit Assignment for Perception Distillation in Multimodal Reasoners》提出 Perception-Correction Distillation (PCD)，一种无标签方法，利用下游失败和师生分歧作为互补证据，通过乘积形成软 AND 门，仅在两个证据同时存在时加强蒸馏。PCD 使用分离的感知-推理回滚和均值保持权重，不改变推理目标。在八个基准上，PCD 将 8B→2B 宏平均从 44.50 提升至 47.28，32B→8B 从 56.94 提升至 61.22。
发展脉络
- 首次出现Correcting What You Cannot See: Credit Assignment for Perception Distillation in Multimodal ReasonersarXiv cs.AI
- 当前判断该工作表明，多模态推理器的蒸馏质量受感知错误与推理错误的混淆限制，PCD 提供了一种无需额外标注的改进路径，可能推动更高效的小模型蒸馏实践。Agent Pulse · 分析
该论文针对多模态推理器感知蒸馏中的信用分配问题。在线策略蒸馏提供密集监督，但轨迹级奖励无法区分失败源于感知还是推理。感知成功率（PSR）因低成功率混淆感知不足与推理难度而存在歧义。作者提出 PCD，利用下游失败和师生分歧作为互补证据，其乘积形成软 AND 门，仅在两者同时存在时加强蒸馏。该规则通过贝叶斯证据组合推导，乘法是唯一在任一证据缺失时消失的归一化双线性门。PCD 采用分离的感知-推理回滚和均值保持权重，保持推理目标不变。实验显示，在八个基准上，PCD 显著提升蒸馏性能，8B→2B 宏平均从 44.50 升至 47.28，32B→8B 从 56.94 升至 61.22。
PCD 的核心创新在于将感知失败识别为可纠正的信用分配问题，通过下游失败与师生分歧的乘积形成软 AND 门，提供无标签的感知级监督。分离回滚和均值保持权重确保推理目标不变，使方法可插拔。乘法门的贝叶斯推导提供了理论依据。
该工作表明，多模态推理器的蒸馏质量受感知错误与推理错误的混淆限制，PCD 提供了一种无需额外标注的改进路径，可能推动更高效的小模型蒸馏实践。
PCD 可降低多模态推理器蒸馏成本，提升小模型性能，对模型部署和边缘计算场景具有潜在价值。
后续可验证信号包括：PCD 在更大规模模型或更多模态上的应用，以及其与推理时干预方法的结合。