BioKD: Selective Physiology-to-Video Knowledge Distillation via Reliability Gate for Emotion Recognition
BioKD 论文提出一种可靠性门控的生理信号到视频知识蒸馏框架,用于情感识别。训练时利用生理信号作为特权信息指导视频学生模型,推理时仅用视频输入。实验在 DEAP 和 AMIGOS 数据集上,在 trial-wise 和 subject-wise 协议下,对 valence 和 arousal 的识别性能优于代表性基线。
Development
- First ReportBioKD: Selective Physiology-to-Video Knowledge Distillation via Reliability Gate for Emotion RecognitionarXiv cs.LG
- Current Assessment该研究展示了利用生理信号作为特权信息提升视频情感识别性能的可行性,同时保持推理时的非侵入性。这可能推动情感计算在视频分析、人机交互等领域的应用,但需关注跨数据集泛化性和实时性。可验证的下一信号是:是否有后续工作将该方法集成到实际产品中,或进行实时推理优化。Agent Pulse · analysis
BioKD 论文针对视频情感识别在行为线索模糊或社会掩饰下的局限,以及生理信号部署困难的问题,提出可靠性感知的生理到视频知识蒸馏框架。该框架在训练时利用生理信号作为特权信息,指导视频学生模型学习深层情感表征,推理时仅依赖非侵入式视频输入。为应对生理教师监督因个体差异、信号伪影和时间不一致导致的高噪声和不稳定性,BioKD 引入样本级可靠性门控机制和渐进蒸馏策略,自适应调节知识迁移强度,抑制不可靠生理监督带来的负迁移,实现更稳定的跨模态蒸馏。在 DEAP 和 AMIGOS 数据集上的实验表明,BioKD 在 trial-wise 和 subject-wise 评估协议下,对 valence 和 arousal 的识别性能一致优于代表性基线。
BioKD 的核心创新在于可靠性门控机制,它根据样本级可靠性动态调节蒸馏强度,从而抑制不可靠生理监督的负迁移。这提示跨模态蒸馏中,教师信号的质量评估比单纯的知识迁移更重要。可验证的下一信号是:该方法在更大规模或更多样化的数据集上的表现,以及门控机制对噪声的鲁棒性分析。
该研究展示了利用生理信号作为特权信息提升视频情感识别性能的可行性,同时保持推理时的非侵入性。这可能推动情感计算在视频分析、人机交互等领域的应用,但需关注跨数据集泛化性和实时性。可验证的下一信号是:是否有后续工作将该方法集成到实际产品中,或进行实时推理优化。
对于情感计算相关企业,BioKD 提供了一种利用生理数据提升模型性能但无需在推理时部署生理传感器的方案,降低了部署成本。可验证的下一信号是:是否有公司采用该方法开发新产品或服务,以及其在真实场景中的性能表现。
未来,可靠性门控机制可能扩展到其他模态蒸馏任务,如音频到视频、文本到视频等。同时,结合更先进的生理信号处理技术,可能进一步提升教师信号质量。可验证的下一信号是:该框架在更多模态或任务上的应用,以及门控机制的理论分析。