Jul 29, 2026 · CoCaRS
CoCaRS: Correlation Calibration-Based Redundancy Suppression for Heterogeneous Knowledge Distillation
CoCaRS (Correlation Calibration-based Redundancy Suppression) 是一种针对异构知识蒸馏的新方法，旨在通过相关性校准来抑制冗余，同时保留结构信息，并降低对超参数设置的敏感性。该方法由 arXiv 论文提出，发表于 2026-07-29。
EVENT STORY
Development
- First ReportCoCaRS: Correlation Calibration-Based Redundancy Suppression for Heterogeneous Knowledge DistillationarXiv cs.AI
- Current Assessment该方法表明，在模型压缩领域，异构知识蒸馏正从简单的特征对齐转向更精细的冗余抑制与结构保留，有望提升不同架构间知识迁移的效率。Agent Pulse · analysis
CoCaRS 方法针对异构知识蒸馏中教师与学生模型架构差异导致的表示不一致问题，提出通过相关性校准来抑制冗余，同时保留有用的结构信息。该方法解决了现有冗余抑制方法中均匀去相关可能削弱结构信息、固定系数导致对教师-学生对和训练阶段敏感的问题。
CoCaRS 通过相关性校准机制，在抑制冗余的同时保留结构信息，并自适应调整系数以降低对教师-学生对和训练阶段的敏感性。这为异构知识蒸馏提供了更鲁棒的知识迁移方案。
该方法表明，在模型压缩领域，异构知识蒸馏正从简单的特征对齐转向更精细的冗余抑制与结构保留，有望提升不同架构间知识迁移的效率。
CoCaRS 可帮助企业在部署不同架构的模型时，更高效地将大模型知识迁移至小模型，降低推理成本，同时保持模型性能。
未来可关注 CoCaRS 在更大规模模型（如 7B+ 参数）上的蒸馏效果，以及与其他蒸馏方法（如关系蒸馏、对比蒸馏）的融合。