Jul 30, 2026 · Generalization and Trade-off in Adversarial Training
Generalization and Trade-off in Adversarial Training: An RKHS Perspective via Kernel Integral Operators
arXiv 论文《Generalization and Trade-off in Adversarial Training: An RKHS Perspective via Kernel Integral Operators》在 RKHS 框架下研究对抗训练，推导了源均匀泛化误差界，并在固定多项式谱模型上建立匹配下界，表明对抗训练的最优平衡泛化率可能慢于极小极大预测基准，损失源于对抗鲁棒性与观测噪声的相互作用。论文提出两阶段噪声去偏程序以改进估计器。
EVENT STORY
Development
- First ReportGeneralization and Trade-off in Adversarial Training: An RKHS Perspective via Kernel Integral OperatorsarXiv cs.LG
- Current Assessment对抗训练的理论局限提示，在安全敏感应用中需权衡鲁棒性与精度，去偏方法或可提升实际部署的可靠性。Agent Pulse · analysis
该论文在再生核希尔伯特空间（RKHS）框架下，通过核积分算子研究对抗训练的泛化性能。作者推导了源均匀泛化误差界，该界依赖于鲁棒性水平、样本量、源平滑度和核谱。在固定多项式谱模型上，他们建立了匹配下界，证明对抗训练的最优平衡泛化率可能慢于极小极大预测基准，揭示了对抗训练中统计精度的损失。分析表明，这种损失源于对抗鲁棒性与观测噪声的相互作用：混合鲁棒项中的噪声贡献减慢了逼近速率，尽管同一项降低了估计复杂度。为解决此问题，论文提出两阶段噪声去偏程序，估计并从混合项中移除噪声贡献，从而改进估计器。
对抗训练在 RKHS 框架下的泛化误差受核谱和源平滑度影响，噪声与鲁棒性的耦合导致统计精度损失，去偏程序可能恢复部分精度。
对抗训练的理论局限提示，在安全敏感应用中需权衡鲁棒性与精度，去偏方法或可提升实际部署的可靠性。
对依赖对抗鲁棒性的安全产品，去偏方法可能降低误报率，提升模型在对抗环境下的可用性。
后续研究可能验证去偏程序在深度网络中的有效性，并探索其他噪声模型下的泛化界。