Structure-Aware Robust Fine-Tuning: Defending Vision-Language-Action Robots Against Physical Attention Hijacking
arXiv 论文 2608.03231v1 提出物理可实现的对抗补丁 AGSD，可诱导 VLA 策略的 action-to-vision 注意力被劫持，导致任务失败。作者提出 SARF 防御方法，仅微调视觉编码器，在 LIBERO 基准上将 OpenVLA 在 AGSD 下的失败率从 100% 降至 14.2%-56.8%（平均 28.6%）。
Development
- First ReportStructure-Aware Robust Fine-Tuning: Defending Vision-Language-Action Robots Against Physical Attention HijackingarXiv cs.RO
- Current Assessment该研究首次系统性地展示了物理世界中对 VLA 机器人的注意力劫持攻击，并提出了有效的防御方法。这表明随着 VLA 模型在机器人领域的应用，物理对抗攻击将成为重要的安全威胁，防御机制需要从模型设计阶段就纳入考虑。Agent Pulse · analysis
该论文揭示了视觉-语言-动作（VLA）策略在物理世界攻击下的脆弱性。作者提出一种名为 Attention-Guided Semantic Disruption (AGSD) 的物理可打印对抗补丁，通过期望变换（EOT）优化，能够同时集中 action-to-vision 注意力到补丁上并破坏视觉-语言语义对齐，实现跨任务和跨架构的迁移攻击。为防御此类攻击，作者提出 Structure-Aware Robust Fine-Tuning (SARF)，该方法仅微调视觉编码器，利用特征锚定、策略关键注意力校正和语言引导的几何一致性，且限制在语义相关区域，不增加推理开销。在 LIBERO 基准上，SARF 将 OpenVLA 在 AGSD 下的失败率从 100% 降至 14.2%-56.8%（平均 28.6%），同时保持任务性能。
SARF 的核心在于仅微调视觉编码器，通过特征锚定保持原始表示，通过策略关键注意力校正将注意力引导回任务相关区域，并通过语言引导的几何一致性确保视觉特征与语言语义对齐。这种零推理开销的防御方式表明，针对注意力机制的对抗攻击可以通过轻量级微调有效缓解，而无需修改模型架构或增加推理成本。
该研究首次系统性地展示了物理世界中对 VLA 机器人的注意力劫持攻击，并提出了有效的防御方法。这表明随着 VLA 模型在机器人领域的应用，物理对抗攻击将成为重要的安全威胁，防御机制需要从模型设计阶段就纳入考虑。
对于机器人公司，该防御方法可降低部署 VLA 模型的安全风险，增强客户信任。对于安全服务提供商，可开发基于注意力校正的防御工具。对于模型提供商，将防御机制内置到模型中可提升产品竞争力。
未来可验证的信号包括：SARF 在更多真实机器人平台上的泛化效果，以及是否会出现针对 SARF 的更强攻击。此外，注意力校正机制可能被集成到 VLA 模型的训练流程中，成为标准组件。