When Agents Learn to Be You: Benchmarking Privacy Leakage, Impersonation Risk, and Defenses in Persona Skills
AntiSkillBench 是一个端到端基准，用于评估 persona-skill 流水线中的隐私泄露、冒充风险与防御。它包含 7,500 条基于 50 个行为丰富画像的对话轨迹，覆盖多种任务场景；评估套件测量技能级隐私泄露、代理级属性披露和行为冒充，涵盖三种技能蒸馏策略；防御评估覆盖在线和事后干预的四种配置，包括主动风险抑制和被动来源保护。实验在三个前沿代理上进行，显示 persona-skill 风险跨代理主干和蒸馏协议持续存在，从显式属性扩展到沟通风格。
发展脉络
- 首次出现When Agents Learn to Be You: Benchmarking Privacy Leakage, Impersonation Risk, and Defenses in Persona SkillsarXiv cs.CL
- 当前判断随着代理个性化从检索式记忆转向可执行技能工件，隐私风险从单点泄露演变为集中化、可复用的风险。该基准的提出表明，行业需要将安全评估从个体记录保护扩展到技能生命周期管理。Agent Pulse · 分析
AntiSkillBench 基准系统性地研究了 persona-skill 流水线的安全性。Persona skills 将个人交互历史提炼为可移植、可执行的工件，供下游代理使用。虽然这实现了灵活个性化，但该过程集中了碎片化的个人信号，通过复用放大其影响，并挑战了为单个记录或基于检索的记忆设计的防御。AntiSkillBench 包含 7,500 条 persona 对话轨迹，源自 50 个行为丰富的画像，覆盖多样任务场景；评估套件测量技能级隐私泄露和代理级属性披露与行为冒充，涵盖三种技能蒸馏策略；防御评估覆盖四种配置，包括主动风险抑制和被动来源保护。在三个前沿代理上的实验表明，persona-skill 风险跨代理主干和蒸馏协议持续存在，从显式属性扩展到沟通风格等隐性特征。
该基准将风险测量从单一记录层面提升到技能层面，区分了技能级隐私泄露与代理级属性披露和行为冒充，并覆盖三种蒸馏策略和四种防御配置。这为评估个性化代理的安全属性提供了结构化方法，但未提供具体防御效果数据。
随着代理个性化从检索式记忆转向可执行技能工件，隐私风险从单点泄露演变为集中化、可复用的风险。该基准的提出表明，行业需要将安全评估从个体记录保护扩展到技能生命周期管理。
对于构建个性化代理产品的公司，该基准提供了评估隐私与冒充风险的工具，有助于在产品设计阶段识别风险并选择防御策略，降低合规与信任成本。
后续可关注该基准在更多代理主干上的扩展结果，以及防御配置在真实部署中的有效性验证，特别是主动风险抑制与被动来源保护的对比。