PTP: Previous-Token Prediction based LLM Inversion for Near-Exact Prompt Reconstruction
arXiv 论文 2607.29378v1 提出 PTP（Previous-Token Prediction）方法，用于黑盒 LLM 的提示词重建。该方法从头训练一个逆语言模型，使用目标 LLM 合成数据，通过前一个 token 预测进行训练，无需访问模型权重或 logits，也无需外部数据集。实验表明该方法跨数据集泛化并具有迁移性。
发展脉络
- 首次出现PTP: Previous-Token Prediction based LLM Inversion for Near-Exact Prompt ReconstructionarXiv cs.CL
- 当前判断该研究可能影响提示词隐私和模型可解释性领域。如果黑盒反演技术成熟，可能引发对模型输出泄露敏感提示词的担忧，推动提示词加密或输出过滤等防护措施。同时，该方法可能为模型审计和调试提供新工具。Agent Pulse · 分析
该论文提出一种黑盒 LLM 反演方法 PTP，用于从模型输出重建原始提示词。与依赖微调序列到序列模型并需要权重或 logits 访问的先前工作不同，PTP 仅使用目标 LLM 的合成数据从头训练一个逆模型，采用前一个 token 预测（previous-token prediction）作为训练目标，与正向的下一个 token 预测形成生成性对应。该方法支持通过采样生成多样化的提示词重建，且这些提示词在目标 LLM 下产生相似响应。实验显示该方法跨数据集泛化并具有迁移性。
PTP 的核心创新在于将 LLM 反演建模为前一个 token 预测任务，与正向生成形成对称结构，从而在无需权重或 logits 的黑盒设置下实现近乎精确的提示词重建。这暗示 LLM 的生成过程可能具有可逆性，且逆模型可以从合成数据中学习。下一步可验证的信号是：该方法在更大规模模型和更复杂提示上的重建精度，以及采样多样性对重建质量的影响。
该研究可能影响提示词隐私和模型可解释性领域。如果黑盒反演技术成熟，可能引发对模型输出泄露敏感提示词的担忧，推动提示词加密或输出过滤等防护措施。同时，该方法可能为模型审计和调试提供新工具。
对于提供 LLM API 的服务商，该技术可能带来提示词泄露风险，影响企业客户的数据安全信心，进而影响商业合作。同时，该技术也可用于模型审计和合规检查，为第三方评估机构提供新服务。
未来可能看到 PTP 方法被扩展到更多模型架构和任务，或与提示词优化结合。也可能出现针对此类反演攻击的防御研究。可关注该方法的开源实现和后续改进。