Don't Offer What Can't Be Done: Deterministic Executability Gating for LLM Skill Selection at Scale
Wix 的客服助手 Helpmate 部署了一个三阶段技能选择流水线：语义匹配、确定性可执行性门控、LLM 决策。生产分析显示，在 756.6K 条用户消息中，语义匹配保留了 23.1% 的消息；门控移除了 59.4% 的技能-消息对，节省了 228.8M 个技能描述 token。
Development
- First ReportDon't Offer What Can't Be Done: Deterministic Executability Gating for LLM Skill Selection at ScalearXiv cs.CL
- Current Assessment该案例展示了在客服场景中，通过确定性门控减少 LLM 调用，可以显著降低推理成本，同时保持服务质量。这反映了 Agent 系统在规模化部署时对成本优化的关注，以及将确定性逻辑与 LLM 结合的趋势。Agent Pulse · analysis
Wix 的客服助手 Helpmate 在生产环境中部署了一个三阶段技能选择流水线，以解决大型技能库中语义相关但不可执行的问题。流水线首先使用语义匹配器识别与十技能领域相关的消息，不依赖账户状态；然后通过确定性可执行性门控移除满足内部硬停止条件的候选技能，该门控与技能评估相同的退出谓词，确保被阻止的候选在相同账户状态下无法完成；最后 LLM 决定是否调用剩余候选。生产分析显示，在 756.6K 条用户消息中，语义匹配保留了 23.1% 的消息；门控移除了 59.4% 的技能-消息对，节省了 228.8M 个技能描述 token，占语义后技能描述 token 的 59.1%。
该流水线引入确定性可执行性门控，通过复用技能内部的退出谓词，在 LLM 决策前过滤不可执行的技能，从而减少 LLM 的调用和 token 消耗。这提示技能选择可以结合语义相关性和可执行性，且门控的确定性保证了过滤的可靠性。
该案例展示了在客服场景中，通过确定性门控减少 LLM 调用，可以显著降低推理成本，同时保持服务质量。这反映了 Agent 系统在规模化部署时对成本优化的关注，以及将确定性逻辑与 LLM 结合的趋势。
对于企业，该方案可降低客服 Agent 的推理成本（节省 59.1% 的技能描述 token），同时避免向用户提供无法完成的服务，提升用户体验。这为大规模部署 LLM Agent 提供了成本效益参考。
未来，可执行性门控可能成为 Agent 技能选择的通用组件，并可能扩展到其他领域。可验证的下一信号是：其他企业是否采用类似的门控机制，以及门控是否与技能库动态更新集成。