Evaluate skill-equipped agents with Strands Evals and Amazon Bedrock AgentCore
AWS Machine Learning Blog 发布文章，介绍如何用 Strands Evals 与 Amazon Bedrock AgentCore Evaluations 评估带技能的 agent。文章指出，Skills 可把领域特定流程编码为可复用、可移植的指令，但回答流畅并不能证明 agent 选对了技能或遵循了该技能，因此需要度量技能选择与指令遵循。
发展脉络
- 首次出现Evaluate skill-equipped agents with Strands Evals and Amazon Bedrock AgentCoreAWS Machine Learning Blog
- 当前判断云厂商正把 agent 评测做成平台能力而非零散脚本，Strands Evals 与 Bedrock AgentCore Evaluations 的组合表明评测被纳入 agent 托管栈。若评测与运行时绑定，企业选型时的迁移成本会上升。可验证下一信号：AgentCore 评测能力是否进入正式计费或 GA 公告。Agent Pulse · 分析
AWS Machine Learning Blog 于 2026-09-22 发布文章《Evaluate skill-equipped agents with Strands Evals and Amazon Bedrock AgentCore》。文章的核心论点是：Skills 让开发者把领域特定流程编码为可复用、可移植的 agent 指令，但一个流畅的回答并不能证明 agent 选择了正确的技能，也不能证明它遵循了该技能。为此文章介绍如何用 Strands Evals 与 Amazon Bedrock AgentCore Evaluations 来度量两个维度：技能选择（skill selection）与指令遵循（instruction following）。证据未给出具体评测指标、数据集、模型名称或数值结果。
把技能选择与指令遵循拆成两个可独立度量的维度，是 agent 评测从「看最终答案」转向「看中间决策」的信号。若该拆分成立，评测对象将从输出文本扩展到技能路由与流程执行轨迹，这要求评测工具能观测 agent 的中间步骤而非仅终态。可验证下一信号：AWS 是否公开这两个维度的具体指标定义或示例评测输出。
云厂商正把 agent 评测做成平台能力而非零散脚本，Strands Evals 与 Bedrock AgentCore Evaluations 的组合表明评测被纳入 agent 托管栈。若评测与运行时绑定，企业选型时的迁移成本会上升。可验证下一信号：AgentCore 评测能力是否进入正式计费或 GA 公告。
对企业而言，可量化的技能选择与指令遵循指标有助于在上线前发现 agent 选错流程的风险，降低因回答流畅但流程错误导致的返工与合规风险。可验证下一信号：AWS 是否发布客户案例或量化收益数据。
若技能选择与指令遵循成为标准评测项，agent 开发流程可能分化出「技能库管理 + 路由评测」的新环节。可验证下一信号：是否出现第三方或开源的同维度评测基准。