Agent Evaluation Metric for multi-turn conversations
AWS Machine Learning Blog 发布文章介绍 Agent Evaluation Metric（AEM），用于多轮对话中的 Agent 评测。文章指出多轮 Agent 的失败模式是单轮评测无法捕捉的：早期某一轮的错误会污染后续所有轮次。AEM 被描述为一种可分解、按轮次衡量的评测方式，首个应用维度是 correctness，用于定位导致失败的那一轮，并将其与继承该错误的后续轮次区分开。
发展脉络
- 首次出现Agent Evaluation Metric for multi-turn conversationsAWS Machine Learning Blog
- 当前判断多轮 Agent 正从演示走向生产，评测口径是采购与验收环节的实际卡点。AWS 以博客形式提出轮次级评测维度，属于在 Agent 工具链上争夺方法论话语权的动作，但证据仅为一篇厂商博客，尚无第三方采用或基准数据，不足以判断其是否成为行业标准。Agent Pulse · 分析
AWS Machine Learning Blog 于 2026-09-10 发布文章，提出 Agent Evaluation Metric（AEM），针对多轮对话场景下的 Agent 质量评测。文章的核心观察是：多轮 Agent 的失败方式与单轮评测所覆盖的情形不同，一次早期错误会破坏之后每一轮，因此单轮打分无法定位问题来源。AEM 被定义为可分解、按轮次（turn-level）的度量方法，文章先落地其第一个维度 correctness，用来精确定位引发失败的那一轮，并把该轮与只是继承错误的后续轮次区分开。证据未给出具体指标公式、数据集、模型名称或实验结果数字。
从评测设计角度看，把 correctness 拆到轮次级、并区分「致因轮」与「继承轮」，意味着评测对象从最终答案转向错误传播路径。这对多轮 Agent 的调试与回归测试有直接价值，但证据未披露 AEM 的计算方式、判定标准或与人工标注的一致性，因此目前只能视为一种评测框架主张，而非已验证的度量。可验证的下一信号是文章是否给出可复现的评分定义与公开样例。
多轮 Agent 正从演示走向生产，评测口径是采购与验收环节的实际卡点。AWS 以博客形式提出轮次级评测维度，属于在 Agent 工具链上争夺方法论话语权的动作，但证据仅为一篇厂商博客，尚无第三方采用或基准数据，不足以判断其是否成为行业标准。
对使用多轮 Agent 的团队，轮次级评测若能落地，可把「整体效果差」拆解为具体失败轮次，降低调试与回归成本，并让验收指标更可归因。但当前证据不含成本、准确率或客户案例，商业价值仍属潜在而非已证实。
若 AEM 后续补齐评分定义、样例与工具实现，可能被纳入 Agent 平台的评测与可观测性能力；若停留在概念层，则更可能作为厂商内容存在。观察点是 AWS 是否发布配套代码、数据集或将其接入现有 Agent 服务。