MirrorCraft: Paired Evaluation under Hidden Rule Changes in Minecraft
MirrorCraft 是一个成对基准测试，用于评估 Minecraft 中隐藏规则变化下的 LLM 代理。每个 Mirror 世界是其配对的 Vanilla 世界的副本，但通过数据包修改了选定的服务器端规则。地形、生成、资源放置、目标、界面和行动预算在每对中保持匹配。基准测试包括五个受控生物群系、六套规则、三个进展目标、两个模型家族和六种代理配置，使用共享的 Mineflayer 接口。评估使用确定性进展里程碑和成功率，并采用规则干预效应（RIE）来衡量配对世界之间的性能变化。实验表明，隐藏规则变化对不同配置的影响差异很大。
Development
- First ReportMirrorCraft: Paired Evaluation under Hidden Rule Changes in MinecraftarXiv cs.AI
- Current Assessment该基准测试表明，LLM 代理在固定环境中的高表现可能具有误导性，实际部署中规则变化可能导致性能显著下降。这提示行业在将代理应用于动态环境时，需要重视适应性评估，并可能推动开发更鲁棒的代理训练方法。Agent Pulse · analysis
MirrorCraft 论文介绍了一个成对基准测试，用于评估 LLM 代理在 Minecraft 中隐藏规则变化下的表现。现有基准测试在固定游戏机制下评估代理，无法反映规则变化时的适应能力。MirrorCraft 通过创建配对的 Vanilla 和 Mirror 世界，修改服务器端规则，同时保持其他因素匹配，来隔离规则变化的影响。基准测试包含多种生物群系、规则套件、目标和代理配置，并使用 RIE 指标量化性能变化。实验结果显示，隐藏规则变化对代理性能有显著影响，且不同配置的敏感度不同。
MirrorCraft 引入的成对评估方法（Vanilla-Mirror 配对）和 RIE 指标为评估代理的适应性提供了新思路。它通过控制变量，将规则变化的影响从其他因素中分离出来，使得性能差异可归因于规则变化。这种方法可能适用于其他环境，用于测试代理对动态规则的鲁棒性。
该基准测试表明，LLM 代理在固定环境中的高表现可能具有误导性，实际部署中规则变化可能导致性能显著下降。这提示行业在将代理应用于动态环境时，需要重视适应性评估，并可能推动开发更鲁棒的代理训练方法。
对于开发 LLM 代理产品的公司，MirrorCraft 提供了一种评估代理在规则变化下鲁棒性的方法，有助于在产品部署前识别潜在失败场景，从而降低维护成本并提升用户信任。
未来可能看到更多基于 MirrorCraft 的扩展，涵盖更多环境或规则类型，以及针对规则变化适应性的训练方法。可验证的信号包括：后续论文引用 MirrorCraft 作为评估工具，或出现类似成对基准测试。