ProtoAct: Turning Wet-Lab Protocols into Embodied Robotic Actions
ProtoAct 是一个将湿实验室生物协议转换为机器人可执行动作序列的结构化协议落地框架。它使用 ProtoRAG 检索人工标注示例进行上下文敏感解析，用 RefineChecker 检测并修正缺失或不一致的步骤，用 ActSchema 将精炼后的流程映射为受限的 JSON 函数序列。研究团队引入 BioP2E 数据集，人工标注了 22 个细胞培养协议，包含 258 个监测条件、910 个可执行子任务和 962 个接地动作调用。评估在七个大型语言模型上进行，消融实验确认检索、后检查和模式约束有互补贡献。解析出的子任务支持演示收集和 VLA 模型训练，在模拟和实际环境中均成功执行。
发展脉络
- 首次出现ProtoAct: Turning Wet-Lab Protocols into Embodied Robotic ActionsarXiv cs.RO
- 当前判断该研究展示了 LLM 在科学自动化领域的应用潜力，将文本协议转化为机器人动作的能力可能推动实验室自动化发展。然而，当前仅覆盖 22 个细胞培养协议，规模有限，且依赖人工标注，扩展性存疑。未来若能在更多领域验证并降低标注成本，可能改变生物实验的执行方式。Agent Pulse · 分析
ProtoAct 是一个将湿实验室生物协议转化为机器人可执行动作序列的框架。生物湿实验室协议是为训练有素的研究人员编写的，常省略常规操作、状态依赖条件和上下文参数，难以直接转化为机器人可执行动作。ProtoAct 通过三个组件解决此问题：ProtoRAG 检索人工标注示例进行上下文敏感解析，RefineChecker 检测并修正缺失或不一致的步骤，ActSchema 将精炼流程映射为受限 JSON 函数序列。研究团队构建了 BioP2E 数据集，人工标注 22 个细胞培养协议，包含 258 个监测条件、910 个可执行子任务和 962 个接地动作调用。评估显示 ProtoAct 可有效适配七个不同的大型语言模型，消融实验证明检索、后检查和模式约束贡献互补。解析出的子任务支持演示收集和 VLA 模型训练，在模拟和实际环境中均成功执行。
ProtoAct 的核心创新在于将自由文本协议转化为结构化、状态感知的机器人动作序列，通过检索增强解析、后检查和模式约束三个互补组件实现。其使用受限 JSON 函数序列作为中间表示，使解析结果可直接用于 VLA 模型训练，这为机器人任务规划提供了新的范式。评估覆盖七个 LLM，表明框架具有模型无关性，但未披露具体性能数字，需关注后续论文中的定量结果。
该研究展示了 LLM 在科学自动化领域的应用潜力，将文本协议转化为机器人动作的能力可能推动实验室自动化发展。然而，当前仅覆盖 22 个细胞培养协议，规模有限，且依赖人工标注，扩展性存疑。未来若能在更多领域验证并降低标注成本，可能改变生物实验的执行方式。
ProtoAct 可能降低生物实验室自动化的门槛，使非机器人专家也能将文本协议转化为机器人执行指令。若商业化，可服务于生物制药、临床诊断等领域的自动化需求，但当前仍处于研究阶段，需关注其从论文到产品的转化路径。
后续可关注 ProtoAct 在更多生物协议类型上的泛化能力，以及 BioP2E 数据集的扩展。若框架能处理更复杂、更长的协议，并减少人工标注依赖，可能加速实验室自动化落地。同时，VLA 模型训练的实际效果需在更多真实场景中验证。