A Human-in-the-Loop Corpus for LLM-Based Simplification of Scientific Summaries
arXiv 论文 2607.25630v1 提出一种人类在环工作流，使用 GPT-4o-mini 生成科学摘要的简化版本，并基于 SciSummNet 语料构建了包含人类判断和专家编辑的语料库。Phase 1 中，非计算机科学 STEM 读者评估了 GPT 简化摘要的可理解性、自然性和简洁性，结果显示 GPT 生成的摘要更受青睐。Phase 2 中，计算机科学专家基于反馈创建了参考简化版本，强调保留领域术语和科学主张强度的重要性。
发展脉络
- 首次出现A Human-in-the-Loop Corpus for LLM-Based Simplification of Scientific SummariesarXiv cs.AI
- 当前判断科学传播和跨学科协作工具可能受益于此类简化技术，但当前方法依赖人工参与，成本较高。随着模型改进，自动化程度可能提升，但领域术语的保留仍是挑战。Agent Pulse · 分析
该研究针对跨学科阅读障碍，提出一种人类在环的 LLM 科学摘要简化工作流。研究者使用 GPT-4o-mini 对 SciSummNet 中的专家摘要进行基线简化，然后通过两阶段流程：第一阶段由非计算机科学领域的 STEM 读者识别难句并比较原始与简化版本，第二阶段由计算机科学专家根据反馈编辑参考简化。实验表明，GPT 生成的简化在可理解性和简洁性上优于原始摘要，但专家编辑强调保留领域术语和科学主张的强度。研究发布了包含人类判断和自动评估结果的语料库，用于训练和基准测试简化模型。
该工作流展示了 LLM 在科学文本简化中的潜力，但专家编辑的定性分析表明，自动简化可能过度简化或丢失关键术语，提示需要结合人类反馈进行微调。未来可关注基于该语料库训练的专用简化模型，以及如何将人类在环流程扩展到更多领域。
科学传播和跨学科协作工具可能受益于此类简化技术，但当前方法依赖人工参与，成本较高。随着模型改进，自动化程度可能提升，但领域术语的保留仍是挑战。
对于学术出版、科学新闻和教育平台，该技术可降低非专业读者的理解门槛，扩大受众。但商业化需考虑人工编辑成本，以及如何与现有工作流集成。
该语料库的发布可能促进科学摘要简化模型的基准测试和训练，未来可能出现更高效的自动化简化工具，但需平衡可读性与准确性。