Evidence-Type Competition: When Can Interventional Data Teach Language Models Causal Direction?
arXiv 论文 2607.29484v1 在受控合成环境中测试干预数据对语言模型因果方向学习的影响。在辛普森悖论世界中，增加预训练中干预样本比例不会改善因果方向：模型 do() 响应的符号复制自观测上下文。推理时上下文中存在的证据类型决定干预证据是否被使用。纯观测上下文在 29/50 世界中导致系统性符号反转，混合上下文为 19/50，而对齐的干预探针单独产生 41/50 正确。从上下文擦除观测证据立即释放被抑制的因果插值能力（ratio_true = +0.56）。抑制在训练种子间稳定（11/11 强反转持续）。
Development
- First ReportEvidence-Type Competition: When Can Interventional Data Teach Language Models Causal Direction?arXiv cs.CL
- Current Assessment该研究对依赖干预数据训练因果模型的实践提出了警示：仅仅增加干预样本比例可能不足以让模型学会因果方向，推理时的上下文设计可能同样关键。这影响数据管道和提示工程的设计，尤其是在需要因果推理的应用中。可验证的下一信号：在工业级因果推理基准上，采用干预提示是否比增加干预训练数据带来更显著的性能提升。Agent Pulse · analysis
该论文在完全受控的合成环境中挑战了干预数据是教授模型因果推理的黄金标准这一假设。作者在辛普森悖论世界中比较了观测相关性与因果效应，发现增加预训练中干预样本的比例并不能改善因果方向：模型 do() 响应的幅度单调增长，但其符号却复制自观测上下文。决定干预证据是否被使用的不是训练混合比例，而是推理时上下文中存在的证据类型。在相同的训练配方下，纯观测上下文在 29/50 个世界中导致系统性符号反转，混合上下文在 19/50 个世界中，而对齐的干预探针单独产生 41/50 个正确。从上下文中擦除观测证据立即释放了被抑制的因果插值能力（ratio_true = +0.56）；一个四状态内容操作表明这种切换是内容介导且分级的。这种抑制在训练种子间稳定（11/11 强反转持续）。
该结果表明，语言模型在推理时对因果方向的判断可能被上下文中的观测相关性所主导，即使模型在训练时见过干预数据。干预证据的使用与否似乎由上下文中的证据类型触发，而非训练混合比例。这提示因果能力的涌现可能依赖于推理时的提示结构，而非单纯的预训练数据比例。可验证的下一信号：在真实世界任务中，通过设计仅包含干预证据的提示，是否能够稳定提升模型的因果推理准确性。
该研究对依赖干预数据训练因果模型的实践提出了警示：仅仅增加干预样本比例可能不足以让模型学会因果方向，推理时的上下文设计可能同样关键。这影响数据管道和提示工程的设计，尤其是在需要因果推理的应用中。可验证的下一信号：在工业级因果推理基准上，采用干预提示是否比增加干预训练数据带来更显著的性能提升。
对于构建因果推理系统的团队，该研究提示需要重新评估数据混合策略，并可能转向设计干预性的提示或上下文。这影响数据采购和模型部署的成本，因为干预数据通常更昂贵。可验证的下一信号：在商业因果推理产品中，采用干预提示是否降低了对干预训练数据的需求。
未来工作可能探索如何通过上下文工程或训练策略来增强模型对干预证据的依赖，例如在推理时显式标记干预来源。也可能出现新的评估方法，区分模型是复制相关性还是真正理解因果。可验证的下一信号：后续研究是否提出有效的方法来消除观测上下文的抑制效应。