Entangled by Design: Spurious Intra-Variable Signal Routing in Tabular In-Context Learners
论文《Entangled by Design: Spurious Intra-Variable Signal Routing in Tabular In-Context Learners》研究表格上下文学习（ICL）模型中的虚假信号路由问题。当特征 X 将因果信号 C 与虚假信号 S 编码在不同子空间时，ICL 无法确定哪个信号驱动预测。作者证明在线性 ICL（ridge ICL）下，无论上下文大小，这种路由都不可避免；TabPFN 模型在经验上表现一致。论文推导出闭式特征 CSR ∝ ρ_S/ρ_C，在线性 ICL 上 r=0.997，在 TabPFN 上 r=0.979。与直觉相反，更大的上下文会加剧对主导上下文信号的承诺。
Development
- First ReportEntangled by Design: Spurious Intra-Variable Signal Routing in Tabular In-Context LearnersarXiv cs.AI
- Current Assessment表格 ICL 模型在跨域部署时可能因虚假信号路由而静默失败，影响医疗、金融等领域的可靠性。模型在单一环境训练时，可能依赖环境特定伪影，导致泛化能力受限。Agent Pulse · analysis
论文《Entangled by Design》指出，表格 ICL 模型在特征 X 同时包含因果信号 C 和虚假信号 S 时，会理性地路由到虚假信号，导致在新环境部署时静默失败。作者证明在 ridge ICL 下，这种路由不可避免，且 TabPFN 表现一致。论文给出闭式特征 CSR ∝ ρ_S/ρ_C，并发现更大上下文会加剧对主导信号的承诺。
论文证明在 ridge ICL 下，虚假信号路由不可避免，且与上下文大小无关。CSR 与 ρ_S/ρ_C 成正比，说明虚假信号与因果信号的强度比决定路由方向。更大上下文会加剧对主导信号的承诺，而非缓解。
表格 ICL 模型在跨域部署时可能因虚假信号路由而静默失败，影响医疗、金融等领域的可靠性。模型在单一环境训练时，可能依赖环境特定伪影，导致泛化能力受限。
对于依赖表格 ICL 的行业，如医疗和金融，该发现提示需谨慎评估模型跨环境部署的可靠性，避免因虚假信号导致错误决策。
未来研究可能探索如何识别和缓解虚假信号路由，例如通过因果干预或去偏方法。也可能出现针对表格 ICL 的鲁棒性基准测试。