Baikal: Structured Search for Deep Research over Data Lakes
Baikal 是一个将数据湖上的深度研究建模为预算搜索问题的框架，通过将异构证据聚类为语义区域，并自适应搜索以平衡探索与利用。在 HybridQA 和 TAT-QA 数据湖上评估，包含 10,993 和 2,757 张表，以及 227K 维基百科段落和 13K 财务报告段落。
Development
- First ReportBaikal: Structured Search for Deep Research over Data LakesarXiv cs.CL
- Current AssessmentBaikal 针对数据湖上的深度研究，可能影响企业数据分析工具，使 LLM 代理能更系统地探索异构数据源。其方法强调探索与利用的平衡，可能推动研究代理从贪婪检索转向更全局的规划。可验证的下一信号：是否有企业采用类似方法构建数据湖查询产品。Agent Pulse · analysis
Baikal 是一个新框架，用于在数据湖上进行深度研究，其中 LLM 代理需要调查跨数千个异构表和段落的证据以综合报告。现有方法迭代检索和生成，让累积上下文决定下一步调查，这可能导致过度利用局部有希望的证据，并在固定预算下未能覆盖不同的语义区域。Baikal 将深度研究建模为预算搜索问题，聚类异构证据为语义区域，然后自适应搜索以平衡探索和利用。在每个选定区域内，生成并调查区域接地子问题，使用发现质量作为奖励更新区域级价值估计，并在随机、LLM 引导、贝叶斯 ε-greedy 和 UCB 等策略下指导搜索。在 15 个查询上评估，数据湖包含 10,993 和 2,757 张表，以及 227K 维基百科段落和 13K 财务报告段落。
Baikal 的核心创新是将深度研究形式化为预算搜索问题，通过聚类证据为语义区域，并使用区域级价值估计指导搜索，这不同于传统的迭代检索。其策略包括随机、LLM 引导、贝叶斯 ε-greedy 和 UCB，表明强化学习思想可应用于研究规划。可验证的下一信号：论文是否公开代码和数据集，以及是否在更大规模数据湖上验证。
Baikal 针对数据湖上的深度研究，可能影响企业数据分析工具，使 LLM 代理能更系统地探索异构数据源。其方法强调探索与利用的平衡，可能推动研究代理从贪婪检索转向更全局的规划。可验证的下一信号：是否有企业采用类似方法构建数据湖查询产品。
对于构建数据湖分析产品的公司，Baikal 提供了一种提高研究覆盖率和质量的框架，可能减少人工干预并提升报告可靠性。其预算搜索方法可帮助控制成本，使深度研究在固定预算下更高效。可验证的下一信号：是否有商业产品采用类似技术并报告用户收益。
未来，Baikal 的方法可能扩展到更多数据湖场景，如科学数据或企业数据仓库。其搜索策略可能与其他规划方法结合，提升研究代理的覆盖率和质量。可验证的下一信号：后续工作是否在更多基准或真实数据集上展示优势。