Do Tabular Foundation Models Agree with Themselves?
Tabular Foundation Models (TFMs) 是当前表格预测问题的最佳方法，作为 transformer 近似基于预训练先验的贝叶斯后验预测分布。这些单变量预测器可通过采样一个目标并添加到特征中自回归地转换为多变量预测器。然而，联合分布的忠实性未被研究。TFMs 无法在真实数据集上针对后验本身评估，因为真实分布未知。论文提出两个要求：边缘化一致性（marginalization consistency）要求边缘化条件分布等于直接预测的边缘分布；因子分解一致性（factorization consistency）要求不同因子分解顺序产生相等的联合分布。所有评估的 TFM 在分类和回归的所有数据集上都违反了这两个要求。
发展脉络
- 首次出现Do Tabular Foundation Models Agree with Themselves?arXiv cs.LG
- 当前判断TFMs 在表格预测中表现最佳，但一致性缺陷可能影响其在需要可靠联合分布的应用中的部署，如风险评估或决策系统。Agent Pulse · 分析
Tabular Foundation Models (TFMs) 是当前表格预测问题的最佳方法，作为 transformer 近似基于预训练先验的贝叶斯后验预测分布。这些单变量预测器可通过采样一个目标并添加到特征中自回归地转换为多变量预测器。然而，联合分布的忠实性未被研究。TFMs 无法在真实数据集上针对后验本身评估，因为真实分布未知。论文提出两个要求：边缘化一致性（marginalization consistency）要求边缘化条件分布等于直接预测的边缘分布；因子分解一致性（factorization consistency）要求不同因子分解顺序产生相等的联合分布。所有评估的 TFM 在分类和回归的所有数据集上都违反了这两个要求。
TFMs 作为单变量预测器自回归组合时，其联合分布不满足边缘化一致性和因子分解一致性，表明其预测可能不来自任何联合分布。这提示在需要多变量预测的场景中，直接使用 TFM 的自回归采样可能产生不一致的结果。
TFMs 在表格预测中表现最佳，但一致性缺陷可能影响其在需要可靠联合分布的应用中的部署，如风险评估或决策系统。
对于依赖表格预测的企业，TFMs 的一致性缺陷可能影响决策可靠性，需谨慎评估。
未来研究可能聚焦于改进 TFM 的联合分布一致性，或开发新的评估方法。