2025 Nature：表格数据能否不再每次重训调参？TabPFN 把“学习算法”预训练进模型里

2025 Nature表格数据能否不再每次重训调参TabPFN 把“学习算法”预训练进模型里1. Paper Information今天读的是 Nature 2025 论文Accurate predictions on small data with a tabular foundation model。Paper: Accurate predictions on small data with a tabular foundation modelJournal: Nature 637, 319-326 (2025)Online date: 2025-01-08DOI: https://doi.org/10.1038/s41586-024-08328-6Research question: 对于小到中等规模的表格数据能不能不再为每个数据集单独训练和调参而是让一个预训练模型在看到整张表后直接完成预测这篇论文的主角是TabPFN也就是 Tabular Prior-data Fitted Network。它把表格预测问题重新组织成一个上下文学习问题给模型一张包含已知标签和待预测标签的表让模型在一次前向推理里输出预测。2. Why is the old route not enough?表格数据是机器学习最常见的数据形态之一风控表、临床指标表、材料实验表、A/B 测试表、用户行为聚合表本质上都是行和列。但表格数据和图像、文本不一样。同一个数值在不同表里可能代表完全不同的含义列的类型可能混合了连续变量、类别变量、缺失值、异常值和强噪声。很多表格数据还不大样本只有几百到几千行。所以过去二十多年真实表格任务里最稳的路线通常不是“更深的神经网络”而是树模型和 AutoML先清洗特征和缺失值再尝试 XGBoost、CatBoost、LightGBM、随机森林、线性模型或 SVM再做交叉验证、调参、集成最后给每个新数据集训练一个专属模型。这条路线可靠但代价也清楚每张表都要重新拟合调参时间长跨数据集迁移弱也不容易和神经网络系统端到端连接。3. Core methodTabPFN 的核心变化是不要只学习某一个表的模型参数而是预训练一个“会处理表格预测任务的学习算法”。它的流程可以拆成三步用结构因果模型、贝叶斯神经网络等生成大量合成表格任务让 transformer 在这些任务上学习给定部分已知标签预测被遮住的标签面对一张真实新表时把训练行、测试行、已知标签一起放进上下文模型通过一次前向推理输出预测。换句话说TabPFN 不是在新表上重新跑一轮梯度下降。它把“如何从表格中学习”的能力压进了预训练权重里。4. Mechanism breakdownTabPFN 有两个关键设计。第一个是合成任务先验。论文不是简单收集互联网上的真实表格来训练而是设计生成过程模拟缺失值、类别变量、噪声、非线性关系、离群点等表格问题。这样做的好处是减少隐私、版权和测试集污染问题也能系统控制任务分布。第二个是面向表格结构的 transformer。普通 transformer 把输入看成序列但表格同时有行结构和列结构。TabPFN 使用单元格级表示让每个单元格既能关注同一行的其他特征也能关注同一列的其他样本。这个设计让模型更接近人类看表的方式先看一行内部的特征组合再看同一列在不同样本间的分布。4.1 Formula lens论文中一个核心概率视角是后验预测分布p(y^test∣Xtest,Xtrain,ytrain) p(\widehat{\mathbf{y}}_{\mathrm{test}} \mid \mathbf{X}_{\mathrm{test}}, \mathbf{X}_{\mathrm{train}}, \mathbf{y}_{\mathrm{train}})p(y​test​∣Xtest​,Xtrain​,ytrain​)这里Xtrain\mathbf{X}_{\mathrm{train}}Xtrain​是已有标签的训练特征ytrain\mathbf{y}_{\mathrm{train}}ytrain​是训练标签Xtest\mathbf{X}_{\mathrm{test}}Xtest​是待预测样本的特征y^test\widehat{\mathbf{y}}_{\mathrm{test}}y​test​是模型输出的测试标签预测。这个公式表达的不是“给单个样本打分”而是“在看到整张训练表之后对测试标签做条件预测”。从训练角度可以把 TabPFN 的预训练理解为在大量合成任务上最小化被遮住标签的负对数似然θarg⁡min⁡θ ED∼p(D)[−∑i∈Mlog⁡pθ(yi∣X,yobs)] \theta^\arg\min_{\theta}\ \mathbb{E}_{D \sim p(D)} \left[-\sum_{i \in M}\log p_{\theta}(y_i \mid X, y_{\mathrm{obs}})\right]θargθmin​ED∼p(D)​[−i∈M∑​logpθ​(yi​∣X,yobs​)]这个式子是对训练目标的概念化表达(D) 表示从合成任务分布中采样的一张表(M) 表示被遮住标签的位置(X) 是表格特征(y_{\mathrm{obs}}) 是未遮住的已知标签。它强调的是模型不是只记住某个真实数据集而是在许多表格任务上学习一种可复用的预测规则。表格结构注意力也可以用一个简化视角理解hij′ColumnAttention(RowAttention(hij)) h_{ij}^{\prime}\mathrm{ColumnAttention}(\mathrm{RowAttention}(h_{ij}))hij′​ColumnAttention(RowAttention(hij​))其中 (h_{ij}) 是第 (i) 行第 (j) 列单元格的表示。这个式子不是论文原文公式而是对机制的直观化表达先在行内整合一个样本的特征组合再在列内比较不同样本的同一特征。5. How to read the experiments?论文的结果最值得注意的不是“又一个模型赢了 benchmark”而是两个点同时出现第一它在小到中等规模表格任务上非常强。论文报告 TabPFN 在最多 10,000 个样本、500 个特征、10 个类别的基准任务中与树模型、线性模型、SVM、MLP 和 AutoML 系统对比。第二它的时间成本非常低。论文摘要强调在一个分类设置里TabPFN 用 2.8 秒超过了调参 4 小时的强基线集成。这意味着它真正改变的是工作流过去你要训练和调参现在可以把新表作为上下文直接输入。这并不表示树模型失效。更合理的理解是在表格数据上深度学习以前缺少合适的归纳偏置TabPFN 试图把这种归纳偏置从“人工调参经验”变成“合成任务预训练得到的学习算法”。6. Engineering or research implications对工程实践来说TabPFN 的价值不只是准确率而是三件事快速强基线拿到一张小到中等规模表格时可以很快得到一个强参考结果低调参成本减少每个数据集反复搜索超参数的时间新接口形态表格预测可以像上下文学习一样把样本、特征和标签组织成输入而不是每次都从零训练模型。对研究来说TabPFN 更大的启发是基础模型不一定只能靠海量真实数据预训练。对于表格这种真实数据碎片化、隐私敏感、分布差异大的领域合成任务先验可能是一条可扩展路线。7. Do not overinterpret这篇论文值得重视但不能把它讲成“树模型时代结束”。需要保留几个边界论文结论最强的范围是测试过的小到中等规模表格任务很大规模、高维稀疏、强时间漂移、强监管约束的数据仍需单独验证表格任务的业务指标、成本函数、可解释性、校准和公平性不能只靠一个 benchmark 分数决定合成先验决定了模型擅长什么也可能决定了它忽略什么在医疗、金融、材料等领域TabPFN 的输出仍需要领域验证和监控。8. One-sentence summaryTabPFN 的真正贡献不是“又做了一个表格模型”而是把表格预测从每张表单独训练推进到预训练一个能在上下文里执行的学习算法但它最可靠的使用方式仍然是作为小到中等规模表格任务的强基线和加速器而不是无条件替代所有表格机器学习流程。ReferencesHollmann, N. et al. Accurate predictions on small data with a tabular foundation model. Nature 637, 319-326 (2025). https://doi.org/10.1038/s41586-024-08328-6Breiman, L. Random forests. Machine Learning 45, 5-32 (2001). https://doi.org/10.1023/A:1010933404324Cortes, C. and Vapnik, V. Support-vector networks. Machine Learning 20, 273-297 (1995). https://doi.org/10.1007/BF00994018Shwartz-Ziv, R. and Armon, A. Tabular data: Deep learning is not all you need. Information Fusion 81, 84-90 (2022). https://doi.org/10.1016/j.inffus.2021.11.011Gijsbers, P. et al. AMLB: an AutoML benchmark. Journal of Machine Learning Research 25, 1-65 (2024).