Nori-30M震撼发布:2900万参数的表格基础模型如何通过上下文学习革新回归任务?
Nori-30M震撼发布2900万参数的表格基础模型如何通过上下文学习革新回归任务【免费下载链接】Nori-30M项目地址: https://ai.gitcode.com/hf_mirrors/Synthefy/Nori-30MNori-30M是一款拥有约2920万参数的表格基础模型专为回归任务打造通过上下文学习ICL实现强大功能。只需提供少量标记行作为上下文它就能在单次前向传播中对新查询行进行预测无需特定任务的训练或微调且完全基于合成数据训练而成。核心特性小模型大能力Nori-30M作为Synthefy/Nori的变体展现出令人瞩目的性能。其架构采用features-transformer模型类型嵌入维度为224隐藏维度达768包含28层和4个注意力头 regression_head采用999-quantile pinball设计。这些配置使其在表格回归领域具备独特优势。性能表现超越基础版的卓越成果在三个公共基准套件的96个回归任务中Nori-30M表现出色。在TabArena的13个数据集上平均R²达0.8148中位数R²为0.8834TALENT的72个数据集上平均R²为0.7575中位数R²达0.8844OpenML的11个数据集上平均R²为0.6459中位数R²为0.6212。综合来看96个任务的平均R²为0.7525中位数R²高达0.8745在每个套件上都超越了约600万参数的基础版Nori。简单三步快速上手使用1. 安装库通过简单的pip命令即可安装pip install synthefy-nori2. 基础使用示例from sklearn.datasets import load_diabetes from sklearn.model_selection import train_test_split from synthefy_nori import NoriRegressor X, y load_diabetes(return_X_yTrue) X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state0) model NoriRegressor(modelnori-30m) # 首次使用会从Hub下载权重 model.fit(X_train, y_train) # fit仅将标记行存储为上下文 pred model.predict(X_test) # 单次前向传播完成预测无需训练3. 便捷预测函数还可使用一键预测函数跳过对象创建from synthefy_nori import predict pred predict(X_train, y_train, X_test, taskregression, modelnori-30m)本地使用灵活部署模型若要从本地 checkpoint 而非 Hub 运行只需传递路径NoriRegressor(model_pathpath/to/nori.pt)。该模型是公开的首次调用会自动下载并缓存无需令牌和访问请求。只有在遇到匿名下载速率限制时才需要设置Hugging Face令牌读取范围可通过export HF_TOKENhf_...、hf auth login或NoriRegressor(modelnori-30m, tokenhf_...)提供。适用场景与局限性适用场景Nori-30M适用于中小型表格回归任务尤其适合上下文学习具有吸引力的场景无需每个任务单独训练。局限性由于密集的O(N²)样本注意力限制了实际上下文大小目前与最佳基线相比在大型N/长上下文表格上存在差距。此外该模型完全在合成数据上训练训练过程中未使用基准数据。引用与许可引用software{synthefy_nori_2026, title {Nori: A Tabular Foundation Model Trained on Synthetic Data}, author {Synthefy}, year {2026}, url {https://github.com/Synthefy/synthefy-nori} }许可Nori-30M采用Apache-2.0许可。开始使用Nori-30M要开始使用Nori-30M可克隆仓库git clone https://gitcode.com/hf_mirrors/Synthefy/Nori-30MNori-30M以其创新的上下文学习方式和出色的性能为表格回归任务带来了新的可能性是数据科学家和开发者处理中小型回归问题的理想选择。【免费下载链接】Nori-30M项目地址: https://ai.gitcode.com/hf_mirrors/Synthefy/Nori-30M创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考