調(diào)參旋鈕提升TabFM預(yù)測(cè)精度：n_estimators集成、特征交叉、SVD與概率校準(zhǔn)完全指南)
6個(gè)調(diào)參旋鈕提升TabFM預(yù)測(cè)精度n_estimators集成、特征交叉、SVD與概率校準(zhǔn)完全指南【免費(fèi)下載鏈接】tabfmTabFM (Tabular Foundation Model) is a pretrained tabular foundation model developed by Google Research for tabular data regression and classification.項(xiàng)目地址: https://gitcode.com/gh_mirrors/ta/tabfmTabFMTabular Foundation Model表格基礎(chǔ)模型是 Google Research 開發(fā)的預(yù)訓(xùn)練表格數(shù)據(jù)模型支持零樣本分類與回歸。它不訓(xùn)練、不微調(diào)而是把訓(xùn)練集當(dāng)作上下文讀入模型通過**上下文學(xué)習(xí)in-context learning**對(duì)新樣本即時(shí)預(yù)測(cè)。想提升 TabFM 預(yù)測(cè)精度無需訓(xùn)練只需調(diào)好 6 個(gè)旋鈕——n_estimators集成數(shù)量、特征交叉、SVD 結(jié)構(gòu)特征、概率校準(zhǔn)、NNLS 加權(quán)融合與上下文窗口控制即可在不改變模型權(quán)重的前提下顯著改善效果。TabFM 工作原理為什么調(diào)參就夠TabFM 提供 scikit-learn 風(fēng)格的兩個(gè)估計(jì)器直接fitpredict就能用TabFMClassifier分類器見 TabFMClassifierTabFMRegressor回歸器見 TabFMRegressor它的精度來自集成推理內(nèi)部類 EnsembleGenerator 會(huì)生成多份數(shù)據(jù)視圖不同的特征順序、歸一化方式、行采樣、類別擾動(dòng)每個(gè)視圖獨(dú)立預(yù)測(cè)再匯總成最終結(jié)果。你調(diào)的參數(shù)本質(zhì)上是控制這些視圖怎么生成、怎么匯總。6個(gè)旋鈕總覽旋鈕默認(rèn)值作用推薦調(diào)整場(chǎng)景n_estimators32集成成員數(shù)數(shù)據(jù)視圖數(shù)基線一般不動(dòng)n_feature_crosses0關(guān)閉隨機(jī)生成特征交叉列特征間存在交互效應(yīng)n_svd_features0關(guān)閉生成 SVD 降維結(jié)構(gòu)特征特征數(shù)多、數(shù)據(jù)冗余高binary/multiclass_calibration_methodNone概率校準(zhǔn)Platt / vector關(guān)心 AUC、log loss 等概率指標(biāo)enable_nnls/nnls_betaFalse/0.75NNLS 加權(quán)融合各成員默認(rèn)均勻平均效果不佳max_num_rows/max_num_featuresNone/500控制上下文窗口大小大表推理、內(nèi)存不足旋鈕1n_estimators——集成成員數(shù)量每個(gè)成員是一份獨(dú)立的訓(xùn)練數(shù)據(jù)視圖不同特征順序 歸一化 行采樣預(yù)測(cè)結(jié)果取平均。成員越多視圖越多樣預(yù)測(cè)越穩(wěn)健但推理耗時(shí)線性增長(zhǎng)。默認(rèn)值 32是精度與速度的平衡點(diǎn)官方預(yù)設(shè)保持不變數(shù)據(jù)量小幾百行時(shí)降到 8~16 可顯著提速追求極限精度且有算力時(shí)可嘗試 64旋鈕2n_feature_crosses——隨機(jī)特征交叉設(shè)為sqrt后每個(gè)集成成員會(huì)額外獲得 √(特征數(shù)) 個(gè)隨機(jī)特征交叉列兩列相乘讓模型能看到類似面積 × 層數(shù)這樣的交互信號(hào)而不必自己學(xué)。偶數(shù)索引成員不加交叉列、奇數(shù)索引成員加滿形成增強(qiáng)/非增強(qiáng)混合視圖這正是集成多樣性的來源見 _get_member_n_features_list何時(shí)開啟業(yè)務(wù)上存在明顯的特征交互如面積×單價(jià)或表格較寬何時(shí)關(guān)閉特征很少5 個(gè)或推理要快旋鈕3n_svd_features——SVD 結(jié)構(gòu)特征同樣支持sqrt檔位內(nèi)部對(duì)預(yù)處理后的訓(xùn)練表做 TruncatedSVD把前若干主成分作為新列拼回特征相當(dāng)于免費(fèi)獲得一組數(shù)據(jù)壓縮視角。適合特征數(shù)多、相關(guān)性高、列冗余的寬表配合total_svd_pool可控制 SVD 特征池總量避免生成過多旋鈕4概率校準(zhǔn)——讓概率說真話分類器提供兩種校準(zhǔn)方法見 TabFMClassifier 參數(shù)binary_calibration_methodplatt二分類問題的 Platt 縮放改善校準(zhǔn)曲線multiclass_calibration_methodvector多分類的逐類向量校準(zhǔn)校準(zhǔn)在驗(yàn)證集/OOF 交叉預(yù)測(cè)上學(xué)習(xí)用calibration_lambda默認(rèn)1e-2做 L2 正則防過擬合。如果你的業(yè)務(wù)指標(biāo)是 log loss、AUC 或需要可解釋的風(fēng)險(xiǎn)概率強(qiáng)烈建議開啟只關(guān)心分類準(zhǔn)確率的可以不動(dòng)。旋鈕5enable_nnls / nnls_beta——NNLS 加權(quán)融合默認(rèn)情況下 32 個(gè)成員均勻平均。enable_nnlsTrue會(huì)在驗(yàn)證集上用非負(fù)最小二乘NNLS學(xué)習(xí)每個(gè)成員的融合權(quán)重讓更靠譜的視圖貢獻(xiàn)更大nnls_beta默認(rèn)0.75控制學(xué)習(xí)權(quán)重與均勻權(quán)重的混合比例。?? 注意enable_nnls與average_logitsTrue默認(rèn)互斥開啟 NNLS 時(shí)自動(dòng)切換為概率平均見 參數(shù)校驗(yàn)。學(xué)習(xí)融合權(quán)重的數(shù)據(jù)量較大時(shí)默認(rèn)閾值 2000 行才劃算。旋鈕6上下文窗口——max_num_rows 與 max_num_featuresTabFM 靠上下文學(xué)習(xí)上下文越長(zhǎng)信息越多但內(nèi)存和耗時(shí)越高max_num_features默認(rèn) 500每個(gè)成員采樣的特征數(shù)上限max_num_rows默認(rèn)不限每個(gè)成員讀入的訓(xùn)練行數(shù)上限大表必須設(shè)置否則整張表都會(huì)進(jìn)入上下文此外norm_methods控制每個(gè)成員的歸一化方式默認(rèn)[none, power]可選quantile、robust等見 PreprocessingPipelinefeat_shuffle_method與class_shift則控制特征重排和類別標(biāo)簽擾動(dòng)帶來的多樣性。一步到位ensemble() 預(yù)設(shè)不想逐個(gè)調(diào)官方提供了預(yù)設(shè)工廠方法 TabFMClassifier.ensemble 和 TabFMRegressor.ensemble一次開啟n_feature_crossessqrtn_svd_featuressqrtenable_nnlsTrue 概率校準(zhǔn)分類器?；貧w任務(wù)對(duì)比示例見 examples/tabarena_regression_example.py分類任務(wù)對(duì)比見 examples/tabarena_classification_example.py。實(shí)踐建議按場(chǎng)景選配置場(chǎng)景推薦配置快速基線評(píng)估默認(rèn)TabFMClassifier(model...)不動(dòng)任何旋鈕追求精度上限直接用ensemble()預(yù)設(shè)大表10萬行默認(rèn)預(yù)設(shè) max_num_rows10000控制內(nèi)存特征很少10列保持默認(rèn)關(guān)閉特征交叉/SVD 以免過增強(qiáng)風(fēng)控/信貸等概率敏感場(chǎng)景顯式開啟platt/vector校準(zhǔn)快速上手git clone https://gitcode.com/gh_mirrors/ta/tabfm cd tabfm pip install -e .[jax] # 或 pip install -e .[pytorch] python examples/classification_example.py入門示例可參考 examples/classification_example.py 與 examples/regression_example.py完整參數(shù)說明見 README.md 和 CHANGELOG.md。 提示默認(rèn)load()下載的預(yù)訓(xùn)練權(quán)重受tabfm-non-commercial-v1.0許可約束僅限非商業(yè)用途商用場(chǎng)景請(qǐng)留意許可條款。總結(jié)TabFM 是零訓(xùn)練的表格基礎(chǔ)模型精度優(yōu)化不靠訓(xùn)練而靠集成推理的 6 個(gè)旋鈕n_estimators控制集成規(guī)模默認(rèn) 32 已夠用n_feature_crossessqrt為寬表補(bǔ)充交互信號(hào)n_svd_featuressqrt為高維冗余表補(bǔ)充結(jié)構(gòu)視角概率校準(zhǔn)platt/vector讓概率輸出可信賴enable_nnls用數(shù)據(jù)說話加權(quán)融合各成員max_num_rows/max_num_features給大表裝上限穩(wěn)住內(nèi)存多數(shù)任務(wù)從默認(rèn)配置出發(fā)再按需啟用ensemble()預(yù)設(shè)就是最劃算的調(diào)參路徑 【免費(fèi)下載鏈接】tabfmTabFM (Tabular Foundation Model) is a pretrained tabular foundation model developed by Google Research for tabular data regression and classification.項(xiàng)目地址: https://gitcode.com/gh_mirrors/ta/tabfm創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 6個(gè)調(diào)參旋鈕提升TabFM預(yù)測(cè)精度：n_estimators集成、特征交叉、SVD與概率校準(zhǔn)完全指南
6個(gè)調(diào)參旋鈕提升TabFM預(yù)測(cè)精度n_estimators集成、特征交叉、SVD與概率校準(zhǔn)完全指南【免費(fèi)下載鏈接】tabfmTabFM (Tabular Foundation Model) is a pretrained tabular foundation model developed by Google Research for tabular data regression and classification.項(xiàng)目地址: https://gitcode.com/gh_mirrors/ta/tabfmTabFMTabular Foundation Model表格基礎(chǔ)模型是 Google Research 開發(fā)的預(yù)訓(xùn)練表格數(shù)據(jù)模型支持零樣本分類與回歸。它不訓(xùn)練、不微調(diào)而是把訓(xùn)練集當(dāng)作上下文讀入模型通過**上下文學(xué)習(xí)in-context learning**對(duì)新樣本即時(shí)預(yù)測(cè)。想提升 TabFM 預(yù)測(cè)精度無需訓(xùn)練只需調(diào)好 6 個(gè)旋鈕——n_estimators集成數(shù)量、特征交叉、SVD 結(jié)構(gòu)特征、概率校準(zhǔn)、NNLS 加權(quán)融合與上下文窗口控制即可在不改變模型權(quán)重的前提下顯著改善效果。TabFM 工作原理為什么調(diào)參就夠TabFM 提供 scikit-learn 風(fēng)格的兩個(gè)估計(jì)器直接fitpredict就能用TabFMClassifier分類器見 TabFMClassifierTabFMRegressor回歸器見 TabFMRegressor它的精度來自集成推理內(nèi)部類 EnsembleGenerator 會(huì)生成多份數(shù)據(jù)視圖不同的特征順序、歸一化方式、行采樣、類別擾動(dòng)每個(gè)視圖獨(dú)立預(yù)測(cè)再匯總成最終結(jié)果。你調(diào)的參數(shù)本質(zhì)上是控制這些視圖怎么生成、怎么匯總。6個(gè)旋鈕總覽旋鈕默認(rèn)值作用推薦調(diào)整場(chǎng)景n_estimators32集成成員數(shù)數(shù)據(jù)視圖數(shù)基線一般不動(dòng)n_feature_crosses0關(guān)閉隨機(jī)生成特征交叉列特征間存在交互效應(yīng)n_svd_features0關(guān)閉生成 SVD 降維結(jié)構(gòu)特征特征數(shù)多、數(shù)據(jù)冗余高binary/multiclass_calibration_methodNone概率校準(zhǔn)Platt / vector關(guān)心 AUC、log loss 等概率指標(biāo)enable_nnls/nnls_betaFalse/0.75NNLS 加權(quán)融合各成員默認(rèn)均勻平均效果不佳max_num_rows/max_num_featuresNone/500控制上下文窗口大小大表推理、內(nèi)存不足旋鈕1n_estimators——集成成員數(shù)量每個(gè)成員是一份獨(dú)立的訓(xùn)練數(shù)據(jù)視圖不同特征順序 歸一化 行采樣預(yù)測(cè)結(jié)果取平均。成員越多視圖越多樣預(yù)測(cè)越穩(wěn)健但推理耗時(shí)線性增長(zhǎng)。默認(rèn)值 32是精度與速度的平衡點(diǎn)官方預(yù)設(shè)保持不變數(shù)據(jù)量小幾百行時(shí)降到 8~16 可顯著提速追求極限精度且有算力時(shí)可嘗試 64旋鈕2n_feature_crosses——隨機(jī)特征交叉設(shè)為sqrt后每個(gè)集成成員會(huì)額外獲得 √(特征數(shù)) 個(gè)隨機(jī)特征交叉列兩列相乘讓模型能看到類似面積 × 層數(shù)這樣的交互信號(hào)而不必自己學(xué)。偶數(shù)索引成員不加交叉列、奇數(shù)索引成員加滿形成增強(qiáng)/非增強(qiáng)混合視圖這正是集成多樣性的來源見 _get_member_n_features_list何時(shí)開啟業(yè)務(wù)上存在明顯的特征交互如面積×單價(jià)或表格較寬何時(shí)關(guān)閉特征很少5 個(gè)或推理要快旋鈕3n_svd_features——SVD 結(jié)構(gòu)特征同樣支持sqrt檔位內(nèi)部對(duì)預(yù)處理后的訓(xùn)練表做 TruncatedSVD把前若干主成分作為新列拼回特征相當(dāng)于免費(fèi)獲得一組數(shù)據(jù)壓縮視角。適合特征數(shù)多、相關(guān)性高、列冗余的寬表配合total_svd_pool可控制 SVD 特征池總量避免生成過多旋鈕4概率校準(zhǔn)——讓概率說真話分類器提供兩種校準(zhǔn)方法見 TabFMClassifier 參數(shù)binary_calibration_methodplatt二分類問題的 Platt 縮放改善校準(zhǔn)曲線multiclass_calibration_methodvector多分類的逐類向量校準(zhǔn)校準(zhǔn)在驗(yàn)證集/OOF 交叉預(yù)測(cè)上學(xué)習(xí)用calibration_lambda默認(rèn)1e-2做 L2 正則防過擬合。如果你的業(yè)務(wù)指標(biāo)是 log loss、AUC 或需要可解釋的風(fēng)險(xiǎn)概率強(qiáng)烈建議開啟只關(guān)心分類準(zhǔn)確率的可以不動(dòng)。旋鈕5enable_nnls / nnls_beta——NNLS 加權(quán)融合默認(rèn)情況下 32 個(gè)成員均勻平均。enable_nnlsTrue會(huì)在驗(yàn)證集上用非負(fù)最小二乘NNLS學(xué)習(xí)每個(gè)成員的融合權(quán)重讓更靠譜的視圖貢獻(xiàn)更大nnls_beta默認(rèn)0.75控制學(xué)習(xí)權(quán)重與均勻權(quán)重的混合比例。?? 注意enable_nnls與average_logitsTrue默認(rèn)互斥開啟 NNLS 時(shí)自動(dòng)切換為概率平均見 參數(shù)校驗(yàn)。學(xué)習(xí)融合權(quán)重的數(shù)據(jù)量較大時(shí)默認(rèn)閾值 2000 行才劃算。旋鈕6上下文窗口——max_num_rows 與 max_num_featuresTabFM 靠上下文學(xué)習(xí)上下文越長(zhǎng)信息越多但內(nèi)存和耗時(shí)越高max_num_features默認(rèn) 500每個(gè)成員采樣的特征數(shù)上限max_num_rows默認(rèn)不限每個(gè)成員讀入的訓(xùn)練行數(shù)上限大表必須設(shè)置否則整張表都會(huì)進(jìn)入上下文此外norm_methods控制每個(gè)成員的歸一化方式默認(rèn)[none, power]可選quantile、robust等見 PreprocessingPipelinefeat_shuffle_method與class_shift則控制特征重排和類別標(biāo)簽擾動(dòng)帶來的多樣性。一步到位ensemble() 預(yù)設(shè)不想逐個(gè)調(diào)官方提供了預(yù)設(shè)工廠方法 TabFMClassifier.ensemble 和 TabFMRegressor.ensemble一次開啟n_feature_crossessqrtn_svd_featuressqrtenable_nnlsTrue 概率校準(zhǔn)分類器?；貧w任務(wù)對(duì)比示例見 examples/tabarena_regression_example.py分類任務(wù)對(duì)比見 examples/tabarena_classification_example.py。實(shí)踐建議按場(chǎng)景選配置場(chǎng)景推薦配置快速基線評(píng)估默認(rèn)TabFMClassifier(model...)不動(dòng)任何旋鈕追求精度上限直接用ensemble()預(yù)設(shè)大表10萬行默認(rèn)預(yù)設(shè) max_num_rows10000控制內(nèi)存特征很少10列保持默認(rèn)關(guān)閉特征交叉/SVD 以免過增強(qiáng)風(fēng)控/信貸等概率敏感場(chǎng)景顯式開啟platt/vector校準(zhǔn)快速上手git clone https://gitcode.com/gh_mirrors/ta/tabfm cd tabfm pip install -e .[jax] # 或 pip install -e .[pytorch] python examples/classification_example.py入門示例可參考 examples/classification_example.py 與 examples/regression_example.py完整參數(shù)說明見 README.md 和 CHANGELOG.md。 提示默認(rèn)load()下載的預(yù)訓(xùn)練權(quán)重受tabfm-non-commercial-v1.0許可約束僅限非商業(yè)用途商用場(chǎng)景請(qǐng)留意許可條款。總結(jié)TabFM 是零訓(xùn)練的表格基礎(chǔ)模型精度優(yōu)化不靠訓(xùn)練而靠集成推理的 6 個(gè)旋鈕n_estimators控制集成規(guī)模默認(rèn) 32 已夠用n_feature_crossessqrt為寬表補(bǔ)充交互信號(hào)n_svd_featuressqrt為高維冗余表補(bǔ)充結(jié)構(gòu)視角概率校準(zhǔn)platt/vector讓概率輸出可信賴enable_nnls用數(shù)據(jù)說話加權(quán)融合各成員max_num_rows/max_num_features給大表裝上限穩(wěn)住內(nèi)存多數(shù)任務(wù)從默認(rèn)配置出發(fā)再按需啟用ensemble()預(yù)設(shè)就是最劃算的調(diào)參路徑 【免費(fèi)下載鏈接】tabfmTabFM (Tabular Foundation Model) is a pretrained tabular foundation model developed by Google Research for tabular data regression and classification.項(xiàng)目地址: https://gitcode.com/gh_mirrors/ta/tabfm創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考