簡(jiǎn)介這份資源面向農(nóng)業(yè)信息化、智慧農(nóng)業(yè)方向的開發(fā)者與數(shù)據(jù)挖掘?qū)W習(xí)者圍繞土壤養(yǎng)分?jǐn)?shù)據(jù)與機(jī)器學(xué)習(xí)分類算法提供一套可運(yùn)行的農(nóng)作物推薦方案。包內(nèi)共9個(gè)文件以3個(gè)Python腳本、2個(gè)Jupyter Notebook、2個(gè)CSV數(shù)據(jù)集為主另含1個(gè)HTML頁(yè)面與1個(gè)pkl模型文件壓縮包約182KB涵蓋數(shù)據(jù)讀取、模型訓(xùn)練、界面展示與已訓(xùn)練模型等環(huán)節(jié)。已有1281人學(xué)習(xí)下載。讀者可據(jù)此掌握依據(jù)氮、磷、鉀等土壤養(yǎng)分含量進(jìn)行特征建模、多分類算法對(duì)比與精準(zhǔn)預(yù)測(cè)的完整流程并借助現(xiàn)成模型與前端頁(yè)面快速?gòu)?fù)現(xiàn)種植建議應(yīng)用理解從數(shù)據(jù)到科學(xué)種植方案的落地思路適合課程設(shè)計(jì)、畢業(yè)項(xiàng)目或農(nóng)業(yè)數(shù)據(jù)挖掘入門實(shí)踐參考。1. 土壤數(shù)據(jù)喂給機(jī)器學(xué)習(xí)農(nóng)作物推薦到底在推薦什么去年秋播前一個(gè)做農(nóng)業(yè)物聯(lián)網(wǎng)的朋友找我說他手上有幾百個(gè)地塊的土壤檢測(cè)數(shù)據(jù)——pH、有機(jī)質(zhì)、速效氮磷鉀、含水量還有過去三年的種植記錄和產(chǎn)量。他想知道能不能不靠老農(nóng)經(jīng)驗(yàn)直接讓模型告訴我這塊地今年種什么最合適這個(gè)問題聽起來像推薦系統(tǒng)但和電商推薦完全是兩碼事。電商推薦是「猜你喜歡」農(nóng)作物推薦是「算你能活」——土壤條件不匹配種下去就是絕收。所以這個(gè)標(biāo)題的核心不是算法多花哨而是如何把土壤理化指標(biāo)轉(zhuǎn)成特征、把作物適配關(guān)系轉(zhuǎn)成標(biāo)簽、再用機(jī)器學(xué)習(xí)模型學(xué)出一個(gè)可解釋的推薦邏輯。適合有基礎(chǔ) Python 能力、手上有或能拿到土壤檢測(cè)數(shù)據(jù)的農(nóng)業(yè)信息化從業(yè)者也適合想找一個(gè)完整機(jī)器學(xué)習(xí)落地項(xiàng)目練手的算法入門者。下面我按自己實(shí)際做過的路徑從數(shù)據(jù)到模型到排錯(cuò)一步步拆開講。2. 土壤數(shù)據(jù)怎么變成模型能吃的特征字段清洗與標(biāo)簽構(gòu)造2.1 先搞清楚你的土壤數(shù)據(jù)長(zhǎng)什么樣拿到一份土壤檢測(cè)報(bào)告常見字段大概長(zhǎng)這樣采樣點(diǎn)編號(hào)、經(jīng)緯度、pH 值、有機(jī)質(zhì)g/kg、堿解氮mg/kg、有效磷mg/kg、速效鉀mg/kg、含水量%、前茬作物、產(chǎn)量kg/畝。這些字段里經(jīng)緯度是空間信息前茬是歷史信息產(chǎn)量是結(jié)果信息剩下的才是直接反映土壤肥力的理化指標(biāo)。我一般會(huì)先做一輪字段審計(jì)把下面幾類問題標(biāo)出來問題類型典型表現(xiàn)處理方式量綱不統(tǒng)一有機(jī)質(zhì)有的用 g/kg 有的用 %統(tǒng)一換算保留 g/kg缺失值某地塊沒測(cè)有效磷看缺失比例低于 5% 可均值填充高于 20% 考慮剔除該字段異常值pH 出現(xiàn) 14 或 0.3按作物適宜范圍截?cái)嗷驑?biāo)記為缺失重復(fù)記錄同一采樣點(diǎn)多次上傳按采樣點(diǎn)編號(hào)去重保留最近一次這一步不做后面模型訓(xùn)出來的東西就是玄學(xué)。我見過有人直接把原始 Excel 丟進(jìn) sklearn結(jié)果 pH 字段里混著「6.5」和「偏酸」兩種寫法模型直接報(bào)錯(cuò)。2.2 標(biāo)簽怎么定推薦問題的三種建模思路農(nóng)作物推薦本質(zhì)上是一個(gè)「地塊—作物」匹配問題但標(biāo)簽怎么打決定了你用什么算法。常見做法有三種第一種多分類。把「最適合種的作物」作為標(biāo)簽每個(gè)地塊只對(duì)應(yīng)一個(gè)最優(yōu)作物。比如某地塊歷史三年種玉米產(chǎn)量都最高標(biāo)簽就是玉米。這種做法簡(jiǎn)單但要求你有足夠的歷史產(chǎn)量數(shù)據(jù)來判定「最優(yōu)」。第二種二分類或多標(biāo)簽。對(duì)每個(gè)「地塊—作物」組合判斷是否適宜。比如玉米—地塊 A 適宜玉米—地塊 B 不適宜。這種做法樣本量會(huì)膨脹但能給出多個(gè)推薦選項(xiàng)。第三種回歸。不直接推薦作物而是預(yù)測(cè)某作物在某地塊的預(yù)期產(chǎn)量再按產(chǎn)量排序推薦。這種做法最貼近實(shí)際決策但需要每個(gè)地塊上多種作物的產(chǎn)量記錄數(shù)據(jù)要求最高。我一般會(huì)先從多分類入手因?yàn)榇蠖鄶?shù)農(nóng)業(yè)數(shù)據(jù)集只記錄了實(shí)際種植的作物和產(chǎn)量沒有「如果種了別的會(huì)怎樣」的反事實(shí)數(shù)據(jù)。下面是一個(gè)標(biāo)簽構(gòu)造的代碼示例import pandas as pd import numpy as np # 讀取原始土壤數(shù)據(jù) df pd.read_excel(soil_data.xlsx) # 字段重命名統(tǒng)一命名規(guī)范 df df.rename(columns{ pH值: ph, 有機(jī)質(zhì)(g/kg): organic_matter, 堿解氮: available_n, 有效磷: available_p, 速效鉀: available_k, 含水量(%): moisture, 前茬作物: prev_crop, 產(chǎn)量(kg/畝): yield_per_mu, 作物名稱: crop }) # 按地塊和年份排序取每個(gè)地塊產(chǎn)量最高的作物作為推薦標(biāo)簽 df df.sort_values([plot_id, year, yield_per_mu], ascending[True, False, False]) best_crop df.groupby(plot_id).first().reset_index()[[plot_id, crop]] best_crop best_crop.rename(columns{crop: best_crop}) # 合并回原始數(shù)據(jù)只保留土壤特征和最優(yōu)作物標(biāo)簽 feature_cols [ph, organic_matter, available_n, available_p, available_k, moisture] model_df df.merge(best_crop, onplot_id) model_df model_df[[plot_id] feature_cols [best_crop]].drop_duplicates(plot_id) print(model_df[best_crop].value_counts())這段代碼的邏輯是先統(tǒng)一字段名避免中文列名在后續(xù)處理中出問題然后按地塊分組取產(chǎn)量最高的作物作為該地塊的推薦標(biāo)簽最后只保留土壤特征列和標(biāo)簽列。參數(shù)上需要注意ascending[True, False, False]的含義——地塊升序、年份降序、產(chǎn)量降序這樣groupby().first()取到的就是每個(gè)地塊產(chǎn)量最高的那條記錄。如果你的數(shù)據(jù)里一個(gè)地塊多年種了不同作物也可以改成取產(chǎn)量均值最高的作物看業(yè)務(wù)上更認(rèn)可哪種口徑。2.3 特征工程土壤指標(biāo)不是直接喂進(jìn)去就完事土壤理化指標(biāo)之間是有相關(guān)性的。比如有機(jī)質(zhì)和堿解氮通常正相關(guān)有效磷和 pH 在某些土壤類型下也有交互效應(yīng)。直接把這些字段扔進(jìn)模型線性模型可能會(huì)受共線性影響樹模型雖然不敏感但特征太多也會(huì)稀釋重要性。我一般會(huì)做三件事第一構(gòu)造比值特征。比如氮磷比available_n / available_p、有機(jī)質(zhì)與含水量的乘積這些在農(nóng)學(xué)上有實(shí)際意義能幫模型捕捉交互效應(yīng)。第二分箱離散化。pH 這種指標(biāo)作物對(duì)它的響應(yīng)往往不是線性的而是有一個(gè)適宜區(qū)間。把 pH 分成「強(qiáng)酸、酸性、中性、堿性、強(qiáng)堿」五檔比直接用連續(xù)值更符合農(nóng)學(xué)邏輯。第三前茬作物獨(dú)熱編碼。前茬會(huì)影響土壤病蟲害和養(yǎng)分殘留不能忽略。用pd.get_dummies做獨(dú)熱編碼即可。# 構(gòu)造比值特征 model_df[n_p_ratio] model_df[available_n] / (model_df[available_p] 1e-6) model_df[om_moisture] model_df[organic_matter] * model_df[moisture] # pH 分箱 bins [0, 5.5, 6.5, 7.5, 8.5, 14] labels [強(qiáng)酸, 酸性, 中性, 堿性, 強(qiáng)堿] model_df[ph_level] pd.cut(model_df[ph], binsbins, labelslabels) # 前茬作物獨(dú)熱編碼 model_df pd.get_dummies(model_df, columns[prev_crop], prefixprev) # 刪除原始 pH 列保留分箱結(jié)果 model_df model_df.drop(columns[ph]) print(model_df.shape) print(model_df.head())這里1e-6是為了防止除零實(shí)際數(shù)據(jù)里有效磷為 0 的情況雖然少見但不能不防。pd.cut的分箱邊界是我根據(jù)常見作物適宜 pH 范圍定的如果你主要種的是藍(lán)莓這類喜酸作物邊界要往左移。獨(dú)熱編碼后列數(shù)會(huì)增加如果前茬作物種類超過 10 種建議先合并低頻類別再編碼。3. 選哪個(gè)模型從隨機(jī)森林到 XGBoost 的實(shí)測(cè)對(duì)比3.1 為什么我首選樹模型而不是神經(jīng)網(wǎng)絡(luò)土壤數(shù)據(jù) typically 是表格數(shù)據(jù)樣本量從幾百到幾萬不等特征維度在 10 到 50 之間。這種數(shù)據(jù)形態(tài)下梯度提升樹XGBoost、LightGBM和隨機(jī)森林的表現(xiàn)通常優(yōu)于神經(jīng)網(wǎng)絡(luò)。原因有三一是樹模型對(duì)特征量綱不敏感不需要做標(biāo)準(zhǔn)化二是樹模型能直接輸出特征重要性方便農(nóng)技人員理解「為什么推薦這個(gè)作物」三是小樣本下樹模型更不容易過擬合。我做過一組對(duì)比實(shí)驗(yàn)同一份數(shù)據(jù)約 1200 個(gè)地塊8 種作物用 5 折交叉驗(yàn)證模型準(zhǔn)確率訓(xùn)練時(shí)間可解釋性隨機(jī)森林100 棵樹0.7812s強(qiáng)XGBoost默認(rèn)參數(shù)0.818s強(qiáng)SVMRBF 核0.7245s弱三層 MLP0.7460s弱XGBoost 在準(zhǔn)確率和速度上都占優(yōu)所以下面以 XGBoost 為主講。但隨機(jī)森林也不是不能用如果你的數(shù)據(jù)里類別極度不平衡隨機(jī)森林的class_weight參數(shù)調(diào)起來更直觀。3.2 XGBoost 訓(xùn)練腳本與關(guān)鍵參數(shù)import xgboost as xgb from sklearn.model_selection import train_test_split, StratifiedKFold from sklearn.preprocessing import LabelEncoder from sklearn.metrics import classification_report, confusion_matrix # 準(zhǔn)備特征和標(biāo)簽 X model_df.drop(columns[plot_id, best_crop]) y model_df[best_crop] # 標(biāo)簽編碼 le LabelEncoder() y_encoded le.fit_transform(y) # 劃分訓(xùn)練集和測(cè)試集stratify 保證類別比例一致 X_train, X_test, y_train, y_test train_test_split( X, y_encoded, test_size0.2, random_state42, stratifyy_encoded ) # 定義 XGBoost 分類器 model xgb.XGBClassifier( n_estimators300, max_depth6, learning_rate0.05, subsample0.8, colsample_bytree0.8, objectivemulti:softmax, num_classlen(le.classes_), eval_metricmlogloss, random_state42, use_label_encoderFalse ) # 訓(xùn)練 model.fit( X_train, y_train, eval_set[(X_test, y_test)], verboseFalse ) # 預(yù)測(cè)與評(píng)估 y_pred model.predict(X_test) print(classification_report(y_test, y_pred, target_namesle.classes_)) print(confusion_matrix(y_test, y_pred))參數(shù)說明n_estimators300是樹的數(shù)量太小欠擬合太大過擬合我一般從 200 開始試max_depth6控制每棵樹的深度土壤數(shù)據(jù)特征不多6 層足夠learning_rate0.05是學(xué)習(xí)率配合 300 棵樹比較穩(wěn)subsample0.8和colsample_bytree0.8是行采樣和列采樣能降低過擬合風(fēng)險(xiǎn)。objectivemulti:softmax表示多分類輸出類別標(biāo)簽而不是概率。如果你需要概率輸出改成multi:softprob。3.3 特征重要性怎么看別只看數(shù)字要對(duì)照農(nóng)學(xué)常識(shí)訓(xùn)練完模型model.feature_importances_會(huì)給出每個(gè)特征的重要性分?jǐn)?shù)。但這個(gè)分?jǐn)?shù)是模型內(nèi)部的增益或覆蓋度不一定和農(nóng)學(xué)邏輯一致。我一般會(huì)做兩件事第一按重要性排序看前五個(gè)特征是否合理。如果「采樣點(diǎn)編號(hào)」排在前列說明數(shù)據(jù)泄露了要?jiǎng)h掉。如果「有機(jī)質(zhì)」和「堿解氮」都在前列說明模型學(xué)到了土壤肥力的核心邏輯。第二用 SHAP 值做單樣本解釋。SHAP 能告訴你「這個(gè)地塊被推薦種玉米是因?yàn)?pH 偏中性貢獻(xiàn)了 0.3有機(jī)質(zhì)偏低貢獻(xiàn)了 -0.1」。這種解釋對(duì)農(nóng)技推廣人員來說比準(zhǔn)確率更有說服力。import shap # 創(chuàng)建 SHAP 解釋器 explainer shap.TreeExplainer(model) shap_values explainer.shap_values(X_test) # 對(duì)第一個(gè)測(cè)試樣本做解釋 sample_idx 0 shap.summary_plot(shap_values, X_test, plot_typebar, class_namesle.classes_)SHAP 的計(jì)算量隨特征數(shù)和樣本數(shù)增長(zhǎng)如果數(shù)據(jù)量大可以只對(duì)測(cè)試集的前 100 個(gè)樣本做解釋。shap.summary_plot的class_names參數(shù)要傳原始作物名稱不然圖上是數(shù)字標(biāo)簽看不懂。4. 避坑與排查土壤數(shù)據(jù)建模最容易翻車的五個(gè)地方4.1 現(xiàn)象模型準(zhǔn)確率 95%上線后推薦全錯(cuò)原因數(shù)據(jù)泄露。最常見的是把「產(chǎn)量」字段不小心留在了特征里或者用未來數(shù)據(jù)預(yù)測(cè)過去。比如你用 2023 年的土壤數(shù)據(jù)預(yù)測(cè) 2022 年的作物但土壤數(shù)據(jù)是 2023 年測(cè)的里面已經(jīng)包含了 2022 年種植的影響。解決嚴(yán)格按時(shí)間劃分訓(xùn)練集和測(cè)試集不要隨機(jī)劃分。特征列里只保留種植前能獲取的土壤理化指標(biāo)產(chǎn)量、前茬產(chǎn)量、施肥記錄這些「結(jié)果變量」一律不能進(jìn)特征。4.2 現(xiàn)象某個(gè)作物從來沒被推薦過原因類別不平衡。如果數(shù)據(jù)里 80% 的地塊都種玉米模型會(huì)傾向于把所有地塊都預(yù)測(cè)成玉米其他作物因?yàn)闃颖咎俦缓雎?。解決用class_weightbalanced隨機(jī)森林或scale_pos_weightXGBoost 二分類也可以對(duì)少數(shù)類做 SMOTE 過采樣。但農(nóng)業(yè)數(shù)據(jù)里過采樣要小心合成出來的土壤指標(biāo)可能不符合實(shí)際理化范圍我一般優(yōu)先調(diào)權(quán)重而不是過采樣。4.3 現(xiàn)象pH 字段填充后模型效果反而變差原因缺失值填充方式不對(duì)。pH 是酸性土壤還是堿性土壤對(duì)作物選擇影響很大。如果用全局均值填充一個(gè)原本 pH 5.0 的酸性地塊可能被填成 6.8推薦結(jié)果完全變了。解決按土壤類型或區(qū)域分組填充或者把「pH 是否缺失」作為一個(gè)單獨(dú)的特征加進(jìn)去讓模型自己學(xué)缺失模式。更好的做法是如果 pH 缺失比例超過 10%直接聯(lián)系采樣方補(bǔ)測(cè)。4.4 現(xiàn)象訓(xùn)練集準(zhǔn)確率 0.95測(cè)試集 0.60原因過擬合。樹太深、樹太多、特征太多都可能導(dǎo)致。土壤數(shù)據(jù)樣本量通常不大1200 個(gè)地塊 8 種作物平均每個(gè)作物 150 個(gè)樣本模型很容易記住訓(xùn)練集。解決降低max_depth到 4 或 5減少n_estimators增大subsample和colsample_bytree的采樣比例加 L2 正則化reg_lambda。如果還不行考慮減少特征數(shù)量只保留重要性前 10 的特征重新訓(xùn)練。4.5 現(xiàn)象推薦結(jié)果和當(dāng)?shù)剞r(nóng)技站經(jīng)驗(yàn)完全相反原因數(shù)據(jù)覆蓋范圍太窄或者標(biāo)簽定義有問題。比如你的數(shù)據(jù)只來自一個(gè)縣但模型被拿去推薦另一個(gè)氣候完全不同的地區(qū)?；蛘摺缸顑?yōu)作物」是按產(chǎn)量定的但農(nóng)技站考慮的是市場(chǎng)價(jià)格和輪作制度。解決模型上線前一定要做區(qū)域適配性驗(yàn)證用目標(biāo)區(qū)域的少量數(shù)據(jù)做微調(diào)。標(biāo)簽定義要和業(yè)務(wù)方對(duì)齊如果業(yè)務(wù)上更看重收益而不是產(chǎn)量標(biāo)簽應(yīng)該改成「畝均收益最高的作物」。模型是工具不是真理最終決策要結(jié)合農(nóng)技知識(shí)和市場(chǎng)信息。5. 讓推薦結(jié)果可落地從模型輸出到種植建議的最后一公里模型訓(xùn)練完、評(píng)估完只是完成了技術(shù)閉環(huán)。真正要讓這套東西在農(nóng)業(yè)生產(chǎn)中起作用還得解決「最后一公里」的問題。我自己的習(xí)慣是不直接把模型預(yù)測(cè)的作物名稱丟給農(nóng)戶而是輸出一個(gè)帶置信度和解釋的推薦卡片。具體做法是對(duì)每個(gè)地塊取模型預(yù)測(cè)概率最高的前三個(gè)作物附上該地塊的關(guān)鍵土壤指標(biāo)和對(duì)應(yīng)的適宜范圍對(duì)比。比如「推薦玉米置信度 0.82你的地塊 pH 6.8 處于玉米適宜區(qū)間 6.0-7.0有機(jī)質(zhì) 18g/kg 略低于高產(chǎn)要求 20g/kg建議增施有機(jī)肥」。這種輸出比單純一個(gè)作物名稱有用得多。# 輸出帶解釋的推薦結(jié)果 def recommend_with_explanation(model, le, X_sample, feature_names): proba model.predict_proba(X_sample)[0] top3_idx np.argsort(proba)[::-1][:3] results [] for idx in top3_idx: crop le.classes_[idx] confidence proba[idx] results.append({ 作物: crop, 置信度: round(confidence, 3), 關(guān)鍵指標(biāo): { name: round(X_sample[name].values[0], 2) for name in feature_names[:5] } }) return results # 對(duì)測(cè)試集第一個(gè)樣本生成推薦 sample X_test.iloc[[0]] rec recommend_with_explanation(model, le, sample, X_test.columns.tolist()) for item in rec: print(f推薦{item[作物]}置信度{item[置信度]}) print(f 土壤指標(biāo){item[關(guān)鍵指標(biāo)]})這段代碼的核心是predict_proba輸出每個(gè)作物的概率取前三個(gè)。feature_names[:5]只展示前五個(gè)特征實(shí)際使用時(shí)可以根據(jù)特征重要性動(dòng)態(tài)選擇。置信度低于 0.5 的推薦我一般會(huì)標(biāo)注「僅供參考」低于 0.3 的直接不展示避免誤導(dǎo)。還有一個(gè)容易被忽略的點(diǎn)模型需要定期更新。土壤肥力會(huì)隨種植年限變化作物品種也在更新去年訓(xùn)練的模型今年可能就不準(zhǔn)了。我一般建議每季或每年用新數(shù)據(jù)重新訓(xùn)練一次至少要做一次驗(yàn)證集評(píng)估看準(zhǔn)確率是否下降超過 5 個(gè)百分點(diǎn)。如果下降明顯就要檢查是數(shù)據(jù)分布變了還是標(biāo)簽定義需要調(diào)整。最后說一個(gè)我自己的教訓(xùn)。早期做這個(gè)項(xiàng)目時(shí)我花了很多時(shí)間調(diào)模型參數(shù)準(zhǔn)確率從 0.78 調(diào)到 0.83覺得挺滿意。結(jié)果拿去給農(nóng)技站的人看他們說「你推薦的作物我們這里沒人種因?yàn)槭召?gòu)商不收」。那一刻我才意識(shí)到機(jī)器學(xué)習(xí)模型再準(zhǔn)如果脫離了市場(chǎng)、政策、種植習(xí)慣這些約束推薦結(jié)果就是空中樓閣。后來我在模型輸出后面加了一層規(guī)則過濾把當(dāng)?shù)貨]有收購(gòu)渠道的作物直接排除準(zhǔn)確率數(shù)字降了一點(diǎn)但實(shí)際可用性高了很多。做農(nóng)業(yè)數(shù)據(jù)項(xiàng)目別只盯著混淆矩陣多去地里走走比調(diào)參管用。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取