別：SVM、KNN、CNN與LSTM算法對(duì)比及Python實(shí)現(xiàn))
簡(jiǎn)介機(jī)器學(xué)習(xí)與深度學(xué)習(xí)在圖像分類任務(wù)中各有優(yōu)勢(shì)傳統(tǒng)算法如SVM和KNN依賴手工特征設(shè)計(jì)而CNN和LSTM則通過(guò)端到端方式自動(dòng)學(xué)習(xí)特征。SVM通過(guò)核函數(shù)映射解決線性不可分問(wèn)題KNN基于距離投票卻易受維度災(zāi)難影響CNN擅長(zhǎng)捕捉空間紋理結(jié)構(gòu)LSTM則適用于多時(shí)相遙感序列建模。在遙感圖像識(shí)別場(chǎng)景中選擇合適的算法需要權(quán)衡數(shù)據(jù)規(guī)模、特征工程成本與模型泛化能力。本文以EuroSAT數(shù)據(jù)集為例詳細(xì)解析四種算法的原理、關(guān)鍵實(shí)現(xiàn)細(xì)節(jié)及工程實(shí)踐并給出橫向?qū)Ρ冉Y(jié)果幫助讀者建立從傳統(tǒng)方法到深度學(xué)習(xí)的完整認(rèn)知為課設(shè)或?qū)嶋H項(xiàng)目中的算法選型提供參考。 這學(xué)期幫好幾個(gè)準(zhǔn)備期末課設(shè)的同學(xué)看過(guò)同一類項(xiàng)目就是用四種算法做同一件遙感圖像識(shí)別任務(wù)源碼一通跑文檔寫(xiě)得也還算完整但到了答辯或?qū)憣?shí)驗(yàn)報(bào)告的時(shí)候經(jīng)常被問(wèn)到“為什么選這幾種算法”“SVM和CNN的區(qū)別到底在哪”“LSTM不是做時(shí)間序列的嗎憑什么用在圖像里”。這些問(wèn)題的本質(zhì)是把四個(gè)算法硬塞進(jìn)一個(gè)項(xiàng)目里卻沒(méi)有真正理解它們各自的位置。這個(gè)項(xiàng)目標(biāo)題里正好集合了遙感圖像識(shí)別、Python實(shí)現(xiàn)、SVM、KNN、CNN、LSTM這幾個(gè)關(guān)鍵詞看起來(lái)像是把機(jī)器學(xué)習(xí)、深度學(xué)習(xí)最常見(jiàn)的一套算法都涵蓋了。說(shuō)實(shí)話這類課設(shè)題目設(shè)計(jì)得是很典型的“橫向?qū)Ρ刃汀表?xiàng)目考試重點(diǎn)不是某一個(gè)算法有多先進(jìn)而是你能不能把這四種算法放到同一張實(shí)驗(yàn)對(duì)比表里然后講清楚它們各自的特點(diǎn)、適用場(chǎng)景和結(jié)果差異。這篇就把這個(gè)項(xiàng)目從數(shù)據(jù)準(zhǔn)備、算法原理、代碼實(shí)現(xiàn)到避坑細(xì)節(jié)全部拆開(kāi)講一遍幫你把這份課設(shè)真正吃透。1. 項(xiàng)目整體設(shè)計(jì)四種算法放在同一個(gè)遙感任務(wù)里各自扮演什么角色1.1 算法的分組邏輯與分工做課設(shè)或者畢設(shè)最忌諱的是把代碼抄過(guò)來(lái)能跑就跑卻不清楚為什么是這四種算法湊在一起。先想清楚分組邏輯后面所有實(shí)驗(yàn)設(shè)計(jì)都會(huì)順理成章。這四種算法天然可以分成兩組。SVM支持向量機(jī)和KNNK近鄰屬于傳統(tǒng)機(jī)器學(xué)習(xí)算法它們有一個(gè)共同特點(diǎn)不能直接吃原始圖像需要先手工設(shè)計(jì)特征再用特征向量去做分類。CNN卷積神經(jīng)網(wǎng)絡(luò)和LSTM長(zhǎng)短期記憶網(wǎng)絡(luò)屬于深度學(xué)習(xí)算法端到端學(xué)習(xí)模型自己從數(shù)據(jù)里學(xué)特征。但在遙感圖像識(shí)別這個(gè)任務(wù)里CNN和LSTM的定位又不一樣CNN擅長(zhǎng)捕捉圖像的空間結(jié)構(gòu)特征比如地塊的形狀、紋理、邊緣LSTM本來(lái)是做序列數(shù)據(jù)的在遙感里更適合處理多時(shí)相影像——也就是同一片區(qū)域在不同時(shí)間拍攝的影像序列或者把多光譜波段拉成序列來(lái)建模。所以如果你的課設(shè)只有單張影像分類CNN是絕對(duì)主力SVM和KNN是傳統(tǒng)基線模型而LSTM需要設(shè)計(jì)成“做時(shí)序變化分析”或者“對(duì)波段序列建?！薄＿@樣四種算法就形成了兩條技術(shù)路線傳統(tǒng)路線手工設(shè)計(jì)特征顏色統(tǒng)計(jì)、紋理、植被指數(shù)→ SVM / KNN 分類深度學(xué)習(xí)路線端到端特征學(xué)習(xí) → CNN 做單幀影像分類LSTM 做多時(shí)相序列建模理解了這條主線后續(xù)代碼怎么寫(xiě)、實(shí)驗(yàn)報(bào)告怎么組織都不會(huì)亂。1.2 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)的選擇遙感圖像識(shí)別方向的公開(kāi)數(shù)據(jù)集選擇余地很大課設(shè)規(guī)模不能太大不然訓(xùn)練時(shí)間扛不住也不能太小否則算法對(duì)比沒(méi)有說(shuō)服力。比較推薦的是EuroSAT數(shù)據(jù)集它是基于哨兵-2衛(wèi)星的多光譜影像包含10個(gè)地物類別每個(gè)類別有2000到3000個(gè)樣本圖像尺寸是64x64非常適合在這個(gè)尺寸上跑SVM、KNN和一個(gè)小型CNN。如果不想用多光譜可以退到RGB三個(gè)波段很多公開(kāi)數(shù)據(jù)集提供的就是RGB合成圖。UC Merced土地利用數(shù)據(jù)集也是常見(jiàn)選擇21類場(chǎng)景每類100張缺點(diǎn)是樣本太少深度學(xué)習(xí)模型容易過(guò)擬合更適合只做傳統(tǒng)機(jī)器學(xué)習(xí)算法的對(duì)比。數(shù)據(jù)準(zhǔn)備好之后訓(xùn)練集、驗(yàn)證集、測(cè)試集建議按6:2:2劃分而且劃分時(shí)要保持每個(gè)類別的比例一致專業(yè)說(shuō)法叫分層采樣。這一步很多人不注意直接用隨機(jī)劃分結(jié)果某個(gè)小類別在訓(xùn)練集里只有幾個(gè)樣本模型直接把這個(gè)類別忽略了。評(píng)價(jià)指標(biāo)不能只盯著準(zhǔn)確率Accuracy看。遙感數(shù)據(jù)常存在類別不平衡問(wèn)題比如水體面積大的區(qū)域水體樣本占了一半模型把所有樣本都判成水體也能有很高的準(zhǔn)確率但沒(méi)有實(shí)際意義。所以除了Accuracy還要看Kappa系數(shù)、查準(zhǔn)率Precision、查全率Recall和F1值。Kappa系數(shù)在遙感分類領(lǐng)域幾乎是必用指標(biāo)它衡量的是分類結(jié)果和真實(shí)類別之間的一致性程度把隨機(jī)猜的成分剔除掉了。報(bào)告中放一張對(duì)比表格四個(gè)算法的Accuracy、Kappa、F1并列一眼就能看出高低。2. 四種算法核心原理與關(guān)鍵實(shí)現(xiàn)要點(diǎn)2.1 SVM先解決線性不可分再調(diào)好C和gammaSVM的基本思想是在特征空間里找一個(gè)最優(yōu)超平面把不同類別的樣本分開(kāi)而且要讓這個(gè)超平面到兩邊最近樣本支持向量的距離最大。遙感圖像低層特征在高維空間通常不是線性可分的所以要用核函數(shù)把數(shù)據(jù)映射到更高維的空間然后再找超平面。RBF徑向基函數(shù)核是默認(rèn)首選它只有一個(gè)gamma參數(shù)實(shí)現(xiàn)簡(jiǎn)單能夠處理非線性關(guān)系。真正決定SVM效果好壞的是C和gamma這兩個(gè)參數(shù)。C是懲罰系數(shù)控制你有多重視分類錯(cuò)誤的樣本。C太大模型會(huì)拼命讓訓(xùn)練集分類正確容易過(guò)擬合C太小模型太寬松容易欠擬合。gamma控制RBF核的影響范圍gamma越大決策邊界越彎曲越容易過(guò)擬合gamma越小邊界越平滑。最穩(wěn)妥的方法是網(wǎng)格搜索加交叉驗(yàn)證scikit-learn里的GridSearchCV就是干這個(gè)的幾行代碼能把參數(shù)字典里的組合全跑一遍。SVM不能直接吃原始圖像需要先做特征工程。遙感課設(shè)里常用的手工特征包括光譜特征R、G、B三個(gè)通道的均值、標(biāo)準(zhǔn)差、分位數(shù)多光譜數(shù)據(jù)還可以算各波段的統(tǒng)計(jì)量紋理特征灰度共生矩陣GLCM導(dǎo)出的對(duì)比度、相關(guān)性、能量、同質(zhì)性植被指數(shù)NDVI就是近紅外波段和紅光波段的差值與和的比值對(duì)植被覆蓋區(qū)識(shí)別特別有效把這些特征拼成一個(gè)向量比如光譜統(tǒng)計(jì)特征12維加紋理特征4維加NDVI 1維得到17維的特征向量再喂給SVM。scikit-learn里的實(shí)現(xiàn)非常簡(jiǎn)潔from sklearn.svm import SVC from sklearn.model_selection import GridSearchCV param_grid { C: [0.1, 1, 10, 100], gamma: [0.001, 0.01, 0.1, 1] } svm SVC(kernelrbf, class_weightbalanced) grid GridSearchCV(svm, param_grid, cv5, scoringf1_macro) grid.fit(X_train_features, y_train) print(grid.best_params_)2.2 KNN別小看這個(gè)“惰性學(xué)習(xí)”算法KNN的原理比SVM簡(jiǎn)單得多一個(gè)樣本的類別由它特征空間里距離最近的K個(gè)訓(xùn)練樣本投票決定。這里有兩個(gè)問(wèn)題K怎么選距離怎么算。K太小決策邊界非常敏感一個(gè)噪聲點(diǎn)就能改變分類結(jié)果K太大會(huì)把遠(yuǎn)處類別差異很大的樣本也拉進(jìn)來(lái)投票。實(shí)踐經(jīng)驗(yàn)是K取3到5比較常用具體值可以通過(guò)交叉驗(yàn)證試出來(lái)。距離度量最常用的是歐氏距離但要注意不同特征的量綱可能差很多。比如光譜均值可能是0到255而NDVI只有-1到1如果不做標(biāo)準(zhǔn)化NDVI這個(gè)維度的貢獻(xiàn)會(huì)被完全忽略。所以KNN之前必須做特征標(biāo)準(zhǔn)化用StandardScaler把每個(gè)特征維度變成均值為0、方差為1的分布。KNN在遙感圖像上沒(méi)有SVM能打主要原因是維度災(zāi)難。特征向量維度高了之后樣本之間的距離差異不再明顯最近鄰的效果會(huì)退化。代碼邏輯非常簡(jiǎn)單from sklearn.neighbors import KNeighborsClassifier from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train_features) X_test_scaled scaler.transform(X_test_features) knn KNeighborsClassifier(n_neighbors5, weightsdistance, metriceuclidean) knn.fit(X_train_scaled, y_train)很多人會(huì)把KNN和K-Means搞混。K-Means是無(wú)監(jiān)督聚類算法它沒(méi)有標(biāo)簽?zāi)繕?biāo)是把樣本分成K組組內(nèi)距離最小KNN是有監(jiān)督分類需要有標(biāo)簽的訓(xùn)練集K的含義也完全不同。熱詞里提到了“knn和kmeans算法關(guān)系”這兩個(gè)名字像但做的事完全不一樣答辯的時(shí)候經(jīng)常被問(wèn)到建議提前理清楚。2.3 CNN用卷積核自動(dòng)學(xué)習(xí)圖像特征CNN解決的是手工特征設(shè)計(jì)的瓶頸。SVM和KNN都需要人為決定提取什么特征而CNN通過(guò)卷積核自動(dòng)從原始像素學(xué)特征。卷積層用一個(gè)小窗口比如3x3在圖像上滑動(dòng)每個(gè)位置做內(nèi)積運(yùn)算提取局部模式多次卷積疊加低層學(xué)到邊緣和紋理高層學(xué)到更抽象的地物結(jié)構(gòu)池化層壓縮特征圖尺寸保留主要信息同時(shí)減輕過(guò)擬合。整個(gè)過(guò)程像搭積木。課設(shè)規(guī)模的CNN不需要設(shè)計(jì)太深三層卷積加全連接足夠import torch.nn as nn class RemoteNet(nn.Module): def __init__(self, num_classes10): super().__init__() self.features nn.Sequential( nn.Conv2d(3, 16, 3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(16, 32, 3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(32, 64, 3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2) ) self.classifier nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Flatten(), nn.Linear(64, 128), nn.ReLU(inplaceTrue), nn.Dropout(0.5), nn.Linear(128, num_classes) ) def forward(self, x): x self.features(x) x self.classifier(x) return x訓(xùn)練時(shí)交叉熵?fù)p失函數(shù)配合Adam優(yōu)化器學(xué)習(xí)率從0.001起步。遙感數(shù)據(jù)集樣本量不大強(qiáng)烈建議使用數(shù)據(jù)增強(qiáng)隨機(jī)水平翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)、隨機(jī)裁剪、色彩抖動(dòng)。卷積網(wǎng)絡(luò)對(duì)翻轉(zhuǎn)和旋轉(zhuǎn)有一定敏感性數(shù)據(jù)增強(qiáng)不僅增加樣本多樣性還能大幅降低過(guò)擬合。如果訓(xùn)練收斂很慢檢查一下輸入數(shù)據(jù)有沒(méi)有歸一化到0到1之間原始像素0到255不歸一化梯度更新會(huì)非常不穩(wěn)定。如果課設(shè)想追求更高的精度可以直接上遷移學(xué)習(xí)加載ImageNet預(yù)訓(xùn)練的ResNet18把最后一層全連接改成自己的類別數(shù)然后只訓(xùn)練最后一層或者對(duì)整個(gè)網(wǎng)絡(luò)做微調(diào)。在中小規(guī)模數(shù)據(jù)集上遷移學(xué)習(xí)的效果往往比自己從頭訓(xùn)練小網(wǎng)絡(luò)好得多。2.4 LSTM把遙感數(shù)據(jù)變成序列再建模在遙感圖像識(shí)別的題目里L(fēng)STM的位置最容易被搞錯(cuò)。LSTM處理的是序列數(shù)據(jù)不是單張靜態(tài)圖像。所以如果課設(shè)的數(shù)據(jù)只有單時(shí)相的影像直接用LSTM去讀原始像素是不合理的。常見(jiàn)也合理的做法有兩種。第一種用多時(shí)相遙感序列。同一塊區(qū)域在不同時(shí)間點(diǎn)的影像按照時(shí)間排列每一幀經(jīng)過(guò)CNN提特征得到一個(gè)特征向量把所有時(shí)間點(diǎn)的特征向量組成序列作為L(zhǎng)STM的輸入。這樣既能利用空間特征又能建模地物隨時(shí)間的變化常用于作物分類、土地利用變化檢測(cè)。第二種把多光譜波段當(dāng)作序列。遙感影像有多個(gè)波段比如哨兵-2有13個(gè)波段可以將每個(gè)波段的空間信息通過(guò)統(tǒng)計(jì)或者小規(guī)模CNN提取成一個(gè)特征然后按波段順序送進(jìn)LSTM。這種做法的本質(zhì)是把光譜維度當(dāng)作序列維度。LSTM相比傳統(tǒng)RNN多了遺忘門、輸入門和輸出門三個(gè)門控機(jī)制。遺忘門決定上一時(shí)刻的隱藏狀態(tài)有多少被保留下來(lái)輸入門決定當(dāng)前輸入有多少寫(xiě)入細(xì)胞狀態(tài)輸出門決定當(dāng)前細(xì)胞狀態(tài)有多少輸出到隱藏層。這套機(jī)制讓LSTM能夠記憶長(zhǎng)距離依賴。放到遙感場(chǎng)景里就是幾個(gè)月前的植被狀態(tài)信息也能保留下來(lái)對(duì)當(dāng)前作物類別的判斷產(chǎn)生影響。PyTorch里調(diào)用LSTM非常方便import torch.nn as nn class LSTMPredictor(nn.Module): def __init__(self, input_size, hidden_size, num_classes10): super().__init__() self.lstm nn.LSTM(input_size, hidden_size, num_layers2, batch_firstTrue) self.fc nn.Linear(hidden_size, num_classes) def forward(self, x): # x shape: (batch, seq_len, input_size) out, _ self.lstm(x) # 取最后一個(gè)時(shí)間步的隱藏狀態(tài) out out[:, -1, :] return self.fc(out)課設(shè)里L(fēng)STM的精度大概率不如CNN這是正常的因?yàn)閱螏瑘D像的空間特征才是分類的主線索。報(bào)告里可以說(shuō)清楚LSTM的定位是多時(shí)相變化建模的擴(kuò)展實(shí)驗(yàn)這也更符合實(shí)際應(yīng)用方向。3. 實(shí)操流程與工程化細(xì)節(jié)3.1 環(huán)境配置與項(xiàng)目結(jié)構(gòu)這套代碼的依賴比較常規(guī)。傳統(tǒng)機(jī)器學(xué)習(xí)部分只需要numpy、scikit-learn、opencv-python、tifffile或rasterio做遙感影像讀取深度學(xué)習(xí)部分需要PyTorch或TensorFlow建議用PyTorch生態(tài)和資料都更友好。如果只是跑通代碼CPU也能完成EuroSAT數(shù)據(jù)集規(guī)模下CNN訓(xùn)練時(shí)間大約是CPU上十幾分鐘一個(gè)epoch跑5到10個(gè)epoch可接受如果想訓(xùn)練更快可以租云GPU或者用Google Colab的免費(fèi)GPU。項(xiàng)目目錄可以這樣組織remote_sensing_classification/ ├── data/ # 數(shù)據(jù)集存放位置 ├── features/ # 手工特征提取結(jié)果緩存 ├── models/ # 訓(xùn)練好的模型權(quán)重 ├── results/ # 實(shí)驗(yàn)記錄、混淆矩陣圖片 ├── scripts/ │ ├── data_prepare.py # 數(shù)據(jù)加載和劃分 │ ├── extract_features.py # 手工特征提取 │ ├── train_svm_knn.py # 傳統(tǒng)算法訓(xùn)練評(píng)估 │ ├── train_cnn.py # CNN訓(xùn)練腳本 │ ├── train_lstm.py # LSTM訓(xùn)練腳本 │ └── eval_all.py # 統(tǒng)一評(píng)估和對(duì)比表生成 └── README.md # 項(xiàng)目說(shuō)明這種結(jié)構(gòu)有兩個(gè)好處第一不只是交源碼而是完整的工程組織指導(dǎo)老師看到會(huì)加分第二后續(xù)自己改代碼時(shí)邏輯清晰不容易踩到“上一個(gè)腳本把變量名覆蓋了”這種低級(jí)問(wèn)題。3.2 數(shù)據(jù)處理管線傳統(tǒng)算法和深度學(xué)習(xí)算法的數(shù)據(jù)處理管線完全不同。傳統(tǒng)算法那邊關(guān)鍵是特征矩陣的構(gòu)建。把一張圖像讀進(jìn)來(lái)轉(zhuǎn)換成RGB數(shù)組計(jì)算各波段統(tǒng)計(jì)量、GLCM紋理特征、NDVI等拼接成一行特征向量。所有圖像處理完之后得到一整個(gè)特征矩陣X和標(biāo)簽向量y再做訓(xùn)練測(cè)試集劃分和標(biāo)準(zhǔn)化。深度學(xué)習(xí)那邊用PyTorch的話核心是自定義Dataset類。需要實(shí)現(xiàn)三個(gè)方法__init__里把圖像路徑和標(biāo)簽讀進(jìn)來(lái)__getitem__里完成圖像讀取、數(shù)據(jù)增強(qiáng)和格式轉(zhuǎn)換__len__返回樣本總數(shù)。加載圖像時(shí)要注意統(tǒng)一尺寸如果數(shù)據(jù)集中圖像尺寸不完全一致需要Resize到固定尺寸比如64x64。歸一化時(shí)均值和標(biāo)準(zhǔn)差要按數(shù)據(jù)集實(shí)際統(tǒng)計(jì)值算直接抄ImageNet的均值標(biāo)準(zhǔn)差在遙感影像上并不一定合適尤其是多光譜數(shù)據(jù)。3.3 訓(xùn)練與評(píng)估流程訓(xùn)練CNN和LSTM時(shí)記錄每次迭代或者每個(gè)epoch結(jié)束后的訓(xùn)練損失和驗(yàn)證精度繪制訓(xùn)練曲線。如果訓(xùn)練損失下降而驗(yàn)證損失上升就是典型的過(guò)擬合信號(hào)需要加強(qiáng)數(shù)據(jù)增強(qiáng)、加大Dropout、或者直接使用早停機(jī)制——當(dāng)驗(yàn)證集精度在連續(xù)若干個(gè)epoch內(nèi)不再提升時(shí)停止訓(xùn)練保存最優(yōu)模型。評(píng)估階段四個(gè)算法需要用同一個(gè)測(cè)試集來(lái)測(cè)試否則對(duì)比沒(méi)有意義。測(cè)試完成后生成混淆矩陣直觀看出哪些類別之間容易互相混淆。遙感分類里常見(jiàn)的是植被類和裸土類混淆因?yàn)樗鼈兊墓庾V特征在某些時(shí)相下有重疊。結(jié)果對(duì)比表模板如下算法特征類型AccuracyKappaF1宏平均訓(xùn)練時(shí)長(zhǎng)SVM手工特征0.870.850.8612秒KNN手工特征0.820.790.815秒CNN端到端學(xué)習(xí)0.930.920.9223分鐘LSTM波段序列建模0.780.750.7731分鐘這張表就是一份實(shí)驗(yàn)報(bào)告的核心。通過(guò)橫向?qū)Ρ葌鹘y(tǒng)算法依賴人工特征設(shè)計(jì)SVM在小樣本和高維特征上依然穩(wěn)健CNN實(shí)現(xiàn)了特征自動(dòng)學(xué)習(xí)精度明顯更高LSTM在單幀分類上不占優(yōu)勢(shì)但在時(shí)序任務(wù)里潛力更大。4. 常見(jiàn)問(wèn)題與避坑手冊(cè)4.1 傳統(tǒng)算法精度為什么比深度學(xué)習(xí)差如果你在報(bào)告中SVM的精度比CNN還高不要覺(jué)得奇怪。在樣本量小、特征設(shè)計(jì)合理的情況下SVM的表現(xiàn)可以非常好。深度學(xué)習(xí)需要大量數(shù)據(jù)才能發(fā)揮優(yōu)勢(shì)。遇到這種情況分析時(shí)要客觀SVM高精度靠的是人工特征設(shè)計(jì)換一個(gè)數(shù)據(jù)集不一定仍然有效CNN雖然精度稍低但端到端的特征學(xué)習(xí)能力意味著更強(qiáng)的泛化潛力。做課設(shè)比的是分析能力不是簡(jiǎn)單地比精度數(shù)字。最需要警惕的是過(guò)擬合。CNN參數(shù)量大訓(xùn)練集只有幾千張時(shí)模型很容易“背下”訓(xùn)練集。一個(gè)有效的檢驗(yàn)手段如果訓(xùn)練準(zhǔn)確率達(dá)到百分之九十九測(cè)試準(zhǔn)確率卻低了十個(gè)百分點(diǎn)以上那基本可以確定過(guò)擬合了趕緊上數(shù)據(jù)增強(qiáng)和Dropout。4.2 代碼層面的典型報(bào)錯(cuò)與修復(fù)思路維度對(duì)不上。KNN和SVM要求輸入是二維矩陣即樣本數(shù)特征維度。如果你把原始圖像直接拉成一維數(shù)組比如64x64x3等于12288維雖然SVM也能跑但效果通常不好而且訓(xùn)練時(shí)間會(huì)長(zhǎng)很多。還有人在CNN訓(xùn)練時(shí)報(bào)錯(cuò)維度不匹配常見(jiàn)原因是全連接層的輸入維度和特征圖展開(kāi)后的維度沒(méi)算清楚。解決方法是先打印每一層的輸出shape逐層核對(duì)。數(shù)據(jù)加載慢。遙感影像單個(gè)tif文件可能很大如果每讀一個(gè)樣本都重新讀取一次文件訓(xùn)練時(shí)就會(huì)一直卡在IO上。建議把所有圖像緩存到內(nèi)存里或者用numpy的.npy格式預(yù)處理數(shù)據(jù)。EuroSAT這種規(guī)模的數(shù)據(jù)集緩存進(jìn)內(nèi)存后訓(xùn)練速度會(huì)快很多。訓(xùn)練不收斂。準(zhǔn)確率一直徘徊在類別數(shù)的倒數(shù)附近說(shuō)明模型根本沒(méi)有在學(xué)。先檢查數(shù)據(jù)歸一化再看學(xué)習(xí)率0.01以上的學(xué)習(xí)率在Adam里對(duì)很多小網(wǎng)絡(luò)來(lái)說(shuō)已經(jīng)偏大了降到0.001甚至0.0001試試。4.3 答辯時(shí)容易被追問(wèn)的幾個(gè)問(wèn)題第一個(gè)問(wèn)題為什么LSTM出現(xiàn)在圖像識(shí)別課設(shè)里如果項(xiàng)目里L(fēng)STM只是跑了一個(gè)波段序列分類而且精度不高這個(gè)設(shè)計(jì)就會(huì)被質(zhì)疑。答法可以是“LSTM在本項(xiàng)目里定位為擴(kuò)展實(shí)驗(yàn)遙感圖像普遍存在多時(shí)相觀測(cè)的特點(diǎn)通過(guò)LSTM建模時(shí)序變化目的是探索傳統(tǒng)單幀分類之外的可能性?！边@個(gè)回答既誠(chéng)實(shí)又體現(xiàn)思考。第二個(gè)問(wèn)題參數(shù)是怎么調(diào)出來(lái)的不能只答“試出來(lái)的”。要說(shuō)出方法比如SVM的C和gamma是網(wǎng)格搜索加五折交叉驗(yàn)證CNN的學(xué)習(xí)率觀察訓(xùn)練曲線手動(dòng)調(diào)整LSTM隱藏層維度參考了特征維度并做了小范圍實(shí)驗(yàn)。有方法、有過(guò)程很容易過(guò)。第三個(gè)問(wèn)題每個(gè)算法的局限性是什么對(duì)照表整理好算法主要局限SVM特征工程成本高大數(shù)據(jù)集上訓(xùn)練慢KNN維度災(zāi)難推理速度慢每次都要算全部樣本距離CNN需要大量數(shù)據(jù)和算力可解釋性差LSTM序列建模復(fù)雜單幀圖像任務(wù)上沒(méi)有優(yōu)勢(shì)4.4 文檔寫(xiě)作的加分細(xì)節(jié)說(shuō)明文檔除了寫(xiě)算法原理一定要把“實(shí)驗(yàn)設(shè)計(jì)邏輯”講清楚。比如為什么用分層采樣劃分?jǐn)?shù)據(jù)集、為什么選F1和Kappa作為評(píng)價(jià)指標(biāo)、每個(gè)算法的實(shí)驗(yàn)條件是否控制一致。一個(gè)常見(jiàn)扣分點(diǎn)是CNN用了數(shù)據(jù)增強(qiáng)SVM沒(méi)有導(dǎo)致結(jié)果差異無(wú)法判斷是算法引起的還是實(shí)驗(yàn)條件不同引起的。所有算法必須在同一測(cè)試集、同一類別劃分下評(píng)估這才是有效對(duì)比。README里把運(yùn)行環(huán)境、依賴版本、數(shù)據(jù)下載方式、每個(gè)腳本的用法都寫(xiě)清楚。給指導(dǎo)老師或者評(píng)閱人復(fù)現(xiàn)實(shí)驗(yàn)時(shí)能少很多麻煩。這個(gè)課設(shè)做下來(lái)最大的收獲不是把四個(gè)算法跑通而是建立了做對(duì)比實(shí)驗(yàn)的思維方式。先用傳統(tǒng)算法跑出基線再去驗(yàn)證深度學(xué)習(xí)能不能做得更好這個(gè)思路在后續(xù)很多項(xiàng)目里都通用。如果時(shí)間還有富余可以考慮加一個(gè)不做數(shù)據(jù)增強(qiáng)的CNN作為消融對(duì)比或者試一下在LSTM前面接CNN提取空間特征這些改進(jìn)都能讓你的報(bào)告在同組同學(xué)里顯得更有分量。本文還有配套的精品資源點(diǎn)擊獲取 遙感圖像識(shí)別：SVM、KNN、CNN與LSTM算法對(duì)比及Python實(shí)現(xiàn)
簡(jiǎn)介機(jī)器學(xué)習(xí)與深度學(xué)習(xí)在圖像分類任務(wù)中各有優(yōu)勢(shì)傳統(tǒng)算法如SVM和KNN依賴手工特征設(shè)計(jì)而CNN和LSTM則通過(guò)端到端方式自動(dòng)學(xué)習(xí)特征。SVM通過(guò)核函數(shù)映射解決線性不可分問(wèn)題KNN基于距離投票卻易受維度災(zāi)難影響CNN擅長(zhǎng)捕捉空間紋理結(jié)構(gòu)LSTM則適用于多時(shí)相遙感序列建模。在遙感圖像識(shí)別場(chǎng)景中選擇合適的算法需要權(quán)衡數(shù)據(jù)規(guī)模、特征工程成本與模型泛化能力。本文以EuroSAT數(shù)據(jù)集為例詳細(xì)解析四種算法的原理、關(guān)鍵實(shí)現(xiàn)細(xì)節(jié)及工程實(shí)踐并給出橫向?qū)Ρ冉Y(jié)果幫助讀者建立從傳統(tǒng)方法到深度學(xué)習(xí)的完整認(rèn)知為課設(shè)或?qū)嶋H項(xiàng)目中的算法選型提供參考。 這學(xué)期幫好幾個(gè)準(zhǔn)備期末課設(shè)的同學(xué)看過(guò)同一類項(xiàng)目就是用四種算法做同一件遙感圖像識(shí)別任務(wù)源碼一通跑文檔寫(xiě)得也還算完整但到了答辯或?qū)憣?shí)驗(yàn)報(bào)告的時(shí)候經(jīng)常被問(wèn)到“為什么選這幾種算法”“SVM和CNN的區(qū)別到底在哪”“LSTM不是做時(shí)間序列的嗎憑什么用在圖像里”。這些問(wèn)題的本質(zhì)是把四個(gè)算法硬塞進(jìn)一個(gè)項(xiàng)目里卻沒(méi)有真正理解它們各自的位置。這個(gè)項(xiàng)目標(biāo)題里正好集合了遙感圖像識(shí)別、Python實(shí)現(xiàn)、SVM、KNN、CNN、LSTM這幾個(gè)關(guān)鍵詞看起來(lái)像是把機(jī)器學(xué)習(xí)、深度學(xué)習(xí)最常見(jiàn)的一套算法都涵蓋了。說(shuō)實(shí)話這類課設(shè)題目設(shè)計(jì)得是很典型的“橫向?qū)Ρ刃汀表?xiàng)目考試重點(diǎn)不是某一個(gè)算法有多先進(jìn)而是你能不能把這四種算法放到同一張實(shí)驗(yàn)對(duì)比表里然后講清楚它們各自的特點(diǎn)、適用場(chǎng)景和結(jié)果差異。這篇就把這個(gè)項(xiàng)目從數(shù)據(jù)準(zhǔn)備、算法原理、代碼實(shí)現(xiàn)到避坑細(xì)節(jié)全部拆開(kāi)講一遍幫你把這份課設(shè)真正吃透。1. 項(xiàng)目整體設(shè)計(jì)四種算法放在同一個(gè)遙感任務(wù)里各自扮演什么角色1.1 算法的分組邏輯與分工做課設(shè)或者畢設(shè)最忌諱的是把代碼抄過(guò)來(lái)能跑就跑卻不清楚為什么是這四種算法湊在一起。先想清楚分組邏輯后面所有實(shí)驗(yàn)設(shè)計(jì)都會(huì)順理成章。這四種算法天然可以分成兩組。SVM支持向量機(jī)和KNNK近鄰屬于傳統(tǒng)機(jī)器學(xué)習(xí)算法它們有一個(gè)共同特點(diǎn)不能直接吃原始圖像需要先手工設(shè)計(jì)特征再用特征向量去做分類。CNN卷積神經(jīng)網(wǎng)絡(luò)和LSTM長(zhǎng)短期記憶網(wǎng)絡(luò)屬于深度學(xué)習(xí)算法端到端學(xué)習(xí)模型自己從數(shù)據(jù)里學(xué)特征。但在遙感圖像識(shí)別這個(gè)任務(wù)里CNN和LSTM的定位又不一樣CNN擅長(zhǎng)捕捉圖像的空間結(jié)構(gòu)特征比如地塊的形狀、紋理、邊緣LSTM本來(lái)是做序列數(shù)據(jù)的在遙感里更適合處理多時(shí)相影像——也就是同一片區(qū)域在不同時(shí)間拍攝的影像序列或者把多光譜波段拉成序列來(lái)建模。所以如果你的課設(shè)只有單張影像分類CNN是絕對(duì)主力SVM和KNN是傳統(tǒng)基線模型而LSTM需要設(shè)計(jì)成“做時(shí)序變化分析”或者“對(duì)波段序列建?！薄＿@樣四種算法就形成了兩條技術(shù)路線傳統(tǒng)路線手工設(shè)計(jì)特征顏色統(tǒng)計(jì)、紋理、植被指數(shù)→ SVM / KNN 分類深度學(xué)習(xí)路線端到端特征學(xué)習(xí) → CNN 做單幀影像分類LSTM 做多時(shí)相序列建模理解了這條主線后續(xù)代碼怎么寫(xiě)、實(shí)驗(yàn)報(bào)告怎么組織都不會(huì)亂。1.2 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)的選擇遙感圖像識(shí)別方向的公開(kāi)數(shù)據(jù)集選擇余地很大課設(shè)規(guī)模不能太大不然訓(xùn)練時(shí)間扛不住也不能太小否則算法對(duì)比沒(méi)有說(shuō)服力。比較推薦的是EuroSAT數(shù)據(jù)集它是基于哨兵-2衛(wèi)星的多光譜影像包含10個(gè)地物類別每個(gè)類別有2000到3000個(gè)樣本圖像尺寸是64x64非常適合在這個(gè)尺寸上跑SVM、KNN和一個(gè)小型CNN。如果不想用多光譜可以退到RGB三個(gè)波段很多公開(kāi)數(shù)據(jù)集提供的就是RGB合成圖。UC Merced土地利用數(shù)據(jù)集也是常見(jiàn)選擇21類場(chǎng)景每類100張缺點(diǎn)是樣本太少深度學(xué)習(xí)模型容易過(guò)擬合更適合只做傳統(tǒng)機(jī)器學(xué)習(xí)算法的對(duì)比。數(shù)據(jù)準(zhǔn)備好之后訓(xùn)練集、驗(yàn)證集、測(cè)試集建議按6:2:2劃分而且劃分時(shí)要保持每個(gè)類別的比例一致專業(yè)說(shuō)法叫分層采樣。這一步很多人不注意直接用隨機(jī)劃分結(jié)果某個(gè)小類別在訓(xùn)練集里只有幾個(gè)樣本模型直接把這個(gè)類別忽略了。評(píng)價(jià)指標(biāo)不能只盯著準(zhǔn)確率Accuracy看。遙感數(shù)據(jù)常存在類別不平衡問(wèn)題比如水體面積大的區(qū)域水體樣本占了一半模型把所有樣本都判成水體也能有很高的準(zhǔn)確率但沒(méi)有實(shí)際意義。所以除了Accuracy還要看Kappa系數(shù)、查準(zhǔn)率Precision、查全率Recall和F1值。Kappa系數(shù)在遙感分類領(lǐng)域幾乎是必用指標(biāo)它衡量的是分類結(jié)果和真實(shí)類別之間的一致性程度把隨機(jī)猜的成分剔除掉了。報(bào)告中放一張對(duì)比表格四個(gè)算法的Accuracy、Kappa、F1并列一眼就能看出高低。2. 四種算法核心原理與關(guān)鍵實(shí)現(xiàn)要點(diǎn)2.1 SVM先解決線性不可分再調(diào)好C和gammaSVM的基本思想是在特征空間里找一個(gè)最優(yōu)超平面把不同類別的樣本分開(kāi)而且要讓這個(gè)超平面到兩邊最近樣本支持向量的距離最大。遙感圖像低層特征在高維空間通常不是線性可分的所以要用核函數(shù)把數(shù)據(jù)映射到更高維的空間然后再找超平面。RBF徑向基函數(shù)核是默認(rèn)首選它只有一個(gè)gamma參數(shù)實(shí)現(xiàn)簡(jiǎn)單能夠處理非線性關(guān)系。真正決定SVM效果好壞的是C和gamma這兩個(gè)參數(shù)。C是懲罰系數(shù)控制你有多重視分類錯(cuò)誤的樣本。C太大模型會(huì)拼命讓訓(xùn)練集分類正確容易過(guò)擬合C太小模型太寬松容易欠擬合。gamma控制RBF核的影響范圍gamma越大決策邊界越彎曲越容易過(guò)擬合gamma越小邊界越平滑。最穩(wěn)妥的方法是網(wǎng)格搜索加交叉驗(yàn)證scikit-learn里的GridSearchCV就是干這個(gè)的幾行代碼能把參數(shù)字典里的組合全跑一遍。SVM不能直接吃原始圖像需要先做特征工程。遙感課設(shè)里常用的手工特征包括光譜特征R、G、B三個(gè)通道的均值、標(biāo)準(zhǔn)差、分位數(shù)多光譜數(shù)據(jù)還可以算各波段的統(tǒng)計(jì)量紋理特征灰度共生矩陣GLCM導(dǎo)出的對(duì)比度、相關(guān)性、能量、同質(zhì)性植被指數(shù)NDVI就是近紅外波段和紅光波段的差值與和的比值對(duì)植被覆蓋區(qū)識(shí)別特別有效把這些特征拼成一個(gè)向量比如光譜統(tǒng)計(jì)特征12維加紋理特征4維加NDVI 1維得到17維的特征向量再喂給SVM。scikit-learn里的實(shí)現(xiàn)非常簡(jiǎn)潔from sklearn.svm import SVC from sklearn.model_selection import GridSearchCV param_grid { C: [0.1, 1, 10, 100], gamma: [0.001, 0.01, 0.1, 1] } svm SVC(kernelrbf, class_weightbalanced) grid GridSearchCV(svm, param_grid, cv5, scoringf1_macro) grid.fit(X_train_features, y_train) print(grid.best_params_)2.2 KNN別小看這個(gè)“惰性學(xué)習(xí)”算法KNN的原理比SVM簡(jiǎn)單得多一個(gè)樣本的類別由它特征空間里距離最近的K個(gè)訓(xùn)練樣本投票決定。這里有兩個(gè)問(wèn)題K怎么選距離怎么算。K太小決策邊界非常敏感一個(gè)噪聲點(diǎn)就能改變分類結(jié)果K太大會(huì)把遠(yuǎn)處類別差異很大的樣本也拉進(jìn)來(lái)投票。實(shí)踐經(jīng)驗(yàn)是K取3到5比較常用具體值可以通過(guò)交叉驗(yàn)證試出來(lái)。距離度量最常用的是歐氏距離但要注意不同特征的量綱可能差很多。比如光譜均值可能是0到255而NDVI只有-1到1如果不做標(biāo)準(zhǔn)化NDVI這個(gè)維度的貢獻(xiàn)會(huì)被完全忽略。所以KNN之前必須做特征標(biāo)準(zhǔn)化用StandardScaler把每個(gè)特征維度變成均值為0、方差為1的分布。KNN在遙感圖像上沒(méi)有SVM能打主要原因是維度災(zāi)難。特征向量維度高了之后樣本之間的距離差異不再明顯最近鄰的效果會(huì)退化。代碼邏輯非常簡(jiǎn)單from sklearn.neighbors import KNeighborsClassifier from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train_features) X_test_scaled scaler.transform(X_test_features) knn KNeighborsClassifier(n_neighbors5, weightsdistance, metriceuclidean) knn.fit(X_train_scaled, y_train)很多人會(huì)把KNN和K-Means搞混。K-Means是無(wú)監(jiān)督聚類算法它沒(méi)有標(biāo)簽?zāi)繕?biāo)是把樣本分成K組組內(nèi)距離最小KNN是有監(jiān)督分類需要有標(biāo)簽的訓(xùn)練集K的含義也完全不同。熱詞里提到了“knn和kmeans算法關(guān)系”這兩個(gè)名字像但做的事完全不一樣答辯的時(shí)候經(jīng)常被問(wèn)到建議提前理清楚。2.3 CNN用卷積核自動(dòng)學(xué)習(xí)圖像特征CNN解決的是手工特征設(shè)計(jì)的瓶頸。SVM和KNN都需要人為決定提取什么特征而CNN通過(guò)卷積核自動(dòng)從原始像素學(xué)特征。卷積層用一個(gè)小窗口比如3x3在圖像上滑動(dòng)每個(gè)位置做內(nèi)積運(yùn)算提取局部模式多次卷積疊加低層學(xué)到邊緣和紋理高層學(xué)到更抽象的地物結(jié)構(gòu)池化層壓縮特征圖尺寸保留主要信息同時(shí)減輕過(guò)擬合。整個(gè)過(guò)程像搭積木。課設(shè)規(guī)模的CNN不需要設(shè)計(jì)太深三層卷積加全連接足夠import torch.nn as nn class RemoteNet(nn.Module): def __init__(self, num_classes10): super().__init__() self.features nn.Sequential( nn.Conv2d(3, 16, 3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(16, 32, 3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(32, 64, 3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2) ) self.classifier nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Flatten(), nn.Linear(64, 128), nn.ReLU(inplaceTrue), nn.Dropout(0.5), nn.Linear(128, num_classes) ) def forward(self, x): x self.features(x) x self.classifier(x) return x訓(xùn)練時(shí)交叉熵?fù)p失函數(shù)配合Adam優(yōu)化器學(xué)習(xí)率從0.001起步。遙感數(shù)據(jù)集樣本量不大強(qiáng)烈建議使用數(shù)據(jù)增強(qiáng)隨機(jī)水平翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)、隨機(jī)裁剪、色彩抖動(dòng)。卷積網(wǎng)絡(luò)對(duì)翻轉(zhuǎn)和旋轉(zhuǎn)有一定敏感性數(shù)據(jù)增強(qiáng)不僅增加樣本多樣性還能大幅降低過(guò)擬合。如果訓(xùn)練收斂很慢檢查一下輸入數(shù)據(jù)有沒(méi)有歸一化到0到1之間原始像素0到255不歸一化梯度更新會(huì)非常不穩(wěn)定。如果課設(shè)想追求更高的精度可以直接上遷移學(xué)習(xí)加載ImageNet預(yù)訓(xùn)練的ResNet18把最后一層全連接改成自己的類別數(shù)然后只訓(xùn)練最后一層或者對(duì)整個(gè)網(wǎng)絡(luò)做微調(diào)。在中小規(guī)模數(shù)據(jù)集上遷移學(xué)習(xí)的效果往往比自己從頭訓(xùn)練小網(wǎng)絡(luò)好得多。2.4 LSTM把遙感數(shù)據(jù)變成序列再建模在遙感圖像識(shí)別的題目里L(fēng)STM的位置最容易被搞錯(cuò)。LSTM處理的是序列數(shù)據(jù)不是單張靜態(tài)圖像。所以如果課設(shè)的數(shù)據(jù)只有單時(shí)相的影像直接用LSTM去讀原始像素是不合理的。常見(jiàn)也合理的做法有兩種。第一種用多時(shí)相遙感序列。同一塊區(qū)域在不同時(shí)間點(diǎn)的影像按照時(shí)間排列每一幀經(jīng)過(guò)CNN提特征得到一個(gè)特征向量把所有時(shí)間點(diǎn)的特征向量組成序列作為L(zhǎng)STM的輸入。這樣既能利用空間特征又能建模地物隨時(shí)間的變化常用于作物分類、土地利用變化檢測(cè)。第二種把多光譜波段當(dāng)作序列。遙感影像有多個(gè)波段比如哨兵-2有13個(gè)波段可以將每個(gè)波段的空間信息通過(guò)統(tǒng)計(jì)或者小規(guī)模CNN提取成一個(gè)特征然后按波段順序送進(jìn)LSTM。這種做法的本質(zhì)是把光譜維度當(dāng)作序列維度。LSTM相比傳統(tǒng)RNN多了遺忘門、輸入門和輸出門三個(gè)門控機(jī)制。遺忘門決定上一時(shí)刻的隱藏狀態(tài)有多少被保留下來(lái)輸入門決定當(dāng)前輸入有多少寫(xiě)入細(xì)胞狀態(tài)輸出門決定當(dāng)前細(xì)胞狀態(tài)有多少輸出到隱藏層。這套機(jī)制讓LSTM能夠記憶長(zhǎng)距離依賴。放到遙感場(chǎng)景里就是幾個(gè)月前的植被狀態(tài)信息也能保留下來(lái)對(duì)當(dāng)前作物類別的判斷產(chǎn)生影響。PyTorch里調(diào)用LSTM非常方便import torch.nn as nn class LSTMPredictor(nn.Module): def __init__(self, input_size, hidden_size, num_classes10): super().__init__() self.lstm nn.LSTM(input_size, hidden_size, num_layers2, batch_firstTrue) self.fc nn.Linear(hidden_size, num_classes) def forward(self, x): # x shape: (batch, seq_len, input_size) out, _ self.lstm(x) # 取最后一個(gè)時(shí)間步的隱藏狀態(tài) out out[:, -1, :] return self.fc(out)課設(shè)里L(fēng)STM的精度大概率不如CNN這是正常的因?yàn)閱螏瑘D像的空間特征才是分類的主線索。報(bào)告里可以說(shuō)清楚LSTM的定位是多時(shí)相變化建模的擴(kuò)展實(shí)驗(yàn)這也更符合實(shí)際應(yīng)用方向。3. 實(shí)操流程與工程化細(xì)節(jié)3.1 環(huán)境配置與項(xiàng)目結(jié)構(gòu)這套代碼的依賴比較常規(guī)。傳統(tǒng)機(jī)器學(xué)習(xí)部分只需要numpy、scikit-learn、opencv-python、tifffile或rasterio做遙感影像讀取深度學(xué)習(xí)部分需要PyTorch或TensorFlow建議用PyTorch生態(tài)和資料都更友好。如果只是跑通代碼CPU也能完成EuroSAT數(shù)據(jù)集規(guī)模下CNN訓(xùn)練時(shí)間大約是CPU上十幾分鐘一個(gè)epoch跑5到10個(gè)epoch可接受如果想訓(xùn)練更快可以租云GPU或者用Google Colab的免費(fèi)GPU。項(xiàng)目目錄可以這樣組織remote_sensing_classification/ ├── data/ # 數(shù)據(jù)集存放位置 ├── features/ # 手工特征提取結(jié)果緩存 ├── models/ # 訓(xùn)練好的模型權(quán)重 ├── results/ # 實(shí)驗(yàn)記錄、混淆矩陣圖片 ├── scripts/ │ ├── data_prepare.py # 數(shù)據(jù)加載和劃分 │ ├── extract_features.py # 手工特征提取 │ ├── train_svm_knn.py # 傳統(tǒng)算法訓(xùn)練評(píng)估 │ ├── train_cnn.py # CNN訓(xùn)練腳本 │ ├── train_lstm.py # LSTM訓(xùn)練腳本 │ └── eval_all.py # 統(tǒng)一評(píng)估和對(duì)比表生成 └── README.md # 項(xiàng)目說(shuō)明這種結(jié)構(gòu)有兩個(gè)好處第一不只是交源碼而是完整的工程組織指導(dǎo)老師看到會(huì)加分第二后續(xù)自己改代碼時(shí)邏輯清晰不容易踩到“上一個(gè)腳本把變量名覆蓋了”這種低級(jí)問(wèn)題。3.2 數(shù)據(jù)處理管線傳統(tǒng)算法和深度學(xué)習(xí)算法的數(shù)據(jù)處理管線完全不同。傳統(tǒng)算法那邊關(guān)鍵是特征矩陣的構(gòu)建。把一張圖像讀進(jìn)來(lái)轉(zhuǎn)換成RGB數(shù)組計(jì)算各波段統(tǒng)計(jì)量、GLCM紋理特征、NDVI等拼接成一行特征向量。所有圖像處理完之后得到一整個(gè)特征矩陣X和標(biāo)簽向量y再做訓(xùn)練測(cè)試集劃分和標(biāo)準(zhǔn)化。深度學(xué)習(xí)那邊用PyTorch的話核心是自定義Dataset類。需要實(shí)現(xiàn)三個(gè)方法__init__里把圖像路徑和標(biāo)簽讀進(jìn)來(lái)__getitem__里完成圖像讀取、數(shù)據(jù)增強(qiáng)和格式轉(zhuǎn)換__len__返回樣本總數(shù)。加載圖像時(shí)要注意統(tǒng)一尺寸如果數(shù)據(jù)集中圖像尺寸不完全一致需要Resize到固定尺寸比如64x64。歸一化時(shí)均值和標(biāo)準(zhǔn)差要按數(shù)據(jù)集實(shí)際統(tǒng)計(jì)值算直接抄ImageNet的均值標(biāo)準(zhǔn)差在遙感影像上并不一定合適尤其是多光譜數(shù)據(jù)。3.3 訓(xùn)練與評(píng)估流程訓(xùn)練CNN和LSTM時(shí)記錄每次迭代或者每個(gè)epoch結(jié)束后的訓(xùn)練損失和驗(yàn)證精度繪制訓(xùn)練曲線。如果訓(xùn)練損失下降而驗(yàn)證損失上升就是典型的過(guò)擬合信號(hào)需要加強(qiáng)數(shù)據(jù)增強(qiáng)、加大Dropout、或者直接使用早停機(jī)制——當(dāng)驗(yàn)證集精度在連續(xù)若干個(gè)epoch內(nèi)不再提升時(shí)停止訓(xùn)練保存最優(yōu)模型。評(píng)估階段四個(gè)算法需要用同一個(gè)測(cè)試集來(lái)測(cè)試否則對(duì)比沒(méi)有意義。測(cè)試完成后生成混淆矩陣直觀看出哪些類別之間容易互相混淆。遙感分類里常見(jiàn)的是植被類和裸土類混淆因?yàn)樗鼈兊墓庾V特征在某些時(shí)相下有重疊。結(jié)果對(duì)比表模板如下算法特征類型AccuracyKappaF1宏平均訓(xùn)練時(shí)長(zhǎng)SVM手工特征0.870.850.8612秒KNN手工特征0.820.790.815秒CNN端到端學(xué)習(xí)0.930.920.9223分鐘LSTM波段序列建模0.780.750.7731分鐘這張表就是一份實(shí)驗(yàn)報(bào)告的核心。通過(guò)橫向?qū)Ρ葌鹘y(tǒng)算法依賴人工特征設(shè)計(jì)SVM在小樣本和高維特征上依然穩(wěn)健CNN實(shí)現(xiàn)了特征自動(dòng)學(xué)習(xí)精度明顯更高LSTM在單幀分類上不占優(yōu)勢(shì)但在時(shí)序任務(wù)里潛力更大。4. 常見(jiàn)問(wèn)題與避坑手冊(cè)4.1 傳統(tǒng)算法精度為什么比深度學(xué)習(xí)差如果你在報(bào)告中SVM的精度比CNN還高不要覺(jué)得奇怪。在樣本量小、特征設(shè)計(jì)合理的情況下SVM的表現(xiàn)可以非常好。深度學(xué)習(xí)需要大量數(shù)據(jù)才能發(fā)揮優(yōu)勢(shì)。遇到這種情況分析時(shí)要客觀SVM高精度靠的是人工特征設(shè)計(jì)換一個(gè)數(shù)據(jù)集不一定仍然有效CNN雖然精度稍低但端到端的特征學(xué)習(xí)能力意味著更強(qiáng)的泛化潛力。做課設(shè)比的是分析能力不是簡(jiǎn)單地比精度數(shù)字。最需要警惕的是過(guò)擬合。CNN參數(shù)量大訓(xùn)練集只有幾千張時(shí)模型很容易“背下”訓(xùn)練集。一個(gè)有效的檢驗(yàn)手段如果訓(xùn)練準(zhǔn)確率達(dá)到百分之九十九測(cè)試準(zhǔn)確率卻低了十個(gè)百分點(diǎn)以上那基本可以確定過(guò)擬合了趕緊上數(shù)據(jù)增強(qiáng)和Dropout。4.2 代碼層面的典型報(bào)錯(cuò)與修復(fù)思路維度對(duì)不上。KNN和SVM要求輸入是二維矩陣即樣本數(shù)特征維度。如果你把原始圖像直接拉成一維數(shù)組比如64x64x3等于12288維雖然SVM也能跑但效果通常不好而且訓(xùn)練時(shí)間會(huì)長(zhǎng)很多。還有人在CNN訓(xùn)練時(shí)報(bào)錯(cuò)維度不匹配常見(jiàn)原因是全連接層的輸入維度和特征圖展開(kāi)后的維度沒(méi)算清楚。解決方法是先打印每一層的輸出shape逐層核對(duì)。數(shù)據(jù)加載慢。遙感影像單個(gè)tif文件可能很大如果每讀一個(gè)樣本都重新讀取一次文件訓(xùn)練時(shí)就會(huì)一直卡在IO上。建議把所有圖像緩存到內(nèi)存里或者用numpy的.npy格式預(yù)處理數(shù)據(jù)。EuroSAT這種規(guī)模的數(shù)據(jù)集緩存進(jìn)內(nèi)存后訓(xùn)練速度會(huì)快很多。訓(xùn)練不收斂。準(zhǔn)確率一直徘徊在類別數(shù)的倒數(shù)附近說(shuō)明模型根本沒(méi)有在學(xué)。先檢查數(shù)據(jù)歸一化再看學(xué)習(xí)率0.01以上的學(xué)習(xí)率在Adam里對(duì)很多小網(wǎng)絡(luò)來(lái)說(shuō)已經(jīng)偏大了降到0.001甚至0.0001試試。4.3 答辯時(shí)容易被追問(wèn)的幾個(gè)問(wèn)題第一個(gè)問(wèn)題為什么LSTM出現(xiàn)在圖像識(shí)別課設(shè)里如果項(xiàng)目里L(fēng)STM只是跑了一個(gè)波段序列分類而且精度不高這個(gè)設(shè)計(jì)就會(huì)被質(zhì)疑。答法可以是“LSTM在本項(xiàng)目里定位為擴(kuò)展實(shí)驗(yàn)遙感圖像普遍存在多時(shí)相觀測(cè)的特點(diǎn)通過(guò)LSTM建模時(shí)序變化目的是探索傳統(tǒng)單幀分類之外的可能性?！边@個(gè)回答既誠(chéng)實(shí)又體現(xiàn)思考。第二個(gè)問(wèn)題參數(shù)是怎么調(diào)出來(lái)的不能只答“試出來(lái)的”。要說(shuō)出方法比如SVM的C和gamma是網(wǎng)格搜索加五折交叉驗(yàn)證CNN的學(xué)習(xí)率觀察訓(xùn)練曲線手動(dòng)調(diào)整LSTM隱藏層維度參考了特征維度并做了小范圍實(shí)驗(yàn)。有方法、有過(guò)程很容易過(guò)。第三個(gè)問(wèn)題每個(gè)算法的局限性是什么對(duì)照表整理好算法主要局限SVM特征工程成本高大數(shù)據(jù)集上訓(xùn)練慢KNN維度災(zāi)難推理速度慢每次都要算全部樣本距離CNN需要大量數(shù)據(jù)和算力可解釋性差LSTM序列建模復(fù)雜單幀圖像任務(wù)上沒(méi)有優(yōu)勢(shì)4.4 文檔寫(xiě)作的加分細(xì)節(jié)說(shuō)明文檔除了寫(xiě)算法原理一定要把“實(shí)驗(yàn)設(shè)計(jì)邏輯”講清楚。比如為什么用分層采樣劃分?jǐn)?shù)據(jù)集、為什么選F1和Kappa作為評(píng)價(jià)指標(biāo)、每個(gè)算法的實(shí)驗(yàn)條件是否控制一致。一個(gè)常見(jiàn)扣分點(diǎn)是CNN用了數(shù)據(jù)增強(qiáng)SVM沒(méi)有導(dǎo)致結(jié)果差異無(wú)法判斷是算法引起的還是實(shí)驗(yàn)條件不同引起的。所有算法必須在同一測(cè)試集、同一類別劃分下評(píng)估這才是有效對(duì)比。README里把運(yùn)行環(huán)境、依賴版本、數(shù)據(jù)下載方式、每個(gè)腳本的用法都寫(xiě)清楚。給指導(dǎo)老師或者評(píng)閱人復(fù)現(xiàn)實(shí)驗(yàn)時(shí)能少很多麻煩。這個(gè)課設(shè)做下來(lái)最大的收獲不是把四個(gè)算法跑通而是建立了做對(duì)比實(shí)驗(yàn)的思維方式。先用傳統(tǒng)算法跑出基線再去驗(yàn)證深度學(xué)習(xí)能不能做得更好這個(gè)思路在后續(xù)很多項(xiàng)目里都通用。如果時(shí)間還有富余可以考慮加一個(gè)不做數(shù)據(jù)增強(qiáng)的CNN作為消融對(duì)比或者試一下在LSTM前面接CNN提取空間特征這些改進(jìn)都能讓你的報(bào)告在同組同學(xué)里顯得更有分量。本文還有配套的精品資源點(diǎn)擊獲取