很多做課程設(shè)計和畢業(yè)設(shè)計的朋友一上來就盯著“深度學(xué)習”和“識別”這些關(guān)鍵詞覺得水果識別項目無非是套個模型調(diào)參跑準確率。但我做了幾年圖像相關(guān)項目之后回頭看這個題目能火不是沒有道理——它的工程量非常完整從數(shù)據(jù)到訓(xùn)練到評估再到部署幾乎把機器學(xué)習流程里所有“能踩的坑”都給你安排了一遍。這篇文章把完整思路和實操記錄做個復(fù)盤給正在做或者準備做這個題目的同學(xué)一份可以直接抄作業(yè)的參考。1. 項目現(xiàn)狀與整體設(shè)計思路1.1 這類題目到底在練什么水果分類任務(wù)本身并不難難的是把一個完整的深度學(xué)習項目“走通”。很多同學(xué)以為難點在模型結(jié)構(gòu)實際上真正拉開差距的地方在于你拿到的原始圖片質(zhì)量參差不齊光線、背景、遮擋、拍攝角度全都不一樣數(shù)據(jù)預(yù)處理和增強策略如果沒有想清楚再好的模型也白搭。這個項目最大的價值就是逼迫你把圖像分類的完整鏈路自己動手過一遍。從任務(wù)類型上看這屬于典型的單標簽圖像分類問題輸入是一張RGB圖片輸出是預(yù)定義水果類別上的概率分布。常見的類別數(shù)量一般控制在5到15類之間比如蘋果、香蕉、橘子、葡萄、西瓜、草莓、菠蘿這類生活中最常見的品種。類別太少體現(xiàn)不出模型能力類別太多數(shù)據(jù)標注成本會迅速上升5到15類正好是課程設(shè)計和畢業(yè)設(shè)計的“舒適區(qū)”。我遇到的很多參考項目中大家不約而同地選擇了公開的水果數(shù)據(jù)集而不是自己拍攝。原因很現(xiàn)實自己拍攝需要解決光照一致性、背景統(tǒng)一、數(shù)量充足這些個麻煩問題幾小時拍下來可能只剩幾十張能用的圖根本不夠訓(xùn)練。公開數(shù)據(jù)集動輒幾百個類別、上萬張圖片篩選自己需要的類別非常方便。數(shù)據(jù)量上來了模型才能學(xué)到真正穩(wěn)定的特征。1.2 技術(shù)選型方案對比框架選擇上PyTorch是當前高校課程設(shè)計和科研項目里最常見的選擇它的動態(tài)圖機制讓調(diào)試非常直觀打印中間變量、打斷點、臨時代碼修改都很順手。TensorFlow也有不少人在用但2.x版本之后的接口變動比較大很多網(wǎng)上找的教程代碼直接跑不通。如果是以快速完成項目為目標我建議直接選PyTorch穩(wěn)定版配套資源多遇到報錯也好搜索。模型的選型在我看過的方案里基本分為兩派方案類型典型結(jié)構(gòu)優(yōu)點缺點自定義輕量網(wǎng)絡(luò)3到5層卷積全連接結(jié)構(gòu)可控、參數(shù)少、訓(xùn)練快準確率上限不高容易欠擬合預(yù)訓(xùn)練模型遷移ResNet、MobileNet、EfficientNet收斂快、準確率高、省顯存依賴預(yù)訓(xùn)練權(quán)重模型體積較大說實話對于水果識別這個任務(wù)自定義小網(wǎng)絡(luò)在公開數(shù)據(jù)集上往往能跑到90%左右的準確率足夠應(yīng)付課程設(shè)計了。如果目標是畢業(yè)設(shè)計想拿到95%以上的穩(wěn)定準確率加魯棒性那直接用遷移學(xué)習更劃算。遷移學(xué)習的原理也很好理解模型之前在ImageNet那1000類上學(xué)到過大量通用的紋理、邊緣、形狀特征這些特征對識別水果同樣有效。我們只是把最后一層全連接替換成自己的類別數(shù)然后讓模型在水果數(shù)據(jù)上微調(diào)一下權(quán)重。這比從頭訓(xùn)練要快得多也省數(shù)據(jù)。2. 數(shù)據(jù)集準備基礎(chǔ)不牢地動山搖2.1 水果數(shù)據(jù)從哪里來關(guān)于公開數(shù)據(jù)集的選取我在實操中摸索出幾個參考維度。首先是圖片數(shù)量每個類別最好在500張以上少了容易過擬合。其次是背景多樣性盡量選那些圖片背景不單一的數(shù)據(jù)集這樣訓(xùn)練出來的模型在新環(huán)境下泛化能力更好。最后是分辨率統(tǒng)一性原始數(shù)據(jù)集圖片尺寸參差不齊沒關(guān)系后面可以統(tǒng)一處理但如果差異過大縮放會嚴重變形這一步一定要提前留個心眼。我之前看到一個學(xué)生項目里用過一份純白背景的水果數(shù)據(jù)集訓(xùn)練集和驗證集準確率都到了98%結(jié)果拿自己的手機拍一張照片去測準確率直接跌到70%以下。原因就是用純白背景訓(xùn)練模型把“白背景”當成了識別水果的重要特征。這個教訓(xùn)相當?shù)湫秃竺鎸Ρ葦?shù)據(jù)集篩選的時候一定要考慮訓(xùn)練背景和測試背景的差異。處理原始數(shù)據(jù)已經(jīng)是比較磨人的工作了。我用一個簡單的腳本把原始圖片統(tǒng)一改名為類別名加編號方便后續(xù)管理import os import shutil from pathlib import Path source_dir Path(raw_images) target_dir Path(dataset) for idx, img_path in enumerate(source_dir.glob(*.jpg)): label apple # 實際使用時根據(jù)目錄名或元數(shù)據(jù)確定 new_name f{label}_{idx:05d}.jpg shutil.copy(img_path, target_dir / new_name)2.2 預(yù)處理與數(shù)據(jù)增強策略數(shù)據(jù)預(yù)處理的幾個標準步驟統(tǒng)一分辨率、歸一化、數(shù)據(jù)增強。分辨率我一般統(tǒng)一到224x224這是ImageNet預(yù)訓(xùn)練模型的標準輸入尺寸同時也是速度與信息保留的一個均衡點。如果用小模型訓(xùn)練也可以降到128x128訓(xùn)練速度明顯提升但要注意小尺寸可能丟失紋理細節(jié)比如蘋果表皮和梨表皮的區(qū)別就會變得模糊。歸一化這一步很多人容易忽略。PyTorch的預(yù)訓(xùn)練模型默認期望輸入是經(jīng)過特定均值和標準差縮放的這組數(shù)值跟ImageNet統(tǒng)計數(shù)據(jù)的均值標準差保持一致就行mean [0.485, 0.456, 0.406] std [0.229, 0.224, 0.225]數(shù)據(jù)增強我用了隨機水平翻轉(zhuǎn)、隨機旋轉(zhuǎn)、隨機裁剪和顏色抖動這四個組合。增強不是越多越好有些增強操作反而會破壞關(guān)鍵特征。比如對葡萄這種以顏色和形狀為主要特征的水果過強的色彩抖動會讓模型學(xué)到錯誤的信息。我當時在顏色抖動上只調(diào)了很小的幅度亮度、飽和度、對比度變化范圍都控制在10到15%。用torchvision的transforms組合增強非常方便from torchvision import transforms train_transform transforms.Compose([ transforms.RandomResizedCrop(224, scale(0.8, 1.0)), transforms.RandomRotation(15), transforms.RandomHorizontalFlip(), transforms.ColorJitter(brightness0.1, contrast0.1, saturation0.1), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])2.3 數(shù)據(jù)劃分與加載器的編寫數(shù)據(jù)集的劃分需要遵守一個基本原則測試集絕對不能參與訓(xùn)練過程連看都不能看否則就是數(shù)據(jù)泄漏得到的準確率毫無參考價值。我通常按照721比例劃分訓(xùn)練驗證測試三個集合而且要用分層抽樣保證每個類別在各集合里的比例與整體一致。目錄結(jié)構(gòu)采用最常見的形式dataset/ train/ apple/ banana/ orange/ val/ apple/ banana/ orange/ test/ apple/ banana/ orange/加載器我用的是torchvision的ImageFolder配合DataLoader。設(shè)置批次大小的時候要考慮顯存大小我常用的顯存配置情況下batch size設(shè)成32比較穩(wěn)妥batch太大雖然梯度更穩(wěn)但顯存容易爆掉尤其是用了ResNet這種大模型之后。from torchvision import datasets train_dataset datasets.ImageFolder(dataset/train, transformtrain_transform) val_dataset datasets.ImageFolder(dataset/val, transformval_transform) train_loader torch.utils.data.DataLoader( train_dataset, batch_size32, shuffleTrue, num_workers4 ) val_loader torch.utils.data.DataLoader( val_dataset, batch_size32, shuffleFalse, num_workers4 )3. 網(wǎng)絡(luò)模型與核心訓(xùn)練代碼實現(xiàn)3.1 遷移學(xué)習的具體做法模型這塊我最終選了ResNet18。為什么不是ResNet50或者更大的EfficientNet第一水果識別的特征相對簡單用50層的網(wǎng)絡(luò)純屬殺雞用牛刀第二課程設(shè)計的環(huán)境通常不具備很好的GPU條件大模型訓(xùn)練周期長迭代調(diào)參的效率會非常低。ResNet18的34.4%參數(shù)比ResNet50小很多在精度和資源消耗之間取得了很好的平衡。用PyTorch加載預(yù)訓(xùn)練模型并替換分類頭代碼非常簡潔import torch import torch.nn as nn from torchvision import models device torch.device(cuda if torch.cuda.is_available() else cpu) model models.resnet18(weightsmodels.ResNet18_Weights.IMAGENET1K_V1) num_features model.fc.in_features num_classes len(train_dataset.classes) model.fc nn.Sequential( nn.Dropout(0.3), nn.Linear(num_features, 256), nn.ReLU(inplaceTrue), nn.Linear(256, num_classes) ) model model.to(device)替換分類頭的時候有幾個細節(jié)需要格外注意。第一個是Dropout的加入預(yù)訓(xùn)練模型的特征提取層已經(jīng)具備很強的表征能力但新加的隨機初始化全連接層很容易過擬合Dropout能有效緩解這個問題。第二個是中間層的維度256這個值我是參考了幾篇實踐文章后定的太小會損失信息太大又增加過擬合風險。第三是凍結(jié)與解凍的策略問題。關(guān)于凍結(jié)與解凍我在項目初期把所有卷積層參數(shù)都凍結(jié)掉只訓(xùn)練新加的全連接層。這樣做的優(yōu)點非常明顯訓(xùn)練速度快、參數(shù)量極少、不容易過擬合。但我也發(fā)現(xiàn)一個局限——如果數(shù)據(jù)集和目標域差異較大凍結(jié)所有層的效果就不夠理想了。所以我后來選擇了折中方案凍結(jié)前幾層解凍后幾層讓高層特征能根據(jù)水果數(shù)據(jù)做一定程度的調(diào)整。# 凍結(jié)所有層 for param in model.parameters(): param.requires_grad False # 解凍最后兩個殘差塊 for param in model.layer4.parameters(): param.requires_grad True3.2 損失函數(shù)與優(yōu)化器選型思路損失函數(shù)方面多分類問題基本上就是交叉熵損失這一點沒有太多糾結(jié)空間。但優(yōu)化器的選擇我做了幾組對比實驗。Adam收斂快曲線平穩(wěn)適合快速看到效果SGD帶動量收斂稍慢但最終精度往往更高而且泛化性能好一些。我做課程設(shè)計的時候用Adam因為時間緊任務(wù)重快速出結(jié)果最重要。如果是做畢業(yè)設(shè)計想要沖高精度我建議先用Adam跑五十個輪次然后把優(yōu)化器換成帶動量的SGD用小學(xué)習率繼續(xù)微調(diào)往往還能再漲兩個點。學(xué)習率策略這里再啰嗦一句。直接用固定學(xué)習率會導(dǎo)致后期在最優(yōu)解附近來回震蕩我用了CosineAnnealingLR余弦退火策略讓學(xué)習率隨著訓(xùn)練輪次逐步衰減效果比固定學(xué)習率穩(wěn)定很多。optimizer torch.optim.Adam(model.parameters(), lr1e-3, weight_decay1e-4) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max30) criterion nn.CrossEntropyLoss()3.3 完整訓(xùn)練循環(huán)的編寫邏輯訓(xùn)練循環(huán)本身不需要什么奇技淫巧但有一個好習慣需要養(yǎng)成每個輪次都要同時記錄訓(xùn)練集和驗證集的損失與準確率保存最優(yōu)模型。只盯訓(xùn)練集準確率是初學(xué)者最容易犯的錯訓(xùn)練集上表現(xiàn)好不能說明任何問題。for epoch in range(epochs): model.train() train_loss, train_correct 0.0, 0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() train_loss loss.item() * images.size(0) train_correct (outputs.argmax(1) labels).sum().item() model.eval() val_loss, val_correct 0.0, 0 with torch.no_grad(): for images, labels in val_loader: images, labels images.to(device), labels.to(device) outputs model(images) val_loss criterion(outputs, labels).item() * images.size(0) val_correct (outputs.argmax(1) labels).sum().item() train_acc train_correct / len(train_dataset) val_acc val_correct / len(val_dataset) torch.save(model.state_dict(), last_model.pth) if val_acc best_acc: best_acc val_acc torch.save(model.state_dict(), best_model.pth) scheduler.step() print(fEpoch {epoch1}/{epochs} | fTrain Acc: {train_acc:.4f} | Val Acc: {val_acc:.4f})輪次設(shè)置上我用30輪作為初始值配合早停機制——連續(xù)8輪驗證集準確率不上升就停止訓(xùn)練這樣可以有效防止后期無效訓(xùn)練浪費時間。4. 模型評估與結(jié)果分析優(yōu)化4.1 評價指標的正確打開方式準確率是最直觀的評價指標但在樣本不均衡或者某幾類易混淆的情況下單獨看準確率會掩蓋問題。類別不平衡場景下需要額外關(guān)注的是各類別的召回率和精確率。舉個具體例子如果訓(xùn)練集中蘋果圖片有2000張菠蘿只有300張模型可能直接放棄菠蘿這類整體準確率看起來依然很高但菠蘿的召回率會非常難看。我在項目中除了打印整體準確率還會輸出每一類的精確率、召回率和F1值。水果識別中常見的混淆對——蘋果和梨、橘子和橙子光看總體指標很難發(fā)現(xiàn)它們之間的混淆問題逐類別分析一清二楚from sklearn.metrics import classification_report # 假設(shè)y_true為真實標簽列表y_pred為預(yù)測標簽列表 print(classification_report( y_true, y_pred, target_namestrain_dataset.classes, digits4 ))除了指標本身可視化還包括損失曲線和準確率曲線的繪制。普通做法是把訓(xùn)練和驗證的曲線畫在同一張圖里觀察二者的差距可以判斷模型的擬合狀態(tài)。訓(xùn)練損失下降而驗證損失不降反升就是過擬合的典型信號兩者都高則說明模型欠擬合需要增加模型容量或者延長訓(xùn)練時間。4.2 進階優(yōu)化路徑結(jié)果分析完之后優(yōu)化方向大致有幾個。第一是對易混淆類別增強樣本蘋果和梨如果分不清楚增加兩種類別在相似角度、相似顏色背景下的樣本量。第二是調(diào)整損失函數(shù)來懲罰易錯樣本比如Label Smoothing給真實標簽的概率做一點平滑處理降低模型對自身預(yù)測的過度自信對提升泛化能力有幫助。第三是測試時的數(shù)據(jù)增強推理時做多次裁剪然后對預(yù)測概率取平均。我實際測試過TTA測試時增強把每張測試圖做水平翻轉(zhuǎn)后兩次預(yù)測取平均準確率提升了0.5到1個百分點。代價是推理時間翻倍在課程設(shè)計演示時可以加分但在需要實時響應(yīng)的場景里不太劃算。最后的模型選擇上很多人只保存了“最佳驗證準確率”的模型。我后來發(fā)現(xiàn)最佳驗證損失對應(yīng)的模型反而常常表現(xiàn)更好因為它對置信度的校準更加準確不容易在個別樣本上過于激進。所以我在項目里同時保存兩個指標下的最優(yōu)模型對比之后再選最終版本。5. 模型部署與推理接口封裝5.1 導(dǎo)出與加載推理封裝訓(xùn)練完成后的模型不能光放在PyTorch環(huán)境里自嗨課程設(shè)計通常需要做一個演示程序讓人能輸入一張圖片就得到識別結(jié)果。把這個過程封裝成獨立的推理腳本很有必要。import torch from PIL import Image from torchvision import transforms class FruitClassifier: def __init__(self, model_path, class_names, deviceNone): self.device device or ( torch.device(cuda if torch.cuda.is_available() else cpu) ) self.model models.resnet18() num_features self.model.fc.in_features self.model.fc nn.Sequential( nn.Dropout(0.3), nn.Linear(num_features, 256), nn.ReLU(inplaceTrue), nn.Linear(256, len(class_names)) ) self.model.load_state_dict( torch.load(model_path, map_locationself.device) ) self.model.to(self.device) self.model.eval() self.class_names class_names self.transform transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize( mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225] ) ]) def predict(self, image_path): image Image.open(image_path).convert(RGB) tensor self.transform(image).unsqueeze(0).to(self.device) with torch.no_grad(): outputs self.model(tensor) probs torch.nn.functional.softmax(outputs, dim1) conf, idx torch.max(probs, dim1) return self.class_names[idx.item()], conf.item()如果想把項目包裝得完整一點可以用Flask寫一個簡單的HTTP接口讓前端通過Web方式訪問模型。這不難但能讓整個項目從“訓(xùn)練腳本”上升為“可演示系統(tǒng)”答辯時印象分完全不一樣。5.2 部署時容易翻車的細節(jié)部署時最容易出的問題就是訓(xùn)練和推理的預(yù)處理不一致。訓(xùn)練時有RandomCrop和RandomRotation推理時如果也用了隨機增強結(jié)果會不穩(wěn)定。正確的推理前處理是先等比縮放到短邊256再中心裁剪到224。還有一個常見問題圖片格式和通道順序。PIL讀取的圖片是RGB但OpenCV讀出來是BGR很多同學(xué)在部署時混用了兩種讀取方式導(dǎo)致預(yù)測完全錯亂但代碼檢查不出問題。我在推理腳本里統(tǒng)一用PIL讀取并在開頭強制加了一次convert(RGB)把灰度圖或者帶透明通道的PNG統(tǒng)一轉(zhuǎn)成三通道RGB格式。5.3 圖形界面與演示擴展方向有同學(xué)問我是不是一定要做一個GUI界面。我的觀點是如果時間充裕做一個簡單的GUI演示能讓項目完整度上一個臺階。本地Gradio效果方面都很方便——寫幾行代碼就有一個Web界面可以上傳圖片、顯示識別類別和置信度還能拖到手機上展示。畢業(yè)設(shè)計我做的就是用Gradio封裝的界面答辯現(xiàn)場直接拿手機拍了張水果圖片傳上去效果和場面都非常好。import gradio as gr def classify_image(image): label, conf classifier.predict(image) return f識別結(jié)果: {label} (置信度: {conf:.2%}) gr.Interface( fnclassify_image, inputsgr.Image(typepil), outputsgr.Textbox(), title水果識別系統(tǒng) ).launch(shareTrue)6. 常見問題排查與避坑指南6.1 訓(xùn)練不收斂的排查思路訓(xùn)練Loss居高不下或者直接變成NaN是我被問過最多的問題。排查順序很固定——查數(shù)據(jù)、查標簽、查學(xué)習率、查模型輸出。首先確認輸入Tensor里沒有NaN或無窮值打印一下預(yù)處理后的數(shù)據(jù)比如最大值和最小值圖片歸一化之后值域在-2到2左右出現(xiàn)明顯異常數(shù)值就是數(shù)據(jù)問題。其次確認label不是從1開始這看起來無關(guān)緊要但CrossEntropyLoss要求標簽從0開始很多數(shù)據(jù)集索引習慣從1開始一旦錯位整個訓(xùn)練都會亂套。學(xué)習率過大也是Loss變成NaN的高頻原因尤其是用了預(yù)訓(xùn)練模型之后新加的分類層和預(yù)訓(xùn)練層對學(xué)習率的敏感程度不一樣。我見過一個Case初始學(xué)習率直接照抄網(wǎng)上代碼設(shè)成1e-2結(jié)果訓(xùn)練兩次迭代就炸了。用預(yù)訓(xùn)練特征最后一層的學(xué)習率設(shè)置1e-3起步用全凍結(jié)的純線性分類也才用1e-3。如果模型是隨機初始化從頭開始訓(xùn)練那倒是可以稍微大一點但必須配合學(xué)習率預(yù)熱。6.2 過擬合與欠擬合的判斷和調(diào)整過擬合的典型表現(xiàn)是訓(xùn)練準確率持續(xù)逼近100%驗證準確率反而下降。應(yīng)對措施按優(yōu)先級排序增加數(shù)據(jù)增強的強度、降低模型復(fù)雜度、加Dropout、減小batch size、加權(quán)重衰減。我通常先調(diào)整數(shù)據(jù)增強強度因為這是零成本的。欠擬合則相反模型結(jié)構(gòu)表達能力不足或者訓(xùn)練輪次太少。欠擬合的判斷標準是訓(xùn)練集準確率都上不去這時需要換更復(fù)雜的模型或者干脆解凍更多預(yù)訓(xùn)練層。6.3 環(huán)境配置和版本兼容問題深度學(xué)習項目里環(huán)境問題比算法問題更讓人頭大。PyTorch、CUDA、cuDNN、顯存驅(qū)動任何一個版本不匹配都會帶來莫名其妙的報錯。我給出的建議是環(huán)境搭建優(yōu)先采用Anaconda創(chuàng)建獨立虛擬環(huán)境再安裝對應(yīng)版本的PyTorch別在系統(tǒng)環(huán)境里亂裝依賴不然訓(xùn)練數(shù)據(jù)的時候不知道為什么錯的。還有num_workers的設(shè)置Windows系統(tǒng)需要設(shè)置成0否則多進程加載數(shù)據(jù)會出問題Linux系統(tǒng)在遠程調(diào)試環(huán)境里也要設(shè)置成0否則可能報IPC超時錯誤。6.4 若干易混淆類別的針對性優(yōu)化如果混淆矩陣里顯示特定兩類經(jīng)常預(yù)測錯比如橘子和橙子在顏色紋理上很接近可以考慮幾個方向。一是增加這兩類的訓(xùn)練樣本尤其是復(fù)雜背景下的樣本二是對這兩類做專門的裁剪增強讓模型更多地關(guān)注局部特征三是如果特征實在過于接近可以考慮在模型輸出層增加一個“相似類”提示比如當橘子與橙子的置信度誤差小于閾值時輸出提示讓用戶補充觀察其他特征比如口感與硬度但這屬于應(yīng)用層的策略在學(xué)術(shù)報告里要謹慎使用。7. 實際運行結(jié)果與經(jīng)驗總結(jié)這個項目跑下來我對“深度學(xué)習項目”這件事有了非常實際的理解。最初我也以為難點在模型結(jié)構(gòu)上后來發(fā)現(xiàn)真正消耗時間的是數(shù)據(jù)整理、預(yù)處理的一致性、訓(xùn)練過程中的細節(jié)調(diào)試。如果你正準備做類似題目我建議你放更多精力在數(shù)據(jù)準備和評估分析上別急著堆模型、調(diào)大模型先把流程跑通再一步步優(yōu)化。最后推薦試試這個擴展方向在模型輸出的基礎(chǔ)上增加水果新鮮度、大小等級等多任務(wù)預(yù)測項目深度會明顯上一個大臺階。祝各位順利完成自己的設(shè)計和答辯。