1. 搭建開發(fā)環(huán)境與準(zhǔn)備數(shù)據(jù)集1.1 先想清楚框架選型為什么我這次用 PyTorch圖像分類是深度學(xué)習(xí)里最典型、也最適合上手的任務(wù)類型。你在網(wǎng)上隨便一搜這類項(xiàng)目遍地都是但絕大多數(shù)教程要么停留在理論層面要么代碼貼了滿屏卻跑不通。這次我拿模擬項(xiàng)目X的實(shí)戰(zhàn)過程來做演示從環(huán)境搭建一直帶到模型推理把每個(gè)環(huán)節(jié)里的為什么講清楚?？蚣苓x型上PyTorch 和 TensorFlow 各自都有龐大的用戶群我這次選 PyTorch 不是因?yàn)樗?TensorFlow 高級而是因?yàn)樵趫D像分類這個(gè)場景里PyTorch 的動態(tài)計(jì)算圖太適合初學(xué)者做調(diào)試。你在訓(xùn)練過程中想打印某一層的輸出、想臨時(shí)改一下網(wǎng)絡(luò)結(jié)構(gòu)都不用重構(gòu)整個(gè)計(jì)算圖。加上 torchvision 里直接集成了 CIFAR-10、ImageNet 這類經(jīng)典數(shù)據(jù)集的下載接口也有預(yù)訓(xùn)練模型權(quán)重做遷移學(xué)習(xí)非常順手。TensorFlow 當(dāng)然也能做但 Keras 高層 API 封裝太嚴(yán)很多內(nèi)部機(jī)制被隱藏掉了對想深入理解訓(xùn)練過程的人來說不如 PyTorch 直觀。我這里強(qiáng)調(diào)一下版本問題。PyTorch 的 API 在不同版本之間偶有變動比如舊版本的torchvision.transforms里某些函數(shù)在新版本已經(jīng)改了位置。我這次用的是 2.x 版本理論上 1.12 以上都兼容但如果你裝的是很老的版本遇到 API 不存在或者參數(shù)對不上的報(bào)錯(cuò)不要懷疑是自己的代碼寫錯(cuò)了先查一下版本。習(xí)慣上我會用pip show torch確認(rèn)當(dāng)前版本。1.2 安裝依賴最小可運(yùn)行環(huán)境裝環(huán)境不需要裝一堆亂七八糟的包最小集合就四個(gè)torch、torchvision、numpy、matplotlib。分類任務(wù)里 matplotlib 不是必須的但后期看損失曲線、可視化預(yù)測結(jié)果時(shí)沒有它就很痛苦。pip install torch torchvision numpy matplotlib如果你有 NVIDIA 顯卡建議裝 CUDA 版本的 PyTorch。安裝前先用命令nvidia-smi看一下支持的 CUDA 版本然后去 PyTorch 官網(wǎng)選對應(yīng)的安裝命令。沒有顯卡也不用擔(dān)心CPU 版本能跑只是訓(xùn)練慢一些。我最初跑項(xiàng)目時(shí)就是純 CPU 機(jī)器CIFAR-10 一個(gè) epoch 要接近兩分鐘雖然慢但對理解訓(xùn)練流程完全夠用。真實(shí)項(xiàng)目里我見過不少人花大量時(shí)間折騰 GPU 環(huán)境其實(shí)一個(gè)簡單的分類任務(wù)CPU 也完全能撐到模型收斂頂多多等一會兒。裝完之后寫三行代碼驗(yàn)證是否安裝成功import torch import torchvision print(torch.__version__) print(torch.cuda.is_available())如果打印出版本號環(huán)境就算就緒。cuda.is_available()返回 False 不代表失敗只是說明當(dāng)前機(jī)器沒有可用的 GPU。1.3 數(shù)據(jù)集準(zhǔn)備自己整理一個(gè)貓狗分類數(shù)據(jù)目錄很多人一上來就直接調(diào)用torchvision.datasets.CIFAR10這當(dāng)然是最省事的方式。但我建議真正的實(shí)戰(zhàn)項(xiàng)目還是自己整理一份圖片數(shù)據(jù)集因?yàn)楣ぷ骼镉龅降慕^大多數(shù)情況都是你自己的圖片需要手動把數(shù)據(jù)組織成模型能吃的格式。我這次用的是某公開數(shù)據(jù)集里的貓狗圖片大概 25000 張。目錄結(jié)構(gòu)如下data/ train/ cat/ cat_0001.jpg cat_0002.jpg dog/ dog_0001.jpg val/ cat/ cat_0001.jpg dog/ dog_0001.jpg這個(gè)結(jié)構(gòu)看似簡單但它是 torchvision 的ImageFolder直接支持的格式。ImageFolder會自動把每個(gè)子目錄當(dāng)作一個(gè)類別目錄名會變成標(biāo)簽的索引。所以你的目錄命名一定要起對標(biāo)簽名就是最終的分類類別。數(shù)據(jù)劃分的比例上我習(xí)慣按 8:2 拆訓(xùn)練集和驗(yàn)證集。這里有個(gè)經(jīng)驗(yàn)驗(yàn)證集的圖片不要從訓(xùn)練集里復(fù)制應(yīng)該從原始數(shù)據(jù)里獨(dú)立抽樣保證驗(yàn)證集和訓(xùn)練集的圖片沒有任何重疊。如果訓(xùn)練集和驗(yàn)證集有相同圖片驗(yàn)證集的準(zhǔn)確率就會虛高看起來 99% 的模型上線后可能連 80% 都不到。dataset torchvision.datasets.ImageFolder( root./data, transformtransform ) train_size int(0.8 * len(dataset)) val_size len(dataset) - train_size train_dataset, val_dataset torch.utils.data.random_split( dataset, [train_size, val_size] )這段代碼中random_split是隨機(jī)劃分的但它打亂的是索引而不是圖片本身所以圖片不會重復(fù)出現(xiàn)在兩個(gè)集合中。如果你需要更精細(xì)的控制比如確保每類圖片在訓(xùn)練集和驗(yàn)證集中的比例都接近 8:2就需要用分層采樣的方式。不過對于大多數(shù)分類任務(wù)整體 8:2 的比例已經(jīng)足夠了。2. 數(shù)據(jù)預(yù)處理與數(shù)據(jù)增強(qiáng)2.1 歸一化為什么要用固定的均值和方差圖像分類的第一步是數(shù)據(jù)預(yù)處理這個(gè)環(huán)節(jié)看起來不起眼但對最終準(zhǔn)確率的影響非常大。預(yù)處理里最關(guān)鍵的一步是歸一化。一個(gè)常見的誤區(qū)是以為歸一化就是把像素值從 [0, 255] 縮放到 [0, 1]。沒錯(cuò)這個(gè)過程是縮放但真正專業(yè)的做法是用每個(gè)通道的均值和標(biāo)準(zhǔn)差做標(biāo)準(zhǔn)化。標(biāo)準(zhǔn)化公式是x_norm (x - mean) / std為什么不能只做簡單的 [0,1] 縮放因?yàn)樽匀粓D像的 RGB 三個(gè)通道的像素分布并不是均勻的。比如在貓狗照片里綠色通道的均值通常低于紅色通道直接用 [0,1] 縮放會讓網(wǎng)絡(luò)在初始階段對不同通道的響應(yīng)不夠均衡。使用固定均值和標(biāo)準(zhǔn)差后每個(gè)通道的像素分布都被拉成標(biāo)準(zhǔn)正態(tài)分布輸入數(shù)據(jù)的尺度趨于一致網(wǎng)絡(luò)收斂速度會明顯加快。torchvision 里對在 ImageNet 上預(yù)訓(xùn)練的模型標(biāo)準(zhǔn)做法是transform_normalize torchvision.transforms.Normalize( mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225] )這三個(gè)均值和標(biāo)準(zhǔn)差是從 ImageNet 數(shù)據(jù)集統(tǒng)計(jì)出來的。如果你用的是 torchvision 提供的預(yù)訓(xùn)練權(quán)重那就必須用這一組數(shù)值否則遷移學(xué)習(xí)的效果會大打折扣。如果你是自己從零訓(xùn)練模型理論上可以自己統(tǒng)計(jì)數(shù)據(jù)集的均值和方差但絕大多數(shù)人直接用 ImageNet 的那組數(shù)值也能取得不錯(cuò)的效果。2.2 transforms.Compose 中的順序陷阱transforms.Compose是 torchvision 提供的串聯(lián)預(yù)處理操作的工具。我把訓(xùn)練集和驗(yàn)證集分別定義成兩套不同的預(yù)處理流程。訓(xùn)練集完整配置train_transform torchvision.transforms.Compose([ torchvision.transforms.RandomResizedCrop(224), torchvision.transforms.RandomHorizontalFlip(), torchvision.transforms.ColorJitter( brightness0.2, contrast0.2, saturation0.2 ), torchvision.transforms.ToTensor(), torchvision.transforms.Normalize( mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225] ) ])驗(yàn)證集配置val_transform torchvision.transforms.Compose([ torchvision.transforms.Resize(256), torchvision.transforms.CenterCrop(224), torchvision.transforms.ToTensor(), torchvision.transforms.Normalize( mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225] ) ])這里有個(gè)很關(guān)鍵但容易被忽略的點(diǎn)驗(yàn)證集不能做隨機(jī)增強(qiáng)操作。有人圖省事直接給驗(yàn)證集也套了RandomHorizontalFlip導(dǎo)致每次驗(yàn)證的結(jié)果都不一樣評估指標(biāo)不穩(wěn)定最終模型的好壞完全沒法判斷。RandomResizedCrop也一樣它是隨機(jī)裁剪你每次跑驗(yàn)證時(shí)輸入模型的圖片內(nèi)容都不同驗(yàn)證集就失去了穩(wěn)定衡量模型能力的意義。另一個(gè)需要注意的點(diǎn)是ToTensor()必須放在Normalize()之前。ToTensor會把 PIL Image 或 numpy 數(shù)組轉(zhuǎn)成 0-1 之間的浮點(diǎn)數(shù)張量Normalize才能在這個(gè)基礎(chǔ)上做標(biāo)準(zhǔn)化。順序反了會直接報(bào)錯(cuò)。2.3 Dataset 與 DataLoader 的參數(shù)細(xì)節(jié)DataLoader是 PyTorch 里負(fù)責(zé)批量喂數(shù)據(jù)的工具。它的參數(shù)里batch_size的選擇會直接影響訓(xùn)練效果和顯存占用shuffle只在訓(xùn)練集上設(shè)為 Truenum_workers控制子進(jìn)程數(shù)量。以我這次的貓狗分類為例我用的是 64 的 batch size。這個(gè)數(shù)值不是拍腦袋定的取決于顯存大小和單張圖片的尺寸。輸入圖片是 224×224ResNet18 在 12GB 顯存下可以跑到 128但 64 更穩(wěn)妥。batch size 太小比如 8 或 16梯度更新頻率高訓(xùn)練過程會很震蕩模型不容易收斂batch size 太大比如 256 或 512每個(gè) epoch 的步數(shù)少模型的泛化能力可能變?nèi)酢?4 是個(gè)在多數(shù)任務(wù)上都不太會翻車的中間值。num_workers的值我最常用的是 4。如果你的機(jī)器性能一般也可以設(shè) 2甚至 0表示用主進(jìn)程直接加載。設(shè)成 8 不一定更快因?yàn)檫M(jìn)程調(diào)度本身也有開銷而且 Windows 環(huán)境下如果把num_workers設(shè)成非 0 值在 Jupyter 里跑經(jīng)常會遇到重復(fù)導(dǎo)入的問題。train_loader torch.utils.data.DataLoader( train_dataset, batch_size64, shuffleTrue, num_workers4, pin_memoryTrue ) val_loader torch.utils.data.DataLoader( val_dataset, batch_size64, shuffleFalse, num_workers4, pin_memoryTrue )pin_memoryTrue是給 GPU 訓(xùn)練提速用的它讓數(shù)據(jù)存儲在鎖頁內(nèi)存里從 CPU 復(fù)制到 GPU 的傳速更快。如果使用 CPU 訓(xùn)練這個(gè)參數(shù)沒什么意義。這里還有一個(gè)隱藏細(xì)節(jié)驗(yàn)證集的shuffleFalse很重要。除了保證驗(yàn)證結(jié)果穩(wěn)定之外后續(xù)分析錯(cuò)誤樣本時(shí)你還需要知道模型預(yù)測錯(cuò)的是哪些圖、原標(biāo)簽是什么。如果驗(yàn)證集被打亂了你很難把預(yù)測結(jié)果和原始圖片對應(yīng)起來做可視化分析。3. 搭建模型并跑通訓(xùn)練流程3.1 從零訓(xùn)練還是用預(yù)訓(xùn)練模型搭建模型的思路分兩條路從零訓(xùn)練一個(gè) CNN或者用 ImageNet 上預(yù)訓(xùn)練好的模型做遷移學(xué)習(xí)。對新人來說我建議兩條路都走一遍先搭一個(gè)小 CNN 走通全流程再用 ResNet18 做遷移學(xué)習(xí)對比兩者的差距。一個(gè)最簡單的 CNN 結(jié)構(gòu)是這樣import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self, num_classes2): super().__init__() self.features nn.Sequential( nn.Conv2d(3, 32, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2, 2), nn.Conv2d(32, 64, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2, 2), nn.Conv2d(64, 128, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2, 2), ) self.classifier nn.Sequential( nn.Flatten(), nn.Linear(128 * 28 * 28, 256), nn.ReLU(inplaceTrue), nn.Dropout(0.5), nn.Linear(256, num_classes) ) def forward(self, x): return self.classifier(self.features(x))這個(gè)結(jié)構(gòu)里卷積層負(fù)責(zé)提取圖像特征全連接層負(fù)責(zé)把特征映射到類別。第一次跑的時(shí)候你會把大量時(shí)間花在調(diào)參上最終準(zhǔn)確率可能只有 70%-80%。這很正常從零訓(xùn)練需要大量數(shù)據(jù)和算力你的數(shù)據(jù)量和算力都不足以撐起一個(gè)非常有表達(dá)能力的網(wǎng)絡(luò)。用預(yù)訓(xùn)練模型做遷移學(xué)習(xí)才是效率最高的方案。torchvision 里有很多現(xiàn)成的模型如 ResNet18、ResNet50、MobileNetV3、EfficientNet 等。ResNet18 算是輕量與效果平衡的最佳選擇。核心操作是替換最后一層全連接層讓輸出維度等于你的類別數(shù)import torchvision.models as models model models.resnet18(pretrainedTrue) num_features model.fc.in_features model.fc nn.Linear(num_features, 2)這里的關(guān)鍵是pretrainedTrue它會把在 ImageNet1000 類上訓(xùn)練好的權(quán)重加載進(jìn)來。ImageNet 覆蓋了貓、狗等多個(gè)類別的通用特征所以預(yù)訓(xùn)練模型已經(jīng)有很強(qiáng)的特征提取能力你只需要讓它適應(yīng)貓狗二分類。通常準(zhǔn)確率能輕松到 95% 以上。3.2 訓(xùn)練的核心配置損失函數(shù)、優(yōu)化器與學(xué)習(xí)率圖像分類常用的損失函數(shù)是交叉熵?fù)p失CrossEntropyLoss。你不需要在前向傳播里單獨(dú)加 Softmax 激活函數(shù)nn.CrossEntropyLoss內(nèi)部已經(jīng)融合了 Softmax 和損失計(jì)算。使用的時(shí)候就一行criterion nn.CrossEntropyLoss()這里有個(gè)細(xì)節(jié)模型輸出的是類別數(shù)維度的 logits不是概率損失函數(shù)內(nèi)部會對它做 Softmax 變換所以不要在最后一層再接額外的 Softmax。如果你在模型末尾加了 Softmax訓(xùn)練時(shí)就會發(fā)現(xiàn)損失值很奇怪、收斂極慢因?yàn)樘荻仍?Softmax 那里被壓縮了。優(yōu)化器我用過最多的組合是 Adam 和帶動量的 SGD。對新手我推薦先試 Adam因?yàn)樗鼘W(xué)習(xí)率不那么敏感。踩過坑的經(jīng)驗(yàn)是Adam 的默認(rèn)學(xué)習(xí)率 0.001 在大多數(shù)分類任務(wù)上都能跑出不錯(cuò)的效果而 SGD 需要配合學(xué)習(xí)率調(diào)度才能發(fā)揮威力。optimizer torch.optim.Adam( model.parameters(), lr1e-3, weight_decay1e-4 )weight_decay是 L2 正則化項(xiàng)它防止模型過擬合。如果訓(xùn)練集不大幾千張圖我建議加上。常用值是 1e-4 或 5e-4。如果要用 SGD歷史代碼里最常見的組合是optimizer torch.optim.SGD( model.parameters(), lr1e-2, momentum0.9, weight_decay1e-4 )SGD 的收斂精度通常比 Adam 高一些但對學(xué)習(xí)率的要求更苛刻。我的建議是先把 Adam 跑通、拿到一個(gè)不錯(cuò)的基線再換 SGD 試試能不能進(jìn)一步提升。不要一開始就兩邊調(diào)參否則工作量直接翻倍。另外學(xué)習(xí)率調(diào)度器建議從一開始就加上。最常見的兩個(gè)是StepLR和ReduceLROnPlateau。前者是每隔固定 epoch 數(shù)對學(xué)習(xí)率做衰減后者是當(dāng)驗(yàn)證損失不再下降時(shí)自動調(diào)低學(xué)習(xí)率。我更常用ReduceLROnPlateau因?yàn)樗淖赃m應(yīng)程度更高。scheduler torch.optim.lr_scheduler.ReduceLROnPlateau( optimizer, modemin, factor0.1, patience3 )含義是連續(xù) 3 個(gè) epoch 驗(yàn)證損失不下降就把學(xué)習(xí)率乘以 0.1。這樣你不用手動盯學(xué)習(xí)率模型基本能自己找到合適的區(qū)間。3.3 訓(xùn)練循環(huán)train/eval 模式切換是硬性要求訓(xùn)練循環(huán)的框架可以固定成下面這個(gè)模式。這里有一個(gè)特別容易踩的坑訓(xùn)練時(shí)模型要切換成訓(xùn)練模式驗(yàn)證時(shí)一定要切換成評估模式。for epoch in range(20): model.train() train_loss 0.0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() train_loss loss.item() # 驗(yàn)證階段 model.eval() correct 0 total 0 with torch.no_grad(): for images, labels in val_loader: images, labels images.to(device), labels.to(device) outputs model(images) _, predicted torch.max(outputs, 1) total labels.size(0) correct (predicted labels).sum().item() val_acc 100 * correct / total print(fEpoch {epoch1}, Loss: {train_loss/len(train_loader):.4f}, Val Acc: {val_acc:.2f}%) scheduler.step(val_loss)先解釋model.train()和model.eval()這兩個(gè)模式切換。它們的關(guān)鍵影響在于模型的 Dropout 和 BatchNorm 層行為完全不同。train()模式下 Dropout 會隨機(jī)丟棄一部分神經(jīng)元BatchNorm 會使用當(dāng)前 batch 的統(tǒng)計(jì)量eval()模式下 Dropout 被關(guān)閉BatchNorm 使用訓(xùn)練階段累計(jì)的全局統(tǒng)計(jì)量。如果你驗(yàn)證時(shí)忘記切換成eval()驗(yàn)證集的準(zhǔn)確率會忽高忽低甚至出現(xiàn)嚴(yán)重偏差。這個(gè)問題我在初學(xué)階段至少踩過三次每次都會浪費(fèi)大量時(shí)間去排查為什么驗(yàn)證集效果差。optimizer.zero_grad()必須放在每輪迭代前面。PyTorch 默認(rèn)會累加梯度如果不清零上一 batch 的梯度會疊加到當(dāng)前 batch 上導(dǎo)致參數(shù)更新方向完全錯(cuò)誤。有人問既然默認(rèn)累加是不是也有好處確實(shí)在個(gè)別特殊場景里有人故意不清零梯度的寫法但圖像分類任務(wù)不要這么干。驗(yàn)證階段用torch.no_grad()包住迭代循環(huán)意思是這一階段不需要計(jì)算梯度。這樣做能顯著減少內(nèi)存占用和計(jì)算量。如果你不小心漏了這一步你的顯存會在跑驗(yàn)證時(shí)暴漲甚至直接 OOMOut Of Memory。有些人遇到 OOM 以為是 batch size 太大實(shí)際原因是沒有關(guān)閉梯度計(jì)算。訓(xùn)練循環(huán)里我習(xí)慣每輪都打印訓(xùn)練損失和驗(yàn)證準(zhǔn)確率。損失值的走勢能直接反映訓(xùn)練狀態(tài)如果訓(xùn)練損失持續(xù)下降但驗(yàn)證準(zhǔn)確率不再上升甚至下降說明模型開始過擬合可以考慮更早停或者加強(qiáng)數(shù)據(jù)增強(qiáng)。3.4 訓(xùn)練過程中怎么判斷模型狀態(tài)盯著終端的輸出不要只是看一眼準(zhǔn)確率數(shù)字就完了。幾個(gè)常見的狀態(tài)信號訓(xùn)練損失穩(wěn)步下降驗(yàn)證準(zhǔn)確率也在同步上升這是最健康的狀態(tài)。你什么都不用動讓它繼續(xù)跑。訓(xùn)練損失下降很快驗(yàn)證準(zhǔn)確率卻停滯不前甚至下降。這是典型的過擬合信號。解決辦法有三條增強(qiáng)數(shù)據(jù)增強(qiáng)的強(qiáng)度比如加RandomRotation或RandomAffine加大weight_decay提前停掉訓(xùn)練。訓(xùn)練損失在某個(gè)數(shù)值附近震蕩不下降。這可能是學(xué)習(xí)率太大或者輸入數(shù)據(jù)的預(yù)處理有問題比如圖片噪聲過大、歸一化的順序錯(cuò)了?？梢栽囍褜W(xué)習(xí)率調(diào)低一個(gè)數(shù)量級再看看。訓(xùn)練損失一開始就非常低比如降到 0.001 以下且驗(yàn)證準(zhǔn)確率很高這看起來很好但也要警惕。如果訓(xùn)練集和驗(yàn)證集分布不一致這種情況可能是模型學(xué)到了某些捷徑比如依賴圖片的背景、水印等非語義特征。做一次錯(cuò)誤可視化分析就能發(fā)現(xiàn)這個(gè)問題。在這個(gè)階段我通常還會順手看一下模型預(yù)測的置信度分布。用torch.softmax(outputs, dim1)得到概率值再看看最高概率的平均值。如果模型對所有樣本都給出接近 1.0 的置信度很可能模型過擬合了如果置信度普遍在 0.5-0.7 之間徘徊說明模型的區(qū)分能力還不強(qiáng)。4. 評估模型與預(yù)測新圖片4.1 準(zhǔn)確率不夠補(bǔ)充更多指標(biāo)很多人訓(xùn)練完模型只看準(zhǔn)確率。單看一個(gè)指標(biāo)很容易被誤導(dǎo)特別是當(dāng)你面對一個(gè)類別不平衡的數(shù)據(jù)集時(shí)。比如 95% 的圖片都是狗模型只需要全部預(yù)測成狗就能拿到 95% 的準(zhǔn)確率但這顯然不是一個(gè)好模型。所以除了準(zhǔn)確率我還建議算一下精確率Precision、召回率Recall和 F1-score。這幾個(gè)指標(biāo)在sklearn里有現(xiàn)成實(shí)現(xiàn)from sklearn.metrics import classification_report y_true [] y_pred [] model.eval() with torch.no_grad(): for images, labels in val_loader: images, labels images.to(device), labels.to(device) outputs model(images) _, predicted torch.max(outputs, 1) y_true.extend(labels.cpu().numpy()) y_pred.extend(predicted.cpu().numpy()) print(classification_report(y_true, y_pred, target_names[cat, dog]))拿到的報(bào)告會顯示每一類的精確率和召回率。簡單解釋一下精確率表示模型預(yù)測為貓的樣本中有多少確實(shí)是貓召回率表示所有真正的貓中有多大比例被模型正確找了出來。F1-score 是這兩者的調(diào)和平均。我這次跑出來的初始模型貓的召回率明顯低于狗的召回率原因是訓(xùn)練集里狗的圖片比貓多。解決方式有兩個(gè)方向一是給少數(shù)類樣本過采樣或者降低多數(shù)類樣本權(quán)重二是換一個(gè)帶類別權(quán)重的損失函數(shù)。nn.CrossEntropyLoss自帶weight參數(shù)可以傳入一個(gè)權(quán)重向量讓損失值偏向少數(shù)類。class_weights torch.tensor([1.0, 0.8]).to(device) criterion nn.CrossEntropyLoss(weightclass_weights)這樣一來模型對貓的誤判成本更高訓(xùn)練時(shí)它會更主動地去學(xué)習(xí)貓的特征。4.2 混淆矩陣一眼看出模型在哪些類別上容易混淆混淆矩陣是評估分類模型最直觀的表格。在二分類任務(wù)上就是一個(gè) 2×2 的矩陣橫軸是預(yù)測標(biāo)簽縱軸是真實(shí)標(biāo)簽。貓狗分類的混淆矩陣可能長這樣預(yù)測為貓預(yù)測為狗真實(shí)是貓923127真實(shí)是狗45905對著這個(gè)矩陣看你能快速發(fā)現(xiàn)模型把 127 只貓誤判成了狗卻只把 45 只狗誤判成了貓。這說明模型對貓的特征捕捉能力不足。接下來要做的不是盲目調(diào)參而是去查這些被誤判的貓圖看它們是不是本身長得就不典型比如毛發(fā)顏色與狗相近、面部被遮擋、或者拍攝角度傾斜。如果要看更多類別的混淆情況可以用 seaborn 的 heatmap 畫出來但白底黑字打印矩陣就夠了。建議在調(diào)整模型過程中每一次實(shí)驗(yàn)都保存一份混淆矩陣這樣你能看到調(diào)整前后的改善方向而不是只盯著一個(gè)準(zhǔn)確率數(shù)字。4.3 保存模型與加載模型的最佳實(shí)踐訓(xùn)練結(jié)束后保存模型權(quán)重是必須做的事。PyTorch 提供了兩種常見方式# 方式一推薦只保存模型參數(shù) torch.save(model.state_dict(), cat_dog_model.pth) # 方式二保存整個(gè)模型 torch.save(model, cat_dog_model.pth)我強(qiáng)烈建議用方式一。只保存參數(shù)的好處是模型結(jié)構(gòu)變動時(shí)權(quán)重文件依然可控而且文件的體積更小、安全性更高。裝載時(shí)你需要先實(shí)例化一個(gè)和訓(xùn)練時(shí)完全一樣的模型結(jié)構(gòu)再把權(quán)重灌進(jìn)去model models.resnet18() num_features model.fc.in_features model.fc nn.Linear(num_features, 2) model.load_state_dict(torch.load(cat_dog_model.pth)) model.eval()如果你訓(xùn)練時(shí)用了 GPU 保存在只有 CPU 的機(jī)器上加載需要在torch.load里加一個(gè)參數(shù)map_locationcpu。不加的話會遇到警告或直接報(bào)錯(cuò)。加載后還有一個(gè)重要操作model.eval()。如果加載的模型后續(xù)只用于推理這一步一定要加。不切換成 eval 模式推理結(jié)果會因?yàn)?Dropout 的隨機(jī)性而產(chǎn)生微小波動你可能會看到同一個(gè)樣本在不同時(shí)刻的預(yù)測結(jié)果不一致。4.4 單張圖片推理的完整流程訓(xùn)練完模型之后最終目的是讓模型對新圖片做預(yù)測。單獨(dú)對一張圖片進(jìn)行推理看起來簡單但還是要走完預(yù)處理流程。一個(gè)最典型的錯(cuò)誤是拿原始尺寸的圖片直接丟進(jìn)模型導(dǎo)致維度不匹配的報(bào)錯(cuò)。完整的推理腳本應(yīng)該長這樣from PIL import Image def predict_one_image(image_path, model, class_names, device): model.eval() # 必須使用訓(xùn)練時(shí)驗(yàn)證集的分處理流程尤其是尺寸 transform torchvision.transforms.Compose([ torchvision.transforms.Resize(256), torchvision.transforms.CenterCrop(224), torchvision.transforms.ToTensor(), torchvision.transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) img Image.open(image_path).convert(RGB) img_tensor transform(img).unsqueeze(0).to(device) with torch.inference_mode(): outputs model(img_tensor) probabilities torch.softmax(outputs, dim1) conf, pred_idx torch.max(probabilities, dim1) return class_names[pred_idx.item()], conf.item()unsqueeze(0)的作用是增加一個(gè) batch 維度。模型輸入的 shape 是(batch_size, channels, height, width)單張圖沒有 batch 維度所以必須手動加。這里用torch.inference_mode()而不是torch.no_grad()是 2.x 版本更推薦的寫法功能上比 no_grad 多了一些推理優(yōu)化例如不對模型參數(shù)做版本跟蹤。二者在結(jié)果上沒有差異但新代碼我統(tǒng)一用inference_mode()。另外一個(gè)需要注意的點(diǎn)是convert(RGB)。如果你的圖片是 RGBA 四通道或者灰度單通道不轉(zhuǎn)換為 RGB 會在ToTensor()時(shí)產(chǎn)生 4 通道或 1 通道數(shù)據(jù)導(dǎo)致和訓(xùn)練時(shí)的 3 通道輸入不匹配。這個(gè)報(bào)錯(cuò)信息只會在運(yùn)行到模型輸入階段才會出現(xiàn)處理起來雖然簡單但沒經(jīng)驗(yàn)的人容易卡在這。5. 常見報(bào)錯(cuò)與排查技巧5.1 維度不匹配最常見的入門勸退官不管你用什么模型做圖像分類維度不匹配的報(bào)錯(cuò)幾乎一定會遇到。最常見的幾種輸入通道數(shù)不對。報(bào)錯(cuò)文本大概是Expected input batch_size X to match target size Y或者 Given groups1, weight of size [32, 3, 3, 3], expected input[1, 4, 224, 224] to have 3 channels。意思就是模型期望 3 通道輸入但你給了 4 通道。查一下你的Dataset返回的張量很可能是沒有做convert(RGB)導(dǎo)致圖片是 RGBA 格式。全連接層的輸入維度不對。這個(gè)報(bào)錯(cuò)在自定義 CNN 里非常普遍。全連接層nn.Linear需要預(yù)先指定輸入長度但這個(gè)長度取決于前面卷積層輸出特征圖的大小。224×224 的輸入經(jīng)過三次 MaxPool2d(2,2) 之后邊長會變成 224 ÷ 8 28通道數(shù)是 128所以特征會展平成128 * 28 * 28。如果你把輸入圖片尺寸改成 64×64 但忘了改全連接層的輸入維度就會報(bào)錯(cuò)。最簡單的解決辦法在前面加一行打印看features(x).shape的結(jié)果是多少。標(biāo)簽維度是 1D 但輸出是 2D。CrossEntropyLoss接受的標(biāo)簽形狀是一維的索引張量不是 one-hot 編碼。如果你手工做了 one-hot就是自己給自己找麻煩。5.2 損失值變成 NaN 的排查思路訓(xùn)練過程中 loss 突然變成 NaN這種情況我第一次遇到時(shí)真的懵了好一陣。排查順序我是固定的第一步檢查輸入數(shù)據(jù)是否有 NaN。圖片像素經(jīng)過歸一化后都是有限數(shù)值一般不會有 NaN但如果做了某些特殊的數(shù)據(jù)增強(qiáng)操作比如把像素值除以了一個(gè)錯(cuò)誤的值可能出現(xiàn)問題。在訓(xùn)練循環(huán)里打印一下images.min()和images.max()快速確認(rèn)范圍。第二步檢查標(biāo)簽是否有問題。標(biāo)簽的值必須小于類別數(shù)。如果你有 3 類但標(biāo)簽里有數(shù)字 4CrossEntropyLoss就會算出一個(gè)異常數(shù)值反向傳播后梯度爆炸loss 直接變成 NaN。排查方式就是對labels做一次unique統(tǒng)計(jì)。第三步檢查學(xué)習(xí)率是否過大。學(xué)習(xí)率太大參數(shù)更新步長過大可能在損失函數(shù)的陡峭區(qū)域直接跨過最小值點(diǎn)造成梯度爆炸。把學(xué)習(xí)率調(diào)小一個(gè)數(shù)量級從 1e-3 降到 1e-4再跑一遍。如果不再出現(xiàn) NaN問題就在學(xué)習(xí)率上。第四步也是更隱蔽的一種情況模型某層的數(shù)值范圍在訓(xùn)練后期變得過大?？梢栽趽p失函數(shù)前后分別打印輸出的均值。輸出值超過 1e3 往往會導(dǎo)致 Softmax 在求指數(shù)時(shí)溢出。如果實(shí)在找不到原因還有一個(gè)暴力排查手段把loss.backward()替換成torch.autograd.detect_anomaly()包住整個(gè)訓(xùn)練循環(huán)PyTorch 會在梯度出現(xiàn)異常的第一時(shí)間給出具體是哪一層參數(shù)出了問題的提示。注意這個(gè)方法非常消耗性能只在排查模式下使用。5.3 訓(xùn)練集精度高但驗(yàn)證集精度低的應(yīng)對清單這是最常見的一種訓(xùn)練現(xiàn)象也是一個(gè)需要區(qū)分情況的場景。如果你的訓(xùn)練準(zhǔn)確率已經(jīng)到 98%但驗(yàn)證準(zhǔn)確率只有 80%說明模型過擬合了也就是模型把訓(xùn)練集里的一些特殊細(xì)節(jié)記住了而沒有學(xué)到通用的分類特征。我的排查順序是先檢查驗(yàn)證集的數(shù)據(jù)預(yù)處理流程。確認(rèn)是否誤用了隨機(jī)強(qiáng)化操作。這是最容易導(dǎo)致驗(yàn)證集偏低的原因。然后檢查模型的 Dropout 層。如果模型結(jié)構(gòu)里 Dropout 率設(shè)得過高比如 0.9訓(xùn)練階段模型被迫用極少的信息做分類驗(yàn)證時(shí)會處于完全不同的行為模式。通常 Dropout 0.5 已經(jīng)足夠。接下來檢查數(shù)據(jù)增強(qiáng)是否過于激進(jìn)。如果訓(xùn)練集圖片被旋轉(zhuǎn)到一個(gè)離譜的角度或者裁剪得只剩一小部分模型學(xué)到的特征可能無法遷移到正常的驗(yàn)證圖片上。把數(shù)據(jù)增強(qiáng)強(qiáng)度降低一些比如RandomResizedCrop的scale參數(shù)從(0.08, 1.0)改成(0.5, 1.0)。最后也是最容易被忽略的一個(gè)訓(xùn)練集和驗(yàn)證集之間是否存在數(shù)據(jù)泄漏。比如你從整個(gè)數(shù)據(jù)集劃分時(shí)沒有打亂或者驗(yàn)證集里的圖片和訓(xùn)練集中有重復(fù)。這種情況表面上是過擬合實(shí)際上是評估方式不科學(xué)。5.4 訓(xùn)練非常慢調(diào)優(yōu)方向在 GPU 不夠的情況下訓(xùn)練慢是一件很折磨人的事。有幾個(gè)方向可以嘗試按重要程度排序。第一是檢查當(dāng)前是否真的在用 GPU 訓(xùn)練。如果代碼里寫了images.to(device)但 device 沒有正確設(shè)置成 cuda那模型還是跑在 CPU 上。先打印一下next(model.parameters()).device確認(rèn)。第二是調(diào)小num_workers和pin_memory的組合。num_workers設(shè)得過高不會讓訓(xùn)練更快反而在數(shù)據(jù)加載上浪費(fèi)大量資源。num_workers2加pin_memoryTrue在大多數(shù)配置下已經(jīng)足夠。第三是開啟混合精度訓(xùn)練。PyTorch 里用torch.cuda.amp可以把浮點(diǎn)運(yùn)算改成半精度速度提升明顯而且顯存占用更少。以下是最小實(shí)現(xiàn)方式scaler torch.cuda.amp.GradScaler() for images, labels in train_loader: with torch.cuda.amp.autocast(): outputs model(images) loss criterion(outputs, labels) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()不過混合精度和ReduceLROnPlateau有一點(diǎn)不兼容要注意scaler 可能會導(dǎo)致梯度的數(shù)值出現(xiàn)輕微誤差但大多數(shù)分類任務(wù)影響不大。第四是考慮用更輕量的模型。如果數(shù)據(jù)量只有幾千張ResNet50 并不會比 ResNet18 好多少但訓(xùn)練時(shí)間可能多一倍。換 MobileNetV3 或 EfficientNet-B0 這類輕量模型往往能在更短的時(shí)間里達(dá)到接近的精確率。6. 進(jìn)階優(yōu)化從好的結(jié)果到穩(wěn)定可用的模型6.1 微調(diào)讓預(yù)訓(xùn)練模型更貼合你的數(shù)據(jù)用預(yù)訓(xùn)練模型做遷移學(xué)習(xí)一般有兩種做法。第一種是上面講過的凍結(jié)所有卷積層權(quán)重只訓(xùn)練最后新增的全連接層。第二種是微調(diào)Fine-tuning把預(yù)訓(xùn)練模型作為初始化然后對整個(gè)網(wǎng)絡(luò)的所有層或者靠近分類層的若干層重新訓(xùn)練。微調(diào)的關(guān)鍵在于學(xué)習(xí)率的控制。預(yù)訓(xùn)練模型前面的卷積層已經(jīng)學(xué)到了通用的圖像特征如果學(xué)習(xí)率太大會把這些特征直接抹掉模型退化成從頭訓(xùn)練。我常用的策略是把模型參數(shù)分成兩組新加的分類頭用較高的學(xué)習(xí)率如 1e-3預(yù)訓(xùn)練的卷積層用較低的學(xué)習(xí)率如 1e-4。optimizer torch.optim.Adam([ {params: model.features.parameters(), lr: 1e-4}, {params: model.classifier.parameters(), lr: 1e-3} ], weight_decay1e-4)微調(diào)還有一個(gè)注意點(diǎn)不要從第一個(gè) epoch 就對所有層做全面更新。我通常的做法是先凍結(jié)所有層只訓(xùn)練分類頭 3 到 5 個(gè) epoch然后解凍最后一個(gè)卷積塊如 ResNet 的 layer4以較低學(xué)習(xí)率繼續(xù)訓(xùn)練全網(wǎng)絡(luò)。這種漸進(jìn)式的解凍方式能避免早期訓(xùn)練不穩(wěn)定。6.2 平滑準(zhǔn)確率波動交叉驗(yàn)證與模型集成當(dāng)數(shù)據(jù)量不很大的時(shí)候一次隨機(jī)劃分的訓(xùn)練集和驗(yàn)證集可能會讓結(jié)果產(chǎn)生較大波動。有時(shí)候你只是換了一個(gè)隨機(jī)種子準(zhǔn)確率就從 94% 變成 96%。為了確認(rèn)模型的真實(shí)水平可以做 K 折交叉驗(yàn)證。我常用的是 5 折也就是把數(shù)據(jù)分成 5 份每次取其中 4 份訓(xùn)練、1 份驗(yàn)證重復(fù) 5 次最終準(zhǔn)確率取 5 次結(jié)果的平均值和標(biāo)準(zhǔn)差。這樣能更客觀地評估模型穩(wěn)定性。如果你追求極致的準(zhǔn)確率可以試一下模型集成。訓(xùn)練多個(gè)不同結(jié)構(gòu)的模型比如 ResNet18 MobileNetV3或者同一個(gè)模型用不同的隨機(jī)種子訓(xùn)練多次推理時(shí)對所有模型的預(yù)測結(jié)果做平均投票。這個(gè)策略不一定能讓你的模型在開源榜單上提升多少但在數(shù)據(jù)集量不大、噪聲較多的情況下確實(shí)能平滑掉明顯的波動。缺點(diǎn)就是推理耗時(shí)增加部署時(shí)需要權(quán)衡。6.3 導(dǎo)出模型并部署到生產(chǎn)環(huán)境訓(xùn)練完成之后模型還在 PyTorch 的 Python 環(huán)境里要真正在生產(chǎn)環(huán)境用起來還需要做一步轉(zhuǎn)化。最常見的做法是導(dǎo)出為 ONNX 格式。ONNX 是個(gè)開放的模型交換格式可以跑在 ONNX Runtime 上也能轉(zhuǎn)換到 TensorRT 等推理引擎。導(dǎo)出很簡單model.eval() dummy_input torch.randn(1, 3, 224, 224).to(device) torch.onnx.export( model, dummy_input, cat_dog_model.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch_size}, output: {0: batch_size}} )dynamic_axes這個(gè)參數(shù)很重要。加上它之后模型的輸入 batch 維度可以變化部署時(shí)就不限制每次只能預(yù)測一張圖。導(dǎo)出后可以用onnxruntime進(jìn)行驗(yàn)證確保導(dǎo)出的模型和 PyTorch 原始模型輸出一致。實(shí)際部署中ONNX Runtime 的推理速度通常比 PyTorch 原生態(tài)更快尤其是在 CPU 環(huán)境里。而且它不依賴 Python 的神經(jīng)網(wǎng)絡(luò)框架可以用 C 調(diào)用對生產(chǎn)環(huán)境的依賴更干凈。6.4 算力不夠時(shí)的替代方案輕量模型與量化如果你的模型最后要在嵌入式設(shè)備或者低算力環(huán)境里跑ResNet50 這種規(guī)模的網(wǎng)絡(luò)是不現(xiàn)實(shí)的。這時(shí) MobileNetV3、EfficientNet-Lite 這類專為移動端設(shè)計(jì)的模型會更合適。它們在保持不錯(cuò)精確率的同時(shí)把計(jì)算量壓到了很低。除了換小模型量化也是常見的優(yōu)化手段。Quantization 可以把模型的浮點(diǎn)權(quán)重從 FP32 壓縮到 INT8模型體積縮小為原來的四分之一推理速度卻可能提高 2 到 4 倍。PyTorch 本身就提供了量化工具接口最常用的是訓(xùn)練后動態(tài)量化import torch quantized_model torch.quantization.quantize_dynamic( model, {torch.nn.Linear}, dtypetorch.qint8 ) torch.save(quantized_model.state_dict(), cat_dog_model_quantized.pth)這個(gè)操作在 CPU 上對全連接層的壓縮效果最明顯。但如果模型以卷積層為主動態(tài)量化收益有限可以考慮試一下感知訓(xùn)練量化Quantization Aware Training。這條路做完模型體積和推理耗時(shí)都能顯著下降代價(jià)是需要在訓(xùn)練階段就引入量化相關(guān)的計(jì)算。我在實(shí)際項(xiàng)目里的經(jīng)驗(yàn)是如果從頭到尾都要自己維護(hù)一套深度學(xué)習(xí)訓(xùn)練流程最容易出問題的地方其實(shí)不在模型結(jié)構(gòu)而在數(shù)據(jù)加載和預(yù)處理這些邊緣環(huán)節(jié)。這些坑雖然都不大也沒有太高深的理論但每一個(gè)都足以讓你的實(shí)驗(yàn)白白跑上好幾個(gè)小時(shí)最后得到一個(gè)錯(cuò)誤的結(jié)論。把這一整套流程理順之后圖像分類對你的門檻就已經(jīng)被踏平了后續(xù)再往目標(biāo)檢測、圖像分割這類任務(wù)上走也會順手很多。最后再分享一個(gè)小技巧實(shí)驗(yàn)過程中每一次訓(xùn)練結(jié)果都順手存一份帶時(shí)間戳的權(quán)重文件和對應(yīng)的驗(yàn)證指標(biāo)。很多人訓(xùn)練完就隨手把權(quán)重覆蓋了等到要對比不同方案時(shí)才發(fā)現(xiàn)找不到之前的權(quán)重只能重新訓(xùn)練。做好版本管理你能省下的時(shí)間不是一個(gè)小時(shí)兩個(gè)小時(shí)而是一整天的量。