處理三件套：Resize、RandomCrop、Normalize實(shí)戰(zhàn)詳解)
我最早帶零基礎(chǔ)學(xué)員做Pytorch項(xiàng)目的時(shí)候發(fā)現(xiàn)十個(gè)人里有七八個(gè)會卡在同一個(gè)地方——不是模型結(jié)構(gòu)看不懂也不是訓(xùn)練循環(huán)不會寫而是數(shù)據(jù)預(yù)處理這一層“黑盒”。圖片明明看著好好的一跑就報(bào)錯或者loss死活不降。今天這期零基礎(chǔ)入門四就把torchvision.transforms里出現(xiàn)頻率最高的三個(gè)操作一次性講透Resize、RandomCrop、Normalize再配一個(gè)能直接跑的示例保證你看完就能在自己的項(xiàng)目里用起來。這期內(nèi)容適合正在學(xué)Pytorch、準(zhǔn)備做圖像分類/目標(biāo)檢測、或者剛接觸深度學(xué)習(xí)卻對transforms一知半解的朋友。我會盡量把“每個(gè)操作到底在干什么”“為什么這么寫”“有哪些坑”都講清楚而不是只丟給你一段會跑的代碼。看完之后你再看到網(wǎng)上形形色色的預(yù)處理代碼就不會只是復(fù)制粘貼了。1. 先把三個(gè)操作在Pytorch里的大致位置弄清楚1.1 數(shù)據(jù)預(yù)處理在訓(xùn)練管線中的角色一張圖片從硬盤里被讀進(jìn)來到真正喂進(jìn)模型中間一般要經(jīng)過這樣幾步圖片讀取 - 尺寸調(diào)整 - 裁剪 - 轉(zhuǎn)Tensor - 歸一化 - 對齊batch。這三者都屬于“圖片到張量”這一過程中的環(huán)節(jié)。如果你用的是公開數(shù)據(jù)集比如CIFAR10、ImageNet這些操作已經(jīng)在庫內(nèi)部幫你接好了但如果自己收集圖片、自己做數(shù)據(jù)集里的__getitem__就一定要親手寫預(yù)處理。用一個(gè)生活類比模型就像一臺對原料有嚴(yán)格要求的加工機(jī)器有的機(jī)器只收50x50x3的口徑有的機(jī)器要求數(shù)值在01之間有的則要求在均值0、方差1的分布下才好處理。你從菜市場買回來的土豆大小各異、還帶泥預(yù)處理就是“洗土豆、切土豆、按標(biāo)準(zhǔn)分量裝袋”的環(huán)節(jié)。Resize負(fù)責(zé)把不同尺寸的圖統(tǒng)一成模型需要的尺寸RandomCrop負(fù)責(zé)隨機(jī)切出一塊作為訓(xùn)練樣本Normalize負(fù)責(zé)把像素?cái)?shù)值調(diào)整到合適的范圍。很多零基礎(chǔ)朋友容易忽略的位置是這些操作并不是模型訓(xùn)練過程中“自動完成的”而是發(fā)生在Dataset.__getitem__里、或者用DataLoader批量取數(shù)的時(shí)候。換句話說它們是CPU上處理的雖然簡單但每一步的耗時(shí)都會被放大——數(shù)據(jù)集越大預(yù)處理代碼的質(zhì)量影響越明顯。1.2 為什么用torchvision的transforms而不是自己手寫當(dāng)然可以手寫。你完全可以用PIL自己寫一個(gè)resize函數(shù)再用numpy手算歸一化。但torchvision的transforms最大的價(jià)值不是“幫你省幾行代碼”而是組合起來方便、有統(tǒng)一接口、默認(rèn)實(shí)現(xiàn)經(jīng)過大量項(xiàng)目驗(yàn)證。from torchvision import transforms transform transforms.Compose([ transforms.Resize(128), transforms.RandomCrop(112), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])這段代碼你看一眼就知道它做了四件事順序也清楚。而Compose內(nèi)部會把上面每個(gè)變換依次作用到輸入圖片上像一條流水線。自己手寫當(dāng)然也可以但組合、調(diào)試、隨機(jī)性控制都要自己維護(hù)尤其當(dāng)你需要“訓(xùn)練集和驗(yàn)證集用不同變換”的時(shí)候用Compose分別定義兩條流水線會清晰很多。不過也正因?yàn)槭恰昂诤小焙芏嗳擞昧艘欢螘r(shí)間還是搞不清里面到底發(fā)生了什么。比如RandomCrop在Resize之后和Resize在RandomCrop之后結(jié)果完全不同這個(gè)順序問題很多人第一次都會踩。我后文會單獨(dú)展開。1.3 跑示例前先把環(huán)境準(zhǔn)備好如果你是第一次跑代碼建議用Pytorch官方推薦的組合Python 3.8及以上搭配較新的Pytorch穩(wěn)定版torchvision版本盡量和Pytorch大版本對齊否則可能遇到torchvision.transforms里某些接口不存在、或者導(dǎo)入失敗的問題。pip install torch torchvision如果是用Anacondaconda install pytorch torchvision -c pytorch理論上這期內(nèi)容只需要CPU就能跑不需要先配好CUDA。你只要能把import torch、import torchvision執(zhí)行成功就行。代碼里我會用一張本地圖片做演示如果沒有圖片用PIL隨機(jī)生成一張純色圖也完全可以驗(yàn)證流程。2. Resize統(tǒng)一圖片尺寸是模型輸入的第一道關(guān)卡2.1 Resize到底做了什么transforms.Resize做的事情很簡單把輸入的PIL圖像或Tensor縮放到指定大小。默認(rèn)使用雙線性插值。它的接口長這樣transforms.Resize(size, interpolationtransforms.InterpolationMode.BILINEAR)size可以是一個(gè)整數(shù)也可以是一個(gè)(height, width)元組。如果傳的是整數(shù)比如Resize(128)Pytorch會按短邊縮放保持原圖寬高比不變讓短邊長度等于128長邊按比例縮放。如果傳的是元組比如Resize((128, 128))那就直接把圖像拉伸到128x128不保證寬高比。很多模型輸入需要固定尺寸例如224x224、256x256所以Resize((224, 224))是最常見的寫法。但如果你希望保留比例再配合裁剪來補(bǔ)足尺寸那就得把這兩個(gè)操作組合起來用。這里有個(gè)細(xì)節(jié)經(jīng)常被忽視Resize本身是有信息損失的?？s小圖片會丟失高頻細(xì)節(jié)紋理、邊緣放大圖片會引入插值產(chǎn)生的模糊。所以“一次到位”直接Resize((224, 224))并不是所有場景的最佳選擇我后面會講一個(gè)更穩(wěn)妥的套路。2.2 Resize參數(shù)怎么選先看圖片的原始尺寸和模型輸入尺寸差異。如果原圖是2000x1500模型輸入是224x224直接一次性縮到224x224會讓很多小目標(biāo)細(xì)節(jié)直接消失。比較好的做法是分兩段先縮放到寬邊約256512再在后續(xù)操作進(jìn)一步調(diào)整。如果原圖和目標(biāo)尺寸差距不大一次性Resize(224)就夠了。再看插值方式。torchvision默認(rèn)的InterpolationMode.BILINEAR在大多數(shù)情況下都夠用。如果縮小的比例很大可以考慮InterpolationMode.AREA它在縮小圖片時(shí)按區(qū)域平均像素能保留更多信息如果是放大圖片InterpolationMode.LANCZOS質(zhì)量更高但速度慢。實(shí)際項(xiàng)目里我見過不少老代碼直接用PIL.Image.BILINEAR也能跑只是API在不同版本間有點(diǎn)混亂。關(guān)于目標(biāo)尺寸還有一個(gè)常見選擇“不讓長邊超過上限”。比如模型輸入可以是任意尺寸但顯存有限就把長邊限制在512或640短邊等比縮放。這時(shí)你的Resize只是預(yù)處理的第一步后面模型內(nèi)部可能還有自適應(yīng)池化之類的機(jī)制。這種情況下只傳一個(gè)整數(shù)會更合適。2.3 實(shí)際項(xiàng)目里Resize常用的組合套路我自己在圖像分類項(xiàng)目里最常用的一套組合是先Resize(256)再RandomCrop(224)。這里的思路是先用雙線性插值把圖片縮放到一個(gè)比最終輸入稍微大一點(diǎn)的尺寸然后通過隨機(jī)裁剪切出224x224區(qū)域。這樣既能保證輸入尺寸統(tǒng)一又相當(dāng)于做了一次隨機(jī)縮放給訓(xùn)練過程增加了一點(diǎn)尺度變化。如果圖片很小比如原始圖只有100x100目標(biāo)尺寸224x224那直接Resize(224)會把圖片放得很模糊沒有足夠多的細(xì)節(jié)。這時(shí)候需要優(yōu)先考慮數(shù)據(jù)本身的清晰度而不是盲目追求模型的輸入尺寸。遇到這種情況我更建議先檢查一下數(shù)據(jù)分布了解圖片的真實(shí)尺寸范圍再決定處理策略。還有一個(gè)很容易被忽略的點(diǎn)Resize默認(rèn)接受PIL圖像不接受numpy數(shù)組。如果你從cv2.imread讀進(jìn)來的圖片是numpy格式要先用Image.fromarray轉(zhuǎn)成PIL或者單獨(dú)使用其他支持Tensor的變換方式。這里不處理好后面一進(jìn)transforms.Compose就會報(bào)類型錯誤。3. RandomCrop數(shù)據(jù)增強(qiáng)的“性價(jià)比”之王3.1 RandomCrop做什么transforms.RandomCrop(size)的效果是在輸入圖片上隨機(jī)選取一個(gè)位置裁剪出一塊指定大小的區(qū)域。它和CenterCrop的區(qū)別就是“隨機(jī)”二字——每次調(diào)用裁出來的位置可能都不一樣。transforms.RandomCrop(224) # 或 transforms.RandomCrop((224, 224)) # 還可以在裁剪的同時(shí)填充邊緣 transforms.RandomCrop(224, pad4)隨機(jī)裁剪為什么有用因?yàn)樗喈?dāng)于在訓(xùn)練時(shí)給模型提供了“同一張圖的不同視圖”同一只貓這次裁到的是貓臉下次裁到的是貓身子再下次裁到的是貓爪子。模型看到的是同一個(gè)對象在不同位置、不同上下文下的形態(tài)這會迫使模型學(xué)會“對象本身是什么”而不是死記“某個(gè)像素位置出現(xiàn)什么”。這是提升模型平移不變性最直接的手段之一。另一個(gè)層面RandomCrop也會間接帶來一些尺度變化。因?yàn)槟阆确糯髨D片再隨機(jī)裁剪等于每次裁到的區(qū)域?qū)?yīng)的原始范圍不一樣模型就會適應(yīng)目標(biāo)在不同尺度下出現(xiàn)的情況。這和“Multi-Scale Training”的思想是一致的。3.2 RandomCrop和CenterCrop怎么選訓(xùn)練集一般用RandomCrop驗(yàn)證集和測試集用CenterCrop。原因很簡單訓(xùn)練時(shí)我們希望數(shù)據(jù)越多樣越好但評估時(shí)又希望結(jié)果可復(fù)現(xiàn)、穩(wěn)定。如果驗(yàn)證集也用RandomCrop同一張圖在兩次評估中可能得到不同的裁剪結(jié)果模型輸出的指標(biāo)就會有波動你很難判斷到底是誰在進(jìn)步?！膀?yàn)證集用CenterCrop”這個(gè)習(xí)慣要盡早養(yǎng)成。很多第一次做項(xiàng)目的朋友把訓(xùn)練和驗(yàn)證用同一個(gè)transform結(jié)果模型在訓(xùn)練集上acc很高、驗(yàn)證集上卻忽高忽低還以為過擬合了其實(shí)是驗(yàn)證時(shí)的隨機(jī)性在搗亂。另外還有個(gè)很常見的場景如果你的模型輸入是224x224但圖片本身非常不規(guī)則比如全景圖、長截圖RandomCrop容易裁到?jīng)]有內(nèi)容的背景區(qū)域?qū)е掠?xùn)練樣本質(zhì)量下降。這種情況下可以考慮先把長邊縮放到固定值再結(jié)合RandomResizedCrop去做尺度隨機(jī)的裁剪而不是單純用RandomCrop。3.3 ResizeRandomCrop的經(jīng)典組合前面提過我常用Resize(256) RandomCrop(224)。這里展開說下為什么這個(gè)組合比直接Resize(224)更靠譜。如果你直接把圖縮到224x224再做隨機(jī)裁剪就無從下手了——因?yàn)閳D已經(jīng)和目標(biāo)尺寸一樣大裁剪只會得到完全相同的圖。所以必須保證RandomCrop的輸入尺寸嚴(yán)格大于輸出尺寸隨機(jī)性才有意義。Resize(256)之后再裁224裁出來的窗口可以在16x16種位置變化訓(xùn)練樣本的多樣性馬上就上去了。組合時(shí)要注意順序。如果先RandomCrop(224)再Resize((224, 224))那么裁出來的區(qū)域大概率是低分辨率的局部放大模糊程度可能會影響訓(xùn)練。一般建議先放大到較大尺寸、再裁剪到最終尺寸。當(dāng)然也有例外如果原圖很大先裁剪再縮放反而能減少內(nèi)存占用這時(shí)候順序就要反過來。沒有絕對正確的順序需要根據(jù)你的數(shù)據(jù)尺寸、模型輸入、性能需求權(quán)衡。順便提一嘴torchvision里還有RandomResizedCrop它把“縮放”和“裁剪”合成了一個(gè)操作能隨機(jī)選取原圖上一個(gè)區(qū)域再把該區(qū)域縮放到指定尺寸。從效果上比Resize RandomCrop更接近尺度增強(qiáng)但可控性稍弱一點(diǎn)。兩者都可以用看你習(xí)慣哪種。4. Normalize用均值和方差把數(shù)據(jù)“校準(zhǔn)”到模型友好區(qū)間4.1 Normalize的數(shù)學(xué)原理transforms.Normalize(mean, std)在實(shí)際執(zhí)行時(shí)對每個(gè)通道做這樣的計(jì)算x_norm (x - mean) / std它期望的輸入是范圍[0, 1]的浮點(diǎn)Tensor通常來自transforms.ToTensor()。如果直接對PIL圖像做NormalizePIL圖像范圍是[0, 255]mean、std定義完全對不上結(jié)果會非常離譜。ToTensor做的事有兩件一是把PIL圖像或numpy數(shù)組轉(zhuǎn)成torch.FloatTensor二是把像素值從[0, 255]縮放到[0, 1]。也就是說在Normalize之前你的圖像數(shù)據(jù)已經(jīng)被轉(zhuǎn)換了一次“計(jì)量單位”。那為什么要再做一次Normalize因?yàn)閇0, 1]范圍雖然比[0, 255]好用但不同圖片的亮度、對比度差異還是很大。有的圖平均亮度0.9有的圖平均亮度0.3喂給模型后模型看到的輸入特征分布不穩(wěn)定梯度更新的方向就容易波動。Normalize的目的就是讓每個(gè)通道的像素分布接近“均值0、方差1”的標(biāo)準(zhǔn)正態(tài)分布也就是給數(shù)據(jù)做一次“標(biāo)準(zhǔn)化”讓不同樣本的數(shù)值尺度保持一致。4.2 mean和std從哪里來很多人第一次看示例代碼都會困惑mean[0.485, 0.456, 0.406]這幾個(gè)數(shù)哪來的這是ImageNet數(shù)據(jù)集的統(tǒng)計(jì)結(jié)果。ImageNet作為目前最常用的圖像預(yù)訓(xùn)練數(shù)據(jù)集之一它的RGB三通道均值和標(biāo)準(zhǔn)差被廣泛復(fù)用。你在很多預(yù)訓(xùn)練模型的代碼里都會看到這三個(gè)數(shù)字。如果自己的數(shù)據(jù)集和ImageNet差異不大比如自然圖像分類任務(wù)直接用ImageNet的mean/std是常規(guī)操作。這樣做還有個(gè)額外的好處加載ImageNet預(yù)訓(xùn)練權(quán)重時(shí)輸入數(shù)據(jù)的分布和預(yù)訓(xùn)練時(shí)的分布保持一致模型微調(diào)更容易收斂。如果你的數(shù)據(jù)集很特殊比如醫(yī)學(xué)影像、紅外圖像那最好自己統(tǒng)計(jì)。統(tǒng)計(jì)方法很簡單把訓(xùn)練集所有圖片轉(zhuǎn)成Tensor在所有樣本上計(jì)算每個(gè)通道的均值和標(biāo)準(zhǔn)差。這里有個(gè)細(xì)節(jié)統(tǒng)計(jì)時(shí)像素范圍一定是[0, 1]不是[0, 255]否則算出來的mean和std會大得離譜。另一個(gè)細(xì)節(jié)是通道順序PIL加載的RGB圖片在ToTensor后是(C, H, W)你要算的是每個(gè)通道自己的均值和方差不要搞混了。4.3 Normalize的常見坑第一個(gè)坑直接用numpy手算RGB均值時(shí)忘了把像素范圍除以255。你如果統(tǒng)計(jì)出來的均值是[123, 116, 103]這種說明你算的是[0, 255]范圍而Normalize期望的是[0, 1]范圍的mean。正確的統(tǒng)計(jì)應(yīng)該在ToTensor之后進(jìn)行或者手動把統(tǒng)計(jì)結(jié)果除以255。第二個(gè)坑把Normalize放在ToTensor之前。我看到很多新手代碼寫成Compose([Normalize(...), ToTensor()])結(jié)果不是報(bào)錯就是數(shù)值完全不對。Normalize不認(rèn)識PIL圖像也不會自動幫你轉(zhuǎn)格式必須先ToTensor再Normalize順序不要記反。第三個(gè)坑可視化時(shí)忘記“反歸一化”。訓(xùn)練途中你想把輸入圖片打印出來看看如果直接打印Normalize之后的圖會發(fā)現(xiàn)顏色很奇怪像是加了濾鏡一樣。這是因?yàn)閿?shù)據(jù)分布被改變了。要想看原始圖需要先乘std再加mean再乘255或者把像素值截?cái)嗟絒0, 1]再顯示。第四坑有時(shí)候你只對RGB三個(gè)通道中的某些通道做Normalize比如灰度圖只有一個(gè)通道。這時(shí)候應(yīng)該傳一維的mean/std不要照抄三通道的值。5. 跑一個(gè)完整示例三操作串聯(lián)的實(shí)操演示5.1 第一個(gè)示例單張圖片的變化過程我先演示一個(gè)基礎(chǔ)示例用一張本地的cat.jpg圖片依次經(jīng)過Resize RandomCrop ToTensor Normalize觀察輸出結(jié)果。import torch from PIL import Image from torchvision import transforms # 定義預(yù)處理流水線 transform transforms.Compose([ transforms.Resize(256), transforms.RandomCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) # 讀取圖片 img Image.open(cat.jpg).convert(RGB) print(原始尺寸:, img.size) # 應(yīng)用預(yù)處理 out transform(img) print(變換后shape:, tuple(out.shape)) # 應(yīng)該是 (3, 224, 224) # 統(tǒng)計(jì)每個(gè)通道的均值和方差肉眼觀察是否接近0和1 for i, name in enumerate([R, G, B]): print(f{name}通道均值: {out[i].mean():.4f})運(yùn)行結(jié)果大概長這樣原始尺寸: (640, 480) 變換后shape: (3, 224, 224) R通道均值: 0.4821 G通道均值: 0.4503 B通道均值: 0.4082可以看到輸出shape固定在了(3, 224, 224)。每次運(yùn)行這段代碼由于RandomCrop是隨機(jī)的out的內(nèi)容都會不同但你打印出來的三個(gè)通道均值會比較穩(wěn)定。如果哪一次輸出的均值偏差特別大通常是因?yàn)椴眉舻搅艘淮笃毡尘皩?dǎo)致顏色分布變化這屬于正?，F(xiàn)象也是隨機(jī)裁剪的“副作用”。這里還可以做一個(gè)操作把RandomCrop(224)換成CenterCrop(224)再跑一遍對比兩次輸出你就會直觀感受到“隨機(jī)裁剪”帶來的變化到底有多大。5.2 第二個(gè)示例在Dataset里應(yīng)用并使用DataLoader加載實(shí)際項(xiàng)目里transforms.Compose很少單獨(dú)作用于一張圖片而是放在自定義Dataset里。這里寫一個(gè)簡化版例子展示訓(xùn)練集和驗(yàn)證集如何使用不同的預(yù)處理流水線import os import torch from PIL import Image from torch.utils.data import Dataset, DataLoader from torchvision import transforms class ImageFolderDataset(Dataset): def __init__(self, file_list, transformNone): self.file_list file_list self.transform transform def __len__(self): return len(self.file_list) def __getitem__(self, idx): img Image.open(self.file_list[idx]).convert(RGB) if self.transform: img self.transform(img) return img train_files [cat.jpg, dog.jpg, bird.jpg] # 實(shí)際項(xiàng)目里換成你的圖片路徑 val_files [cat2.jpg, dog2.jpg] train_transform transforms.Compose([ transforms.Resize(256), transforms.RandomCrop(224), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) val_transform transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) train_dataset ImageFolderDataset(train_files, transformtrain_transform) val_dataset ImageFolderDataset(val_files, transformval_transform) train_loader DataLoader(train_dataset, batch_size2, shuffleTrue) val_loader DataLoader(val_dataset, batch_size2, shuffleFalse) for batch in train_loader: print(訓(xùn)練batch shape:, batch.shape) break注意這里我在訓(xùn)練里加了RandomHorizontalFlip它和RandomCrop一樣都是不改變內(nèi)容語義的數(shù)據(jù)增強(qiáng)方式。驗(yàn)證集里沒有加目的是保證評估結(jié)果穩(wěn)定。如果是一開始就想快速跑通最簡單的做法是先不寫Dataset只對一個(gè)圖片調(diào)用transform確認(rèn)輸出shape符合預(yù)期再接進(jìn)DataLoader。這樣做的好處是如果出了bug你能快速判斷問題出在預(yù)處理還是數(shù)據(jù)加載環(huán)節(jié)。5.3 示例運(yùn)行效果和驗(yàn)證方法跑完上面的代碼你應(yīng)該能看到類似下面的輸出訓(xùn)練batch shape: torch.Size([2, 3, 224, 224])如果batch_size2每個(gè)樣本shape是(3, 224, 224)所以整個(gè)batch是(2, 3, 224, 224)。這說明你的數(shù)據(jù)流水線已經(jīng)通了每一張圖都經(jīng)過了Resize、RandomCrop、ToTensor和Normalize并且被正確堆疊成一個(gè)batch。我還會習(xí)慣檢查一下normalize是否真的生效。最簡單的方法是直接比較Normalize前后的輸出transform_no_norm transforms.Compose([ transforms.Resize(256), transforms.RandomCrop(224), transforms.ToTensor() ]) transform_with_norm transforms.Compose([ transforms.Resize(256), transforms.RandomCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) img Image.open(cat.jpg).convert(RGB) a transform_no_norm(img) b transform_with_norm(img) print(歸一化前像素范圍:, a.min().item(), a.max().item()) print(歸一化后像素范圍:, b.min().item(), b.max().item())歸一化前a的像素范圍應(yīng)該在[0, 1]之間歸一化后b的范圍通常會超出這個(gè)區(qū)間可能出現(xiàn)負(fù)值這才是Normalize生效的正常表現(xiàn)。6. 常見問題速查與我的幾條實(shí)操心得6.1 高頻報(bào)錯和排查建議很多報(bào)錯其實(shí)就集中在幾個(gè)固定點(diǎn)上。我把平時(shí)帶人和自己踩過的高頻問題整理出來報(bào)錯信息原因解決方案size of the cropped area must be smaller than the imageRandomCrop的尺寸大于圖片當(dāng)前尺寸在RandomCrop之前先Resize到更大的尺寸Input type (PIL.Image.Image) is not supported對一個(gè)PIL圖像直接調(diào)用了Normalize把ToTensor放在Normalize前面Expected tensor with shape (C, H, W)輸入了(H, W, C)格式的numpy數(shù)組先用ToTensor()轉(zhuǎn)換或調(diào)整數(shù)據(jù)維度圖像顯示偏色/慘白Normalize之后未做反歸一化直接可視化用std * x mean還原再乘255訓(xùn)練集acc高、驗(yàn)證集acc不穩(wěn)定驗(yàn)證集也用了RandomCrop驗(yàn)證集改用CenterCrop或不裁剪mean和std填錯了直接用了[0, 255]范圍統(tǒng)計(jì)結(jié)果ensure統(tǒng)計(jì)基于0-1范圍前三個(gè)報(bào)錯是零基礎(chǔ)同學(xué)最常遇到的。尤其是第二個(gè)幾乎每周都有人來問。記住一句話RandomCrop和Resize可以處理PIL圖像ToTensor負(fù)責(zé)把PIL圖像變成TensorNormalize只能在Tensor上操作。順序別搞反。6.2 我建議的“預(yù)處理三板斧”配置公開數(shù)據(jù)集、自然圖像分類、常規(guī)CNN模型我推薦的基礎(chǔ)配置是train_transform transforms.Compose([ transforms.Resize(256), transforms.RandomCrop(224), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) val_transform transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])這套配置在大多數(shù)任務(wù)上都能直接跑出不錯的效果而且不容易出錯。簡單解釋一下為什么Resize(256)RandomCrop(224)給訓(xùn)練集提供隨機(jī)位置裁剪RandomHorizontalFlip增加了水平翻轉(zhuǎn)的數(shù)據(jù)增強(qiáng)CenterCrop(224)保證驗(yàn)證集穩(wěn)定可復(fù)現(xiàn)Normalize用ImageNet統(tǒng)計(jì)值把數(shù)據(jù)分布統(tǒng)一。四個(gè)操作互相配合覆蓋了尺寸控制、數(shù)據(jù)增強(qiáng)、數(shù)值標(biāo)準(zhǔn)化三個(gè)層面。如果你的數(shù)據(jù)集本身圖片很大或者訓(xùn)練樣本很多我偶爾會把Resize(256)改成訓(xùn)練時(shí)RandomResizedCrop(224)驗(yàn)證時(shí)Resize(256) CenterCrop(224)。但這是進(jìn)階操作新手先用最大化兼容性的方案即可。6.3 一些容易被忽略的細(xì)節(jié)第一歸一化的均值方差不是隨便填的。如果你用的是Pytorch自帶的預(yù)訓(xùn)練模型模型在ImageNet上訓(xùn)練時(shí)的預(yù)處理就是Normalize(mean[0.485,...])所以加載預(yù)訓(xùn)練權(quán)重時(shí)也要用同一套參數(shù)這個(gè)坑不排查清楚微調(diào)效果會明顯變差。第二代碼里盡量用一個(gè)get_transform(trainTrue/False)返回不同流水線不要訓(xùn)練和驗(yàn)證各自寫一遍容易抄錯。用函數(shù)封裝的好處是以后想加ColorJitter、RandomRotation這些增強(qiáng)只需要改一處驗(yàn)證集的穩(wěn)定性不會被動到。第三檢查流水線時(shí)打印shape只是第一步打印像素分布也很重要。我通常會在第一次跑通代碼后加一行print(batch.min(), batch.max(), batch.mean())。如果mean離0特別遠(yuǎn)說明normalize的參數(shù)和你的數(shù)據(jù)分布不匹配要重新考慮是否應(yīng)該自己統(tǒng)計(jì)均值方差。第四不要把Resize和RandomCrop的目標(biāo)尺寸搞混。RandomCrop的size必須是最終輸入sizeResize的size只是中間過渡沒必要也一樣。網(wǎng)上有些代碼喜歡Resize(224)RandomCrop(224)這樣看起來沒報(bào)錯但實(shí)際上隨機(jī)裁剪沒有任何意義——輸入尺寸已經(jīng)等于輸出尺寸裁出來的永遠(yuǎn)是同一張圖。我自己用的時(shí)候尺寸差個(gè)32或64訓(xùn)練效果會有可感知的提升。最后再分享一個(gè)個(gè)人經(jīng)驗(yàn)調(diào)試預(yù)處理時(shí)盡量先用1-2張圖片單獨(dú)跑確認(rèn)尺寸、數(shù)值范圍都符合預(yù)期后再丟進(jìn)DataLoader。因?yàn)镈ataLoader的多進(jìn)程加載會把報(bào)錯信息夾雜在訓(xùn)練日志里新手很容易被帶偏。先在小樣本上確認(rèn)流水線正確再全量跑訓(xùn)練這個(gè)習(xí)慣能幫你省下大量排查時(shí)間。整個(gè)預(yù)處理流程說白了就是“按順序、看形狀、看分布”把這三件事做到位Resize、RandomCrop、Normalize這關(guān)就算真正過了。 PyTorch圖像預(yù)處理三件套：Resize、RandomCrop、Normalize實(shí)戰(zhàn)詳解
我最早帶零基礎(chǔ)學(xué)員做Pytorch項(xiàng)目的時(shí)候發(fā)現(xiàn)十個(gè)人里有七八個(gè)會卡在同一個(gè)地方——不是模型結(jié)構(gòu)看不懂也不是訓(xùn)練循環(huán)不會寫而是數(shù)據(jù)預(yù)處理這一層“黑盒”。圖片明明看著好好的一跑就報(bào)錯或者loss死活不降。今天這期零基礎(chǔ)入門四就把torchvision.transforms里出現(xiàn)頻率最高的三個(gè)操作一次性講透Resize、RandomCrop、Normalize再配一個(gè)能直接跑的示例保證你看完就能在自己的項(xiàng)目里用起來。這期內(nèi)容適合正在學(xué)Pytorch、準(zhǔn)備做圖像分類/目標(biāo)檢測、或者剛接觸深度學(xué)習(xí)卻對transforms一知半解的朋友。我會盡量把“每個(gè)操作到底在干什么”“為什么這么寫”“有哪些坑”都講清楚而不是只丟給你一段會跑的代碼。看完之后你再看到網(wǎng)上形形色色的預(yù)處理代碼就不會只是復(fù)制粘貼了。1. 先把三個(gè)操作在Pytorch里的大致位置弄清楚1.1 數(shù)據(jù)預(yù)處理在訓(xùn)練管線中的角色一張圖片從硬盤里被讀進(jìn)來到真正喂進(jìn)模型中間一般要經(jīng)過這樣幾步圖片讀取 - 尺寸調(diào)整 - 裁剪 - 轉(zhuǎn)Tensor - 歸一化 - 對齊batch。這三者都屬于“圖片到張量”這一過程中的環(huán)節(jié)。如果你用的是公開數(shù)據(jù)集比如CIFAR10、ImageNet這些操作已經(jīng)在庫內(nèi)部幫你接好了但如果自己收集圖片、自己做數(shù)據(jù)集里的__getitem__就一定要親手寫預(yù)處理。用一個(gè)生活類比模型就像一臺對原料有嚴(yán)格要求的加工機(jī)器有的機(jī)器只收50x50x3的口徑有的機(jī)器要求數(shù)值在01之間有的則要求在均值0、方差1的分布下才好處理。你從菜市場買回來的土豆大小各異、還帶泥預(yù)處理就是“洗土豆、切土豆、按標(biāo)準(zhǔn)分量裝袋”的環(huán)節(jié)。Resize負(fù)責(zé)把不同尺寸的圖統(tǒng)一成模型需要的尺寸RandomCrop負(fù)責(zé)隨機(jī)切出一塊作為訓(xùn)練樣本Normalize負(fù)責(zé)把像素?cái)?shù)值調(diào)整到合適的范圍。很多零基礎(chǔ)朋友容易忽略的位置是這些操作并不是模型訓(xùn)練過程中“自動完成的”而是發(fā)生在Dataset.__getitem__里、或者用DataLoader批量取數(shù)的時(shí)候。換句話說它們是CPU上處理的雖然簡單但每一步的耗時(shí)都會被放大——數(shù)據(jù)集越大預(yù)處理代碼的質(zhì)量影響越明顯。1.2 為什么用torchvision的transforms而不是自己手寫當(dāng)然可以手寫。你完全可以用PIL自己寫一個(gè)resize函數(shù)再用numpy手算歸一化。但torchvision的transforms最大的價(jià)值不是“幫你省幾行代碼”而是組合起來方便、有統(tǒng)一接口、默認(rèn)實(shí)現(xiàn)經(jīng)過大量項(xiàng)目驗(yàn)證。from torchvision import transforms transform transforms.Compose([ transforms.Resize(128), transforms.RandomCrop(112), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])這段代碼你看一眼就知道它做了四件事順序也清楚。而Compose內(nèi)部會把上面每個(gè)變換依次作用到輸入圖片上像一條流水線。自己手寫當(dāng)然也可以但組合、調(diào)試、隨機(jī)性控制都要自己維護(hù)尤其當(dāng)你需要“訓(xùn)練集和驗(yàn)證集用不同變換”的時(shí)候用Compose分別定義兩條流水線會清晰很多。不過也正因?yàn)槭恰昂诤小焙芏嗳擞昧艘欢螘r(shí)間還是搞不清里面到底發(fā)生了什么。比如RandomCrop在Resize之后和Resize在RandomCrop之后結(jié)果完全不同這個(gè)順序問題很多人第一次都會踩。我后文會單獨(dú)展開。1.3 跑示例前先把環(huán)境準(zhǔn)備好如果你是第一次跑代碼建議用Pytorch官方推薦的組合Python 3.8及以上搭配較新的Pytorch穩(wěn)定版torchvision版本盡量和Pytorch大版本對齊否則可能遇到torchvision.transforms里某些接口不存在、或者導(dǎo)入失敗的問題。pip install torch torchvision如果是用Anacondaconda install pytorch torchvision -c pytorch理論上這期內(nèi)容只需要CPU就能跑不需要先配好CUDA。你只要能把import torch、import torchvision執(zhí)行成功就行。代碼里我會用一張本地圖片做演示如果沒有圖片用PIL隨機(jī)生成一張純色圖也完全可以驗(yàn)證流程。2. Resize統(tǒng)一圖片尺寸是模型輸入的第一道關(guān)卡2.1 Resize到底做了什么transforms.Resize做的事情很簡單把輸入的PIL圖像或Tensor縮放到指定大小。默認(rèn)使用雙線性插值。它的接口長這樣transforms.Resize(size, interpolationtransforms.InterpolationMode.BILINEAR)size可以是一個(gè)整數(shù)也可以是一個(gè)(height, width)元組。如果傳的是整數(shù)比如Resize(128)Pytorch會按短邊縮放保持原圖寬高比不變讓短邊長度等于128長邊按比例縮放。如果傳的是元組比如Resize((128, 128))那就直接把圖像拉伸到128x128不保證寬高比。很多模型輸入需要固定尺寸例如224x224、256x256所以Resize((224, 224))是最常見的寫法。但如果你希望保留比例再配合裁剪來補(bǔ)足尺寸那就得把這兩個(gè)操作組合起來用。這里有個(gè)細(xì)節(jié)經(jīng)常被忽視Resize本身是有信息損失的?？s小圖片會丟失高頻細(xì)節(jié)紋理、邊緣放大圖片會引入插值產(chǎn)生的模糊。所以“一次到位”直接Resize((224, 224))并不是所有場景的最佳選擇我后面會講一個(gè)更穩(wěn)妥的套路。2.2 Resize參數(shù)怎么選先看圖片的原始尺寸和模型輸入尺寸差異。如果原圖是2000x1500模型輸入是224x224直接一次性縮到224x224會讓很多小目標(biāo)細(xì)節(jié)直接消失。比較好的做法是分兩段先縮放到寬邊約256512再在后續(xù)操作進(jìn)一步調(diào)整。如果原圖和目標(biāo)尺寸差距不大一次性Resize(224)就夠了。再看插值方式。torchvision默認(rèn)的InterpolationMode.BILINEAR在大多數(shù)情況下都夠用。如果縮小的比例很大可以考慮InterpolationMode.AREA它在縮小圖片時(shí)按區(qū)域平均像素能保留更多信息如果是放大圖片InterpolationMode.LANCZOS質(zhì)量更高但速度慢。實(shí)際項(xiàng)目里我見過不少老代碼直接用PIL.Image.BILINEAR也能跑只是API在不同版本間有點(diǎn)混亂。關(guān)于目標(biāo)尺寸還有一個(gè)常見選擇“不讓長邊超過上限”。比如模型輸入可以是任意尺寸但顯存有限就把長邊限制在512或640短邊等比縮放。這時(shí)你的Resize只是預(yù)處理的第一步后面模型內(nèi)部可能還有自適應(yīng)池化之類的機(jī)制。這種情況下只傳一個(gè)整數(shù)會更合適。2.3 實(shí)際項(xiàng)目里Resize常用的組合套路我自己在圖像分類項(xiàng)目里最常用的一套組合是先Resize(256)再RandomCrop(224)。這里的思路是先用雙線性插值把圖片縮放到一個(gè)比最終輸入稍微大一點(diǎn)的尺寸然后通過隨機(jī)裁剪切出224x224區(qū)域。這樣既能保證輸入尺寸統(tǒng)一又相當(dāng)于做了一次隨機(jī)縮放給訓(xùn)練過程增加了一點(diǎn)尺度變化。如果圖片很小比如原始圖只有100x100目標(biāo)尺寸224x224那直接Resize(224)會把圖片放得很模糊沒有足夠多的細(xì)節(jié)。這時(shí)候需要優(yōu)先考慮數(shù)據(jù)本身的清晰度而不是盲目追求模型的輸入尺寸。遇到這種情況我更建議先檢查一下數(shù)據(jù)分布了解圖片的真實(shí)尺寸范圍再決定處理策略。還有一個(gè)很容易被忽略的點(diǎn)Resize默認(rèn)接受PIL圖像不接受numpy數(shù)組。如果你從cv2.imread讀進(jìn)來的圖片是numpy格式要先用Image.fromarray轉(zhuǎn)成PIL或者單獨(dú)使用其他支持Tensor的變換方式。這里不處理好后面一進(jìn)transforms.Compose就會報(bào)類型錯誤。3. RandomCrop數(shù)據(jù)增強(qiáng)的“性價(jià)比”之王3.1 RandomCrop做什么transforms.RandomCrop(size)的效果是在輸入圖片上隨機(jī)選取一個(gè)位置裁剪出一塊指定大小的區(qū)域。它和CenterCrop的區(qū)別就是“隨機(jī)”二字——每次調(diào)用裁出來的位置可能都不一樣。transforms.RandomCrop(224) # 或 transforms.RandomCrop((224, 224)) # 還可以在裁剪的同時(shí)填充邊緣 transforms.RandomCrop(224, pad4)隨機(jī)裁剪為什么有用因?yàn)樗喈?dāng)于在訓(xùn)練時(shí)給模型提供了“同一張圖的不同視圖”同一只貓這次裁到的是貓臉下次裁到的是貓身子再下次裁到的是貓爪子。模型看到的是同一個(gè)對象在不同位置、不同上下文下的形態(tài)這會迫使模型學(xué)會“對象本身是什么”而不是死記“某個(gè)像素位置出現(xiàn)什么”。這是提升模型平移不變性最直接的手段之一。另一個(gè)層面RandomCrop也會間接帶來一些尺度變化。因?yàn)槟阆确糯髨D片再隨機(jī)裁剪等于每次裁到的區(qū)域?qū)?yīng)的原始范圍不一樣模型就會適應(yīng)目標(biāo)在不同尺度下出現(xiàn)的情況。這和“Multi-Scale Training”的思想是一致的。3.2 RandomCrop和CenterCrop怎么選訓(xùn)練集一般用RandomCrop驗(yàn)證集和測試集用CenterCrop。原因很簡單訓(xùn)練時(shí)我們希望數(shù)據(jù)越多樣越好但評估時(shí)又希望結(jié)果可復(fù)現(xiàn)、穩(wěn)定。如果驗(yàn)證集也用RandomCrop同一張圖在兩次評估中可能得到不同的裁剪結(jié)果模型輸出的指標(biāo)就會有波動你很難判斷到底是誰在進(jìn)步?！膀?yàn)證集用CenterCrop”這個(gè)習(xí)慣要盡早養(yǎng)成。很多第一次做項(xiàng)目的朋友把訓(xùn)練和驗(yàn)證用同一個(gè)transform結(jié)果模型在訓(xùn)練集上acc很高、驗(yàn)證集上卻忽高忽低還以為過擬合了其實(shí)是驗(yàn)證時(shí)的隨機(jī)性在搗亂。另外還有個(gè)很常見的場景如果你的模型輸入是224x224但圖片本身非常不規(guī)則比如全景圖、長截圖RandomCrop容易裁到?jīng)]有內(nèi)容的背景區(qū)域?qū)е掠?xùn)練樣本質(zhì)量下降。這種情況下可以考慮先把長邊縮放到固定值再結(jié)合RandomResizedCrop去做尺度隨機(jī)的裁剪而不是單純用RandomCrop。3.3 ResizeRandomCrop的經(jīng)典組合前面提過我常用Resize(256) RandomCrop(224)。這里展開說下為什么這個(gè)組合比直接Resize(224)更靠譜。如果你直接把圖縮到224x224再做隨機(jī)裁剪就無從下手了——因?yàn)閳D已經(jīng)和目標(biāo)尺寸一樣大裁剪只會得到完全相同的圖。所以必須保證RandomCrop的輸入尺寸嚴(yán)格大于輸出尺寸隨機(jī)性才有意義。Resize(256)之后再裁224裁出來的窗口可以在16x16種位置變化訓(xùn)練樣本的多樣性馬上就上去了。組合時(shí)要注意順序。如果先RandomCrop(224)再Resize((224, 224))那么裁出來的區(qū)域大概率是低分辨率的局部放大模糊程度可能會影響訓(xùn)練。一般建議先放大到較大尺寸、再裁剪到最終尺寸。當(dāng)然也有例外如果原圖很大先裁剪再縮放反而能減少內(nèi)存占用這時(shí)候順序就要反過來。沒有絕對正確的順序需要根據(jù)你的數(shù)據(jù)尺寸、模型輸入、性能需求權(quán)衡。順便提一嘴torchvision里還有RandomResizedCrop它把“縮放”和“裁剪”合成了一個(gè)操作能隨機(jī)選取原圖上一個(gè)區(qū)域再把該區(qū)域縮放到指定尺寸。從效果上比Resize RandomCrop更接近尺度增強(qiáng)但可控性稍弱一點(diǎn)。兩者都可以用看你習(xí)慣哪種。4. Normalize用均值和方差把數(shù)據(jù)“校準(zhǔn)”到模型友好區(qū)間4.1 Normalize的數(shù)學(xué)原理transforms.Normalize(mean, std)在實(shí)際執(zhí)行時(shí)對每個(gè)通道做這樣的計(jì)算x_norm (x - mean) / std它期望的輸入是范圍[0, 1]的浮點(diǎn)Tensor通常來自transforms.ToTensor()。如果直接對PIL圖像做NormalizePIL圖像范圍是[0, 255]mean、std定義完全對不上結(jié)果會非常離譜。ToTensor做的事有兩件一是把PIL圖像或numpy數(shù)組轉(zhuǎn)成torch.FloatTensor二是把像素值從[0, 255]縮放到[0, 1]。也就是說在Normalize之前你的圖像數(shù)據(jù)已經(jīng)被轉(zhuǎn)換了一次“計(jì)量單位”。那為什么要再做一次Normalize因?yàn)閇0, 1]范圍雖然比[0, 255]好用但不同圖片的亮度、對比度差異還是很大。有的圖平均亮度0.9有的圖平均亮度0.3喂給模型后模型看到的輸入特征分布不穩(wěn)定梯度更新的方向就容易波動。Normalize的目的就是讓每個(gè)通道的像素分布接近“均值0、方差1”的標(biāo)準(zhǔn)正態(tài)分布也就是給數(shù)據(jù)做一次“標(biāo)準(zhǔn)化”讓不同樣本的數(shù)值尺度保持一致。4.2 mean和std從哪里來很多人第一次看示例代碼都會困惑mean[0.485, 0.456, 0.406]這幾個(gè)數(shù)哪來的這是ImageNet數(shù)據(jù)集的統(tǒng)計(jì)結(jié)果。ImageNet作為目前最常用的圖像預(yù)訓(xùn)練數(shù)據(jù)集之一它的RGB三通道均值和標(biāo)準(zhǔn)差被廣泛復(fù)用。你在很多預(yù)訓(xùn)練模型的代碼里都會看到這三個(gè)數(shù)字。如果自己的數(shù)據(jù)集和ImageNet差異不大比如自然圖像分類任務(wù)直接用ImageNet的mean/std是常規(guī)操作。這樣做還有個(gè)額外的好處加載ImageNet預(yù)訓(xùn)練權(quán)重時(shí)輸入數(shù)據(jù)的分布和預(yù)訓(xùn)練時(shí)的分布保持一致模型微調(diào)更容易收斂。如果你的數(shù)據(jù)集很特殊比如醫(yī)學(xué)影像、紅外圖像那最好自己統(tǒng)計(jì)。統(tǒng)計(jì)方法很簡單把訓(xùn)練集所有圖片轉(zhuǎn)成Tensor在所有樣本上計(jì)算每個(gè)通道的均值和標(biāo)準(zhǔn)差。這里有個(gè)細(xì)節(jié)統(tǒng)計(jì)時(shí)像素范圍一定是[0, 1]不是[0, 255]否則算出來的mean和std會大得離譜。另一個(gè)細(xì)節(jié)是通道順序PIL加載的RGB圖片在ToTensor后是(C, H, W)你要算的是每個(gè)通道自己的均值和方差不要搞混了。4.3 Normalize的常見坑第一個(gè)坑直接用numpy手算RGB均值時(shí)忘了把像素范圍除以255。你如果統(tǒng)計(jì)出來的均值是[123, 116, 103]這種說明你算的是[0, 255]范圍而Normalize期望的是[0, 1]范圍的mean。正確的統(tǒng)計(jì)應(yīng)該在ToTensor之后進(jìn)行或者手動把統(tǒng)計(jì)結(jié)果除以255。第二個(gè)坑把Normalize放在ToTensor之前。我看到很多新手代碼寫成Compose([Normalize(...), ToTensor()])結(jié)果不是報(bào)錯就是數(shù)值完全不對。Normalize不認(rèn)識PIL圖像也不會自動幫你轉(zhuǎn)格式必須先ToTensor再Normalize順序不要記反。第三個(gè)坑可視化時(shí)忘記“反歸一化”。訓(xùn)練途中你想把輸入圖片打印出來看看如果直接打印Normalize之后的圖會發(fā)現(xiàn)顏色很奇怪像是加了濾鏡一樣。這是因?yàn)閿?shù)據(jù)分布被改變了。要想看原始圖需要先乘std再加mean再乘255或者把像素值截?cái)嗟絒0, 1]再顯示。第四坑有時(shí)候你只對RGB三個(gè)通道中的某些通道做Normalize比如灰度圖只有一個(gè)通道。這時(shí)候應(yīng)該傳一維的mean/std不要照抄三通道的值。5. 跑一個(gè)完整示例三操作串聯(lián)的實(shí)操演示5.1 第一個(gè)示例單張圖片的變化過程我先演示一個(gè)基礎(chǔ)示例用一張本地的cat.jpg圖片依次經(jīng)過Resize RandomCrop ToTensor Normalize觀察輸出結(jié)果。import torch from PIL import Image from torchvision import transforms # 定義預(yù)處理流水線 transform transforms.Compose([ transforms.Resize(256), transforms.RandomCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) # 讀取圖片 img Image.open(cat.jpg).convert(RGB) print(原始尺寸:, img.size) # 應(yīng)用預(yù)處理 out transform(img) print(變換后shape:, tuple(out.shape)) # 應(yīng)該是 (3, 224, 224) # 統(tǒng)計(jì)每個(gè)通道的均值和方差肉眼觀察是否接近0和1 for i, name in enumerate([R, G, B]): print(f{name}通道均值: {out[i].mean():.4f})運(yùn)行結(jié)果大概長這樣原始尺寸: (640, 480) 變換后shape: (3, 224, 224) R通道均值: 0.4821 G通道均值: 0.4503 B通道均值: 0.4082可以看到輸出shape固定在了(3, 224, 224)。每次運(yùn)行這段代碼由于RandomCrop是隨機(jī)的out的內(nèi)容都會不同但你打印出來的三個(gè)通道均值會比較穩(wěn)定。如果哪一次輸出的均值偏差特別大通常是因?yàn)椴眉舻搅艘淮笃毡尘皩?dǎo)致顏色分布變化這屬于正?，F(xiàn)象也是隨機(jī)裁剪的“副作用”。這里還可以做一個(gè)操作把RandomCrop(224)換成CenterCrop(224)再跑一遍對比兩次輸出你就會直觀感受到“隨機(jī)裁剪”帶來的變化到底有多大。5.2 第二個(gè)示例在Dataset里應(yīng)用并使用DataLoader加載實(shí)際項(xiàng)目里transforms.Compose很少單獨(dú)作用于一張圖片而是放在自定義Dataset里。這里寫一個(gè)簡化版例子展示訓(xùn)練集和驗(yàn)證集如何使用不同的預(yù)處理流水線import os import torch from PIL import Image from torch.utils.data import Dataset, DataLoader from torchvision import transforms class ImageFolderDataset(Dataset): def __init__(self, file_list, transformNone): self.file_list file_list self.transform transform def __len__(self): return len(self.file_list) def __getitem__(self, idx): img Image.open(self.file_list[idx]).convert(RGB) if self.transform: img self.transform(img) return img train_files [cat.jpg, dog.jpg, bird.jpg] # 實(shí)際項(xiàng)目里換成你的圖片路徑 val_files [cat2.jpg, dog2.jpg] train_transform transforms.Compose([ transforms.Resize(256), transforms.RandomCrop(224), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) val_transform transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) train_dataset ImageFolderDataset(train_files, transformtrain_transform) val_dataset ImageFolderDataset(val_files, transformval_transform) train_loader DataLoader(train_dataset, batch_size2, shuffleTrue) val_loader DataLoader(val_dataset, batch_size2, shuffleFalse) for batch in train_loader: print(訓(xùn)練batch shape:, batch.shape) break注意這里我在訓(xùn)練里加了RandomHorizontalFlip它和RandomCrop一樣都是不改變內(nèi)容語義的數(shù)據(jù)增強(qiáng)方式。驗(yàn)證集里沒有加目的是保證評估結(jié)果穩(wěn)定。如果是一開始就想快速跑通最簡單的做法是先不寫Dataset只對一個(gè)圖片調(diào)用transform確認(rèn)輸出shape符合預(yù)期再接進(jìn)DataLoader。這樣做的好處是如果出了bug你能快速判斷問題出在預(yù)處理還是數(shù)據(jù)加載環(huán)節(jié)。5.3 示例運(yùn)行效果和驗(yàn)證方法跑完上面的代碼你應(yīng)該能看到類似下面的輸出訓(xùn)練batch shape: torch.Size([2, 3, 224, 224])如果batch_size2每個(gè)樣本shape是(3, 224, 224)所以整個(gè)batch是(2, 3, 224, 224)。這說明你的數(shù)據(jù)流水線已經(jīng)通了每一張圖都經(jīng)過了Resize、RandomCrop、ToTensor和Normalize并且被正確堆疊成一個(gè)batch。我還會習(xí)慣檢查一下normalize是否真的生效。最簡單的方法是直接比較Normalize前后的輸出transform_no_norm transforms.Compose([ transforms.Resize(256), transforms.RandomCrop(224), transforms.ToTensor() ]) transform_with_norm transforms.Compose([ transforms.Resize(256), transforms.RandomCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) img Image.open(cat.jpg).convert(RGB) a transform_no_norm(img) b transform_with_norm(img) print(歸一化前像素范圍:, a.min().item(), a.max().item()) print(歸一化后像素范圍:, b.min().item(), b.max().item())歸一化前a的像素范圍應(yīng)該在[0, 1]之間歸一化后b的范圍通常會超出這個(gè)區(qū)間可能出現(xiàn)負(fù)值這才是Normalize生效的正常表現(xiàn)。6. 常見問題速查與我的幾條實(shí)操心得6.1 高頻報(bào)錯和排查建議很多報(bào)錯其實(shí)就集中在幾個(gè)固定點(diǎn)上。我把平時(shí)帶人和自己踩過的高頻問題整理出來報(bào)錯信息原因解決方案size of the cropped area must be smaller than the imageRandomCrop的尺寸大于圖片當(dāng)前尺寸在RandomCrop之前先Resize到更大的尺寸Input type (PIL.Image.Image) is not supported對一個(gè)PIL圖像直接調(diào)用了Normalize把ToTensor放在Normalize前面Expected tensor with shape (C, H, W)輸入了(H, W, C)格式的numpy數(shù)組先用ToTensor()轉(zhuǎn)換或調(diào)整數(shù)據(jù)維度圖像顯示偏色/慘白Normalize之后未做反歸一化直接可視化用std * x mean還原再乘255訓(xùn)練集acc高、驗(yàn)證集acc不穩(wěn)定驗(yàn)證集也用了RandomCrop驗(yàn)證集改用CenterCrop或不裁剪mean和std填錯了直接用了[0, 255]范圍統(tǒng)計(jì)結(jié)果ensure統(tǒng)計(jì)基于0-1范圍前三個(gè)報(bào)錯是零基礎(chǔ)同學(xué)最常遇到的。尤其是第二個(gè)幾乎每周都有人來問。記住一句話RandomCrop和Resize可以處理PIL圖像ToTensor負(fù)責(zé)把PIL圖像變成TensorNormalize只能在Tensor上操作。順序別搞反。6.2 我建議的“預(yù)處理三板斧”配置公開數(shù)據(jù)集、自然圖像分類、常規(guī)CNN模型我推薦的基礎(chǔ)配置是train_transform transforms.Compose([ transforms.Resize(256), transforms.RandomCrop(224), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) val_transform transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])這套配置在大多數(shù)任務(wù)上都能直接跑出不錯的效果而且不容易出錯。簡單解釋一下為什么Resize(256)RandomCrop(224)給訓(xùn)練集提供隨機(jī)位置裁剪RandomHorizontalFlip增加了水平翻轉(zhuǎn)的數(shù)據(jù)增強(qiáng)CenterCrop(224)保證驗(yàn)證集穩(wěn)定可復(fù)現(xiàn)Normalize用ImageNet統(tǒng)計(jì)值把數(shù)據(jù)分布統(tǒng)一。四個(gè)操作互相配合覆蓋了尺寸控制、數(shù)據(jù)增強(qiáng)、數(shù)值標(biāo)準(zhǔn)化三個(gè)層面。如果你的數(shù)據(jù)集本身圖片很大或者訓(xùn)練樣本很多我偶爾會把Resize(256)改成訓(xùn)練時(shí)RandomResizedCrop(224)驗(yàn)證時(shí)Resize(256) CenterCrop(224)。但這是進(jìn)階操作新手先用最大化兼容性的方案即可。6.3 一些容易被忽略的細(xì)節(jié)第一歸一化的均值方差不是隨便填的。如果你用的是Pytorch自帶的預(yù)訓(xùn)練模型模型在ImageNet上訓(xùn)練時(shí)的預(yù)處理就是Normalize(mean[0.485,...])所以加載預(yù)訓(xùn)練權(quán)重時(shí)也要用同一套參數(shù)這個(gè)坑不排查清楚微調(diào)效果會明顯變差。第二代碼里盡量用一個(gè)get_transform(trainTrue/False)返回不同流水線不要訓(xùn)練和驗(yàn)證各自寫一遍容易抄錯。用函數(shù)封裝的好處是以后想加ColorJitter、RandomRotation這些增強(qiáng)只需要改一處驗(yàn)證集的穩(wěn)定性不會被動到。第三檢查流水線時(shí)打印shape只是第一步打印像素分布也很重要。我通常會在第一次跑通代碼后加一行print(batch.min(), batch.max(), batch.mean())。如果mean離0特別遠(yuǎn)說明normalize的參數(shù)和你的數(shù)據(jù)分布不匹配要重新考慮是否應(yīng)該自己統(tǒng)計(jì)均值方差。第四不要把Resize和RandomCrop的目標(biāo)尺寸搞混。RandomCrop的size必須是最終輸入sizeResize的size只是中間過渡沒必要也一樣。網(wǎng)上有些代碼喜歡Resize(224)RandomCrop(224)這樣看起來沒報(bào)錯但實(shí)際上隨機(jī)裁剪沒有任何意義——輸入尺寸已經(jīng)等于輸出尺寸裁出來的永遠(yuǎn)是同一張圖。我自己用的時(shí)候尺寸差個(gè)32或64訓(xùn)練效果會有可感知的提升。最后再分享一個(gè)個(gè)人經(jīng)驗(yàn)調(diào)試預(yù)處理時(shí)盡量先用1-2張圖片單獨(dú)跑確認(rèn)尺寸、數(shù)值范圍都符合預(yù)期后再丟進(jìn)DataLoader。因?yàn)镈ataLoader的多進(jìn)程加載會把報(bào)錯信息夾雜在訓(xùn)練日志里新手很容易被帶偏。先在小樣本上確認(rèn)流水線正確再全量跑訓(xùn)練這個(gè)習(xí)慣能幫你省下大量排查時(shí)間。整個(gè)預(yù)處理流程說白了就是“按順序、看形狀、看分布”把這三件事做到位Resize、RandomCrop、Normalize這關(guān)就算真正過了。