1. 項(xiàng)目概述pytorch到底在解決什么問題先直接說結(jié)論pytorch是目前深度學(xué)習(xí)實(shí)踐中最容易上手、最利于調(diào)試的框架之一。對于絕大多數(shù)做模型訓(xùn)練、算法驗(yàn)證、科研復(fù)現(xiàn)甚至工業(yè)落地的開發(fā)者來說它已經(jīng)從一個(gè)“可選工具”變成了“默認(rèn)選項(xiàng)”。我最早接觸深度學(xué)習(xí)時(shí)用的是別的框架后來轉(zhuǎn)到pytorch最大的感受就是代碼終于跟腦子里的計(jì)算過程對齊了寫模型不再像在解謎。圍繞pytorch這個(gè)標(biāo)題很多人第一反應(yīng)是“一個(gè)Python深度學(xué)習(xí)庫”但這個(gè)理解太淺了。pytorch真正解決的是三個(gè)層面的問題第一如何用靈活的方式定義神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第二如何自動完成反向傳播計(jì)算梯度第三如何把訓(xùn)練過程打包成一套可復(fù)用的流程。這三個(gè)能力疊加起來才讓它成為能處理圖像分類、目標(biāo)檢測、自然語言處理、推薦系統(tǒng)等各類任務(wù)的基礎(chǔ)設(shè)施。這篇內(nèi)容適合的人群很廣剛?cè)腴T深度學(xué)習(xí)、想在課程項(xiàng)目中快速實(shí)現(xiàn)模型的新手已經(jīng)會用框架但不太清楚背后計(jì)算邏輯的開發(fā)者以及需要把模型跑通并部署的算法工程師。我會從核心概念講到完整訓(xùn)練流程再整理我實(shí)際踩過的坑盡量做到每一步都能直接照著做。文章里涉及的所有代碼都是我自己在模擬項(xiàng)目中反復(fù)驗(yàn)證過的可以直接抄但更重要的是理解每一個(gè)步驟為什么存在。pytorch的魅力不在于它的API有多炫而在于它的設(shè)計(jì)邏輯跟人的思維習(xí)慣高度一致。把這一點(diǎn)想清楚后面寫任何模型都會順手很多。2. 核心概念拆解張量、自動求導(dǎo)、模型模塊、數(shù)據(jù)加載2.1 張量不是簡單的多維數(shù)組pytorch里的核心數(shù)據(jù)結(jié)構(gòu)叫torch.Tensor中文一般譯為張量。你可以把它理解為“帶計(jì)算能力的多維數(shù)組”和numpy的ndarray很像但有本質(zhì)區(qū)別張量可以放在GPU上運(yùn)算并且會在運(yùn)算過程中自動記錄計(jì)算路徑為后面的梯度計(jì)算做準(zhǔn)備。我記得當(dāng)初剛學(xué)的時(shí)候總是搞不清tensor和numpy到底有什么區(qū)別。后來用一個(gè)類比才真正想通numpy數(shù)組就像手寫計(jì)算器你按一個(gè)鍵出一個(gè)結(jié)果按完就忘了剛才的過程而pytorch的張量更像記賬本每一次加減乘除都被記錄在案后續(xù)要算“你每一步變化對結(jié)果的影響”時(shí)翻賬本就能算出來。這個(gè)“記賬本”特性就是自動求導(dǎo)的基礎(chǔ)。實(shí)際操作中張量有幾個(gè)必須記住的屬性和方法。shape屬性表示維度形狀比如torch.Size([32, 3, 224, 224])表示一批32張三通道224x224的圖片dtype表示數(shù)據(jù)類型默認(rèn)是torch.float32改精度時(shí)用tensor.float()或tensor.half()device表示數(shù)據(jù)放在CPU還是GPU上用tensor.cuda()或tensor.to(cuda)搬到顯存。很多人第一次寫代碼報(bào)錯十有八九是device不一致一個(gè)張量在CPU一個(gè)在GPU一相加就報(bào)錯。這類問題排查起來不難但非常煩人后面我會專門列一節(jié)。張量之間的運(yùn)算也不只是加減乘除。兩個(gè)形狀不同的張量做運(yùn)算時(shí)會觸發(fā)廣播機(jī)制比如形狀是[3, 1]和[1, 4]的兩個(gè)張量相加pytorch會自動擴(kuò)展成[3, 4]再相加。這個(gè)機(jī)制用好了能省很多代碼但用不好就會出現(xiàn)“結(jié)果出來了但含義完全不對”的隱蔽bug。我自己的習(xí)慣是凡是涉及維度變化的操作先打印一下結(jié)果形狀確認(rèn)無誤再繼續(xù)往后寫。2.2 自動求導(dǎo)反向傳播的幕后引擎深度學(xué)習(xí)訓(xùn)練的核心是梯度下降而梯度計(jì)算靠的就是反向傳播。pytorch的autograd模塊把這個(gè)過程完全自動化了。你只要在創(chuàng)建張量時(shí)設(shè)置requires_gradTrue之后所有涉及這個(gè)張量的運(yùn)算都會被記錄然后調(diào)用backward()就能得到每個(gè)葉子節(jié)點(diǎn)的梯度。用生活中的例子來解釋假設(shè)你要調(diào)整一鍋湯的咸淡目標(biāo)是味道剛剛好。你每次嘗完湯需要判斷是加鹽還是加水、加多少。反向傳播就像是在做“誤差歸因”——把這個(gè)湯咸了或淡了的責(zé)任按比例分?jǐn)偟矫恳环N調(diào)料上。自動求導(dǎo)則把這個(gè)歸因過程變成了全自動你只要定義好湯的配方和味道評分標(biāo)準(zhǔn)它自動告訴你每一種調(diào)料該調(diào)整多少。在代碼層面有個(gè)關(guān)鍵點(diǎn)每次反向傳播后梯度是累積的不是清零的。也就是說如果你在一個(gè)循環(huán)里多次調(diào)用backward()而不手動清零梯度會不斷疊加。標(biāo)準(zhǔn)做法是在每次參數(shù)更新前調(diào)用optimizer.zero_grad()把所有參數(shù)的grad屬性歸零。這個(gè)細(xì)節(jié)幾乎所有新手都會忽略導(dǎo)致的癥狀是loss曲線詭異波動甚至不降反升。我最初也踩過一次后來養(yǎng)成習(xí)慣optimizer.zero_grad()、loss.backward()、optimizer.step()這三步永遠(yuǎn)是連在一起寫缺一不可。值得多提一句的是pytorch默認(rèn)是動態(tài)圖機(jī)制。所謂動態(tài)圖就是每次前向傳播都重新構(gòu)建計(jì)算圖這意味著你可以在代碼里寫if條件、for循環(huán)甚至print中間結(jié)果來調(diào)試而不需要像靜態(tài)圖框架那樣先定義完整的計(jì)算圖再執(zhí)行。這個(gè)特性在研究和項(xiàng)目調(diào)試階段極其重要也是很多人選pytorch而不是其他框架的直接原因。2.3 模型與優(yōu)化器torch.nn模塊的用法torch.nn是pytorch用來構(gòu)建神經(jīng)網(wǎng)絡(luò)的模塊核心類有兩個(gè)nn.Module和nn.Parameter。簡單理解nn.Module是所有網(wǎng)絡(luò)的基類你的模型必須繼承這個(gè)類實(shí)現(xiàn)__init__和forward兩個(gè)方法nn.Parameter是張量的一個(gè)子類默認(rèn)requires_gradTrue會作為模型參數(shù)被優(yōu)化器自動追蹤。一個(gè)最常見的入門模型是這樣寫的定義一個(gè)類在__init__里聲明各個(gè)層比如nn.Linear(784, 256)表示一個(gè)輸入784維輸出256維的全連接層然后實(shí)現(xiàn)forward方法指定數(shù)據(jù)從輸入到輸出的流動路徑。這里的forward方法非常關(guān)鍵pytorch對模型調(diào)用model(x)時(shí)實(shí)際執(zhí)行的是model.forward(x)。也就是說前向傳播邏輯完全由你自己控制想怎么連就怎么連。損失函數(shù)和優(yōu)化器也在torch.nn和torch.optim里。常用的損失函數(shù)有分類任務(wù)用nn.CrossEntropyLoss回歸任務(wù)用nn.MSELoss。優(yōu)化器常見的包括SGD和Adam推薦入門默認(rèn)用Adam它的收斂穩(wěn)定性更好對學(xué)習(xí)率的敏感度更低。選學(xué)習(xí)率時(shí)我習(xí)慣從1e-3開始嘗試然后觀察loss曲線動態(tài)調(diào)整。如果loss震蕩明顯可以降到1e-4如果收斂太慢再適度調(diào)高到3e-3。學(xué)習(xí)率不是一個(gè)需要精確求解的參數(shù)根據(jù)曲線變化靈活調(diào)整才是常態(tài)。2.4 Dataset與DataLoader數(shù)據(jù)管線的設(shè)計(jì)邏輯數(shù)據(jù)加載這一環(huán)經(jīng)常被人忽略但它對訓(xùn)練效率和效果的影響非常大。pytorch提供了兩個(gè)配套類torch.utils.data.Dataset和DataLoader。Dataset負(fù)責(zé)定義“怎么拿到一條數(shù)據(jù)”DataLoader負(fù)責(zé)在訓(xùn)練時(shí)“如何批量、亂序、并行地取出數(shù)據(jù)”。我自己的理解是Dataset像是廚房里的備菜員DataLoader像是上菜的服務(wù)員。備菜員按標(biāo)準(zhǔn)流程把每道菜需要的食材準(zhǔn)備好服務(wù)員則按桌號快速把菜端上去同時(shí)保證節(jié)奏不拖沓。在實(shí)際寫代碼時(shí)你只要實(shí)現(xiàn)Dataset的__len__和__getitem__兩個(gè)方法剩下的多線程預(yù)加載、shuffle、批次劃分全部交給DataLoader。關(guān)于shuffle有個(gè)容易被忽視的細(xì)節(jié)訓(xùn)練階段shuffleTrue可以避免模型學(xué)到樣本順序相關(guān)的假模式但驗(yàn)證和測試階段shuffle必須設(shè)為False否則評估指標(biāo)會因隨機(jī)順序而波動導(dǎo)致結(jié)果不可復(fù)現(xiàn)。此外num_workers這個(gè)參數(shù)設(shè)置了數(shù)據(jù)加載的子進(jìn)程數(shù)Windows系統(tǒng)上設(shè)大于0有時(shí)會報(bào)錯Linux則通常沒問題。初學(xué)者在這個(gè)問題上卡住的不在少數(shù)但是理解了它的作用后心里就有底了它只是提速用的不是必須調(diào)大的參數(shù)。3. 實(shí)操落地從數(shù)據(jù)準(zhǔn)備到模型訓(xùn)練的完整流程3.1 環(huán)境搭建先跑通最小案例再追求性能在開始寫代碼之前先把環(huán)境準(zhǔn)備好。安裝pytorch最穩(wěn)妥的方式是到官網(wǎng)選擇對應(yīng)的操作系統(tǒng)和CUDA版本復(fù)制生成的pip命令直接執(zhí)行。這里要提醒一個(gè)容易踩的坑如果你的機(jī)器沒有NVIDIA顯卡就不需要也不應(yīng)該安裝CUDA版本安裝CPU版本就夠了如果機(jī)器有顯卡那優(yōu)先安裝對應(yīng)CUDA版本的pytorch因?yàn)镃PU訓(xùn)練一個(gè)像樣的模型可能要幾個(gè)小時(shí)GPU則只需要幾分鐘。確認(rèn)環(huán)境是否正常我一般跑這么一小段代碼import torch print(torch.__version__) print(torch.cuda.is_available())torch.cuda.is_available()返回True代表GPU可用返回False則說明只能用CPU。后面寫代碼時(shí)我習(xí)慣在一開始就定義一個(gè)device變量比如device torch.device(cuda if torch.cuda.is_available() else cpu)然后所有張量和模型都用.to(device)轉(zhuǎn)到對應(yīng)設(shè)備上。這種做法雖然看起來多寫了幾行但能保證同一份代碼在有無GPU的機(jī)器上都能運(yùn)行避免了設(shè)備不一致的報(bào)錯。3.2 數(shù)據(jù)準(zhǔn)備用圖像分類Demo走通全流程我以最簡單的圖像分類為例目標(biāo)是識別手寫數(shù)字。pytorch內(nèi)置了MNIST數(shù)據(jù)集在/torchvision/datasets里可以直接下載。第一步是創(chuàng)建Dataset對象第二步是把它交給DataLoader。from torch.utils.data import DataLoader from torchvision import datasets, transforms transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) train_dataset datasets.MNIST( root./data, trainTrue, downloadTrue, transformtransform ) test_dataset datasets.MNIST( root./data, trainFalse, downloadTrue, transformtransform ) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) test_loader DataLoader(test_dataset, batch_size256, shuffleFalse)這里normalization的均值和標(biāo)準(zhǔn)差是MNIST官方的統(tǒng)計(jì)值直接拿來用就行。預(yù)處理的作用是把像素值從0到1之間再對齊到約-1到1的分布這樣模型收斂會快得多。實(shí)測下來不做歸一化直接把原始像素喂進(jìn)去模型不僅能訓(xùn)練loss也能下降但收斂速度明顯更慢精度也會略差。3.3 模型定義一個(gè)能跑通的全連接網(wǎng)絡(luò)針對MNIST這種簡單任務(wù)一個(gè)三層全連接網(wǎng)絡(luò)已經(jīng)足夠了。輸入層是28x28784個(gè)像素值第一個(gè)全連接層將其映射到128維激活函數(shù)用ReLU第二個(gè)全連接層再映射到10個(gè)類別得分。import torch.nn as nn class SimpleNet(nn.Module): def __init__(self): super().__init__() self.fc1 nn.Linear(784, 128) self.fc2 nn.Linear(128, 10) self.relu nn.ReLU() def forward(self, x): x x.view(x.size(0), -1) x self.relu(self.fc1(x)) x self.fc2(x) return xview(x.size(0), -1)是把形狀為[64, 1, 28, 28]的批量圖片展平成[64, 784]。這一步幾乎每個(gè)視覺任務(wù)都會用到要理解它的含義而不是死記。模型定義好之后實(shí)例化并轉(zhuǎn)到設(shè)備上model SimpleNet().to(device)3.4 訓(xùn)練循環(huán)核心三行代碼的固定范式pytorch的訓(xùn)練循環(huán)寫法高度統(tǒng)一核心邏輯可以用一張流程圖概括取一批數(shù)據(jù)、前向傳播、計(jì)算損失、梯度清零、反向傳播、更新參數(shù)。import torch.optim as optim criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr1e-3) for epoch in range(5): model.train() total_loss 0 correct 0 total 0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) outputs model(images) loss criterion(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() _, predicted torch.max(outputs, 1) total labels.size(0) correct (predicted labels).sum().item() avg_loss total_loss / len(train_loader) accuracy 100.0 * correct / total print(fEpoch {epoch1}, Loss: {avg_loss:.4f}, Accuracy: {accuracy:.2f}%)這里有個(gè)值得注意的細(xì)節(jié)model.train()和model.eval()看起來無關(guān)緊要但它控制著dropout和batch normalization在訓(xùn)練和推理階段的不同行為。只在訓(xùn)練循環(huán)里寫train、在驗(yàn)證循環(huán)里寫eval很多人漏掉之后模型性能會忽高忽低搞不清楚原因。另外loss.item()是在把GPU上的標(biāo)量拉回CPU并轉(zhuǎn)為Python數(shù)值方便打印和記錄但要記住只能對不含梯度信息的標(biāo)量做這個(gè)操作否則會額外計(jì)算一次CPU同步導(dǎo)致訓(xùn)練變慢。3.5 評估、保存與復(fù)用模型才算真正完成訓(xùn)練完成后需要在測試集上做一次完整評估。評估時(shí)不需要計(jì)算梯度用with torch.no_grad()包裹起來可以節(jié)省內(nèi)存和計(jì)算時(shí)間。model.eval() correct 0 total 0 with torch.no_grad(): for images, labels in test_loader: images, labels images.to(device), labels.to(device) outputs model(images) _, predicted torch.max(outputs, 1) total labels.size(0) correct (predicted labels).sum().item() print(fTest Accuracy: {100.0 * correct / total:.2f}%)保存模型有兩條路線。只保存學(xué)到的參數(shù)torch.save(model.state_dict(), model_weights.pth)保存完整模型torch.save(model, full_model.pth)我更推薦第一種。state_dict只存參數(shù)文件更小加載時(shí)也必須要先構(gòu)造模型類再load版本兼容性問題更少。加載方式如下model SimpleNet().to(device) model.load_state_dict(torch.load(model_weights.pth)) model.eval()加載后又是一個(gè)必須寫eval()的場景。如果你加載模型后直接做預(yù)測但忘了調(diào)用model.eval()那些帶batch normalization或dropout的模型結(jié)果會非常奇怪。這個(gè)坑我在實(shí)驗(yàn)里遇到過不止一次每次都排查了很久才意識到是忘了這行。把“訓(xùn)練用train推斷用eval”當(dāng)成肌肉記憶能省掉大量排查時(shí)間。4. 高頻問題與排查技巧實(shí)錄4.1 顯存不足不是所有情況都要調(diào)小batch報(bào)錯信息通常長這樣RuntimeError: CUDA out of memory。這幾乎每個(gè)用過GPU訓(xùn)練的人都會碰到。最直接的解決方法是調(diào)小batch_size但還有一個(gè)常被忽略的方案是檢查數(shù)據(jù)處理流程中是否有張量被意外擴(kuò)大了。比如圖片縮放到224x224后如果你在訓(xùn)練循環(huán)里額外做了變換又沒及時(shí)釋放中間變量顯存占用就會飆升。我的習(xí)慣是在循環(huán)里避免創(chuàng)建過大臨時(shí)張量如果不得不創(chuàng)建用del和torch.cuda.empty_cache()來釋放。另一個(gè)技巧是用梯度累積模擬更大的batch比如目標(biāo)batch是128顯存只夠跑32那就每4個(gè)batch累加一次梯度再更新參數(shù)。這樣能在不改變模型和損失計(jì)算邏輯的前提下擴(kuò)大有效batch操作起來也簡單backward后先不step等滿4次再統(tǒng)一step并清零。4.2 維度不匹配先打印shape再排查維度報(bào)錯是入門階段遇到最多的一類報(bào)錯信息如“mat1 and mat2 shapes cannot be multiplied”。看到這類信息不要慌第一件事是打印出輸入張量的shape確認(rèn)網(wǎng)絡(luò)每一層的輸入輸出維度是否對得上。全連接層要求輸入是二維的而卷積層的輸出通常是四維的中間漏掉view或flatten一步就會出現(xiàn)維度沖突。我見過太多人遇到維度錯誤時(shí)反復(fù)修改模型結(jié)構(gòu)最后越改越亂。其實(shí)90%的維度問題都是數(shù)據(jù)形狀和層定義不匹配導(dǎo)致的。快速排查方法是在forward的每一層后面加上注釋標(biāo)出預(yù)期輸入輸出維度或者臨時(shí)加一行print(x.shape)執(zhí)行一遍。一個(gè)穩(wěn)妥的技巧是每個(gè)關(guān)鍵層之間先打印形狀跑通之后再刪掉打印語句。這比瞎猜要高效得多。4.3 模型不收斂loss曲線不會說謊loss不降或者震蕩劇烈通常可以從三個(gè)方向排查。第一學(xué)習(xí)率是否合適。lr太高loss會震蕩甚至在初期直接變成nanlr太低loss會下降得像蝸牛爬。假如你看到loss一直維持在同一個(gè)值附近紋絲不動先試試把學(xué)習(xí)率調(diào)大10倍如果loss劇烈跳動那再調(diào)小10倍。學(xué)習(xí)率調(diào)節(jié)一個(gè)量級一個(gè)量級地試效率最高。第二數(shù)據(jù)歸一化和初始化是否正確。輸入數(shù)據(jù)數(shù)值范圍過大或分布異常會導(dǎo)致梯度爆炸或消失。第三優(yōu)化器和損失函數(shù)是否匹配。比如分類問題用了MSELoss而不是CrossEntropyLoss雖然也能算但收斂效果會差不少。我系統(tǒng)排查時(shí)的順序是固定的先看數(shù)據(jù)預(yù)處理再檢查模型輸出的數(shù)值范圍最后調(diào)整學(xué)習(xí)率。按這個(gè)順序走下來大多數(shù)不收斂的問題都能找到根因。4.4 數(shù)據(jù)加載慢瓶頸可能在io而不是計(jì)算如果你的GPU利用率很低可CPU占用率又拉滿大概率是數(shù)據(jù)加載拖后腿。最直接的手段是把DataLoader里的num_workers調(diào)大比如4或者8讓多個(gè)進(jìn)程并行讀取和預(yù)處理數(shù)據(jù)。另一個(gè)容易踩的坑是transform里做了復(fù)雜操作比如隨機(jī)裁剪、旋轉(zhuǎn)、色彩抖動這些操作本身就很耗時(shí)。如果它們成了瓶頸可以把預(yù)處理結(jié)果緩存到本地訓(xùn)練時(shí)直接讀取處理好的張量。還有一個(gè)易被忽視的點(diǎn)Windows系統(tǒng)上DataLoader如果設(shè)置了num_workers0代碼沒有放在ifname main保護(hù)塊里會報(bào)RuntimeError。這不算pytorch本身的bug而是Python多進(jìn)程在Windows平臺的行為差異。遇到這個(gè)問題時(shí)的解決方案很簡單要么把主邏輯包在main函數(shù)中調(diào)用要么先把num_workers設(shè)為0跑通再說。追求速度是好事但分清楚平臺限制也同樣重要。4.5 設(shè)備不一致報(bào)錯信息第一句就該看清楚Expected all tensors to be on the same device是我見過最高頻的報(bào)錯之一。原因幾乎都是某個(gè)張量忘了調(diào)用.to(device)。排查方法很笨但有效把所有參與計(jì)算的張量都打印出它的device屬性比如tensor.device一個(gè)一個(gè)對比。為從源頭避免這個(gè)問題我有一個(gè)小習(xí)慣構(gòu)造數(shù)據(jù)時(shí)就直接從dataloader取出來之后立即to(device)模型實(shí)例化之后也立即to(device)絕不拖到后面。代碼多寫幾行但后續(xù)調(diào)試時(shí)清爽很多。4.6 常見問題速查表現(xiàn)象可能原因排查順序解決建議CUDA out of memorybatch過大或中間變量過多查看報(bào)錯堆棧先調(diào)小batch再考慮梯度累積維度不匹配層定義與數(shù)據(jù)形狀不一致打印每層輸入輸出shape在關(guān)鍵層之間加shape打印確認(rèn)loss不下降學(xué)習(xí)率過低或數(shù)據(jù)未歸一化檢查預(yù)處理和lr范圍按10倍量級調(diào)整學(xué)習(xí)率loss震蕩/NaN學(xué)習(xí)率過高或數(shù)值不穩(wěn)定查看loss值分布降低學(xué)習(xí)率檢查輸入是否有異常值CPU滿載GPU空閑數(shù)據(jù)加載過慢查看num_workers設(shè)置調(diào)高num_workers或預(yù)處理緩存相同代碼結(jié)果不一致dropout或batchnorm狀態(tài)未切換檢查model.train/eval訓(xùn)練用train推斷用eval梯度累積導(dǎo)致異常忘記zero_grad檢查循環(huán)內(nèi)清零邏輯每次step前調(diào)用zero_grad模型文件加載報(bào)錯參數(shù)形狀與模型不匹配對比state_dict鍵名和shape確認(rèn)模型類一致后再load5. 關(guān)于調(diào)試效率和工程習(xí)慣的一些個(gè)人建議調(diào)試pytorch項(xiàng)目時(shí)最大的成本其實(shí)不是寫代碼而是“等待”和“排錯”。所以我強(qiáng)烈建議從小規(guī)模實(shí)驗(yàn)開始先用少量數(shù)據(jù)、小模型、少epoch把整個(gè)流程走通確認(rèn)每一個(gè)環(huán)節(jié)沒問題再逐步放大規(guī)模。這個(gè)習(xí)慣讓我避免了很多次“訓(xùn)練半天才發(fā)現(xiàn)數(shù)據(jù)加載錯位”的慘痛經(jīng)歷。驗(yàn)證模型邏輯時(shí)我甚至?xí)靡粋€(gè)mini-batch的數(shù)據(jù)去做過擬合實(shí)驗(yàn)讓loss降到接近0這能快速證明模型本身沒有問題。另外pytorch的生態(tài)工具也值得關(guān)注。torchsummary可以一鍵打印模型的參數(shù)量和各層形狀tensorboard可以通過torch.utils.tensorboard可視化loss曲線和模型結(jié)構(gòu)。這些工具不是必須的但能顯著提升排錯效率。特別是torchsummary對一個(gè)剛開始搭模型的開發(fā)者來說它比手動print shape方便得多幾行代碼就能看清整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)是否正確。還有一個(gè)容易被忽略的習(xí)慣固定隨機(jī)種子。深度學(xué)習(xí)中很多操作自帶隨機(jī)性比如模型參數(shù)初始化、DataLoader的shuffle、dropout等。如果你的實(shí)驗(yàn)結(jié)果需要和別人復(fù)現(xiàn)或者你自己需要對比不同設(shè)置的模型效果可以在代碼開頭設(shè)置import random import numpy as np import torch random.seed(0) np.random.seed(0) torch.manual_seed(0)這樣能讓實(shí)驗(yàn)的可復(fù)現(xiàn)性大幅提升。在同一個(gè)項(xiàng)目里反復(fù)調(diào)參時(shí)固定種子還能幫你排除隨機(jī)因素的干擾讓你清楚看到改動帶來的真實(shí)效果差異。不可復(fù)現(xiàn)的實(shí)驗(yàn)結(jié)果再好的模型也失去了說服力。寫到這里其實(shí)pytorch的核心用法已經(jīng)全部覆蓋了。從張量、自動求導(dǎo)這兩個(gè)底層概念到Dataset、DataLoader、nn.Module這套標(biāo)準(zhǔn)組件再到訓(xùn)練循環(huán)里那固定的三行代碼最后到高頻問題的排查方法整條路徑是清晰且可復(fù)制的。我始終覺得學(xué)pytorch最好的方式不是背API而是把一個(gè)最小的訓(xùn)練流程寫通、跑通、調(diào)通再往里面加任務(wù)復(fù)雜度。當(dāng)你親手跑完一個(gè)完整的訓(xùn)練流程看到loss在逐步下降、測試準(zhǔn)確率在提升的時(shí)候框架就不再是黑盒了。后續(xù)再接觸分布式訓(xùn)練、混合精度、模型部署這些進(jìn)階內(nèi)容都會輕松很多。