亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

PyTorch圖像分類實(shí)戰(zhàn):從數(shù)據(jù)處理到遷移學(xué)習(xí)的完整流程

PyTorch圖像分類實(shí)戰(zhàn):從數(shù)據(jù)處理到遷移學(xué)習(xí)的完整流程 1. 項(xiàng)目概述從一張圖片到識(shí)別結(jié)果到底發(fā)生了什么用 PyTorch 做圖片識(shí)別核心任務(wù)通常是圖像分類也就是我們輸入一張圖片模型輸出它屬于哪個(gè)類別。比如一張貓的照片經(jīng)過(guò)模型前向傳播得到貓 0.92、狗 0.05、鳥(niǎo) 0.02這樣的概率分布最后取最高概率對(duì)應(yīng)的類別作為預(yù)測(cè)結(jié)果。很多初學(xué)者拿到這個(gè)需求時(shí)第一反應(yīng)是調(diào)個(gè)模型跑一下但實(shí)際落地時(shí)你會(huì)發(fā)現(xiàn)整個(gè)流程是一條完整鏈路圖像讀取、預(yù)處理、數(shù)據(jù)加載、模型搭建、訓(xùn)練迭代、驗(yàn)證調(diào)參、固定權(quán)重、部署推理。任何一個(gè)環(huán)節(jié)處理不當(dāng)訓(xùn)練出來(lái)的模型精度都會(huì)差得離譜。這篇文章我會(huì)把這條鏈路每一個(gè)環(huán)節(jié)的實(shí)操細(xì)節(jié)都拆開(kāi)講清楚包括一些你翻文檔翻不到的經(jīng)驗(yàn)和坑。這篇文章適合誰(shuí)看剛接觸 PyTorch、想快速跑通一個(gè)圖像分類項(xiàng)目的同學(xué)或者已經(jīng)能跑通官方 Demo 但換了自己的數(shù)據(jù)集就不知所措的朋友。我會(huì)用貓狗分類作為貫穿全文的示例任務(wù)因?yàn)樗臄?shù)據(jù)獲取簡(jiǎn)單、類別直觀、訓(xùn)練收益明顯。文章里涉及的概念和代碼寫(xiě)法換成任何其他分類任務(wù)都通用。2. 核心鏈路拆解圖片識(shí)別的五段流程2.1 圖像分類的本質(zhì)圖像分類是計(jì)算機(jī)視覺(jué)最基礎(chǔ)的任務(wù)。它的數(shù)學(xué)本質(zhì)是學(xué)習(xí)一個(gè)映射函數(shù) f輸入一張 H×W×C 的圖片張量輸出一個(gè)長(zhǎng)度為 K 的向量K 是類別總數(shù)向量中的值經(jīng)過(guò) Softmax 歸一化后表示每個(gè)類別的概率。在這里有一個(gè)很多新手沒(méi)想明白的點(diǎn)圖片輸入到網(wǎng)絡(luò)里其實(shí)是一堆數(shù)字。比如一張 224×224 的 RGB 圖片輸入張量的形狀是 [3, 224, 224]取值范圍在 0 到 1 之間。卷積神經(jīng)網(wǎng)絡(luò)在做的事情本質(zhì)上是從這些數(shù)字中逐層提取特征——淺層卷積提取邊緣、顏色、紋理深層卷積提取眼睛、耳朵、輪子這種語(yǔ)義級(jí)別的部件。最后一層全連接將這些特征映射到類別空間。所以整個(gè)識(shí)別流程的五個(gè)環(huán)節(jié)是圖像預(yù)處理 → 數(shù)據(jù)加載 → 模型前向傳播 → 損失計(jì)算與反向傳播 → 推理預(yù)測(cè)。環(huán)境準(zhǔn)備完成后后面每個(gè)環(huán)節(jié)我會(huì)單獨(dú)展開(kāi)講。2.2 環(huán)境準(zhǔn)備與硬件選型先說(shuō)你需要的環(huán)境這里給出一個(gè)我用下來(lái)比較穩(wěn)定的版本組合PyTorch 2.x CUDA 11.8 或 12.1 Python 3.9~3.11 torchvision 配套版本。嚴(yán)格來(lái)說(shuō)我們不建議追求最新版本穩(wěn)定性和兼容性更重要很多 GPU 驅(qū)動(dòng)對(duì)最新的 CUDA 版本支持滯后跑起來(lái)反而出各種詭異報(bào)錯(cuò)。有兩點(diǎn)經(jīng)驗(yàn)說(shuō)明一下。第一如果你用的是 NVIDIA 顯卡安裝 PyTorch 之前先去官網(wǎng)根據(jù)你的 CUDA 版本選擇對(duì)應(yīng)的安裝命令不要直接用 pip install torch 默認(rèn)裝 CPU 版本不然訓(xùn)練速度會(huì)慢幾十倍。第二如果沒(méi)有獨(dú)立顯卡也可以先跑通整個(gè)流程只是訓(xùn)練時(shí)間會(huì)長(zhǎng)很多本文所有代碼在 CPU 上都能運(yùn)行只不過(guò)我們建議把 batch size 調(diào)小。3. 數(shù)據(jù)處理與加載比模型更影響精度的地方3.1 數(shù)據(jù)目錄如何組織PyTorch 的 torchvision.datasets.ImageFolder 是處理分類任務(wù)最省事的工具前提是你的數(shù)據(jù)目錄按類別組織成這樣的結(jié)構(gòu)data/ train/ cat/ cat_001.jpg cat_002.jpg dog/ dog_001.jpg dog_002.jpg val/ cat/ cat_001.jpg dog/ dog_001.jpgtrain 和 test 文件夾各自包含類別子文件夾里面的圖片按類別放置。用這種方式組織數(shù)據(jù)ImageFolder 會(huì)自動(dòng)讀取所有圖片并根據(jù)子文件夾名稱生成類別索引我們完全可以用自己真實(shí)的數(shù)據(jù)目錄來(lái)替換這個(gè)示例結(jié)構(gòu)。一個(gè)要注意的點(diǎn)訓(xùn)練集和驗(yàn)證集必須分開(kāi)。我見(jiàn)過(guò)不少朋友把所有圖片放在一個(gè)大文件夾里直接訓(xùn)練這樣驗(yàn)證集失去了意義。因?yàn)槟P鸵?jiàn)過(guò)了所有數(shù)據(jù)驗(yàn)證集精度虛高換到真實(shí)場(chǎng)景性能崩盤。劃分比例一般是 82 或 91。3.2 Dataset 與 DataLoader 的關(guān)鍵配置有了目錄結(jié)構(gòu)接下來(lái)就是標(biāo)準(zhǔn)的數(shù)據(jù)加載代碼。這段代碼幾乎是所有 PyTorch 圖像分類項(xiàng)目的骨架你需要根據(jù)自己的數(shù)據(jù)集特點(diǎn)去調(diào)整里面的參數(shù)。import torch from torch.utils.data import DataLoader from torchvision import datasets, transforms # 訓(xùn)練集預(yù)處理 train_transform transforms.Compose([ transforms.Resize((256, 256)), # 先縮放 transforms.RandomCrop(224), # 再隨機(jī)裁剪 transforms.RandomHorizontalFlip(), # 隨機(jī)水平翻轉(zhuǎn) transforms.ToTensor(), # 轉(zhuǎn)為張量并歸一化到 [0,1] transforms.Normalize( mean[0.485, 0.456, 0.406], # ImageNet 均值 std[0.229, 0.224, 0.225] # ImageNet 標(biāo)準(zhǔn)差 ) ]) # 驗(yàn)證集預(yù)處理只做縮放和歸一化不做數(shù)據(jù)增強(qiáng) val_transform transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize( mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225] ) ]) train_dataset datasets.ImageFolder(data/train, transformtrain_transform) val_dataset datasets.ImageFolder(data/val, transformval_transform) train_loader DataLoader(train_dataset, batch_size32, shuffleTrue, num_workers4, pin_memoryTrue) val_loader DataLoader(val_dataset, batch_size64, shuffleFalse, num_workers4, pin_memoryTrue)這里面的重點(diǎn)在于為什么訓(xùn)練要用縮放 隨機(jī)裁剪而驗(yàn)證集直接縮放。訓(xùn)練集需要數(shù)據(jù)增強(qiáng)來(lái)增加樣本多樣性隨機(jī)裁剪相當(dāng)于在 256×256 的圖片中隨機(jī)截取 224×224 的區(qū)域相當(dāng)于一個(gè)樣本生成了很多不同的子樣本能有效緩解過(guò)擬合。而驗(yàn)證集的目的是評(píng)估模型的真實(shí)表現(xiàn)所以只用固定縮放保證一致性。另一個(gè)容易忽略的配置是 shuffle 參數(shù)。訓(xùn)練集必須 shuffleTrue因?yàn)槿绻淮騺y每個(gè) batch 里都是同一類別的圖片梯度下降的方向會(huì)來(lái)回震蕩收斂速度慢且不穩(wěn)定。驗(yàn)證集則不需要 shuffle。關(guān)于 Normalize 的 mean 和 std這一組值來(lái)自 ImageNet 數(shù)據(jù)集的統(tǒng)計(jì)結(jié)果。我們做遷移學(xué)習(xí)時(shí)通常沿用這組值因?yàn)樗皖A(yù)訓(xùn)練模型的輸入分布是匹配的。如果從頭訓(xùn)練自己的模型理論上應(yīng)該重新統(tǒng)計(jì)自己數(shù)據(jù)集的均值和標(biāo)準(zhǔn)差但實(shí)際操作中大多數(shù)情況下用了 ImageNet 的數(shù)值也不會(huì)差太多。3.3 數(shù)據(jù)增強(qiáng)做多少才算合適數(shù)據(jù)增強(qiáng)是把雙刃劍。太少模型容易過(guò)擬合太多會(huì)給訓(xùn)練制造不必要的難度。以貓狗分類為例我常用的增強(qiáng)組合按優(yōu)先級(jí)排列隨機(jī)水平翻轉(zhuǎn)必選不影響語(yǔ)義隨機(jī)裁剪必選模擬尺度變化隨機(jī)顏色抖動(dòng)可選增強(qiáng)光照魯棒性隨機(jī)旋轉(zhuǎn)最多 ±15 度太大會(huì)破壞圖像結(jié)構(gòu)如果數(shù)據(jù)集只有幾千張圖片我建議增強(qiáng)力度適當(dāng)加強(qiáng)把 RandomResizedCrop 的尺度范圍設(shè)為 (0.5, 1.0)讓模型學(xué)會(huì)從不同尺度下識(shí)別目標(biāo)。如果數(shù)據(jù)集有十萬(wàn)級(jí)別增強(qiáng)可以適度保守重點(diǎn)放在防止過(guò)擬合上。我做項(xiàng)目時(shí)驗(yàn)證過(guò)一個(gè)經(jīng)驗(yàn)當(dāng)訓(xùn)練集樣本量少于 5000 時(shí)數(shù)據(jù)增強(qiáng)的收益是顯著的分類精度可以提升 2 到 5 個(gè)百分點(diǎn)。但如果你用的樣本量已經(jīng)很大或者數(shù)據(jù)本身質(zhì)量很高盲目加增強(qiáng)反而可能導(dǎo)致精度不升反降。4. 模型如何選手寫(xiě) CNN 還是遷移學(xué)習(xí)4.1 從零搭建一個(gè)可用的 CNN如果從頭搭建一個(gè)卷積神經(jīng)網(wǎng)絡(luò)核心是感受野的設(shè)計(jì)。簡(jiǎn)單來(lái)說(shuō)每一層卷積核覆蓋的區(qū)域大小決定了網(wǎng)絡(luò)能看到多大范圍的圖像信息。一個(gè)經(jīng)典的小型 CNN 結(jié)構(gòu)如下import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self, num_classes2): super().__init__() self.features nn.Sequential( nn.Conv2d(3, 32, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(32, 64, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(64, 128, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), ) self.classifier nn.Sequential( nn.AdaptiveAvgPool2d((1, 1)), nn.Flatten(), nn.Linear(128, 128), nn.ReLU(inplaceTrue), nn.Dropout(0.5), nn.Linear(128, num_classes) ) def forward(self, x): x self.features(x) x self.classifier(x) return x這個(gè)模型的思路是輸入 3×224×224 圖片經(jīng)過(guò)三層卷積 池化后特征圖變成 128×28×28然后通過(guò) AdaptiveAvgPool2d 把特征圖壓縮成 1×1再接全連接分類。三層卷積提取不同層次的特征池化逐步降低分辨率擴(kuò)大感受野。從零搭建 CNN 的優(yōu)勢(shì)是不依賴外部權(quán)重部署時(shí)自由度很大訓(xùn)練過(guò)程完全可控。缺點(diǎn)是精度天花板明顯對(duì)于復(fù)雜任務(wù)很難超過(guò)預(yù)訓(xùn)練模型。所以我的建議是如果數(shù)據(jù)集很小但圖像特征明顯比如純色背景下區(qū)分圓形和方形自建 CNN 足夠用如果圖像復(fù)雜、類別相近優(yōu)先考慮遷移學(xué)習(xí)。4.2 遷移學(xué)習(xí)用預(yù)訓(xùn)練模型大幅提升精度遷移學(xué)習(xí)的邏輯和自建模型完全不同。它的核心是復(fù)用在大規(guī)模數(shù)據(jù)集上訓(xùn)練好的模型參數(shù)——比如在 ImageNet 上已經(jīng)學(xué)好了邊緣、紋理、形狀等通用特征——然后在自己數(shù)據(jù)集上微調(diào)。這就像你不需要重新學(xué)習(xí)認(rèn)識(shí)顏色和輪廓只需要學(xué)習(xí)貓和狗的區(qū)別就行。使用 torchvision 的預(yù)訓(xùn)練模型最常用的幾個(gè)選項(xiàng)ResNet18 / ResNet50精度和速度最均衡的選擇EfficientNet-B0計(jì)算量更小精度相當(dāng)MobileNetV3適合移動(dòng)端部署場(chǎng)景VGG16結(jié)構(gòu)簡(jiǎn)單但參數(shù)量大訓(xùn)練慢實(shí)用性下降以 ResNet18 為例遷移學(xué)習(xí)的標(biāo)準(zhǔn)寫(xiě)法是凍結(jié)特征層參數(shù)替換最后一層全連接from torchvision import models model models.resnet18(weightsmodels.ResNet18_Weights.DEFAULT) # 凍結(jié)所有層的參數(shù) for param in model.parameters(): param.requires_grad False # 獲取最后一層全連接的輸入維度 num_features model.fc.in_features # 替換成自己的分類器 model.fc nn.Sequential( nn.Linear(num_features, 256), nn.ReLU(inplaceTrue), nn.Dropout(0.5), nn.Linear(256, 2) )這段代碼里最關(guān)鍵的邏輯是 requires_grad False。凍結(jié)特征層參數(shù)后反向傳播的梯度不會(huì)更新這些層的權(quán)重模型只會(huì)訓(xùn)練我們新加的全連接層。這樣有幾個(gè)好處一是訓(xùn)練速度大幅提升因?yàn)椴恍枰?jì)算大量參數(shù)的梯度二是可以有效防止數(shù)據(jù)集過(guò)小導(dǎo)致的過(guò)擬合避免破壞預(yù)訓(xùn)練模型已經(jīng)學(xué)好的通用特征表示。微調(diào)有兩種常用策略一是上面這種只訓(xùn)練分類頭的方案適合數(shù)據(jù)集幾百到幾千張的情況二是全量微調(diào)也就是所有層都放開(kāi)訓(xùn)練適合數(shù)據(jù)集規(guī)模較大時(shí)有足夠的樣本來(lái)刷新預(yù)訓(xùn)練知識(shí)。實(shí)際項(xiàng)目中我建議先用凍結(jié)方式訓(xùn)練幾個(gè) epoch 讓分類頭收斂然后解凍最后幾層做微調(diào)這樣精度更高也穩(wěn)定。4.3 損失函數(shù)和優(yōu)化器的選擇邏輯分類任務(wù)的標(biāo)準(zhǔn)配置是交叉熵?fù)p失函數(shù)加 SGD 或 Adam。這里的交叉熵?fù)p失函數(shù)值得多說(shuō)一句PyTorch 的 nn.CrossEntropyLoss 其實(shí)做了兩件事——對(duì)模型的輸出做 Softmax 歸一化然后計(jì)算負(fù)對(duì)數(shù)似然損失。所以模型最后一層不需要再接 Softmax直接輸出原始 logits 就好否則等于做了兩次歸一化精度會(huì)受影響。criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam(model.fc.parameters(), lr0.001)優(yōu)化器方面Adam 適合快速迭代和調(diào)參對(duì)學(xué)習(xí)率的敏感度低一些。SGD 加 Momentum 需要更精細(xì)的學(xué)習(xí)率調(diào)整但收斂后的精度往往更高。我在實(shí)際訓(xùn)練中習(xí)慣先用 Adam 跑通流程之后如果有優(yōu)化需求再切換到帶學(xué)習(xí)率衰減的 SGD。這里有個(gè)新手常踩的坑如果只訓(xùn)練分類頭優(yōu)化的參數(shù)只有 model.fc.parameters()因?yàn)楸粌鼋Y(jié)的層沒(méi)有梯度。如果全量微調(diào)則要傳入 model.parameters()。如果混用凍結(jié)層和可訓(xùn)練層需要確保優(yōu)化器中傳入了正確的參數(shù)組否則會(huì)出現(xiàn)模型一點(diǎn)也不學(xué)習(xí)的困惑現(xiàn)象。4.4 設(shè)備準(zhǔn)備讓代碼自動(dòng)跑在 GPU 或 CPU 上模型訓(xùn)練前要先確定計(jì)算設(shè)備。建議直接寫(xiě)成下面這種自適應(yīng)方式避免在 GPU 機(jī)器上調(diào)試過(guò)的代碼挪到 CPU 機(jī)器上直接報(bào)錯(cuò)device torch.device(cuda if torch.cuda.is_available() else cpu) model model.to(device)model.to(device) 這一步很多人會(huì)漏掉導(dǎo)致前向傳播時(shí)模型還在 CPU 上數(shù)據(jù)在 GPU 上報(bào)錯(cuò)說(shuō) device mismatch。還有一點(diǎn)需要特別注意輸入圖片張量也要調(diào)用 .to(device) 移動(dòng)設(shè)備我在初學(xué)階段經(jīng)常因?yàn)橥洶?data 移動(dòng)到 GPU 上而報(bào)錯(cuò)這種問(wèn)題排查起來(lái)很浪費(fèi)時(shí)間。5. 訓(xùn)練循環(huán)與模型驗(yàn)證的完整實(shí)現(xiàn)5.1 標(biāo)準(zhǔn)訓(xùn)練循環(huán)代碼訓(xùn)練循環(huán)是整個(gè)項(xiàng)目最核心的代碼段。我把一個(gè)完整的訓(xùn)練驗(yàn)證循環(huán)貼出來(lái)這份代碼可以直接用以下方式運(yùn)行然后根據(jù)打印的日志判斷訓(xùn)練效果。def train_one_epoch(model, train_loader, criterion, optimizer, device): model.train() running_loss 0.0 correct 0 total 0 for inputs, labels in train_loader: inputs, labels inputs.to(device), labels.to(device) optimizer.zero_grad() outputs model(inputs) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() * inputs.size(0) _, predicted torch.max(outputs, 1) total labels.size(0) correct (predicted labels).sum().item() epoch_loss running_loss / total epoch_acc correct / total return epoch_loss, epoch_acc def validate(model, val_loader, criterion, device): model.eval() running_loss 0.0 correct 0 total 0 with torch.no_grad(): for inputs, labels in val_loader: inputs, labels inputs.to(device), labels.to(device) outputs model(inputs) loss criterion(outputs, labels) running_loss loss.item() * inputs.size(0) _, predicted torch.max(outputs, 1) total labels.size(0) correct (predicted labels).sum().item() epoch_loss running_loss / total epoch_acc correct / total return epoch_loss, epoch_acc一個(gè)容易犯錯(cuò)的地方是寫(xiě)法上訓(xùn)練時(shí)必須調(diào)用 model.train()驗(yàn)證時(shí)必須調(diào)用 model.eval()。這兩個(gè)模式的區(qū)別在于 BatchNorm 和 Dropout 的行為train 模式下 Dropout 會(huì)隨機(jī)丟棄神經(jīng)元BatchNorm 會(huì)使用 batch 內(nèi)的統(tǒng)計(jì)量eval 模式下 Dropout 關(guān)閉BatchNorm 使用訓(xùn)練階段累積的全局統(tǒng)計(jì)量。如果驗(yàn)證時(shí)忘了切換到 eval 模式驗(yàn)證精度會(huì)異常波動(dòng)并且吃進(jìn)隨機(jī)性。另外驗(yàn)證階段必須包裹 torch.no_grad()它有兩個(gè)用處一是停止梯度追蹤節(jié)省顯存二是避免驗(yàn)證過(guò)程意外修改模型參數(shù)。5.2 模型保存策略只保留最優(yōu)權(quán)重訓(xùn)練過(guò)程中的模型保存也是有講究的。不經(jīng)思考地只在最后保存一次模型如果你中途過(guò)擬合了最后保存的就是過(guò)擬合的模型。我建議采用驗(yàn)證精度最高時(shí)保存的策略best_acc 0.0 for epoch in range(num_epochs): train_loss, train_acc train_one_epoch(...) val_loss, val_acc validate(...) print(fEpoch {epoch1}: train_loss{train_loss:.4f}, train_acc{train_acc:.4f}, fval_loss{val_loss:.4f}, val_acc{val_acc:.4f}) if val_acc best_acc: best_acc val_acc torch.save(model.state_dict(), best_model.pth) print(f - 保存最優(yōu)模型驗(yàn)證精度 {best_acc:.4f})torch.save 建議只保存 model.state_dict()它只保存模型權(quán)重參數(shù)不攜帶完整的模型結(jié)構(gòu)。原因有兩個(gè)一是文件體積更小二是加載時(shí)更靈活。你在 state_dict 之外還需要單獨(dú)記錄類別映射關(guān)系否則推理時(shí)只有數(shù)字類別沒(méi)有類別名稱。這個(gè)我后面會(huì)講。5.3 學(xué)習(xí)率調(diào)整和 early stopping 的實(shí)際價(jià)值訓(xùn)練過(guò)程中學(xué)習(xí)率設(shè)置是一個(gè)常見(jiàn)痛點(diǎn)。學(xué)習(xí)率太大模型震蕩不收斂太小則訓(xùn)練半天損失紋絲不動(dòng)。我喜歡用 ReduceLROnPlateau 做驗(yàn)證精度的自適應(yīng)調(diào)整scheduler torch.optim.lr_scheduler.ReduceLROnPlateau( optimizer, modemin, factor0.5, patience3 ) for epoch in range(num_epochs): train_loss, train_acc train_one_epoch(...) val_loss, val_acc validate(...) scheduler.step(val_loss)這里傳入的 modemin 表示當(dāng) val_loss 不再下降時(shí)把學(xué)習(xí)率乘以 0.5。patience3 意味著連續(xù) 3 個(gè) epoch 驗(yàn)證損失沒(méi)有明顯下降才觸發(fā)衰減。學(xué)習(xí)率衰減的原理是訓(xùn)練初期需要較大的步長(zhǎng)快速靠近最優(yōu)點(diǎn)但接近最優(yōu)點(diǎn)后大步長(zhǎng)會(huì)在最優(yōu)值附近震蕩此時(shí)縮小步長(zhǎng)可以讓損失繼續(xù)下降。early stopping 指的是當(dāng)驗(yàn)證損失連續(xù)多個(gè) epoch 不再下降時(shí)提前終止訓(xùn)練。這個(gè)和保存最優(yōu)模型配合起來(lái)用能有效避免過(guò)擬合。但我實(shí)際使用中有一個(gè)心得early stopping 的 patience 設(shè)置要根據(jù)數(shù)據(jù)集大小靈活調(diào)整小數(shù)據(jù)集設(shè) 5 個(gè) epoch 比較合理大數(shù)據(jù)集可能需要 10 個(gè)甚至更多 epoch 的耐心否則容易在驗(yàn)證損失的局部極小值處提前停止。6. 推理階段加載模型識(shí)別單張新圖片6.1 完整的推理代碼訓(xùn)練完成后真正到識(shí)別圖片這個(gè)動(dòng)作時(shí)代碼要包含三個(gè)步驟加載模型權(quán)重、對(duì)輸入圖片做和訓(xùn)練時(shí)完全一致的預(yù)處理、前向傳播得到預(yù)測(cè)結(jié)果。這份推理代碼我是按照生產(chǎn)環(huán)境的標(biāo)準(zhǔn)寫(xiě)的可以直接用import torch from PIL import Image from torchvision import transforms def predict_image(image_path, model, device, class_names): # 1. 加載并預(yù)處理圖片 image Image.open(image_path).convert(RGB) # 2. 預(yù)處理與驗(yàn)證集的預(yù)處理完全一致 preprocessing transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) input_tensor preprocessing(image).unsqueeze(0) # 形狀 [1, 3, 224, 224] input_tensor input_tensor.to(device) # 3. 推理 model.eval() with torch.no_grad(): outputs model(input_tensor) probabilities torch.softmax(outputs, dim1) confidence, predicted_idx torch.max(probabilities, dim1) predicted_class class_names[predicted_idx.item()] return predicted_class, confidence.item()調(diào)用示例# 設(shè)定類別映射0 對(duì)應(yīng) cat1 對(duì)應(yīng) dog class_names [cat, dog] # 加載訓(xùn)練好的最優(yōu)權(quán)重 model models.resnet18(weightsNone) num_features model.fc.in_features model.fc nn.Sequential(...) # 結(jié)構(gòu)必須和訓(xùn)練時(shí)完全一致 model.load_state_dict(torch.load(best_model.pth, map_locationdevice)) model model.to(device) result, confidence predict_image(test_photo.jpg, model, device, class_names) print(f識(shí)別結(jié)果{result}置信度{confidence:.2%})這里的關(guān)鍵坑在于 load_state_dict 前模型結(jié)構(gòu)必須與訓(xùn)練時(shí)完全一致。如果你在訓(xùn)練代碼里改過(guò) model.fc 的結(jié)構(gòu)那么推理代碼里也要做一模一樣的修改否則加載權(quán)重時(shí)會(huì)報(bào) size mismatch。為了避免這種問(wèn)題我強(qiáng)烈建議把模型構(gòu)建代碼寫(xiě)在一個(gè)函數(shù)里訓(xùn)練和推理都調(diào)用同一個(gè)函數(shù)不要二次復(fù)制。6.2 置信度識(shí)別結(jié)果的第二落點(diǎn)很多人做圖片識(shí)別只看預(yù)測(cè)類別但置信度信息其實(shí)更具價(jià)值。置信度是 Softmax 輸出的最大概率值表示為模型對(duì)該預(yù)測(cè)的自信程度。我在實(shí)際項(xiàng)目中總結(jié)的置信度決策規(guī)則置信度 0.9模型非常確定可以放心采納置信度在 0.6 到 0.9 之間模型有一定把握可以采納但要提示用戶核實(shí)置信度低于 0.6建議返回?zé)o法確定因?yàn)槎囝悇e中每個(gè)類別的概率都比較分散強(qiáng)取最大值很可能是錯(cuò)誤判斷一個(gè)常見(jiàn)場(chǎng)景是模型對(duì)貓的置信度是 0.45對(duì)狗的置信度是 0.42此時(shí)取貓作為結(jié)果并不穩(wěn)妥。這種低置信度通常意味著圖片里的目標(biāo)不明顯、遮擋嚴(yán)重或包含訓(xùn)練數(shù)據(jù)中未出現(xiàn)的背景干擾。如果業(yè)務(wù)場(chǎng)景對(duì)誤判容忍度低建議加一個(gè)置信度閾值判斷。6.3 推理性能優(yōu)化經(jīng)驗(yàn)如果識(shí)別功能要集成到實(shí)際應(yīng)用中推理速度和延遲就很重要了。幾個(gè)實(shí)用的優(yōu)化方向把整個(gè)模型用 model.eval() 切換去掉 Dropout 的隨機(jī)性對(duì)輸入圖片做 batch 推理把多張圖片合成一個(gè) batch 一次前向傳播比單張循環(huán)快很多倍使用 torch.no_grad() 防止構(gòu)建計(jì)算圖如果需要更高吞吐量可以考慮用 ONNX 導(dǎo)出模型加速但在精度要求高時(shí)要注意導(dǎo)出和推理的精度差異我參與過(guò)的一個(gè)圖片識(shí)別的技術(shù) Demo用 ResNet18 在 GPU 上單張推理延遲只有幾毫秒完全滿足實(shí)時(shí)應(yīng)用的需求。而如果換用 CPU 推理延遲會(huì)上升到幾十毫秒這種差距會(huì)讓一些對(duì)時(shí)延敏感的應(yīng)用場(chǎng)景做出不同的技術(shù)決策。7. 訓(xùn)練過(guò)程中遇到的經(jīng)典問(wèn)題排查實(shí)錄7.1 損失不下降我接觸的初學(xué)者項(xiàng)目里損失不下降或下降極慢是最常見(jiàn)的問(wèn)題。排查順序應(yīng)該按優(yōu)先級(jí)這樣走首先是學(xué)習(xí)率。學(xué)習(xí)率太小相當(dāng)于一個(gè)人走路步子邁得極小半天走不出原地。把學(xué)習(xí)率從默認(rèn)的 0.001 調(diào)到 0.01 或 0.1 測(cè)試一下。如果損失反而變成 NaN說(shuō)明學(xué)習(xí)率又太大了中間找平衡點(diǎn)。我常用的粗暴方式是 0.1、0.01、0.001 各試 20 個(gè) epoch看哪個(gè)收斂快且穩(wěn)定。其次是數(shù)據(jù)和標(biāo)簽是否對(duì)齊。檢查 dataloader 返回的圖片和標(biāo)簽是否匹配我遇到過(guò)圖片讀取順序和標(biāo)簽順序錯(cuò)位的問(wèn)題導(dǎo)致模型一直在學(xué)錯(cuò)誤對(duì)應(yīng)關(guān)系??梢栽?DataLoader 里加調(diào)試代碼打印一批圖片對(duì)應(yīng)的標(biāo)簽確認(rèn)。還有一個(gè)隱蔽的問(wèn)題預(yù)處理時(shí)沒(méi)有做歸一化或歸一化錯(cuò)誤。如果圖片像素值還是 0~255 范圍模型第一層卷積的輸入范圍就不對(duì)特別是使用遷移學(xué)習(xí)模型時(shí)預(yù)訓(xùn)練權(quán)重期望的是 0~1 歸一化后帶標(biāo)準(zhǔn)差的輸入輸入范圍錯(cuò)誤會(huì)讓特征提取完全崩潰。7.2 顯存溢出顯存溢出Out of Memory在小顯存機(jī)器上訓(xùn)練大模型時(shí)幾乎必現(xiàn)。最有效的排查思路是降低 batch size從 32 降到 16 甚至 8。因?yàn)轱@存占用主要是每個(gè) batch 的中間特征圖和梯度batch size 直接線性影響顯存。另一個(gè)思路是減少圖片輸入尺寸224 降到 160 或 128這對(duì)顯存的影響是平方級(jí)別的。還有一招是使用梯度累積也就是用多個(gè)小 batch 模擬大 batch 的效果。比如顯存只夠跑 batch size 8但你需要 batch size 32那就跑 4 個(gè) batch 后累積梯度再更新一次參數(shù)。7.3 過(guò)擬合怎么判斷判斷過(guò)擬合不能只看訓(xùn)練集精度因?yàn)橛?xùn)練集精度沖到 100% 也很正常。核心指標(biāo)是訓(xùn)練和驗(yàn)證差距當(dāng)訓(xùn)練精度 95% 以上而驗(yàn)證精度停留在 75% 左右且驗(yàn)證損失在下降后又開(kāi)始回升這就是典型過(guò)擬合。緩解手段按優(yōu)先級(jí)排序數(shù)據(jù)增強(qiáng)加碼、加 Dropout 比例、縮小模型規(guī)模、提前停止。不要上來(lái)就換更大的模型那樣只會(huì)過(guò)擬合得更嚴(yán)重。我在做項(xiàng)目時(shí)首先看的是數(shù)據(jù)增強(qiáng)有沒(méi)有做夠數(shù)據(jù)集的多樣性是否覆蓋了應(yīng)用場(chǎng)景的分布。7.4 類別不平衡問(wèn)題實(shí)際項(xiàng)目中類別不平衡很常見(jiàn)。比如你做一個(gè)缺陷檢測(cè)99% 的圖片是合格品只有 1% 是有缺陷的。模型不需要學(xué)任何東西全預(yù)測(cè)合格就有 99% 精度但這種模型完全沒(méi)用。解決辦法一是加權(quán)損失函數(shù)PyTorch 的 CrossEntropyLoss 支持 weight 參數(shù)class_weights torch.tensor([1.0, 10.0]) # 少數(shù)類權(quán)重設(shè)為大的值 criterion nn.CrossEntropyLoss(weightclass_weights.to(device))解決辦法二是采樣策略對(duì)少數(shù)類過(guò)采樣、對(duì)多數(shù)類欠采樣。我自己更傾向于先用加權(quán)損失它簡(jiǎn)單直接改動(dòng)量小實(shí)用性高。7.5 亂加預(yù)訓(xùn)練權(quán)重導(dǎo)致的報(bào)錯(cuò)用遷移學(xué)習(xí)模型時(shí)遇到 state_dict 加載報(bào)錯(cuò)一般是新舊模型結(jié)構(gòu)不一致。最常發(fā)生的情況是你用了一個(gè) torchvision 模型然后手動(dòng)修改了 model.fc但加載預(yù)訓(xùn)練權(quán)重時(shí)服務(wù)端期望的還是原始完整結(jié)構(gòu)。解決辦法是設(shè)置 weightsNone 構(gòu)造模型后再加載自己的權(quán)重同時(shí)確保模型結(jié)構(gòu)完全一致。8. 實(shí)操總結(jié)與擴(kuò)展方向用 PyTorch 識(shí)別圖片這個(gè)需求看起來(lái)簡(jiǎn)單但把一個(gè)模型真正跑通、跑好中間的信息量其實(shí)非常大。我最后分享幾個(gè)經(jīng)驗(yàn)數(shù)據(jù)永遠(yuǎn)是第一位的。模型結(jié)構(gòu)再先進(jìn)數(shù)據(jù)沒(méi)準(zhǔn)備好效果也出不來(lái)。你花在數(shù)據(jù)清洗、數(shù)據(jù)增強(qiáng)上的時(shí)間永遠(yuǎn)比調(diào)模型結(jié)構(gòu)參數(shù)更值得。遷移學(xué)習(xí)是現(xiàn)在絕大多數(shù)場(chǎng)景的首選方案。自己從頭訓(xùn)練一個(gè)卷積神經(jīng)網(wǎng)絡(luò)除非你有幾十萬(wàn)上百萬(wàn)級(jí)的標(biāo)注數(shù)據(jù)否則很難超過(guò)一個(gè)微調(diào)好的預(yù)訓(xùn)練模型。用預(yù)訓(xùn)練模型不是偷懶是把前人幾十年的經(jīng)驗(yàn)?zāi)眠^(guò)來(lái)用這是聰明人的選擇。訓(xùn)練日志一定要完整記錄。損失值、精度、學(xué)習(xí)率、模型在哪個(gè) epoch 保存的這些信息看起來(lái)不起眼但在你回溯問(wèn)題、復(fù)現(xiàn)實(shí)驗(yàn)時(shí)能省下大把時(shí)間。我自己現(xiàn)在每跑一個(gè)實(shí)驗(yàn)都會(huì)把超參數(shù)和日志文件一起歸檔。做完一個(gè)基礎(chǔ)分類項(xiàng)目后你可以順這個(gè)方向繼續(xù)深入一是多標(biāo)簽分類一張圖中同時(shí)識(shí)別多個(gè)物體二是目標(biāo)檢測(cè)不只是分類而是框出物體的位置三是語(yǔ)義分割對(duì)每個(gè)像素做類別預(yù)測(cè)。這三個(gè)方向都是在圖像識(shí)別基礎(chǔ)上的自然延伸掌握了本文的基礎(chǔ)流程后你會(huì)發(fā)現(xiàn)它們很多思維方式是一脈相承的。希望這套完整的流程和代碼能夠幫你把第一個(gè) PyTorch 圖像識(shí)別項(xiàng)目順利跑通。在實(shí)際操作中遇到問(wèn)題歡迎把你的報(bào)錯(cuò)信息和實(shí)驗(yàn)現(xiàn)象記錄下來(lái)大家一起交流排查的思路。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天综合网网欲色| 八戒午夜福利理论片| 超碰97丝袜| 欧美性爱视频免费一区一A| 色婷婷狠狠| 校园春色家庭伦理欧美激情| 91人妻精华帖| 色狠人在线99| 国产男女无套视频免费观看| 超碰97在线色男人??| 国产67194| 福利伊人玖玖国产| 330dv亚洲成年视频网| 美女被啪到深处抽搐视频| 日韩一级欧美一级国产一级台湾| 国产成人无码久久精品| 欧美se综合| 免费一级黄色录像影片| 国产精品色哟哟| 国产精品午夜AV完会免费 | 91九色丰满高潮| 日本孕妇一区二区视频操逼免费看 | 高潮9999外国| 日本午夜福利影院| 男人的天堂com| 久久一级无码精品毛片6| 96精品一区| 亚洲最新中文字幕免费| 91天天综合在线观看| 激情综合网五月婷婷五月天| 4tube欧美女厕所| 综合五月婷婷| 秋霞Av理论一级在线| 人妻精品4K4K4K4K4| 亚洲高清欧美总合| 97er欧美性| 一个国产在线综合网站| 欧美中文综合| 日韩性色b| 国产AAAAAABBBBB| 96AV久久久| 欧美日韩国产黄色片| 久久宗合亚洲| 牛牛aV| 亚洲色图欧美色18直播在线| renqi久久久久久久久久久久| 偷窥自拍亚洲| 91女在线观看| 久久性爱大全| 97天天| 特级大荫道BBwBBwBBW| 视频不卡中文字幕| 插B在线观看| 久久性爱视频| 四虎av在线| 91xingse| 成人精品一区二区91毛片不卡| 亚拍在线| 婷婷五月影院| 日本免费专区| 特色a在线上| 色综合潮| 久久久99久9| 久操网址| 亚洲天堂男人天堂网| 久久综合资源一区二区| 亚洲天天在线| 超碰伊人在线| 亚洲综合性感在线| 丁香五月天堂网| 超碰在线观看av不卡| 久久一二三四五六七八九区| 日夜久久久九九九久| 国产最新小视频在线播放下载| 夜夜嗨免费视频| 男人的天堂亚洲| 久草国产在线视频| 另类图片综合| 亚洲色交| 亚洲做性| 精品人妻视频一区二区在线播放 | 淫荡熟女乱伦网| 久久欧美激情| 97频视在线| 国产精品经典一卡久久久| 黄色AAAAA欧美| 啊啊啊啊啊啊在线| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 成年人性爱日韩| 中文 人妻 制服| 98超碰日本| 久九干| 男女猛烈无遮掩视频免费软件| 国产自偷| 俺去啦自拍| 91伊人久久在线| 九九天堂| 蜜臀久久99精品久久久久免费观| 久久ww| 黄aaaaaaaaaaaaaaaaaa色网站 | 亚洲精品 欧美97色色| 久久九七| 亚洲国产高清福利视频| 色97干| 九九热这里只有在线精品视 伊人草 成人菠萝蜜视频在线观看 | 色拍偷亚洲| 精品大久久| 美女被艹尤物视频| 竹菊影视国产一区二区| 欧美国产欧美在线观看| 欧美大香蕉久| 精品免费视频国产一区| 日韩欧美中文字幕搭讪巨乳美人妻视频| 午夜亚洲国产理论秋霞| 上海一级黄片| 日本国产欧美高清在线| 久久久久久亚洲中文| 97这里只有精品| 男人的天堂三级| 美骚妇av高清在线| 在线亚洲丝袜视频网站| 97在线欧| 麻豆亚洲AV成人无码久久精品| 一级免费精品| 国产熟女高潮一区二区三区| 97蜜桃综合| 激情五月综合网| 亚洲欧美国产其他二区| 亚洲第一综合| 蜜色网色哟哟| 美日韩一卡二卡三卡免费人妻精品| 国产成人综合网| 影音先锋国产精品| 可以看的av| 欧洲色| 久久久久久欧美精品se一二三四| 久久国色天香香蕉| 国产视频三区四区| 亚洲少妇在线影音| 97在线资源| 日韩中文字幕宗合在线| 99热日| 久久精品高清无码一区| 久久婷婷苹果| 熟女激情综合网| 成人av性爱电影在线观看| 国产亚洲色停停久久99精品91| 大学生美女口爆| 激情综合网亚洲| 99久久亚洲精品无码毛片潘甜甜| 韩国成人精品久久久免费看| 国产精选三级在线观看| 日韩亚洲美女一区久久| 精品久久久久久亚洲| 毛片视频白嫩| 中日韩久久久免费看| 欧美高清91| 欧美成人免费在线观看| 色狠狠综合| 亚洲精品819| 精品久久九| 日韩情色一区二区| 欧洲熟妇xxXx欧美老妇裸体| 亚洲欧洲日本精品中文a∨| 性爱乱伦网址| 四虎精品永久在线观看| 老女人爆菊| 国产极品久久久| av婷婷色婷婷色六月| 在线无码操| 黑操B| 有码免费观看| 爱丝福利| 青娱乐国产盛宴视频| 色婷婷综合视频| 日本一区二区三区精品| 偷窥自拍亚洲| 日韩精品一区二区高清 | 亚洲激情 欧美色图| 国产久久久久影院老熟女| 精品欧美乱码久| 人妻丰满熟妇一区二区三| 亚洲成?V人片在线观看福利| 国产精品久久久久久夜夜夜| 老鸭窝在线视频播放| 国产偷拍网站| 婷婷五月色| 欧美页片| 高清国产无码av| 日韩中文字幕在线视频观看| 91挑色欧美| 四虎影视精品| 亚洲少妇中文字幕网址| 青青草视频导航官网| 色图四区| 日韩乱插| 蜜桃狠狠色伊人亚洲综合 | 五月婷婷hd| 少妇九九九九| AA丁香综合激情| 91综合国产精品| 亚洲综合有码| 精品区国产区一区二区三区| 97伪v| 加勒比伊人| 日本三级大片| 蜜臀Av一区二区三区| 国产精品探花视频| 97天天在线| 国产欧美成人第一页在线观看| 亚洲有码 视频一区| 欲色啪| 亚洲欧洲综合av在线| 精品久久青青草| 大香久久| 日韩情色视频| 婷婷五月天激情四射| 99九九精品| 精品大全99999| 人人干人人搞人人摸| 97欧美色资源| 日韩精品国产一区二区| 嗯嗯啊好大| 国产无码三级视频在线观看| 按摩中文字幕| 大肥女高潮bbwbbwhd视频| 夂久色| 我要色综合网| 久久超碰免费的| 91久久久久免| 香蕉视频欧美一卡二卡| 日韩精品9999| 一本一道波多野毛片中文在线| 欧美激情色婷婷花野真衣一区二区| 一区二区精品日韩欧美在线观看| 99色骚| 一类无码操逼视频| 久久久久久99999国产精品| 五月婷婷爱六月丁香色| 欧美亚洲特P| 五月天激情小说| 国产品精品自在在线午夜免费| 1024久久高清视频| 亚洲天天做日日做天天谢日日| 欧美97日韩| 日韩亚洲欧美中文字幕| 国产AV超爽| 亚洲国产福利视频| 国产欧美一区二区| 亚洲激情综合另类男同| 欧美丝袜亚洲| 欧美成人黄网色网站| 久男人久久| 性在久久久久久| 少妇熟女视频一二三区| 九九热九九热| 日本东京热加勒比久久| 国产97亚洲| 曰本91情色| 国产女人成人精品视频| 精品国产av一区二区三区四区入口| 操一区| 午夜福利成人免费视频| 福利操逼| 亚洲精品久久久久毛片A片拉屎| 伊人一区二区三区| 东京日日夜夜| 中文字幕成人理论在线| 久久老女人| 北约熟女超碰| 亚洲图片91| 亚州综合AⅤ| 熟妇在线视频一区二区| 国产女人与拘做受视频免费| 国产农村妇女精品| 亚洲人妻久久久| 热久久91婷婷| 国产精品久久久鸭无码的功能| 欧美组图日韩亚洲中文字幕| 麻豆色99999| 欧美熟妇人体| 人人色97| 99亚洲精品| 成人线上超碰| 色色毛片| 国产精品久久泡妞网站| 疯操AV| 殴洲老熟女| 日本三级久| 操逼视频免费日韩无码| 一牛影视成人片免费| 亚洲欧洲av影音| 91亚洲欧美激情| 国产乱不卡| 天堂伊人久久| 天天综和| 加勒比综合九九99视频在线播放| 青青草原狼av| 96AV久久久| 99热这里只有精品99| 亚洲αv一区二区三区| 东京热一区二区中文字幕| 91国产丝袜白虎| 日日碰视频网| 久久一二三级一一一| 久久9视频| 日本一本道A级黄色毛片试看60分钟| 成人性爱免费播放| 成年无码动漫av片无尽在线 | 免费农村成人少妇人妻Aa一区二区视频 | 伊人四虎综合| 国产乱码精品久久久久久 | 久久久网站| 色官网在线| AV污污污污| 伊人国产视频| 日韩天天本| 97色涩| 国产精品第二页| 99国产精品久久久久久久成人热 | 十八禁啪啦拍视频无遮挡| 国产精品无码论坛| 综合色播| 艹我哪美一区无码| 五月黑AⅤ| 色色色色色色色色色色色色色色综合 | 东京热一区二区中文字幕| 欧美狠狠| 人妻丰满熟妇一区二区三| 家庭乱伦国产精品| 亚洲欧美自拍偷拍| 一区二区三区精品久久| 成人日韩欧美| 日韩人妻网站| 色香综合天天影视综合 | 97精品97| 97在线日韩中文字幕| 欧美后入式| 91视频在线观看18| 性爱综合一区二区| 人人操人人摸人| 欧美色五月| 顶级少妇BT天堂| 一本一首道人妻少妇免费久久| 污电影在线观看| 99热在线只有精品| 人人弄人人摸| 爱av免费| 亚洲欧美日韩有码| 青青草这里只有精品| 四方色播| 日韩无码a片| 国产成人无码久久精品| 精品一区二区三区最新| AV色五月天| 精…码一二三区| 天天干天天燥| 天天操狠狠日夜夜干超碰撸com视频在线观看 | 天天视频网站黄| 中国一级操逼视频| 久久人妻精品| 精品9区| 亚洲图片 欧美电影| 国产亚洲色婷婷久久99精品91 - 百度| 丰满美女一级毛片在线播放| 一本色道人妻久久| 欧美精品23| 天天综合精品| 日本不卡中文| 最新av中文字幕高清| 人人干人人搞人人摸| 一区二区久久天天干狠狠| 亚洲中文字幕乱码无码一区二区 | 激情综合二| 色九九综合| 亚洲天堂日本| 翔田千里无码一区| 野狼激情网| 大但人体久久久久| 乱伦av麻豆| 久久久99久9| 青青草一区二区高清无码视频| 国产中文大片资源中文字幕| 国产极品999| 人妻人久久精品中文字幕| 成人一道本免费视频| 婷婷久久综合| 亚洲欧美洲综合| 欧美日韩国产高清在线一二三区| 五月天色电影| 69XX一中文字幕人妻91| 精品99999久久久久久| 色综合91好| 久久久五月天| 欧色网址| 一区二区三区在线资源| 久久久555| 五月婷久久| 日日干夜夜骑| 竹菊影视国产一区二区| 日本高清加勒比| 九月丁香婷婷色| 极品粉嫩少妇视频| 久久久精品中文字幕爱豆| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | 黄页大片在线观看| 91A欧美电影网站| 强奸xx国产| 无码人妻毛片丰满熟妇精品区 | 麻豆一区二区三区在线看| 伊人黄色视频免费观看| 丰满人妻一区二区三区大胸懂色| 就去色综合| 丁香啪啪| 曰韩人妻中文字幕在线| 这里是精品| 久久久久久网址| 好爽,再快点啊哈嗯嗯嗯嗯| 超碰免费人妻在线| 天天淫人人妻日日色| 人妻少妇久久中文字幕一区二区 麻豆 | 一二三四区电影| 免费啪啪啪网站18岁| 欧美黑人日韩少妇色情| 91超级碰碰碰| 国产精品久久久啊| 97超碰久| 黄片不用下载在线观看| 中出欧美| 91性高| 天天干夜夜一操| 久久三区四区| 中文字幕日韩国产传媒欧美精品| 看免费一级在线播放毛片| 无码人妻精品一区二区三区九九| 久久久国产成人一区二区三区在线| 欧美少妇高潮| 亚洲国产精品V?在线播放| 九九九九九精品十六| 久久久久久97| 偷拍伦理视频| 97久久精品亚洲| 黄片www.| 蘋果手機免費看成人Av| 伊人久操| 欧美色宗合| 夜草欧美| 亚洲一区深夜| 淫荡熟女乱伦网| 蜜臀久久久99久久久久 | 久久久久亚洲熟妇熟女| 精品人妻伦一区二区三区久久| 欧美99热| 欧美成人A天堂片在线观看| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 99免费视频| 人人做天天爱| 麻豆亚洲AV成人无码久久精品| 自拍丝袜美腿人妻| 色色色色电影网| 久久久久免费少妇| 国产偷拍自拍在线视频| 天美精品原创av片国产| 亚州精品人妻一二三区| 精品久久久不卡一区二区| 国产这里只有精品| 多乙久久久久久| 国产老太乱伦一区| 久久久78| 婷婷五月天无码| 亚洲……91| 少妇滛荡视频| 青娱乐亚洲自拍| 国产精品爆乳懂色蜜乳| 风间由美日韩欧美久久| 天美欧美国产| 国产精品2020| 91亚·色| 狠狠干狠狠色| 素人一区二区三区日韩| 秋霞一级鲁丝片A片| 600国产精品视频| 我想要啊 啊 啊| 妇女视频网站| 精品视频97| 色嘟嘟人妻天堂网| 婷婷99| 中文自拍欧美影视| 成人性爱美曰韩| 最新日日夜夜天天干干| 久久精品人妻一区| 亚州欧美色图| 日躁天天爽爽| 91精品国产一区三一| 亚洲色性| 天天综合中文字幕 91| 国产97在线播放| 99热99re6国产在线播放| 97精品视频免费| 亚洲国产综合久久久性感熟妇| 99啪啪| 久久久久久久人妻| 人妻啊啊人妻啊| 小少妇| henhen91| 五月天久久人妻| 又粗又长又大国产不卡| 亚洲国产成人精品久久久国产成人一区二区| 伊人久久综合影院| 亚洲欧美setu| 免费看日本操逼视频| 亚洲男人的天堂一区二区| 欧美特大黄一级片片免费| 亚洲一区制服诱惑| 亚洲人人操| 日韩超碰97| 精品人妻二区三区| 激情抓乳插进去啪啪啪日韩 | 狠狠色噜噜狠狠狠狠2018| 日韩一区二区熟女| 3d成人精品一区二区| 蜜桃午夜视频一区二区 | 韩国一级做A片免费的| 欧美综合综合| 1二区9| 青娱乐久久艹| 亚洲欧美色图片| 亚洲精品骚逼| 九九热五区| 国产乱伦视频污| 欧美亚洲成人在线一区二区三区| 天天干天天干天天| 大香蕉一区二区在线观看.| 老司机午夜精品福利视频一区二区| 国产女人91精品嗷嗷嗷嗷| 中文字幕丰满子伦无码专区在线视频最新| 色综合久久夜色精品国产天堂| 丁香久久| 日韩一性一交一A片俄罗斯| 91精品人妻一品二品三品| 成人A片男人的天堂| 一区二区三区精品视频| 操人人| 综合色欧美| 中文久久96| 久久9 9 9精品| 91free福利| 一区二区三区在线美女| 国内一区二区免费| 免费的av网| 久久久久久国产手机AV| 亚洲日本激情| 97免费视频在线观看| 夜夜操夜夜高潮夜夜爽国产精品区| 婷婷五月花| 囯产乱伦一区二区三女 | 国产拍偷精品网站| 激情一区二区| 久久久亚洲精品中文字幕人妻| 日韩美女高潮喷水视频| 国厂麻豆77q4| 亚洲国产一区二区三区在线| 日本福利社| 丁香婷婷啪啪| 亚洲成av人片色午夜乱码| 操高情无码| 一起草视频在线| 在线情色电影 91大| 精品久久久无码| 99热精品在线观看| 婷婷色中文字幕| 婷婷中文网| 啪啪资源网| 国产熟女完整版中字 | 蜜臀久久久| 黑人天8A∨高清网站| 啊a一区在线| 亚洲91av| 大香蕉综合| 色盈盈影院| 欧美久久久15P| 极品少妇99| 天天干天天中出av| 免费超碰97久久| 校园春色综合香蕉| 色香伊人| 亚欧无码在线| 在线可观看的黄色网址| 91精品久久久久久77777| 五月天激情网站| 久久久久精| 中文字幕片| 97超碰免费人人性爱| 亚洲国产精品久久久男人的天堂| 欧美91丝袜| www.久久超碰| 黄片www视频免费| 襙一襙| 欧美黄色大片在线观看 | www九九热| 97干日韩| 情侣操 逼视频99| 偷拍亚洲情色| 欧美综合另类| 国产精品久久久久亚洲av| 天天干夜夜一操| 五月天婷婷影院| 亚洲国产综合久久久性感熟妇| 伊人国产视频| 精品无av| 久久久精品中文字幕爱豆| 狼狼色丁香久久婷婷综合五月| 国产亚洲精品自在线亚洲情侣| 伊人久久88国产女| 97爱b| 久久久偷拍| 91成人高清在线观看| 国产又操| 亚洲蜜臀懂色| 国产伊人精品在线| 欧亚无码视频| 欧美在线播放aaaa| 好看的91视频| 欧洲精品二区| 国产小黄片在线免费观看| 五月婷婷六月色| 情色日播放AV| 97在线视频网站| 上海一级黄片| 熟妇人妻一区二区| 精品夜夜澡人妻无码AV| 成人av影院在线观看| 一区二区 韩日AV| 欧美丝袜美女电影一二三四区| 加勒比伊人| 色香色欲天天综合网天天来吧 | 国产 日韩 另类 视频一区爱| 欧亚性爱视频免费看| 东京热一区二区三区四区五区六区| 91天天综合在线观看| 国产亚洲性生活视频播放| 骚逼高潮久久精品| 东京热AV男人的天堂| 91精品久久久久五月天精品| 91精品电影18| 在线天堂资源亚洲| 精品一区二区亚洲国产| 欧美 亚洲 91| 欧美午夜视频免费观看| 欧洲免费一区二| 中文字幕乱码在线| 五月婷婷综合在线| 日本新免费二区三区| 97AV在线观看| 九色97| 日逼97| 色五月大香蕉| 伊人九九| 欧美少妇熟女| 久久久9999| 国产高潮AA片免费看| 蜜桃精品一区二区三区久在线| 国产成人精品必看| 午夜啊啊啊| 人人艹亚洲| 久久夜夜夜| 亚洲图片婷婷五月天| 人人超碰在线观看黄| 1769一区| 97精品国产手机| 懂色av色欲av蜜臀av| 老司机久久| 久久三| 国产9l 大屁股| 丝袜 亚洲 偷拍| 亚洲高清91| 久久理论字幕视频| 国产精品一区二区亚洲人成毛片| 五十路熟女工口| 伊人丁香五月婷婷| 色香综合天天影视综合 | 久久女同性恋一二区| 亚洲蜜乳av| 国产久久一区二区三区野外在线| 91精品微拍福利| 亚洲有码第一页| 人看人人摸人人操| 青青五月天| 99热97| 日韩av不卡在线看| 天天操熟妇| 久久久无码国精品无码三区三区| 97九色| 国产精品久久久久久久久久久久久久久久 | 欧美综合第一页| 成 人 影视 一区 二区 三区 四区 | 日韩熟女乱伦中出| 超碰在线综合97| 亚洲 综合 欧美| 国内偷自视频区视频综合 | 欧美日韩国产黄色片| 欧美日韩97在线| 日日夜夜干| www亚洲免费| 欧美综合综合| 国产欧美精品日韩区二区麻豆天美| 国产在线激情视频| 玖玖久久久| 极品粉嫩少妇视频| 凹凸视频特色日本特黄| 一个人免费视频观看在线WWW| 人妻黑丝袜电影| 丁香六月激情| 久草免费福利在线播放| 夜夜欢天天干| 内射卯月麻衣| n1038 一二三区| 少妇人妻好深太紧了vr91| 69精品| 婷婷九月国产| 亚洲中文字幕乱码无码一区二区| 色噜噜人妻丝袜a∨先锋影| 日本一区二区不卡| 亚州,欧美在线| 精品人妻视频一区二区三区蜜桃视频| 日韩成人免费电影| 又大又长又粗又爽又黄| 外国91| 人妻美腿丝袜日韩| 国产中文福利| 欧美白嫩在线放| 青青11操操操操操操操操| 秋霞蝌科网日本一区| 日本操逼视频在线| 91制服丝袜中文字幕| 国产乱子伦一区二区三区免看| 天堂av2019| 色色丁香| 熟女突然公开看18禁影片| 亚洲国产欧美另类自拍| jazzjazz国产精品麻豆| 久久少妇| 国产无码精品久久久久久| 亚洲中文字幕一区二区| 亚洲第一狼人丝袜美女另类| 国产在线视频午夜精华在| 91日韩网站| 青青草华人在线欧美在线| 97bbn| 欧美精品偷拍| 天堂精品小草| 久久免费看高潮毛片韩国| 色av中文字| 欧美|91色综合| 深夜激情无码| 亚洲综合色网| 日本天天色| 婷婷五月天影院| 丁香六月激情综合| 精品久热| 青青草操逼逼视频| 亚洲av夫妻操穴网| 欧美亚洲国内自拍| 成人影 天天操 亚洲| 国产精品久久久视频| 美女黄色一级A视频| 精品视频久久久久九九九九9999| 六月丁香啪啪啪| 色婷五月天| 天天透伊人| 用力操死我| 好看的91视频| 超碰97久久国| 精品女同一区二区三区| JuliaAnnXXX888| 少妇色欲综合网2| 五月亭亭六月丁香| 国产乱伦性爱区| 男人高清无码一区二区| 免费人成?大片在线播放| 久久婷婷伊人| 啪啪91| 亚洲 欧美 小说| 啊啊啊在线看| 国产精品农村妇女| 国产精品人妻无码久久久老鸭窝| 欧美一区二区三区入口| 国产男女无套视频免费观看| 色狠狠综合| 色哟哟国产精品免费网址| 午夜精品久久久久久久99热影院| 日本中文字幕一区| av2014 日韩在线中文字幕| 精品欧美乱码久| 欧美中文字幕日韩在线| 无码在线亚洲| 老鸭窝亚洲毛片| 毛片17S| 校园春色 亚洲| 超碰免费人妻人人| 色噜噜人妻丝袜a∨先锋影| 这里有精品| 噜噜噜亚洲精品| 97伊人| 午夜一级免费毛片| 六月婷婷五月丁香| 日韩欧美丝袜诱惑| 天天天堂影视日韩亚洲91| 伊人国产成人av网站| 凹凸久久人人| 久久9 9 9精品| 人妻少妇久久| 伊人网青青| 亚洲色久| 五月天加勒比啪| 女性91网站| 91干熟女| 中文字幕在线观看第二页| 蜜桃香蕉久草精品在线| 香伊人在线| 日本福利二区视频| 亚洲综合图色在线| 男人亚洲天堂| 亚洲欧美中文日韩视频中国语| 伊人成人情色综合| 国产精品一区在线播放| 亚洲国产成人福利在线观看| 男人天堂站| 伊人九九九| 亚洲精品成人激情在线| 操死我了嗯嗯嗯| 中日韩免费看男女操逼大全| 六月婷婷色综合| 熟女久久久| 国产啊v在线免费播放| 精品久久久中文字幕不| 91九色丨风韵犹存| 婷婷久久五月| 久久久九| www.av在线观看| 啊嗯好大视频在线观看| 91av熟女人妻| 少妇免费视频| 亚洲欧美情色| 欧美激情综合色综合啪啪五月| 亚洲综人| 91精品伊人久久久大香线蕉91| 美日韩一二三区| 操操逼视频| 青青草日逼视频| 中国人高清www色视频免费| 资源在线观一 二| 极品色综合| 黑人操一区二区| 韩国嫰模上门援交视频| 精品偷拍13p欧美dodk视频| 夜夜综合| 秋霞一集毛片观看| 亚洲精品 超碰| se吧提供91精品国产91久久久久久| 91人人看| 亚洲欧美日韩制服另类| 热久久国产精品视频大陆精品| 欧美爱三级日韩久久| 绑缚麻绳人妻寝取完整版| 日韩乱伦AⅤ| 综合欧美日韩在线| 中文字幕精品日韩中文字幕| 青青操视频在线| 日本福利二区视频| 激情五月天中文字幕色| 日韩天堂av电影在线观看 | 亚洲经典啪啪| 欧成人精品H无码| 色五月婷婷麻豆在| 超碰97人人cao| 久操网在线| 天天精品| 啊啊啊想要| 美欧老女人97| 激情干在线| 超碰99re| 老熟妇一区二区三区啪啪| 免费综合亚洲中文| 久久精品熟妇丰满人妻99| 射欧美综合| 欧美性爱伊人| 中文字幕三四区| 欧美熟妇亚洲版| 欧美丰满少妇xx高潮| 亚洲激情深爱文学小说网站| 欧美极品女人的天堂| 精品人妻一区二区三区四区石在线 | 亚洲做性| 亚洲综合有玛| av资源在线播放天堂| 欧美精品一二三| 秋霞男人网| 亚洲一区二区精品福利| 97爱爱爱| 粉嫩av一区二区三区四季| 国产第25页在线观看| 青春草莓视频在线观看网址| 91天天c| 色五月综合| 岛国大片国产| 亚洲熟女av中文字幕| 蜜臀久久99精品| 国产懂色精品国产av| www熟女乱伦com| 五月天精品| 老熟女熟妇| 99操逼| 久久精品中文字幕观看| 亚洲人天堂| 四虎av在线| 操逼999| 素人美腿视频网站| 婷婷中文网| {男男暴菊gay无套网站| 欧美日本不卡在线| 国产精品粉嫩福利在线| 伊人久久国产免费观看视频| 色综合久久久久| 欧美成人一级免费电影| 久久在线观看免费视频| 国产sv美女内射| 91精品丝袜久久久久久无码人妻| 国产玖玖| 国产成人+综合亚洲+天堂| 再深点灬舒服灬太大了添视频| 天天久久| 九七超碰人人乐| 久久久精品中文字幕麻豆| 久久伦理视频久久大香蕉视频| 亚洲国产精品乱码在线观看| 激情色播| 亚洲精品日韩国产欧美| 日韩国产在线观看av| 少妇熟女1区2区3区| 丰满人妻区一区二区三| 欧美资源| 亚洲三级。日韩三级| 99re这里只有精品2| 亚洲drav色图| 97精品视频网站| 97干天天| 狠操91,com| 五月开心久久AV官网| oumeizonghese,www| 国产乱码精品久久久久久| 丝袜无码a片| 久久中文色图| 三级网站超变态精品| 亚洲淫乱骚妇AV| 亚洲成人精品久久久| 色女99一级片在线观看| 大香交伊人网| 亚洲天堂,男人| 淫妻综合网| 精品四五区| 国产成自自拍在线观看| 欧美aⅴ99久久黑人专区| 96国产污污污丝袜| 日韩精品电影| 精品少妇人妻一区二区三区| 素颜老阿姨乱情色| 青青久日| 啊啊啊啊啊啊好多水| 青春草莓视频在线观看网址| 精品无码欧美三级| 免费少妇一区二区| 亚洲偷拍自拍在线视频| 美日韩成人| 青青草视频久久| 岛国AV一区二区电影| 超碰1024久久| 97精品97久久| 91久热| 玖草在线视频| 最新亚洲人成网站在线影院| 中文字幕精品一区二区精| 日韩性爱电影一区| 五月丁香婷婷色| AV天天综合| 中文字幕女同在线| 男人天堂最新手机版在线青青草| 东京热大香焦| 热99这里有精品综合久久| 亚洲日本激情| 九九无码视频| 亚洲天堂性爱| 日韩不卡一二三四| 日韩欧美性爱电影在线观看| 免费又黄又裸乳的视频| 无套内射性感少妇视频| 又大又黄国产| 天天天操天天天爱| 亚洲欧美综合网| 久久精品国产欧美日韩亚洲欧美日韩中文久久国产一区 | 国产剧情AV不卡在线观看| 五月丁香六月激情综合| 国模不卡一本二本三电影| 97少妇人妻中文字幕久久 | 日韩射精| 亚洲国产ⅴ高清在线观看| 婷婷五月天激情小说| 精品无码一二三四区| 亚州欧美在线| 秋霞成人一级在线观看| 天天做天天爱天天高潮| 999综合色| 亚洲在线网站| 婷婷亚洲综合| 亚洲揄拍网| 国产久久久久久| 豆花视频操逼网址| 香蕉在线一区二区三区| 99re在线精品78| 欧美组图日韩亚洲中文字幕| 丰满人妻av一区二区三区| 色情五月婷婷| 骚鸭AV| 强奸乱伦大香蕉| 久无码| 久久久久白虎| 国产中文精品一区二区在线观看| 嗯嗯啊啊视频在线看| 国模久久在线| 日韩免费在线视频观看| 偷拍欧美激情| 十八禁啪啪视频| 日本久久网| 欧美日韩精品久久久久东北老熟妇| 国产精品分类在线观看| 深爱五月婷婷| 正宗无毛一线天嫩逼| 国产成人一级av88| 大香蕉色十月| 欧美激情高清性猛交| 国产无码一二三区| 亚洲 另类 丝袜 自拍 动漫| 久久午夜神马| 五月婷婷久久综合| 超碰久草| 天天做日日爱夜夜爽| 人妻内射一区二区在线视频| 欧美性爱第一区| 久久久∴| 草草影院最新网址| 夜夜操av亚洲一区二区| 丁香婷婷五月| 青青草日逼视频| 91激情| 丰满少妇人妻久久久久久| 久久成年片色大黄全免费网站| 无码91| 日本孕妇一区二区视频操逼免费看 | 欧美片第一页| 欧美日韩大陆黑人少妇99| 新亚洲无码| 超碰公开久久网| 男人天堂网站| 顶级少妇BT天堂| 操b在线观看| 97天天操天天干| 欧美aa一级片| 亚洲 中文 欧美 日韩 在线| 精品人妻美妇91job| 久久精品无码熟妇一区二区三区视频导航| 牛牛aV| 天天操天天谢| 日日干夜夜干| 电家庭影院午夜69久久夜色精品国产69乱| 懂色综合久久久| 日本中文字幕不卡视频| 久久6热精品99视频| 在线中文字幕极品av| 亚洲蜜臀精品视频久久| 91精品久久久久久77777| 蜜桃午夜视频一区二区 | 免费av在线播放二区| 久久夜夜夜| 女人高潮大叫一级毛片| 欧美色乱| 久久久九九九九| 探花激情视频| 精品国产乱码久久| 国产丰满熟夫69mpp| 欧美aaaaaaa| 老熟女综合网 | 人人弄人人摸| 久久久久一本一区二区青青蜜月| 91三级理论片播放器| 天躁夜夜躁2021| 亚洲综合网图| 国产网站在线播放| 日本不卡一区二区| 大香蕉欧美国产日韩高潮| 精品-91人妻子系列| 天天综合91| 亚州,欧美在线| 欧美一区二区日韩传媒搭讪精品| 欧美顶级黄色大片免费| 热热色中文无码| 中字一区| 蜜桃传媒一区二区亚洲| 大香网站| 夜夜黄| 国产一区二区三区,在线观看观看| 91日韩在线| 伦激情人妻另类人妻| 亚洲情色 无码专区| 嗯嗯嗯啊啊啊操的我好爽 | 欧美九9 9 9| 99久久久久久久久| 九九九久久久| 极品出轨视频网站| 操b网站亚洲无码| 丁香激情五月| 99久久精品无码一区二区| 亚洲欧洲激情卡通另类文学四射小说网站 | 狠狠干,狠狠操| 中日韩久久久| 26uuu久久| 97资源站久久| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 黄片com.| 国产精品乱人伊人网| 国产黄色 A 片免费看| 9999久久久| 2003天天干夜夜操| 丝袜视频一区二区在线播放国产中文| 婷色五月| 家庭乱伦国产精品| 五月天欧美色图| 久插不卡| 一区二区三区网站日日骚| 五月天激情小说| 白嫩国模丰满一二三区| 亚洲AV无码乱码| 国产日本一区二区三区蜜臀在线观看| 中文字幕精品亚洲熟女| 天天内射| 成人网欧美风情| 91视频观看网站| 欧美午夜精品久久久久久3D| 婷婷综合激情| 最新日韩黄片| 特级丰满少妇一级AAAA爱毛片| 中文字幕高清精品一区| 性色av大全| 婷婷av在线中文字幕| 国产精品ww久久| 91精品老女人| 亚洲欧美成人网站AAA| 97色97干| 久久久久九九九九| 久久男人天堂| 欧美成人A√在线一区二区|