亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

PyTorch混淆矩陣繪制全指南:從原理到出版級可視化

PyTorch混淆矩陣繪制全指南:從原理到出版級可視化 從項目標題來看這是一篇“技術(shù)復現(xiàn)型”的分享。只要動過PyTorch做圖像分類或文本分類的人應該都經(jīng)歷過這種場景訓練完模型打印出準確率看到一個90%甚至95%的數(shù)字心里挺高興結(jié)果模型一上線發(fā)現(xiàn)某些類別幾乎全錯。準確率這個指標太“宏觀”了它會掩蓋很多細節(jié)。所以我才堅持每次跑完分類任務都要畫一張混淆矩陣出來看看。這篇文章就把我平時在PyTorch項目里畫混淆矩陣和做可視化的一套完整流程整理出來從最底層的矩陣計數(shù)原理到最終的出版級圖像導出盡量覆蓋到每一個坑。1. 為什么要畫混淆矩陣從準確率說不清的問題說起1.1 準確率看著挺高模型卻可能在“裝模作樣”先講個我自己踩過的案例。當時做一個六分類的紋理識別任務訓練集里樣本分布很不均衡其中一類占了總樣本的將近一半。訓練結(jié)束后驗證集準確率到了92%看起來一切正常。結(jié)果把測試集結(jié)果按類別拆開一統(tǒng)計那個占了50%的類別準確率接近99%而另外幾個稀少類別準確率只有60%到70%。如果只看準確率根本發(fā)現(xiàn)不了這個問題?;煜仃嚨膬r值就在這它不給你一個籠統(tǒng)的“好”或“壞”而是把“哪一類被認對了、哪一類被認成了哪一類”全部攤開。有些讀者可能會問精確率、召回率、F1值不是也能看類別的單獨表現(xiàn)嗎確實能。但混淆矩陣是最原始的“計數(shù)表”精確率和召回率其實是基于這個計數(shù)表二次計算出來的。有了混淆矩陣你可以自己計算任何想要的指標還可以定位到具體的“錯誤對”比如A類被錯認成B類到底是A類的特征太接近B類還是數(shù)據(jù)標注本身就有問題。這是單獨一個F1值做不到的。1.2 混淆矩陣到底在告訴你什么對于一個N分類任務混淆矩陣是一個N乘N的方陣。行通常代表真實標簽列代表預測標簽。矩陣的第i行第j列的值表示“真實類別是i卻被模型預測成類別j”的樣本個數(shù)。對角線上的值越大說明這一類被正確識別的比例越高。對角線外的值就是錯誤分布它們會清晰地告訴你錯誤主要發(fā)生在哪些類別之間。舉個例子三分類問題假設(shè)有150個測試樣本每個類別各50個。如果矩陣長這樣真實\預測類別0類別1類別2類別04811類別15405類別22840對角線加起來是128所以準確率是85.3%。但這張矩陣透露的信息更多類別0表現(xiàn)最好只有兩個樣本出錯類別1有5個樣本被認成類別05個被認成類別2類別2則有8個樣本被認成類別1。這告訴你類別1和類別2之間的混淆比較嚴重可能是特征相似也可能是訓練樣本不足。1.3 什么時候必須畫混淆矩陣我個人的習慣是只要是分類任務無論是圖像分類、文本分類還是音頻分類跑了測試集之后都要畫一張混淆矩陣。不是說每個項目都要給客戶看而是你自己必須心里有數(shù)。尤其是以下幾種情況不畫混淆矩陣幾乎等于白跑測試第一類別不均衡時。就像前面舉的例子準確率會被大類“帶節(jié)奏”。第二類別數(shù)量較多時比如幾十個類即使每個類別準確率在大數(shù)上看起來差不多也可能存在個別類別之間系統(tǒng)性錯認只有矩陣才能暴露這種規(guī)律。第三迭代優(yōu)化過程中。每次調(diào)完參、加完數(shù)據(jù)畫一張矩陣對比兩次的錯誤分布能直觀看出優(yōu)化是否真的有效而不是只看準確率有沒有漲。第四需要向團隊或客戶匯報時。一張帶顏色深淺的混淆矩陣圖比一堆數(shù)字直觀得多。2. 動手前的準備環(huán)境、模型輸出與數(shù)據(jù)格式2.1 最小可用環(huán)境清單畫混淆矩陣本身對硬件沒有任何要求CPU機器完全能跑。核心依賴就是PyTorch、scikit-learn、matplotlib如果想畫得更精致一點可以再加seaborn。我用過的幾個版本組合供參考依賴庫我常用的版本區(qū)間說明Python3.8 ~ 3.11老版本要注意scikit-learn兼容性PyTorch1.13 或 2.x分類模型推理scikit-learn1.0 ~ 1.3提供confusion_matrix等函數(shù)matplotlib3.5 ~ 3.8基礎(chǔ)繪圖seaborn0.12 ~ 0.13熱力圖可視化更省事安裝命令我就不多寫了pip install torch scikit-learn matplotlib seaborn一步到位。如果是在已有的訓練環(huán)境里補裝注意不要隨意升級PyTorch版本避免影響之前訓練好的模型權(quán)重加載。2.2 模型輸出到底長什么樣logits、概率和預測類別剛?cè)腴T的朋友最容易在這里搞混。PyTorch分類模型在全連接層之后通常輸出一個向量這個向量在進入Softmax之前叫l(wèi)ogits維度是批量大小乘以類別數(shù)。舉例來說一個批次的輸入經(jīng)過模型后輸出形狀通常是[batch_size, num_classes]。對每個樣本來說這個向量里的值表示該樣本屬于各個類別的“原始得分”數(shù)值越大代表模型越傾向于這個類別。取最大值的索引就是預測類別。有一種常見操作是先把logits經(jīng)過Softmax轉(zhuǎn)成概率再取最大值索引。這兩者其實結(jié)果完全一致因為Softmax是單調(diào)遞增函數(shù)不會改變最大值的位置。所以如果你只是要取預測類別直接做pred torch.argmax(logits, dim1)就夠了不需要先算Softmax。但如果你想把概率值也記錄下來比如用于分析置信度那就需要先過Softmax了。2.3 拿到預測結(jié)果后先做這件事類別索引與名稱對應關(guān)系檢查模型輸出的是索引比如數(shù)字0、1、2而不是字符串“貓”“狗”“鳥”。所以動手畫圖前先確認索引和類別名稱的對應關(guān)系。我遇到過不止一次訓練時數(shù)據(jù)集是用字典映射的類別名稱在數(shù)據(jù)集類的classes屬性里導出模型做推理時忘了保存映射關(guān)系結(jié)果畫出來的矩陣行列全是數(shù)字根本不知道哪一行對應哪個類別。這里給一個最小驗證片段確保測試集的類別是連續(xù)且完整的# 以 torchvision.datasets.ImageFolder 加載的數(shù)據(jù)為例 dataset_classes test_dataset.classes print(dataset_classes) # 例如 [cat, dog, bird]如果你的數(shù)據(jù)是自定義Dataset一定要檢查__getitem__返回的標簽是從0開始的連續(xù)整數(shù)。如果標簽不連續(xù)比如0、1、5、9混淆矩陣的行列就會錯位。這一點后面還會詳細說。3. 零基礎(chǔ)到手寫實現(xiàn)混淆矩陣的兩種構(gòu)建方式3.1 方式一手寫計數(shù)徹底搞懂矩陣邏輯雖然現(xiàn)成庫一行就能搞定但我強烈建議新手先手寫一次。理解了矩陣填充邏輯后面用庫函數(shù)出現(xiàn)問題時你才有能力排查。首先準備真實標簽列表y_true和預測標簽列表y_pred兩者必須是等長的Python列表、NumPy數(shù)組或PyTorch張量。假設(shè)有4個類別先初始化一個4乘4的全零矩陣然后遍歷每一對真實標簽和預測標簽把對應位置加1import torch def build_confusion_matrix(y_true, y_pred, num_classes): matrix torch.zeros(num_classes, num_classes, dtypetorch.int64) for t, p in zip(y_true, y_pred): matrix[t, p] 1 return matrix # 示例數(shù)據(jù)5個樣本3個類別 y_true [0, 1, 2, 1, 0] y_pred [0, 2, 2, 1, 0] cm build_confusion_matrix(y_true, y_pred, num_classes3) print(cm)輸出tensor([[2, 0, 0], [0, 1, 1], [0, 0, 1]])解釋一下第一個樣本真實是0預測是0所以matrix[0,0]加1第二個樣本真實是1預測是2所以matrix[1,2]加1。這個邏輯非常簡單遍歷完所有樣本就得到了完整的計數(shù)矩陣。如果類別數(shù)很多用循環(huán)加法的效率不高但畫圖前統(tǒng)計測試集一般也就幾千個樣本性能完全不是問題。3.2 方式二使用適合快速統(tǒng)計的現(xiàn)成函數(shù)手寫矩陣只是教學手段實際項目里我一般直接用機器學習常用庫中現(xiàn)成的混淆矩陣統(tǒng)計函數(shù)。它省事、代碼少、不易出錯from sklearn.metrics import confusion_matrix y_true [0, 1, 2, 1, 0] y_pred [0, 2, 2, 1, 0] cm confusion_matrix(y_true, y_pred, labels[0, 1, 2]) print(cm)重點是這個labels參數(shù)。它用來指定類別索引的完整列表順序就是矩陣行列的順序。如果你的測試集某個類別恰好一個樣本都沒出現(xiàn)不傳labels的話矩陣會缺少那一行一列導致維度對不上。我一般在多分類任務中都會顯式傳入labelslist(range(num_classes))強制讓矩陣維度固定。如果真實標簽和預測標簽是PyTorch張量先轉(zhuǎn)成Python列表或NumPy數(shù)組再傳入。# 從 GPU 張量轉(zhuǎn)到 CPU再轉(zhuǎn) numpy y_true_np y_true.cpu().numpy() y_pred_np y_pred.cpu().numpy() cm confusion_matrix(y_true_np, y_pred_np, labelslist(range(num_classes)))這里我解釋一下為什么要先轉(zhuǎn)cpu().numpy()。confusion_matrix函數(shù)接收的是類數(shù)組結(jié)構(gòu)PyTorch張量雖然也能在某些情況下被兼容但為避免type error或device對不上的問題統(tǒng)一轉(zhuǎn)成NumPy數(shù)組最省心。3.3 手工方式 vs 現(xiàn)成函數(shù)怎么選有人可能會覺得既然現(xiàn)成函數(shù)這么方便為什么還要學手寫因為現(xiàn)成函數(shù)幫我們省掉的是“計數(shù)”這一步但沒有幫我們理解“矩陣的含義”。在實際問題排查中你需要跟別人解釋為什么某個位置數(shù)值異常偏高這時候只有真正理解矩陣每一格的含義才能基于業(yè)務邏輯給出合理解釋。兩種方式建議這樣搭配學習和調(diào)試階段手寫理解透徹后正式代碼里用現(xiàn)成函數(shù)。還有一個細節(jié)手寫矩陣用for循環(huán)效率較低如果測試集很大比如幾萬甚至幾十萬樣本建議用torch.zeros和index_put_這類批量操作或者直接用NumPy的np.add.at。不過對常規(guī)項目來說這個復雜度根本遇不到。4. 畫出真正能用的混淆矩陣圖配色、歸一化與標注4.1 基礎(chǔ)熱力圖讓數(shù)字變成顏色矩陣本身是數(shù)字表格直接看也能看但遠不如熱力圖直觀。熱力圖的核心思想是用顏色深淺表示數(shù)值大小顏色越深數(shù)值越大。對角線越深說明分類效果越好。用seaborn畫熱力圖是我用得最多的方式因為它的heatmap函數(shù)幾乎為混淆矩陣量身定制import matplotlib.pyplot as plt import seaborn as sns import numpy as np from sklearn.metrics import confusion_matrix # 假設(shè)已經(jīng)得到 cm 和類別名稱 class_names plt.figure(figsize(8, 6)) sns.heatmap(cm, annotTrue, fmtd, cmapBlues, xticklabelsclass_names, yticklabelsclass_names, cbarFalse) plt.xlabel(Predicted label) plt.ylabel(True label) plt.title(Confusion Matrix) plt.tight_layout() plt.savefig(confusion_matrix.png, dpi300) plt.show()參數(shù)說明annotTrue在每個格子里顯示數(shù)字。fmtd因為混淆矩陣是整數(shù)計數(shù)用d表示十進制整數(shù)格式。如果錯用了fmt.2f或者不寫可能報錯或者顯示成小數(shù)。cmapBlues藍色漸變顏色越深數(shù)值越大這是論文里最常見的配色。xticklabels和yticklabels傳入類別名稱列表讓坐標軸顯示可讀的名稱而不是數(shù)字索引。cbarFalse我比較喜歡關(guān)掉右側(cè)的顏色條因為它只表示顏色深淺對應數(shù)值大小但每個格子已經(jīng)標了數(shù)字顏色條的信息量有限還占空間。如果對顏色對比敏感可以保留。4.2 歸一化從計數(shù)到比例的轉(zhuǎn)換原始計數(shù)矩陣有個問題如果每個類別的樣本數(shù)不同深色的格子分布會失真。例如類別0有1000個測試樣本類別1只有100個即使兩者的識別率都是80%類別0對應的對角線格子數(shù)值是800顏色會非常深類別1只有80看起來很淺給人造成“類別1表現(xiàn)很差”的錯覺。解決方法是按行歸一化歸一化后每個格子的值表示“該行真實類別中有多少比例的樣本被預測到了這一列”。歸一化矩陣的計算方法把每一行的所有值除以該行的總和。在scikit-learn中可以直接指定normalizetruecm_normalized confusion_matrix(y_true, y_pred, labelslist(range(num_classes)), normalizetrue)在seaborn繪制時我通常這樣處理cm confusion_matrix(y_true, y_pred, labelslist(range(num_classes))) cm_norm cm.astype(float) / cm.sum(axis1, keepdimsTrue) sns.heatmap(cm_norm, annotTrue, fmt.2f, cmapBlues, xticklabelsclass_names, yticklabelsclass_names)注意歸一化后fmt要改成.2f顯示兩位小數(shù)。在最終展示時我更傾向于同時展示兩種形式一是原始計數(shù)矩陣用來精確知道樣本數(shù)量二是按行歸一化的比例矩陣用來比較不同類別之間的表現(xiàn)??蓞⒖嫉恼故痉桨甘窍却蛴≡加嫈?shù)矩陣再打印歸一化矩陣圖里選一種呈現(xiàn)。4.3 坐標軸字體、標題和圖像導出細節(jié)可視化不只是把圖畫出來還要考慮最終使用場景。如果圖是要放進論文、技術(shù)報告或PPT里的要注意以下幾點。首先類別名稱如果比較長比如“background_with_noise”這種橫坐標文字會重疊。解決方法是把坐標軸文字旋轉(zhuǎn)一下plt.xticks(rotation45, haright) plt.yticks(rotation0)旋轉(zhuǎn)角度一般45度就夠haright讓文字右對齊避免和相鄰文字貼在一起。其次字體大小要適配圖片尺寸。默認字號在8乘6英寸的圖里還行但如果類別很多比如30個類別格子很小數(shù)字會擠在一起。這時候要么調(diào)大figsize要么調(diào)小字體sns.set(font_scale1.2) # 全局放大字體 # 或者單獨控制 annot 字體大小 sns.heatmap(..., annot_kws{size: 10})最后是導出格式。我會優(yōu)先導出一個矢量圖加一個位圖。矢量圖用PDF或SVG用于論文或報告縮放不失真位圖用PNGdpi300以上用于網(wǎng)頁展示或微信群聊。示例代碼plt.savefig(confusion_matrix.pdf, formatpdf, bbox_inchestight) plt.savefig(confusion_matrix.png, formatpng, dpi300, bbox_inchestight)bbox_inchestight會自動裁剪圖片邊緣空白保證整張圖緊湊這一步我?guī)缀趺看味紩印?. 驗證集、測試集和全量推理數(shù)據(jù)到底用哪一份5.1 三份數(shù)據(jù)的分工不少初學者會把訓練過程中打印的驗證集準確率對應的混淆矩陣當作最終結(jié)果這其實不太嚴謹。驗證集的作用是調(diào)參和選模型它參與了你對超參數(shù)的選擇過程所以用它評估模型會略微偏樂觀。真正用于最終性能報告的應該是測試集也就是訓練過程中從未參與梯度更新和模型選擇的樣本。如果連測試集你也反復用來做決策它也會慢慢“污染”。所以我的習慣是訓練過程中的混淆矩陣用驗證集畫用于觀察每個epoch有沒有個別類別開始嚴重錯認最終匯報和論文里的混淆矩陣用測試集畫用于說明模型的真實泛化能力。5.2 推理時別用模型本身的Dropout和BatchNorm坑在PyTorch中如果模型處于訓練模式model.train()Dropout和BatchNorm的行為與推理模式不同。畫混淆矩陣時必須把模型切換到評估模式model.eval() with torch.no_grad(): outputs model(batch_data) preds torch.argmax(outputs, dim1)如果不加torch.no_grad()推理過程會構(gòu)建計算圖不僅占用大量顯存速度也慢畫個混淆矩陣把顯卡顯存跑爆就尷尬了。model.eval()則能保證BatchNorm使用訓練階段統(tǒng)計的均值和方差Dropout關(guān)閉這樣推理結(jié)果才穩(wěn)定可控。有一次我忘了加model.eval()連續(xù)跑兩次同一條測試數(shù)據(jù)得出的預測結(jié)果不一樣嚇了自己一跳最后排查發(fā)現(xiàn)是Dropout在作怪。5.3 數(shù)據(jù)順序打亂對矩陣沒有影響但對可視化有影響混淆矩陣本質(zhì)上是對所有樣本計數(shù)的匯總不關(guān)心樣本順序。所以DataLoader里是否shuffleTrue不影響矩陣結(jié)果。但要注意如果你同時還想輸出“哪些具體樣本被分錯了”以便人工檢查錯誤案例那就必須記錄樣本路徑或ID而不能只記預測結(jié)果。順序一旦打亂你只知道有幾個樣本被錯認卻不知道具體是哪幾張圖。我通常會在推理時把樣本的路徑和預測結(jié)果一起記錄下來便于后續(xù)人工核對。這步在圖像分類里特別重要因為矩陣只能告訴你錯誤數(shù)量不能告訴你錯誤原因。6. 從矩陣到洞察進階分析與實戰(zhàn)技巧6.1 發(fā)現(xiàn)系統(tǒng)性錯誤相鄰類別的強烈混淆混淆矩陣一個特別有用的場景是發(fā)現(xiàn)“系統(tǒng)性錯認”。比如在植物葉片分類中兩種外觀極其相似的病害類型常常互相混淆矩陣里會看到兩個對稱的非對角線位置數(shù)值都很高。這說明模型并沒有學會區(qū)分它們本質(zhì)上是特征表達不夠或者兩類樣本之間的差異確實微小。發(fā)現(xiàn)這種規(guī)律后我的處理步驟通常是這樣先統(tǒng)計這兩個類別的樣本量確認是否不平衡然后檢查訓練數(shù)據(jù)里這兩個類別的圖像是否采集條件差異很大比如光照、角度再考慮是否需要對這兩類做特征可視化比如用梯度加權(quán)類激活映射看模型關(guān)注區(qū)域是否有問題。6.2 類別不平衡如何讓矩陣“說謊”歸一化矩陣能解決一部分“比較”問題但解決不了根本問題樣本量太少的類別即使歸一化后準確率看著還行實際可信度也不高。比如某個類別只有10個測試樣本哪怕只有1個被分錯歸一化后準確率就只有90%而另一個類別有1000個樣本50個分錯準確率是95%。單看這兩個數(shù)字好像后者更好但樣本量差異導致前者的置信區(qū)間大得多。這種情況下我建議在矩陣圖下方額外標注每個類別的測試樣本數(shù)。代碼上可以準備一個樣本數(shù)列表用plt.text在對應的列下方標注或者干脆在類別名稱里帶上樣本量比如“類別A (n100)”。6.3 結(jié)合分類報告一起打包輸出混淆矩陣是基礎(chǔ)但給別人看的時候通常不能只甩一張矩陣圖。我在項目匯報時一般會同時輸出一份分類報告包含每個類別的精確率、召回率、F1值和樣本數(shù)。這樣既能從矩陣看全局又能從指標看單類表現(xiàn)論證更充分。from sklearn.metrics import classification_report report classification_report(y_true_np, y_pred_np, target_namesclass_names, digits3) print(report)這段代碼會輸出一個表格每個類一行最后一行為加權(quán)平均。配合矩陣圖放在結(jié)果部分信息量完全夠用。6.4 多標簽任務不是這個畫法這里要特別提醒一句本文討論的是單標簽多分類任務每個樣本只能屬于一個類別。如果你做的是多標簽任務比如一張圖同時包含“貓”和“狗”那混淆矩陣的畫法就完全不同了需要按標簽維度單獨畫或者使用多標簽專用的評估指標。矩陣的行列在這里就對應不上不要混淆。7. 常見問題與排查思路實錄7.1 畫圖時報錯“size mismatch”最常見的錯誤之一。原因通常是類別數(shù)對不上比如模型輸出10類但labels列表只給了8個或者測試集里某些類別缺失。排查順序先打印model最后一層輸出維度再打印訓練時保存的類別映射然后打印len(np.unique(y_true))逐項核對。7.2 歸一化矩陣里出現(xiàn)NaN這類問題一般發(fā)生在某個行和為0的情況下也就是某個類別一個測試樣本都沒有。因為分母為0除法結(jié)果變成NaN。解決方法是先檢查類別分布確保每個類別都有測試樣本如果確實沒有這一行就不該出現(xiàn)在矩陣里需要從labels里去掉該類別或者在計算時加一個極小值防止除零。7.3 圖片上中文類別名稱顯示成方塊matplotlib默認字體不支持中文直接寫中文標簽會變成一個個方框。解決方法有兩個一是直接用英文類別名最省事二是給matplotlib設(shè)置中文字體。代碼片段plt.rcParams[font.sans-serif] [SimHei] # 或 [Microsoft YaHei] plt.rcParams[axes.unicode_minus] False需要注意Linux服務器上可能沒有SimHei可以改用DejaVu Sans配合英文標簽。如果是長期做中文項目我建議從始至終統(tǒng)一使用英文類別名加一份映射字典避免字體問題的困擾。7.4 GPU顯存不足的坑推理整個測試集時如果一次性把全部數(shù)據(jù)丟給模型顯存很容易溢出。正確做法是使用DataLoader分批推理每次累積預測結(jié)果all_preds [] all_labels [] for images, labels in test_loader: images images.to(device) labels labels.to(device) with torch.no_grad(): outputs model(images) preds torch.argmax(outputs, dim1) all_preds.append(preds.cpu()) all_labels.append(labels.cpu()) all_preds torch.cat(all_preds).numpy() all_labels torch.cat(all_labels).numpy()這里我把預測結(jié)果先放到CPU再在最后合并。注意不要每步都torch.cat這會復制數(shù)據(jù)多次效率低應該先收集列表最后一次性合并。7.5 分類報告和矩陣對不上這個問題的根源往往是y_true和y_pred的來源不一致。比如y_true來自測試集的原始標簽而y_pred來自某個評測階段的輸出文件兩者順序沒有對齊。排查方法是對比前幾個樣本的路徑和預測結(jié)果確認是否一一對應。我自己的經(jīng)驗是永遠在同一個推理循環(huán)里同時收集真實標簽和預測標簽不要分開跑兩次再合并。8. 我常用的一個完整可交付模板最后分享一個我自己項目里常用的模板代碼整體打包可直接復制修改。它做了三件事推理并收集標簽、計算原始和歸一化矩陣、繪制并導出圖片。import torch import numpy as np import matplotlib.pyplot as plt import seaborn as sns from sklearn.metrics import confusion_matrix, classification_report def evaluate_and_plot(model, test_loader, class_names, device, save_path_prefixcm): model.eval() all_preds [] all_labels [] with torch.no_grad(): for images, labels in test_loader: images images.to(device) labels labels.to(device) outputs model(images) preds torch.argmax(outputs, dim1) all_preds.append(preds.cpu()) all_labels.append(labels.cpu()) y_pred torch.cat(all_preds).numpy() y_true torch.cat(all_labels).numpy() cm confusion_matrix(y_true, y_pred, labelslist(range(len(class_names)))) cm_norm cm.astype(float) / cm.sum(axis1, keepdimsTrue) print(Classification Report:) print(classification_report(y_true, y_pred, target_namesclass_names, digits3)) fig, axes plt.subplots(1, 2, figsize(16, 7)) sns.heatmap(cm, annotTrue, fmtd, cmapBlues, xticklabelsclass_names, yticklabelsclass_names, axaxes[0], cbarFalse) axes[0].set_title(Confusion Matrix (Counts)) axes[0].set_xlabel(Predicted label) axes[0].set_ylabel(True label) sns.heatmap(cm_norm, annotTrue, fmt.2f, cmapBlues, xticklabelsclass_names, yticklabelsclass_names, axaxes[1], cbarFalse) axes[1].set_title(Confusion Matrix (Row-Normalized)) axes[1].set_xlabel(Predicted label) axes[1].set_ylabel(True label) plt.tight_layout() plt.savefig(f{save_path_prefix}.pdf, formatpdf, bbox_inchestight) plt.savefig(f{save_path_prefix}.png, formatpng, dpi300, bbox_inchestight) plt.show() return cm, cm_norm, y_true, y_pred這個函數(shù)會把歸一化和原始計數(shù)矩陣并排畫在同一張圖里一次導出兩種視圖。傳給它的test_loader不需要shuffleclass_names從dataset.classes里提取。我自己做項目時會把保存的PDF圖直接放進技術(shù)報告里PNG圖放到文檔中省去重新繪制的麻煩。用下來這么久我覺得混淆矩陣這個工具比想象中更“耐看”。每次訓練完新模型我都會把它當作一個標準動作和打印準確率一樣自然。有時候矩陣看起來結(jié)果不理想反而能逼著我去找數(shù)據(jù)里的問題這比模型調(diào)參本身更有價值。希望這套流程能幫你省掉一些自己摸索的時間。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
性暴力欧美猛交在线直播| 美欧色综合| 久久一区二区三区入口| 成 人片 黄色大片| 美女黄站| 青椒国产97在线熟女| 四季av一区二区凹凸精品小说| 91熟女熟妇视频网站| av网页一区二区三区| 亚洲综合97| 国产AV中文| 欧美精品亚洲精品日韩传电影| 欧美黄色图片| 国模一区二区三区| 色综合天天| 女同女同恋久久级三级| 亚洲性网| 欧美日本中字另类在线| 久久久久久亚洲Av无码| 免费精品国偷自产在线在线 | 日韩精品三级片长长久久| 婷婷五月天丁香花| 91超级碰| 亚洲免费看片| 这里是精品| 天天添天天干电影| 超碰久久性爱| 97在线免费看| 97欧美色资源| 亚洲drav色图| 天天插天天操| 少妇蜜汁| 日韩超碰精品综合| 性交一区二区在线播放| 美女91av| 97超级久久| AV中文字幕三四五| 精品人妻av区天天看片| 日本操逼视频免费| 国产辣妈在线视频福利| 3d成人精品一区二区| 午夜无遮挡男女啪啪视频| 国产精品精品系列在线观看| 成全在线观看免费观看| 日韩精品一区二区日韩| 日本国产欧美高清在线| 亚洲 国产 精品一区| 欧美一级国产一级| 日韩AV一起草| 91色情黑丝搞鸡在线观看一区二区三区三州| 91精品无码人妻系列| 国产久久av| 黄片免费看的| 色五月激情综合网| 怡红院视频在线| 精品美女在线视频| 伦理片秋霞免费影院| 看黄片视频免费| 日本高清一区二区在线| 啊啊啊好爽快点啊啊啊嗯嗯| 人妻精品4K4K4K4K4| 国产AV天美| 综合天天网| 日韩无码AB| 91精品91久久久久77777| 91无码人妻精品一区二区三区蜜桃| 精品久久97| 中文字幕97| 91精品国产日韩欧美综合| 精品超碰国产| 高树玛利亚无码流出| 黄日韩| 国产又大又粗又长视频| 色牛aV| 成人八戒网站| 啊啊啊在线观看免费视频| 亚洲素人网| 玖玖久久久| 大香蕉www.超碰| 色999五月色| 亚洲视频一二区| 欧美宗合网| 无毛精品| 亚欧日韩成人| 18一区二区三区| 久久久久斤小| 色黄污美女啪啪啪免费网站| 国产成人网| 丝袜翘臀后入欧美校园亚洲自拍另类小说一区中文字幕少妇诱惑 | 午夜福利 成人 91| 国产av强奸美女| 夜夜爽33333| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | 青青草五月份天| 看免费的黄片| 97玖玖人妻| 天天在线91| 黄色香蕉视频网站一区| 欧美色偷拍| 欧美亚洲丝袜人妻制服中文99| 手机在线中文字幕国产| 东北丰满熟女国产一区| 久久久久人| 色吧5亚洲| 99热思思| 青青草大香蕉视频| 午夜男人天堂| 91制服丝袜中文字幕| 男男H黄动漫啪啪无遮挡网站| 91伊人影视综合| 中文字幕在线免费观看 | 天天影视网色欲色香| 精品免费视频国产一区| 色香阁在线| 精品国产乱码久久久| 插欧洲美女欧美精品| 老司机午夜福利视频一区二区| 男女一进一出视频久久| 大香蕉在线视频15| 天天草天天日| 亚洲欧美九九九| 啊啊啊啊啊在线| 91黑丝露脚| 超碰4A| 69精品人人人人| 97ai亚洲| 久久久久久久久久久久久久久性生活视频| 欧美色图综合| 欧美视频一区二区在线| 蜜桃视频啊啊啊啊| 五月丁香成人网| 97在线/亚洲| 日韩黄色成人性爱| 亚洲色交| 97人人爱人人做人人乐| 思思热在线cao| 亚洲大色鬼| 男女一级A片大黄,一进一出| 试看60秒 爽| 97久久精品亚洲中六字幕| 亚洲精品久久久久毛片A片拉屎 | CCYY草草影院地址入口| 婷婷精品国产一区二区三区日韩| 囯产操逼片| 欧美日韩人妻精品一区二区三区| 人妻少妇色综合| 国产精品人妻无码久久久互動交流| 欧美精品另类人妖xxxx| 亚洲导航深夜福利| 东京热综合久久一区二区| 欧美性天天影视| 秋霞操逼片| 国产精品午夜福利视频| 狠狠欧美| 日本操BAV| 婷婷久草一区二区三区| 日韩一级久久毛片| 91欧美综合| 性色av一区二区| 午夜色婷婷| 无码精品久久久久久亚洲| 亚洲免费97免费| 操比国产| 日韩精品在线观看观看| 综合网91| 亚洲欧美另类小说| 蜜臀久久精品久久久久视频| 欧美精品人妻视频| 热99这里只有精品| 欧美黄色大片在线观看 | 永久免费av无码网站国产app| 舔舔啊| 久草综合京东| 国产日韩欧美三级片| 四虎午夜影院| 综合色好色| 无码人妻丰满熟妇区毛片| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 欧美亚洲日韩16色| 大香蕉伊人网WWWn0n| 亚洲成?V人片在线观看福利| 欧美日韩黄片精品在线| 97欧美精品| 在线小说视频一区| 日本黄色裸日本黄色裸体 | 欧美性爱网97| 久久久久久久久久久97| 久久麻豆一区二区| 狠狠操狠狠| 亚州AV无码国产精品| 国产无码久久高清| 国产精品又黄又猛又粗| 黄色激情电影在线观看| 熟女人妻一区二区三区| 日韩中文字幕宗合在线| 色av中文字| 婷婷五月综合在线| 亚洲欧美日韩夜夜| 欧美视频中文字幕区| 97资源视频| 四虎国产精品永久入口| 久艹日日日| 欧美性爱一区二区三区| 青青草色AV| 黑人精品欧美一区二区蜜桃| 91性片| 深夜激情| 国产综合久| 97国产综合欧美| 色亚州人久干视频在线观看免费版| 18一区二区三区| 亚洲不卡AV在线| 亚洲宅男天堂| 啊啊啊啊啊操我视频| 亚洲风情在线观看| 麻豆天美在线| 超碰九7| 亚州综| 欧美美女视频| AV天堂国产| www亚洲免费| 一区二区三区黄片免费观看| 操逼片中文| 国模不卡| 可以看的av| 91爱综合| 麻豆a'v电影| 18精品一二区| 97国产精品| 免费国产电影一区二区| 日韩人妻免费精品| 日韩啪啪啪啪啪| 日本九九久久99播| 久久同城AV| 久伊人网78| 一区二区三| 无码一区二区精品视频久久久春药 | 欧美,日韩,亚洲视频| 国产九九九九九九九九| 亚洲色图久久成人| 神马久久久久久久久久| 熟女久久久| 国产精品久久久久久久久久久久| 亚洲 欧美 制服 另类 自拍| 99久久久久| 富二代亚洲精品99| 成人天天爽| 97国产|免费| 久久久性| 婷婷在线视频| 蜜臀av网址| 啪啪综合网| 狠狠色噜噜狠狠狠狠狠色综合久久| 久久五月婷| 激情终合网| 丰满熟妇大乳做爰| 亚洲国产一区二区日韩专区| 熟女精品一区二区三区| 偷拍五区| 在线播放成人高清免费视频| 十八禁啪啦拍视频无遮挡| 偷窥自拍亚洲色图| 素人伊尹大香蕉免费下载视频| 中文字幕丰满子伦无码专区在线视频最新| 亚洲男人天堂2| 在线日韩日本亚洲国产| 超碰人人在线| 东京热熟女亚洲视频网站| 91美女视频直播| 国产精品嫩草久久久久| 一个人在线看的黄色电影网站| 91精品久久久久久77777| 国产60页| 中文字暮97| 狠久久| 国产精品一区二区三区,亚洲综合| 天天干天天爽| 亚洲天天自拍| 四虎影院成年人片| 91精品操美女| 男女真人网18| 人妻少妇久久| 伊人五月天| 老熟女综合网| 婷婷啪啪| 中文字幕乱亚洲美女精品一区| 欧美人妻一区| 欧美美女后入| 无遮挡h肉动漫在线观看| 国产熟妇一区二区| 成人aⅴ一区二区三区| 天天综合欧美综合| 岛国激情视频软件| 亚洲无限观看| 久久亚洲AV无码专区国产精品 | TS人妖另类精品视频系列| 国产亚洲在线| 啊啊嗯嗯好爽| 日欧美色| 成人福利视频网| 日本黄色天堂| 在线播放中文字幕| 97在线免费视频| 91在线色综合| 一级性爱视频免费观看| 色偷综合| 开心五月婷婷| 曰韩中文人妻视频| 夜夜騷av、一區二區| 婷婷av在线中文字幕| 久久久久ab| 国产精品无码久久久久2028| 偷拍新久久| 亚洲AV无码乱码在线观看性色| aV中文麻| 亚洲欧美爆| 免费看黄视频亚洲网站| 久久9免费视频| 综合网欧美在线| 国产成久久综合片| 四虎在线观看网站| 嗯嗯嗯嗯啊啊啊好紧好大| jizz啪啪| 91超碰丝袜制服| 先锋精品av色鲁| 伊人丁香五月婷婷| 色天天野狼综合社区| 色噜噜综合在线| 久久久精品91八戒| 美女黄色91| 人人操天天爽| 国产一级片| 伊人国产成人av网站| 国产精品久久久777| 国产强奸超碰AV| 青青青青操国内视频在线| 91色黑人少妇| 日韩乱插| 亚洲国产一区二区日韩专区| 91亚洲综合在线| 美腿丝袜高跟网免费视频免费视频| 综合操逼| 日本 色 导航| 人妻一区二区三区四区视频| 96一区二区三区| 男人干美女| 九九在线视频| 日本一级二级三级网站| 高潮毛片无遮挡高清免费| 97久久综合网| 超碰综合97在线| 色91综合网| 男人的天堂不卡一区二区| 亚洲国产精品有声| 欧美精品日韩久久久九| 黄色大片视频在线免费看| 精品欧美日韩在线观看| 色色99| 99视频只有精品| 国产精品无套内谢| 久久久久久亚洲Av无码| 伊人影院日本| 亚洲欧美小说| 欧美激情1区| 97久久久网站| 91超碰在线观看| 新视频sss国产| www.操| 高清无码网址| 中文字幕精品一区二区精品| 久久综合五月天| 久久草在线综合视频| 亚洲欧美综合区自拍另类| 一级毛片电影免费看| 色欲天香天天综合网-成年人三级片网站-欧美乱妇狂野-日韩国产专区-久久久久久 | 日本精品五区| 国产精品999aaa| 欧美中文字幕精品人妻| 日本加勒比无码专区| 久久人妻熟女一区二区| 美欧色综合| 97久久久久| 凹凸 69堂 在线播放| 欧洲亚洲天堂精品| 大但人体久久久久| 久久精品28| 96一区二区| 精精品人妻一区二区三区| 亚洲日精品| 又黄又硬又粗又长国产视频| 午夜一区| 国产精品免费久久久久久久久久| 国产精品免费久久久久久久久久| 免费无码婬片AAAA片直播色戒| 免费a v| 国产精品麻豆免费视频| 国产亚洲精品av一区| 黄色免费网页无码| 九九久久综合| 91女在线观看| 超碰日韩美妻| 99精品九九九九九九| 成人性生活高清视频在线播放| 在线中文字幕视频| 一级性爱视频免费观看| 欧美精品99久久久**| 欧美日韩精品一区二区三区高清| 另类在线| 先锋音影AV| 疯操AV| 9118禁| 中文字幕一区二区日韩网| 粉嫩绯色AV一区二区在线| 超碰在线成人| 97超碰免费人人性爱| 51一区二区三区| 亚洲美女av无码| 男女激烈网站最新| www.99色| 伊人 俄罗斯 a v| 亚洲高潮影院| 午夜一级免费毛片| 五月天色综合| 国产视频第2页| 最新制服中文第一页| 国产精品不卡av免费在线观看| 女同女同恋久久级三级| 欧美精品久久久久久久久88| 少妇蜜汁| 超碰97人人乐| 欧美国产精品| 久久久久久大| 葡萄牙性视频一二区| 99久国产精品午夜性色福利| 性爱动态120秒| 91挑色欧美| 久操免费视频| 欧美强奸乱能| 亚洲综合小视频小说在线观看| 青青草综合在线| 精品国产无码中文| 人妻在线臀日韩| 国产丁香精品露脸视频 | 操香逼| 欧美天堂在线| 97操操| 日韩电影天堂视频一区二区| 欧美爆乳精品一区二区| 欧美综合站| 九九热只有精品| 欧美aaaaaaa| 青青草十区九区爱夜| 草草草视频| 国产精品午夜高潮呻吟久久av| yazhousetuoumei| 78久久| 婷婷色色五月天| 中文字幕丝袜| 久久伊人五月天| 国产熟女自拍| 日本中文字幕在线视频| 亚洲情色综合网| 国产综合网站在线播放 | 精品国产一区二区三区在线播出| 欧美少妇一区二区三区| 国产粉嫩蜜臀av一区二区三区| 五月丁香激情啪啪| 久久久久久999| 中文字幕在线免费观看视频| 99少妇| 综合网色| 91成人18| 嗯嗯啊啊用力视频免费| 亚洲无码 国产无码| http://qxhbdz.com| 亚洲天堂男| 国产成人资源| 亚洲97成人在线观看| 日本不卡高清免v欧美日韩在线观看| 9Ⅰ老熟女| 精品妇女一区二区三区| 色哟哟 日韩精品| 欧美永久激情一区二区| 成人精品无码| 99国产精品人妻人伦| 一中国女人毛片水真多| 美女毛片999| 日韩精品1区2区中文字幕| 亚洲一区制服诱惑| 五月丁香激情综合网| 欧美人妻少妇| 啊啊啊啊啊,啊啊啊啊好舒服,操我舒服啊啊啊 | 国产精品久久久久久 百度| 熟女熟妇伦久久影院毛片一区二区| 日韩成人大片在线观看| 亚洲成人ab| 97干色天堂| 嗯啊抽插大香蕉网页| 性欧美第一页| 夜夜高潮夜夜爽高清视频一 | 国产乱子伦一区二区三区免看| 大伊香蕉在线视频免费| 亚洲91色| 国产女人9999| 日本91白丝| 波多野结衣被操50分钟免费视频| 91天堂丝袜美腿| 亚洲AV无码| 国产日韩欧美亚洲精品95 | 日本三级R| 超碰九7免费| 亚洲限制级| 亚洲天堂99| 亚洲成人性爱网站在线播放| 午夜一区| 十八禁电影伊人网| 久久精品天美| 男人的天堂不卡一区二区 | 久久香蕉超碰97国产精品| 国产激情在线| 色综合V| 九九九不卡| 妇人噜噜| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 男人的天堂网页| ...日韩成人一区二区三区字幕| 亚洲人妻一区二区三区| 玖玖爱免费观看视频| 一起草三级AV电影在线观看| 久久精品国产99久久,亚洲日韩久久日本一区一区三区 | 视频分类 国内精品| 91被操| 91天天综合日韩欧美| 久久一本大香蕉 | 夜夜骑天天燥| 天天干天天日天天射黄色大片 | 97碰久久| 老妇女91| 青草一区二区| 久久蜜桃一区二区| 国产精品电| 大香蕉一人在线| 亚洲熟妇丝袜在线观看| 日本大片日本一区二区免费高清 | 丝袜美腿操av| 激情婷婷黑人91| 九草九九九| 97久久天天综合色天天综合色电影| 国产精品91ai| 日韩超碰精品综合| 熟啊v色欧美热| 97国伦国色| 午夜男人天堂| 五月天色图| 午夜久久一区二区无码中出| 91丨国产丨白浆| 素人播放一区| 欧美少妇大量自拍视频在线观看| 天天色综合图片| 9久超碰| 久都青青视频| 欧美午夜色妇色鬼| 青青国产在线拍揄自揄拍| 丝袜天堂| 亚洲图片欧美另类综合免费视频大大香| 在线情色电影 91大| 亚州色图片在线色| 五月天人妻综合| 麻豆天天躁天天揉揉AV| 久久精品国产亚洲av水密被窝| 九九九精品美女| 国产精品熟女一区二区三区| 亚洲中文字幕熟女| 天天日天天搞天天干| 强奸乱伦大香蕉| 自慰白浆在线观看| 亚洲AV无码天美传媒一区| 久久久久性熟视频| 午夜毛片高清免费不卡| 国产夫妻性生活视频| 人妻少妇精品久久久久久| 999综合网| 无码外流操逼视频| 黄aaaaaaaaaaaaaaaaaa色网站| 欧美成va视频网站| 日本人妻一区二区| 亚欧美综合网。| 日韩无码第3页| av毛片aaaaa免费看| 伦伦成年午夜免费视频| Julia在线播放亚洲久久| 亚洲男人的天堂V| 欧洲精品一二三在线| 免费强奸av| www.夜夜| 日韩欧亚中文在线| 日韩精品-原创伙伴| 无码操逼视频一下| 91九色精品熟女内射| 高清不卡国产| 大香蕉手机在线| 国产精品久久久久久久无码AV| 精品v日韩欧美国产| 天天射网| 超碰超碰超碰超碰的大鸡吧操黑丝袜| 欧美性生活男人的天堂| 99热精品在线观看| 97超碰久久色| 国产精品人妻免费精品| 日本肏逼视频在线观看| 国产午夜视频| 人人摸人人入| 亚洲人妻一区二区三区| 伊人在线大香蕉视频久久| 亚洲影院成人| 69人妻精品一区二区绯色| 亚洲综合夜色| 伊人专区一区二区三区| 久久极品伊人| 激情在线青青操| 免费在线黄片视频| 草伊人高潮喷水超碰| 欧美在线天堂| 久热99| 1204人成网站色www| 99日免费视频中文字幕| 欧美色图97| 五月丁香六月激情| 日本不卡一区二区| 精品少妇人妻| 91色色色| 涩涩这里只有精品视频| 岛国片在线播放| 桃色人妻在线视频| 久草男人天堂| 97操97干| 思思热在线视频在线| 亚洲精品国产专区在线观看| 白丝AV网站| 噜噜吧,噜噜色,噜噜| 免费男人的天堂| 99久久精品国产系列| 久久一区二区高清免费| 丁香五月婷婷色| 97 九色| 精品国产乱码久久久A| 91精品国产一区三一| 久操操AV电影| 人人扣人人操| 中国少妇XXXX做受| 热久久99999| 国产精品对白内射| 艾草av| 国产极品久久久| 一区二区三区成人| 97国产天堂岛| 久久久91福利姬| 在线a v| 欧美 综合 亚洲| 一级性爱视频免费观看| 色综合加勒比四四季| 人人潮人人摸| 欧亚日韩中文在线| 91天射| 久99热| 免费αⅴ在线观看| 爱av免费| 一区二区不卡视| 91丝袜在线视频| 丁香九月激情| 黄色视频高清无码网站| 日韩免费簧片| 国产欧美日韩精品中文| 国产精品免费美女视频| 日本黄 R色 成 人网站| 色狠狠综合噜一二三区| 啊啊啊要高潮了| 老鸭窝在线视频播放| 午夜精品久久久久久久第一页按摩| 综合色久欲| 97日韩| 国产91会所女技师在线观看| 色狠狠 - 百度| 国内毛片无码一级毛片| 99久久婷婷丁香| 欧美另类精品xxxx| 一级黄碟在线看| 青青久日| 毛片视频白嫩| 操我无码| av中亚| 久干网| 亚洲一区深夜| 91AV入口| 日本大片日本一区二区免费高清| 久久做97| 亚洲精品国产拍免费91在线| 免费一级黄色录像影片| 人妻在线中出视频| 国产精品不卡少妇白| 91足交| 欧美韩日精品99综合| 日韩国产在线观看av| 色综合中文字幕不卡| 亚州一区二区| 婷婷五月天_亚洲小说欧美激情另类_精品久久国产字幕 | 夜夜操老骚逼视频网站| 综合色一区三区二区| 亚洲成人综合在线| 裸体女人草逼视频播放一区,二区,三区,四区,五区 | 欧美日韩在线小说 | 欧美性爱无码一区二区三区| 校园春色综合网| 国产精品天堂| 亚洲性网| 亚洲黄色视频在线观看视频| 啪啪啪综合网| 亚洲视频中文一区| 成人精品无码| 无码人妻精品一区二区三区99不卡| 诱惑网综合| 性猛交| a片自拍直播视频| 乱操乱伦AV| 国产大陆天天艹| 上海一级黄片| 射丝袜高跟鞋99| 色婷婷丁香五月| 天美传媒精品一区二区| 都市激情人妻一区二区青青操视频| ji熟女.com| 日韩无码第3页| 综合 青草 伊久久 影院 综合| 影音先锋视频在线| 婷婷五月激情综合| 色色毛片| 全国男人天堂网| 欧洲一区二区三区免费| 亚洲国产一区二区三区四区国产| 天天澡天天爽日日AV| 中文字幕欧美日本乱码一线二线| 99re6久热只有精品6在线直播 | 色爱欲亚洲| 超碰色大香蕉| 天天综合色电影| 欧美很很操视频| 人人妻人人操人人乐| 91处女视频在线观看| 精品人妻视频一区二区在线播放| 4虎在线观看| 国产东北女人在线视频| 91精品久久久久久77777| 精品亚洲成人免费在线| 人人射人人操人人摸| 欧美日韩大陆黑人少妇99| 天天天天天天天天综合| 无码WWW免费视频网站| 肏逼视频日本| 強姦亂倫a| 久久透逼视频| 日韩性爱1级片视频| 国产精品婬乱一级毛片彝族| 日韩国产成人自拍视频| 国产精品无码论坛| 激情AV| 伊人影院在线理论播放| 九九亚洲精品| 亚洲国产97在线精品一区| 国产sv美女内射| 91国模| 成人七区| 日本三级中国三级99人妇网站| 中文字幕老熟妇黄色视频| 五月天婷婷成人网| 欧美日韩人人精品| 狠狠躁天天躁日日躁97| 亚洲交性| 青娱乐国产精品| 精品91摸| 久久国产精品视频| 秋霞一集毛片观看| www.黄色在线| http://qxhbdz.com| 97在线青| 国产亚洲精品A在线观看下载| 日韩性爱再线视频| 91艹逼精品| 欧美精品庄| 国产三级日产三级韩国三级| 九九九久千久久激情蜜桃在线看 | 久久久久久亚洲Av无码精| 手机看av网站在线看| 四虎视频在线观看| 中欧人妻丝袜中文字幕| 九色婷婷| 久久久一二三四区| 一级毛片久久久久久久女人18| 精品夜夜澡人妻无码| 激情文学亚洲| 人人操人人摸人| 中文字幕无码不卡啪啪| A V视频日本| 9999久久久久| 午夜理论片在线观看免费| 日韩无码AB| 国产亚洲精品农村妇女| 物业黑人 AV一区| 黄在线| 99超碰网| 色99视频| 日韩欧美福利视频看看| 在线女人91| 强奸国产精品视频| 1024手机看片欧美日韩| 强奸乱伦Av网| 一本色道久久综合精品婷婷| 白 大 人妻 区 在线| 中文字幕av乱伦| 亚洲四虎熟女精品| 亚洲AV永久无码一区仙野| 一区二区三区四区姦女| 自怕偷自怕亚洲精品| 精品二区三四区五电影 | 亚洲AV无码乱码| 热热色色综合| 99亚洲精品| 摸奶性爱视频网站在线免费播放| 性交一区二区在线播放| 色五月综合| 69少妇一区二区| 大香蕉人妻久久| 九九综合网| 1024亚洲中文字幕久在线看片你懂的 | 免费看美国人人爽,人人操| 狠狠中文字幕| 久久精品一区二区三区四区五区| 久久99精品九九久久久婷婷| 99热精品在线播放| 日韩亚洲国产视频| 激情小说亚洲| 超碰吊日色| 亚洲精品1区| 久久偷拍人| 国产成人资源| 色综合久| 99re在线观看| 丁香色婷婷| 一级特级aaaa毛片免费观看 | www.夜夜操| 激情干在线| 久久精品国产72国产精品福利 | 国产又猛又粗又爽又黄| 91春色| 美女被啪到深处抽搐视频| 青青草在线视频播放器| 亚洲啪啪性视频| 国产福利影视| 操99| 欧美激情综合色综合啪啪五月| av天堂5| 天天日天天爽| 大香蕉碰碰| 嗯……啊…嗯嗯…啊…好舒服| 老鸭窝亚洲毛片| 久久不卡一区二区| 亚洲激情色片| 美女91av| 久久久久久综合久久伊人蜜月| 啊啊啊啊免费视频| 九九九九精品| 超清福利精品视频在线| 可能人人看人人摸| 激情五月天丁香| 亚洲AV乱码专区国产噜噜亚洲| 久久久久久久久久久久久9999| 婷婷综合在线观看| 久久原创中文| 家庭乱伦麻豆| www.av在线观看| 射丝袜高跟鞋99| 欧美论理片| 国产精品国产精品国产| 在线观看岛国有码| 人妻少妇一区二区| 亚洲极品| 中文字幕一区 二区三四五 区日 日骚| 日本 欧美 亚中文字幕| 国产日韩欧美中文在线播放| 日韩久久.一级黄色片| 欧美操人| 国产97综合| 欧美精品23| 夜夜操av亚洲一区二区| 人妻夜爽夜夜爽| 一级黄色视频网| 亚洲情色五月天| 600国产精品视频| 日韩亚洲Av人人夜夜澡人人爽| 国产福利夜| 天天激清| 你操综合| 国产女人视频三四五区| 色色婷婷五月天| 亚洲熟女少妇免费视频| 凹凸久久人人| 91网站在线播放| 国产成人手机视频激情| 久久同城AV| 欧美精品日韩久久久九| 大香蕉天天看妹子| 中文字幕人成乱码熟女香港| 亚洲综合网图| 欧美呦呦性爱| 330dv亚洲成年视频网| 中文字幕美女91| 亚洲激情天堂网| 岛国大片在线观看网站入口| 免看60秒涩涩视频| 日韩精品一区的| 亚洲欧美综合| 青青草视频导航官网| 啪啪免费| 搡老女人老91二区| 嗯~啊~快点 死我视频| 精品国产Av无码久久久亚洲| 日韩美女高潮喷水视频| 肉嘟嘟www视频在线观看高清| 97超级久久| 一区二区三区四区姦女| 人人干人人操人人..com| 日韩AV噜噜噜一区二区三区四区 | 好涩综合| 欧美猛交黑寡妇中文字幕| 18禁超污无遮挡无码免费网| 91熟女在线| 91 国产丝袜在线播放-百度| 99久久久| 久久久无码av精| 熟妇乱伦一区二区| 97人人夜| 男人的天堂在线| 久久一留热品黄| 天天爽天天| 中国国国产一级特黄毛片| 激情小说在线视频| 男人综合网| 国产精品午夜精品| 啊啊啊啊好疼视频| 今日头条成人一区二区三区四虎精品| 欧美性爱精品一区二区| 操高情无码| 八戒无码国产午夜福利| 欧美gv在线观看| 国产熟女精品一区二区| 国产精品伦理| 欧洲人妻视频| 97超碰欧美精品| 老司机香蕉久久久久| 白嫩妹子国产骚| rivers-china.com| 久久一二三四五六七八九区| 人妻少妇久久| 91国产丝袜白虎| juliaann丝袜| 日韩av性爱在线播放| 亚洲**2021在线观看| 天天干夜夜一操| 人乳av| 91丝袜美女| 久久久久精| 一区二区三区高清天码| 人人模人人看| 国产无码成人无码| 国产乱伦亚洲色图高清无码| 高清在线不卡一区二区 视频| 欧 美 自 拍 偷 拍| 免费亚洲黄色视频在线观看| aaa一级黄片| 亚洲一二三精品久久网| 麻豆性爱视频在线播放| 色综合 加勒比| 又粗又长又大国产不卡| 欧美一区二区福利在线| 一块操欧美性爱| 中文字幕丝袜人妻| 亚欧美色图| 日韩电影在线观看网址| 在线观看黄色电话| 亚洲日本男人天堂网| 91劲爆| 亚洲精品自拍| 女人爽到高潮久久久| 爱妻综合网| 日韩无码精品综合久久| 天天舔天天 | 国产无马av| 亚洲资源网| 欧美激情性久久久久久| 人妻熟女一区在| 综合网亚洲在线| 亚洲国产ⅴ高清在线观看| 日韩欧美麻豆大片| 91国产丝袜白虎| 天天色综合天天操| 清纯唯美综合亚洲| 999热日韩精品| 欧美系列在线一区二区| 天天夜夜久久| 国产亚洲精品A在线观看下载| 丁香五月影院| 欧美亚洲首页| 日本一本一区二区三区四区五区欧美日韩中文字幕 | 日本淫乱女一区二区三区视频| 99热在线播放| 欧美97| 亚洲成人精品久久久| 亚洲国产av中文字幕久久| 大香蕉伊人网WWWn0n| 日本色色视频网站| 一本久久久精品| 嫩呦国产一区二区三区AV| 97舔舔| 欧美不卡在线一区二区| 久久久久久久国产| 手机在线中文字幕国产| 超碰精品人妻狠狠干| 婷婷丁香成人| 青娱乐二区免费| 亚洲精品1区| 婷婷五月天色色| 精品无码一区二区三区色欲| 96爱综合| 久久精品99| 欧亚无码视频| 精品欧美日韩在线观看| 无码免费一区二区三区啪啪| A 天堂| 4tube欧美女厕所| 天天爽天天干| 丰满人妻一区二区三区四区| 98久久超碰| 国产视频大全| 精品国产污一区二区三区| AV污污污污| a亚洲欧美色欲| 亚洲一区二区av| 国产 大胆 对白| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 九九久久99| 强奸乱伦大香蕉| 亚洲一区中文精品| 9久精品| 日韩欧美三级| 久久久天堂| B049AV在线播放| 久久久久亚洲| 大香蕉啪啪啪| 亚洲欧美日韩偷拍色图| 91老熟女逼| 婷婷伊人| 亚洲夜色在线| 懂色AV一区二区三区| 五月天丁香网| 性色一线| 亚洲图片欧美91N| 男人的天堂2018东京热啪啪啪| 国产农村一一级特黄毛片| 欧美刺激色黄片免费看| 天天色播亚洲综合网站| 午夜丁香| 殴美牲| 综合 青草 伊久久 影院 综合 | 欧美日韩国内不卡| 亚洲精品人妻吞精av| 99热综合| 嗯啊啊啊轻点视频 | 精品成人动漫一区二区| 天天草夜夜草高潮片| 欧美人妻精品一区二区| 丁香六月啪啪| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 中文子幕一二三| 亚洲女人91| 在线有码中文字幕| 人人透人人操| 午夜呻吟欧美| 91在线一起| 人妻偷拍一区二区三区| AV免费在线播放一区| 91逼逼女人91| 伊人96在线| 精品丝袜无码一区二区三APP| 一区二区影院| 北条麻妃99精品青青久久| ai欧美亚洲小说| 日韩无码极品| 欧美特大黄一级片片免费| 九九精品美女高溯喷水| 超碰97首页| 午夜操逼不卡| 精品免费1| 久久久人妻| 亚洲一区中文字幕一区| 中文字幕人妻色偷偷久久皮| 久久久久久久人妻丝袜| 国产女性无套 免费观看| 婷婷丁香一区二区三区| 大香蕉伊人网| 五月天色图影视| 久久九九97| JULIA一区二区三区在线播放| 亚洲 欧美 另类 日韩 人妻一区| 久久岛国| 久久精品人体| 久草加勒比一区在线| 六九九九| 少妇被c 黄 免费观看| 久久五月丁香| 人人摸人人干| 久久大黄片| 九九热精品在线| 国产熟女精品一区二区| 色色热| 天天综合91| 男人的天堂VA在线| 特级丰满少妇一级AAAA爱毛片| 9999九九九久久久| 国产无套粉嫩白浆在| 亚洲欧美日韩不卡人妻| 超91综合网| 欧美伊人久久综合网| 欧亚揄拍偷拍精品视频| 99最新日韩偷拍视频| 五月丁香狠狠爱| 成年人黄色视频免费| 97精品在线| 男人天堂一区二区| 国产a片操逼| 成人性交午夜免费片| 久热久一区二区三区| 蜜桃av综合网发布| 中国农村熟妇毛片视频| 欧美日韩97在线| 国产不卡片| 无码国产精品午夜不卡(| 久草在线| 99热婷婷一区二区三| 超碰99热中文字幕| 男女激情黄色网址| 亚州一区二区成人片免费| www.91视频网| 秋霞福利网| 亚洲一二三四区机械| 涩五月婷婷| 日本国产高清色www视频在线| 91精片| 人妻久久| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 天天摸天天舔天天操| 亚洲91少妇|