簡(jiǎn)介面向深度學(xué)習(xí)與圖像識(shí)別方向的學(xué)習(xí)者壓縮包提供一套完整的舌苔識(shí)別檢測(cè)系統(tǒng)項(xiàng)目適合畢業(yè)設(shè)計(jì)、課程實(shí)踐或中醫(yī)舌診數(shù)字化研究。源碼基于Python實(shí)現(xiàn)包含PyQt5圖形界面、已訓(xùn)練好的模型權(quán)重及配套畢業(yè)論文完整覆蓋數(shù)據(jù)標(biāo)注、圖像增強(qiáng)、DCGAN擴(kuò)充樣本、卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練、舌苔分類(lèi)與體質(zhì)辨識(shí)等關(guān)鍵流程并與論文中的需求分析、網(wǎng)絡(luò)設(shè)計(jì)相互對(duì)應(yīng)。開(kāi)發(fā)者可從中學(xué)習(xí)深度模型在醫(yī)學(xué)圖像分類(lèi)中的落地方法也可直接運(yùn)行界面完成舌苔圖像檢測(cè)演示。包內(nèi)共110個(gè)文件主要涉及Python源碼、PyQt5界面文件、模型權(quán)重.pth、論文文檔.docx以及舌象圖像樣本.jpg整體約104.93MB目錄清晰便于按模塊查閱。該壓縮包在CSDN已有536人學(xué)習(xí)下載對(duì)于準(zhǔn)備相關(guān)課題的本科生與研究者而言能夠提供從數(shù)據(jù)準(zhǔn)備到系統(tǒng)實(shí)現(xiàn)的一手參考亦可作為二次開(kāi)發(fā)和功能擴(kuò)展的基礎(chǔ)。1. 舌苔識(shí)別檢測(cè)系統(tǒng)從模型到界面的完整落地舌苔識(shí)別這個(gè)方向?qū)儆诘湫偷挠?jì)算機(jī)視覺(jué)與中醫(yī)診斷交叉場(chǎng)景。做出來(lái)的系統(tǒng)不是擺個(gè)實(shí)驗(yàn)室 Demo而是要同時(shí)解決三件事舌象圖片里“舌體在哪、苔色苔質(zhì)怎么量化、結(jié)論怎么讓醫(yī)生看得懂”。這套基于深度學(xué)習(xí)的舌苔識(shí)別檢測(cè)系統(tǒng)最大的價(jià)值在于把過(guò)去憑經(jīng)驗(yàn)的“看舌象”轉(zhuǎn)成了可復(fù)現(xiàn)的算法流程。無(wú)論你是想快速出一套畢設(shè)級(jí)完整系統(tǒng)還是作為中醫(yī)信息化產(chǎn)品的視覺(jué)前端這套方案都能直接作為起點(diǎn)。對(duì)于剛接觸視覺(jué)項(xiàng)目的開(kāi)發(fā)者它能幫你把數(shù)據(jù)集構(gòu)建、模型訓(xùn)練、界面封裝這條鏈路一次走通對(duì)于已經(jīng)在做輔助診斷系統(tǒng)的團(tuán)隊(duì)它的價(jià)值集中體現(xiàn)在“輕量模型 桌面端交互”這種務(wù)實(shí)組合上。系統(tǒng)在技術(shù)選型上走的是成熟路徑檢測(cè)模型負(fù)責(zé)定位舌體分類(lèi)模型負(fù)責(zé)辨識(shí)苔色與苔質(zhì)PyQt5 界面把模型輸出變成可視化的診斷報(bào)告。我不止一次見(jiàn)過(guò)同學(xué)把模型訓(xùn)練得很好最后卻卡在界面集成上所以這篇筆記會(huì)帶著你把每一步跑通。文章里我會(huì)用模擬項(xiàng)目X的經(jīng)驗(yàn)來(lái)講解部署和調(diào)試中的思路很多細(xì)節(jié)是跑完一遍流程才會(huì)注意到的。2. 舌象數(shù)據(jù)與預(yù)處理模型效果的上限由這里決定2.1 舌象數(shù)據(jù)集的特點(diǎn)光照與舌體分割是繞不開(kāi)的兩個(gè)坎舌苔識(shí)別模型的訓(xùn)練數(shù)據(jù)來(lái)源大多是從醫(yī)院采集的舌象照片和公開(kāi)的中醫(yī)舌診圖譜。數(shù)據(jù)有幾個(gè)顯著特點(diǎn)首先舌體在整張圖中的占比差異很大有的圖片舌頭幾乎充滿(mǎn)畫(huà)面有的則帶有嘴唇、牙齒甚至面部皮膚其次不同采集設(shè)備拍出的色彩還原度不一樣手機(jī)、單反、醫(yī)用舌象儀之間有明顯差異第三光照條件是最大的干擾項(xiàng)冷白光和暖黃光下的同一舌象色差肉眼可見(jiàn)。從這些特點(diǎn)能推出一個(gè)關(guān)鍵結(jié)論訓(xùn)練之前不做舌體檢測(cè)的模型幾乎不可能穩(wěn)定工作。因?yàn)榉诸?lèi)網(wǎng)絡(luò)對(duì)全局特征敏感背景比例一大注意力就被分散了。所以常見(jiàn)做法是兩步走先用目標(biāo)檢測(cè)模型把舌頭從原圖中框出來(lái)再做裁剪和透視校正最后才進(jìn)入分類(lèi)網(wǎng)絡(luò)。這種做法對(duì)最終識(shí)別效果提升明顯也是這套系統(tǒng)把檢測(cè)和分類(lèi)分成兩個(gè)環(huán)節(jié)的原因。2.2 舌體檢測(cè)標(biāo)注用 LabelImg 完成矩形框標(biāo)注的實(shí)操標(biāo)注工具我一般推薦 LabelImg它足夠簡(jiǎn)單輸出 Pascal VOC 格式的 XML 文件后續(xù)轉(zhuǎn)成模型訓(xùn)練格式也方便。安裝方式不再贅述直接說(shuō)標(biāo)注時(shí)的操作規(guī)范。# 創(chuàng)建標(biāo)注環(huán)境并啟動(dòng) LabelImg conda create -n labelimg python3.9 -y conda activate labelimg pip install labelimg labelimg # 啟動(dòng)后打開(kāi)圖片目錄設(shè)置保存目錄為 XML標(biāo)注時(shí)有一個(gè)操作細(xì)節(jié)值得注意左側(cè)工具欄要提前選成 PascalVOC 模式這樣保存的才是 XML 而不是 YOLO 的 txt。標(biāo)注過(guò)程中每個(gè)圖片只需要框出舌體區(qū)域類(lèi)名統(tǒng)一命名為 tongue?？虻姆秶ㄗh貼著舌緣輪廓走不要包含嘴唇和下唇陰影這部分語(yǔ)義噪聲會(huì)讓檢測(cè)框忽大忽小。2.3 VOC 轉(zhuǎn) YOLO 格式腳本轉(zhuǎn)換與坐標(biāo)歸一化邊界坑檢測(cè)模型的數(shù)據(jù)格式我推薦轉(zhuǎn)成 YOLO 格式的 txt因?yàn)楹罄m(xù)訓(xùn)練腳本和推理腳本都按這個(gè)格式讀取坐標(biāo)。轉(zhuǎn)換的核心是把 XML 里的絕對(duì)坐標(biāo)除以圖片寬高得到 0 到 1 之間的歸一化中心點(diǎn)坐標(biāo)和寬高值。import os import xml.etree.ElementTree as ET def convert_voc_to_yolo(xml_path, out_dir, class_names): tree ET.parse(xml_path) root tree.getroot() img_w int(root.find(size).find(width).text) img_h int(root.find(size).find(height).text) out_lines [] for obj in root.iter(object): name obj.find(name).text if name not in class_names: continue cls_id class_names.index(name) box obj.find(bndbox) x1, y1, x2, y2 [float(box.find(v).text) for v in [xmin, ymin, xmax, ymax]] x1 max(0, min(x1, img_w - 1)) y1 max(0, min(y1, img_h - 1)) x2 max(0, min(x2, img_w - 1)) y2 max(0, min(y2, img_h - 1)) if x2 x1 or y2 y1: continue # 無(wú)效框直接跳過(guò) x_c (x1 x2) / 2.0 / img_w y_c (y1 y2) / 2.0 / img_h w (x2 - x1) / img_w h (y2 - y1) / img_h out_lines.append(f{cls_id} {x_c:.6f} {y_c:.6f} {w:.6f} {h:.6f}) if out_lines: with open(os.path.join(out_dir, os.path.splitext(os.path.basename(xml_path))[0] .txt), w) as f: f.write(\n.join(out_lines)) class_names [tongue] # 遍歷所有 XML 調(diào)用 convert_voc_to_yolo(xml_path, labels, class_names)腳本里有幾個(gè)邊界要注意坐標(biāo)裁剪那一步不能省略否則個(gè)別標(biāo)注框越界會(huì)讓訓(xùn)練 loss 直接變成 NaN過(guò)濾 x2x1 這種無(wú)效框能避免訓(xùn)練時(shí)讀取空標(biāo)注導(dǎo)致數(shù)據(jù)加載中斷類(lèi)名索引從 0 開(kāi)始類(lèi)別多時(shí)錯(cuò)一位就會(huì)全錯(cuò)。轉(zhuǎn)換完成后把 txt 文件和原圖按 YOLO 慣例放到 images 和 labels 兩個(gè)目錄下訓(xùn)練腳本會(huì)按路徑對(duì)應(yīng)去讀。2.4 苔色與苔質(zhì)分類(lèi)數(shù)據(jù)的組織目錄結(jié)構(gòu)就是標(biāo)簽分類(lèi)數(shù)據(jù)集的組織方式簡(jiǎn)單直接的做法是用文件夾名當(dāng)標(biāo)簽。建議按“苔色 苔質(zhì)”分別建目錄因?yàn)閮烧咴谂R床上關(guān)注維度不同合并成單一標(biāo)簽會(huì)放大類(lèi)間混淆。dataset_classify/ ├── train/ │ ├── bai_ni # 白苔膩 │ ├── bai_bo # 白苔薄 │ ├── huang_ni # 黃苔膩 │ ├── huang_bo # 黃苔薄 │ └── ... └── val/ ├── bai_ni └── ...這種目錄結(jié)構(gòu)用 torchvision 的 ImageFolder 接口可以直接加載不需要寫(xiě)自定義 Dataset。分類(lèi)標(biāo)簽的命名建議用拼音或英文縮寫(xiě)中文字段名在 Windows 環(huán)境容易出現(xiàn)編碼問(wèn)題這一點(diǎn)尤其要注意。數(shù)據(jù)集規(guī)模建議每類(lèi)不少于 500 張類(lèi)別不平衡嚴(yán)重時(shí)用加權(quán)采樣具體做法后面講訓(xùn)練時(shí)再展開(kāi)。3. 模型選型與訓(xùn)練檢測(cè)、分類(lèi)兩條線(xiàn)并行推進(jìn)3.1 檢測(cè)模型選擇輕量級(jí) YOLO 系列更適合桌面端部署舌體檢測(cè)這個(gè)任務(wù)本身不復(fù)雜——畫(huà)面里通常只有一到兩個(gè)目標(biāo)類(lèi)別只有一類(lèi)難點(diǎn)主要在尺度變化和邊緣模糊。這種任務(wù)用 YOLOv5s 或 YOLOv8s 這類(lèi)輕量版本就足夠參數(shù)量適中CPU 上也能勉強(qiáng)推理GPU 上實(shí)時(shí)性很好。盲目上 YOLOv5x 這種大模型對(duì)舌體檢測(cè)沒(méi)有額外收益反而讓推理時(shí)間成倍增長(zhǎng)。# tongue.yaml train: dataset_detect/images/train val: dataset_detect/images/val nc: 1 names: [tongue]訓(xùn)練命令相對(duì)固定需要關(guān)注的參數(shù)主要是圖片尺寸和批次大小。舌體檢測(cè)對(duì)分辨率不算敏感640 的輸入尺寸可以滿(mǎn)足要求批次大小根據(jù)顯存調(diào)整6GB 顯存跑 16 沒(méi)問(wèn)題不夠就降到 8損失一點(diǎn)點(diǎn)收斂速度但不會(huì)報(bào) OOM。模型收斂后 mAP0.5 通常能到 0.95 以上畢竟目標(biāo)單一且特征顯著。3.2 分類(lèi)模型選型ResNet 與 EfficientNet 的實(shí)際對(duì)比苔色苔質(zhì)分類(lèi)對(duì)顏色紋理細(xì)節(jié)比較敏感網(wǎng)絡(luò)不能太淺。實(shí)踐中用得多的有兩個(gè)方向ResNet50 屬于穩(wěn)妥之選收斂穩(wěn)定參數(shù)適中EfficientNet-B0 在同樣精度下參數(shù)量更小但訓(xùn)練時(shí)需要更強(qiáng)的數(shù)據(jù)增強(qiáng)配合否則容易欠擬合。mobileViT 這類(lèi)輕量級(jí)網(wǎng)絡(luò)我也試過(guò)精度相比 ResNet 略有下降故在 CPU 部署場(chǎng)景有限的情況下還是優(yōu)先推薦 ResNet。import torch.nn as nn from torchvision.models import resnet50 def build_classifier(num_classes, pretrainedTrue): model resnet50(weightsIMAGENET1K_V1 if pretrained else None) in_features model.fc.in_features model.fc nn.Sequential( nn.Dropout(0.3), nn.Linear(in_features, 256), nn.ReLU(inplaceTrue), nn.Dropout(0.2), nn.Linear(256, num_classes) ) return model替換全連接層時(shí)要注意保持 in_features 的一致性做法是先從原模型讀出來(lái)再構(gòu)建新層不要寫(xiě)死 2048否則換網(wǎng)絡(luò)結(jié)構(gòu)就要連帶改。Dropout 加在分類(lèi)頭里能在一定程度上抑制過(guò)擬合因?yàn)樯嘞髷?shù)據(jù)類(lèi)內(nèi)差異較大模型很容易死記訓(xùn)練集的紋理細(xì)節(jié)。3.3 訓(xùn)練配置與數(shù)據(jù)增強(qiáng)參數(shù)怎么設(shè)才不玄學(xué)訓(xùn)練分類(lèi)網(wǎng)絡(luò)時(shí)數(shù)據(jù)增強(qiáng)策略和訓(xùn)練超參是決定效果的關(guān)鍵因素。舌象圖片的增強(qiáng)和自然圖像不同常規(guī)的隨機(jī)裁剪縮放固然有用但更要重視的是色彩抖動(dòng)因?yàn)轭伾翘ι诸?lèi)的直接依據(jù)但也需要注意避免過(guò)度偏離真實(shí)舌色。import torch from torchvision import transforms from torch.utils.data import DataLoader from torchvision.datasets import ImageFolder train_transform transforms.Compose([ transforms.RandomResizedCrop(224, scale(0.7, 1.0)), transforms.RandomHorizontalFlip(p0.5), transforms.ColorJitter(brightness0.3, contrast0.3, saturation0.2, hue0.05), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) dataset ImageFolder(dataset_classify/train, transformtrain_transform) loader DataLoader(dataset, batch_size32, shuffleTrue, num_workers4, pin_memoryTrue)訓(xùn)練參數(shù)方面常見(jiàn)做法是 SG 優(yōu)化器配合階梯式學(xué)習(xí)率初始學(xué)習(xí)率設(shè)置在 0.001 到 0.01 之間具體數(shù)值要看數(shù)據(jù)集規(guī)模和任務(wù)難度epoch 設(shè)置 50 到 100 輪用驗(yàn)證集 loss 保存最優(yōu)權(quán)重。損失函數(shù)用帶權(quán)重的 CrossEntropyLoss類(lèi)別樣本數(shù)差異大時(shí)一定要啟用權(quán)重參數(shù)否則樣本量大的類(lèi)別會(huì)主導(dǎo)梯度更新。from torch.nn import CrossEntropyLoss class_weights torch.tensor([1.0, 1.2, 1.5, 0.8, 1.3]) # 按各類(lèi)樣本占比的倒數(shù)平滑 criterion CrossEntropyLoss(weightclass_weights)一個(gè)容易被忽略的參數(shù)是驗(yàn)證集變換驗(yàn)證時(shí)只能用 Resize CenterCrop不能加 Random 系列增強(qiáng)否則指標(biāo)會(huì)有波動(dòng)。4. PyQt5 界面集成把模型輸出變成可操作的報(bào)告4.1 界面整體結(jié)構(gòu)與線(xiàn)程設(shè)計(jì)PyQt5 界面在這套系統(tǒng)中的職責(zé)是選擇圖片、展示原圖與檢測(cè)結(jié)果、觸發(fā)分類(lèi)推理并顯示診斷結(jié)論。界面布局我采用左側(cè)原圖預(yù)覽、右側(cè)結(jié)果面板的兩欄結(jié)構(gòu)底部放一個(gè)“開(kāi)始識(shí)別”按鈕和日志輸出框。整體設(shè)計(jì)類(lèi)似一個(gè)檢測(cè)工具類(lèi)的軟件但核心目標(biāo)很清晰——讓操作者不用接觸代碼就能完成整套識(shí)別流程。界面開(kāi)發(fā)最需要避開(kāi)的坑是耗時(shí)操作阻塞主線(xiàn)程。PyTorch 的 GPU 推理雖然快但在 CPU 上跑一次完整流程可能需要幾百毫秒如果直接寫(xiě)在按鈕的槽函數(shù)里界面會(huì)卡住不動(dòng)。正確做法是利用 QThread 把推理放到后臺(tái)線(xiàn)程主線(xiàn)程只負(fù)責(zé)更新 UI。from PyQt5.QtCore import QThread, pyqtSignal class InferThread(QThread): finished pyqtSignal(dict) def __init__(self, image_path, detect_model, classify_model, device): super().__init__() self.image_path image_path self.detect_model detect_model self.classify_model classify_model self.device device def run(self): result run_pipeline(self.image_path, self.detect_model, self.classify_model, self.device) self.finished.emit(result)這種設(shè)計(jì)需要注意的細(xì)節(jié)是線(xiàn)程里不要再訪(fǎng)問(wèn) UI 控件只通過(guò)信號(hào)傳遞結(jié)果如果用戶(hù)連續(xù)點(diǎn)擊按鈕要設(shè)置 busy 標(biāo)志位防止重復(fù)啟動(dòng)線(xiàn)程。4.2 torch.load 的坑直接加載模型文件為什么會(huì)炸模型加載是集成階段的高頻翻車(chē)點(diǎn)。PyTorch 的 state_dict 保存方式有兩種只保存權(quán)重的 .pth 文件和包含完整模型結(jié)構(gòu)的 .pt 文件兩者加載方式完全不同界面啟動(dòng)時(shí)加載不對(duì)就會(huì)報(bào)錯(cuò)。import torch from models.resnet import build_classifier device torch.device(cuda if torch.cuda.is_available() else cpu) # 情況一只有 state_dict必須先構(gòu)建模型再 load model build_classifier(num_classes5) model.load_state_dict(torch.load(classify_best.pth, map_locationdevice)) model.to(device).eval() # 情況二完整模型文件直接加載即可 model torch.load(classify_best.pt, map_locationdevice) model.to(device).eval()很多同學(xué)在訓(xùn)練腳本里用的是 model.state_dict() 保存到了界面端卻按完整模型去 load就會(huì)出現(xiàn) missing keys 或 unexpected keys 的報(bào)錯(cuò)。建議在保存模型時(shí)把優(yōu)化器狀態(tài)、epoch、best_acc 一起打包成字典這樣后面做斷點(diǎn)續(xù)訓(xùn)加載時(shí)能省很多事。加載前打印一遍 model.keys() 花不了幾秒鐘卻能避免后續(xù)排查的大半天時(shí)間。4.3 推理管線(xiàn)編排從原圖到報(bào)告的一體化實(shí)現(xiàn)完整的識(shí)別流程是先用檢測(cè)模型定位舌頭裁剪出舌體區(qū)域后再送入分類(lèi)模型。這里需要注意兩個(gè)細(xì)節(jié)檢測(cè)框要適度外擴(kuò)不能貼著框邊緣裁剪以免丟失舌緣信息如果檢測(cè)置信度低于某個(gè)閾值界面應(yīng)該給出提示讓用戶(hù)重新拍攝而不是硬分類(lèi)。import cv2 import torch import numpy as np def run_pipeline(image_path, detect_model, classify_model, device, conf_thres0.5, expand_ratio0.1): img cv2.imread(image_path) img_rgb cv2.cvtColor(img, cv2.COLOR_BGR2RGB) results detect_model(img_rgb) if len(results.boxes) 0: return {error: 未檢測(cè)到舌體請(qǐng)調(diào)整拍攝角度或光線(xiàn)后重試} box results.boxes[0].xyxy[0].cpu().numpy().astype(int) conf results.boxes[0].conf[0].item() if conf conf_thres: return {error: f舌體檢測(cè)置信度偏低({conf:.2f})建議重新拍攝} x1, y1, x2, y2 box dw, dh int((x2 - x1) * expand_ratio), int((y2 - y1) * expand_ratio) h, w img.shape[:2] x1, y1 max(0, x1 - dw), max(0, y1 - dh) x2, y2 min(w, x2 dw), min(h, y2 dh) crop img_rgb[y1:y2, x1:x2] crop cv2.resize(crop, (224, 224)) crop_tensor torch.from_numpy(crop.transpose(2, 0, 1)).float().div(255) crop_tensor crop_tensor.unsqueeze(0).to(device) with torch.no_grad(): logits classify_model(crop_tensor) prob torch.softmax(logits, dim1) idx torch.argmax(prob, dim1).item() conf prob[0, idx].item() return {box: box.tolist(), class_id: idx, class_name: class_names[idx], confidence: conf}推理管線(xiàn)里幾個(gè)關(guān)鍵參數(shù)值得留意expand_ratio 外擴(kuò)比例取 0.1 比較合適外擴(kuò)太多會(huì)把嘴唇和背景納入分類(lèi)區(qū)域干擾苔色判斷分類(lèi)模型的輸入尺寸要和訓(xùn)練時(shí)一致否則預(yù)處理統(tǒng)計(jì)量不匹配會(huì)帶來(lái)精度下降softmax 后的置信度是給界面展示用的而訓(xùn)練時(shí)用的 CrossEntropyLoss 自帶 softmax兩者不要弄混。4.4 界面結(jié)果展示與狀態(tài)管理結(jié)果展示部分需要同時(shí)呈現(xiàn)檢測(cè)框圖片、苔質(zhì)苔色結(jié)論、置信度三個(gè)信息。檢測(cè)框的繪制在 QPixmap 上同步進(jìn)行不能只畫(huà)在原始圖像矩陣?yán)镆驗(yàn)榻缑骘@示的圖片經(jīng)過(guò)了縮放適配。建議繪制時(shí)把檢測(cè)框坐標(biāo)按縮放比例映射回顯示坐標(biāo)系才能讓框和舌頭位置準(zhǔn)確對(duì)應(yīng)。def update_result(self, result_dict): if error in result_dict: self.result_label.setText(result_dict[error]) return box result_dict[box] self.result_label.setText( f舌苔類(lèi)型{result_dict[class_name]}\n f置信度{result_dict[confidence]:.2%} ) self.draw_box(box)狀態(tài)管理方面要注意按鈕的可用狀態(tài)切換推理中禁用按鈕避免重復(fù)點(diǎn)擊、等待檢測(cè)結(jié)果時(shí)清空舊結(jié)果、遇到錯(cuò)誤時(shí)恢復(fù)按鈕可用狀態(tài)。這些看似瑣碎的細(xì)節(jié)往往比模型調(diào)參更影響實(shí)際使用體驗(yàn)。5. 部署與模型壓縮讓系統(tǒng)在 CPU 上也能有可用體驗(yàn)5.1 模型格式轉(zhuǎn)換與推理框架選型純 PyTorch 的加載推理方式在 GPU 環(huán)境下表現(xiàn)良好但若目標(biāo)是普通辦公電腦 CPU 部署那么換成 ONNX Runtime 或者 OpenVINO 會(huì)有明顯效果提升——同樣的模型轉(zhuǎn)換后推理耗時(shí)往往能下降到原始版本的一半甚至更少。import torch # 以分類(lèi)模型為例導(dǎo)出 ONNX model build_classifier(num_classes5) model.load_state_dict(torch.load(classify_best.pth, map_locationcpu)) model.eval() dummy_input torch.randn(1, 3, 224, 224) torch.onnx.export( model, dummy_input, classify.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch}, output: {0: batch}}, opset_version12 )導(dǎo)出 ONNX 時(shí)有兩個(gè)細(xì)節(jié)dynamic_axes 讓 batch 維度可變這樣推理時(shí)可以傳單張也可以傳多張opset_version 不宜過(guò)高舊版 ONNX Runtime 對(duì)高版本算子支持不完整實(shí)際運(yùn)行會(huì)報(bào) unsupported operator 錯(cuò)誤。5.2 推理函數(shù)的替換ONNX Runtime 接口與 PyTorch 的差異換用 ONNX Runtime 后推理函數(shù)的寫(xiě)法完全不同尤其要注意輸入數(shù)據(jù)的格式和維度順序。PyTorch 模型直接接收 tensor而 ONNX Runtime 需要 numpy 數(shù)組并且要指定輸入輸出節(jié)點(diǎn)名稱(chēng)。import onnxruntime as ort import numpy as np class OnnxClassifier: def __init__(self, onnx_path, device_index0): providers [CUDAExecutionProvider, CPUExecutionProvider] if device_index 0 else [CPUExecutionProvider] self.session ort.InferenceSession(onnx_path, providersproviders) self.input_name self.session.get_inputs()[0].name self.output_name self.session.get_outputs()[0].name def predict(self, tensor_np): # tensor_np: (1, 3, 224, 224) float32 numpy outs self.session.run([self.output_name], {self.input_name: tensor_np}) return outs[0]大多數(shù) ONNX 部署的報(bào)錯(cuò)集中在 provider 指定上。CUDAExecutionProvider 前置的情況下如果當(dāng)前機(jī)器沒(méi)有 GPU 或 CUDA 庫(kù)不匹配初始化會(huì)報(bào)錯(cuò)。穩(wěn)妥的做法是先嘗試全部 provider失敗就回退到 CPU。5.3 量化INT8 對(duì)舌苔識(shí)別精度的影響有多大想要進(jìn)一步壓縮模型體積可以考慮 INT8 量化。PyTorch 的量化分為訓(xùn)練后動(dòng)態(tài)量化和靜態(tài)量化。對(duì)分類(lèi)模型來(lái)說(shuō)靜態(tài)量化通常能把模型體積縮小到約四分之一推理速度提升 1.5 到 2 倍但精度損失需要實(shí)測(cè)確定——舌苔分類(lèi)對(duì)顏色和紋理細(xì)節(jié)比較敏感量化后掉點(diǎn)可能比自然圖像分類(lèi)更明顯。model_fp32 build_classifier(num_classes5) model_fp32.load_state_dict(torch.load(classify_best.pth, map_locationcpu)) model_fp32.eval() model_quantized torch.quantization.quantize_dynamic( model_fp32, {torch.nn.Linear}, dtypetorch.qint8 ) torch.save(model_quantized.state_dict(), classify_quantized.pth)一個(gè)實(shí)操建議在已經(jīng)完成系統(tǒng)開(kāi)發(fā)和部署之后量化優(yōu)化可以作為后續(xù)版本迭代的一部分來(lái)推進(jìn)。第一版先用 FP32 跑通全流程確認(rèn)檢測(cè)和分類(lèi)的準(zhǔn)確率達(dá)標(biāo)后再做量化壓縮。如果量化后精度下降明顯退回 FP32 成本并不高留一條后悔藥路徑總歸是好的。6. 常見(jiàn)問(wèn)題排查與避坑指南6.1 檢測(cè)模型在驗(yàn)證集效果很好但界面上框不住舌頭這個(gè)翻車(chē)現(xiàn)象出現(xiàn)頻率很高。模型獨(dú)測(cè)時(shí) mAP 很高但到實(shí)際使用時(shí)對(duì)不上甚至框偏到嘴唇上。原因通常有兩個(gè)第一訓(xùn)練數(shù)據(jù)里全是規(guī)范的正角度舌象照片而實(shí)際使用時(shí)用戶(hù)拍的圖可能是仰角、側(cè)面或者舌頭沒(méi)有完全伸出的狀態(tài)這屬于典型的數(shù)據(jù)分布不一致第二界面端推理時(shí)縮放的尺寸和訓(xùn)練不一致YOLO 模型對(duì)輸入分辨率有一定要求如果被界面代碼隨意 resize檢測(cè)效果會(huì)退化嚴(yán)重。解決思路要有兩手準(zhǔn)備。一是數(shù)據(jù)層面增加多角度、多光照的樣本模擬用戶(hù)真實(shí)拍攝場(chǎng)景二是推理端嚴(yán)格保持訓(xùn)練時(shí)的預(yù)處理流程把 resize 邏輯直接復(fù)用訓(xùn)練代碼里的預(yù)處理函數(shù)不要在界面端重新寫(xiě)一遍。6.2 分類(lèi)模型對(duì)黃苔、白苔的判斷總是搖擺不定苔色分類(lèi)的理想入?yún)⑹穷伾€原度較高的圖像。如果圖片整體偏黃或者偏白分類(lèi)器就會(huì)不穩(wěn)定同一張舌象在不同顯示器上可能得到不同結(jié)論。產(chǎn)生這個(gè)問(wèn)題的根源在于訓(xùn)練數(shù)據(jù)里的色調(diào)多樣性和實(shí)際使用環(huán)境的漂移不一致。解決思路包括加強(qiáng) ColorJitter 增強(qiáng)讓模型見(jiàn)過(guò)更寬的色域在界面端增加白平衡校正選項(xiàng)讓用戶(hù)手動(dòng)調(diào)整后再識(shí)別輸出 Top2 概率而不是只給最高類(lèi)別當(dāng)兩個(gè)類(lèi)別概率接近時(shí)提示“黃白苔界限模糊建議結(jié)合臨床診斷”。這類(lèi)提示看似簡(jiǎn)單但對(duì)實(shí)際醫(yī)療場(chǎng)景的價(jià)值遠(yuǎn)大于盲目輸出一個(gè)不確定的結(jié)論。6.3 界面啟動(dòng)后無(wú)響應(yīng)或直接閃退PyQt5 界面閃退通常有幾個(gè)原因模型路徑不存在但代碼沒(méi)有判斷、ONNX Runtime DLL 加載失敗、設(shè)備號(hào)超出范圍。排查時(shí)先在純命令行環(huán)境加載模型不要直接啟動(dòng)界面python -c import torch; mtorch.load(classify_best.pt, map_locationcpu); print(model ok) python -c import onnxruntime as ort; sort.InferenceSession(classify.onnx, providers[CPUExecutionProvider]); print(onnx ok)如果這兩步都通過(guò)再去檢查界面代碼。QThread 里拋出的異常默認(rèn)不會(huì)導(dǎo)致進(jìn)程崩潰但會(huì)在 Qt 事件循環(huán)里留下未捕獲異常。建議在 run() 方法里包一層 try-except把異常信息通過(guò)信號(hào)傳回主界面顯示。class InferThread(QThread): finished pyqtSignal(dict) error pyqtSignal(str) def run(self): try: result run_pipeline(self.image_path, self.detect_model, self.classify_model, self.device) self.finished.emit(result) except Exception as e: self.error.emit(str(e))異常信息在日志框打印出來(lái)而不是讓程序直接崩潰這種習(xí)慣做項(xiàng)目時(shí)能節(jié)約大量時(shí)間。6.4 模型加載在 Windows 下路徑報(bào)錯(cuò)Windows 下使用中文路徑或包含中文名的模型文件時(shí)PyTorch 和 OpenCV 偶爾會(huì)出現(xiàn)編碼問(wèn)題。這需要從根源上避免使用中文路徑和中文文件名統(tǒng)一用英文。另外模型文件放在項(xiàng)目根目錄的 models/ 文件夾里不要放在桌面或下載目錄既方便打包也避免權(quán)限問(wèn)題。6.5 訓(xùn)練時(shí) loss 不降或直接變成 NaNloss 變成 NaN 的原因多半是學(xué)習(xí)率過(guò)大、數(shù)據(jù)里有異常像素值或者標(biāo)注越界。檢測(cè)模型訓(xùn)練時(shí)重點(diǎn)檢查標(biāo)注坐標(biāo)是否全部歸一化到 [0,1] 區(qū)間分類(lèi)模型訓(xùn)練時(shí)檢查輸入圖片是否有損壞文件。更直接的辦法是降低初始學(xué)習(xí)率從 0.001 開(kāi)始確認(rèn) loss 正常下降后再逐步加大。7. 系統(tǒng)驗(yàn)證與擴(kuò)展如何確認(rèn)模型真的可靠這套系統(tǒng)做完之后驗(yàn)證是必不可少的一步。舌苔識(shí)別系統(tǒng)的驗(yàn)證不同于普通分類(lèi)任務(wù)不能只盯著準(zhǔn)確率還要關(guān)注臨床可用性。我通常的做法是準(zhǔn)備一份留出測(cè)試集里面全部是訓(xùn)練階段沒(méi)有見(jiàn)過(guò)的真實(shí)場(chǎng)景圖片包括不同光照、不同設(shè)備、不同角度然后統(tǒng)計(jì)檢測(cè)成功率和分類(lèi)混淆矩陣。import numpy as np from sklearn.metrics import confusion_matrix, classification_report def evaluate(model, loader, device): model.eval() all_preds, all_labels [], [] with torch.no_grad(): for images, labels in loader: images, labels images.to(device), labels.to(device) outputs model(images) _, preds torch.max(outputs, 1) all_preds.extend(preds.cpu().numpy()) all_labels.extend(labels.cpu().numpy()) cm confusion_matrix(all_labels, all_preds) print(classification_report(all_labels, all_preds, target_namesclass_names)) return cm從混淆矩陣?yán)锬芸吹降牟恢皇菧?zhǔn)確率還有具體哪些類(lèi)別互相混淆。黃苔和白苔之間的混淆是常見(jiàn)問(wèn)題但這代表的是標(biāo)注標(biāo)準(zhǔn)模糊不是模型缺陷。這時(shí)候要做的是回看標(biāo)注數(shù)據(jù)確認(rèn)標(biāo)注人員之間對(duì)“黃”和“白”的顏色界定是否一致必要時(shí)重新清洗部分標(biāo)簽。擴(kuò)展方向上值得做的改造有把檢測(cè)框的輸出從矩形框升級(jí)為舌體輪廓分割 mask用 U-Net 做舌體分割能拿到更精確的舌體區(qū)域分類(lèi)輸入質(zhì)量比矩形裁剪好不少把分類(lèi)網(wǎng)絡(luò)改成多標(biāo)簽輸出——一個(gè)舌頭可以同時(shí)有“薄”和“白”的屬性多標(biāo)簽結(jié)構(gòu)更接近臨床語(yǔ)義在界面端增加批量識(shí)別功能一次導(dǎo)入數(shù)十張圖片自動(dòng)出報(bào)告對(duì)體檢中心這種場(chǎng)景的實(shí)用價(jià)值明顯。對(duì)整個(gè)系統(tǒng)做個(gè)評(píng)價(jià)的話(huà)需要清楚它只能提供輔助參考不能替代任何專(zhuān)業(yè)醫(yī)療判斷。界面展示的置信度嚴(yán)格來(lái)說(shuō)明確標(biāo)注“AI 輔助結(jié)果”這在中醫(yī)信息化項(xiàng)目中既是對(duì)規(guī)范的尊重也是對(duì)使用者的保護(hù)。這是這套系統(tǒng)開(kāi)發(fā)過(guò)程中最重要的一條教訓(xùn)——技術(shù)指標(biāo)再好也要想清楚使用邊界。希望這篇踩坑筆記能幫到你搭建屬于自己的舌象分析系統(tǒng)的時(shí)候少走一些彎路。本文還有配套的精品資源點(diǎn)擊獲取