簡介這套基于Python與OpenCV開發(fā)的車牌識別系統(tǒng)是一份可直接運行的畢業(yè)設(shè)計項目適合計算機視覺方向的學生以及卷積神經(jīng)網(wǎng)絡(luò)入門者參考。系統(tǒng)內(nèi)部分為車牌定位過濾與字符識別兩個部分每個部分均使用相同結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)完整覆蓋圖像預(yù)處理、車牌輪廓提取、字符分割與識別輸出等核心步驟。網(wǎng)絡(luò)輸入層尺寸、卷積核大小與數(shù)量、池化窗口等參數(shù)配置都在代碼中清晰呈現(xiàn)方便學習者對照理解。壓縮包共計兩千個文件內(nèi)含大量車牌圖片樣本、訓練好的模型權(quán)重、Python源碼腳本以及模型配置文件總大小約459MB下載后加載模型即可直接測試無需重新訓練。目前已有八千四百零一人學習下載可用于課程設(shè)計或?qū)嶋H車牌識別場景。代碼同時保留了訓練與推理完整流程便于根據(jù)需求靈活調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)或擴充數(shù)據(jù)集是一份實用且易上手的車牌識別參考資料。1. 車牌識別沒有想象中那么玄一套OpenCVCNN的落地組合車牌識別License Plate Recognition在停車場、園區(qū)門禁、高速收費里已經(jīng)是成熟技術(shù)但真到自己動手用Python做一套很多人的第一反應(yīng)是直接上YOLO、SSD這類目標檢測模型結(jié)果光是打標、訓練、調(diào)參就把進度拖垮了。我在這條路上來回折騰過幾次之后回到最扎實的方案OpenCV做車牌定位、字符分割輕量級卷積神經(jīng)網(wǎng)絡(luò)做字符識別。這條鏈路不依賴GPU不需要海量標注數(shù)據(jù)一臺普通筆記本就能把demo跑通識別率在標準藍底白字車牌上能做到90%以上。適合剛接觸視覺項目的開發(fā)者也適合要把車牌識別快速嵌入現(xiàn)有Python業(yè)務(wù)系統(tǒng)的工程人員。2. 識別流程拆解為什么先做定位再做字符識別車牌識別最忌諱一上來就試圖用一個大模型解決所有問題。把任務(wù)拆成定位、分割、識別三段每一步都能獨立驗證出了錯也能精準定位到具體環(huán)節(jié)。2.1 為什么不用端到端目標檢測而是分三步走目標檢測模型YOLO、SSD 這類不是不能用在車牌識別這個任務(wù)上用檢測模型框出車牌區(qū)域的效果確實不差但你需要準備上千張標注了車牌位置的圖片訓練或遷移微調(diào)一輪才可能在具體場景里穩(wěn)定工作。而且端到端方案把問題封裝成了一個黑匣子輸入圖片、輸出字符串中間哪一步出了問題你能做的只有換數(shù)據(jù)、換參數(shù)重訓很難有針對性地干預(yù)。分三步的方案在面對固定攝像頭場景時有先天優(yōu)勢。監(jiān)控桿、停車閘機這些位置車牌在畫面里的尺度和角度基本穩(wěn)定OpenCV定位的失敗模式是可以預(yù)判的每一步都有中間結(jié)果可以可視化。比如定位環(huán)節(jié)畫個綠框看看框準沒有分割環(huán)節(jié)把字符圖拼成條帶看看有沒有切碎這種可解釋性對工程排障非常有價值也是很多商業(yè)車牌識別系統(tǒng)至今保留傳統(tǒng)定位加分類器結(jié)構(gòu)的原因。這套方案不僅算得更快調(diào)試成本也低得多。在CPU上OpenCV定位加分割一幀大約20到40毫秒CNN單字符識別不到5毫秒整條流水線能跑到實時。如果你未來有嵌入式部署的需求比如樹莓派這類低功耗設(shè)備這套方案也比模型檢測更容易移植。2.2 第一步定位HSV顏色過濾加輪廓篩選這里放一段核心定位代碼用HSV色域過濾比RGB閾值穩(wěn)定得多。RGB對光照太敏感同樣的藍色車牌正午和傍晚拍出來完全是兩個數(shù)值范圍HSV把色相和明度分離色相范圍可以跨光照使用。import cv2 import numpy as np def locate_plate(img): height, width img.shape[:2] scale 640 / width img_resized cv2.resize(img, (640, int(height * scale))) hsv cv2.cvtColor(img_resized, cv2.COLOR_BGR2HSV) # 藍牌的H范圍大約在100~130之間要根據(jù)實際攝像頭微調(diào) lower_blue np.array([100, 50, 50]) upper_blue np.array([130, 255, 255]) mask cv2.inRange(hsv, lower_blue, upper_blue) # 閉運算填充斷裂區(qū)域 kernel cv2.getStructuringElement(cv2.MORPH_RECT, (17, 5)) closed cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel) # 找輪廓并篩選 contours, _ cv2.findContours(closed, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) candidates [] for cnt in contours: x, y, w, h cv2.boundingRect(cnt) area w * h if area 800: continue aspect w / h if 2.0 aspect 5.0: candidates.append((x, y, w, h)) if not candidates: return None, img_resized x, y, w, h max(candidates, keylambda r: r[2] * r[3]) return (x, y, w, h), img_resized代碼邏輯分四段縮放、顏色過濾、閉運算、輪廓篩選。縮放這一步很關(guān)鍵不同來源的圖片分辨率差異很大統(tǒng)一到640寬后后續(xù)的形態(tài)學核大小和面積閾值才有意義。HSV的H值100~130覆蓋標準藍牌色相但各品牌攝像頭的自動白平衡會讓H值漂移這塊參數(shù)后面避坑章會展開講。閉運算的核取17×5橫向比縱向?qū)捠菫榱税炎址g的縫隙填上——車牌字符密集不處理好容易把整個車牌區(qū)域斷成幾塊。輪廓篩選用兩個硬條件面積不小于800像素寬高比在2.0到5.0之間。標準藍牌寬高比約3.14放寬區(qū)間是為了容忍攝像頭視角傾斜。最后取面積最大的候選框因為絕大多數(shù)場景里畫面中最顯眼的藍色矩形就是車牌。2.3 第二步分割垂直投影法切出單個字符定位到車牌后把車牌區(qū)域裁出來接下來要按字符邊界切成七個單字符圖。垂直投影法是最常用的做法把車牌圖二值化統(tǒng)計每一列白色像素數(shù)量字符列的投影明顯高于背景列按這個差異就能切分。def segment_chars(plate_img): gray cv2.cvtColor(plate_img, cv2.COLOR_BGR2GRAY) gray cv2.GaussianBlur(gray, (3, 3), 0) _, binary cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV | cv2.THRESH_OTSU) h, w binary.shape col_sum np.sum(binary, axis0) // 255 threshold h * 0.05 in_char False char_cols [] for i in range(w): if col_sum[i] threshold: if not in_char: start i in_char True else: if in_char: end i if end - start 8: char_cols.append((start, end)) in_char False if in_char: if w - 1 - start 8: char_cols.append((start, w - 1)) # 過寬的區(qū)間按中點切開處理漢字和粘連字符 refined [] for start, end in char_cols: char_w end - start if char_w w * 0.2: mid (start end) // 2 refined.append((start, mid)) refined.append((mid, end)) else: refined.append((start, end)) return refined, binary分割邏輯中大津法OTSU二值化是自適應(yīng)閾值的經(jīng)典選擇能根據(jù)圖像本身的灰度分布自動找到背景和前景的分界比固定閾值抗光照能力強很多。閾值取圖像高度的5%低于這個值的列視為字符間隙這個比例在標準車牌上表現(xiàn)穩(wěn)定。寬度小于8像素的區(qū)間直接忽略過濾掉邊緣噪點和鉚釘。最后一步“過寬切開”處理的是漢字分割。漢字筆畫復雜、內(nèi)部有零散空白投影后寬度常常比數(shù)字字母大超過車牌寬度20%后按中點切兩半讓后續(xù)識別階段自行判斷合法字符。真實代碼里這一步還不夠完整車牌左右邊框和鉚釘也會混進候選區(qū)需要一個后處理過濾留到避坑章講。2.4 字符歸一化與顏色適配識別前的一致性處理分割出的字符寬高各不相同直接送進神經(jīng)網(wǎng)絡(luò)沒法固定輸入維度。常見做法是把每個字符圖等比縮放到32×32然后做一次中心化。這里要注意不要直接拉伸變形。漢字如果被縱向拉扁省份簡稱比如“冀”“贛”這類密集字很容易被認錯。等比縮放后如果尺寸不足32像素用黑色填充空白區(qū)域不改變字符比例。這一步的細節(jié)直接決定識別率上限。訓練時的字符來自字體渲染測試時的字符是真實拍攝的扛噪圖兩者如果歸一化方式不一致模型很容易在邊緣分布上栽跟頭。我在項目里固定只用一種預(yù)處理順序灰度到二值化、投影分割、等比縮放、中心化、轉(zhuǎn)Tensor訓練和推理完全一致避免出現(xiàn)“訓練97%、推理70%”這種玄學級效果差異。顏色適配方面如果你的場景里出現(xiàn)新能源綠牌把HSV閾值改成lower_green np.array([35, 43, 46])、upper_green np.array([77, 255, 255])就能覆蓋。黃牌和黑牌同理黃牌的H值在15到35之間白牌的S值很低需要額外加灰度閾值判斷。我在代碼里把顏色參數(shù)抽象成一個字典按車牌顏色切換比硬編碼藍牌靈活得多。3. CNN字符識別模型網(wǎng)絡(luò)結(jié)構(gòu)、訓練數(shù)據(jù)與參數(shù)設(shè)定定位和分割處理的是圖像層面的問題從這一步開始進入卷積神經(jīng)網(wǎng)絡(luò)的范疇。車牌字符識別的本質(zhì)是一個多分類問題網(wǎng)絡(luò)不必太深重點在于數(shù)據(jù)組織和訓練口徑要嚴。3.1 字符集構(gòu)成與分類任務(wù)定義先明確分類目標。標準藍牌第一位是省份漢字總共31個漢字京津冀晉蒙遼吉黑滬蘇浙皖閩贛魯豫鄂湘粵桂瓊渝川貴云藏陜甘青寧新第二位是發(fā)牌機關(guān)字母共24個字母去掉I和O因為I像1、O像0第三到第七位是字母和數(shù)字混合共34個類。所以整個任務(wù)是65分類。這里有個工程細節(jié)把訓練類別定死為“省份漢字”和“字母數(shù)字”兩個獨立模型還是一個統(tǒng)一的65類模型兩種方案都有人用。統(tǒng)一模型的好處是流程簡潔缺點是個別省份漢字的訓練樣本天然少比如“藏”“瓊”網(wǎng)絡(luò)容易欠擬合。分開兩個模型后漢字模型只處理第一位字母數(shù)字模型處理后六位兩類數(shù)據(jù)都能訓練得比較充分。我在實際項目里用的是分離式多維護一個模型文件換來的穩(wěn)定性是值得的。3.2 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計兩個卷積層就夠用參考LeNet-5的結(jié)構(gòu)做一個輕量CNN第一層卷積提取筆畫邊緣第二層卷積組合出字符的局部結(jié)構(gòu)兩層池化降低分辨率最后接兩個全連接層輸出分類分數(shù)。import torch import torch.nn as nn class PlateCNN(nn.Module): def __init__(self, num_classes65): super(PlateCNN, self).__init__() self.features nn.Sequential( nn.Conv2d(1, 16, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(16, 32, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), ) self.classifier nn.Sequential( nn.Linear(32 * 8 * 8, 128), nn.ReLU(inplaceTrue), nn.Dropout(0.5), nn.Linear(128, num_classes), ) def forward(self, x): x self.features(x) x x.view(x.size(0), -1) x self.classifier(x) return x參數(shù)量大約22萬運算量非常小。輸入是32×32單通道灰度圖兩次MaxPool后特征圖降到8×8全連接層輸入是32×8×82048維。Dropout放在全連接層前是專門防小數(shù)據(jù)量訓練過擬合的。如果你有GPU可以加大通道數(shù)到32和64識別率會小幅提升但CPU推理時間會翻倍。3.3 訓練數(shù)據(jù)合成數(shù)據(jù)加真實數(shù)據(jù)混合訓練數(shù)據(jù)這塊最容易翻車。純合成數(shù)據(jù)訓練出來的模型在真實攝像頭照片上識別率會掉十幾個點主要原因是真實環(huán)境里的模糊、透視、光照不均、二值化噪聲合成數(shù)據(jù)很難完全模擬。我的做法是以字體渲染合成數(shù)據(jù)為主體保證每個類別數(shù)量充足再用一兩百張真實車牌切割出的字符做增量微調(diào)。from PIL import Image, ImageDraw, ImageFont import numpy as np import cv2 import os import random PROVINCES 京津滬渝冀豫云遼黑湘皖魯新蘇浙贛鄂桂甘晉蒙陜吉閩貴粵青藏川寧瓊 CHARS ABCDEFGHJKLMNPQRSTUVWXYZ0123456789 def generate_char_image(char, font_path, size32): img Image.new(L, (size, size), 0) draw ImageDraw.Draw(img) font ImageFont.truetype(font_path, 24) bbox draw.textbbox((0, 0), char, fontfont) w bbox[2] - bbox[0] h bbox[3] - bbox[1] x (size - w) // 2 - bbox[0] y (size - h) // 2 - bbox[1] draw.text((x, y), char, fill255, fontfont) return np.array(img) def generate_dataset(dst_dir, font_path, samples_per_class3000): os.makedirs(dst_dir, exist_okTrue) all_chars list(PROVINCES) list(CHARS) for c in all_chars: cls_dir os.path.join(dst_dir, c) os.makedirs(cls_dir, exist_okTrue) for i in range(samples_per_class): img generate_char_image(c, font_path) # 隨機輕微模糊模擬真實拍攝 img cv2.GaussianBlur(img, (3, 3), 0.8) # 隨機平移制造擾動 m np.float32([[1, 0, random.randint(-1, 1)], [0, 1, random.randint(-1, 1)]]) img cv2.warpAffine(img, m, (32, 32)) cv2.imwrite(os.path.join(cls_dir, f{i:04d}.jpg), img)生成邏輯不復雜用PIL在純黑背景上繪制白色字符居中然后加高斯模糊和隨機平移模擬真實拍攝的抖動和失焦。省份漢字生成時建議選一款筆畫規(guī)整的字體比如思源黑體或文泉驛正黑避免帶強烈裝飾襯線的字體那會和車牌字體差太遠。3.4 訓練配置與參數(shù)口徑訓練腳本和參數(shù)是可直接抄作業(yè)的部分。數(shù)據(jù)加載用torchvision的ImageFolder它會按子目錄名自動生成類別索引注意這個類別順序決定了推理時類別索引的映射建議訓練完把類別列表單獨保存一份。from torch.utils.data import DataLoader from torchvision import transforms, datasets transform transforms.Compose([ transforms.Resize((32, 32)), transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,)) ]) train_data datasets.ImageFolder(rootdataset/train, transformtransform) train_loader DataLoader(train_data, batch_size64, shuffleTrue) model PlateCNN(num_classeslen(train_data.classes)) criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam(model.parameters(), lr0.001) for epoch in range(20): model.train() running_loss 0.0 for imgs, labels in train_loader: optimizer.zero_grad() out model(imgs) loss criterion(out, labels) loss.backward() optimizer.step() running_loss loss.item() avg_loss running_loss / len(train_loader) print(fepoch {epoch1:02d} loss {avg_loss:.4f}) torch.save(model.state_dict(), fplate_cnn_epoch{epoch1:02d}.pth) # 保存類別順序推理時按同樣順序加載 with open(classes.txt, w, encodingutf-8) as f: f.write(\n.join(train_data.classes))幾個值得說透的參數(shù)。學習率0.001配Adam是這類小分類模型穩(wěn)妥的起點如果訓練loss在后期震蕩不降降到0.0003再跑10輪。batch size取64CPU也能扛也不用擔心顯存。epoch設(shè)20是參考值合成數(shù)據(jù)量大時模型在5到8輪就收斂后面基本是慣性下降。能觀察到驗證準確率不升反降就是過擬合了回調(diào)Dropout比例到0.6或增加數(shù)據(jù)擾動更有效。提示不要一上來用0.01的學習率。車牌字符分類任務(wù)雖然簡單但不同漢字在32×32分辨率下視覺差異很小學習率太大會導致loss先降后升白白浪費大量訓練時間。判斷模型有沒有訓好不要只看總數(shù)準確率要看每個類別的recall。省份漢字里“皖”“贛”“鄂”這些筆畫密集的字經(jīng)常出現(xiàn)個別類別識別率只有70%的情況。解決辦法是計算混淆矩陣把錯得最多的類別挑出來單獨補充該字體的合成樣本。如何打印和分析混淆矩陣就是第6章的內(nèi)容。4. 完整可運行代碼從照片輸入到車牌字符串輸出前幾章把三個模塊分別講清楚了這一章把它們統(tǒng)一成一條可直接運行的流水線。實踐順序是先把依賴裝好再逐個文件跑通最后把單張照片或攝像頭畫面喂進去看輸出。4.1 環(huán)境依賴最小化安裝清單與兩個經(jīng)典報錯先說依賴。用到的庫只有四個opencv-python、numpy、torch、torchvision。PIL其實也會用到但它會跟著torchvision一起裝好不用單獨管。pip install opencv-python numpy torch torchvision安裝時最容易遇到兩個坑。一是pip默認源在國外下載torch這種大包經(jīng)常超時建議指定國內(nèi)鏡像源pip install opencv-python numpy torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple二是conda環(huán)境裝OpenCV后導入報錯常見的是ModuleNotFoundError: No module named cv2。這種問題九成是裝到了別的Python環(huán)境先在當前終端里跑python -c import cv2; print(cv2.__version__)確認解釋器環(huán)境里有沒有cv2再換到對應(yīng)環(huán)境的終端重新pip install一次通常就能解決。4.2 主控腳本串聯(lián)定位、分割、識別把locate_plate、segment_chars、PlateCNN三個模塊串起來的主控腳本是這套系統(tǒng)的門面。字符識別的類別順序必須和訓練時完全一致前一步保存的classes.txt在這里派上用場。網(wǎng)絡(luò)定義建議單獨放到model.py讓主控腳本保持干凈。import cv2 import numpy as np import torch from model import PlateCNN # 把第3章的網(wǎng)絡(luò)類存為model.py # 讀取訓練時保存的類別順序 with open(classes.txt, r, encodingutf-8) as f: class_list [line.strip() for line in f] model PlateCNN(num_classeslen(class_list)) model.load_state_dict(torch.load(plate_cnn.pth, map_locationcpu)) model.eval() def preprocess_char(char_img): char_img cv2.resize(char_img, (32, 32)) # 和訓練時完全一致的歸一化方式 char_img (char_img.astype(np.float32) / 255.0 - 0.5) / 0.5 return torch.from_numpy(char_img).unsqueeze(0).unsqueeze(0) def predict_plate(img_path): img cv2.imread(img_path) if img is None: print(f無法讀取圖片: {img_path}) return None box, img_resized locate_plate(img) if box is None: print(未定位到車牌區(qū)域) return None x, y, w, h box # 向外擴幾個像素避免車牌邊緣字符被切掉 plate_img img_resized[max(0, y-5):yh5, max(0, x-5):xw5] cv2.imwrite(debug_plate.jpg, plate_img) chars, binary segment_chars(plate_img) if len(chars) 7: print(f分割出{len(chars)}個字符小于7疑似定位框不準) return None result with torch.no_grad(): for start, end in chars: char_img binary[:, start:end] tensor preprocess_char(char_img) out model(tensor) pred out.argmax(dim1).item() result class_list[pred] return result if __name__ __main__: plate predict_plate(test.jpg) print(識別結(jié)果:, plate)主控腳本的核心是preprocess_char里的歸一化訓練時用(x/255-0.5)/0.5推理必須一模一樣少一步結(jié)果都會飄。預(yù)測整個流程跑在torch.no_grad()下不保存梯度速度能差好幾倍。map_locationcpu保證沒有GPU的機器也能加載權(quán)重。4.3 實時攝像頭識別守衛(wèi)循環(huán)寫法如果你要跑實時視頻流把單張圖片改成循環(huán)讀取攝像頭幀就行。按q鍵退出按s鍵保存當前幀方便排查。cap cv2.VideoCapture(0) if not cap.isOpened(): print(攝像頭打開失敗) exit() # 限制輸入分辨率避免每幀處理過慢 cap.set(cv2.CAP_PROP_FRAME_WIDTH, 960) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 540) while True: ret, frame cap.read() if not ret: break box, frame_resized locate_plate(frame) if box is not None: x, y, w, h box cv2.rectangle(frame_resized, (x, y), (x w, y h), (0, 255, 0), 2) cv2.imshow(plate, frame_resized) key cv2.waitKey(1) 0xFF if key ord(q): break elif key ord(s): cv2.imwrite(capture_frame.jpg, frame_resized) print(幀已保存) cap.release() cv2.destroyAllWindows()這條循環(huán)里有兩個工程細節(jié)。一是攝像頭分辨率默認可能很高每幀都跑全分辨率定位會明顯卡頓開頭限制到960寬細膩度對車牌識別足夠。二是定位函數(shù)內(nèi)部已經(jīng)縮放到640寬但如果源頭分辨率太高OpenCV的resize本身也會消耗時間在攝像頭端限制分辨率更合理。5. 避坑指南車牌識別最常見的5個翻車點做車牌識別項目真正讓人崩潰的往往不是模型訓練而是那些看似簡單卻反復出現(xiàn)的細節(jié)。下面五條都是我自己踩過的坑按現(xiàn)象到原因到解決的順序?qū)憽?.1 藍色物體誤報把車身廣告、藍色貨柜當車牌現(xiàn)象定位框畫在藍色卡車車頭上或者畫在藍色廣告牌上識別結(jié)果輸出一串亂碼。原因HSV顏色過濾只認顏色和寬高比藍色卡車頭、藍色雨棚布完全符合條件。特征沒約束住幾何和顏色之外沒有做內(nèi)容驗證。解決加一道內(nèi)容驗證。車牌區(qū)域內(nèi)部應(yīng)該有大量字符邊緣二值化后白色像素密度通常在15%到40%之間低于這個范圍直接排除。再用邊緣密度做二次確認車牌區(qū)域在Sobel邊緣圖上響應(yīng)很強這是純色車漆沒有的。def is_plate_region(plate_img): gray cv2.cvtColor(plate_img, cv2.COLOR_BGR2GRAY) sobel cv2.Sobel(gray, cv2.CV_64F, 1, 0, ksize3) edge_density np.mean(np.abs(sobel) 80) return edge_density 0.05白像素密度和邊緣密度兩項組合后誤報會大幅下降。但閾值別卡太死晚上車牌反光弱時邊緣密度本身會掉閾值記得跟著放寬。5.2 光照不均導致整塊定位失敗現(xiàn)象上午十點的停車場隔著車玻璃拍出來的車牌定位框偏到一邊黃昏逆光時干脆什么都找不到。原因HSV里的V分量在強光下爆掉H分量也跟著偏移逆光時車牌反光集中在幾個字符上色相嚴重失真。解決做一次自適應(yīng)直方圖均衡化再進HSV。createCLAHE能限制對比度增強的幅度對車牌這種小目標比全局直方圖均衡更溫和不會把噪聲一起放大。clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8, 8)) gray cv2.cvtColor(img_resized, cv2.COLOR_BGR2GRAY) equalized clahe.apply(gray) img_equalized cv2.cvtColor(equalized, cv2.COLOR_GRAY2BGR) hsv cv2.cvtColor(img_equalized, cv2.COLOR_BGR2HSV)把這一步放在定位之前很多光照惡劣的場景就能頂過去。如果還不行就按時間段切換HSV范圍正午的H值偏小、黃昏偏大建立兩套參數(shù)實測取折中。5.3 漢字分割失敗要么切碎要么黏住現(xiàn)象分割結(jié)果里“川”字被切成兩半“冀”字黏在一起或者把車牌左右邊框當成字符。原因漢字筆畫復雜內(nèi)部筆畫導致垂直投影在一個字中間出現(xiàn)低谷直接把字符切斷了密集漢字筆畫間空隙太小投影段又連到一起鉚釘和邊框的特征和字符相似。解決組合三個手段。第一分割前做一次開運算3×1的核去掉單像素噪點。第二按車牌寬度約束字符數(shù)量和位置標準藍牌是7個字符第1位漢字寬、第2位字母窄、第3到7位均勻分布用這個先驗過濾投影段。第三寬度下限設(shè)為車牌寬度的5%把窄的邊框和鉚釘排除。def filter_chars(char_cols, plate_width): filtered [] for start, end in char_cols: w end - start if w plate_width * 0.05: continue # 太窄多半是鉚釘或邊框 if w plate_width * 0.25: continue # 太寬大概率不是單字符交給后續(xù)邏輯 filtered.append((start, end)) if len(filtered) 7: # 數(shù)量超出時按“字符寬度越接近均值越可信”保留7段 filtered.sort(keylambda seg: abs((seg[1]-seg[0]) - plate_width/7)) filtered filtered[:7] filtered.sort(keylambda seg: seg[0]) return filtered寬度過濾加數(shù)量約束后分割穩(wěn)定性提升明顯。但要注意新能源綠牌是8位字符比藍牌多一位按7位硬編碼會翻車。正確做法是先判斷車牌顏色再決定期望字符數(shù)藍牌7位、綠牌8位黃牌和黑牌按白字還是黑字區(qū)分。5.4 省份漢字識別率明顯低于數(shù)字字母現(xiàn)象整體識別率92%但“皖”“贛”“鄂”“瓊”這類字單獨看只有70%出頭錯的基本都是混到形狀相近的字上。原因各省份車牌漢字使用頻率不均真實場景里“京”“粵”“蘇”出現(xiàn)次數(shù)遠高于“藏”“瓊”如果沒有主動做數(shù)據(jù)均衡模型對低頻漢字的特征學習不充分。另外這些字筆畫密集32×32分辨率下筆畫邊緣粘連嚴重。解決訓練數(shù)據(jù)里對每個漢字類別單獨保證數(shù)量不能按真實分布采樣。合成階段每個漢字各生成3000張微調(diào)階段也要手動確保低頻漢字有足夠樣本。識別時如果連續(xù)多位結(jié)果可疑結(jié)合車牌結(jié)構(gòu)先驗做糾錯第一位必須是31個漢字之一第二位必須是24個字母之一非法組合直接標注為低置信度不要讓錯誤結(jié)果混進輸出。5.5 模型文件加載報錯key不匹配現(xiàn)象訓練時一切正常一跑推理就報Missing key(s) in state_dict或者size mismatch for classifier.4.weight。原因有兩種可能。一是網(wǎng)絡(luò)定義改動過比如num_classes從65改成31但加載的權(quán)重還是舊結(jié)構(gòu)二是訓練時用了DataParallel保存的權(quán)重帶module.前綴推理時單卡加載不上。解決加載時做一次狀態(tài)字典清洗把module.前綴剝掉再加載。state torch.load(plate_cnn.pth, map_locationcpu) new_state {} for k, v in state.items(): if k.startswith(module.): new_state[k[len(module.):]] v model.load_state_dict(new_state)這個坑幾乎每個PyTorch項目都會遇到一次提前把清洗邏輯寫成函數(shù)能省不少時間。改動網(wǎng)絡(luò)結(jié)構(gòu)后最穩(wěn)妥的辦法是重新全量訓練別賭舊權(quán)重能遷移。6. 識別率怎么驗證自制測試集與混淆矩陣分析把模型和流水線跑通只是開始真正要說服自己這套方案能用必須有客觀的評估數(shù)據(jù)。我的習慣是單獨留出兩百張不在訓練集里的真實照片涵蓋白天、傍晚、逆光、不同拍攝距離組成一個固定測試集。每次改完參數(shù)用同一套測試集跑一遍記錄準確率變化。不要拿訓練集里的圖反復驗證那只是自我感動。評估工具只看兩個分類準確率和混淆矩陣。準確率是總分混淆矩陣負責定位問題。代碼不復雜但能從矩陣里讀出哪個字被認成了哪個字from sklearn.metrics import confusion_matrix import matplotlib.pyplot as plt import torch def evaluate(model, loader, class_list): model.eval() all_preds [] all_labels [] with torch.no_grad(): for imgs, labels in loader: out model(imgs) preds out.argmax(dim1) all_preds.extend(preds.tolist()) all_labels.extend(labels.tolist()) cm confusion_matrix(all_labels, all_preds) # 打印每一類的recall找出拖后腿的類別 for i, cls in enumerate(class_list): recall cm[i, i] / (cm[i].sum() 1e-6) if recall 0.85: print(f{cls}: recall {recall:.3f}) plt.figure(figsize(16, 12)) plt.imshow(cm, cmapBlues) plt.xticks(range(len(class_list)), class_list, rotation90) plt.yticks(range(len(class_list)), class_list) plt.tight_layout() plt.savefig(confusion_matrix.png)看到熱力圖后處理思路就很清晰哪一類混淆嚴重就回去補哪一類的訓練樣本或者是這個字符本身在32×32下確實難分比如“0”和“O”如果同時出現(xiàn)在字符集里幾乎必然混。這也是我在第3章堅持去掉字母I和O的原因在字符集定義階段就把這種區(qū)分度極低的組合先排除掉。另一個很實用的習慣是保存所有識別失敗的樣例圖按預(yù)測類別分類歸檔。每周翻一次“錯題本”你會發(fā)現(xiàn)很多失敗集中在某個特定的拍攝角度或某個字體的再現(xiàn)。針對性地增加那類真實樣本進微調(diào)集比盲目增大整體數(shù)據(jù)量更劃算。最后說個血淚經(jīng)驗每輪改動只動一個變量。改HSV閾值就只改HSV閾值測完再改分割參數(shù)同時動多個變量出了問題根本說不清是哪個環(huán)節(jié)的鍋。這套OpenCV加CNN的方案優(yōu)點是每個環(huán)節(jié)都可觀測缺點是環(huán)節(jié)多、參數(shù)組合爆炸養(yǎng)成單變量實驗的習慣能少掉一半頭發(fā)。希望幫到你。本文還有配套的精品資源點擊獲取