1. 為什么我建議你從函數(shù)入手學(xué)OpenCV如果你去搜“OpenCV入門(mén)”大概率會(huì)看到一堆安裝教程和幾百個(gè)函數(shù)名的列表看完比沒(méi)看還懵。我自己剛接觸OpenCV的時(shí)候也是這樣——裝好環(huán)境cv2.imread能讀圖cv2.imshow能彈窗然后呢然后就不知道該干嘛了。真正讓我摸到門(mén)路的是后來(lái)不把函數(shù)當(dāng)“知識(shí)點(diǎn)”背而是把函數(shù)當(dāng)“工具”去解決手頭的具體問(wèn)題。OpenCV說(shuō)白了就是一個(gè)圖像處理和計(jì)算機(jī)視覺(jué)的工具箱它到今天已經(jīng)有超過(guò)2500個(gè)優(yōu)化過(guò)的算法函數(shù)。但你不需要都學(xué)日常項(xiàng)目里反復(fù)用到的翻來(lái)覆去就那二三十個(gè)。把這二三十個(gè)函數(shù)的參數(shù)含義、適用場(chǎng)景和坑搞明白你就能搞定絕大部分圖像預(yù)處理、特征提取、輪廓檢測(cè)的需求。這也是我寫(xiě)這篇東西的初衷——不講虛的概念只講我實(shí)際項(xiàng)目里驗(yàn)證過(guò)的函數(shù)用法和調(diào)用邏輯讓你看完能直接在自己機(jī)器上跑起來(lái)。這篇文章適合這些人剛學(xué)完P(guān)ython基礎(chǔ)、想在計(jì)算機(jī)視覺(jué)方向動(dòng)手的初學(xué)者做自動(dòng)化辦公、圖像批量處理、簡(jiǎn)單視覺(jué)質(zhì)檢的開(kāi)發(fā)者以及被網(wǎng)上零散教程繞暈、想系統(tǒng)捋一遍常用函數(shù)的人。咱們從圖像怎么讀進(jìn)來(lái)到怎么分析處理按真實(shí)項(xiàng)目的處理流程一路捋下來(lái)每個(gè)環(huán)節(jié)我會(huì)告訴你為什么要這么調(diào)參數(shù)以及我踩過(guò)的坑。2. 圖像從哪來(lái)、到哪去——讀寫(xiě)與顯示函數(shù)2.1 imread讀取圖像的隱藏細(xì)節(jié)cv2.imread(path, flag)是幾乎所有OpenCV程序的起點(diǎn)。第一個(gè)參數(shù)是圖片路徑第二個(gè)參數(shù)是讀取模式默認(rèn)是cv2.IMREAD_COLOR也就是按BGR三通道彩色圖讀進(jìn)來(lái)。這里必須注意一件事OpenCV讀進(jìn)來(lái)后的通道順序是BGR不是RGB。你如果直接用OpenCV讀圖、然后用matplotlib的plt.imshow()去顯示會(huì)發(fā)現(xiàn)圖片顏色偏藍(lán)偏紅——因?yàn)閙atplotlib默認(rèn)按RGB解釋。我第一次就栽在這上面還以為是圖片壞了。解決辦法很簡(jiǎn)單顯示前用cv2.cvtColor(img, cv2.COLOR_BGR2RGB)轉(zhuǎn)一下通道順序。在實(shí)際工作中凡是OpenCV和其他圖像庫(kù)PIL、matplotlib混用的時(shí)候通道順序永遠(yuǎn)是第一個(gè)要確認(rèn)的問(wèn)題。還有一個(gè)實(shí)際項(xiàng)目中很常見(jiàn)的坑imread中文路徑直接讀不出來(lái)也不報(bào)錯(cuò)返回的是None。你后面任何對(duì)這張圖的操作都會(huì)報(bào)“AttributeError: NoneType object has no attribute ...”。解決方案有兩種一是把路徑和文件名統(tǒng)一改成英文二是用cv2.imdecode配合np.fromfile來(lái)讀。我在給某個(gè)圖像處理Demo寫(xiě)代碼時(shí)因?yàn)槲募强蛻舭l(fā)來(lái)的文件名是“效果圖_2023.png”這種用imdecode才解決了問(wèn)題代碼是這樣寫(xiě)的import numpy as np import cv2 def imread_unicode(path): # 解決中文路徑讀取問(wèn)題 data np.fromfile(path, dtypenp.uint8) return cv2.imdecode(data, cv2.IMREAD_COLOR)2.2 imwrite寫(xiě)入圖片要注意的參數(shù)cv2.imwrite(path, img)保存圖片返回值是布爾值告訴你是True還是False保存是否成功。按我的經(jīng)驗(yàn)保存時(shí)需要關(guān)注兩個(gè)點(diǎn)圖像質(zhì)量和格式參數(shù)。比如保存JPG時(shí)可以通過(guò)第三個(gè)參數(shù)控制壓縮質(zhì)量cv2.imwrite(out.jpg, img, [cv2.IMWRITE_JPEG_QUALITY, 95])數(shù)值范圍0到100越大質(zhì)量越高文件越大。保存PNG時(shí)用cv2.IMWRITE_PNG_COMPRESSION范圍0到9是壓縮級(jí)別越大文件越小但耗時(shí)越長(zhǎng)。實(shí)操中還有兩個(gè)細(xì)節(jié)能省你半天時(shí)間第一imwrite同樣不支持中文路徑可以用cv2.imencode配合tofile()來(lái)解決第二你要保存的圖如果是浮點(diǎn)型比如歸一化到0~1的float圖像imwrite會(huì)直接報(bào)錯(cuò)或保存成白圖。正確做法是先把圖像乘255轉(zhuǎn)換成uint8類(lèi)型再保存。每次處理完圖像記得確認(rèn)一下dtype這是我調(diào)試各種奇怪問(wèn)題時(shí)總結(jié)出來(lái)的教訓(xùn)。2.3 顯示圖像的最穩(wěn)方案cv2.imshow(window, img)配合cv2.waitKey(0)彈窗顯示適合快速驗(yàn)證。但它在某些環(huán)境比如服務(wù)器、無(wú)桌面系統(tǒng)、遠(yuǎn)程SSH下根本彈不出窗口或者彈出來(lái)就無(wú)響應(yīng)。我現(xiàn)在的做法是調(diào)試代碼時(shí)統(tǒng)一用matplotlib顯示或者把中間結(jié)果保存成圖片再打開(kāi)看。此外還要強(qiáng)調(diào)cv2.waitKey()的參數(shù)waitKey(0)表示無(wú)限等待按鍵waitKey(30)表示等待30毫秒。如果你在循環(huán)里逐幀顯示視頻流又不加waitKey窗口就會(huì)卡死。這個(gè)函數(shù)返回的是按鍵的ASCII碼常用來(lái)做“按ESC退出”——if cv2.waitKey(1) 0xFF 27: break。這些都是看著不起眼、但實(shí)際調(diào)試時(shí)必用的細(xì)節(jié)。3. 打開(kāi)圖像第一件事——色彩空間轉(zhuǎn)換3.1 cvtColor的常用轉(zhuǎn)換場(chǎng)景cv2.cvtColor(src, code)是圖像預(yù)處理里出場(chǎng)率最高的函數(shù)核心作用是轉(zhuǎn)換色彩空間。最常用的code有cv2.COLOR_BGR2GRAY彩色圖轉(zhuǎn)灰度圖用于簡(jiǎn)化計(jì)算cv2.COLOR_BGR2HSV彩色圖轉(zhuǎn)HSV色彩空間便于按顏色做分割cv2.COLOR_BGR2RGB通道重排用于和其他庫(kù)對(duì)接我通常把灰度轉(zhuǎn)換放在所有處理的第一步因?yàn)榛叶葓D只有一個(gè)通道數(shù)據(jù)量只有原來(lái)的三分之一運(yùn)算速度大幅提升。而且在很多場(chǎng)景下顏色信息不是關(guān)鍵——比如做邊緣檢測(cè)、輪廓提取灰度圖已經(jīng)足夠穩(wěn)定。做顏色識(shí)別或顏色分類(lèi)時(shí)則應(yīng)該轉(zhuǎn)HSV而不是RGB。3.2 為什么顏色識(shí)別要選HSV做顏色識(shí)別時(shí)千萬(wàn)別直接在BGR或RGB空間里做閾值判斷。BGR三個(gè)通道對(duì)光照極其敏感同一個(gè)紅色物體在陰影和強(qiáng)光下畫(huà)出來(lái)BGR數(shù)值能差出一大截。HSV色調(diào)、飽和度、明度把色相單獨(dú)拆到H通道受明暗變化的影響就小得多。有一個(gè)我負(fù)責(zé)過(guò)的項(xiàng)目是識(shí)別流水線上不同顏色的工件一開(kāi)始在BGR空間里寫(xiě)規(guī)則怎么調(diào)閾值都誤判后來(lái)切到HSV效果一下子穩(wěn)了。工業(yè)上做顏色分割十有八九都是先把圖轉(zhuǎn)到HSV再用cv2.inRange()提取某個(gè)色相范圍。參數(shù)要邊調(diào)邊看效果H的范圍通常取±10S和V的范圍要根據(jù)現(xiàn)場(chǎng)光線來(lái)收縮或放大。4. 讓圖像“聽(tīng)話”的幾何變換基礎(chǔ)4.1 resize調(diào)整尺寸時(shí)別忽略插值方式cv2.resize(src, dsize, fx, fy, interpolation)是另一個(gè)高頻函數(shù)。第二、三個(gè)參數(shù)控制尺寸第四、五個(gè)參數(shù)控制縮放系數(shù)最后一個(gè)參數(shù)interpolation控制插值方式。插值方式不是隨便選的我實(shí)際用下來(lái)是這樣縮小圖片時(shí)用cv2.INTER_AREA效果最好可以避免出現(xiàn)鋸齒和摩爾紋放大圖片時(shí)用cv2.INTER_LINEAR雙線性插值性價(jià)比最高如果追求更平滑可以用cv2.INTER_CUBIC但速度會(huì)慢不少。做深度學(xué)習(xí)預(yù)處理時(shí)很多框架默認(rèn)用雙線性插值因此你resize時(shí)最好也保持一致否則訓(xùn)練和推理的輸入分布會(huì)有細(xì)微偏差。4.2 旋轉(zhuǎn)與平移的矩陣計(jì)算旋轉(zhuǎn)和平移在OpenCV里不是直接傳“角度”和“位移”的而是要你先算變換矩陣。h, w img.shape[:2] # 圖像旋轉(zhuǎn)中心、旋轉(zhuǎn)角度、縮放比例 M cv2.getRotationMatrix2D((w/2, h/2), 45, 1.0) rotated cv2.warpAffine(img, M, (w, h))這段代碼的意思是先把圖像以其中心為圓心旋轉(zhuǎn)45度再做仿射變換輸出。旋轉(zhuǎn)后圖像尺寸如果和原圖一樣四個(gè)角會(huì)被裁掉想要完整保留就必須把輸出尺寸擴(kuò)大或者在對(duì)角線長(zhǎng)度之外填充背景色。平移也是同理用warpAffine傳一個(gè)2x3的矩陣M np.float32([[1,0,dx],[0,1,dy]])其中dx、dy是水平和垂直位移量。4.3 透視變換矯正傾斜遇到需要“拉直”的場(chǎng)景比如拍歪了的文檔、傾斜的屏幕邊框cv2.getPerspectiveTransform配合cv2.warpPerspective是標(biāo)準(zhǔn)方案。做法是先找到圖像中四個(gè)角點(diǎn)再指定目標(biāo)矩形的四角計(jì)算變換矩陣并做投影變換。這是個(gè)很經(jīng)典的需求——我做過(guò)一個(gè)“圖像矯正Demo”把手機(jī)拍的斜著擺放的A4紙矯正成正面視角效果很驚艷。核心代碼就是四個(gè)點(diǎn)的對(duì)應(yīng)關(guān)系pts_src np.float32([[56, 65], [368, 52], [28, 387], [389, 390]]) pts_dst np.float32([[0, 0], [300, 0], [0, 400], [300, 400]]) M cv2.getPerspectiveTransform(pts_src, pts_dst) result cv2.warpPerspective(img, M, (300, 400))角點(diǎn)順序必須對(duì)應(yīng)好左上、右上、左下、右下。順序一亂輸出的圖就是扭曲錯(cuò)位的一般調(diào)試半天發(fā)現(xiàn)是點(diǎn)序問(wèn)題。5. 去除噪聲的幾種濾波手段5.1 均值模糊與高斯模糊的選擇噪聲是圖像處理繞不開(kāi)的問(wèn)題濾波就是為了在盡量保留細(xì)節(jié)的前提下去掉干擾。OpenCV提供了一大堆濾波函數(shù)但實(shí)際項(xiàng)目里用得相對(duì)多的主要是均值模糊、高斯模糊、中值濾波和雙邊濾波。均值模糊cv2.blur(img, (5,5))用的是簡(jiǎn)單的核平均速度快但邊緣也容易被模糊掉。高斯模糊cv2.GaussianBlur(img, (5,5), 0)在核內(nèi)做了加權(quán)平均中心像素權(quán)重最大效果比均值柔和又能較好保留邊緣輪廓。兩個(gè)都用來(lái)做“整體平滑”核大小必須是正奇數(shù)比如3、5、7否則OpenCV直接報(bào)錯(cuò)核越大圖像越模糊細(xì)節(jié)丟失越多你在做邊緣檢測(cè)之前往往會(huì)先做一次高斯模糊——因?yàn)镃anny邊緣檢測(cè)對(duì)噪聲極其敏感預(yù)處理這一步能顯著減少后續(xù)誤檢。這是一個(gè)實(shí)戰(zhàn)里驗(yàn)證過(guò)無(wú)數(shù)次的固定套路。5.2 中值濾波對(duì)椒鹽噪聲有奇效椒鹽噪聲就是圖像上隨機(jī)出現(xiàn)的白色或黑色小點(diǎn)像鹽和胡椒在工業(yè)攝像頭傳輸或老舊傳感器中很常見(jiàn)。對(duì)這種噪聲均值和高斯濾波效果都不理想中值濾波cv2.medianBlur(img, 5)才是對(duì)癥下藥——它取窗口內(nèi)所有像素值的中位數(shù)作為中心值能直接把孤立的噪點(diǎn)干掉又不怎么破壞邊緣。第二位參數(shù)同樣是奇數(shù)。我在處理某次從模擬攝像頭采集的圖像時(shí)畫(huà)面上全是閃白點(diǎn)用medianBlur一下子就干凈了速度還能接受。后來(lái)形成的習(xí)慣是遇到明顯的脈沖型噪聲第一反應(yīng)就是用中值濾波而不是盲目上高斯。5.3 雙邊濾波保邊去噪如果既要平滑又不想把邊緣磨沒(méi)了就用cv2.bilateralFilter(img, d, sigmaColor, sigmaSpace)。它考慮了兩個(gè)權(quán)重像素值差異的權(quán)重和空間距離的權(quán)重。顏色差異大的地方邊緣權(quán)重降低避免被平均掉顏色相近的平坦區(qū)域則被充分平滑。這就像是你用磨皮工具時(shí)特意避開(kāi)了五官輪廓線。它的參數(shù)不好調(diào)d是鄰域直徑sigmaColor是顏色空間的標(biāo)準(zhǔn)差sigmaSpace是坐標(biāo)空間的標(biāo)準(zhǔn)差。我通常建議d取5到9sigmaColor和sigmaSpace從10開(kāi)始試效果不夠再加。不過(guò)雙邊濾波速度慢在視頻實(shí)時(shí)處理里要慎用。6. 從背景里把人或物挖出來(lái)——閾值分割6.1 固定閾值用threshold直接搞定cv2.threshold(src, thresh, maxval, type)是圖像分割最基礎(chǔ)的入口。給定一個(gè)閾值 thresh把圖像中每個(gè)像素和它比較大于閾值的設(shè)成maxval小于閾值的置0或反過(guò)來(lái)。在實(shí)際項(xiàng)目里我最常用的組合是cv2.THRESH_BINARY和cv2.THRESH_BINARY_INV。前者是“高于閾值變白”后者是“低于閾值變白”。比如做答題卡識(shí)別時(shí)要圈出填涂區(qū)域就要把深色筆跡提取出來(lái)這時(shí)候用THRESH_BINARY_INV就能讓筆跡變成白色、背景變黑方便后續(xù)找輪廓。固定閾值的痛點(diǎn)是光照一變同一個(gè)閾值就不適用了。如果你在室內(nèi)白光的穩(wěn)定環(huán)境固定閾值完全夠用如果場(chǎng)景光線不可控就得往下看自適應(yīng)閾值。6.2 光照不均用adaptiveThreshold硬扛cv2.adaptiveThreshold(src, maxval, adaptiveMethod, thresholdType, blockSize, C)針對(duì)光照不均勻的圖像效果不錯(cuò)。它的核心思想是每個(gè)像素用自己的鄰域亮度均值或高斯加權(quán)均值減去常數(shù)C作為閾值而不是全局用同一個(gè)值。adaptiveMethod選cv2.ADAPTIVE_THRESH_GAUSSIAN_C效果通常優(yōu)于均值法blockSize是鄰域大小必須是奇數(shù)C是修正值越大則整體保留的白色越多。需要注意這個(gè)函數(shù)輸入必須得是灰度圖單通道而且處理結(jié)果對(duì)blockSize和C很敏感需要反復(fù)試幾組參數(shù)才能找到最合適的搭配。我處理掃描文檔的時(shí)候常把blockSize設(shè)在15到25之間C設(shè)在2到5之間。6.3 Otsu自動(dòng)閾值怎么用才靠譜不想手調(diào)閾值就交給Otsu。它的原理是窮舉所有可能的閾值找到一個(gè)能讓分割出來(lái)的前景和背景“類(lèi)內(nèi)方差最小”的閾值本質(zhì)上是自動(dòng)尋找最佳分界點(diǎn)。用法是給threshold方法傳入cv2.THRESH_OTSU標(biāo)志此時(shí)傳入的 thresh 值會(huì)被忽略函數(shù)返回的第二個(gè)值就是算出來(lái)的最優(yōu)閾值th, result cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY cv2.THRESH_OTSU)我在做某個(gè)圖像處理Demo時(shí)一批表格圖片的拍照亮度各不相同用Otsu一次性把所有圖片都分割干凈了省去了逐張調(diào)閾值的重復(fù)勞動(dòng)。Otsu的歷史意義在于它是第一個(gè)公認(rèn)的自動(dòng)閾值選擇算法1979年提出之后一直是圖像分割領(lǐng)域的地基。但它也不是萬(wàn)能的——當(dāng)圖像直方圖是單峰比如前景占比極小或極大時(shí)Otsu算出來(lái)的閾值會(huì)不理想此時(shí)還是得手動(dòng)指定閾值。7. 找邊緣、摳輪廓——形態(tài)學(xué)操作7.1 膨脹與腐蝕放大白色區(qū)域還是縮小想理解OpenCV的形態(tài)學(xué)操作要先把二值圖里的白色當(dāng)成“前景”。腐蝕cv2.erode是讓前景縮小把邊界上的像素“吃掉”能去掉小而孤立的噪點(diǎn)膨脹cv2.dilate是讓前景擴(kuò)大把空洞或斷裂處“補(bǔ)上”能連接斷開(kāi)的區(qū)域。它們的參數(shù)結(jié)構(gòu)很像cv2.erode(src, kernel, iterations)。kernel 可以用np.ones((5,5), np.uint8)或者cv2.getStructuringElement(cv2.MORPH_RECT, (5,5))來(lái)定義。后者返回一個(gè)結(jié)構(gòu)元選擇不同形狀矩形、十字、橢圓會(huì)直接影響腐蝕膨脹的“形態(tài)學(xué)方向性”。矩形結(jié)構(gòu)元是通用選擇如果要做橫線檢測(cè)用長(zhǎng)條矩形核會(huì)只保留橫向結(jié)構(gòu)。7.2 開(kāi)運(yùn)算與閉運(yùn)算兩步合一的常見(jiàn)操作cv2.morphologyEx(src, op, kernel)一個(gè)函數(shù)封裝了所有復(fù)合形態(tài)學(xué)操作。op傳入不同的枚舉值cv2.MORPH_OPEN開(kāi)運(yùn)算先腐蝕后膨脹作用是去白噪點(diǎn)、斷開(kāi)細(xì)小連接cv2.MORPH_CLOSE閉運(yùn)算先膨脹后腐蝕作用是補(bǔ)小黑洞、連接斷口cv2.MORPH_GRADIENT形態(tài)學(xué)梯度膨脹減腐蝕效果是提取邊緣輪廓實(shí)際項(xiàng)目中最常用的順序是先用開(kāi)運(yùn)算去噪再用閉運(yùn)算填補(bǔ)輪廓的縫隙。這一步在文字識(shí)別前、輪廓分析前都很有價(jià)值。我處理PCB板檢測(cè)時(shí)焊盤(pán)周?chē)陌咨朦c(diǎn)很干擾定位開(kāi)運(yùn)算一遍就直接清掉了效果立竿見(jiàn)影。7.3 用連通區(qū)域分析和輪廓函數(shù)做區(qū)域提取形態(tài)學(xué)處理完的二值圖接下來(lái)一般要連通區(qū)域分析或輪廓提取。cv2.connectedComponentsWithStats能一次性給出每個(gè)連通區(qū)域的外接矩形、面積和中心點(diǎn)坐標(biāo)對(duì)“統(tǒng)計(jì)圖像里有幾個(gè)對(duì)象、每個(gè)對(duì)象多大”這類(lèi)任務(wù)特別好用。它會(huì)把每個(gè)孤立區(qū)域編號(hào)背景編號(hào)為0從1開(kāi)始是各個(gè)前景目標(biāo)。另一個(gè)繞不開(kāi)的函數(shù)是cv2.findContours找輪廓。在OpenCV 3.x之后它返回兩個(gè)值contours所有輪廓點(diǎn)集和hierarchy輪廓層級(jí)關(guān)系不再返回中間的二值圖。使用時(shí)建議傳入cv2.RETR_EXTERNAL只取最外層輪廓和cv2.CHAIN_APPROX_SIMPLE壓縮輪廓點(diǎn)數(shù)既能滿足大部分場(chǎng)景又能減少計(jì)算量。contours, hierarchy cv2.findContours(binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)拿到輪廓后配合cv2.boundingRect(contour)拿到外接矩形的坐標(biāo)和寬高cv2.contourArea(contour)拿到面積就可以按面積過(guò)濾掉小噪點(diǎn)只保留目標(biāo)區(qū)域了。這套“二值化→形態(tài)學(xué)清理→找輪廓→按面積過(guò)濾→畫(huà)框”的流程幾乎可以應(yīng)對(duì)所有目標(biāo)定位需求是我用得最舒服的一套組合拳。8. 邊緣檢測(cè)到底在檢測(cè)什么——Canny方法論8.1 Canny的來(lái)龍去脈cv2.Canny(image, threshold1, threshold2)是現(xiàn)代邊緣檢測(cè)的事實(shí)標(biāo)準(zhǔn)由John F. Canny在1986年提出。它不是一個(gè)單一操作而是一整套流程先高斯濾波去噪再計(jì)算每個(gè)像素的梯度幅值和方向用Sobel算子然后做非極大值抑制讓邊緣變細(xì)只有一個(gè)像素寬最后用雙閾值和滯后處理連接邊緣。雙閾值的含義大于threshold2的像素被確定為強(qiáng)邊緣保留小于threshold1的像素被抑制介于兩者之間的像素如果與強(qiáng)邊緣相連也會(huì)被保留孤立的話則被丟棄。所以官方建議的比例是threshold1 : threshold2 1 : 2或1 : 3。8.2 兩個(gè)閾值如何設(shè)定threshold1設(shè)得越低檢測(cè)到的邊緣越多包含的噪聲也越多threshold2設(shè)得越低強(qiáng)邊緣的判定標(biāo)準(zhǔn)越寬松長(zhǎng)邊緣更容易被連接起來(lái)。經(jīng)驗(yàn)值一般從100, 200開(kāi)始或者50, 150根據(jù)圖像灰度范圍跑一遍看結(jié)果再微調(diào)。我實(shí)測(cè)下來(lái)的體會(huì)是閾值不是越大越好越小的閾值并不代表越準(zhǔn)關(guān)鍵在于找到讓你的目標(biāo)輪廓完整、背景噪聲最少的那個(gè)區(qū)間。Canny的參數(shù)調(diào)節(jié)在在線視覺(jué)檢測(cè)里是必修課調(diào)起來(lái)也最快因?yàn)槟闵晕?dòng)一下threshold1邊緣數(shù)量就會(huì)有肉眼可見(jiàn)的變化。調(diào)參時(shí)最好做一個(gè)小滑桿工具一邊拖數(shù)字一邊看效果比盲目改代碼高效得多。9. 從圖像中提取有用信息——一個(gè)實(shí)際項(xiàng)目串聯(lián)9.1 場(chǎng)景描述識(shí)別答題卡填涂區(qū)域我拿一個(gè)經(jīng)典的“答題卡識(shí)別”案例把這些函數(shù)串起來(lái)。任務(wù)要求給定一張答題卡照片找到所有被填涂的選項(xiàng)框并輸出其坐標(biāo)。難點(diǎn)在于照片角度歪、有陰影、填涂筆跡深淺不一。流程如下讀圖并轉(zhuǎn)灰度cv2.imreadcv2.cvtColor(..., cv2.COLOR_BGR2GRAY)高斯模糊降噪cv2.GaussianBlur(gray, (5,5), 0)自適應(yīng)閾值分割凸顯筆跡cv2.adaptiveThreshold形態(tài)學(xué)開(kāi)運(yùn)算去除小雜點(diǎn)cv2.morphologyEx找輪廓并過(guò)濾面積contours, _ cv2.findContours(binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) boxes [] for cnt in contours: area cv2.contourArea(cnt) if area 50: # 濾掉過(guò)小噪點(diǎn) x, y, w, h cv2.boundingRect(cnt) boxes.append((x, y, w, h))在原圖上畫(huà)矩形并保存cv2.rectanglecv2.imwrite9.2 每步為什么要這么做這里的每一步都能解釋灰度轉(zhuǎn)換省計(jì)算高斯模糊讓Canny如果后續(xù)加邊緣檢測(cè)不受像素級(jí)噪聲干擾自適應(yīng)閾值比固定閾值更能扛住光線不均開(kāi)運(yùn)算是為了把填涂邊緣的毛刺清理掉、讓后續(xù)矩形框更穩(wěn)定按面積過(guò)濾能直接篩掉極小的噪點(diǎn)很多是打印噪點(diǎn)。整個(gè)流程里的函數(shù)沒(méi)有一個(gè)是多余的也沒(méi)有一個(gè)是非用不可的炫技。這也正是OpenCV函數(shù)學(xué)習(xí)的正確姿勢(shì)先有一個(gè)明確的處理目標(biāo)再倒推需要哪些函數(shù)、怎么調(diào)順序、怎么定參數(shù)。而不是把函數(shù)列表背下來(lái)然后對(duì)著圖像發(fā)呆。9.3 代碼整體跑通的效果整套代碼跑完輸出就是帶有框選標(biāo)記的答題卡圖片每個(gè)被識(shí)別出的填涂區(qū)域都有一個(gè)矩形框。這個(gè)效果拿到實(shí)際學(xué)生數(shù)據(jù)的測(cè)試集上識(shí)別基本穩(wěn)定。唯一需要微調(diào)的參數(shù)是自適應(yīng)閾值的blockSize因?yàn)椴煌瑨呙鑳x出來(lái)的圖分辨率不一樣。你以后自己做類(lèi)似項(xiàng)目時(shí)只需要把這套流程的中間步驟打印出來(lái)看一眼二值圖哪里不對(duì)勁就知道該調(diào)哪個(gè)函數(shù)。10. 調(diào)試過(guò)程中的常見(jiàn)問(wèn)題與排查技巧10.1 常見(jiàn)問(wèn)題速查表癥狀可能原因解決方案顯示出來(lái)的圖片顏色不對(duì)BGR/RGB通道順序搞混用cvtColor(..., COLOR_BGR2RGB)后再顯示讀圖讀不出來(lái)但沒(méi)報(bào)錯(cuò)路徑有中文字符用imdecodenp.fromfile讀取Canny檢測(cè)出密密麻麻的細(xì)線沒(méi)做前置濾波或閾值太低先高斯模糊再提高兩個(gè)閾值輪廓檢測(cè)結(jié)果把整張圖包住了沒(méi)有用二進(jìn)制圖直接找輪廓先做閾值或邊緣檢測(cè)得到干凈的輪廓圖保存圖片是空白的dtype不對(duì)可能是float型轉(zhuǎn)成np.uint8類(lèi)型再保存二值圖里目標(biāo)全是破洞閾值分割后沒(méi)有做閉運(yùn)算加一步morphologyEx(..., MORPH_CLOSE)程序閃退無(wú)報(bào)錯(cuò)imshow前沒(méi)有waitKey調(diào)用cv2.waitKey(0)這些問(wèn)題我?guī)缀趺總€(gè)都遇到過(guò)一次以上現(xiàn)在寫(xiě)代碼前會(huì)習(xí)慣性檢查圖讀了沒(méi)有、dtype是什么、通道順序?qū)Σ粚?duì)、二值圖干不干凈。這四件事看完了九成問(wèn)題都已經(jīng)解決。10.2 調(diào)試的高效思路讓中間結(jié)果可見(jiàn)我調(diào)試OpenCV代碼時(shí)最常干的一件事是“保存中間結(jié)果”。每做完一步處理就cv2.imwrite(step_n.jpg, result)看一眼。這樣能迅速定位問(wèn)題到底出在預(yù)處理、二值化、還是輪廓分析環(huán)節(jié)而不是瞎猜。具體排查思路是灰度圖輸出正常但二值圖混亂 → 調(diào)閾值或換自適應(yīng)方法二值圖干凈但輪廓不對(duì) → 調(diào)整findContours的檢索模式輪廓對(duì)但定位框偏了 → 檢查boundingRect的坐標(biāo)來(lái)源是不是原圖這種逐步可視化排查的思路比看報(bào)錯(cuò)日志更方便。OpenCV的免費(fèi)教程那么多但Debug的思路是靠親手寫(xiě)出來(lái)的。10.3 性能優(yōu)化的幾個(gè)實(shí)用判斷處理視頻幀或大批量圖片時(shí)幀率和延遲很重要。幾個(gè)降低耗時(shí)的手段按性價(jià)比從高到低排序縮小圖像尺寸resize到處理所需的最小分辨率識(shí)別精度影響不大但速度快好幾倍減少不必要的cvtColor如果能直接用灰度圖就不要先讀彩色圖再轉(zhuǎn)換讀圖時(shí)直接傳cv2.IMREAD_GRAYSCALE避免大核濾波GaussianBlur核從 (3,3) 換成 (5,5)耗時(shí)漲得比想象中快盡量用C或把瓶頸用OpenCV內(nèi)置函數(shù)做批量處理Python里多次遍歷像素是性能殺手11. 這些函數(shù)背后藏著整個(gè)計(jì)算機(jī)視覺(jué)的底層邏輯寫(xiě)了這么多函數(shù)你會(huì)發(fā)現(xiàn)它們之間其實(shí)有一條主線先整理圖像讀寫(xiě)、轉(zhuǎn)換、幾何變換再清理雜質(zhì)濾波、形態(tài)學(xué)然后分離目標(biāo)閾值、邊緣最后分析目標(biāo)輪廓、連通域、統(tǒng)計(jì)特征。這條主線幾乎就是所有實(shí)用視覺(jué)項(xiàng)目的骨架從二維碼識(shí)別到工業(yè)質(zhì)檢、從醫(yī)療影像到自動(dòng)駕駛本質(zhì)都是這么一步步過(guò)來(lái)的。我見(jiàn)過(guò)不少初學(xué)者一會(huì)兒學(xué)人臉識(shí)別一會(huì)兒學(xué)目標(biāo)跟蹤到處找高級(jí)算法的代碼結(jié)果跑通了也不知道內(nèi)部在干什么。其實(shí)高級(jí)算法大量依賴這些基礎(chǔ)函數(shù)——人臉檢測(cè)前要轉(zhuǎn)灰度、縮放、直方圖均衡化目標(biāo)跟蹤前要做背景分割、輪廓提取。把底層函數(shù)吃透后面學(xué)任何模型、任何框架你都會(huì)發(fā)現(xiàn)不過(guò)是在這些步驟之上疊了更多的智能策略而已。我個(gè)人在實(shí)際操作中的體會(huì)是看一百個(gè)函數(shù)不如用熟十個(gè)函數(shù)。拿我自己的模擬項(xiàng)目X來(lái)說(shuō)從頭到尾用的函數(shù)不超過(guò)20個(gè)但每一條處理鏈都經(jīng)過(guò)現(xiàn)場(chǎng)好幾輪驗(yàn)證。你上手的時(shí)候用心把那套“二值化→形態(tài)學(xué)→找輪廓→畫(huà)框”的手法練到條件反射基礎(chǔ)就牢固了學(xué)新東西的速度會(huì)明顯變快。最后再分享一個(gè)小技巧不管做什么圖像處理測(cè)參數(shù)的時(shí)候把每一步的中間結(jié)果都輸出到本地一個(gè)文件夾命名帶上參數(shù)值比如block_15_C_3.jpg。這樣你對(duì)比效果時(shí)就有據(jù)可查過(guò)一周回來(lái)看還能根據(jù)文件名快速回想當(dāng)時(shí)處理鏈的配置比空口調(diào)參強(qiáng)太多了。把這條習(xí)慣堅(jiān)持下去你的項(xiàng)目迭代速度會(huì)快很多。