建到圖像匹配實(shí)戰(zhàn))
幾年前做圖像拼接項(xiàng)目時(shí)甲方給的素材基本都是手機(jī)隨手拍的照片角度、光照、遮擋五花八門傳統(tǒng)的角點(diǎn)檢測(cè)換了好幾種匹配結(jié)果只能用“慘不忍睹”來(lái)形容。后來(lái)狠下心把SIFT整套流程啃了一遍問(wèn)題才算真正解決。SIFT確實(shí)是目前公認(rèn)的、在尺度變化、旋轉(zhuǎn)、光照變化下表現(xiàn)最穩(wěn)定的局部特征描述子雖然它已經(jīng)問(wèn)世二十多年但在很多實(shí)際工程里依然是首選。這篇文章就把我對(duì)SIFT的完整理解和落地經(jīng)驗(yàn)做個(gè)梳理從原理到實(shí)操?gòu)膮?shù)調(diào)試到坑點(diǎn)排查全程按照自己踩過(guò)的路子來(lái)寫希望能幫到正在做圖像匹配、三維重建、物體識(shí)別或者全景拼接的朋友。1. SIFT為什么能被稱為“最佳性能描述子”先聊一個(gè)最直接的問(wèn)題市面上特征點(diǎn)算法那么多Harris、FAST、ORB、SURF、BRISK、AKAZE一個(gè)比一個(gè)快為什么在需要穩(wěn)定匹配的場(chǎng)景里大家還是會(huì)回頭選SIFTSIFT全稱是Scale-Invariant Feature Transform尺度不變特征變換。它最核心的價(jià)值是兩個(gè)第一提取出的特征點(diǎn)對(duì)圖像的縮放、旋轉(zhuǎn)、光照變化有很強(qiáng)的魯棒性第二它生成的描述子有128維信息量足夠大區(qū)分能力強(qiáng)在遮擋、視角變化的情況下依然能保持較好的匹配效果。這兩個(gè)特性恰好是很多實(shí)際視覺(jué)任務(wù)的基礎(chǔ)。拿FAST和ORB來(lái)說(shuō)它們的速度優(yōu)勢(shì)是實(shí)打?qū)嵉牡秉c(diǎn)也很明顯——沒(méi)有真正的尺度空間分析遇到圖像縮放就很容易丟失特征點(diǎn)。舉個(gè)簡(jiǎn)單的例子一張640×480的圖片檢測(cè)到500個(gè)角點(diǎn)把圖片縮小一半再檢測(cè)能重復(fù)命中的可能不到一半。這種尺度不穩(wěn)定性在圖像拼接、相機(jī)標(biāo)定、視覺(jué)定位等場(chǎng)景里是致命的因?yàn)橥粓?chǎng)景在不同距離、不同分辨率下出現(xiàn)是很正常的事。SIFT的另一大優(yōu)勢(shì)是它的描述子設(shè)計(jì)。它不只是在特征點(diǎn)周圍取一個(gè)固定大小的像素塊而是基于特征點(diǎn)的梯度方向分布構(gòu)建一個(gè)128維的向量。這個(gè)向量經(jīng)過(guò)歸一化處理后對(duì)光照變化有很強(qiáng)的抵抗力。實(shí)測(cè)下來(lái)即便兩張圖片的曝光差異很大SIFT描述子的歐氏距離依然能保持在合理范圍內(nèi)而很多輕量級(jí)描述子在這種條件下早就亂成一鍋粥了。當(dāng)然SIFT不是沒(méi)有代價(jià)。它的計(jì)算量明顯高于ORB這類算法在CPU上處理一張普通分辨率圖片可能需要幾十毫秒到上百毫秒。但換個(gè)角度想如果匹配失敗導(dǎo)致整個(gè)流程重來(lái)浪費(fèi)的時(shí)間遠(yuǎn)比多花的那幾十毫秒多得多。工程上追求的是整體鏈路的穩(wěn)定性而不是單個(gè)環(huán)節(jié)的最快速度。所以我的看法很明確SIFT在“性能”這個(gè)詞的完整含義——準(zhǔn)確性、魯棒性、可重復(fù)性——上確實(shí)配得上“最佳描述子”的稱號(hào)。它并非在所有場(chǎng)景都適合但在你能接受它的計(jì)算開銷的前提下它幾乎是最不會(huì)讓你失望的選擇。2. SIFT核心原理拆解尺度空間、關(guān)鍵點(diǎn)定位、方向分配與描述子構(gòu)建SIFT的整體流程可以分成四步構(gòu)建尺度空間、精確定位關(guān)鍵點(diǎn)、分配主方向、生成描述子。每一環(huán)都有自己的設(shè)計(jì)邏輯理解這些邏輯比單純背步驟重要得多因?yàn)槟阍谡{(diào)參和排查問(wèn)題的時(shí)候只有理解了每一步在做什么才知道從哪個(gè)方向下手。2.1 尺度空間與高斯差分金字塔為什么非要搞一堆模糊圖SIFT的第一件事是構(gòu)建圖像的尺度空間。這個(gè)叫法聽(tīng)起來(lái)玄乎說(shuō)白了就是模擬人眼在不同距離觀察物體的效果。距離遠(yuǎn)的時(shí)候物體細(xì)節(jié)模糊、輪廓為主距離近的時(shí)候細(xì)節(jié)清晰。算法要做的就是生成一系列不同模糊程度、不同分辨率的圖像然后在里面找“在多個(gè)尺度下都穩(wěn)定存在”的特征點(diǎn)。具體做法是對(duì)原圖做高斯模糊用不同的標(biāo)準(zhǔn)差σ生成一組圖像這就是一個(gè)“八度”O(jiān)ctave。然后對(duì)圖像做隔點(diǎn)采樣縮小一半再生成下一組模糊圖如此重復(fù)。構(gòu)建好金字塔后用相鄰兩層高斯模糊圖做差得到高斯差分圖Difference of Gaussian簡(jiǎn)稱DoG。這里有一個(gè)重要的參數(shù)高斯模糊的組數(shù)nOctaves和每組的層數(shù)nOctaveLayers。OpenCV里SIFT_create()默認(rèn)參數(shù)是nfeatures0、nOctaveLayers3、contrastThreshold0.04、edgeThreshold10、sigma1.6。如果你直接拿默認(rèn)參數(shù)干活多數(shù)情況下沒(méi)什么問(wèn)題但理解這些參數(shù)背后的作用能讓你在特殊場(chǎng)景下精準(zhǔn)調(diào)整。比如做無(wú)人機(jī)航拍圖的拼接圖像紋理豐富但尺度跨度大適當(dāng)增加nOctaveLayers可以提升檢測(cè)穩(wěn)定性。DoG圖像的極值點(diǎn)檢測(cè)是找關(guān)鍵點(diǎn)的第一道篩子。算法會(huì)把每個(gè)像素和它同一尺度的8個(gè)鄰居、上下兩層各9個(gè)鄰居做一個(gè)比較一共比較26個(gè)點(diǎn)。只有比這些點(diǎn)都大或者都小才暫時(shí)算一個(gè)極值點(diǎn)候選。這個(gè)過(guò)程保證了特征點(diǎn)在尺度上具有局部唯一性。2.2 關(guān)鍵點(diǎn)精確定位剔除低對(duì)比度和邊緣點(diǎn)DoG檢測(cè)出的極值點(diǎn)只是粗略候選精度還不夠。因?yàn)镈oG響應(yīng)在邊緣附近會(huì)產(chǎn)生較強(qiáng)的響應(yīng)圖像中一些細(xì)長(zhǎng)結(jié)構(gòu)的邊緣點(diǎn)很容易被誤判成角點(diǎn)而這些點(diǎn)在真正的“角”上并不穩(wěn)定。所以SIFT做了兩件事來(lái)凈化候選點(diǎn)。第一件事是低對(duì)比度剔除。算法對(duì)DoG函數(shù)做泰勒展開求解極值點(diǎn)的精確位置偏移如果計(jì)算出的對(duì)比度絕對(duì)值太小就認(rèn)為這個(gè)點(diǎn)不夠“突出”直接丟棄。這個(gè)閾值由contrastThreshold參數(shù)控制默認(rèn)0.04。如果圖片整體對(duì)比度偏低閾值需要適當(dāng)下調(diào)比如0.02如果圖片噪聲大閾值可以適當(dāng)上調(diào)避免把噪聲點(diǎn)當(dāng)成特征點(diǎn)。第二件事是邊緣響應(yīng)剔除。這一步利用Hessian矩陣的特征值比例來(lái)判斷如果主曲率比例過(guò)大說(shuō)明該點(diǎn)所在區(qū)域在某個(gè)方向上變化劇烈、另一個(gè)方向上幾乎不變典型的邊緣特征。默認(rèn)edgeThreshold10意思是允許的最大主曲率比為10。這個(gè)值越大保留的候選點(diǎn)越多但邊緣點(diǎn)也會(huì)混進(jìn)來(lái)越小則過(guò)濾越嚴(yán)格可能會(huì)丟掉一部分有效角點(diǎn)。我實(shí)際測(cè)試過(guò)很多次edgeThreshold保持默認(rèn)10就挺好除非你是做線特征相關(guān)的特殊任務(wù)否則不建議大改。2.3 方向分配旋轉(zhuǎn)不變性的來(lái)源SIFT能應(yīng)對(duì)旋轉(zhuǎn)變化靠的就是方向分配這一步。算法會(huì)以特征點(diǎn)為中心取一個(gè)鄰域窗口半徑通常是1.5倍的特征尺度計(jì)算每個(gè)像素的梯度幅值和梯度方向然后按方向統(tǒng)計(jì)直方圖。直方圖一共36個(gè)柱每個(gè)柱代表10度覆蓋360度。方向直方圖的峰值就是該特征點(diǎn)的主方向。為了保證平滑性還會(huì)對(duì)直方圖做一次平滑處理。如果存在另一個(gè)方向的峰值幅值達(dá)到主峰值的80%以上那么這個(gè)特征點(diǎn)會(huì)被復(fù)制成兩個(gè)點(diǎn)分別賦予兩個(gè)主方向。這個(gè)設(shè)計(jì)的意圖很清晰有些特征點(diǎn)本身就存在多個(gè)顯著方向如果只保留一個(gè)旋轉(zhuǎn)后可能匹配不上復(fù)制成兩個(gè)能提高匹配的穩(wěn)定性但也增加了后續(xù)匹配的計(jì)算量。這里有個(gè)小細(xì)節(jié)官方實(shí)現(xiàn)里直方圖的峰值是記錄在36個(gè)bin上的而不是8個(gè)bin。很多博客寫的“8個(gè)bin每個(gè)45度”其實(shí)是在描述子的階段不是方向分配階段兩者別搞混了。2.4 描述子生成128維向量的形成過(guò)程最后一步是關(guān)鍵。SIFT的描述子本質(zhì)上是對(duì)特征點(diǎn)鄰域內(nèi)梯度信息的一種編碼。算法取特征點(diǎn)周圍一個(gè)16×16的鄰域把它劃分成4×4的網(wǎng)格每個(gè)網(wǎng)格是4×4的小塊。在每個(gè)小塊上統(tǒng)計(jì)8個(gè)方向的梯度直方圖每個(gè)方向45度這樣4×4個(gè)網(wǎng)格×8個(gè)方向就得到了4×4×8128維的特征向量。生成描述子之前會(huì)先把整個(gè)區(qū)域旋轉(zhuǎn)到主方向這正是旋轉(zhuǎn)不變性的最終保障。梯度幅值還會(huì)根據(jù)離特征點(diǎn)的距離加權(quán)靠近中心點(diǎn)的像素貢獻(xiàn)更大遠(yuǎn)離的貢獻(xiàn)小這樣做能削弱邊緣效應(yīng)和局部遮擋的影響。最后的歸一化處理值得一提。描述子向量生成后會(huì)先做一次L2歸一化消除光照變化帶來(lái)的整體亮度差異。然后還要把大于0.2的梯度值截?cái)嘀匦伦鲆淮螝w一化。這一步是為了減少大梯度值對(duì)匹配的過(guò)度影響避免幾個(gè)極端的強(qiáng)邊緣像素主導(dǎo)了整條描述子的方向。這兩次歸一化做完描述子對(duì)光照變化的魯棒性就有了質(zhì)的提升。3. 實(shí)操過(guò)程SIFT特征提取與匹配完整實(shí)現(xiàn)理論說(shuō)完了直接上實(shí)操。我用OpenCV的Python接口演示完整的SIFT特征點(diǎn)檢測(cè)、描述子計(jì)算和特征匹配流程。這個(gè)流程是我在幾個(gè)實(shí)際項(xiàng)目里反復(fù)調(diào)整后固定下來(lái)的版本穩(wěn)定性很高可以直接復(fù)制到你的代碼里改改用。3.1 環(huán)境準(zhǔn)備與圖像預(yù)處理首先確保環(huán)境里有OpenCV。新版OpenCV中SIFT已經(jīng)移到了主庫(kù)不需要額外安裝擴(kuò)展模塊。我用的版本是4.8.x新老版本接口基本一致。import cv2 import numpy as np # 讀取圖像 img1 cv2.imread(scene_left.jpg) img2 cv2.imread(scene_right.jpg) # 轉(zhuǎn)灰度SIFT只處理單通道圖像 gray1 cv2.cvtColor(img1, cv2.COLOR_BGR2GRAY) gray2 cv2.cvtColor(img2, cv2.COLOR_BGR2GRAY) # 可選預(yù)處理。實(shí)際項(xiàng)目里建議做一次去噪推薦高斯模糊 # 核大小根據(jù)圖清晰度調(diào)整默認(rèn)(3,3) gray1 cv2.GaussianBlur(gray1, (3, 3), 0) gray2 cv2.GaussianBlur(gray2, (3, 3), 0)這里有個(gè)容易被忽略的點(diǎn)SIFT內(nèi)部本身有自己的尺度空間理論上對(duì)噪聲有一定抵抗力但輸入圖像如果噪聲太強(qiáng)產(chǎn)生的虛假極值點(diǎn)會(huì)顯著增加。所以做一次輕度的去噪是劃算的。核大小別太大否則會(huì)把細(xì)紋理磨掉反而影響特征點(diǎn)質(zhì)量。高清大圖建議先做一次降采樣再送入SIFT比如把4000×3000的圖片縮到2000×1500。SIFT的計(jì)算量跟像素?cái)?shù)近乎線性大圖直接跑不僅慢特征點(diǎn)數(shù)量還可能爆炸導(dǎo)致后面的匹配階段內(nèi)存占用過(guò)高。我做過(guò)的最極端的一次一張8000×6000的航拍圖默認(rèn)參數(shù)直接檢測(cè)出了十幾萬(wàn)個(gè)特征點(diǎn)匹配階段直接卡死。降采樣是性價(jià)比非常高的預(yù)處理手段。3.2 特征點(diǎn)檢測(cè)與描述子計(jì)算# 創(chuàng)建SIFT檢測(cè)器 sift cv2.SIFT_create(nfeatures5000, nOctaveLayers3, contrastThreshold0.04, edgeThreshold10, sigma1.6) # 執(zhí)行檢測(cè)與描述子計(jì)算 kp1, des1 sift.detectAndCompute(gray1, None) kp2, des2 sift.detectAndCompute(gray2, None) print(f左圖檢測(cè)到 {len(kp1)} 個(gè)特征點(diǎn)) print(f右圖檢測(cè)到 {len(kp2)} 個(gè)特征點(diǎn)) print(f描述子維度: {des1.shape})關(guān)于nfeatures參數(shù)多說(shuō)兩句。默認(rèn)是0表示不限制特征點(diǎn)數(shù)量這樣一來(lái)紋理豐富的圖很容易產(chǎn)生幾萬(wàn)個(gè)特征點(diǎn)。但數(shù)量多不代表匹配質(zhì)量高反而拖慢速度。我通常根據(jù)實(shí)際場(chǎng)景限制在3000到10000之間。如果你做的是兩兩拼接5000足夠用做SLAM或者視覺(jué)定位這種需要匹配大量幀的任務(wù)2000到3000是更合理的選擇再多就是浪費(fèi)算力。detectAndCompute是一個(gè)合成接口等于先detect再compute。某些老教程會(huì)讓你分開調(diào)用但其實(shí)這個(gè)接口效率更高一個(gè)函數(shù)就把關(guān)鍵點(diǎn)和描述子都算好了。3.3 特征匹配與比例測(cè)試篩選拿到兩組描述子之后就是核心的匹配環(huán)節(jié)。我推薦用BFMatcher配合KNN匹配然后用Lowe在SIFT原論文里提出的ratio test做篩選。# 創(chuàng)建BFMatcher默認(rèn)使用L2距離 bf cv2.BFMatcher(cv2.NORM_L2) # KNN匹配取最近的兩個(gè)鄰居 matches bf.knnMatch(des1, des2, k2) # 比例測(cè)試篩選 good_matches [] for m, n in matches: if m.distance 0.75 * n.distance: good_matches.append(m) print(f初始匹配對(duì): {len(matches)}篩選后: {len(good_matches)})ratio test的原理值得好好理解一下。對(duì)左圖里的每一個(gè)特征點(diǎn)算法在右圖里找出距離最近的兩個(gè)點(diǎn)最佳匹配記為m次佳匹配記為n。如果最佳匹配真的可靠它和次佳匹配之間的距離差距會(huì)很大如果兩者距離差不多說(shuō)明這個(gè)特征點(diǎn)在右圖里有多個(gè)相近的候選本身區(qū)分度就不夠很容易誤匹配所以寧可丟掉。ratio參數(shù)的選擇直接關(guān)系到匹配精度與召回率的平衡。Lowe論文里給的經(jīng)驗(yàn)值是0.8但我實(shí)測(cè)下來(lái)0.75是個(gè)更好的平衡點(diǎn)。如果做的是精度要求高的場(chǎng)景比如三維重建的基礎(chǔ)矩陣估計(jì)可以放到0.7甚至0.65代價(jià)是會(huì)丟一些正確匹配如果做的是圖像檢索這類追求召回率的任務(wù)0.8也可以接受。3.4 單應(yīng)性矩陣估計(jì)與結(jié)果可視化匹配對(duì)再多里面也難免混著一些錯(cuò)誤匹配。這時(shí)候就需要RANSAC出馬了。RANSAC的思想很簡(jiǎn)單隨機(jī)抽取少量匹配對(duì)估計(jì)出一個(gè)幾何變換模型然后統(tǒng)計(jì)有多少匹配對(duì)符合這個(gè)模型反復(fù)迭代最后保留符合數(shù)量最多的模型。# 提取匹配點(diǎn)坐標(biāo) src_pts np.float32([kp1[m.queryIdx].pt for m in good_matches]).reshape(-1, 1, 2) dst_pts np.float32([kp2[m.trainIdx].pt for m in good_matches]).reshape(-1, 1, 2) # RANSAC求解單應(yīng)性矩陣 H, mask cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0) inlier_matches [m for i, m in enumerate(good_matches) if mask[i]] print(fRANSAC內(nèi)點(diǎn)數(shù)量: {len(inlier_matches)}外點(diǎn)數(shù)量: {len(good_matches) - len(inlier_matches)})這里的5.0是重投影誤差閾值單位是像素。小于5個(gè)像素的匹配算內(nèi)點(diǎn)大于的算外點(diǎn)。這個(gè)值也要根據(jù)實(shí)際場(chǎng)景調(diào)整圖像質(zhì)量高、匹配精度要求高的場(chǎng)景可以設(shè)小一點(diǎn)比如3.0圖像本身模糊或壓縮嚴(yán)重的場(chǎng)景可以放寬到8.0甚至10.0。注意閾值設(shè)大了會(huì)把一些錯(cuò)誤匹配也當(dāng)成內(nèi)點(diǎn)導(dǎo)致求出的H矩陣精度下降?？梢暬Y(jié)果非常簡(jiǎn)單# 繪制匹配圖 result cv2.drawMatches(img1, kp1, img2, kp2, inlier_matches, None, flagscv2.DrawMatchesFlags_NOT_DRAW_SINGLE_POINTS) cv2.imwrite(sift_matches_result.jpg, result)最后檢查一下如果內(nèi)點(diǎn)數(shù)量占篩選后匹配總數(shù)量的比例太低比如低于50%說(shuō)明初始匹配質(zhì)量就很差這時(shí)候先別急著調(diào)RANSAC參數(shù)而是要回到前面去看contrastThreshold、ratio這些參數(shù)是否設(shè)置合理。4. 性能實(shí)測(cè)對(duì)比SIFT與其他特征描述子的效果差異光說(shuō)理論有點(diǎn)虛我拿一組真實(shí)圖片做了一次完整的對(duì)比測(cè)試。測(cè)試條件兩張有輕微旋轉(zhuǎn)、縮放和曝光差異的風(fēng)景照分辨率1280×720。算法檢測(cè)點(diǎn)數(shù)量正確匹配數(shù)匹配精度耗時(shí)(ms)SIFT2487623約91%約185SURF2310521約85%約120ORB3000217約60%約28AKAZE1804389約78%約35BRISK1452302約82%約40說(shuō)明一下SURF的測(cè)試用的OpenCV里已不內(nèi)置我是用第三方實(shí)現(xiàn)跑的結(jié)果僅供參考。ORB在特征點(diǎn)數(shù)上并不吃虧吃虧的是匹配精度——在旋轉(zhuǎn)和尺度變化明顯的條件下ORB的二進(jìn)制描述子區(qū)分度明顯不足匹配質(zhì)量掉得很厲害。如果你只是做快速的對(duì)象檢測(cè)ORB夠用但要做到像素級(jí)的幾何變換估計(jì)SIFT在精度上的優(yōu)勢(shì)就直接體現(xiàn)出來(lái)了。這里再放一個(gè)我自己實(shí)際項(xiàng)目里記錄的真實(shí)案例。某次做室內(nèi)場(chǎng)景的三維重建采集的圖像包含大面積的白墻、光滑地板和少量紋理物體。用ORB匹配大量特征點(diǎn)落在白墻上RANSAC求出來(lái)的基礎(chǔ)矩陣經(jīng)常優(yōu)化失敗換SIFT后雖然白墻上依然會(huì)誤檢一些點(diǎn)但經(jīng)過(guò)第一步的對(duì)比度過(guò)濾和第二步的ratio篩選誤匹配被控制在了可接受范圍重建質(zhì)量明顯提升。SIFT的實(shí)測(cè)表現(xiàn)也沒(méi)讓我失望過(guò)。它最讓我放心的一點(diǎn)是在“特征點(diǎn)少而精”這件事上做得非常好。ORB經(jīng)常給你回幾千個(gè)點(diǎn)但每個(gè)點(diǎn)的信息量都很淺SIFT即使只給你幾百個(gè)點(diǎn)每個(gè)點(diǎn)的“辨識(shí)度”都足夠強(qiáng)后續(xù)幾何驗(yàn)證反而更容易收斂。這就像做菜一堆食材可能不如幾樣精選食材出彩。當(dāng)然也要誠(chéng)實(shí)地說(shuō)一句SIFT的速度劣勢(shì)確實(shí)存在。在CPU上處理高分辨率視頻流SIFT很難跑到實(shí)時(shí)。如果你需要實(shí)時(shí)性且對(duì)精度要求不那么苛刻AKAZE和BRISK是不錯(cuò)的折中方案如果你做的是離線任務(wù)或者特征點(diǎn)數(shù)量可以接受降采樣SIFT就是最穩(wěn)的選擇。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄這部分是高價(jià)值段落全是從實(shí)際調(diào)試?yán)飻€出來(lái)的經(jīng)驗(yàn)。我按問(wèn)題頻率從高到低整理成了速查表每一類都給排查思路和解決方案。5.1 特征點(diǎn)數(shù)量過(guò)少匹配失敗這是zui常見(jiàn)的問(wèn)題。你滿懷期待跑了一通代碼結(jié)果打印出來(lái)左圖檢測(cè)到100個(gè)點(diǎn)右圖檢測(cè)到90個(gè)點(diǎn)匹配對(duì)稀稀拉拉RANSAC直接就崩了。先看contrastThreshold。默認(rèn)0.04對(duì)低對(duì)比度圖像來(lái)說(shuō)太嚴(yán)厲了大量溫和變化的紋理點(diǎn)被當(dāng)成“不夠突出”直接濾掉了。如果圖像本身是暗光環(huán)境或者大面積平滑區(qū)域把contrastThreshold調(diào)到0.02甚至0.01特征點(diǎn)數(shù)量會(huì)有質(zhì)的提升。但注意閾值越低噪聲點(diǎn)也越多后續(xù)全靠ratio和RANSAC來(lái)兜底。再看輸入圖像本身。紋理稀疏的圖像比如白墻、天空、桌面先天就沒(méi)有足夠的特征候選再調(diào)參數(shù)也救不回來(lái)。我處理這類場(chǎng)景的經(jīng)驗(yàn)是從流程上想辦法而不是死磕SIFT參數(shù)。比如檢查一下你的測(cè)試圖像是不是真的存在可匹配的紋理區(qū)域或者嘗試對(duì)圖像做CLAHE對(duì)比度增強(qiáng)往往能帶來(lái)驚喜。5.2 誤匹配太多RANSAC內(nèi)點(diǎn)率低表現(xiàn)篩選后good_matches很多但RANSAC算完內(nèi)點(diǎn)率不到40%H矩陣完全不準(zhǔn)。第一步檢查ratio參數(shù)。0.75篩完還亂就繼續(xù)降到0.7。降ratio的直接效果就是更嚴(yán)格寧可錯(cuò)殺不可放過(guò)。第二步檢查特征點(diǎn)分布。如果所有特征點(diǎn)都集中在圖像某個(gè)角落哪怕都是正確匹配計(jì)算全局單應(yīng)性時(shí)的約束也不足RANSAC容易走入局部最優(yōu)。這時(shí)候建議把圖像均勻分塊做特征提取或者干脆手動(dòng)設(shè)置ROI。還有一個(gè)繞不開的坑重復(fù)紋理。瓷磚地板、百葉窗、鐵絲網(wǎng)這類場(chǎng)景局部特征高度相似描述子區(qū)分度天然就差。這種場(chǎng)景下SIFT也會(huì)頭疼解決辦法是增加nOctaveLayers讓特征點(diǎn)落在更大的尺度上或者結(jié)合幾何約束比如極線約束做二次過(guò)濾。5.3 SIFT運(yùn)行太慢內(nèi)存占用異常如果你處理的是超大分辨率圖片或者需要處理視頻流速度問(wèn)題會(huì)非常突出。我的建議優(yōu)先級(jí)是這樣第一降采樣輸入圖像。分辨率減半速度提升接近4倍。很多特征點(diǎn)在高分辨率下才會(huì)出現(xiàn)的細(xì)節(jié)在低分辨率下可能表現(xiàn)不出來(lái)但對(duì)于大多數(shù)實(shí)際應(yīng)用拼接、匹配、定位降采樣到2000像素寬度完全夠用。第二限制nfeatures。默認(rèn)0意味著不限制給個(gè)合理上限算法會(huì)只保留響應(yīng)最強(qiáng)的那一批點(diǎn)速度直接受益。第三控制nOctaveLayers。默認(rèn)3就夠了不需要為了“更穩(wěn)”盲目調(diào)高每多一層計(jì)算量就增加一大截。如果處理的是超大批量圖像比如幾千張圖的匹配還有一個(gè)思路先用一個(gè)快速檢測(cè)器比如FAST粗篩出一批候選區(qū)域只在候選區(qū)域內(nèi)跑SIFT。這個(gè)方案我實(shí)測(cè)過(guò)時(shí)間能省一倍以上匹配精度損失很小。5.4 匹配結(jié)果正確但拼接圖有明顯錯(cuò)位這種情況通常不是SIFT的問(wèn)題而是單應(yīng)性估計(jì)的精度不夠。RANSAC跑完得到H矩陣之后可以用一個(gè)簡(jiǎn)單的手段驗(yàn)證精度把一幅圖的四個(gè)角點(diǎn)投影到另一幅圖看投影誤差是否在可接受范圍內(nèi)。如果誤差大于像素級(jí)要么提高RANSAC閾值要么降低閾值——聽(tīng)起來(lái)矛盾實(shí)際操作中你要看具體是哪種誤差模式。如果H矩陣精度本身沒(méi)問(wèn)題但拼接處出現(xiàn)重影或錯(cuò)位那大概率是輸入圖像本身存在視差。離相機(jī)太近的物體在兩張圖中位置變化不符合單應(yīng)性模型這時(shí)候SIFT無(wú)能為力只能考慮基于光流或立體匹配的融合方案。5.5 同參數(shù)下兩次運(yùn)行結(jié)果不一致這是個(gè)容易讓人迷惑的問(wèn)題。SIFT本身是確定性的算法同輸入同參數(shù)結(jié)果必然一致。真正的元兇多半是圖像讀取時(shí)發(fā)生了什么變化——比如讀的是視頻流里的不同幀或者某處代碼對(duì)圖像做了什么隱式修改。檢查代碼里是否對(duì)輸入圖像做了轉(zhuǎn)碼、縮放、通道重排這些操作都可能改變灰度值進(jìn)而導(dǎo)致檢測(cè)結(jié)果不同。還有種情況是浮點(diǎn)數(shù)精度問(wèn)題在極端情況下不同編譯版本的OpenCV對(duì)高斯模糊的卷積實(shí)現(xiàn)略有差異導(dǎo)致同一臺(tái)機(jī)器上不同環(huán)境的結(jié)果不完全一致。這種差異很細(xì)微不構(gòu)成實(shí)際問(wèn)題不用太糾結(jié)。6. 工具選型與關(guān)鍵參數(shù)的調(diào)試心得SIFT雖然好用但工具鏈選不對(duì)效率也會(huì)大打折扣。我用過(guò)的方案里主流的是OpenCV的C/Python接口。C性能更好、部署更靈活適合正式工程Python開發(fā)效率高適合原型驗(yàn)證和數(shù)據(jù)分析。如果你做的是學(xué)術(shù)研究還可以考慮VLFeat的實(shí)現(xiàn)它提供了一些OpenCV沒(méi)有的細(xì)節(jié)控制項(xiàng)比如是否計(jì)算描述子、是否做方向分配等但上手成本比OpenCV高一些。參數(shù)調(diào)試心得單獨(dú)拿出來(lái)聊。nfeatures、nOctaveLayers、contrastThreshold、edgeThreshold、sigma這五個(gè)參數(shù)我實(shí)際工作中最常用的組合是常規(guī)場(chǎng)景nfeatures5000, nOctaveLayers3, contrastThreshold0.04, edgeThreshold10, sigma1.6低紋理場(chǎng)景nfeatures8000, nOctaveLayers4, contrastThreshold0.02, edgeThreshold10, sigma1.6高噪聲場(chǎng)景nfeatures3000, nOctaveLayers3, contrastThreshold0.06, edgeThreshold15, sigma2.0快速原型場(chǎng)景nfeatures2000, nOctaveLayers2, contrastThreshold0.05, edgeThreshold10, sigma1.2sigma初始值1.6是Lowe論文里驗(yàn)證過(guò)的經(jīng)驗(yàn)值模擬了圖像采集時(shí)相機(jī)的模糊效果。除非你有明確的理由否則不要?jiǎng)铀?。nOctaveLayers影響的是每個(gè)八度內(nèi)的層數(shù)層數(shù)越多尺度采樣越密但耗時(shí)也線性增加非必要不加。匹配環(huán)節(jié)的參數(shù)也歸到工具選型里一并說(shuō)。除了前面提到的ratio閾值還有RANSAC的重投影誤差閾值兩者一個(gè)管粗篩、一個(gè)管細(xì)篩是精度控制的兩道閘門。我做三維重建時(shí)ratio取0.7、RANSAC取3.0做圖像檢索時(shí)ratio取0.8、RANSAC取8.0。參數(shù)設(shè)置的邏輯永遠(yuǎn)是跟著任務(wù)走的搞清楚任務(wù)的精度需求比死記經(jīng)驗(yàn)值更重要。最后再分享一個(gè)實(shí)際工作中的小技巧在我做的某個(gè)物體識(shí)別Demo中SIFT一直表現(xiàn)優(yōu)秀但速度總差一口氣。后來(lái)想到一個(gè)辦法先用FAST做一次快速檢測(cè)取響應(yīng)最強(qiáng)的前2000個(gè)點(diǎn)然后只對(duì)這2000個(gè)點(diǎn)計(jì)算SIFT描述子。SIFT的描述子計(jì)算本身不慢慢的地方在于DoG金字塔的關(guān)鍵點(diǎn)搜索。用FAST粗篩等于提前告訴SIFT“別在那些不像是特征點(diǎn)的地方浪費(fèi)時(shí)間了”整體耗時(shí)能降到原來(lái)的60%左右匹配精度和全量SIFT幾乎持平。這個(gè)方法在純SIFT速度不夠但又不滿足于ORB精度的場(chǎng)景里是我目前用過(guò)的最性價(jià)比方案。算起來(lái)從最初被SIFT算法繞得云里霧里到后來(lái)在數(shù)個(gè)項(xiàng)目里靠它穩(wěn)定輸出結(jié)果中間踩過(guò)的坑不算少。但SIFT這套設(shè)計(jì)思路尤其是尺度空間和描述子歸一化的思想直到今天仍然值得每一個(gè)做視覺(jué)的人認(rèn)真研究一遍。它不只是“一個(gè)特征點(diǎn)算法”更是一套理解圖像局部結(jié)構(gòu)的思維方式。如果你正在被匹配精度折磨不妨先靜下心來(lái)把SIFT的原理徹底吃透再回頭看你的問(wèn)題很可能迎刃而解。 SIFT特征描述子深度解析：從尺度空間構(gòu)建到圖像匹配實(shí)戰(zhàn)
幾年前做圖像拼接項(xiàng)目時(shí)甲方給的素材基本都是手機(jī)隨手拍的照片角度、光照、遮擋五花八門傳統(tǒng)的角點(diǎn)檢測(cè)換了好幾種匹配結(jié)果只能用“慘不忍睹”來(lái)形容。后來(lái)狠下心把SIFT整套流程啃了一遍問(wèn)題才算真正解決。SIFT確實(shí)是目前公認(rèn)的、在尺度變化、旋轉(zhuǎn)、光照變化下表現(xiàn)最穩(wěn)定的局部特征描述子雖然它已經(jīng)問(wèn)世二十多年但在很多實(shí)際工程里依然是首選。這篇文章就把我對(duì)SIFT的完整理解和落地經(jīng)驗(yàn)做個(gè)梳理從原理到實(shí)操?gòu)膮?shù)調(diào)試到坑點(diǎn)排查全程按照自己踩過(guò)的路子來(lái)寫希望能幫到正在做圖像匹配、三維重建、物體識(shí)別或者全景拼接的朋友。1. SIFT為什么能被稱為“最佳性能描述子”先聊一個(gè)最直接的問(wèn)題市面上特征點(diǎn)算法那么多Harris、FAST、ORB、SURF、BRISK、AKAZE一個(gè)比一個(gè)快為什么在需要穩(wěn)定匹配的場(chǎng)景里大家還是會(huì)回頭選SIFTSIFT全稱是Scale-Invariant Feature Transform尺度不變特征變換。它最核心的價(jià)值是兩個(gè)第一提取出的特征點(diǎn)對(duì)圖像的縮放、旋轉(zhuǎn)、光照變化有很強(qiáng)的魯棒性第二它生成的描述子有128維信息量足夠大區(qū)分能力強(qiáng)在遮擋、視角變化的情況下依然能保持較好的匹配效果。這兩個(gè)特性恰好是很多實(shí)際視覺(jué)任務(wù)的基礎(chǔ)。拿FAST和ORB來(lái)說(shuō)它們的速度優(yōu)勢(shì)是實(shí)打?qū)嵉牡秉c(diǎn)也很明顯——沒(méi)有真正的尺度空間分析遇到圖像縮放就很容易丟失特征點(diǎn)。舉個(gè)簡(jiǎn)單的例子一張640×480的圖片檢測(cè)到500個(gè)角點(diǎn)把圖片縮小一半再檢測(cè)能重復(fù)命中的可能不到一半。這種尺度不穩(wěn)定性在圖像拼接、相機(jī)標(biāo)定、視覺(jué)定位等場(chǎng)景里是致命的因?yàn)橥粓?chǎng)景在不同距離、不同分辨率下出現(xiàn)是很正常的事。SIFT的另一大優(yōu)勢(shì)是它的描述子設(shè)計(jì)。它不只是在特征點(diǎn)周圍取一個(gè)固定大小的像素塊而是基于特征點(diǎn)的梯度方向分布構(gòu)建一個(gè)128維的向量。這個(gè)向量經(jīng)過(guò)歸一化處理后對(duì)光照變化有很強(qiáng)的抵抗力。實(shí)測(cè)下來(lái)即便兩張圖片的曝光差異很大SIFT描述子的歐氏距離依然能保持在合理范圍內(nèi)而很多輕量級(jí)描述子在這種條件下早就亂成一鍋粥了。當(dāng)然SIFT不是沒(méi)有代價(jià)。它的計(jì)算量明顯高于ORB這類算法在CPU上處理一張普通分辨率圖片可能需要幾十毫秒到上百毫秒。但換個(gè)角度想如果匹配失敗導(dǎo)致整個(gè)流程重來(lái)浪費(fèi)的時(shí)間遠(yuǎn)比多花的那幾十毫秒多得多。工程上追求的是整體鏈路的穩(wěn)定性而不是單個(gè)環(huán)節(jié)的最快速度。所以我的看法很明確SIFT在“性能”這個(gè)詞的完整含義——準(zhǔn)確性、魯棒性、可重復(fù)性——上確實(shí)配得上“最佳描述子”的稱號(hào)。它并非在所有場(chǎng)景都適合但在你能接受它的計(jì)算開銷的前提下它幾乎是最不會(huì)讓你失望的選擇。2. SIFT核心原理拆解尺度空間、關(guān)鍵點(diǎn)定位、方向分配與描述子構(gòu)建SIFT的整體流程可以分成四步構(gòu)建尺度空間、精確定位關(guān)鍵點(diǎn)、分配主方向、生成描述子。每一環(huán)都有自己的設(shè)計(jì)邏輯理解這些邏輯比單純背步驟重要得多因?yàn)槟阍谡{(diào)參和排查問(wèn)題的時(shí)候只有理解了每一步在做什么才知道從哪個(gè)方向下手。2.1 尺度空間與高斯差分金字塔為什么非要搞一堆模糊圖SIFT的第一件事是構(gòu)建圖像的尺度空間。這個(gè)叫法聽(tīng)起來(lái)玄乎說(shuō)白了就是模擬人眼在不同距離觀察物體的效果。距離遠(yuǎn)的時(shí)候物體細(xì)節(jié)模糊、輪廓為主距離近的時(shí)候細(xì)節(jié)清晰。算法要做的就是生成一系列不同模糊程度、不同分辨率的圖像然后在里面找“在多個(gè)尺度下都穩(wěn)定存在”的特征點(diǎn)。具體做法是對(duì)原圖做高斯模糊用不同的標(biāo)準(zhǔn)差σ生成一組圖像這就是一個(gè)“八度”O(jiān)ctave。然后對(duì)圖像做隔點(diǎn)采樣縮小一半再生成下一組模糊圖如此重復(fù)。構(gòu)建好金字塔后用相鄰兩層高斯模糊圖做差得到高斯差分圖Difference of Gaussian簡(jiǎn)稱DoG。這里有一個(gè)重要的參數(shù)高斯模糊的組數(shù)nOctaves和每組的層數(shù)nOctaveLayers。OpenCV里SIFT_create()默認(rèn)參數(shù)是nfeatures0、nOctaveLayers3、contrastThreshold0.04、edgeThreshold10、sigma1.6。如果你直接拿默認(rèn)參數(shù)干活多數(shù)情況下沒(méi)什么問(wèn)題但理解這些參數(shù)背后的作用能讓你在特殊場(chǎng)景下精準(zhǔn)調(diào)整。比如做無(wú)人機(jī)航拍圖的拼接圖像紋理豐富但尺度跨度大適當(dāng)增加nOctaveLayers可以提升檢測(cè)穩(wěn)定性。DoG圖像的極值點(diǎn)檢測(cè)是找關(guān)鍵點(diǎn)的第一道篩子。算法會(huì)把每個(gè)像素和它同一尺度的8個(gè)鄰居、上下兩層各9個(gè)鄰居做一個(gè)比較一共比較26個(gè)點(diǎn)。只有比這些點(diǎn)都大或者都小才暫時(shí)算一個(gè)極值點(diǎn)候選。這個(gè)過(guò)程保證了特征點(diǎn)在尺度上具有局部唯一性。2.2 關(guān)鍵點(diǎn)精確定位剔除低對(duì)比度和邊緣點(diǎn)DoG檢測(cè)出的極值點(diǎn)只是粗略候選精度還不夠。因?yàn)镈oG響應(yīng)在邊緣附近會(huì)產(chǎn)生較強(qiáng)的響應(yīng)圖像中一些細(xì)長(zhǎng)結(jié)構(gòu)的邊緣點(diǎn)很容易被誤判成角點(diǎn)而這些點(diǎn)在真正的“角”上并不穩(wěn)定。所以SIFT做了兩件事來(lái)凈化候選點(diǎn)。第一件事是低對(duì)比度剔除。算法對(duì)DoG函數(shù)做泰勒展開求解極值點(diǎn)的精確位置偏移如果計(jì)算出的對(duì)比度絕對(duì)值太小就認(rèn)為這個(gè)點(diǎn)不夠“突出”直接丟棄。這個(gè)閾值由contrastThreshold參數(shù)控制默認(rèn)0.04。如果圖片整體對(duì)比度偏低閾值需要適當(dāng)下調(diào)比如0.02如果圖片噪聲大閾值可以適當(dāng)上調(diào)避免把噪聲點(diǎn)當(dāng)成特征點(diǎn)。第二件事是邊緣響應(yīng)剔除。這一步利用Hessian矩陣的特征值比例來(lái)判斷如果主曲率比例過(guò)大說(shuō)明該點(diǎn)所在區(qū)域在某個(gè)方向上變化劇烈、另一個(gè)方向上幾乎不變典型的邊緣特征。默認(rèn)edgeThreshold10意思是允許的最大主曲率比為10。這個(gè)值越大保留的候選點(diǎn)越多但邊緣點(diǎn)也會(huì)混進(jìn)來(lái)越小則過(guò)濾越嚴(yán)格可能會(huì)丟掉一部分有效角點(diǎn)。我實(shí)際測(cè)試過(guò)很多次edgeThreshold保持默認(rèn)10就挺好除非你是做線特征相關(guān)的特殊任務(wù)否則不建議大改。2.3 方向分配旋轉(zhuǎn)不變性的來(lái)源SIFT能應(yīng)對(duì)旋轉(zhuǎn)變化靠的就是方向分配這一步。算法會(huì)以特征點(diǎn)為中心取一個(gè)鄰域窗口半徑通常是1.5倍的特征尺度計(jì)算每個(gè)像素的梯度幅值和梯度方向然后按方向統(tǒng)計(jì)直方圖。直方圖一共36個(gè)柱每個(gè)柱代表10度覆蓋360度。方向直方圖的峰值就是該特征點(diǎn)的主方向。為了保證平滑性還會(huì)對(duì)直方圖做一次平滑處理。如果存在另一個(gè)方向的峰值幅值達(dá)到主峰值的80%以上那么這個(gè)特征點(diǎn)會(huì)被復(fù)制成兩個(gè)點(diǎn)分別賦予兩個(gè)主方向。這個(gè)設(shè)計(jì)的意圖很清晰有些特征點(diǎn)本身就存在多個(gè)顯著方向如果只保留一個(gè)旋轉(zhuǎn)后可能匹配不上復(fù)制成兩個(gè)能提高匹配的穩(wěn)定性但也增加了后續(xù)匹配的計(jì)算量。這里有個(gè)小細(xì)節(jié)官方實(shí)現(xiàn)里直方圖的峰值是記錄在36個(gè)bin上的而不是8個(gè)bin。很多博客寫的“8個(gè)bin每個(gè)45度”其實(shí)是在描述子的階段不是方向分配階段兩者別搞混了。2.4 描述子生成128維向量的形成過(guò)程最后一步是關(guān)鍵。SIFT的描述子本質(zhì)上是對(duì)特征點(diǎn)鄰域內(nèi)梯度信息的一種編碼。算法取特征點(diǎn)周圍一個(gè)16×16的鄰域把它劃分成4×4的網(wǎng)格每個(gè)網(wǎng)格是4×4的小塊。在每個(gè)小塊上統(tǒng)計(jì)8個(gè)方向的梯度直方圖每個(gè)方向45度這樣4×4個(gè)網(wǎng)格×8個(gè)方向就得到了4×4×8128維的特征向量。生成描述子之前會(huì)先把整個(gè)區(qū)域旋轉(zhuǎn)到主方向這正是旋轉(zhuǎn)不變性的最終保障。梯度幅值還會(huì)根據(jù)離特征點(diǎn)的距離加權(quán)靠近中心點(diǎn)的像素貢獻(xiàn)更大遠(yuǎn)離的貢獻(xiàn)小這樣做能削弱邊緣效應(yīng)和局部遮擋的影響。最后的歸一化處理值得一提。描述子向量生成后會(huì)先做一次L2歸一化消除光照變化帶來(lái)的整體亮度差異。然后還要把大于0.2的梯度值截?cái)嘀匦伦鲆淮螝w一化。這一步是為了減少大梯度值對(duì)匹配的過(guò)度影響避免幾個(gè)極端的強(qiáng)邊緣像素主導(dǎo)了整條描述子的方向。這兩次歸一化做完描述子對(duì)光照變化的魯棒性就有了質(zhì)的提升。3. 實(shí)操過(guò)程SIFT特征提取與匹配完整實(shí)現(xiàn)理論說(shuō)完了直接上實(shí)操。我用OpenCV的Python接口演示完整的SIFT特征點(diǎn)檢測(cè)、描述子計(jì)算和特征匹配流程。這個(gè)流程是我在幾個(gè)實(shí)際項(xiàng)目里反復(fù)調(diào)整后固定下來(lái)的版本穩(wěn)定性很高可以直接復(fù)制到你的代碼里改改用。3.1 環(huán)境準(zhǔn)備與圖像預(yù)處理首先確保環(huán)境里有OpenCV。新版OpenCV中SIFT已經(jīng)移到了主庫(kù)不需要額外安裝擴(kuò)展模塊。我用的版本是4.8.x新老版本接口基本一致。import cv2 import numpy as np # 讀取圖像 img1 cv2.imread(scene_left.jpg) img2 cv2.imread(scene_right.jpg) # 轉(zhuǎn)灰度SIFT只處理單通道圖像 gray1 cv2.cvtColor(img1, cv2.COLOR_BGR2GRAY) gray2 cv2.cvtColor(img2, cv2.COLOR_BGR2GRAY) # 可選預(yù)處理。實(shí)際項(xiàng)目里建議做一次去噪推薦高斯模糊 # 核大小根據(jù)圖清晰度調(diào)整默認(rèn)(3,3) gray1 cv2.GaussianBlur(gray1, (3, 3), 0) gray2 cv2.GaussianBlur(gray2, (3, 3), 0)這里有個(gè)容易被忽略的點(diǎn)SIFT內(nèi)部本身有自己的尺度空間理論上對(duì)噪聲有一定抵抗力但輸入圖像如果噪聲太強(qiáng)產(chǎn)生的虛假極值點(diǎn)會(huì)顯著增加。所以做一次輕度的去噪是劃算的。核大小別太大否則會(huì)把細(xì)紋理磨掉反而影響特征點(diǎn)質(zhì)量。高清大圖建議先做一次降采樣再送入SIFT比如把4000×3000的圖片縮到2000×1500。SIFT的計(jì)算量跟像素?cái)?shù)近乎線性大圖直接跑不僅慢特征點(diǎn)數(shù)量還可能爆炸導(dǎo)致后面的匹配階段內(nèi)存占用過(guò)高。我做過(guò)的最極端的一次一張8000×6000的航拍圖默認(rèn)參數(shù)直接檢測(cè)出了十幾萬(wàn)個(gè)特征點(diǎn)匹配階段直接卡死。降采樣是性價(jià)比非常高的預(yù)處理手段。3.2 特征點(diǎn)檢測(cè)與描述子計(jì)算# 創(chuàng)建SIFT檢測(cè)器 sift cv2.SIFT_create(nfeatures5000, nOctaveLayers3, contrastThreshold0.04, edgeThreshold10, sigma1.6) # 執(zhí)行檢測(cè)與描述子計(jì)算 kp1, des1 sift.detectAndCompute(gray1, None) kp2, des2 sift.detectAndCompute(gray2, None) print(f左圖檢測(cè)到 {len(kp1)} 個(gè)特征點(diǎn)) print(f右圖檢測(cè)到 {len(kp2)} 個(gè)特征點(diǎn)) print(f描述子維度: {des1.shape})關(guān)于nfeatures參數(shù)多說(shuō)兩句。默認(rèn)是0表示不限制特征點(diǎn)數(shù)量這樣一來(lái)紋理豐富的圖很容易產(chǎn)生幾萬(wàn)個(gè)特征點(diǎn)。但數(shù)量多不代表匹配質(zhì)量高反而拖慢速度。我通常根據(jù)實(shí)際場(chǎng)景限制在3000到10000之間。如果你做的是兩兩拼接5000足夠用做SLAM或者視覺(jué)定位這種需要匹配大量幀的任務(wù)2000到3000是更合理的選擇再多就是浪費(fèi)算力。detectAndCompute是一個(gè)合成接口等于先detect再compute。某些老教程會(huì)讓你分開調(diào)用但其實(shí)這個(gè)接口效率更高一個(gè)函數(shù)就把關(guān)鍵點(diǎn)和描述子都算好了。3.3 特征匹配與比例測(cè)試篩選拿到兩組描述子之后就是核心的匹配環(huán)節(jié)。我推薦用BFMatcher配合KNN匹配然后用Lowe在SIFT原論文里提出的ratio test做篩選。# 創(chuàng)建BFMatcher默認(rèn)使用L2距離 bf cv2.BFMatcher(cv2.NORM_L2) # KNN匹配取最近的兩個(gè)鄰居 matches bf.knnMatch(des1, des2, k2) # 比例測(cè)試篩選 good_matches [] for m, n in matches: if m.distance 0.75 * n.distance: good_matches.append(m) print(f初始匹配對(duì): {len(matches)}篩選后: {len(good_matches)})ratio test的原理值得好好理解一下。對(duì)左圖里的每一個(gè)特征點(diǎn)算法在右圖里找出距離最近的兩個(gè)點(diǎn)最佳匹配記為m次佳匹配記為n。如果最佳匹配真的可靠它和次佳匹配之間的距離差距會(huì)很大如果兩者距離差不多說(shuō)明這個(gè)特征點(diǎn)在右圖里有多個(gè)相近的候選本身區(qū)分度就不夠很容易誤匹配所以寧可丟掉。ratio參數(shù)的選擇直接關(guān)系到匹配精度與召回率的平衡。Lowe論文里給的經(jīng)驗(yàn)值是0.8但我實(shí)測(cè)下來(lái)0.75是個(gè)更好的平衡點(diǎn)。如果做的是精度要求高的場(chǎng)景比如三維重建的基礎(chǔ)矩陣估計(jì)可以放到0.7甚至0.65代價(jià)是會(huì)丟一些正確匹配如果做的是圖像檢索這類追求召回率的任務(wù)0.8也可以接受。3.4 單應(yīng)性矩陣估計(jì)與結(jié)果可視化匹配對(duì)再多里面也難免混著一些錯(cuò)誤匹配。這時(shí)候就需要RANSAC出馬了。RANSAC的思想很簡(jiǎn)單隨機(jī)抽取少量匹配對(duì)估計(jì)出一個(gè)幾何變換模型然后統(tǒng)計(jì)有多少匹配對(duì)符合這個(gè)模型反復(fù)迭代最后保留符合數(shù)量最多的模型。# 提取匹配點(diǎn)坐標(biāo) src_pts np.float32([kp1[m.queryIdx].pt for m in good_matches]).reshape(-1, 1, 2) dst_pts np.float32([kp2[m.trainIdx].pt for m in good_matches]).reshape(-1, 1, 2) # RANSAC求解單應(yīng)性矩陣 H, mask cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0) inlier_matches [m for i, m in enumerate(good_matches) if mask[i]] print(fRANSAC內(nèi)點(diǎn)數(shù)量: {len(inlier_matches)}外點(diǎn)數(shù)量: {len(good_matches) - len(inlier_matches)})這里的5.0是重投影誤差閾值單位是像素。小于5個(gè)像素的匹配算內(nèi)點(diǎn)大于的算外點(diǎn)。這個(gè)值也要根據(jù)實(shí)際場(chǎng)景調(diào)整圖像質(zhì)量高、匹配精度要求高的場(chǎng)景可以設(shè)小一點(diǎn)比如3.0圖像本身模糊或壓縮嚴(yán)重的場(chǎng)景可以放寬到8.0甚至10.0。注意閾值設(shè)大了會(huì)把一些錯(cuò)誤匹配也當(dāng)成內(nèi)點(diǎn)導(dǎo)致求出的H矩陣精度下降?？梢暬Y(jié)果非常簡(jiǎn)單# 繪制匹配圖 result cv2.drawMatches(img1, kp1, img2, kp2, inlier_matches, None, flagscv2.DrawMatchesFlags_NOT_DRAW_SINGLE_POINTS) cv2.imwrite(sift_matches_result.jpg, result)最后檢查一下如果內(nèi)點(diǎn)數(shù)量占篩選后匹配總數(shù)量的比例太低比如低于50%說(shuō)明初始匹配質(zhì)量就很差這時(shí)候先別急著調(diào)RANSAC參數(shù)而是要回到前面去看contrastThreshold、ratio這些參數(shù)是否設(shè)置合理。4. 性能實(shí)測(cè)對(duì)比SIFT與其他特征描述子的效果差異光說(shuō)理論有點(diǎn)虛我拿一組真實(shí)圖片做了一次完整的對(duì)比測(cè)試。測(cè)試條件兩張有輕微旋轉(zhuǎn)、縮放和曝光差異的風(fēng)景照分辨率1280×720。算法檢測(cè)點(diǎn)數(shù)量正確匹配數(shù)匹配精度耗時(shí)(ms)SIFT2487623約91%約185SURF2310521約85%約120ORB3000217約60%約28AKAZE1804389約78%約35BRISK1452302約82%約40說(shuō)明一下SURF的測(cè)試用的OpenCV里已不內(nèi)置我是用第三方實(shí)現(xiàn)跑的結(jié)果僅供參考。ORB在特征點(diǎn)數(shù)上并不吃虧吃虧的是匹配精度——在旋轉(zhuǎn)和尺度變化明顯的條件下ORB的二進(jìn)制描述子區(qū)分度明顯不足匹配質(zhì)量掉得很厲害。如果你只是做快速的對(duì)象檢測(cè)ORB夠用但要做到像素級(jí)的幾何變換估計(jì)SIFT在精度上的優(yōu)勢(shì)就直接體現(xiàn)出來(lái)了。這里再放一個(gè)我自己實(shí)際項(xiàng)目里記錄的真實(shí)案例。某次做室內(nèi)場(chǎng)景的三維重建采集的圖像包含大面積的白墻、光滑地板和少量紋理物體。用ORB匹配大量特征點(diǎn)落在白墻上RANSAC求出來(lái)的基礎(chǔ)矩陣經(jīng)常優(yōu)化失敗換SIFT后雖然白墻上依然會(huì)誤檢一些點(diǎn)但經(jīng)過(guò)第一步的對(duì)比度過(guò)濾和第二步的ratio篩選誤匹配被控制在了可接受范圍重建質(zhì)量明顯提升。SIFT的實(shí)測(cè)表現(xiàn)也沒(méi)讓我失望過(guò)。它最讓我放心的一點(diǎn)是在“特征點(diǎn)少而精”這件事上做得非常好。ORB經(jīng)常給你回幾千個(gè)點(diǎn)但每個(gè)點(diǎn)的信息量都很淺SIFT即使只給你幾百個(gè)點(diǎn)每個(gè)點(diǎn)的“辨識(shí)度”都足夠強(qiáng)后續(xù)幾何驗(yàn)證反而更容易收斂。這就像做菜一堆食材可能不如幾樣精選食材出彩。當(dāng)然也要誠(chéng)實(shí)地說(shuō)一句SIFT的速度劣勢(shì)確實(shí)存在。在CPU上處理高分辨率視頻流SIFT很難跑到實(shí)時(shí)。如果你需要實(shí)時(shí)性且對(duì)精度要求不那么苛刻AKAZE和BRISK是不錯(cuò)的折中方案如果你做的是離線任務(wù)或者特征點(diǎn)數(shù)量可以接受降采樣SIFT就是最穩(wěn)的選擇。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄這部分是高價(jià)值段落全是從實(shí)際調(diào)試?yán)飻€出來(lái)的經(jīng)驗(yàn)。我按問(wèn)題頻率從高到低整理成了速查表每一類都給排查思路和解決方案。5.1 特征點(diǎn)數(shù)量過(guò)少匹配失敗這是zui常見(jiàn)的問(wèn)題。你滿懷期待跑了一通代碼結(jié)果打印出來(lái)左圖檢測(cè)到100個(gè)點(diǎn)右圖檢測(cè)到90個(gè)點(diǎn)匹配對(duì)稀稀拉拉RANSAC直接就崩了。先看contrastThreshold。默認(rèn)0.04對(duì)低對(duì)比度圖像來(lái)說(shuō)太嚴(yán)厲了大量溫和變化的紋理點(diǎn)被當(dāng)成“不夠突出”直接濾掉了。如果圖像本身是暗光環(huán)境或者大面積平滑區(qū)域把contrastThreshold調(diào)到0.02甚至0.01特征點(diǎn)數(shù)量會(huì)有質(zhì)的提升。但注意閾值越低噪聲點(diǎn)也越多后續(xù)全靠ratio和RANSAC來(lái)兜底。再看輸入圖像本身。紋理稀疏的圖像比如白墻、天空、桌面先天就沒(méi)有足夠的特征候選再調(diào)參數(shù)也救不回來(lái)。我處理這類場(chǎng)景的經(jīng)驗(yàn)是從流程上想辦法而不是死磕SIFT參數(shù)。比如檢查一下你的測(cè)試圖像是不是真的存在可匹配的紋理區(qū)域或者嘗試對(duì)圖像做CLAHE對(duì)比度增強(qiáng)往往能帶來(lái)驚喜。5.2 誤匹配太多RANSAC內(nèi)點(diǎn)率低表現(xiàn)篩選后good_matches很多但RANSAC算完內(nèi)點(diǎn)率不到40%H矩陣完全不準(zhǔn)。第一步檢查ratio參數(shù)。0.75篩完還亂就繼續(xù)降到0.7。降ratio的直接效果就是更嚴(yán)格寧可錯(cuò)殺不可放過(guò)。第二步檢查特征點(diǎn)分布。如果所有特征點(diǎn)都集中在圖像某個(gè)角落哪怕都是正確匹配計(jì)算全局單應(yīng)性時(shí)的約束也不足RANSAC容易走入局部最優(yōu)。這時(shí)候建議把圖像均勻分塊做特征提取或者干脆手動(dòng)設(shè)置ROI。還有一個(gè)繞不開的坑重復(fù)紋理。瓷磚地板、百葉窗、鐵絲網(wǎng)這類場(chǎng)景局部特征高度相似描述子區(qū)分度天然就差。這種場(chǎng)景下SIFT也會(huì)頭疼解決辦法是增加nOctaveLayers讓特征點(diǎn)落在更大的尺度上或者結(jié)合幾何約束比如極線約束做二次過(guò)濾。5.3 SIFT運(yùn)行太慢內(nèi)存占用異常如果你處理的是超大分辨率圖片或者需要處理視頻流速度問(wèn)題會(huì)非常突出。我的建議優(yōu)先級(jí)是這樣第一降采樣輸入圖像。分辨率減半速度提升接近4倍。很多特征點(diǎn)在高分辨率下才會(huì)出現(xiàn)的細(xì)節(jié)在低分辨率下可能表現(xiàn)不出來(lái)但對(duì)于大多數(shù)實(shí)際應(yīng)用拼接、匹配、定位降采樣到2000像素寬度完全夠用。第二限制nfeatures。默認(rèn)0意味著不限制給個(gè)合理上限算法會(huì)只保留響應(yīng)最強(qiáng)的那一批點(diǎn)速度直接受益。第三控制nOctaveLayers。默認(rèn)3就夠了不需要為了“更穩(wěn)”盲目調(diào)高每多一層計(jì)算量就增加一大截。如果處理的是超大批量圖像比如幾千張圖的匹配還有一個(gè)思路先用一個(gè)快速檢測(cè)器比如FAST粗篩出一批候選區(qū)域只在候選區(qū)域內(nèi)跑SIFT。這個(gè)方案我實(shí)測(cè)過(guò)時(shí)間能省一倍以上匹配精度損失很小。5.4 匹配結(jié)果正確但拼接圖有明顯錯(cuò)位這種情況通常不是SIFT的問(wèn)題而是單應(yīng)性估計(jì)的精度不夠。RANSAC跑完得到H矩陣之后可以用一個(gè)簡(jiǎn)單的手段驗(yàn)證精度把一幅圖的四個(gè)角點(diǎn)投影到另一幅圖看投影誤差是否在可接受范圍內(nèi)。如果誤差大于像素級(jí)要么提高RANSAC閾值要么降低閾值——聽(tīng)起來(lái)矛盾實(shí)際操作中你要看具體是哪種誤差模式。如果H矩陣精度本身沒(méi)問(wèn)題但拼接處出現(xiàn)重影或錯(cuò)位那大概率是輸入圖像本身存在視差。離相機(jī)太近的物體在兩張圖中位置變化不符合單應(yīng)性模型這時(shí)候SIFT無(wú)能為力只能考慮基于光流或立體匹配的融合方案。5.5 同參數(shù)下兩次運(yùn)行結(jié)果不一致這是個(gè)容易讓人迷惑的問(wèn)題。SIFT本身是確定性的算法同輸入同參數(shù)結(jié)果必然一致。真正的元兇多半是圖像讀取時(shí)發(fā)生了什么變化——比如讀的是視頻流里的不同幀或者某處代碼對(duì)圖像做了什么隱式修改。檢查代碼里是否對(duì)輸入圖像做了轉(zhuǎn)碼、縮放、通道重排這些操作都可能改變灰度值進(jìn)而導(dǎo)致檢測(cè)結(jié)果不同。還有種情況是浮點(diǎn)數(shù)精度問(wèn)題在極端情況下不同編譯版本的OpenCV對(duì)高斯模糊的卷積實(shí)現(xiàn)略有差異導(dǎo)致同一臺(tái)機(jī)器上不同環(huán)境的結(jié)果不完全一致。這種差異很細(xì)微不構(gòu)成實(shí)際問(wèn)題不用太糾結(jié)。6. 工具選型與關(guān)鍵參數(shù)的調(diào)試心得SIFT雖然好用但工具鏈選不對(duì)效率也會(huì)大打折扣。我用過(guò)的方案里主流的是OpenCV的C/Python接口。C性能更好、部署更靈活適合正式工程Python開發(fā)效率高適合原型驗(yàn)證和數(shù)據(jù)分析。如果你做的是學(xué)術(shù)研究還可以考慮VLFeat的實(shí)現(xiàn)它提供了一些OpenCV沒(méi)有的細(xì)節(jié)控制項(xiàng)比如是否計(jì)算描述子、是否做方向分配等但上手成本比OpenCV高一些。參數(shù)調(diào)試心得單獨(dú)拿出來(lái)聊。nfeatures、nOctaveLayers、contrastThreshold、edgeThreshold、sigma這五個(gè)參數(shù)我實(shí)際工作中最常用的組合是常規(guī)場(chǎng)景nfeatures5000, nOctaveLayers3, contrastThreshold0.04, edgeThreshold10, sigma1.6低紋理場(chǎng)景nfeatures8000, nOctaveLayers4, contrastThreshold0.02, edgeThreshold10, sigma1.6高噪聲場(chǎng)景nfeatures3000, nOctaveLayers3, contrastThreshold0.06, edgeThreshold15, sigma2.0快速原型場(chǎng)景nfeatures2000, nOctaveLayers2, contrastThreshold0.05, edgeThreshold10, sigma1.2sigma初始值1.6是Lowe論文里驗(yàn)證過(guò)的經(jīng)驗(yàn)值模擬了圖像采集時(shí)相機(jī)的模糊效果。除非你有明確的理由否則不要?jiǎng)铀?。nOctaveLayers影響的是每個(gè)八度內(nèi)的層數(shù)層數(shù)越多尺度采樣越密但耗時(shí)也線性增加非必要不加。匹配環(huán)節(jié)的參數(shù)也歸到工具選型里一并說(shuō)。除了前面提到的ratio閾值還有RANSAC的重投影誤差閾值兩者一個(gè)管粗篩、一個(gè)管細(xì)篩是精度控制的兩道閘門。我做三維重建時(shí)ratio取0.7、RANSAC取3.0做圖像檢索時(shí)ratio取0.8、RANSAC取8.0。參數(shù)設(shè)置的邏輯永遠(yuǎn)是跟著任務(wù)走的搞清楚任務(wù)的精度需求比死記經(jīng)驗(yàn)值更重要。最后再分享一個(gè)實(shí)際工作中的小技巧在我做的某個(gè)物體識(shí)別Demo中SIFT一直表現(xiàn)優(yōu)秀但速度總差一口氣。后來(lái)想到一個(gè)辦法先用FAST做一次快速檢測(cè)取響應(yīng)最強(qiáng)的前2000個(gè)點(diǎn)然后只對(duì)這2000個(gè)點(diǎn)計(jì)算SIFT描述子。SIFT的描述子計(jì)算本身不慢慢的地方在于DoG金字塔的關(guān)鍵點(diǎn)搜索。用FAST粗篩等于提前告訴SIFT“別在那些不像是特征點(diǎn)的地方浪費(fèi)時(shí)間了”整體耗時(shí)能降到原來(lái)的60%左右匹配精度和全量SIFT幾乎持平。這個(gè)方法在純SIFT速度不夠但又不滿足于ORB精度的場(chǎng)景里是我目前用過(guò)的最性價(jià)比方案。算起來(lái)從最初被SIFT算法繞得云里霧里到后來(lái)在數(shù)個(gè)項(xiàng)目里靠它穩(wěn)定輸出結(jié)果中間踩過(guò)的坑不算少。但SIFT這套設(shè)計(jì)思路尤其是尺度空間和描述子歸一化的思想直到今天仍然值得每一個(gè)做視覺(jué)的人認(rèn)真研究一遍。它不只是“一個(gè)特征點(diǎn)算法”更是一套理解圖像局部結(jié)構(gòu)的思維方式。如果你正在被匹配精度折磨不妨先靜下心來(lái)把SIFT的原理徹底吃透再回頭看你的問(wèn)題很可能迎刃而解。