1. 為什么是SGBM雙目立體匹配的選型邏輯1.1 雙目匹配解決的本質(zhì)問題做機器視覺、自動駕駛或者三維重建的朋友對“雙目立體匹配”這個詞一定不陌生。它要解決的根本問題只有一個給定左右兩臺相機拍攝的同一場景的兩幅圖像如何找到空間中同一個物理點在左圖和右圖中對應(yīng)的像素位置從而計算出該點的視差disparity再根據(jù)視差和相機參數(shù)換算出深度信息。簡單說就是讓計算機擁有類似人眼的“立體感知”能力。人眼能判斷遠近靠的是左右眼看到的畫面存在水平位置差異——離得近的物體在左右眼視網(wǎng)膜上的位置差大離得遠的物體位置差小。這個位置差就是視差。雙目相機模仿的正是這個機制左圖和右圖來自兩個水平擺放的相機空間中某一點在左圖中落在像素坐標 (x_L)在右圖中落在像素坐標 (x_R)視差 (d x_L - x_R)。深度 (Z) 與視差 (d) 滿足關(guān)系 (Z \frac{f \cdot B}gv5xshg9wyt)其中 (f) 是焦距(B) 是基線距離兩個相機光心之間的距離。所以只要能算準每個像素的視差深度圖就出來了三維信息也就有了。1.2 SGBM的優(yōu)勢與定位立體匹配算法家族龐大從簡單的塊匹配BM到全局方法Graph Cut、Belief Propagation再到近年火熱的端到端深度學習方法PSMNet、RAFT-Stereo等各有優(yōu)劣。SGBMSemi-Global Block Matching半全局塊匹配是Hirschmuller在2005年提出的經(jīng)典算法它的定位非常特別在不犧牲太多速度的前提下盡量逼近全局算法的精度。這句話怎么理解全局算法如Graph Cut是把整張圖的能量函數(shù)做最優(yōu)化精度高但計算量巨大實時性很差。樸素局部算法如BM只考慮一個局部窗口內(nèi)的匹配代價速度快但在弱紋理區(qū)域、重復(fù)紋理區(qū)域和遮擋區(qū)域經(jīng)常出錯。SGBM走的是一條中間路線它在每個像素點沿多個方向通常是4路或8路做一維動態(tài)規(guī)劃把二維圖像的能量最小化問題近似分解成多個一維路徑上的代價聚合問題。這樣做的好處是既保留了對全局平滑性的約束又大幅壓縮了計算復(fù)雜度在CPU上就能達到準實時的速度。當年我在做第一版雙目測距原型時對比過BM、SGBM和Graph Cut三者的實際效果。BM在實驗室白墻場景下直接輸出一堆“洞”和“條紋噪聲”Graph Cut精度確實高但一幀要算好幾秒只有SGBM在精度和速度之間拿到了最佳平衡。直到今天在嵌入式平臺和實時性要求高的場景里SGBM依然是工程上非?？煽康倪x型。即便深度學習立體匹配已經(jīng)很強但SGBM不依賴GPU、不依賴大規(guī)模訓練數(shù)據(jù)、模型通用性強的特點讓它依然是很多產(chǎn)品落地時的首選或兜底方案。2. SGBM核心原理拆解四步走完一幅視差圖2.1 匹配代價計算算法感知世界的起點SGBM的第一步是計算匹配代價也就是評估“左圖中的像素 (p) 在右圖中偏移視差 (d) 后對應(yīng)的像素與 (p) 有多像”。代價越小說明越匹配。這一步是整個算法感知世界的起點直接決定了后續(xù)優(yōu)化的“初始原料”質(zhì)量。SGBM的經(jīng)典實現(xiàn)中代價計算通常采用互信息Mutual Information, MI或者基于圖像梯度與灰度相結(jié)合的代價函數(shù)。不過工程上更常用的是Birchfield-TomasiBT代價也就是OpenCV中SGBM默認采用的方式。BT代價有一個顯著優(yōu)點它對圖像的采樣噪聲不敏感。傳統(tǒng)做法是直接比較左右像素的灰度值兩個像素如果是同一個點的投影理論上灰度應(yīng)該一致。但現(xiàn)實中左右相機曝光差異、鏡頭畸變殘余、物體表面非朗伯反射等都會導(dǎo)致同名點灰度不一致直接做灰度差容易出現(xiàn)大量誤匹配。BT代價允許像素在一定范圍內(nèi)“游走”通過線性插值尋找最優(yōu)匹配位置相當于給灰度比較加了一層“容錯”。在實現(xiàn)層面SGBM通常會在每個視差層級下計算左圖和右圖各自的梯度信息將“灰度絕對值差”AD與“梯度絕對值差”Gradient結(jié)合作為代價值。這樣做的意義在于梯度信息對光照變化相對魯棒可以在一定程度抵消左右圖像亮度不一致的影響。很多剛接觸SGBM的朋友以為它只比較灰度這是常見誤區(qū)。實際上好的代價函數(shù)設(shè)計往往是用兩個維度——強度與梯度——共同約束匹配這也是為什么參數(shù)調(diào)優(yōu)時針對不同場景要調(diào)整代價計算里的權(quán)重因子。2.2 代價聚合讓每一像素都有全局視野如果只做逐像素的代價計算然后每個像素獨立取最小代價對應(yīng)的視差結(jié)果通常慘不忍睹。原因很簡單單像素的信息太有限了在紋理稀疏區(qū)域或者重復(fù)紋理區(qū)域很多候選視差下的代價都很接近選哪個純靠運氣。這就是所謂的“局部最優(yōu)”陷阱。SGBM的核心創(chuàng)新就在這一步代價聚合。它的思路是如果在二維圖像上做全局能量最小化太慢那不如在多個一維方向上做動態(tài)規(guī)劃再把每個方向的結(jié)果累加起來。每個方向上的動態(tài)規(guī)劃本質(zhì)上是在做這樣一件事當路徑掃過一個像素時它不僅僅看當前像素自身的匹配代價還會參考路徑上之前掃描過的像素的視差變化情況。如果某個像素選了視差 (d)而它的鄰居選了另一個視差 (d)兩者相差越大懲罰越大。這種懲罰機制讓算法傾向于生成平滑的視差圖同時又能接受真實的深度跳變。用生活類比來解釋想象你在一個擁擠的集市里判斷每個人離你的距離。如果你只盯住一個人看很容易被遮擋和相似穿著的行人搞暈。但如果你同時觀察一條直線上的多個人利用“人與人之間的相對位置關(guān)系”來互相印證判斷就會準確得多。SGBM的多路徑聚合就是這個道理——把一維路徑上的信息“串聯(lián)”起來讓每個像素的視差決策參考鄰居的決策形成一個全局趨勢。為什么要分多條路徑呢因為不同路徑能捕捉不同方向的紋理和結(jié)構(gòu)信息。比如水平路徑對水平方向邊緣敏感垂直路徑對垂直邊緣敏感對角線路徑能捕捉斜向紋理。OpenCV默認采用4路徑聚合理論上8路徑精度更高但耗時幾乎翻倍實際項目里可以根據(jù)場景紋理豐富度做取舍。如果場景中橫向紋理和縱向紋理都很豐富8路徑的優(yōu)勢會明顯一些如果場景結(jié)構(gòu)比較簡單4路徑基本夠用。2.3 視差計算與優(yōu)化代價聚合完成后每個像素在不同視差值下都有一個聚集后的代價。此時最簡單的視差計算方法是WTAWinner-Take-All贏者通吃對每個像素在所有候選視差中選代價最小的那個作為最終視差。這個操作非常直觀就像在一個班級里選成績最好的學生誰的分數(shù)高誰就勝出。WTA計算出的初始視差圖已經(jīng)具備基本形態(tài)但直接用它去生成三維點云會發(fā)現(xiàn)不少問題。最典型的是“毛刺”——在某些像素上視差值突然跳變到完全錯誤的水平。這些毛刺通常來自遮擋區(qū)域、反光區(qū)域和低紋理區(qū)域。為了消除毛刺SGBM引入了視差后處理機制其中最核心的是左右一致性檢查Left-Right CheckLRC。左右一致性檢查的原理基于一個簡單的事實對于非遮擋區(qū)域的正確匹配點從左圖出發(fā)找到它在右圖中的匹配點再從這個右圖匹配點出發(fā)應(yīng)該能找回原來的左圖點。如果這個“往返”過程對不上說明匹配不可靠這些像素通常被視為遮擋點或誤匹配點。OpenCV中通過參數(shù)disp12MaxDiff控制允許的最大偏差超過這個閾值的像素會被標記為無效。這個步驟極其重要可以說它是SGBM后處理中最有“分量”的一環(huán)——在室外場景中它能清除掉大部分飛點。2.4 視差后處理讓結(jié)果真正可用左右一致性檢查之后視差圖里還有兩類“臟東西”需要清理一是不連續(xù)的孤立小連通域二是視差精度僅為整像素的問題。孤立小連通域就是那些只有幾個像素大小、和周圍視差完全脫節(jié)的斑塊。它們通常來自圖像噪聲或局部誤匹配。OpenCV通過speckleWindowSize和speckleRange參數(shù)控制連通域過濾當一個連通域包含的像素數(shù)小于speckleWindowSize并且與周圍像素的最大視差差異大于speckleRange時整個連通域會被判為噪聲并剔除。這個操作很像圖像處理里的“去燥?！薄研「泶衲ǖ糇屢暡顖D更干凈。亞像素插值則解決精度問題。整像素視差在大物體遠距離測距時誤差明顯。舉例來說一臺基線 120mm、焦距 1450px 的相機如果視差是10個像素深度約為1.74米如果視差變成11個像素深度降到1.58米。一個整像素的誤差導(dǎo)致了16厘米的深度跳變這在很多應(yīng)用里是不可接受的。SGBM通過拋物面插值在最優(yōu)視差及相鄰視差的代價之間擬合拋物線取拋物線頂點作為亞像素視差來逼近更精細的視差結(jié)果。這樣雖然不能消除系統(tǒng)誤差但能有效降低量化誤差對測距精度的提升非常明顯。3. OpenCV實操SGBM參數(shù)配置與調(diào)優(yōu)全過程3.1 環(huán)境準備與基礎(chǔ)調(diào)用OpenCV對SGBM的支持非常成熟C和Python接口都有現(xiàn)成實現(xiàn)。Python端的調(diào)用代碼極其簡潔幾行就能跑起來import cv2 import numpy as np # 讀取已校正的左右圖 imgL cv2.imread(left.png, cv2.IMREAD_GRAYSCALE) imgR cv2.imread(right.png, cv2.IMREAD_GRAYSCALE) # 創(chuàng)建SGBM對象 sgbm cv2.StereoSGBM_create( minDisparity0, numDisparities64, blockSize11, P18 * 3 * 11 ** 2, P232 * 3 * 11 ** 2, disp12MaxDiff1, uniquenessRatio10, speckleWindowSize100, speckleRange32, modecv2.STEREO_SGBM_MODE_SGBM ) # 計算視差圖 disparity sgbm.compute(imgL, imgR).astype(np.float32) / 16.0這段代碼里最容易被忽略的是最后一行/ 16.0。OpenCV返回的視差圖是定點數(shù)格式真實視差值需要除以16才能得到浮點像素值。很多初學者忘了這一步得到的深度圖數(shù)值整體大了16倍百思不得其解。這是SGBM使用中的一個非常基礎(chǔ)但又極其常見的坑。需要注意的是SGBM要求輸入圖像已經(jīng)完成立體校正。在校正之后的圖像中左右視圖的同名點嚴格位于同一水平線上這就把二維搜索簡化成了沿水平方向的一維搜索這也正是SGBM計算效率能保持較高水平的前提。如果直接拿未校正的原始圖像丟給SGBM結(jié)果必然失敗。3.2 核心參數(shù)逐一解析SGBM一共有8個核心參數(shù)每個參數(shù)都有明確的物理含義和調(diào)優(yōu)邏輯。我逐個說并給出選擇這些參數(shù)時的思考方式。minDisparity與numDisparities這兩個參數(shù)共同決定視差搜索范圍。minDisparity是搜索起點numDisparities是搜索總層數(shù)。視差范圍必須覆蓋場景中從最近點到最遠點的視差變化范圍。如果場景中最近物體視差是0最遠物體視差是80那么numDisparities至少要設(shè)到80。注意numDisparities必須是16的倍數(shù)這是OpenCV底層SIMD優(yōu)化的約束。如果設(shè)置的搜索范圍過窄遠景區(qū)域會出現(xiàn)大面積的“空洞”過寬則浪費計算資源還可能引入更多誤匹配。正確做法是先估算場景最近距離和最遠距離對應(yīng)的視差然后留出15%左右的余量。blockSize匹配代價計算時使用的窗口大小必須是奇數(shù)。窗口越大對紋理的平均效果越強在弱紋理區(qū)域降噪效果好但同時會把尖銳的邊緣“磨圓”導(dǎo)致視差圖在物體邊界附近變模糊。這個參數(shù)的經(jīng)驗值范圍是5到21。在紋理豐富、結(jié)構(gòu)清晰的室內(nèi)場景blockSize設(shè)9左右效果不錯在室外大場景或者低紋理墻面較多的場景需要增大到15或更大。需要注意blockSize不能盲目增大它和numDisparities共同影響內(nèi)存占用和計算速度。P1與P2這是SGBM算法核心的兩個平滑懲罰參數(shù)也是調(diào)參中最需要花心思的地方。P1是當相鄰像素視差變化1個像素時的懲罰P2是視差變化超過1個像素時的懲罰。它們控制視差圖的平滑度。P1太小視差圖噪聲大容易出現(xiàn)“椒鹽”一般的錯配點P1太大會把真實深度變化都給抹平了。P2通常是P1的數(shù)倍因為真實的深度跳變比如物體邊緣在視差圖中往往表現(xiàn)為較大的視差突變我們希望算法允許這種情況存在但又不能允許太多所以設(shè)置一個比P1大很多的P2。OpenCV官方文檔里建議的經(jīng)驗公式是P1 8 * num_channels * blockSize * blockSize P2 32 * num_channels * blockSize * blockSize注意這個公式已經(jīng)寫進了很多人的代碼里但它只是一個起點。實際調(diào)優(yōu)時要記住P2的取值往往需要根據(jù)圖像噪聲水平調(diào)整噪聲大的場景適當增大P2讓算法更“果斷”地選擇平滑區(qū)域。disp12MaxDiff左右一致性檢查的閾值。一般設(shè)為1在噪聲較大的場景可以放寬到2或3。但如果設(shè)得過大左右一致性檢查就形同虛設(shè)。我一般控制在1到2之間。uniquenessRatio唯一性檢測閾值。它要求最優(yōu)視差的代價值與次優(yōu)視差的代價值之間要有足夠的差異差異不足則視為低置信度匹配置為無效。這個參數(shù)對消除重復(fù)紋理區(qū)域的誤匹配很有幫助。經(jīng)驗值在5到15之間值越大能通過檢測的像素越少視差圖覆蓋率降低但留下的點質(zhì)量更高。speckleWindowSize與speckleRange連通域過濾參數(shù)。前者定義連通域大小閾值后者定義連通域內(nèi)視差允許的波動范圍。在視差圖雜點較多的場景適當調(diào)大這兩個值能有效清噪。但如果設(shè)置過大會把物體邊緣的真實細節(jié)也給去掉所以調(diào)試時要觀察視差圖的邊緣是否還清晰。3.3 參數(shù)調(diào)優(yōu)實戰(zhàn)一組室內(nèi)場景的調(diào)試記錄我以一次實際調(diào)試經(jīng)歷來展示調(diào)參過程。項目需求是在室內(nèi)桌面上測量物體尺寸相機距離物體大約0.5米到1.5米。相機基線60mm分辨率為1280x720。第一步我先用一個粗略的點云可視化工具觀察初始結(jié)果。設(shè)置初始參數(shù)為numDisparities64、blockSize9、P1648、P22592運行后視差圖有大量噪點尤其在桌面這種無紋理區(qū)域出現(xiàn)嚴重“空洞”。這說明P1和P2設(shè)置偏小算法沒有足夠的平滑性約束。第二步將blockSize增大到15P1和P2按照官方公式更新為1800和7200。運行后桌面區(qū)域的空洞明顯減少視差圖整體平滑了不少。但物體的邊緣出現(xiàn)“膨脹”現(xiàn)象——物體輪廓比實際偏大一圈。這是因為窗口大了物體邊緣的視差受到背景視差的污染前景區(qū)和背景區(qū)在同一個匹配窗口內(nèi)競爭。第三步將blockSize調(diào)回11保持P1968、P23872然后調(diào)整uniquenessRatio從5調(diào)到10。這一步顯著減少了重復(fù)紋理區(qū)域如桌面條紋的誤匹配視差圖的“亂碼”區(qū)域大幅減少而物體邊緣的膨脹問題也隨窗口縮小得到緩解。第四步針對遠景區(qū)域出現(xiàn)的一些零散飛點我把speckleWindowSize從100調(diào)到200speckleRange保持32飛點被成功抑制。整個調(diào)整過程耗費了大概2個小時每一步都配合可視化檢查。調(diào)參的規(guī)律是先定視差范圍和窗口大小再調(diào)平滑懲罰最后做后處理參數(shù)微調(diào)。這個順序能讓調(diào)試過程可控每次只動一個維度避免多個參數(shù)同時調(diào)整導(dǎo)致無法判斷是誰在起作用。4. 踩坑實錄SGBM實戰(zhàn)中的常見問題與排查4.1 常見問題速查表我在多個項目里和SGBM打過交道整理了一份問題速查表基本覆蓋了90%以上的常見異?，F(xiàn)象可能原因排查與解決視差圖大面積空洞視差搜索范圍不足增大numDisparities確認minDisparity視差圖邊緣“毛邊”嚴重blockSize過大減小blockSize物體邊緣明顯膨脹blockSize過大 P1/P2失衡減小窗口適當增大P2重復(fù)紋理區(qū)域大量錯誤條紋uniquenessRatio過低增大uniquenessRatio到10-15視差圖出現(xiàn)大面積“階梯”狀亞像素精度不足或P1/P2偏大檢查插值邏輯適當調(diào)低P1零散飛點遍布全圖speckleWindowSize過小增大連通域過濾閾值圖像邊緣部分無視差校正不徹底檢查立體校正標定重投影誤差視差值整體偏大或偏小忘記除以16檢查數(shù)據(jù)類型除以16.0這些坑里最隱蔽的是“視差值整體偏大或偏小”。有人算出來的深度圖所有數(shù)值都對但整體偏移一截于是懷疑是標定問題重新標定了幾次仍然如此。最后檢查發(fā)現(xiàn)OpenCV返回的disparity是int16類型需要除以16才是真實像素單位視差。這種小問題排查起來極其浪費時間建議代碼里在拿到disparity之后立刻打印幾個已知距離點的視差值驗證數(shù)值是否合理防患于未然。4.2 獨家避坑技巧技巧一不要迷信相機標定的理論參數(shù)。在做深度換算時你可能會用標定得到的焦距和基線直接代入公式 (Z fB/d)。但實際操作中相機的有效基線可能因為安裝誤差、鏡頭畸變殘余等原因與理論值略有偏差。我的做法是拍攝一個已知距離的目標比如放置一個標定板在1米處反算出“有效 (fB) 值”再用于后續(xù)測距。這個操作能顯著提高實際測距精度比單純依賴標定參數(shù)靠譜得多。技巧二前處理比調(diào)參更有效。很多人在SGBM的參數(shù)上反復(fù)嘗試效果不理想?yún)s忽視了圖像前處理。適當?shù)母咚蛊交梢砸种茍D像噪聲但不建議用雙邊濾波因為雙邊濾波會改變邊緣結(jié)構(gòu)對視差計算產(chǎn)生干擾。更有效的操作是直方圖均衡化——它能在光照不均的場景下統(tǒng)一左右圖的灰度分布讓匹配代價計算更穩(wěn)定。技巧三根據(jù)場景區(qū)分對待“無效像素”。SGBM輸出的視差圖里被左右一致性檢查標記為無效的像素并不是完全沒用的信息。在遮擋邊界附近這些無效像素往往恰恰對應(yīng)真實現(xiàn)實中的遮擋區(qū)域。如果應(yīng)用對邊緣完整度要求較高可以考慮對這些區(qū)域做鄰域插值填充但如果應(yīng)用是障礙物檢測或避障這些無效像素寧可保留為空也不能盲目填充——填充錯誤區(qū)域比缺失信息更危險。技巧四關(guān)注運行時性能瓶頸。SGBM雖然比全局算法快但在高分辨率圖上仍可能成為性能瓶頸。我實測過1280x720分辨率、視差范圍64層、blockSize11的情況下PC端耗時約30-50毫秒嵌入式設(shè)備上可能需要200毫秒以上。如果實時性要求高有兩條路一是降低輸入分辨率在縮小圖上算視差再上采樣二是適當減小blockSize和numDisparities。從工程角度看先降分辨率再上采樣往往是最簡單有效的方案代價是深度精度略微下降。5. SGBM之后從視差圖到三維信息的落地鏈路視差圖算出來之后很多項目才剛剛開始。SGBM輸出的視差圖本質(zhì)上是一張二維的“偏移量地圖”要把它變成真正有用的三維信息還需要走完后續(xù)的坐標轉(zhuǎn)換鏈路。這里我分享一下在實際項目中完整的處理流程。第一步是亞像素插值和無效像素標記。OpenCV返回的disp64f其實就是亞像素視差但需要判斷哪些像素是可靠的。一般做法是結(jié)合“左右一致性檢查后的掩碼”和“最小代價掩碼”來生成可靠像素掩碼?？煽肯袼匮诖a可以過濾掉低紋理和遮擋區(qū)域的不可靠估計。第二步是視差到深度的轉(zhuǎn)換。對應(yīng)關(guān)系就是前面提到的 (Z \frac{f \cdot B}gv5xshg9wyt)。這里要注意的是公式里的 (f) 是用像素單位表示的焦距等于焦距毫米值除以像元尺寸不是標定文件里的相機內(nèi)參矩陣中的 (f_x)。在很多實現(xiàn)里直接取內(nèi)參矩陣的 (f_x) 值使用即可因為這個值本身已經(jīng)是像素單位。但要確認你的標定文件是正確的。第三步是生成三維點云。對每個有效像素 ((u, v))知道了深度 (Z)就可以利用相機內(nèi)參反投影得到三維坐標def disparity_to_pointcloud(disparity, Q, mask): points_3d cv2.reprojectImageTo3D(disparity, Q) points points_3d[mask].reshape(-1, 3) colors imgL_color[mask].reshape(-1, 3) return points, colorsOpenCV提供了reprojectImageTo3D函數(shù)通過預(yù)先計算好的重投影矩陣Q直接得到三維坐標。這種實現(xiàn)效率高配合SGBM輸出可以直接接入后續(xù)的PCL處理、點云濾波、目標分割等環(huán)節(jié)。第四步是根據(jù)應(yīng)用需求做進一步處理。如果是障礙物檢測可以在深度圖上設(shè)置ROI區(qū)域用深度閾值做前景分割如果是三維重建需要做點云后處理去噪、平滑、法向量估計如果是工業(yè)精密測量還可能需要做平面擬合、邊緣提取等后續(xù)步驟。SGBM輸出的深度圖在這個鏈條中扮演的是“原材料”角色后續(xù)的算法選擇會直接影響最終精度。以我做過的工業(yè)零件尺寸測量項目為例SGBM輸出深度圖后還需要做三步處理第一步用Z方向深度直方圖統(tǒng)計找到目標平面的深度范圍做平面分割第二步對分割出的平面上的點云做最小二乘平面擬合修正相機安裝角度偏差第三步在擬合平面上做邊緣提取和尺寸測量。這個流程下最終測量精度可以達到毫米級配合亞像素視差插值甚至能做到0.5mm以內(nèi)的重復(fù)精度。所以說SGBM不是終點而是整個立體視覺系統(tǒng)的核心引擎。把這個引擎調(diào)好了后續(xù)的三維應(yīng)用才有可靠的數(shù)據(jù)基礎(chǔ)。而調(diào)優(yōu)SGBM的關(guān)鍵不是死記硬背參數(shù)公式而是理解每個參數(shù)在算法流程中到底在控制什么拿著可視化工具一幀一幀觀察效果讓參數(shù)調(diào)整有據(jù)可依。這也是我從多次調(diào)參經(jīng)歷中體會到的最重要的經(jīng)驗。