1. 硬件底層邏輯D435i到底是怎么“看見”深度的1.1 主動紅外立體視覺原理以及為什么它能用“亮度”算距離很多人拿到Realsense D435i第一反應(yīng)是“這不就是個普通USB攝像頭嘛”然后接上電腦開個Viewer就開始看畫面。我最初也這么干過但一旦你開始做深度與RGB數(shù)據(jù)融合就會發(fā)現(xiàn)如果不理解D435i的成像原理后面踩的坑基本是連環(huán)的。D435i不是靠結(jié)構(gòu)光、也不是靠ToF來測距的它用的是“主動紅外立體視覺”。機身前面兩個大圓眼睛是左右兩個紅外相機中間的圓孔是紅外激光投影儀。工作時投影儀會向場景投射不可見的紅外散斑紋理兩個紅外相機同時拍攝這些紋理算法再對左右兩幅圖像做立體匹配根據(jù)視差反推每個像素的距離。換句話說它在“沒有紋理的白墻”上人工制造紋理再靠雙目視差算深度。這就是為什么D435i在弱紋理環(huán)境、昏暗環(huán)境下依然能輸出深度而普通雙目相機一到白墻就全黑。這個原理直接引出一個非常重要的結(jié)論D435i的深度依賴紋理匹配質(zhì)量不是激光直接打在物體上測距所以玻璃、透明塑料、純黑色吸光物體、高反光金屬這幾類“經(jīng)典難題”依舊抓瞎。我在做機械臂抓取時碰到過黑色啞光的置物盒深度圖上一整片空洞不是相機壞了而是紅外散斑被吸收了。后面我用了一些應(yīng)急手段第四節(jié)會展開說。另一個由原理推導(dǎo)出的關(guān)鍵點是左右兩個紅外相機之間有一個固定基線D435i大約是50mm深度精度在近距離0.3m左右可以做到毫米級但距離越遠誤差增長越快。官方標稱的測距范圍是0.2m到3m不過實測下來超過1.5m之后深度誤差就開始肉眼可見地跳動超過3m基本就別指望做精密測距了。所以你要正視D435i的定位它是桌面級、近距離、室內(nèi)機器人用的傳感器不是遠距離測繪工具。選用之前先想清楚應(yīng)用場景比調(diào)參重要得多。1.2 RGB相機和深度相機是“兩套眼睛”天然存在視差D435i機身上除了兩顆紅外相機中間偏右還有一顆RGB彩色相機。這顆RGB相機的視野范圍大約是69°×42°而深度相機模塊的視野大約是86°×57°。第一次用Viewer同時打開RGB和深度畫面時你會明顯發(fā)現(xiàn)兩幅圖的“取景范圍”不一樣RGB看到的畫面窄很多如果對著近處的物體RGB里物體在畫面中間深度圖里物體就顯得更小、位置偏整體也略有差異。這不是故障而是物理結(jié)構(gòu)決定的。RGB相機和紅外相機在機身上不在同一個位置光心不同所看到的場景自然有差異這叫視差。這個視差在近距離尤其明顯距離越近RGB和深度像素之間的偏移越大。所以如果你把RGB圖當成彩色信息、深度圖當成距離信息想直接一像素對齊疊加來做檢測結(jié)果必然是對不上的你拿著RGB里(x, y)位置的物體信息去深度圖里取距離取到的很可能是旁邊另一個物體的深度。這不是D435i的缺陷是所有帶RGB的深度相機共有的物理特性必須在軟件層面做圖像對齊Align這件事我們在第三節(jié)細說。理解了這個你也就明白了為什么相機標定在D435i實戰(zhàn)里那么重要RGB與深度之間的外參旋轉(zhuǎn)和平移在生產(chǎn)時雖然做過出廠標定但在運輸、安裝、受熱、振動之后可能發(fā)生微小變化同機自標定就是用來修正這個偏移的。網(wǎng)上熱搜里那個“d435i相機標定”指的多半就是這件事。2. 環(huán)境搭建與SDK配置Windows和Linux兩條路線怎么選2.1 先裝驅(qū)動還是先裝SDKlibrealsense的正確打開方式Realsense全家桶的核心SDK叫l(wèi)ibrealsense官方倉庫、文檔和固件工具都在Intel的RealSense GitHub和官網(wǎng)頁面里把這兩處當權(quán)威信息源就夠了。安裝分兩層底層是驅(qū)動和固件上層是SDK庫和Python/ROS封裝。在Windows上驅(qū)動通常用系統(tǒng)自動識別就能裝上但我建議你主動去官網(wǎng)下一個Realsense SDK 2.0安裝包它會一并裝好驅(qū)動、固件、Realsense Viewer和Python綁定如果你勾選。這里有一個我踩過的坑安裝完SDK后最好直接打開Realsense Viewer確認能否看到畫面再看一下是否需要固件升級。我就遇到過USB識別正常、設(shè)備管理器里也正常但Viewer一直提示固件太老、無法啟動深度流的情況。用Viewer里自帶的“Update Firmware”升級固件之后立刻正常。在LinuxUbuntu 20.04/22.04上推薦用官方提供的apt安裝方式不要自己從源碼編譯——源碼編譯需要下載大量依賴還得裝Qt、GL相關(guān)庫第一條編譯就卡住的大有人在。官方apt流程大致是sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-key F6E65AC044F831AC80A06380C8B3A55A6F3EFCDE || sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-key F6E65AC044F831AC80A06380C8B3A55A6F3EFCDE sudo add-apt-repository deb https://librealsense.intel.com/Debian/apt-repo $(lsb_release -cs) main -u sudo apt-get install librealsense2-dkms librealsense2-utils librealsense2-dev裝完后在終端里敲realsense-viewer能彈出圖形界面就說明驅(qū)動和SDK都通了。這里多說一句DKMS模塊是給內(nèi)核打補丁用的它負責讓UVC視頻驅(qū)動正確識別Realsense元數(shù)據(jù)別為了省事跳過。如果Linux下始終看不到設(shè)備最典型原因是內(nèi)核自帶的uvcvideo模塊搶占了設(shè)備。解決辦法是先sudo modprobe -r uvcvideo再插拔一下相機或者在/etc/modprobe.d/下加一條黑名單規(guī)則。這種情況在Ubuntu 20.04上比較常見22.04上已經(jīng)好很多。2.2 Python綁定pyrealsense2安裝技巧大多數(shù)做算法驗證的同學用的是Python。librealsense的Python綁定叫pyrealsense2在Windows上比較方便pip install pyrealsense2裝完就能用。但Linux上官方不提供編譯好的pip包直接從源碼編譯會痛苦到懷疑人生。我的做法是在Ubuntu上依然是裝完整的librealsense2-dev然后從源碼編譯Python綁定。編譯時需要python3-dev、pybind11和cmake。編譯命令是git clone https://github.com/IntelRealSense/librealsense.git cd librealsense mkdir build cd build cmake ../ -DBUILD_PYTHON_BINDINGSbool:true -DPYTHON_EXECUTABLE$(which python3) make -j8編完后在build/wrappers/python目錄下會生成pyrealsense2模塊把它放到你的Python搜索路徑中即可。說實話這個過程本身不難難的是過程中可能缺各種依賴。為了省事有些人會選擇用Docker鏡像官方也有帶Python綁定的鏡像。不過Docker里用Realsense需要把USB設(shè)備映射進容器還涉及udev權(quán)限配置成本并不低。我的建議是如果是做長期項目老老實實在本機編譯一次如果只是臨時驗證一兩段代碼用Docker也行。還有一條捷徑Ubuntu上可以嘗試用conda-forge渠道安裝conda install pyrealsense2有時候能直接拿到編譯好的包省掉編譯時間但要注意版本可能滯后于官方SDK。2.3 連接規(guī)范USB接口是D435i的命門D435i對USB接口非常挑剔它要求USB 3.0以上并且必須是直連主機接口不能用HUB。我之前圖方便接了個帶供電的USB 3.0 HUB結(jié)果斷流、掉幀、設(shè)備崩潰輪番上陣。后來查到官方的說明才明白D435i的深度和RGB兩個視頻流加起來數(shù)據(jù)量非常大對帶寬和供電穩(wěn)定性要求都很高。USB 2.0模式下D435i最高只能跑很低的幀率和分辨率別指望做實時處理。另外筆記本上要注意有多個USB接口時盡量插藍色的USB 3.0口通常標識為SS或者Type-C轉(zhuǎn)USB 3.0的線。有一些輕薄本為了省電會在閑置時對USB口限流導(dǎo)致深度流偶爾中斷。遇到這種情況可以到電源管理里把USB選擇性暫停設(shè)置為“已禁用”。這些細節(jié)看起來不起眼但排查問題時能省大把時間。3. 核心環(huán)節(jié)實現(xiàn)RGB與深度數(shù)據(jù)的同步采集與對齊3.1 第一段可運行代碼同時拿到彩色圖和深度圖環(huán)境就緒后先跑通“同時拿到彩色圖和深度圖”這一步這也是從圖像采集到實時處理的橋梁。我們用pyrealsense2寫一個最簡版本import pyrealsense2 as rs import numpy as np import cv2 pipeline rs.pipeline() config rs.config() config.enable_stream(rs.stream.depth, 640, 480, rs.format.z16, 30) config.enable_stream(rs.stream.color, 640, 480, rs.format.bgr8, 30) pipeline.start(config) try: while True: frames pipeline.wait_for_frames() depth_frame frames.get_depth_frame() color_frame frames.get_color_frame() if not depth_frame or not color_frame: continue depth_image np.asanyarray(depth_frame.get_data()) color_image np.asanyarray(color_frame.get_data()) depth_colormap cv2.applyColorMap( cv2.convertScaleAbs(depth_image, alpha0.03), cv2.COLORMAP_JET ) cv2.imshow(RGB, color_image) cv2.imshow(Depth, depth_colormap) if cv2.waitKey(1) 0xFF ord(q): break finally: pipeline.stop() cv2.destroyAllWindows()這段代碼的核心邏輯是先創(chuàng)建Pipeline這是Realsense處理的“流水線引擎”再通過Config指定需要的流、分辨率、格式和幀率然后start啟動采集循環(huán)每一輪等待一幀數(shù)據(jù)拆解出深度幀和彩色幀轉(zhuǎn)成numpy數(shù)組最后用OpenCV顯示。這里有兩個細節(jié)新手容易看懵。第一個是rs.format.z16它表示深度圖的每個像素用16位無符號整數(shù)存儲單位是毫米。也就是說像素值5000表示該點距離相機5米。為什么用16位因為深度傳感器的噪聲、精度范圍和測距上限決定了毫米這個單位下必須用更大的位寬8位根本裝不下0.2m到3m的范圍。第二個細節(jié)是cv2.convertScaleAbs(depth_image, alpha0.03)它把毫米值壓到0到255的顯示范圍方便用顏色映射顯示。0.03這個系數(shù)大概對應(yīng)3.3米以內(nèi)的深度映射到灰階,基本符合D435i的實用測距范圍。顯示用的COLORMAP_JET是偽彩色映射藍色近、紅色遠純屬可視化需要后續(xù)算法里用的還是原始z16圖。3.2 align對齊把深度“掰”到RGB視角或者反過來前面說過RGB和深度畫面存在視差解決辦法是使用rs.align。它的原理是利用RGB相機和深度相機之間的內(nèi)參、外參把深度圖像重投影到RGB相機的坐標系下生成一張與RGB分辨率相同的深度圖。這樣兩者在像素層面就能一一對應(yīng)了。實現(xiàn)非常直接align_to rs.stream.color align rs.align(align_to) frames pipeline.wait_for_frames() aligned_frames align.process(frames) aligned_depth_frame aligned_frames.get_depth_frame() aligned_color_frame aligned_frames.get_color_frame() depth_image np.asanyarray(aligned_depth_frame.get_data()) color_image np.asanyarray(aligned_color_frame.get_data())需要在循環(huán)外先創(chuàng)建align對象process方法會在每一幀內(nèi)完成重投影和重采樣。對齊之后你拿到的深度圖分辨率與彩色圖一致坐標為彩色圖坐標用它去索引彩色圖對應(yīng)的深度值是安全的。另一種方向是把RGB圖對齊到深度視角只要把align_to換成rs.stream.depth即可。具體選哪個方向取決于你的算法主視角。比如做視覺抓取時通常以RGB檢測為主那就把深度對齊到RGB如果做純深度處理比如地面分割RGB只是輔助給物體上色那把RGB對齊到深度更自然。兩套方向代碼只差一行但語義完全不同建議一開始就定下來。對齊還會影響深度圖的觀感對齊到RGB之后因為RGB視野比深度視野窄深度圖邊緣會出現(xiàn)一圈“取值不到的黑色區(qū)域”這是正常現(xiàn)象。另外對齊本身是有少量重采樣誤差的在物體邊緣尤其明顯所以做精確的像素級融合時邊緣區(qū)域要做膨脹或腐蝕處理。3.3 從深度像素恢復(fù)三維坐標內(nèi)參和depth scale到底怎么回事拿到對齊后的深度圖之后最常用的操作是從像素坐標(u, v)計算該點在相機坐標系的3D坐標(X, Y, Z)。這一步是機械臂抓取、SLAM、測距測量的基礎(chǔ)。D435i的內(nèi)參包括焦距(fx, fy)和光心(ppx, ppy)這些可以通過相機流的內(nèi)參接口拿到profile pipeline.get_active_profile() depth_profile profile.get_stream(rs.stream.depth) intrinsics depth_profile.as_video_stream_profile().get_intrinsics() print(intrinsics)intrinsics里包含fx、fy、ppx、ppy。有了內(nèi)參深度像素轉(zhuǎn)3D的公式非常直觀def deproject_pixel_to_point(intrinsics, pixel, depth): x (pixel[0] - intrinsics.ppx) / intrinsics.fx y (pixel[1] - intrinsics.ppy) / intrinsics.fy z depth * 1.0 # 單位毫米 return [x * z, y * z, z]這個公式的本質(zhì)是把像素坐標先轉(zhuǎn)換到歸一化平面再乘上深度得到相機坐標系下的坐標。注意公式里的深度值必須乘以depth scale才能得到真正的毫米或米值不對。在pyrealsense2里get_data()拿到的z16圖像像素值本身就是毫米不需要再乘depth_scale。depth_scale是在你獲取原始傳感器輸出時用來換算的傳感器內(nèi)部的原始值是16位depth_scale 0.001表示每個原始單位等于1毫米。多數(shù)情況下你直接看z16圖的像素值就夠了。但在某些SDK接口里拿到的distance depth_image * depth_scale才是以米為單位的值兩種口徑容易搞混。我的建議是統(tǒng)一用毫米作為全工程的距離單位顯示和算法內(nèi)部都用毫米只在可視化或?qū)ν廨敵鰰r把單位轉(zhuǎn)成米或厘米。這樣可以減少很多單位換算造成的bug。4. 實時處理管線的設(shè)計與調(diào)優(yōu)4.1 深度濾波組合拳decimation、spatial、temporal、hole filling拿到原始深度圖直接做檢測你會被噪聲和空洞煩死。D435i的深度圖在物體邊緣、高光區(qū)域、暗色區(qū)域都會出現(xiàn)無效像素值為0而且單幀深度會有時間上的抖動。官方SDK提供了一組后處理濾波器我建議按固定順序串聯(lián)成一個濾波管線Decimation Filter降低深度圖分辨率同時平滑噪點。它會以某個因子對深度圖做降采樣輸出分辨率變小但有效像素更密。處理速度快適合作為第一級。Spatial Filter雙邊空間濾波在保持邊緣的同時平滑同質(zhì)區(qū)域。對深度空洞有修復(fù)作用但高斯權(quán)重設(shè)太大容易讓邊緣糊掉。Temporal Filter時間域濾波把前后幀的深度做加權(quán)融合能大幅減少閃爍和抖動。但對于快速運動的物體會產(chǎn)生明顯的“拖影”。Hole Filling最后的空洞填補用周圍的深度值填充無效像素。有多個填充模式最簡單的Fill from Left用左鄰域填充效果快但會在邊緣產(chǎn)生假深度。實際代碼里可以這樣組織decimation rs.decimation_filter() spatial rs.spatial_filter() temporal rs.temporal_filter() hole_filling rs.hole_filling_filter() decimation.set_option(rs.option.filter_magnitude, 2) spatial.set_option(rs.option.filter_smooth_alpha, 0.5) spatial.set_option(rs.option.filter_smooth_delta, 20) temporal.set_option(rs.option.filter_smooth_alpha, 0.4) temporal.set_option(rs.option.filter_smooth_delta, 20) frame decimation.process(frame) frame spatial.process(frame) frame temporal.process(frame) frame hole_filling.process(frame) depth_image np.asanyarray(frame.get_data())這組參數(shù)我在桌面機械臂場景下實測效果很好。調(diào)參經(jīng)驗上spatial的delta是控制深度差閾值的設(shè)太大會把物體的邊緣深度也抹掉temporal的alpha設(shè)太大會對快速移動的物體產(chǎn)生深度殘影機械臂高速運動時偶爾會把抓取目標“拖”出錯誤位置。所以機器人抓取場景下temporal的alpha我通常控制在0.2到0.4之間慢速測距場景才拉到0.5以上。4.2 從Realsense Viewer到代碼調(diào)試先看畫面再調(diào)參數(shù)我的調(diào)試習慣是任何濾波參數(shù)調(diào)整先在Realsense Viewer里打開“Depth Filters”面板實時調(diào)節(jié)參數(shù)觀察深度圖的變化看到滿意的效果之后再把參數(shù)抄進代碼。Viewer里的參數(shù)面板和代碼里的set_option是一一對應(yīng)的這個是官方做得很好的地方。純靠想象調(diào)參數(shù)效率非常低。不過Viewer里有一個小坑它的濾波結(jié)果是實時可視化的但是一旦你的代碼里Pipeline配置的分辨率或幀率與Viewer不一致參數(shù)效果會有差異。所以在Viewer里確定一個參數(shù)初值后還得在實際代碼里跑一遍微調(diào)。這不算什么大問題但別指望Viewer調(diào)好的參數(shù)能原封不動搬到代碼里在不同分辨率下同一組濾波參數(shù)表現(xiàn)會很不一樣。4.3 多線程處理別讓耗時操作堵住采集循環(huán)有人拿到D435i后寫了一版逐幀處理的代碼發(fā)現(xiàn)幀率掉到10fps以下。其實問題不在相機本身而在于你把深度圖轉(zhuǎn)換成點云、跑神經(jīng)網(wǎng)絡(luò)推理、做彩色圖直方圖均衡等操作都塞在了主循環(huán)里每一幀都要等這些耗時的操作完成采集循環(huán)自然被“卡脖子”。正確的做法是拆成兩個線程一個采集線程專門從Pipeline取幀并做最輕量的預(yù)處理比如對齊、濾波把處理后的幀放進隊列另一個算法線程從隊列取幀做重活檢測、分割、定位。這樣即使算法線程處理一幀需要200ms采集線程依然能以30fps從相機取幀算法線程處理完就取最新的一幀來控制機械臂或更新可視化。我用queue.Queue實現(xiàn)過這個模式代碼很簡單但穩(wěn)定性提升非常明顯。有一個細節(jié)要注意隊列的長度要設(shè)上限比如5幀就滿否則算法線程處理不過來時隊列里堆積的舊幀會帶來越來越大的延遲你做實時控制時就會看到機械臂“慢半拍”。隊列滿時直接丟棄最舊的幀即可保證處理的是最新數(shù)據(jù)。5. 常見問題排查我踩過的那些坑5.1 深度圖全黑或全是零先查這三件事深度圖一片漆黑是最常見的問題。原因可以按概率排序目標物太近或太遠。D435i的最近距離大概0.2m左右在0.1m以內(nèi)拍攝深度直接失敗。太遠超過3m也基本沒數(shù)據(jù)。先用卷尺量一下工作距離。強紅外干擾。D435i的紅外散斑可能被太陽光、其他紅外補光燈干擾。在陽光直射的窗邊深度圖會大面積丟數(shù)據(jù)。室內(nèi)正常燈光一般沒事。USB帶寬不夠。如果同時開了RGB和深度流且?guī)?、分辨率都設(shè)得很高USB 3.0也可能頂不住。這個時候可以先降分辨率或幀率試試。還有一個詭異情況Viewer里顯示正常代碼里深度一直為0。這種往往是代碼里的Pipeline配置和Viewer不一致比如你沒把align處理后的幀接對數(shù)據(jù)源取了不對的frame。給frame加一些斷言打印很快能找到問題。5.2 設(shè)備時連時斷、固件崩潰怎么辦這個問題的帽子很大實際原因通常是這幾類USB供電不足換一個直連主板的USB 3.0口或者用帶獨立供電的USB HUB注意HUB本身要支持USB 3.0。固件太舊打開Realsense Viewer它會自動提示固件升級。升級時必須保持USB連接穩(wěn)定千萬別中途斷電。散熱問題D435i長時間運行發(fā)熱很嚴重尤其夏天。如果設(shè)備過熱會出現(xiàn)幀率驟降甚至掉線。給它一個通風良好的位置必要時外接一個小風扇。我在長時間跑數(shù)據(jù)采集任務(wù)時遇到過“運行兩個小時后設(shè)備消失”的情況。最終解決方案是把相機的功率模式設(shè)置為“Low Power”并降低幀率才穩(wěn)定過夜采集。5.3 常見問題速查表現(xiàn)象常見原因解決方向深度圖全黑目標距離太近/太遠、紅外干擾、USB帶寬測量距離遮擋強光降低分辨率RGB正常但深度無固件過舊、深度流未啟動升級固件檢查Pipeline配置幀率達不到30fps后處理耗時過長、USB帶寬受限拆分線程降低濾波處理量深度圖有大量空洞黑色吸光、高反光、透明物體用Hole Filling或調(diào)整相機角度畫面花屏/斷流USB供電不足、HUB不穩(wěn)定直連USB 3.0接口禁用USB節(jié)能設(shè)備掉線過熱、固件崩潰增強散熱升級固件RGB與深度邊緣對不齊相機外參漂移跑官方自標定工具6. 實戰(zhàn)案例RGB檢測深度定位的小閉環(huán)6.1 基于OpenCV的紅色物體檢測與三維坐標輸出最后用一個實際案例把整套流程串起來檢測畫面中的紅色物體輸出它的相機坐標系三維坐標。這個流程幾乎就是機械臂抓取的“最簡版”——先把目標彩色檢測找到再在深度圖上對應(yīng)位置取深度最后轉(zhuǎn)成坐標。完整代碼如下import pyrealsense2 as rs import numpy as np import cv2 pipeline rs.pipeline() config rs.config() config.enable_stream(rs.stream.depth, 640, 480, rs.format.z16, 30) config.enable_stream(rs.stream.color, 640, 480, rs.format.bgr8, 30) profile pipeline.start(config) align_to rs.stream.color align rs.align(align_to) # 創(chuàng)建濾波管線 decimation rs.decimation_filter() spatial rs.spatial_filter() temporal rs.temporal_filter() hole_filling rs.hole_filling_filter() decimation.set_option(rs.option.filter_magnitude, 2) spatial.set_option(rs.option.filter_smooth_alpha, 0.5) spatial.set_option(rs.option.filter_smooth_delta, 20) temporal.set_option(rs.option.filter_smooth_alpha, 0.3) temporal.set_option(rs.option.filter_smooth_delta, 20) try: while True: frames pipeline.wait_for_frames() aligned_frames align.process(frames) depth_frame aligned_frames.get_depth_frame() color_frame aligned_frames.get_color_frame() if not depth_frame or not color_frame: continue depth_frame decimation.process(depth_frame) depth_frame spatial.process(depth_frame) depth_frame temporal.process(depth_frame) depth_frame hole_filling.process(depth_frame) color_image np.asanyarray(color_frame.get_data()) depth_image np.asanyarray(depth_frame.get_data()) hsv cv2.cvtColor(color_image, cv2.COLOR_BGR2HSV) mask cv2.inRange(hsv, (170, 100, 100), (180, 255, 255)) mask cv2.erode(mask, None, iterations2) mask cv2.dilate(mask, None, iterations2) contours, _ cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) if contours: largest max(contours, keycv2.contourArea) if cv2.contourArea(largest) 500: x, y, w, h cv2.boundingRect(largest) cx, cy x w // 2, y h // 2 depth depth_image[cy, cx] # 深度無效時取周圍一個小鄰域的中值提高穩(wěn)定性 if depth 0: patch depth_image[max(0, cy-5):cy5, max(0, cx-5):cx5] patch_valid patch[patch 0] depth int(np.median(patch_valid)) if len(patch_valid) 0 else 0 if depth 0: intrinsics profile.get_stream(rs.stream.color).as_video_stream_profile().get_intrinsics() point rs.rs2_deproject_pixel_to_point(intrinsics, [cx, cy], depth) print(f目標3D坐標: ({point[0]/1000:.3f}, {point[1]/1000:.3f}, {point[2]/1000:.3f}) m) cv2.rectangle(color_image, (x, y), (xw, yh), (0, 255, 0), 2) cv2.circle(color_image, (cx, cy), 4, (0, 0, 255), -1) cv2.imshow(RGB Detection, color_image) if cv2.waitKey(1) 0xFF ord(q): break finally: pipeline.stop() cv2.destroyAllWindows()這段代碼里有幾個細節(jié)值得好好說。第一顏色空間。HSV比BGR更適合做顏色檢測因為它把色相、飽和度、亮度分開受光照的影響小一些。紅色在HSV里靠近色相環(huán)的0度和180度所以上面用了(170, 100, 100)到(180, 255, 255)這個區(qū)間如果要檢測暗紅色要適當降低飽和度下限。第二輪廓處理。先腐蝕再膨脹是為了去掉小噪點防止輪廓碎片化。面積閾值500是經(jīng)驗值如果相機離目標遠物體在畫面里很小這個閾值要適當調(diào)低。第三深度取值。直接取中心點深度很容易取到空洞值為0所以加了一個“無效時取鄰域中值”的兜底邏輯。取中值比取均值更抗噪但如果鄰域里有一半以上都是空洞兜底邏輯也會失敗這時候就需要Hole Filling提前把空洞補起來。這個兜底邏輯不是萬能的但它能處理大量邊緣反射造成的單點空洞。第四坐標輸出。rs.rs2_deproject_pixel_to_point是SDK自帶的反投影函數(shù)它內(nèi)部做了之前說的內(nèi)參計算。如果你不開align這個intrinsics要取深度流的內(nèi)參而不是彩色流的代碼里我特意取的是rs.stream.color因為前面開了align_tocolor深度圖已經(jīng)對齊到RGB視角了。6.2 這個閉環(huán)怎么擴展到機械臂抓取這個最簡單的“視覺定位小閉環(huán)”再往前走一步就是機械臂抓取。大致路徑是檢測目標并輸出3D坐標后通過手眼標定把相機坐標系下的坐標變換到機械臂坐標系下。D435i自帶的IMU在這里有兩個作用一是做視覺慣性里程計二是幫你在機械臂運動過程中估計相機姿態(tài)變化從而讓目標定位更穩(wěn)定。不過手眼標定是個大工程需要標定板、多角度采集數(shù)據(jù)以及求解AXXB問題。你可以先用最粗暴的方式做個“線性手眼標定”——固定機械臂在幾個已知位姿記錄目標在不同位置下的視覺坐標和機械臂坐標用最小二乘擬合一個變換矩陣。精度一般但能跑通整個閉環(huán)。后續(xù)想提升精度再換正規(guī)標定流程。這里想提醒一句不要一上來就追求高精度毫米級定位先把檢測、深度、濾波、對齊這套基本管線跑通再逐步引入標定和誤差補償。很多項目卡住的原因不是標定不夠準而是前面某一環(huán)——比如根本沒做對齊或者深度濾波沒調(diào)好——讓整個系統(tǒng)的數(shù)據(jù)基礎(chǔ)就是錯的。7. 寫在最后的實操經(jīng)驗D435i這東西用了兩年多我最大的感受是它的入門門檻很低官方SDK把復(fù)雜的光學、傳感器算法都封裝好了但你真正開始做深度與RGB數(shù)據(jù)融合時考驗的依然是基本功——深度成像原理、相機模型、內(nèi)參外參、坐標變換、濾波調(diào)優(yōu)。網(wǎng)上那些“一行代碼搞定深度相機”的標題黨背后其實都是這套底子在撐著。我目前的項目里D435i依然是我做桌面級抓取和SLAM的主力傳感器。它的性價比、開發(fā)生態(tài)、社區(qū)活躍度在同類產(chǎn)品里都是數(shù)一數(shù)二的。如果你剛開始接觸建議不要急著上機械臂或者SLAM這種復(fù)雜場景先把這篇文章里的流程走一遍裝上SDK、跑通Viewer、寫一個采集程序、做一次圖像對齊、調(diào)一遍濾波參數(shù)最后實現(xiàn)一個顏色檢測加深度定位的小閉環(huán)。等你把這條鏈路走順了后面無論是接機械臂還是接導(dǎo)航都會輕松很多。再分享最后一個找問題的小技巧當你懷疑“相機是不是壞了”的時候先用Realsense Viewer跑一遍官方自帶的demo。Viewer里能正常出圖說明硬件和驅(qū)動沒問題問題一定在你的代碼里Viewer里也不出圖那再去排查硬件、驅(qū)動和USB。這個判斷邏輯聽起來特別簡單但能省下無數(shù)個瞎折騰的晚上。