做自動(dòng)駕駛算法這幾年有個(gè)經(jīng)常被問到的問題“想入坑3D點(diǎn)云目標(biāo)檢測到底先學(xué)什么”每次我都想說先別急著刷一堆論文先把激光雷達(dá)點(diǎn)云這個(gè)最樸素、最本質(zhì)的數(shù)據(jù)形態(tài)吃透再上模型就順了。這次把基于激光雷達(dá)的3D點(diǎn)云目標(biāo)檢測算法從原理到實(shí)戰(zhàn)完整拆一遍盡量用最直白的話講清楚。這個(gè)話題適合幾類人剛轉(zhuǎn)行做自動(dòng)駕駛感知的工程師準(zhǔn)備投算法崗的應(yīng)屆生或者只是想搞懂“自動(dòng)駕駛到底怎么認(rèn)路”的其他方向開發(fā)者。文章里我不會(huì)堆滿公式而是把每個(gè)關(guān)鍵環(huán)節(jié)背后的“為什么”講透再給你一套能直接跑起來的小型實(shí)戰(zhàn)鏈路讓你在兩小時(shí)左右就能建立完整的知識(shí)閉環(huán)。1. 3D點(diǎn)云目標(biāo)檢測在自動(dòng)駕駛里的定位與核心價(jià)值1.1 為什么自動(dòng)駕駛必須用點(diǎn)云做3D目標(biāo)檢測自動(dòng)駕駛的核心能力之一就是回答三個(gè)問題我在哪、周圍有什么、接下來該怎么做。“周圍有什么”就是目標(biāo)檢測要干的事但車載視覺里的目標(biāo)不光是“圖里有個(gè)方框”而是要給出一個(gè)精確的3D位置、長寬高甚至朝向角。2D圖像目標(biāo)檢測只能告訴你像素框而車輛的尺寸、朝向、距離誤差都會(huì)直接變成后續(xù)規(guī)劃控制的風(fēng)險(xiǎn)。激光雷達(dá)點(diǎn)云天然攜帶準(zhǔn)確的深度信息哪怕是16線雷達(dá)也能在幾十米范圍內(nèi)輸出厘米級(jí)的距離精度。相比攝像頭依賴光照、紋理、遮擋情況激光雷達(dá)更像個(gè)“老實(shí)人”它不靠猜靠反射。這就決定了基于點(diǎn)云的目標(biāo)檢測是整個(gè)自動(dòng)駕駛感知棧里最穩(wěn)的兜底方案。尤其夜間、逆光、雨天當(dāng)然暴雨天表現(xiàn)會(huì)打折這些攝像頭容易擺爛的場景點(diǎn)云依然是判斷車輛行人的重要依據(jù)。1.2 激光雷達(dá)點(diǎn)云 vs 相機(jī)圖像從優(yōu)勢互補(bǔ)說起圖像每幀是一張或多張二維矩陣有豐富的顏色和紋理信息但對(duì)深度敏感度低點(diǎn)云是稀疏的3D坐標(biāo)集合深度天然正確但缺少語義色彩。這就是為什么現(xiàn)在絕大多數(shù)量產(chǎn)方案都在做“融合”一個(gè)攝像頭負(fù)責(zé)認(rèn)語義和顏色比如理解紅綠燈、車道線激光雷達(dá)負(fù)責(zé)給目標(biāo)精準(zhǔn)定位和測距。從算法角度來說點(diǎn)云還有兩個(gè)很特殊的地方無序性點(diǎn)云里點(diǎn)的排列順序不影響物體本身一萬個(gè)點(diǎn)打亂順序還是同一個(gè)物體。這導(dǎo)致傳統(tǒng)2D CNN沒法直接處理。稀疏性遠(yuǎn)處的點(diǎn)非常稀疏近處很密如果粗暴地轉(zhuǎn)成規(guī)則網(wǎng)格會(huì)浪費(fèi)大量算力在空白區(qū)域。正是這兩點(diǎn)讓點(diǎn)云算法的發(fā)展走出了和圖像算法完全不同的技術(shù)路線。1.3 3D點(diǎn)云目標(biāo)檢測要解決的本質(zhì)問題一句話概括給每一個(gè)可能存在的障礙物預(yù)測一組7維信息——中心坐標(biāo)(x, y, z)、長寬高(l, w, h)、朝向角(yaw)。有的方法還會(huì)預(yù)測速度等信息但核心就這7個(gè)維度。這里面的難點(diǎn)不只是“檢測有沒有”更在于小目標(biāo)難行人尺寸很小點(diǎn)又稀疏容易被周圍的大物體淹沒。遮擋難前車擋住后車點(diǎn)云只剩半個(gè)側(cè)面如何恢復(fù)完整框近遠(yuǎn)分布不均衡近處的車幾百點(diǎn)遠(yuǎn)處的車才十幾個(gè)點(diǎn)模型要同時(shí)適應(yīng)完全不同的點(diǎn)數(shù)規(guī)模。理解這個(gè)本質(zhì)之后再看主流算法就輕松多了。2. 從零說清主流3D點(diǎn)云檢測算法的原理2.1 點(diǎn)云數(shù)據(jù)的基礎(chǔ)表示與預(yù)處理點(diǎn)云本質(zhì)是一堆坐標(biāo)為(x, y, z)的點(diǎn)加上反射強(qiáng)度intensity。拿到原始數(shù)據(jù)后工程上通常會(huì)先做幾件事地面濾除路面點(diǎn)數(shù)量巨大又對(duì)目標(biāo)檢測沒有直接幫助先用平面擬合或柵高度閾值把地面點(diǎn)去掉最常見的是RANSAC擬合平面或者用高度差分判斷。點(diǎn)云去噪與降采樣體素濾波器Voxel Grid Filter把空間切成小立方體每個(gè)立方體保留一個(gè)代表點(diǎn)這樣遠(yuǎn)處密集的點(diǎn)云也能被壓縮計(jì)算量顯著下降。區(qū)域裁剪ROI有的方案只在車輛前方和兩側(cè)的感興趣區(qū)域內(nèi)檢測能去掉大量無關(guān)點(diǎn)云。預(yù)處理談不上高深但直接影響模型輸入質(zhì)量。我個(gè)人見過太多人跳過地面濾除就直接喂給模型近地誤檢率立刻上升一截訓(xùn)練時(shí)噪聲巨大。2.2 基于Voxel的方案VoxelNet與PointPillarsVoxel化是最經(jīng)典的思路把3D空間劃分成均勻的網(wǎng)格比如每個(gè)格子10cm×10cm×20cm每個(gè)格子內(nèi)部聚合點(diǎn)云特征再用3D卷積做檢測。VoxelNet是這個(gè)思路的代表作之一它的核心貢獻(xiàn)是用體素特征編碼VFE層提取每個(gè)格子內(nèi)的局部特征再reshape成類似“偽圖像”的高維張量后續(xù)就能用類似2D檢測那樣做區(qū)域提議和框回歸。VoxelNet的問題很直觀3D卷積計(jì)算開銷太大實(shí)時(shí)性差。后來PointPillars換了個(gè)角度——把體素變成“柱子”Pillar也就是只在x-y平面上劃分網(wǎng)格z方向不切。這樣就把3D稀疏數(shù)據(jù)壓縮成偽圖像利用每個(gè)格子內(nèi)的點(diǎn)統(tǒng)計(jì)特征直接接2D卷積網(wǎng)絡(luò)做檢測。PointPillars是目前量產(chǎn)方案里的?？秃诵脑蚴撬趯?shí)時(shí)性車載GPU上可以跑到幾十FPS和精度之間找到了平衡點(diǎn)。如果你第一次做點(diǎn)云檢測項(xiàng)目從PointPillars入手是最好的選擇因?yàn)樗茏屇惚荛_3D卷積的復(fù)雜度快速看到從點(diǎn)云到3D框的完整流程。2.3 基于Point的方案PointNet系列另一條技術(shù)路線是直接在原始點(diǎn)上做運(yùn)算不再體素化。PointNet用共享多層感知機(jī)MLP對(duì)每個(gè)點(diǎn)獨(dú)立升維再用對(duì)稱函數(shù)如最大池化聚合全局特征天生解決點(diǎn)云的無序性問題。但PointNet對(duì)局部結(jié)構(gòu)捕捉弱后來的PointNet引入了分層采樣和局部特征聚合解決了尺度問題?；赑oint系列的檢測器比如PointRCNN通常先分割出前景點(diǎn)再去對(duì)每個(gè)點(diǎn)做檢測框回歸思路干凈可解釋性強(qiáng)在小目標(biāo)和形態(tài)不規(guī)則物體上有優(yōu)勢。缺點(diǎn)是原始點(diǎn)運(yùn)算量大部署難度高工程團(tuán)隊(duì)一般需要很深的CUDA優(yōu)化功底才能壓到車規(guī)級(jí)的延遲。對(duì)初學(xué)的人來說我的建議是先理解PointNet的原理但在動(dòng)手實(shí)踐時(shí)優(yōu)先選PointPillars或CenterPoint這類方案少走工程彎路。2.4 融合方案點(diǎn)云如何加持多傳感器體系現(xiàn)在的自動(dòng)駕駛方案已經(jīng)很少只用純點(diǎn)云做檢測了。常見融合有兩種前融合數(shù)據(jù)級(jí)融合“把圖像特征和點(diǎn)云特征在傳感器坐標(biāo)系對(duì)齊后直接拼接送入網(wǎng)絡(luò)”對(duì)時(shí)間和空間同步要求很高但信息利用最充分。后融合結(jié)果級(jí)融合“點(diǎn)云模型和圖像模型各跑各的輸出框先做時(shí)間同步再用匈牙利匹配或非極大值抑制NMS合并結(jié)果”實(shí)現(xiàn)簡單魯棒性好量產(chǎn)場景最常用。我個(gè)人傾向在工程落地階段先做后融合因?yàn)閮蓚€(gè)獨(dú)立模型可以各自迭代、灰度發(fā)布風(fēng)險(xiǎn)可控。等團(tuán)隊(duì)熟練了再考慮做前融合的精度上限。3. 兩小時(shí)跑通一個(gè)點(diǎn)云目標(biāo)檢測實(shí)戰(zhàn)項(xiàng)目3.1 數(shù)據(jù)集選擇與格式解析動(dòng)手之前先選數(shù)據(jù)集。自動(dòng)駕駛領(lǐng)域最常用這幾個(gè)KITTI經(jīng)典入門數(shù)據(jù)量中等標(biāo)注格式簡單但原始點(diǎn)云格式為二進(jìn)制的Velodyne格式很多開源倉庫都兼容。nuScenes數(shù)據(jù)量大帶傳感器全套6攝像頭5雷達(dá)標(biāo)注信息豐富更適合工業(yè)界銜接。Waymo Open Dataset量級(jí)最大但對(duì)硬件要求也高新手容易直接卡在下載和解壓環(huán)節(jié)。我建議新手用KITTI。它的缺點(diǎn)是沒有復(fù)雜天氣和多變場景但勝在簡單、驗(yàn)證成本低。你可以先跑通一個(gè)完整流程對(duì)模型和評(píng)估體系有了體感再換到更大型的數(shù)據(jù)集。KITTI的標(biāo)注文件里每一行都包含類別、截?cái)喽?、遮擋度?D框坐標(biāo)和3D框參數(shù)。比如3D框參數(shù)順序是高度、寬度、長度、中心坐標(biāo)和朝向角拿到之后要轉(zhuǎn)換成模型訓(xùn)練用的格式這個(gè)轉(zhuǎn)換最容易踩坑后面會(huì)細(xì)說。3.2 環(huán)境配置與依賴安裝點(diǎn)云檢測的開源倉庫很多我常用的組合是OpenPCDet或者M(jìn)MDetection3D。對(duì)新手我更推薦OpenPCDet因?yàn)樗臄?shù)據(jù)預(yù)處理流程透明訓(xùn)練入口簡單對(duì)KITTI開箱即用。建議的軟件棧是Python 3.8PyTorch 1.10CUDA版看你的顯卡CUDA 11.xOpenPCDet或者M(jìn)MDetection3D可視化工具Open3D或者mayavi安裝OpenPCDet時(shí)最容易出問題的是spconv庫稀疏卷積庫它必須和CUDA版本嚴(yán)格對(duì)應(yīng)。建議先確認(rèn)顯卡驅(qū)動(dòng)支持的CUDA版本再裝對(duì)應(yīng)的spconv順序反了就是各種鏈接錯(cuò)誤。3.3 訓(xùn)練一棵PointPillars模型的完整流程第一步把KITTI數(shù)據(jù)集按官方目錄結(jié)構(gòu)放好。這里有個(gè)容易忽略的點(diǎn)除了3D檢測標(biāo)簽KITTI還提供校準(zhǔn)文件calib里面是相機(jī)與激光雷達(dá)的坐標(biāo)轉(zhuǎn)換參數(shù)。訓(xùn)練模型時(shí)不一定直接用但評(píng)估和可視化時(shí)一定會(huì)用到。第二步數(shù)據(jù)預(yù)處理。OpenPCDet里執(zhí)行create_database_info之類的命令會(huì)把點(diǎn)云信息、標(biāo)簽信息、數(shù)據(jù)庫采樣信息都提前算好這樣訓(xùn)練時(shí)每次迭代就不用重復(fù)讀大頭文件。處理完之后訓(xùn)練數(shù)據(jù)會(huì)被索引方式組織好速度顯著提升。第三步配置模型。KITTI的PointPillars模型一般在tools/cfgs/kitti_models/pointpillar.yaml。里面需要關(guān)注幾個(gè)超參數(shù)初始學(xué)習(xí)率一般是0.001量級(jí)batch size根據(jù)顯存調(diào)整常見是8或16。對(duì)新手來說默認(rèn)參數(shù)基本能訓(xùn)不需要大改。第四步開始訓(xùn)練。在RTX 3090或4090這類卡上KITTI一個(gè)epoch大概十分鐘左右訓(xùn)練80個(gè)epoch大概十幾個(gè)小時(shí)。很多人以為訓(xùn)練完就是全部其實(shí)真正費(fèi)時(shí)間的反而是調(diào)參和評(píng)估。第一輪訓(xùn)練結(jié)束先跑一次驗(yàn)證把可視化結(jié)果打開看幾幀比盯著數(shù)值漲得開心重要的多。這里分享一個(gè)我自己的經(jīng)驗(yàn)訓(xùn)練期間每跑幾個(gè)epoch就存一次checkpoint一旦發(fā)現(xiàn)過擬合可以回溯不用從頭來。另外觀察loss曲線不要只看是不是下降還要看收斂點(diǎn)和初始值之間的差距初始值特別高往往意味著數(shù)據(jù)預(yù)處理有問題。3.4 推理與可視化讓檢測結(jié)果看得見訓(xùn)練完之后用測試腳本對(duì)單幀點(diǎn)云做推理再寫一段可視化代碼把點(diǎn)云和預(yù)測框一起畫出來。這一步看起來簡單但對(duì)理解算法至關(guān)重要。你會(huì)直觀看到“遠(yuǎn)處的車為什么漏檢”、“那一堆紅框到底是怎么回事”這比任何論文里的曲線都更有說服力?？梢暬矣肙pen3D加載點(diǎn)云數(shù)組之后直接添加邊界框也可以用Matplotlib做俯視圖投影把點(diǎn)云按高度著色再畫2D框速度更快夠用?？梢暬^程中還有一個(gè)通用技巧把預(yù)測框和真值框同時(shí)顯示用不同顏色區(qū)分。如果預(yù)測框和真值框差很遠(yuǎn)可以檢查是不是3D框角度定義不一致導(dǎo)致。KITTI里角度是繞z軸逆時(shí)針的yaw角但很多模型內(nèi)部用的是弧度制且方向定義不同這一步超級(jí)容易看出誤差也超級(jí)容易忽略。4. 算法落地中的性能指標(biāo)與工程優(yōu)化4.1 從mAP、IoU聊起剛接觸3D檢測的讀者一定會(huì)被mAP和IoU搞暈。其實(shí)3D檢測里的邏輯和2D檢測一模一樣只不過多了深度維。IoU就是預(yù)測框與真值框的交并比3D框的交并比就是兩個(gè)長方體相交體積除以合并體積。KITTI官方把檢測難度分成Easy、Moderate、Hard三檔分別由目標(biāo)大小、遮擋度和截?cái)喽榷x。mAP則是先按類別在不同IoU閾值下算平均精度再做類別平均。很多比賽或項(xiàng)目只看mAP但你做工程落地時(shí)一定還要看每個(gè)類別的召回率尤其是行人和自行車。mAP數(shù)值高不代表實(shí)際路測安全因?yàn)槁z一個(gè)行人的代價(jià)遠(yuǎn)高于誤檢一堵不存在墻。我自己在評(píng)測模型時(shí)會(huì)額外記錄所有目標(biāo)的“最小檢測距離”以及不同距離區(qū)間的召回率曲線這比單個(gè)mAP更有參考意義。4.2 模型壓縮與加速訓(xùn)練完的模型通常不適合直接上車因?yàn)檐囕d芯片算力有限并且推理延遲必須壓到幾十毫秒。常見的優(yōu)化路徑有模型剪枝去掉網(wǎng)絡(luò)中不重要的通道或權(quán)重比如結(jié)構(gòu)化剪枝能讓模型體積直接縮小一半并且推理速度明顯提升。量化把FP32模型轉(zhuǎn)成INT8精度在大多數(shù)GPU或NPU上能快一到三倍代價(jià)是精度略有下降需要校準(zhǔn)數(shù)據(jù)集來補(bǔ)償。蒸餾用一個(gè)大的高精度模型當(dāng)老師教一個(gè)小學(xué)生模型學(xué)典型應(yīng)用就是把復(fù)雜模型的輸出分布交給輕量網(wǎng)絡(luò)擬合。我最想提醒的是別一上來就上壓縮技術(shù)。先把網(wǎng)絡(luò)結(jié)構(gòu)和數(shù)據(jù)預(yù)處理理順讓模型在服務(wù)器上達(dá)到目標(biāo)精度再做量化壓縮才是正路。否則你壓縮完之后就算精度掉了一點(diǎn)點(diǎn)也很難判斷是壓縮引入的誤差還是原本就沒訓(xùn)好。4.3 部署端的硬件與數(shù)據(jù)處理管線量產(chǎn)級(jí)部署一般會(huì)用到兩類平臺(tái)一類是車載域控制器里的GPU如Orin另一類是專用NPU。這類平臺(tái)對(duì)算子支持有限不是所有PyTorch算子都能直接跑所以部署前需要把模型導(dǎo)出成通用格式比如ONNX或TensorRT。點(diǎn)云預(yù)處理在部署端同樣是個(gè)坎。原始雷達(dá)數(shù)據(jù)每秒幾萬到幾十萬個(gè)點(diǎn)但許多算子并不支持動(dòng)態(tài)維度需要在預(yù)處理時(shí)固定每幀的最大點(diǎn)數(shù)或最大有效檢測范圍再補(bǔ)零對(duì)齊。這一改動(dòng)會(huì)在精度上造成細(xì)微變化需要在離線測試和實(shí)車測試中都驗(yàn)證到位。部署端另一個(gè)容易忽略的點(diǎn)是數(shù)據(jù)時(shí)間同步。激光雷達(dá)點(diǎn)云通常以雷達(dá)時(shí)間戳為準(zhǔn)但模型輸入還需要疊加車輛自身速度、角速度等運(yùn)動(dòng)補(bǔ)償信息。如果直接把點(diǎn)云和圖像按接收順序硬拼目標(biāo)框在地圖坐標(biāo)系里會(huì)出現(xiàn)嚴(yán)重的錯(cuò)位或拖影。5. 常見問題與排錯(cuò)技巧實(shí)錄5.1 數(shù)據(jù)預(yù)處理問題訓(xùn)練loss不降先查標(biāo)簽是否對(duì)得上 KITTI標(biāo)注的3D框參數(shù)是高度、寬度、長度的順序而許多模型接口要求是(x, y, z, l, w, h, yaw)順序錯(cuò)了loss會(huì)震蕩或直接發(fā)散。排查方式很簡單打印一兩幀decoded后的框手工對(duì)照點(diǎn)云可視化一下。點(diǎn)云坐標(biāo)軸方向錯(cuò)亂 雷達(dá)坐標(biāo)系通常是x向前y向左z向上但轉(zhuǎn)換到模型坐標(biāo)系時(shí)很容易多一次翻轉(zhuǎn)。最直接的檢驗(yàn)方法是找一幀地面畫出來看地面是否保持水平再看車輛前進(jìn)方向是否在x軸。數(shù)據(jù)增強(qiáng)與真實(shí)分布沖突 很多倉庫默認(rèn)開啟隨機(jī)翻轉(zhuǎn)、旋轉(zhuǎn)等增強(qiáng)增強(qiáng)太多會(huì)讓小目標(biāo)丟失。做行人檢測時(shí)我就吃過虧旋轉(zhuǎn)后行人點(diǎn)云邊界變淡模型學(xué)到了錯(cuò)誤的形狀特征結(jié)果精度掉一大截。此時(shí)建議關(guān)閉嚴(yán)重的增強(qiáng)只保留輕微抖動(dòng)。5.2 訓(xùn)練不收斂或指標(biāo)差的排查學(xué)習(xí)率太高或太低 3D檢測的優(yōu)化范式和2D檢測差不太多初始學(xué)習(xí)率太高loss會(huì)炸太低會(huì)長時(shí)間卡在平臺(tái)期。建議先在少量數(shù)據(jù)上快速試跑確認(rèn)loss有穩(wěn)定下降趨勢后再全量訓(xùn)練。類別不均衡嚴(yán)重 汽車數(shù)量可能占90%行人只有5%如果不做采樣或加權(quán)模型就會(huì)學(xué)成一個(gè)“只會(huì)檢測汽車”的廢柴。解決方案是給每類單獨(dú)設(shè)置損失權(quán)重或者利用難負(fù)樣本挖掘。距離分桶評(píng)估 我發(fā)現(xiàn)很多新手在評(píng)估時(shí)只看全局mAP漏檢都集中在中遠(yuǎn)距離而不自知。建議把目標(biāo)按距離分成0-20m、20-40m、40-60m三檔單獨(dú)算recall這樣才能定位模型瓶頸。如果40-60米recall過低很可能是輸入點(diǎn)數(shù)太少加大雷達(dá)線數(shù)或調(diào)整ROI范圍都可能改善。5.3 部署延遲過高的優(yōu)化思路瓶頸經(jīng)常是稀疏卷積 點(diǎn)云稀疏性決定了大多數(shù)體素是空的如果不裁剪ROI區(qū)域空體素也會(huì)占用大量計(jì)算。在保證目標(biāo)覆蓋的前提下盡量把檢測范圍收緊。多線程流水線 雷達(dá)數(shù)據(jù)是一幀一幀來的不必等到所有預(yù)處理都完成才送進(jìn)模型。可以在CPU上做地面濾除和體素化同時(shí)GPU做上一幀的推理只要把握好數(shù)據(jù)隊(duì)列整體延遲能穩(wěn)定降低。拉遠(yuǎn)還是拉近算了 如果延遲目標(biāo)死活達(dá)不到優(yōu)先減小模型輸入范圍比如把80米檢測范圍改成60米這往往比換更小模型更管用。自動(dòng)駕駛里“確認(rèn)60米外沒車”很多時(shí)候比“精確檢測80米外的卡車”更有工程價(jià)值。結(jié)尾自己帶過不少新人和實(shí)習(xí)生我最大的體會(huì)是學(xué)3D點(diǎn)云檢測第一遍不要追求讀完全部頂會(huì)論文更不要一上來就調(diào)集群、跑大模型。把KITTI這套最小閉環(huán)真正跑通讓點(diǎn)云、3D框、IoU、mAP這些概念在腦子里形成畫面后續(xù)做任何新算法都是在這個(gè)底盤上疊加。還有個(gè)小建議干活的時(shí)候多花點(diǎn)時(shí)間把可視化工具配好。很多人覺得可視化是“錦上添花”但你排查問題的速度會(huì)因此快好幾倍。點(diǎn)云領(lǐng)域里“看著不對(duì)”和“指標(biāo)不對(duì)”往往是同時(shí)發(fā)生的看得見的東西更好定位。如果你剛?cè)腴T就去跑通一次End-to-End的PointPillars流程如果你已經(jīng)在做部署了就拿一張真實(shí)點(diǎn)云幀檢查一下你的預(yù)處理和模型在哪一步浪費(fèi)了最多延遲。這兩件事做完你會(huì)發(fā)現(xiàn)自己對(duì)激光雷達(dá)感知這件事的理解比看十篇綜述都更扎實(shí)。