收到一套人行道檢測數(shù)據(jù)集總共3819張圖片覆蓋了城市街道、交叉口、商業(yè)步行區(qū)、住宅小區(qū)周邊等常見場景。數(shù)量不算大但在智慧城市管理、自動駕駛輔助系統(tǒng)、無障礙導航應用、城市規(guī)劃與設(shè)計、智能監(jiān)控系統(tǒng)、移動機器人導航這些方向里已經(jīng)足夠撐起一輪完整的算法驗證和工程落地。最近我在某個智慧城市項目中做人行道區(qū)域分析把這套數(shù)據(jù)的結(jié)構(gòu)、標注方式和訓練流程完整走了一遍想把里面的關(guān)鍵經(jīng)驗和踩過的坑整理出來。如果你是做視覺感知、道路語義分割或者無障礙產(chǎn)品研發(fā)的這篇內(nèi)容應該能幫你少走不少彎路。1. 人行道檢測為什么突然成為剛需五大場景逐一拆解很多人覺得人行道檢測不就是拿一個語義分割模型把圖像里的“人行道”像素標出來有什么好講的但一旦放到真實應用里你會發(fā)現(xiàn)不同場景對人行道檢測的需求差別非常大。下面這幾個方向是我實際接觸過的每個方向?qū)Ψ指罱Y(jié)果的“消耗方式”完全不一樣。1.1 智慧城市管理先有“人行道底圖”后續(xù)分析才有意義城市管理者最關(guān)心的是人行道有沒有破損、有沒有被機動車占用、有沒有被攤販堵住。過去靠人工巡邏一條路一條路看效率非常低?，F(xiàn)在很多地方裝了智能攝像頭但如果只做通用目標檢測返回一堆“機動車”“行人”框其實很難判斷這些目標是不是占用了人行道。關(guān)鍵思路是先用分割模型把人行道區(qū)域完整提取出來生成一張“人行道底圖”再在這個底圖范圍內(nèi)做二次識別。人行道形狀不規(guī)則檢測框會混入大量非人行道區(qū)域?qū)е抡`報率飆升。我實際試過一套占道經(jīng)營識別系統(tǒng)先分割人行道再在mask內(nèi)部檢測攤販車輛誤檢率比直接用檢測框縮小了接近一半。對智慧城市管理來說人行道檢測不是終點而是所有后續(xù)分析的空間基座。1.2 自動駕駛輔助系統(tǒng)路緣邊界是行駛決策的關(guān)鍵參照自動駕駛輔助系統(tǒng)關(guān)注的可不是“這段路人行道漂亮不漂亮”它關(guān)心的是可行駛區(qū)域的邊界在哪里。人行道通常由路緣石和車道隔開識別出人行道等于知道了路緣的大致位置這對靠邊停車、低速避讓、混行路段路徑規(guī)劃都非常重要。這個場景對人行道檢測有兩點特殊要求。第一遠距離檢測能力車輛在行駛中需要提前幾十米判斷邊界遠處的人行道在畫面里可能只占十幾個像素模型要能抓住微弱的邊緣線索。第二邊界穩(wěn)定性路徑規(guī)劃算法最怕邊界一幀一個樣哪怕mIoU很高邊界抖動也會讓控制模塊無所適從。所以自動駕駛輔助系統(tǒng)通常不會單獨用一個人行道分割模型而是把行人、車道線、路緣石、人行道放在一個多任務模型里聯(lián)合輸出。1.3 無障礙導航應用精度要求比想象中高一個數(shù)量級無障礙導航面向的是輪椅用戶和視障用戶。普通步行導航只到道路級別但輪椅用戶需要知道的是這段路有沒有連續(xù)人行道路緣坡道在不在人行道寬度夠不夠轉(zhuǎn)向盲道有沒有被占用。這些問題靠GPS根本答不了只能靠視覺感知實時回答。我在某個無障礙導航項目里測試過初期模型mIoU做到了90%以上但真正跑起來發(fā)現(xiàn)完全不可用。問題出在邊界連續(xù)性預測出來的人行道邊緣在某幾個關(guān)鍵位置斷開路徑規(guī)劃算法直接認為前方無路可走。后來我們引入了邊緣損失函數(shù)對mask邊界附近的像素單獨加權(quán)訓練邊界連續(xù)性才明顯改善。所以做無障礙導航的同學不要只盯著mIoU邊緣質(zhì)量和連通性往往才是生死線。1.4 城市規(guī)劃與設(shè)計用街道語義數(shù)據(jù)算“空間賬”規(guī)劃部門需要知道一個片區(qū)的人行道覆蓋率、寬度分布、斷點位置這些指標直接關(guān)系到一個街區(qū)適不適合步行、適不適合殘障人士獨立出行。過去規(guī)劃人員都是抽樣踏勘一條街一條街量花費大周期長。有了大規(guī)模街景圖像加人行道分割模型就能相對快速地算出統(tǒng)計數(shù)據(jù)一張圖里人行道面積占道路總面積的比例通過透視圖和相機姿態(tài)還能粗略估算寬度。這種應用不要求毫秒級推理但對統(tǒng)計無偏性要求很高因為建模結(jié)果要支撐規(guī)劃決策。初期我用分割結(jié)果直接做統(tǒng)計發(fā)現(xiàn)系統(tǒng)性地少算了被樹冠遮蔽的人行道后來加入多時段圖像融合誤差才降到可接受范圍。1.5 智能監(jiān)控系統(tǒng)與移動機器人導航實時性壓倒一切最后說兩個實時性要求最高的場景。移動機器人要在人行道上和人共享空間首先得保證自己不上機動車道。通過實時分割只要前方一定范圍內(nèi)不是人行道機器人就減速重新規(guī)劃。這樣的規(guī)則約束非常簡單可靠但要求模型每一幀都要在幾十毫秒內(nèi)出結(jié)果。智能監(jiān)控系統(tǒng)同樣受益于人行道區(qū)域限定。把行人重識別、跌倒檢測、徘徊檢測的ROI限定在人行道區(qū)域內(nèi)能大幅減少對機動車道上無關(guān)目標的誤報。實測下來用輕量級骨干網(wǎng)絡加ASPP分割頭在中端嵌入式設(shè)備上處理512x512分辨率圖像可以跑到20到30毫秒一幀基本滿足實時需求。但這個場景最容易出問題的是畫面抖動和邊界閃爍機器人判斷“是否在人行道上”時如果邊界來回跳會頻繁觸發(fā)錯誤剎車。應用場景核心關(guān)注點實時性要求邊界要求主要輸出形態(tài)智慧城市管理區(qū)域面積、占道情況中中統(tǒng)計mask、二次識別ROI自動駕駛輔助與車道、路緣的相對關(guān)系高高可行駛區(qū)域、道路拓撲無障礙導航可通行性、邊界連通高極高可通行路徑語義城市規(guī)劃設(shè)計面積、寬度、網(wǎng)絡指標低較高大范圍分割統(tǒng)計結(jié)果智能監(jiān)控與機器人區(qū)域約束與安全行走高高實時地面語義分割2. 3819張圖片的數(shù)據(jù)集里子到底是什么2.1 數(shù)量只是標簽分布和場景多樣性才是核心3819張圖說多不多說少不少。如果全是晴天正午的標準街景模型一遇到陰雨天就崩。真正有價值的是場景分布夠不夠?qū)挵滋旌鸵雇?、晴天和陰天、直道和交叉口、帶坡道的路口、有樹影遮擋的街道。拿到底層?shù)據(jù)后第一件事是統(tǒng)計每張圖片的時間、地點、天氣屬性畫出分布圖再看自己的目標場景是否被覆蓋到。我遇到過一個典型情況數(shù)據(jù)集里高清近景占了七成遠景和俯拍圖很少模型訓練完在近景上效果不錯一部署到監(jiān)控攝像頭的俯視角畫面就明顯掉點。這類問題在數(shù)據(jù)分布統(tǒng)計階段就能發(fā)現(xiàn)但很多人偷懶跳過這一步直接訓練后面再回頭補數(shù)據(jù)成本高得多。2.2 標注方式多邊形掩碼、檢測框與格式轉(zhuǎn)換人行道檢測數(shù)據(jù)集最常用的標注形式是像素級分割掩碼。標注人員沿著人行道邊緣畫多邊形保存成JSON或COCO格式訓練時把多邊形渲染成mask。也有一些數(shù)據(jù)集附帶檢測框把每一段連續(xù)的人行道用一個矩形框包起來。兩類標注各有用途掩碼適合做分割和后續(xù)的幾何分析檢測框適合做快速定位和ROI限定。COCO格式是目前最通用的它在工程上的便利性非常突出。mask可以用RLE壓縮存儲極大減少磁盤占用同時主流深度學習框架都有現(xiàn)成的數(shù)據(jù)加載器不需要自己啃格式解析的坑。拿到數(shù)據(jù)后建議第一時間確認格式如果只有多邊形可以用開源工具把多邊形轉(zhuǎn)成RLE整個流程相當成熟。提示拿到mask后先統(tǒng)計類別像素占比。我用一個中等城市的街景數(shù)據(jù)做過快速統(tǒng)計人行道像素在全圖中的占比通常在15%到35%之間。如果占比小于10%說明圖像里人行道區(qū)域很小訓練損失大概率被背景主導必須在訓練階段做類別重加權(quán)。2.3 標注質(zhì)量控制看不見的參數(shù)決定模型上限對于像素級標注不同標注員畫出來的邊界經(jīng)常差1到2個像素復雜場景下差到5個像素也不奇怪。一個合格的數(shù)據(jù)集要經(jīng)過交叉審核同一張圖由多人標注后計算一致性mIoU通常要穩(wěn)定在90%左右才算達標。我踩過一次很深的坑。某外包團隊標注的mask在人行道邊緣普遍向外擴了2到3個像素肉眼根本看不出來但模型學到的邊界整體系統(tǒng)性偏移下游測量寬度時出現(xiàn)了固定偏差。當時檢查了很久才定位到根因?，F(xiàn)在我的習慣是先抽幾十張圖把mask半透明疊加到原圖上人眼快速掃一遍邊緣對齊情況再開始訓練。2.4 這套數(shù)據(jù)能做什么不能做什么先說能做什么。3819張圖足夠支撐一個語義分割模型的微調(diào)訓練也適合做遷移學習的起點如果數(shù)據(jù)里包含多個類別還可以聯(lián)合訓練道路、車輛、行人等場景理解任務。數(shù)據(jù)量不大但對驗證算法思路、跑通工程鏈路完全夠用。不能做什么也很明確。第一單張靜態(tài)圖像訓練出的模型沒有時序一致性做視頻流應用時幀間抖動需要額外處理。第二2D圖像無法直接推算路緣石高度做無障礙坡道檢測需要補充深度信息來源。第三這個量級的數(shù)據(jù)覆蓋不了極端天氣和稀有遮擋場景落地時大概率需要額外采集少量真實場景數(shù)據(jù)做補充。3. 人行道檢測到底難在哪技術(shù)挑戰(zhàn)與模型選型3.1 邊界模糊和材質(zhì)接近最容易被低估的問題人行道大多是水泥材質(zhì)路面是瀝青兩者在顏色上通常有區(qū)別但一旦碰上逆光、陰影、夜間路燈偏色RGB圖像里幾乎拉不開差距。模型真正依賴的是紋理差異和上下文結(jié)構(gòu)而這些特征在強光或夜景里非常脆弱。所以人行道檢測不會像檢測一輛紅色汽車那么簡單。你可以在預處理階段做顏色歸一化和光照增強但更重要的是讓模型學會利用結(jié)構(gòu)線索——比如路緣石的高度突變、人行道磚縫的紋理周期、行道樹的位置關(guān)系。這些都是人類一眼能看出來的但模型需要大量數(shù)據(jù)才能內(nèi)化。3.2 多尺度與透視同一個物體遠近完全兩個樣人行道在近處占畫面很大面積紋理清晰到遠處只剩一兩條像素寬的色帶。同一個模型要同時處理這兩種尺度的目標就需要較強的多尺度特征提取能力。經(jīng)典的解決方案是FPN特征金字塔或者ASPP空洞空間金字塔池化兩者都能讓網(wǎng)絡在多個感受野上同時觀察目標。訓練時也要注意輸入分辨率。512x512是最常用的平衡點太低容易丟失遠處細節(jié)太高對顯存和推理速度壓力大。如果條件允許訓練時可以用1024x1024推理時降回512x512但要記得訓練和推理的分辨率差異會影響最終效果差距太大會導致精度下降。3.3 類別不平衡與難度不平衡一張街景圖里背景像素數(shù)量遠超人行道像素直接用交叉熵損失訓練模型會選擇“躺平”把背景全預測對人行道區(qū)域則無所謂。這個問題靠單純的類別權(quán)重就能緩解但更好的做法是引入Dice Loss。Dice Loss直接優(yōu)化預測區(qū)域和真實區(qū)域的相似度天然對類別不平衡不敏感。我實測過同樣的數(shù)據(jù)和模型把損失函數(shù)從純交叉熵改成0.5倍的交叉熵加0.5倍的Dice Loss驗證集mIoU能漲3到5個百分點尤其在邊界區(qū)域提升明顯。另一個有效技巧是訓練時把圖像裁剪成patch讓每個人行道區(qū)域在patch中的占比更均衡相當于做了難例挖掘。3.4 模型選型先定場景再定模型很多初學者上來就問哪個模型最強其實脫離場景談模型沒有意義。下面是幾條我自己用過覺得靠譜的選型路線。模型方案特點適用場景備注U-Net ResNet50精度不錯、顯存友好快速驗證、小團隊起步最適合第一個基線DeepLabV3 ResNet101精度高、多尺度能力強離線統(tǒng)計、規(guī)劃分析參數(shù)量大推理慢SegFormer-B2精度與速度均衡多場景通用研究Transformer結(jié)構(gòu)顯存占用略高MobileNetV3-Lite ASPP速度快、模型小嵌入式部署、移動端邊緣質(zhì)量可能需要額外優(yōu)化我的建議是先用U-Net加ResNet50跑通整個流程確認數(shù)據(jù)沒有大問題再根據(jù)部署目標切換網(wǎng)絡。直接上大模型的風險在于一旦數(shù)據(jù)里有標注錯位之類的問題你會在調(diào)模型上浪費大量時間最后發(fā)現(xiàn)根因根本不在模型。4. 從數(shù)據(jù)到可落地區(qū)域分割模型一整套實操流程4.1 數(shù)據(jù)檢查與劃分別讓同一條街泄漏到測試集第一步永遠是數(shù)據(jù)清洗。分辨率過低的、嚴重模糊的、標注明顯缺失的直接刪掉。接著做mask對齊檢查把mask半透明疊加到原圖上看邊緣抽幾十張掃描一遍就行。數(shù)據(jù)集劃分比很多人想的更重要。如果同一條街道的多張圖既出現(xiàn)在訓練集又出現(xiàn)在測試集模型的泛化指標會虛高部署到新場景立刻現(xiàn)原形。正確做法是按拍攝區(qū)域或場景劃分保證同一條街的所有圖片都只落在同一個集合里。建議按8:1:1劃分訓練、驗證、測試測試集盡量保留300張以上確保評估結(jié)果穩(wěn)定。4.2 數(shù)據(jù)增強針對光照、天氣、鏡頭的組合拳人行道分割的增強策略不能只做隨機翻轉(zhuǎn)?？臻g增強方面隨機水平翻轉(zhuǎn)、小角度旋轉(zhuǎn)15度以內(nèi)、隨機縮放0.8到1.25倍、隨機裁剪到512x512都是基礎(chǔ)操作。顏色增強方面亮度、對比度、色相的隨機擾動能顯著提升模型對光照變化的魯棒性。針對人行道場景我強烈建議加兩類特化增強。一類是隨機合成樹影用黑色半透明多邊形隨機遮擋圖像局部模擬真實樹蔭和建筑陰影另一類是模擬鏡頭臟污加高斯模糊和運動模糊因為部署現(xiàn)場經(jīng)常碰到鏡頭上有水漬或者雨滴的模糊情況。增強比例一般控制在常規(guī)增強50%、特化增強30%、原圖20%。4.3 損失函數(shù)與訓練配置下面這套配置我在多個項目里驗證過可以作為起步參考預訓練骨干ResNet50使用ImageNet預訓練權(quán)重輸入分辨率512x512Batch size16顯存不足時降到8學習率也要對應調(diào)低優(yōu)化器AdamW初始學習率1e-4weight decay 1e-4學習率調(diào)度poly策略lr base_lr × (1 - iter/total_iter)^0.9或者用余弦退火Warmup前3個epoch從1e-5線性升到1e-4損失函數(shù)0.5×CrossEntropy 0.5×Dice Loss人行道類別占比太低時可以把Dice權(quán)重提高到0.6訓練輪數(shù)60到80個epoch用驗證集mIoU挑選最優(yōu)權(quán)重不要盲目用最后一個epoch這里最關(guān)鍵的是遷移學習。3819張圖從零訓練很容易過擬合用ImageNet預訓練權(quán)重通常能穩(wěn)定提升10個百分點以上的mIoU這比換任何花哨的網(wǎng)絡結(jié)構(gòu)都管用。4.4 訓練過程監(jiān)控什么才不踩坑訓練過程中需要同時盯訓練loss和驗證mIoU兩條曲線。規(guī)律的訓練現(xiàn)象是前幾個epoch訓練loss下降很快驗證mIoU上升也快到20到30個epoch后曲線逐漸平穩(wěn)后期提升變得緩慢。如果訓練loss穩(wěn)定下降但驗證mIoU震蕩不收斂先懷疑學習率太高或者數(shù)據(jù)劃分泄漏。如果兩個指標都上不去先檢查數(shù)據(jù)標注質(zhì)量不要急著換模型。如果驗證mIoU尚可但邊界區(qū)域差考慮加邊界損失或者對mask邊緣區(qū)域采樣加權(quán)。訓練全程建議開啟EMA指數(shù)移動平均用EMA權(quán)重做驗證集評估能有效減少后期權(quán)重抖動對選模型的影響。4.5 評估指標與可視化分析mIoU是所有人都會看的指標但只看mIoU遠遠不夠。實際應用里邊界偏移才是致命問題我建議額外計算一個“邊界IoU”做法是把真實mask邊界向內(nèi)收縮1到2個像素后再算IoU專門衡量預測邊界和真實邊界的貼合程度。這個指標和路徑規(guī)劃、寬度測量類應用的體驗高度相關(guān)?？梢暬治霰葦?shù)字更有說服力。把預測結(jié)果和真實mask疊加用紅色標注假陽性、用藍色標注假陰性一眼就能看出錯誤是集中在陰影區(qū)域、遠距離區(qū)域還是邊界區(qū)域。這個步驟比盯著十來個指標來回算更直觀也更方便向非技術(shù)背景的同事解釋。4.6 部署與推理優(yōu)化模型訓練好之后要落地通常會走ONNX導出加推理加速的路線。ONNX導出時要注意輸入輸出的動態(tài)維度固定batch size和分辨率能減少很多部署兼容性問題。INT8量化是嵌入式部署的關(guān)鍵手段。實測中量化后mIoU通常下降2到3個百分點但推理速度可以提升一倍以上對實時性要求高的監(jiān)控和機器人場景非常劃算。后處理也不要忽略mask二值化用0.45閾值按面積剔除小于全圖0.5%的小連通域再做一次3x3中值濾波讓邊界平滑。這些簡單操作對下游規(guī)劃模塊非常有價值因為控制算法不喜歡邊界閃爍和孤立噪點。5. 我在實際項目中踩過的坑與排查技巧5.1 案例一數(shù)據(jù)標注錯位模型兩個月原地打轉(zhuǎn)某個智慧城市項目里外包標注的數(shù)據(jù)模型mIoU一直卡在72%左右怎么調(diào)損失、換網(wǎng)絡都上不去。后來抽了幾十張圖做可視化檢查把mask半透明疊加到原圖才發(fā)現(xiàn)標注邊緣普遍向外擴了2到3個像素尤其是遠處區(qū)域偏移更明顯。原因出在標注團隊用了預處理縮略圖而不是原圖尺寸坐標縮放沒對齊。這種問題在數(shù)據(jù)清洗階段就能發(fā)現(xiàn)但當時為了趕工期跳過了這一步結(jié)果浪費了更多時間。如果遇到類似情況又沒有條件重新標注可以用一個“邊緣收縮1像素”的操作做表面補償?shù)螛瞬恢伪?。我現(xiàn)在所有項目都強制要求訓練前做mask對齊抽查寧可晚兩天開工也不能把一個有系統(tǒng)性錯誤的訓練集跑上兩周。5.2 案例二樹影和路燈陰影讓模型“六親不認”人行道在樹影下的顏色和旁邊柏油路接近到幾乎無法區(qū)分模型在晴天上午和下午的預測結(jié)果差異巨大。排查時我把預測錯誤按位置畫了熱力圖發(fā)現(xiàn)錯誤高度集中在陰影區(qū)域這才意識到是光照分布問題。當時間題不是數(shù)據(jù)量的鍋而是數(shù)據(jù)集里的亮度范圍太窄。我在數(shù)據(jù)增強里加入了“隨機陰影塊”處理用黑色半透明多邊形隨機遮擋圖像局部模擬樹影和建筑陰影同時加大了亮度擾動范圍。處理后陰影區(qū)域的誤檢明顯下降。如果陰影問題仍然嚴重可以考慮在訓練時對圖像做局部亮度均衡降低陰影和非陰影區(qū)域的對比度差異。5.3 案例三雨天部署后邊界全碎模型在晴天測試表現(xiàn)正常一下雨就邊界破碎、檢測區(qū)域忽大忽小。原因是真實雨天的雨水、反光、鏡頭水漬對圖像質(zhì)量的影響非常大而訓練數(shù)據(jù)基本是晴天和無雨天場景。我嘗試在增強中加入高斯模糊、運動模糊、低對比度組合效果有一點但不明顯。最后是實拍了幾分鐘雨天場景視頻抽了100多幀補到訓練集里微調(diào)模型才真正穩(wěn)住。所以這里要給個實在建議合成增強能解決一部分問題但真實場景數(shù)據(jù)的小批量補充往往比大規(guī)模人工增強更有效。條件允許的話部署前務必收集少量現(xiàn)場數(shù)據(jù)做驗證。5.4 案例四換一個城市掉點10個百分點同一個模型在甲城市測試mIoU有88%拿到乙城市直接掉到78%。兩座城市的建筑風格、人行道材質(zhì)、樹冠密度差異很大圖像顏色分布完全不同。排查第一步先做直方圖匹配把測試圖顏色分布強行對齊到訓練集分布看看精度能回升多少。如果回升明顯說明問題主要是圖像域差異。長期方案是收集目標城市少量圖片做測試再決定是微調(diào)還是保留原模型。短期部署時可以用目標場景的幾十張圖片對模型做小規(guī)模微調(diào)只解凍最后兩三個stage通常比在源域數(shù)據(jù)上加增強更直接有效。5.5 排查速查表現(xiàn)象可能原因快速驗證手段解決方案訓練loss不降學習率過高、標簽大量錯誤看前10個batch的預測輸出降低學習率或修復標簽驗證mIoU虛高但實拍差數(shù)據(jù)劃分泄漏、測試集過簡單檢查同一區(qū)域是否跨集合按區(qū)域重新劃分預測邊界碎、不連續(xù)缺少邊界約束、無后處理可視化FP/FN分布加邊緣損失、形態(tài)學閉運算換場景掉點嚴重圖像域差異大直方圖匹配看能否回升目標場景微調(diào)或圖像歸一化推理速度不達標模型過大、分辨率過高分析各層耗時分布換輕量骨干或INT8量化這套3819張圖片的人行道檢測數(shù)據(jù)集我整體跑下來最大的體會是數(shù)據(jù)集的構(gòu)造比想象中更影響結(jié)果。不要急著上大模型先把數(shù)據(jù)分布摸清楚把標注質(zhì)量核驗一遍遠勝過盲目堆算力。人行道檢測很少是終點的模型更多時候是中間層后面還得接路徑規(guī)劃、統(tǒng)計報表或者控制指令所以結(jié)果的可解釋性、邊界穩(wěn)定性往往比單純刷高mIoU更重要。最后分享一個我常用的擴展思路如果后續(xù)要減少標注成本可以先拿低分辨率遙感影像或者城市模型做一次粗分割再用這類街景圖像精修邊緣相當于“粗標簽加局部精修”兩段式訓練實際標注工作量能減少不少。這個方向后續(xù)值得試一試。