第一次啟動(dòng)Carla敲下那條熟悉的啟動(dòng)命令地圖在UE引擎里慢慢加載出來(lái)街道上的車(chē)輛和行人開(kāi)始流動(dòng)那一瞬間很難不把它當(dāng)游戲看。實(shí)際上Carla是當(dāng)前自動(dòng)駕駛研發(fā)里使用頻率最高的開(kāi)源模擬器之一它的定位就是Self-Driving Car Simulation一個(gè)提供城市級(jí)道路環(huán)境、多類傳感器模擬、可編程交通流和車(chē)輛動(dòng)力學(xué)接口的仿真平臺(tái)。這篇7-1的Carla Overview聊的不是某個(gè)具體算法怎么實(shí)現(xiàn)而是把Carla整體框架講清楚包括它解決什么問(wèn)題、架構(gòu)怎么分層、傳感器有哪些、怎么快速跑通一個(gè)最小自動(dòng)駕駛閉環(huán)以及在真實(shí)項(xiàng)目里最值得注意的坑。如果你正準(zhǔn)備做感知、規(guī)劃控制或數(shù)據(jù)生成這篇內(nèi)容可以把頭開(kāi)起來(lái)。1. 為什么選Carla做自動(dòng)駕駛仿真先算清安全和成本這兩筆賬1.1 一個(gè)模擬器解決的真實(shí)需求安全、成本、復(fù)現(xiàn)性自動(dòng)駕駛算法做得再漂亮也不能直接扔到開(kāi)放道路上試驗(yàn)。一條真實(shí)的研發(fā)測(cè)試路線上跑一次可能涉及安全員、測(cè)試申請(qǐng)、車(chē)輛損耗遇到一個(gè)危險(xiǎn)場(chǎng)景甚至只能緊急接管。換句話說(shuō)實(shí)車(chē)測(cè)試的成本不是“油錢(qián)”而是風(fēng)險(xiǎn)和時(shí)間。在項(xiàng)目早期團(tuán)隊(duì)關(guān)心的往往不是“能不能跑”而是“敢不敢讓它跑”。讓一輛配備激光雷達(dá)、多路相機(jī)和高性能計(jì)算單元的測(cè)試車(chē)在雨天十字路口做出激進(jìn)變道絕大多數(shù)人都沒(méi)這個(gè)膽量。但Carla里隨時(shí)可以這么干把車(chē)開(kāi)到極限、讓它撞上路沿、讓行人突然橫穿重置場(chǎng)景之后再來(lái)一次。撞壞一輛虛擬車(chē)只需要點(diǎn)一下重置。成本方面算一筆賬更好理解。一臺(tái)帶線控底盤(pán)、毫米波雷達(dá)、多相機(jī)和計(jì)算平臺(tái)的研發(fā)測(cè)試車(chē)加起來(lái)幾十萬(wàn)起步而Carla是開(kāi)源的不需要授權(quán)費(fèi)只要能帶得動(dòng)UE渲染的GPU就能跑。對(duì)個(gè)人開(kāi)發(fā)者和小團(tuán)隊(duì)來(lái)說(shuō)這是很長(zhǎng)一段時(shí)間里唯一能負(fù)擔(dān)得起的“城市級(jí)路測(cè)環(huán)境”。還有一點(diǎn)容易被忽略復(fù)現(xiàn)性。真實(shí)道路上出事往往靠運(yùn)氣同一個(gè)惡劣天氣下的鬼探頭想用實(shí)車(chē)復(fù)現(xiàn)基本看緣分。但在Carla里場(chǎng)景是一組參數(shù)地圖、天氣、交通密度、行人路徑都可以固定同一個(gè)bug可以在同一條街道上反復(fù)復(fù)現(xiàn)修完再跑同樣的測(cè)試用例做回歸。這種“確定性”對(duì)調(diào)試感知模型和控制邏輯至關(guān)重要。1.2 Carla在自動(dòng)駕駛技術(shù)棧里的卡位連接感知、規(guī)劃、控制的閉環(huán)驗(yàn)證一個(gè)完整的自動(dòng)駕駛系統(tǒng)通常分成感知、預(yù)測(cè)、規(guī)劃、控制四層。Carla不替你做這些算法它提供的是讓整套算法“動(dòng)起來(lái)”的城市環(huán)境以及能產(chǎn)生傳感器數(shù)據(jù)的接口。比如你的感知模型要從相機(jī)圖上輸出目標(biāo)框Carla會(huì)按照你設(shè)定的相機(jī)參數(shù)和環(huán)境光照生成帶深度信息的RGB圖像你的規(guī)劃模塊要在道路網(wǎng)上找一條可行駛軌跡Carla的地圖會(huì)給你車(chē)道、交叉路口、信號(hào)燈和路緣數(shù)據(jù)控制模塊要輸出油門(mén)、剎車(chē)、轉(zhuǎn)向Carla的車(chē)輛模型會(huì)真的把這輛車(chē)在虛擬物理世界里推出去。整條鏈路在仿真環(huán)境里是閉環(huán)的這是很多單點(diǎn)仿真工具做不到的。用一句話概括Carla是算法和世界之間的“公共接口”。它把真實(shí)世界中需要用昂貴硬件和復(fù)雜傳感系統(tǒng)才能得到的東西抽象成一組可以寫(xiě)進(jìn)Python代碼里的對(duì)象和API。1.3 和AirSim、SUMO這些仿真器比Carla的取舍在哪里很多人會(huì)問(wèn)市面上的仿真器那么多為什么偏偏先學(xué)Carla這不是沒(méi)有道理的選擇題。AirSim同樣基于UE引擎在飛行器和單機(jī)感知研究里做得很好但它的城市級(jí)場(chǎng)景、道路網(wǎng)規(guī)則和自動(dòng)駕駛相關(guān)的交通流支持明顯沒(méi)有Carla那么成體系。SUMO則完全是另一條路線擅長(zhǎng)路網(wǎng)交通流和路口信號(hào)協(xié)調(diào)能模擬上萬(wàn)輛車(chē)但它沒(méi)有像素級(jí)傳感器也沒(méi)有車(chē)輛動(dòng)力學(xué)意義上的“駕駛”你要驗(yàn)證攝像頭感知算法在SUMO里無(wú)從下手。PreScan和CarSim是成熟的商業(yè)工具精度高、和行業(yè)工具鏈集成好但價(jià)格和授權(quán)方式對(duì)個(gè)人用戶很不友好。Carla的取舍在于它同時(shí)照顧了“環(huán)境真實(shí)性”和“接口便利性”。有UE引擎提供的渲染質(zhì)量有OpenDRIVE標(biāo)準(zhǔn)道路網(wǎng)有豐富傳感器模型還有Python API可以直接操控。它不追求單一維度的極致精度但作為通用自動(dòng)駕駛仿真底座綜合成本最低。當(dāng)然代價(jià)也有——體量大、啟動(dòng)重、對(duì)GPU要求高這些后面會(huì)聊。2. Carla整體架構(gòu)與核心概念服務(wù)端、客戶端、藍(lán)圖和地圖2.1 服務(wù)端-客戶端模型一個(gè)負(fù)責(zé)渲染世界一個(gè)負(fù)責(zé)寫(xiě)控制邏輯Carla的架構(gòu)很容易理解但也是很多新手繞不過(guò)去的第一個(gè)坎。它分兩個(gè)獨(dú)立進(jìn)程服務(wù)端是CarlaUE4負(fù)責(zé)渲染城市、跑物理引擎、計(jì)算傳感器數(shù)據(jù)、維護(hù)交通流客戶端是Python進(jìn)程通過(guò)CARLA PythonAPI連接服務(wù)端創(chuàng)建角色、掛載傳感器、下發(fā)控制命令。端口默認(rèn)2000客戶端通過(guò)carla.Client(localhost, 2000)連接。開(kāi)一個(gè)服務(wù)端可以同時(shí)被多個(gè)客戶端連接這個(gè)設(shè)計(jì)對(duì)并行訓(xùn)練很有用一臺(tái)帶強(qiáng)GPU的機(jī)器跑服務(wù)端另外幾臺(tái)機(jī)器各自跑客戶端算法任務(wù)。我平時(shí)做數(shù)據(jù)生成時(shí)會(huì)在一臺(tái)機(jī)器上開(kāi)三四個(gè)Carla實(shí)例端口分別設(shè)為2000、3000、4000每個(gè)實(shí)例負(fù)責(zé)不同地圖天氣組合?？蛻舳撕头?wù)端是一對(duì)多的關(guān)系版本必須嚴(yán)格匹配。0.9.15的客戶端去連0.9.14的服務(wù)端大概率會(huì)直接報(bào)版本錯(cuò)誤即使不報(bào)錯(cuò)某些API行為和傳感器數(shù)據(jù)格式也可能有差異。每下載一個(gè)Carla壓縮包解壓后PythonAPI/carla/dist目錄下會(huì)有一個(gè)egg文件文件名里帶了Python版本信息這個(gè)文件的路徑一定要加進(jìn)PYTHONPATH否則import carla直接失敗。2.2 藍(lán)圖、Actor、Spawn這些概念到底在說(shuō)什么Carla把世界里的所有可操作對(duì)象都抽象成Actor車(chē)輛、行人、傳感器、交通燈、路面標(biāo)記都是Actor。創(chuàng)建Actor不是直接實(shí)例化而是從BlueprintLibrary里挑一個(gè)藍(lán)圖Blueprint再生成。藍(lán)圖相當(dāng)于“物種庫(kù)”vehicle.audi.etron是奧迪e-tronsensor.camera.rgb是RGB相機(jī)walker.pedestrian.0001是某一種行人外觀。我在最開(kāi)始接觸Carla時(shí)總把藍(lán)圖當(dāng)成普通對(duì)象模板其實(shí)它更像生物分類同一個(gè)車(chē)型藍(lán)圖可以生成多輛車(chē)每輛車(chē)又是獨(dú)立的Actor。修改藍(lán)圖屬性會(huì)影響以后生成的所有Actor已生成的Actor不受影響。生成Actor的動(dòng)作叫spawn_actor。車(chē)輛和行人一般需要給定一個(gè)Transform位置和朝向傳感器則通常不直接獨(dú)立存在而是用attach_to掛到車(chē)輛或行人身上跟隨宿主移動(dòng)。一個(gè)典型操作是給車(chē)掛相機(jī)world.spawn_actor(camera_bp, camera_transform, attach_tovehicle)掛在車(chē)頂?shù)南鄼C(jī)就隨著車(chē)輛一起動(dòng)作傳感器坐標(biāo)相對(duì)宿主不變。2.3 地圖、道路網(wǎng)與OpenDRIVE場(chǎng)景不是貼圖而是一套可查詢的數(shù)據(jù)Carla官方地圖從Town01一直到Town15每張地圖都有自己的性格。Town01是最簡(jiǎn)單的直線路網(wǎng)Town02帶環(huán)形交叉口Town03混合城區(qū)場(chǎng)景Town04是小鎮(zhèn)布局Town05專門(mén)設(shè)計(jì)了復(fù)雜的十字路口和車(chē)道變化。做算法初測(cè)時(shí)我最常用Town03道路豐富又不至于太難做終點(diǎn)測(cè)試或者比賽類場(chǎng)景再切換到更復(fù)雜的地圖。地圖底層的道路描述是OpenDRIVE格式.xodr文件這是一種公開(kāi)的道路網(wǎng)描述標(biāo)準(zhǔn)。它定義了每條車(chē)道的幾何形狀、車(chē)道數(shù)量、寬度、速度限制、路口連接關(guān)系和信號(hào)燈位置。Carla把道路網(wǎng)當(dāng)成結(jié)構(gòu)化數(shù)據(jù)提供這意味著你的規(guī)劃算法可以直接查詢world.get_map().get_spawn_points()拿到合法生成點(diǎn)也可以用map.get_waypoint_xodr()拿到指定坐標(biāo)最近的車(chē)道點(diǎn)。理解這點(diǎn)很重要Carla里的“場(chǎng)景”不是一個(gè)圖片文件夾而是一套可以被算法的坐標(biāo)系、查詢、路線規(guī)劃使用的路網(wǎng)數(shù)據(jù)庫(kù)。地圖的可編輯性也很強(qiáng)可以用RoadRunner導(dǎo)入自建的高精地圖或OpenDRIVE文件也可以直接對(duì)地圖做局部修改。不過(guò)做自定義地圖時(shí)要注意坐標(biāo)對(duì)齊、車(chē)道連接邏輯這些細(xì)節(jié)這是另一個(gè)大坑建議從官方自帶Town地圖上手。3. 傳感器模擬的硬核細(xì)節(jié)把虛擬數(shù)據(jù)當(dāng)成真實(shí)數(shù)據(jù)用3.1 相機(jī)傳感器RGB、深度、語(yǔ)義分割、光流各有什么思路Carla里最常用的傳感器就是相機(jī)。從藍(lán)圖庫(kù)里可以找到sensor.camera.rgb、sensor.camera.depth、sensor.camera.semantic_segmentation和sensor.camera.optical_flow四類。RGB相機(jī)和普通相機(jī)一致核心參數(shù)是分辨率image_size_x和image_size_y、視場(chǎng)角fov還有一個(gè)sensor_tick控制采集頻率。新手最容易犯的錯(cuò)是調(diào)整相機(jī)高度和位置隨意導(dǎo)致后續(xù)感知模型的標(biāo)定關(guān)系對(duì)不上。我常用的默認(rèn)配置是1280x720、fov 90掛在車(chē)頂前方2.4米高度看起來(lái)高度很隨意但后續(xù)做相機(jī)-車(chē)輛坐標(biāo)變換時(shí)方便。深度相機(jī)和語(yǔ)義分割相機(jī)有個(gè)關(guān)鍵點(diǎn)直接從回調(diào)里拿到的圖像不能直接用先要調(diào)用image.convert(carla.ColorConverter.Depth)或carla.ColorConverter.CityScapesPalette轉(zhuǎn)成可視化形式。特別是語(yǔ)義分割轉(zhuǎn)換后的像素值對(duì)應(yīng)Cityscapes的19類語(yǔ)義標(biāo)簽這是很多語(yǔ)義分割訓(xùn)練數(shù)據(jù)的標(biāo)準(zhǔn)格式。從Carla生成數(shù)據(jù)集核心流程就是把原始圖像和轉(zhuǎn)換后的語(yǔ)義圖成對(duì)保存后面訓(xùn)練網(wǎng)絡(luò)時(shí)直接用。光流相機(jī)輸出的是每個(gè)像素的運(yùn)動(dòng)向量場(chǎng)這在做運(yùn)動(dòng)預(yù)測(cè)和視覺(jué)里程計(jì)任務(wù)時(shí)會(huì)用到。它返回的不是普通圖像而是帶浮點(diǎn)分量的向量場(chǎng)需要自己解析水平垂直光流分量。使用前最好先跑官方文檔里的光流示例確認(rèn)數(shù)據(jù)結(jié)構(gòu)別急著直接接到自己的光流模型里。3.2 LiDAR與毫米波雷達(dá)點(diǎn)云和稀疏檢測(cè)數(shù)據(jù)的典型特征激光雷達(dá)是自動(dòng)駕駛感知里最“實(shí)在”的傳感器Carla的LiDAR模擬也會(huì)給出一幀幀點(diǎn)云數(shù)據(jù)。關(guān)鍵參數(shù)有四個(gè)channels通道數(shù)64線、128線常見(jiàn)、range最遠(yuǎn)量程默認(rèn)50米可以拉到100米甚至更多、points_per_second每秒點(diǎn)數(shù)以及rotation_frequency掃描頻率。我一般把64線、100米量程、每秒100萬(wàn)點(diǎn)和10Hz掃描作為標(biāo)準(zhǔn)配置因?yàn)檫@是一套接近真實(shí)中距離雷達(dá)的組合。點(diǎn)云數(shù)據(jù)中每個(gè)點(diǎn)包含x,y,z,intensity坐標(biāo)系原點(diǎn)是傳感器掛載點(diǎn)x指向車(chē)頭。做目標(biāo)檢測(cè)算法時(shí)要把點(diǎn)云轉(zhuǎn)到車(chē)輛坐標(biāo)系再考慮去地面、聚類、目標(biāo)框回歸這些常規(guī)操作和真實(shí)雷達(dá)數(shù)據(jù)是一套處理邏輯。毫米波雷達(dá)在Carla里是sensor.other.radar返回的每個(gè)測(cè)量點(diǎn)帶azimuth、altitude、depth距離和velocity相對(duì)速度。它的特點(diǎn)是稀疏、噪聲比較明顯和真實(shí)雷達(dá)輸出一致。做雷達(dá)的目標(biāo)列表或者融合時(shí)別期望它像LiDAR一樣密雷達(dá)本身的價(jià)值在于直接給速度信息。Carla的雷達(dá)設(shè)定頻率一般是20Hz比相機(jī)更高在做時(shí)序融合時(shí)要注意幀率對(duì)齊。3.3 GNSS/IMU與傳感器坐標(biāo)系做融合前必須整明白的尺子Carla里汽車(chē)的坐標(biāo)系定義很特別x軸向前y軸向左z軸向上。這一點(diǎn)和很多車(chē)輛工程里的坐標(biāo)系習(xí)慣一致但和某些設(shè)備坐標(biāo)系不一樣。做傳感器外參標(biāo)定時(shí)多花五分鐘確認(rèn)坐標(biāo)系方向能省下半天調(diào)bug的時(shí)間。GNSS和IMU解決的是“車(chē)在哪”和“車(chē)姿態(tài)怎么變”的問(wèn)題。GNSS輸出經(jīng)緯高還可以設(shè)置噪聲標(biāo)準(zhǔn)差模擬真實(shí)信號(hào)抖動(dòng)IMU輸出加速度、角速度和指南針?lè)较颉＿@兩類傳感器通常不需要掛到具體車(chē)輛上直接以自身位置生成但要注意IMU的輸出頻率通常高于GNSS數(shù)據(jù)融合時(shí)要先統(tǒng)一時(shí)間戳。最容易被坑的是“同步問(wèn)題”。如果你在異步模式下同時(shí)采集相機(jī)圖像和LiDAR點(diǎn)云兩者時(shí)間戳對(duì)不上會(huì)直接影響融合效果。后面我會(huì)專門(mén)講同步模式這是做數(shù)據(jù)生成和評(píng)估時(shí)最重要的配置項(xiàng)沒(méi)有之一。4. 新手必看的實(shí)操全流程從空地圖跑到一個(gè)自動(dòng)駕駛閉環(huán)4.1 環(huán)境準(zhǔn)備與版本安裝Linux下最省心的組合Carla的安裝沒(méi)有想象中復(fù)雜但也不能太隨意。官方通常提供壓縮包解壓到任意目錄就能啟動(dòng)。我的建議是直接在Linux下跑Ubuntu 20.04或者22.04都可以顯卡驅(qū)動(dòng)和CUDA先確認(rèn)好。Windows也能跑但在多實(shí)例、Python環(huán)境兼容和底層調(diào)試上會(huì)多出不少額外麻煩。安裝依賴有兩個(gè)重點(diǎn)一是把PythonAPI里的egg文件路徑加入環(huán)境變量二是裝好必要的Python庫(kù)。以0.9.15為例解壓后目錄里會(huì)有PythonAPI/carla/dist/carla-0.9.15-py3.10-linux-x86_64.egg如果你的Python是3.10執(zhí)行export CARLA_ROOT~/carla export PYTHONPATH$CARLA_ROOT/PythonAPI/carla/dist/carla-0.9.15-py3.10-linux-x86_64.egg:$CARLA_ROOT/PythonAPI/carla:$PYTHONPATH pip install numpy pygame opencv-python啟動(dòng)服務(wù)端時(shí)如果機(jī)器顯存比較緊張建議加上低質(zhì)量參數(shù)./CarlaUE4.sh -quality-levelLow這一條指令可以讓渲染分辨率降下來(lái)對(duì)跑算法邏輯影響不大但顯存占用明顯變小。我第一次用老顯卡跑Town03卡到幾乎沒(méi)法操作加上-quality-levelLow之后整個(gè)畫(huà)面立刻流暢了實(shí)測(cè)下來(lái)對(duì)傳感器數(shù)據(jù)的內(nèi)容影響很小。如果GPU性能足夠不開(kāi)也行畫(huà)面質(zhì)量和真實(shí)感會(huì)更好。4.2 最小可用腳本生成車(chē)輛、掛載相機(jī)、下發(fā)第一腳油門(mén)跑一個(gè)能動(dòng)的Carla程序其實(shí)只要幾個(gè)核心步驟創(chuàng)建客戶端、加載地圖、選藍(lán)圖、生成車(chē)輛、掛相機(jī)、循環(huán)控制。我寫(xiě)個(gè)最小示例你可以直接復(fù)制去跑import carla import random import time # 1. 連接服務(wù)端 client carla.Client(localhost, 2000) client.set_timeout(20.0) # 2. 加載地圖 world client.load_world(Town03) time.sleep(5) # 等地圖加載完成簡(jiǎn)單粗暴但有效 # 3. 獲取藍(lán)圖庫(kù)選一輛車(chē) bp_lib world.get_blueprint_library() vehicle_bp random.choice(bp_lib.filter(vehicle.*)) # 4. 選一個(gè)生成點(diǎn)生成車(chē)輛 spawn_points world.get_map().get_spawn_points() spawn_point random.choice(spawn_points) vehicle world.try_spawn_actor(vehicle_bp, spawn_point) if vehicle is None: spawn_point spawn_points[0] vehicle world.spawn_actor(vehicle_bp, spawn_point) # 5. 掛載一個(gè)RGB相機(jī) camera_bp bp_lib.find(sensor.camera.rgb) camera_bp.set_attribute(image_size_x, 1280) camera_bp.set_attribute(image_size_y, 720) camera_bp.set_attribute(fov, 90) camera_transform carla.Transform(carla.Location(x1.5, z2.4)) camera world.spawn_actor(camera_bp, camera_transform, attach_tovehicle) # 6. 回調(diào)里保存圖像 camera.listen(lambda image: image.save_to_disk(fout/{image.frame:06d}.png)) # 7. 給一腳油門(mén)看看車(chē)動(dòng)不動(dòng) for _ in range(100): vehicle.apply_control(carla.VehicleControl(throttle0.5, steer0.0, brake0.0)) time.sleep(0.1)這個(gè)腳本每一步都有它的意義。load_world后面加延時(shí)是為了避免地圖還沒(méi)加載完就去查詢生成點(diǎn)try_spawn_actor則是因?yàn)椴糠稚牲c(diǎn)被占用時(shí)會(huì)返回None相機(jī)掛載到車(chē)上位置相對(duì)車(chē)輛不變這樣圖像會(huì)隨著車(chē)輛移動(dòng)而移動(dòng)才像“從車(chē)上拍的”。你可能注意到我這里沒(méi)有做感知沒(méi)有做規(guī)劃只是讓車(chē)自己往前開(kāi)。但這就是一個(gè)基礎(chǔ)閉環(huán)后面所有復(fù)雜的東西都是往這里面填模塊。建議第一次接觸Carla的新手先把這個(gè)腳本跑通再考慮加其他傳感器和上層算法。4.3 Traffic Manager讓NPC車(chē)流和行人有“意識(shí)”單獨(dú)一輛車(chē)往前開(kāi)是很無(wú)聊的真實(shí)的自動(dòng)駕駛測(cè)試需要周?chē)小皶?huì)犯錯(cuò)的車(chē)和行人”。Carla里讓NPC車(chē)輛自動(dòng)駕駛的核心是Traffic Manager它是一套內(nèi)置的交通流管理模塊會(huì)控制NPC車(chē)輛以合理的速度跟車(chē)、變道、等紅綠燈。使用方法也不復(fù)雜tm_port 8000 tm client.get_trafficmanager(tm_port) # 讓一批車(chē)自動(dòng)行駛 for npc in npc_list: npc.set_autopilot(True, tm_port) # 調(diào)整交通流參數(shù) tm.set_global_distance_to_leading_vehicle(2.0) # 前車(chē)距離 tm.set_desired_speed(npc, 8.0) # 固定某輛車(chē)速度 tm.ignore_lights_percentage(npc, 10) # 10%概率闖紅燈制造危險(xiǎn)場(chǎng)景set_autopilot(True, tm_port)里的端口必須和創(chuàng)建Traffic Manager時(shí)一致這一點(diǎn)特別容易寫(xiě)錯(cuò)。寫(xiě)錯(cuò)后的表現(xiàn)是沒(méi)有報(bào)錯(cuò)但NPC車(chē)完全不動(dòng)或者只在原地打轉(zhuǎn)。行人Autopilot和車(chē)輛略有不同。行者需要用一個(gè)AI控制器來(lái)控制先生成行人的Actor再綁定controller.ai.walker控制器然后調(diào)用控制器啟動(dòng)。我做行人橫穿場(chǎng)景時(shí)會(huì)先生成目標(biāo)行人再用控制器設(shè)置目標(biāo)點(diǎn)和速度讓它在指定時(shí)刻動(dòng)起來(lái)這樣能精確復(fù)現(xiàn)“鬼探頭”場(chǎng)景。這里細(xì)節(jié)較多建議參考官方教程里的行人示例代碼。4.4 同步模式與數(shù)據(jù)采集為什么生成訓(xùn)練數(shù)據(jù)必須開(kāi)同步這是我認(rèn)為Carla里最影響數(shù)據(jù)質(zhì)量的一個(gè)開(kāi)關(guān)。默認(rèn)的異步模式服務(wù)端按自己的節(jié)奏實(shí)時(shí)渲染客戶端發(fā)一條控制指令后圖像和點(diǎn)云到達(dá)的時(shí)間會(huì)有差異。做可視化無(wú)所謂但做訓(xùn)練數(shù)據(jù)集比如相機(jī)和LiDAR要融合時(shí)間對(duì)不上就是災(zāi)難。解決方案是同步模式settings world.get_settings() settings.synchronous_mode True settings.fixed_delta_seconds 0.05 # 物理步長(zhǎng)50ms即20Hz world.apply_settings(settings) for i in range(1000): world.tick() # 手動(dòng)觸發(fā)一幀所有傳感器在同一時(shí)刻采集fixed_delta_seconds設(shè)成0.05表示每次tick固定推進(jìn)50毫秒這樣幀率是穩(wěn)定的傳感器數(shù)據(jù)的時(shí)間戳也是確定性的。代價(jià)是如果你忘了調(diào)用world.tick()程序會(huì)卡住不動(dòng)這是新手最常見(jiàn)的同步模式事故現(xiàn)場(chǎng)。我在這個(gè)模式下采集過(guò)一段時(shí)間的數(shù)據(jù)做物體檢測(cè)效果明顯比異步好。不光因?yàn)闀r(shí)間戳對(duì)齊還因?yàn)槟憧梢跃_控制車(chē)輛每一步的油門(mén)剎車(chē)方便生成連續(xù)的控制標(biāo)簽。做完記得恢復(fù)異步模式否則退出程序時(shí)Carla可能一直停在卡死狀態(tài)。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄5.1 高頻故障速查表我把做Carla項(xiàng)目和幫別人排查時(shí)遇到的高頻問(wèn)題整理成一張表照著排查能省很多時(shí)間問(wèn)題現(xiàn)象可能原因解決思路import carla報(bào)錯(cuò)或找不到模塊egg路徑?jīng)]加進(jìn)PYTHONPATH確認(rèn)egg文件名中的Python版本export到當(dāng)前終端客戶端連接失敗服務(wù)端沒(méi)啟動(dòng)/端口占用檢查端口2000換端口啟動(dòng)或殺舊進(jìn)程加載地圖很久沒(méi)反應(yīng)編譯著色器或顯存不足第一次運(yùn)行有編譯過(guò)程等幾分鐘加-quality-levelLow車(chē)輛生成失敗返回None生成點(diǎn)被占用換其他SpawnPoint或用try_spawn_actor循環(huán)嘗試畫(huà)面正常但NPC車(chē)不動(dòng)Traffic Manager端口不匹配確認(rèn)set_autopilot里的端口和get_trafficmanager端口一致同步模式下程序卡住忘記調(diào)world.tick()進(jìn)入同步模式后每幀必須手動(dòng)tick語(yǔ)義分割圖顏色不對(duì)沒(méi)轉(zhuǎn)換調(diào)色板調(diào)用convert(carla.ColorConverter.CityScapesPalette)LiDAR點(diǎn)數(shù)太少points_per_second太低提高到50萬(wàn)或100萬(wàn)點(diǎn)/秒5.2 新手最容易忽略的三個(gè)隱性雷區(qū)第一個(gè)雷區(qū)Python版本和服務(wù)端版本不匹配。Carla的egg文件名會(huì)帶Python版本號(hào)比如carla-0.9.15-py3.10如果你的Python解釋器是3.8直接import會(huì)失敗。遇到這個(gè)問(wèn)題最簡(jiǎn)單的做法不是硬湊環(huán)境而是查看官方對(duì)版本的支持矩陣換對(duì)Python版本。第二個(gè)雷區(qū)多實(shí)例并行時(shí)的資源配置。Carla多開(kāi)對(duì)顯存特別敏感我遇到過(guò)開(kāi)兩個(gè)實(shí)例后其中一個(gè)直接黑屏。解決辦法是每個(gè)實(shí)例都用低質(zhì)量啟動(dòng)參數(shù)盡量減少車(chē)輛和行人總數(shù)同時(shí)給不同實(shí)例分配不同的GPU。在服務(wù)器上跑時(shí)用CUDA_VISIBLE_DEVICES隔離開(kāi)比一個(gè)顯卡滿載然后崩潰要踏實(shí)得多。第三個(gè)雷區(qū)傳感器數(shù)據(jù)里的“無(wú)效幀”。Carla里傳感器在剛掛載的前幾幀可能返回空數(shù)據(jù)尤其是LiDAR和Radar。我在做數(shù)據(jù)采集腳本時(shí)加一個(gè)跳過(guò)前20幀的邏輯避免把空點(diǎn)云寫(xiě)進(jìn)數(shù)據(jù)集里。有人會(huì)忽略這個(gè)小細(xì)節(jié)結(jié)果訓(xùn)練時(shí)出現(xiàn)大量空白特征模型性能莫名其妙下降。6. 仿真和實(shí)車(chē)結(jié)合的個(gè)人經(jīng)驗(yàn)與新手指南6.1 先跑虛擬回歸測(cè)試再上公開(kāi)數(shù)據(jù)集最后才是實(shí)車(chē)我剛做自動(dòng)駕駛時(shí)有一個(gè)習(xí)慣現(xiàn)在看是很危險(xiǎn)的模型在公開(kāi)數(shù)據(jù)集上表現(xiàn)不錯(cuò)就直接想往實(shí)車(chē)上搬。后來(lái)一個(gè)在行業(yè)里做了多年的朋友告訴我一個(gè)流程先讓模型在Carla里跑固定路線回歸測(cè)試每次改完網(wǎng)絡(luò)都跑一遍相同的虛擬路線記錄mAP、平均碰撞次數(shù)、違規(guī)次數(shù)這些指標(biāo)曲線有異常就說(shuō)明什么地方退化了。這個(gè)習(xí)慣我一直保持到現(xiàn)在。Carla的價(jià)值不在于替代真實(shí)道路測(cè)試而是把“回歸測(cè)試”的成本降到零。真實(shí)路測(cè)一次都要耗費(fèi)大量資源但模擬器里你可以準(zhǔn)備固定10條路線每次改代碼后幾分鐘跑完快速看指標(biāo)變化。一個(gè)小技巧把所有固定路線和天氣寫(xiě)成一個(gè)JSON配置文件跑回歸測(cè)試時(shí)讀取配置循環(huán)執(zhí)行。這樣每次測(cè)試的隨機(jī)性很小對(duì)比結(jié)果才有意義。6.2 用Carla做強(qiáng)化學(xué)習(xí)環(huán)境的一套粗淺經(jīng)驗(yàn)Carla也經(jīng)常被用來(lái)做強(qiáng)化學(xué)習(xí)訓(xùn)練。開(kāi)源社區(qū)里已經(jīng)有把Carla封裝成Gym環(huán)境的項(xiàng)目方便接入Stable-Baselines3這類庫(kù)。獎(jiǎng)勵(lì)函數(shù)怎么設(shè)是個(gè)大學(xué)問(wèn)我的粗淺經(jīng)驗(yàn)是不要只獎(jiǎng)勵(lì)“前進(jìn)距離”要同時(shí)懲罰“偏離車(chē)道”“碰撞”“時(shí)間延遲”否則訓(xùn)練出來(lái)的車(chē)學(xué)會(huì)原地轉(zhuǎn)圈賺獎(jiǎng)勵(lì)看起來(lái)像很聰明實(shí)際就是個(gè)“刷分機(jī)”。仿真環(huán)境訓(xùn)練出來(lái)的策略直接搬到實(shí)車(chē)幾乎不可能存在典型的sim-to-real gap。光照、路面摩擦、傳感器噪聲都有差異。比較務(wù)實(shí)的做法是在Carla里用強(qiáng)化學(xué)習(xí)做策略預(yù)訓(xùn)練讓模型先學(xué)會(huì)基本駕駛行為再用真實(shí)數(shù)據(jù)做微調(diào)或行為約束而不是指望一個(gè)純仿真模型直接上實(shí)車(chē)。6.3 從模擬器到實(shí)車(chē)怎么判斷“仿真過(guò)”到底有沒(méi)有意義很多人把“仿真測(cè)試通過(guò)了”視為“實(shí)車(chē)一定能過(guò)”這是對(duì)模擬器最大的誤解。反過(guò)來(lái)仿真測(cè)試都過(guò)不了實(shí)車(chē)大概率更慘因?yàn)檎鎸?shí)世界的不確定性只會(huì)更多。所以仿真測(cè)試的定位應(yīng)該是“過(guò)濾低級(jí)錯(cuò)誤”。我用Carla判斷模型質(zhì)量時(shí)會(huì)關(guān)注兩個(gè)指標(biāo)一是極端天氣下的表現(xiàn)比如把雨天、霧天、夜晚綜合起來(lái)跑看傳感器數(shù)據(jù)里的目標(biāo)是否還能保持穩(wěn)定二是先驗(yàn)知識(shí)能不能結(jié)合比如地圖先驗(yàn)信息是否被正確注入到模型里而不是簡(jiǎn)單堆更多網(wǎng)絡(luò)層。7. 最后分享幾點(diǎn)實(shí)際操作的體會(huì)裝好Carla很容易但把Carla用好需要有一些項(xiàng)目級(jí)的思維。我自己在跑仿真數(shù)據(jù)時(shí)一定會(huì)在腳本里加入隨機(jī)的種子控制這樣既能讓同一場(chǎng)景重復(fù)復(fù)現(xiàn)又能通過(guò)修改種子生成大量相似但不完全相同的訓(xùn)練樣本。一個(gè)固定的隨機(jī)種子往往對(duì)應(yīng)一個(gè)完全確定的場(chǎng)景序列做數(shù)據(jù)增強(qiáng)和測(cè)試回歸都很方便。很多同學(xué)問(wèn)我“上手Carla多久能跑通”我的答案是如果只是跑通最小閉環(huán)一個(gè)下午都?jí)蛄说绻阋鰝鞲衅魅诤?、?guī)劃控制或強(qiáng)化學(xué)習(xí)至少需要一周把API和官方案例過(guò)一遍。剛開(kāi)始不要追求把所有地圖、所有傳感器都試一遍先用一張地圖、一個(gè)相機(jī)、一個(gè)LiDAR跑通整個(gè)“采集-處理-訓(xùn)練-評(píng)估”流程再慢慢擴(kuò)展。還有一點(diǎn)是我踩過(guò)幾次坑之后總結(jié)出來(lái)的Carla的官方示例代碼一定要?jiǎng)邮智靡槐椴灰皇强础：芏嗉?xì)節(jié)只有在實(shí)際運(yùn)行出錯(cuò)時(shí)才會(huì)意識(shí)到比如時(shí)間同步的順序、坐標(biāo)系的轉(zhuǎn)換、地圖加載的等待時(shí)長(zhǎng)。寫(xiě)在這里的每一條經(jīng)驗(yàn)幾乎都對(duì)應(yīng)過(guò)一次真實(shí)的踩坑過(guò)程。工具本身是免費(fèi)的真正值錢(qián)的是自己試錯(cuò)之后沉淀下來(lái)的流程和方法。