第一次啟動Carla敲下那條熟悉的啟動命令地圖在UE引擎里慢慢加載出來街道上的車輛和行人開始流動那一瞬間很難不把它當(dāng)游戲看。實(shí)際上Carla是當(dāng)前自動駕駛研發(fā)里使用頻率最高的開源模擬器之一它的定位就是Self-Driving Car Simulation一個(gè)提供城市級道路環(huán)境、多類傳感器模擬、可編程交通流和車輛動力學(xué)接口的仿真平臺。這篇7-1的Carla Overview聊的不是某個(gè)具體算法怎么實(shí)現(xiàn)而是把Carla整體框架講清楚包括它解決什么問題、架構(gòu)怎么分層、傳感器有哪些、怎么快速跑通一個(gè)最小自動駕駛閉環(huán)以及在真實(shí)項(xiàng)目里最值得注意的坑。如果你正準(zhǔn)備做感知、規(guī)劃控制或數(shù)據(jù)生成這篇內(nèi)容可以把頭開起來。1. 為什么選Carla做自動駕駛仿真先算清安全和成本這兩筆賬1.1 一個(gè)模擬器解決的真實(shí)需求安全、成本、復(fù)現(xiàn)性自動駕駛算法做得再漂亮也不能直接扔到開放道路上試驗(yàn)。一條真實(shí)的研發(fā)測試路線上跑一次可能涉及安全員、測試申請、車輛損耗遇到一個(gè)危險(xiǎn)場景甚至只能緊急接管。換句話說實(shí)車測試的成本不是“油錢”而是風(fēng)險(xiǎn)和時(shí)間。在項(xiàng)目早期團(tuán)隊(duì)關(guān)心的往往不是“能不能跑”而是“敢不敢讓它跑”。讓一輛配備激光雷達(dá)、多路相機(jī)和高性能計(jì)算單元的測試車在雨天十字路口做出激進(jìn)變道絕大多數(shù)人都沒這個(gè)膽量。但Carla里隨時(shí)可以這么干把車開到極限、讓它撞上路沿、讓行人突然橫穿重置場景之后再來一次。撞壞一輛虛擬車只需要點(diǎn)一下重置。成本方面算一筆賬更好理解。一臺帶線控底盤、毫米波雷達(dá)、多相機(jī)和計(jì)算平臺的研發(fā)測試車加起來幾十萬起步而Carla是開源的不需要授權(quán)費(fèi)只要能帶得動UE渲染的GPU就能跑。對個(gè)人開發(fā)者和小團(tuán)隊(duì)來說這是很長一段時(shí)間里唯一能負(fù)擔(dān)得起的“城市級路測環(huán)境”。還有一點(diǎn)容易被忽略復(fù)現(xiàn)性。真實(shí)道路上出事往往靠運(yùn)氣同一個(gè)惡劣天氣下的鬼探頭想用實(shí)車復(fù)現(xiàn)基本看緣分。但在Carla里場景是一組參數(shù)地圖、天氣、交通密度、行人路徑都可以固定同一個(gè)bug可以在同一條街道上反復(fù)復(fù)現(xiàn)修完再跑同樣的測試用例做回歸。這種“確定性”對調(diào)試感知模型和控制邏輯至關(guān)重要。1.2 Carla在自動駕駛技術(shù)棧里的卡位連接感知、規(guī)劃、控制的閉環(huán)驗(yàn)證一個(gè)完整的自動駕駛系統(tǒng)通常分成感知、預(yù)測、規(guī)劃、控制四層。Carla不替你做這些算法它提供的是讓整套算法“動起來”的城市環(huán)境以及能產(chǎn)生傳感器數(shù)據(jù)的接口。比如你的感知模型要從相機(jī)圖上輸出目標(biāo)框Carla會按照你設(shè)定的相機(jī)參數(shù)和環(huán)境光照生成帶深度信息的RGB圖像你的規(guī)劃模塊要在道路網(wǎng)上找一條可行駛軌跡Carla的地圖會給你車道、交叉路口、信號燈和路緣數(shù)據(jù)控制模塊要輸出油門、剎車、轉(zhuǎn)向Carla的車輛模型會真的把這輛車在虛擬物理世界里推出去。整條鏈路在仿真環(huán)境里是閉環(huán)的這是很多單點(diǎn)仿真工具做不到的。用一句話概括Carla是算法和世界之間的“公共接口”。它把真實(shí)世界中需要用昂貴硬件和復(fù)雜傳感系統(tǒng)才能得到的東西抽象成一組可以寫進(jìn)Python代碼里的對象和API。1.3 和AirSim、SUMO這些仿真器比Carla的取舍在哪里很多人會問市面上的仿真器那么多為什么偏偏先學(xué)Carla這不是沒有道理的選擇題。AirSim同樣基于UE引擎在飛行器和單機(jī)感知研究里做得很好但它的城市級場景、道路網(wǎng)規(guī)則和自動駕駛相關(guān)的交通流支持明顯沒有Carla那么成體系。SUMO則完全是另一條路線擅長路網(wǎng)交通流和路口信號協(xié)調(diào)能模擬上萬輛車但它沒有像素級傳感器也沒有車輛動力學(xué)意義上的“駕駛”你要驗(yàn)證攝像頭感知算法在SUMO里無從下手。PreScan和CarSim是成熟的商業(yè)工具精度高、和行業(yè)工具鏈集成好但價(jià)格和授權(quán)方式對個(gè)人用戶很不友好。Carla的取舍在于它同時(shí)照顧了“環(huán)境真實(shí)性”和“接口便利性”。有UE引擎提供的渲染質(zhì)量有OpenDRIVE標(biāo)準(zhǔn)道路網(wǎng)有豐富傳感器模型還有Python API可以直接操控。它不追求單一維度的極致精度但作為通用自動駕駛仿真底座綜合成本最低。當(dāng)然代價(jià)也有——體量大、啟動重、對GPU要求高這些后面會聊。2. Carla整體架構(gòu)與核心概念服務(wù)端、客戶端、藍(lán)圖和地圖2.1 服務(wù)端-客戶端模型一個(gè)負(fù)責(zé)渲染世界一個(gè)負(fù)責(zé)寫控制邏輯Carla的架構(gòu)很容易理解但也是很多新手繞不過去的第一個(gè)坎。它分兩個(gè)獨(dú)立進(jìn)程服務(wù)端是CarlaUE4負(fù)責(zé)渲染城市、跑物理引擎、計(jì)算傳感器數(shù)據(jù)、維護(hù)交通流客戶端是Python進(jìn)程通過CARLA PythonAPI連接服務(wù)端創(chuàng)建角色、掛載傳感器、下發(fā)控制命令。端口默認(rèn)2000客戶端通過carla.Client(localhost, 2000)連接。開一個(gè)服務(wù)端可以同時(shí)被多個(gè)客戶端連接這個(gè)設(shè)計(jì)對并行訓(xùn)練很有用一臺帶強(qiáng)GPU的機(jī)器跑服務(wù)端另外幾臺機(jī)器各自跑客戶端算法任務(wù)。我平時(shí)做數(shù)據(jù)生成時(shí)會在一臺機(jī)器上開三四個(gè)Carla實(shí)例端口分別設(shè)為2000、3000、4000每個(gè)實(shí)例負(fù)責(zé)不同地圖天氣組合?？蛻舳撕头?wù)端是一對多的關(guān)系版本必須嚴(yán)格匹配。0.9.15的客戶端去連0.9.14的服務(wù)端大概率會直接報(bào)版本錯(cuò)誤即使不報(bào)錯(cuò)某些API行為和傳感器數(shù)據(jù)格式也可能有差異。每下載一個(gè)Carla壓縮包解壓后PythonAPI/carla/dist目錄下會有一個(gè)egg文件文件名里帶了Python版本信息這個(gè)文件的路徑一定要加進(jìn)PYTHONPATH否則import carla直接失敗。2.2 藍(lán)圖、Actor、Spawn這些概念到底在說什么Carla把世界里的所有可操作對象都抽象成Actor車輛、行人、傳感器、交通燈、路面標(biāo)記都是Actor。創(chuàng)建Actor不是直接實(shí)例化而是從BlueprintLibrary里挑一個(gè)藍(lán)圖Blueprint再生成。藍(lán)圖相當(dāng)于“物種庫”vehicle.audi.etron是奧迪e-tronsensor.camera.rgb是RGB相機(jī)walker.pedestrian.0001是某一種行人外觀。我在最開始接觸Carla時(shí)總把藍(lán)圖當(dāng)成普通對象模板其實(shí)它更像生物分類同一個(gè)車型藍(lán)圖可以生成多輛車每輛車又是獨(dú)立的Actor。修改藍(lán)圖屬性會影響以后生成的所有Actor已生成的Actor不受影響。生成Actor的動作叫spawn_actor。車輛和行人一般需要給定一個(gè)Transform位置和朝向傳感器則通常不直接獨(dú)立存在而是用attach_to掛到車輛或行人身上跟隨宿主移動。一個(gè)典型操作是給車掛相機(jī)world.spawn_actor(camera_bp, camera_transform, attach_tovehicle)掛在車頂?shù)南鄼C(jī)就隨著車輛一起動作傳感器坐標(biāo)相對宿主不變。2.3 地圖、道路網(wǎng)與OpenDRIVE場景不是貼圖而是一套可查詢的數(shù)據(jù)Carla官方地圖從Town01一直到Town15每張地圖都有自己的性格。Town01是最簡單的直線路網(wǎng)Town02帶環(huán)形交叉口Town03混合城區(qū)場景Town04是小鎮(zhèn)布局Town05專門設(shè)計(jì)了復(fù)雜的十字路口和車道變化。做算法初測時(shí)我最常用Town03道路豐富又不至于太難做終點(diǎn)測試或者比賽類場景再切換到更復(fù)雜的地圖。地圖底層的道路描述是OpenDRIVE格式.xodr文件這是一種公開的道路網(wǎng)描述標(biāo)準(zhǔn)。它定義了每條車道的幾何形狀、車道數(shù)量、寬度、速度限制、路口連接關(guān)系和信號燈位置。Carla把道路網(wǎng)當(dāng)成結(jié)構(gòu)化數(shù)據(jù)提供這意味著你的規(guī)劃算法可以直接查詢world.get_map().get_spawn_points()拿到合法生成點(diǎn)也可以用map.get_waypoint_xodr()拿到指定坐標(biāo)最近的車道點(diǎn)。理解這點(diǎn)很重要Carla里的“場景”不是一個(gè)圖片文件夾而是一套可以被算法的坐標(biāo)系、查詢、路線規(guī)劃使用的路網(wǎng)數(shù)據(jù)庫。地圖的可編輯性也很強(qiáng)可以用RoadRunner導(dǎo)入自建的高精地圖或OpenDRIVE文件也可以直接對地圖做局部修改。不過做自定義地圖時(shí)要注意坐標(biāo)對齊、車道連接邏輯這些細(xì)節(jié)這是另一個(gè)大坑建議從官方自帶Town地圖上手。3. 傳感器模擬的硬核細(xì)節(jié)把虛擬數(shù)據(jù)當(dāng)成真實(shí)數(shù)據(jù)用3.1 相機(jī)傳感器RGB、深度、語義分割、光流各有什么思路Carla里最常用的傳感器就是相機(jī)。從藍(lán)圖庫里可以找到sensor.camera.rgb、sensor.camera.depth、sensor.camera.semantic_segmentation和sensor.camera.optical_flow四類。RGB相機(jī)和普通相機(jī)一致核心參數(shù)是分辨率image_size_x和image_size_y、視場角fov還有一個(gè)sensor_tick控制采集頻率。新手最容易犯的錯(cuò)是調(diào)整相機(jī)高度和位置隨意導(dǎo)致后續(xù)感知模型的標(biāo)定關(guān)系對不上。我常用的默認(rèn)配置是1280x720、fov 90掛在車頂前方2.4米高度看起來高度很隨意但后續(xù)做相機(jī)-車輛坐標(biāo)變換時(shí)方便。深度相機(jī)和語義分割相機(jī)有個(gè)關(guān)鍵點(diǎn)直接從回調(diào)里拿到的圖像不能直接用先要調(diào)用image.convert(carla.ColorConverter.Depth)或carla.ColorConverter.CityScapesPalette轉(zhuǎn)成可視化形式。特別是語義分割轉(zhuǎn)換后的像素值對應(yīng)Cityscapes的19類語義標(biāo)簽這是很多語義分割訓(xùn)練數(shù)據(jù)的標(biāo)準(zhǔn)格式。從Carla生成數(shù)據(jù)集核心流程就是把原始圖像和轉(zhuǎn)換后的語義圖成對保存后面訓(xùn)練網(wǎng)絡(luò)時(shí)直接用。光流相機(jī)輸出的是每個(gè)像素的運(yùn)動向量場這在做運(yùn)動預(yù)測和視覺里程計(jì)任務(wù)時(shí)會用到。它返回的不是普通圖像而是帶浮點(diǎn)分量的向量場需要自己解析水平垂直光流分量。使用前最好先跑官方文檔里的光流示例確認(rèn)數(shù)據(jù)結(jié)構(gòu)別急著直接接到自己的光流模型里。3.2 LiDAR與毫米波雷達(dá)點(diǎn)云和稀疏檢測數(shù)據(jù)的典型特征激光雷達(dá)是自動駕駛感知里最“實(shí)在”的傳感器Carla的LiDAR模擬也會給出一幀幀點(diǎn)云數(shù)據(jù)。關(guān)鍵參數(shù)有四個(gè)channels通道數(shù)64線、128線常見、range最遠(yuǎn)量程默認(rèn)50米可以拉到100米甚至更多、points_per_second每秒點(diǎn)數(shù)以及rotation_frequency掃描頻率。我一般把64線、100米量程、每秒100萬點(diǎn)和10Hz掃描作為標(biāo)準(zhǔn)配置因?yàn)檫@是一套接近真實(shí)中距離雷達(dá)的組合。點(diǎn)云數(shù)據(jù)中每個(gè)點(diǎn)包含x,y,z,intensity坐標(biāo)系原點(diǎn)是傳感器掛載點(diǎn)x指向車頭。做目標(biāo)檢測算法時(shí)要把點(diǎn)云轉(zhuǎn)到車輛坐標(biāo)系再考慮去地面、聚類、目標(biāo)框回歸這些常規(guī)操作和真實(shí)雷達(dá)數(shù)據(jù)是一套處理邏輯。毫米波雷達(dá)在Carla里是sensor.other.radar返回的每個(gè)測量點(diǎn)帶azimuth、altitude、depth距離和velocity相對速度。它的特點(diǎn)是稀疏、噪聲比較明顯和真實(shí)雷達(dá)輸出一致。做雷達(dá)的目標(biāo)列表或者融合時(shí)別期望它像LiDAR一樣密雷達(dá)本身的價(jià)值在于直接給速度信息。Carla的雷達(dá)設(shè)定頻率一般是20Hz比相機(jī)更高在做時(shí)序融合時(shí)要注意幀率對齊。3.3 GNSS/IMU與傳感器坐標(biāo)系做融合前必須整明白的尺子Carla里汽車的坐標(biāo)系定義很特別x軸向前y軸向左z軸向上。這一點(diǎn)和很多車輛工程里的坐標(biāo)系習(xí)慣一致但和某些設(shè)備坐標(biāo)系不一樣。做傳感器外參標(biāo)定時(shí)多花五分鐘確認(rèn)坐標(biāo)系方向能省下半天調(diào)bug的時(shí)間。GNSS和IMU解決的是“車在哪”和“車姿態(tài)怎么變”的問題。GNSS輸出經(jīng)緯高還可以設(shè)置噪聲標(biāo)準(zhǔn)差模擬真實(shí)信號抖動IMU輸出加速度、角速度和指南針方向。這兩類傳感器通常不需要掛到具體車輛上直接以自身位置生成但要注意IMU的輸出頻率通常高于GNSS數(shù)據(jù)融合時(shí)要先統(tǒng)一時(shí)間戳。最容易被坑的是“同步問題”。如果你在異步模式下同時(shí)采集相機(jī)圖像和LiDAR點(diǎn)云兩者時(shí)間戳對不上會直接影響融合效果。后面我會專門講同步模式這是做數(shù)據(jù)生成和評估時(shí)最重要的配置項(xiàng)沒有之一。4. 新手必看的實(shí)操全流程從空地圖跑到一個(gè)自動駕駛閉環(huán)4.1 環(huán)境準(zhǔn)備與版本安裝Linux下最省心的組合Carla的安裝沒有想象中復(fù)雜但也不能太隨意。官方通常提供壓縮包解壓到任意目錄就能啟動。我的建議是直接在Linux下跑Ubuntu 20.04或者22.04都可以顯卡驅(qū)動和CUDA先確認(rèn)好。Windows也能跑但在多實(shí)例、Python環(huán)境兼容和底層調(diào)試上會多出不少額外麻煩。安裝依賴有兩個(gè)重點(diǎn)一是把PythonAPI里的egg文件路徑加入環(huán)境變量二是裝好必要的Python庫。以0.9.15為例解壓后目錄里會有PythonAPI/carla/dist/carla-0.9.15-py3.10-linux-x86_64.egg如果你的Python是3.10執(zhí)行export CARLA_ROOT~/carla export PYTHONPATH$CARLA_ROOT/PythonAPI/carla/dist/carla-0.9.15-py3.10-linux-x86_64.egg:$CARLA_ROOT/PythonAPI/carla:$PYTHONPATH pip install numpy pygame opencv-python啟動服務(wù)端時(shí)如果機(jī)器顯存比較緊張建議加上低質(zhì)量參數(shù)./CarlaUE4.sh -quality-levelLow這一條指令可以讓渲染分辨率降下來對跑算法邏輯影響不大但顯存占用明顯變小。我第一次用老顯卡跑Town03卡到幾乎沒法操作加上-quality-levelLow之后整個(gè)畫面立刻流暢了實(shí)測下來對傳感器數(shù)據(jù)的內(nèi)容影響很小。如果GPU性能足夠不開也行畫面質(zhì)量和真實(shí)感會更好。4.2 最小可用腳本生成車輛、掛載相機(jī)、下發(fā)第一腳油門跑一個(gè)能動的Carla程序其實(shí)只要幾個(gè)核心步驟創(chuàng)建客戶端、加載地圖、選藍(lán)圖、生成車輛、掛相機(jī)、循環(huán)控制。我寫個(gè)最小示例你可以直接復(fù)制去跑import carla import random import time # 1. 連接服務(wù)端 client carla.Client(localhost, 2000) client.set_timeout(20.0) # 2. 加載地圖 world client.load_world(Town03) time.sleep(5) # 等地圖加載完成簡單粗暴但有效 # 3. 獲取藍(lán)圖庫選一輛車 bp_lib world.get_blueprint_library() vehicle_bp random.choice(bp_lib.filter(vehicle.*)) # 4. 選一個(gè)生成點(diǎn)生成車輛 spawn_points world.get_map().get_spawn_points() spawn_point random.choice(spawn_points) vehicle world.try_spawn_actor(vehicle_bp, spawn_point) if vehicle is None: spawn_point spawn_points[0] vehicle world.spawn_actor(vehicle_bp, spawn_point) # 5. 掛載一個(gè)RGB相機(jī) camera_bp bp_lib.find(sensor.camera.rgb) camera_bp.set_attribute(image_size_x, 1280) camera_bp.set_attribute(image_size_y, 720) camera_bp.set_attribute(fov, 90) camera_transform carla.Transform(carla.Location(x1.5, z2.4)) camera world.spawn_actor(camera_bp, camera_transform, attach_tovehicle) # 6. 回調(diào)里保存圖像 camera.listen(lambda image: image.save_to_disk(fout/{image.frame:06d}.png)) # 7. 給一腳油門看看車動不動 for _ in range(100): vehicle.apply_control(carla.VehicleControl(throttle0.5, steer0.0, brake0.0)) time.sleep(0.1)這個(gè)腳本每一步都有它的意義。load_world后面加延時(shí)是為了避免地圖還沒加載完就去查詢生成點(diǎn)try_spawn_actor則是因?yàn)椴糠稚牲c(diǎn)被占用時(shí)會返回None相機(jī)掛載到車上位置相對車輛不變這樣圖像會隨著車輛移動而移動才像“從車上拍的”。你可能注意到我這里沒有做感知沒有做規(guī)劃只是讓車自己往前開。但這就是一個(gè)基礎(chǔ)閉環(huán)后面所有復(fù)雜的東西都是往這里面填模塊。建議第一次接觸Carla的新手先把這個(gè)腳本跑通再考慮加其他傳感器和上層算法。4.3 Traffic Manager讓NPC車流和行人有“意識”單獨(dú)一輛車往前開是很無聊的真實(shí)的自動駕駛測試需要周圍有“會犯錯(cuò)的車和行人”。Carla里讓NPC車輛自動駕駛的核心是Traffic Manager它是一套內(nèi)置的交通流管理模塊會控制NPC車輛以合理的速度跟車、變道、等紅綠燈。使用方法也不復(fù)雜tm_port 8000 tm client.get_trafficmanager(tm_port) # 讓一批車自動行駛 for npc in npc_list: npc.set_autopilot(True, tm_port) # 調(diào)整交通流參數(shù) tm.set_global_distance_to_leading_vehicle(2.0) # 前車距離 tm.set_desired_speed(npc, 8.0) # 固定某輛車速度 tm.ignore_lights_percentage(npc, 10) # 10%概率闖紅燈制造危險(xiǎn)場景set_autopilot(True, tm_port)里的端口必須和創(chuàng)建Traffic Manager時(shí)一致這一點(diǎn)特別容易寫錯(cuò)。寫錯(cuò)后的表現(xiàn)是沒有報(bào)錯(cuò)但NPC車完全不動或者只在原地打轉(zhuǎn)。行人Autopilot和車輛略有不同。行者需要用一個(gè)AI控制器來控制先生成行人的Actor再綁定controller.ai.walker控制器然后調(diào)用控制器啟動。我做行人橫穿場景時(shí)會先生成目標(biāo)行人再用控制器設(shè)置目標(biāo)點(diǎn)和速度讓它在指定時(shí)刻動起來這樣能精確復(fù)現(xiàn)“鬼探頭”場景。這里細(xì)節(jié)較多建議參考官方教程里的行人示例代碼。4.4 同步模式與數(shù)據(jù)采集為什么生成訓(xùn)練數(shù)據(jù)必須開同步這是我認(rèn)為Carla里最影響數(shù)據(jù)質(zhì)量的一個(gè)開關(guān)。默認(rèn)的異步模式服務(wù)端按自己的節(jié)奏實(shí)時(shí)渲染客戶端發(fā)一條控制指令后圖像和點(diǎn)云到達(dá)的時(shí)間會有差異。做可視化無所謂但做訓(xùn)練數(shù)據(jù)集比如相機(jī)和LiDAR要融合時(shí)間對不上就是災(zāi)難。解決方案是同步模式settings world.get_settings() settings.synchronous_mode True settings.fixed_delta_seconds 0.05 # 物理步長50ms即20Hz world.apply_settings(settings) for i in range(1000): world.tick() # 手動觸發(fā)一幀所有傳感器在同一時(shí)刻采集fixed_delta_seconds設(shè)成0.05表示每次tick固定推進(jìn)50毫秒這樣幀率是穩(wěn)定的傳感器數(shù)據(jù)的時(shí)間戳也是確定性的。代價(jià)是如果你忘了調(diào)用world.tick()程序會卡住不動這是新手最常見的同步模式事故現(xiàn)場。我在這個(gè)模式下采集過一段時(shí)間的數(shù)據(jù)做物體檢測效果明顯比異步好。不光因?yàn)闀r(shí)間戳對齊還因?yàn)槟憧梢跃_控制車輛每一步的油門剎車方便生成連續(xù)的控制標(biāo)簽。做完記得恢復(fù)異步模式否則退出程序時(shí)Carla可能一直停在卡死狀態(tài)。5. 常見問題與排查技巧實(shí)錄5.1 高頻故障速查表我把做Carla項(xiàng)目和幫別人排查時(shí)遇到的高頻問題整理成一張表照著排查能省很多時(shí)間問題現(xiàn)象可能原因解決思路import carla報(bào)錯(cuò)或找不到模塊egg路徑?jīng)]加進(jìn)PYTHONPATH確認(rèn)egg文件名中的Python版本export到當(dāng)前終端客戶端連接失敗服務(wù)端沒啟動/端口占用檢查端口2000換端口啟動或殺舊進(jìn)程加載地圖很久沒反應(yīng)編譯著色器或顯存不足第一次運(yùn)行有編譯過程等幾分鐘加-quality-levelLow車輛生成失敗返回None生成點(diǎn)被占用換其他SpawnPoint或用try_spawn_actor循環(huán)嘗試畫面正常但NPC車不動Traffic Manager端口不匹配確認(rèn)set_autopilot里的端口和get_trafficmanager端口一致同步模式下程序卡住忘記調(diào)world.tick()進(jìn)入同步模式后每幀必須手動tick語義分割圖顏色不對沒轉(zhuǎn)換調(diào)色板調(diào)用convert(carla.ColorConverter.CityScapesPalette)LiDAR點(diǎn)數(shù)太少points_per_second太低提高到50萬或100萬點(diǎn)/秒5.2 新手最容易忽略的三個(gè)隱性雷區(qū)第一個(gè)雷區(qū)Python版本和服務(wù)端版本不匹配。Carla的egg文件名會帶Python版本號比如carla-0.9.15-py3.10如果你的Python解釋器是3.8直接import會失敗。遇到這個(gè)問題最簡單的做法不是硬湊環(huán)境而是查看官方對版本的支持矩陣換對Python版本。第二個(gè)雷區(qū)多實(shí)例并行時(shí)的資源配置。Carla多開對顯存特別敏感我遇到過開兩個(gè)實(shí)例后其中一個(gè)直接黑屏。解決辦法是每個(gè)實(shí)例都用低質(zhì)量啟動參數(shù)盡量減少車輛和行人總數(shù)同時(shí)給不同實(shí)例分配不同的GPU。在服務(wù)器上跑時(shí)用CUDA_VISIBLE_DEVICES隔離開比一個(gè)顯卡滿載然后崩潰要踏實(shí)得多。第三個(gè)雷區(qū)傳感器數(shù)據(jù)里的“無效幀”。Carla里傳感器在剛掛載的前幾幀可能返回空數(shù)據(jù)尤其是LiDAR和Radar。我在做數(shù)據(jù)采集腳本時(shí)加一個(gè)跳過前20幀的邏輯避免把空點(diǎn)云寫進(jìn)數(shù)據(jù)集里。有人會忽略這個(gè)小細(xì)節(jié)結(jié)果訓(xùn)練時(shí)出現(xiàn)大量空白特征模型性能莫名其妙下降。6. 仿真和實(shí)車結(jié)合的個(gè)人經(jīng)驗(yàn)與新手指南6.1 先跑虛擬回歸測試再上公開數(shù)據(jù)集最后才是實(shí)車我剛做自動駕駛時(shí)有一個(gè)習(xí)慣現(xiàn)在看是很危險(xiǎn)的模型在公開數(shù)據(jù)集上表現(xiàn)不錯(cuò)就直接想往實(shí)車上搬。后來一個(gè)在行業(yè)里做了多年的朋友告訴我一個(gè)流程先讓模型在Carla里跑固定路線回歸測試每次改完網(wǎng)絡(luò)都跑一遍相同的虛擬路線記錄mAP、平均碰撞次數(shù)、違規(guī)次數(shù)這些指標(biāo)曲線有異常就說明什么地方退化了。這個(gè)習(xí)慣我一直保持到現(xiàn)在。Carla的價(jià)值不在于替代真實(shí)道路測試而是把“回歸測試”的成本降到零。真實(shí)路測一次都要耗費(fèi)大量資源但模擬器里你可以準(zhǔn)備固定10條路線每次改代碼后幾分鐘跑完快速看指標(biāo)變化。一個(gè)小技巧把所有固定路線和天氣寫成一個(gè)JSON配置文件跑回歸測試時(shí)讀取配置循環(huán)執(zhí)行。這樣每次測試的隨機(jī)性很小對比結(jié)果才有意義。6.2 用Carla做強(qiáng)化學(xué)習(xí)環(huán)境的一套粗淺經(jīng)驗(yàn)Carla也經(jīng)常被用來做強(qiáng)化學(xué)習(xí)訓(xùn)練。開源社區(qū)里已經(jīng)有把Carla封裝成Gym環(huán)境的項(xiàng)目方便接入Stable-Baselines3這類庫。獎勵(lì)函數(shù)怎么設(shè)是個(gè)大學(xué)問我的粗淺經(jīng)驗(yàn)是不要只獎勵(lì)“前進(jìn)距離”要同時(shí)懲罰“偏離車道”“碰撞”“時(shí)間延遲”否則訓(xùn)練出來的車學(xué)會原地轉(zhuǎn)圈賺獎勵(lì)看起來像很聰明實(shí)際就是個(gè)“刷分機(jī)”。仿真環(huán)境訓(xùn)練出來的策略直接搬到實(shí)車幾乎不可能存在典型的sim-to-real gap。光照、路面摩擦、傳感器噪聲都有差異。比較務(wù)實(shí)的做法是在Carla里用強(qiáng)化學(xué)習(xí)做策略預(yù)訓(xùn)練讓模型先學(xué)會基本駕駛行為再用真實(shí)數(shù)據(jù)做微調(diào)或行為約束而不是指望一個(gè)純仿真模型直接上實(shí)車。6.3 從模擬器到實(shí)車怎么判斷“仿真過”到底有沒有意義很多人把“仿真測試通過了”視為“實(shí)車一定能過”這是對模擬器最大的誤解。反過來仿真測試都過不了實(shí)車大概率更慘因?yàn)檎鎸?shí)世界的不確定性只會更多。所以仿真測試的定位應(yīng)該是“過濾低級錯(cuò)誤”。我用Carla判斷模型質(zhì)量時(shí)會關(guān)注兩個(gè)指標(biāo)一是極端天氣下的表現(xiàn)比如把雨天、霧天、夜晚綜合起來跑看傳感器數(shù)據(jù)里的目標(biāo)是否還能保持穩(wěn)定二是先驗(yàn)知識能不能結(jié)合比如地圖先驗(yàn)信息是否被正確注入到模型里而不是簡單堆更多網(wǎng)絡(luò)層。7. 最后分享幾點(diǎn)實(shí)際操作的體會裝好Carla很容易但把Carla用好需要有一些項(xiàng)目級的思維。我自己在跑仿真數(shù)據(jù)時(shí)一定會在腳本里加入隨機(jī)的種子控制這樣既能讓同一場景重復(fù)復(fù)現(xiàn)又能通過修改種子生成大量相似但不完全相同的訓(xùn)練樣本。一個(gè)固定的隨機(jī)種子往往對應(yīng)一個(gè)完全確定的場景序列做數(shù)據(jù)增強(qiáng)和測試回歸都很方便。很多同學(xué)問我“上手Carla多久能跑通”我的答案是如果只是跑通最小閉環(huán)一個(gè)下午都夠了但如果你要做傳感器融合、規(guī)劃控制或強(qiáng)化學(xué)習(xí)至少需要一周把API和官方案例過一遍。剛開始不要追求把所有地圖、所有傳感器都試一遍先用一張地圖、一個(gè)相機(jī)、一個(gè)LiDAR跑通整個(gè)“采集-處理-訓(xùn)練-評估”流程再慢慢擴(kuò)展。還有一點(diǎn)是我踩過幾次坑之后總結(jié)出來的Carla的官方示例代碼一定要動手敲一遍不要只是看。很多細(xì)節(jié)只有在實(shí)際運(yùn)行出錯(cuò)時(shí)才會意識到比如時(shí)間同步的順序、坐標(biāo)系的轉(zhuǎn)換、地圖加載的等待時(shí)長。寫在這里的每一條經(jīng)驗(yàn)幾乎都對應(yīng)過一次真實(shí)的踩坑過程。工具本身是免費(fèi)的真正值錢的是自己試錯(cuò)之后沉淀下來的流程和方法。