1. 從競(jìng)速到落地這個(gè)項(xiàng)目到底在做什么先把話說(shuō)在前面全國(guó)大學(xué)生智能車競(jìng)賽早就不是單純拼速度的賽道游戲了。第二十一屆、第二十二屆的賽題方向越來(lái)越偏向智能載體 行業(yè)場(chǎng)景而地瓜機(jī)器人RDK X3系列憑借內(nèi)置BPU貝葉斯加速單元和完整的ROS 2生態(tài)成了很多隊(duì)伍做創(chuàng)意賽、視覺(jué)賽的首選平臺(tái)。我這次做的東西簡(jiǎn)單說(shuō)就是——讓一臺(tái)地瓜機(jī)器人小車承擔(dān)起智慧醫(yī)療巡檢助手的角色。它有兩個(gè)核心任務(wù)人臉皮膚健康初篩小車通過(guò)攝像頭識(shí)別患者面部區(qū)域提取膚色特征判斷是否存在痤瘡、色斑、泛紅等常見(jiàn)皮膚問(wèn)題的傾向輸出健康評(píng)估提示。藥品自動(dòng)配送導(dǎo)航在模擬病房區(qū)域內(nèi)小車根據(jù)指令自動(dòng)導(dǎo)航到指定床位送達(dá)指定藥品用色塊模擬送達(dá)后語(yǔ)音/屏幕提示。這個(gè)項(xiàng)目我當(dāng)時(shí)斷斷續(xù)續(xù)做了三周踩了不少坑尤其是模型量化那一步差點(diǎn)把我勸退。本文會(huì)把整個(gè)方案、代碼邏輯、調(diào)試經(jīng)驗(yàn)和踩坑記錄全部放出來(lái)適合正在備賽、或者想用RDK X3做視覺(jué)SLAM/目標(biāo)檢測(cè)項(xiàng)目的同學(xué)參考。先給一個(gè)整體的軟硬件選型表后面所有內(nèi)容都圍繞這套配置展開(kāi)部件型號(hào)/方案用途主控地瓜機(jī)器人 RDK X34GB版本圖像處理、模型推理、運(yùn)動(dòng)控制攝像頭USB免驅(qū)廣角攝像頭720p/30fps人臉采集、巡線識(shí)別底盤(pán)差速兩輪驅(qū)動(dòng) 編碼器運(yùn)動(dòng)控制與里程計(jì)電機(jī)驅(qū)動(dòng)STM32作為下位機(jī) 或 直接PWM驅(qū)動(dòng)速度環(huán)控制顯示器樹(shù)莓派7寸觸摸屏可選患者交互界面電源12V鋰電池 降壓模塊整機(jī)供電如果你手里的車模是現(xiàn)成的比如之前競(jìng)速賽留下來(lái)的那完全可以沿用底盤(pán)和電機(jī)把主控?fù)Q成RDK X3就行。2. 為什么選地瓜機(jī)器人而不是樹(shù)莓派或Jetson這個(gè)選擇我相信很多隊(duì)伍糾結(jié)過(guò)。我先說(shuō)結(jié)論再解釋原因如果追求開(kāi)發(fā)效率與AI推理性能的平衡RDK X3是這幾個(gè)平臺(tái)里最穩(wěn)的選擇。對(duì)比一下三個(gè)常用平臺(tái)維度樹(shù)莓派4BJetson Nano地瓜機(jī)器人 RDK X3AI算力無(wú)專用NPU472 GFLOPS5 TOPSBPU功耗約5W5-10W約5W開(kāi)發(fā)語(yǔ)言Python為主Python/CPython/CROS 2支持可用但性能受限完整原生適配開(kāi)箱即用模型部署只能跑輕量模型TensorRT地平線工具鏈一鍵轉(zhuǎn)換官方文檔通用通用提供大量機(jī)器人場(chǎng)景案例Jetson Nano其實(shí)也很強(qiáng)但對(duì)我們學(xué)生隊(duì)伍來(lái)說(shuō)有兩個(gè)很頭疼的問(wèn)題一是TensorRT的部署調(diào)試周期長(zhǎng)二是板子散熱是個(gè)麻煩事裝在小車上跑賽題算法溫度一高就降頻幀率浮動(dòng)很厲害。樹(shù)莓派就更不用說(shuō)了跑個(gè)YOLO都要用CPU硬扛實(shí)時(shí)性很難保證。而RDK X3的BPU對(duì)常見(jiàn)CNN模型支持度很好地平線的工具鏈能直接把PyTorch/ONNX模型轉(zhuǎn)換成board格式在板端推理并且流程非常順。加上官方提供了大量機(jī)器人開(kāi)發(fā)套件級(jí)別的Demo手勢(shì)識(shí)別、人體關(guān)鍵點(diǎn)檢測(cè)、巡線導(dǎo)航等我們做二次開(kāi)發(fā)能省下很多時(shí)間。另外一點(diǎn)RDK X3上預(yù)裝了Ubuntu ROS 2 Foxy的系統(tǒng)鏡像這個(gè)對(duì)智能車競(jìng)賽尤其關(guān)鍵——賽題里經(jīng)常要求自主導(dǎo)航 任務(wù)調(diào)度ROS 2的節(jié)點(diǎn)通信機(jī)制可以很優(yōu)雅地把感知、決策、控制拆成獨(dú)立模塊后面調(diào)試單項(xiàng)功能時(shí)不用反復(fù)燒錄整個(gè)系統(tǒng)。3. 整個(gè)系統(tǒng)的架構(gòu)與數(shù)據(jù)流設(shè)計(jì)在動(dòng)代碼之前我想先講講系統(tǒng)的整體架構(gòu)。這部分的規(guī)劃直接決定了后面寫(xiě)代碼、調(diào)參的難易程度。整個(gè)系統(tǒng)的運(yùn)行邏輯可以概括為三句話感知層負(fù)責(zé)看攝像頭采集圖像經(jīng)過(guò)人臉檢測(cè)和膚色分析生成健康評(píng)估結(jié)果同時(shí)識(shí)別地面引導(dǎo)線和障礙物。決策層負(fù)責(zé)想根據(jù)當(dāng)前任務(wù)初篩任務(wù)還是配送任務(wù)決定小車的行為狀態(tài)巡線、?？?、避障、語(yǔ)音播報(bào)。執(zhí)行層負(fù)責(zé)動(dòng)將決策結(jié)果轉(zhuǎn)換為電機(jī)PWM信號(hào)通過(guò)PID控制實(shí)現(xiàn)精確的速度與轉(zhuǎn)向。在代碼層面我用了ROS 2節(jié)點(diǎn)架構(gòu)來(lái)組織整個(gè)程序。這樣做的好處是每個(gè)功能模塊獨(dú)立運(yùn)行任何一個(gè)節(jié)點(diǎn)崩潰了不會(huì)拖垮整臺(tái)車。先看一下我定義的Topic和節(jié)點(diǎn)結(jié)構(gòu)/face_detector —— 人臉檢測(cè)與膚色分析節(jié)點(diǎn)感知 /obstacle_laser —— 激光/超聲波避障數(shù)據(jù)節(jié)點(diǎn)感知 /navigation —— 導(dǎo)航?jīng)Q策節(jié)點(diǎn)決策 /motor_controller —— 電機(jī)控制節(jié)點(diǎn)執(zhí)行 /voice_service —— 語(yǔ)音播報(bào)服務(wù)節(jié)點(diǎn)交互消息流是這樣走的攝像頭畫(huà)面 →/face_detector節(jié)點(diǎn)分析完成后把皮膚狀態(tài)分?jǐn)?shù)和是否檢測(cè)到人臉發(fā)布到ROS 2的Topic →/navigation節(jié)點(diǎn)接收結(jié)果結(jié)合當(dāng)前任務(wù)狀態(tài)決定下一步動(dòng)作 → 如果是在配送模式就發(fā)指令給/motor_controller執(zhí)行巡線動(dòng)作如果是初篩模式就在原地完成分析把結(jié)果送往/voice_service做語(yǔ)音播報(bào)。這里有個(gè)容易被新手忽略的點(diǎn)攝像頭和電機(jī)驅(qū)動(dòng)的實(shí)時(shí)性問(wèn)題。如果你用Python直接在主循環(huán)里同時(shí)處理圖像和電機(jī)控制幀率一高就會(huì)出現(xiàn)電機(jī)響應(yīng)不及時(shí)的問(wèn)題。我的解決辦法是讓圖像處理和電機(jī)驅(qū)動(dòng)跑在不同進(jìn)程里通過(guò)ROS 2的Topic異步通信。這樣圖像處理哪怕偶爾掉幀電機(jī)控制也不受影響。4. 智慧醫(yī)療核心功能一皮膚健康初篩算法4.1 數(shù)據(jù)來(lái)源與預(yù)處理皮膚健康初篩是整個(gè)項(xiàng)目里最有醫(yī)療AI味道的部分。它能通過(guò)攝像頭拍攝人臉?lè)治銎つw表面特征給出一個(gè)健康評(píng)分和診斷提示。先說(shuō)數(shù)據(jù)。很多人一聽(tīng)到皮膚病檢測(cè)就頭皮發(fā)麻覺(jué)得要收集一堆醫(yī)學(xué)影像。實(shí)際上我這里的做法是基于膚色特征分析而非深度醫(yī)學(xué)診斷。它判斷的是皮膚表面的顏色分布是否均勻、是否有異常色塊這用傳統(tǒng)的圖像處理算法就能實(shí)現(xiàn)不需要訓(xùn)練深度模型。實(shí)時(shí)視頻幀輸入后第一步是人臉檢測(cè)。我直接調(diào)用了OpenCV的DNN模塊加載了一個(gè)輕量的SSD人臉檢測(cè)模型res10_300x300_ssd_iter_140000.caffemodel這個(gè)模型在CPU上也能跑得動(dòng)性能足夠。人臉檢測(cè)的代碼實(shí)現(xiàn)import cv2 import numpy as np class FaceDetector: def __init__(self, proto_path, model_path, conf_threshold0.7): # 加載Caffe格式的人臉檢測(cè)模型 self.net cv2.dnn.readNetFromCaffe(proto_path, model_path) self.conf_threshold conf_threshold # 輸入圖像尺寸固定為300x300 self.input_width 300 self.input_height 300 def detect_faces(self, frame): h, w frame.shape[:2] # 構(gòu)造blob并送入網(wǎng)絡(luò) blob cv2.dnn.blobFromImage( cv2.resize(frame, (self.input_width, self.input_height)), 1.0, (self.input_width, self.input_height), (104.0, 177.0, 123.0), swapRBFalse ) self.net.setInput(blob) detections self.net.forward() faces [] for i in range(detections.shape[2]): confidence detections[0, 0, i, 2] if confidence self.conf_threshold: box detections[0, 0, i, 3:7] * np.array([w, h, w, h]) x1, y1, x2, y2 box.astype(int) # 邊界保護(hù) x1, y1 max(0, x1), max(0, y1) x2, y2 min(w, x2), min(h, y2) faces.append((x1, y1, x2, y2)) return faces提示這里的模型文件在OpenCV的官方GitHub倉(cāng)庫(kù)里就有搜索res10_300x300_ssd_iter_140000.caffemodel和deploy.prototxt下載后放到項(xiàng)目的models目錄即可。4.2 膚色分析與健康評(píng)分檢測(cè)到人臉之后我們需要進(jìn)一步分析皮膚狀態(tài)。這一步用到了HSV顏色空間轉(zhuǎn)換和色塊統(tǒng)計(jì)分析。我在賽道調(diào)試時(shí)發(fā)現(xiàn)一個(gè)很關(guān)鍵的問(wèn)題很多人對(duì)于膚色檢測(cè)的第一反應(yīng)是用RGB閾值但RGB對(duì)光照變化太敏感了同一個(gè)人的臉在室內(nèi)燈和自然光下顏色的數(shù)值差異非常大。而HSV色調(diào)、飽和度、亮度空間把顏色和亮度分離了所以用H和S通道做膚色分割更穩(wěn)定。下面是膚色分析的核心代碼def analyze_skin_health(face_roi): 輸入人臉ROI區(qū)域輸出健康評(píng)分指標(biāo) # 轉(zhuǎn)換到HSV顏色空間 hsv cv2.cvtColor(face_roi, cv2.COLOR_BGR2HSV) # 膚色范圍HSV空間的典型閾值可根據(jù)實(shí)際場(chǎng)景微調(diào) lower_skin np.array([0, 30, 60], dtypenp.uint8) upper_skin np.array([25, 150, 240], dtypenp.uint8) skin_mask cv2.inRange(hsv, lower_skin, upper_skin) # 形態(tài)學(xué)操作去除噪點(diǎn)和填充孔洞 kernel cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5)) skin_mask cv2.morphologyEx(skin_mask, cv2.MORPH_OPEN, kernel) skin_mask cv2.morphologyEx(skin_mask, cv2.MORPH_CLOSE, kernel) # 計(jì)算膚色區(qū)域占比 total_pixels face_roi.shape[0] * face_roi.shape[1] skin_pixels np.count_nonzero(skin_mask) skin_ratio skin_pixels / total_pixels # 找異常色塊色斑、泛紅區(qū)域 # 在HSV中紅色/褐色區(qū)域的色調(diào)與正常膚色存在差異 lower_red np.array([0, 100, 100], dtypenp.uint8) upper_red np.array([10, 255, 255], dtypenp.uint8) red_mask cv2.inRange(hsv, lower_red, upper_red) red_ratio np.count_nonzero(red_mask) / total_pixels # 紋理粗糙度評(píng)估用Laplacian方差近似 gray cv2.cvtColor(face_roi, cv2.COLOR_BGR2GRAY) laplacian_var cv2.Laplacian(gray, cv2.CV_64F).var() # 綜合評(píng)分滿分100 score max(0, 100 - red_ratio * 500 - abs(laplacian_var - 500) / 20) return { skin_ratio: skin_ratio, red_ratio: red_ratio, texture_score: laplacian_var, health_score: min(100, score) }這個(gè)評(píng)分邏輯說(shuō)實(shí)話不夠醫(yī)學(xué)嚴(yán)謹(jǐn)?shù)诟?jìng)賽場(chǎng)景里足夠展示完整的采集-分析-反饋鏈路。如果想做得更專業(yè)可以把這里的傳統(tǒng)圖像特征換成訓(xùn)練好的分類模型比如MobileNetV2微調(diào)后區(qū)分痤瘡/正常皮膚后面我會(huì)講模型量化部署的方法。4.3 在RDK X3上跑膚色分析的速度實(shí)測(cè)很多做這個(gè)項(xiàng)目的同學(xué)會(huì)擔(dān)心——OpenCV的DNN模型在RDK X3上跑人臉檢測(cè)會(huì)不會(huì)很卡我實(shí)測(cè)的數(shù)據(jù)是這樣的人臉檢測(cè)OpenCV DNNSSD模型單幀約35msHSV轉(zhuǎn)換 膚色分析單幀約8ms整體端到端延遲約50ms相當(dāng)于20 FPS這個(gè)速度做實(shí)時(shí)分析完全沒(méi)問(wèn)題。而且要注意我們的分析邏輯只是在對(duì)齊好的人臉ROI上做的不是每幀全圖分析所以CPU占用其實(shí)很低。5. 智慧醫(yī)療核心功能二藥品自動(dòng)配送導(dǎo)航5.1 巡線與路口識(shí)別不靠視覺(jué)SLAM也能穩(wěn)定送藥藥品配送的導(dǎo)航方案我們最終沒(méi)有上激光雷達(dá)SLAM因?yàn)橘愵}場(chǎng)景是結(jié)構(gòu)化環(huán)境有固定床位、固定過(guò)道用巡線 路口標(biāo)志識(shí)別是最穩(wěn)、最不容易翻車的方案。巡線的實(shí)現(xiàn)非常經(jīng)典把攝像頭畫(huà)面轉(zhuǎn)成二值圖后提取每一行的中心線位置用加權(quán)平均得出小車相對(duì)引導(dǎo)線的橫向偏移再用PID控制轉(zhuǎn)向。def get_line_center(frame): 從底部圖像區(qū)域提取引導(dǎo)線中心位置 h, w frame.shape[:2] # 只取畫(huà)面底部三分之二作為巡線區(qū)域 roi frame[int(h*0.3):, :] gray cv2.cvtColor(roi, cv2.COLOR_BGR2GRAY) # 引導(dǎo)線是黑色背景上的白色膠帶或白色背景上的黑色膠帶 _, binary cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV | cv2.THRESH_OTSU) # 逐行掃描計(jì)算每行白色像素的中心 centers [] for row in range(binary.shape[0]): row_data binary[row, :] indices np.where(row_data 0)[0] if len(indices) 0: centers.append(np.mean(indices)) if len(centers) 0: return w // 2, False # 沒(méi)找到線 # 對(duì)中心點(diǎn)取平均并映射回原圖坐標(biāo) offset int(h * 0.3) line_center int(np.mean(centers)) return line_center, True這一步的細(xì)節(jié)在于巡線區(qū)域不是全圖而是只取底部2/3。因?yàn)閿z像頭安裝在小車前方近距離的線最可靠遠(yuǎn)處的線會(huì)因?yàn)橐暯顷P(guān)系產(chǎn)生較大的透視誤差。5.2 路口識(shí)別與定點(diǎn)停靠配送藥品需要小車在指定的床位前停下來(lái)。我用了一個(gè)非常實(shí)用的策略——在床位的正前方地面貼一張ArUco碼小車每次經(jīng)過(guò)路口時(shí)檢測(cè)畫(huà)面中是否存在ArUco碼識(shí)別到對(duì)應(yīng)的ID就停車。ArUco碼的方案比RFID地標(biāo)或者色卡都更穩(wěn)定因?yàn)榧词箶z像頭視角有偏移OpenCV的ArUco模塊也能準(zhǔn)確還原出碼的位置和ID。import cv2 from cv2 import aruco def detect_aruco_id(frame): 檢測(cè)畫(huà)面中的ArUco碼返回ID列表 gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) aruco_dict aruco.getPredefinedDictionary(aruco.DICT_ARUCO_ORIGINAL) parameters aruco.DetectorParameters() detector aruco.ArucoDetector(aruco_dict, parameters) corners, ids, rejected detector.detectMarkers(gray) return ids, corners在停車邏輯上我用的是距離閾值 方向角判斷雙條件。當(dāng)ArUco碼在畫(huà)面中的面積超過(guò)一定像素說(shuō)明已經(jīng)足夠近且碼的中心位于畫(huà)面中線偏下時(shí)觸發(fā)停車。這樣可以避免在側(cè)向經(jīng)過(guò)場(chǎng)景下誤停。5.3 配送調(diào)度狀態(tài)機(jī)整個(gè)配送任務(wù)里的行為切換我寫(xiě)成了一個(gè)簡(jiǎn)單的狀態(tài)機(jī)運(yùn)行在/navigation節(jié)點(diǎn)中狀態(tài)觸發(fā)條件執(zhí)行動(dòng)作IDLE任務(wù)開(kāi)始前原地等待接收指令SEARCH_LINE初始位置不在線上旋轉(zhuǎn)180度尋找引導(dǎo)線FOLLOW_LINE檢測(cè)到引導(dǎo)線PID巡線前進(jìn)STOP_AT_BED檢測(cè)到目標(biāo)ArUco碼且距離足夠近減速停車播報(bào)到站通知DELIVER_DONE停留2秒后語(yǔ)音提示藥品已送達(dá)任務(wù)結(jié)束有了狀態(tài)機(jī)之后邏輯就特別清晰了。每一步只需要處理當(dāng)前狀態(tài)下的事件不用在各種if-else之間亂跳。6. 模型量化與部署把PyTorch模型塞進(jìn)BPU前面提到如果不想用傳統(tǒng)圖像處理而是想上真正的深度學(xué)習(xí)分類模型RDK X3對(duì)PyTorch/ONNX模型有完整轉(zhuǎn)換鏈路。這里我把流程走一遍。6.1 訓(xùn)練與導(dǎo)出ONNX假設(shè)我們要訓(xùn)練一個(gè)痤瘡/正常皮膚的二分類模型選MobileNetV2作為backbone分類網(wǎng)絡(luò)用MobileNetV2在嵌入式設(shè)備上推理速度快、模型小。訓(xùn)練完成后需要先導(dǎo)出為ONNX格式。import torch import torch.nn as nn from torchvision import models, transforms # 以MobileNetV2為例 model models.mobilenet_v2(pretrainedTrue) # 修改最后一層為二分類 model.classifier[1] nn.Linear(model.classifier[1].in_features, 2) # 加載訓(xùn)練好的權(quán)重 model.load_state_dict(torch.load(skin_classifier.pth)) model.eval() # 導(dǎo)出ONNX dummy_input torch.randn(1, 3, 224, 224) torch.onnx.export(model, dummy_input, skin_classifier.onnx, opset_version11, input_names[input], output_names[output]) print(ONNX導(dǎo)出完成)6.2 地平線工具鏈轉(zhuǎn)換流程在RDK X3上部署模型走的是地平線的OE工具鏈在PC端完成轉(zhuǎn)換命令大致如下# 安裝地平線模型轉(zhuǎn)換工具在PC上執(zhí)行 pip install horizon_onnx2onnx horizon_model_toolkit # 轉(zhuǎn)換ONNX為horizon模型 hb_mapper makertbin --model-type onnx \ --model skin_classifier.onnx \ --output model_output \ --input-shape input:1,3,224,224 \ --calibration-data calib_images/ \ --calibration-type kl \ --quantize True這里有個(gè)很重要的概念量化校準(zhǔn)。BPU推理是int8精度的所以需要準(zhǔn)備一批校準(zhǔn)圖片大概20-50張工具會(huì)統(tǒng)計(jì)這些圖片在網(wǎng)絡(luò)各層的激活值分布從而找到最合適的量化參數(shù)。校準(zhǔn)圖片最好和真實(shí)場(chǎng)景分布一致——我一開(kāi)始隨便找了些網(wǎng)圖做校準(zhǔn)結(jié)果模型在實(shí)物上推理時(shí)準(zhǔn)確率掉了好幾個(gè)點(diǎn)。6.3 板端推理轉(zhuǎn)換完成后會(huì)得到一個(gè).board后綴的模型文件。在RDK X3上使用horizon_python_sdk加載模型進(jìn)行推理from horizon_tc_ui import HB_ONNXRuntime import cv2 import numpy as np # 加載horizon模型 sess HB_ONNXRuntime(model_fileskin_classifier.board) input_name sess.input_names[0] def predict_skin(img_bgr): # 預(yù)處理resize到224x224歸一化 img cv2.resize(img_bgr, (224, 224)) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) img img.astype(np.float32) / 255.0 img img.transpose(2, 0, 1)[np.newaxis, ...] output sess.run([], {input_name: img})[0] cls_id np.argmax(output) confidence np.max(output) return cls_id, confidence整個(gè)轉(zhuǎn)換鏈路做熟之后從PyTorch訓(xùn)練到板端推理大約2小時(shí)能跑通。對(duì)競(jìng)賽而言這個(gè)周期完全可接受。7. 完整代碼整合主控節(jié)點(diǎn)的設(shè)計(jì)與實(shí)現(xiàn)上面各功能模塊都說(shuō)明白了接下來(lái)我把所有代碼整合成一個(gè)可運(yùn)行的項(xiàng)目并解釋主控節(jié)點(diǎn)的實(shí)現(xiàn)。項(xiàng)目目錄結(jié)構(gòu)smart_medical_car/ ├── models/ │ ├── deploy.prototxt │ └── res10_300x300_ssd_iter_140000.caffemodel ├── src/ │ ├── face_detector.py │ ├── skin_analyzer.py │ ├── line_follower.py │ ├── aruco_navigator.py │ └── main.py ├── scripts/ │ ├── calibrate_camera.py │ └── generate_aruco.py └── requirements.txt主控節(jié)點(diǎn)main.py的代碼思路是創(chuàng)建各個(gè)功能模塊的實(shí)例然后在ROS 2的定時(shí)回調(diào)里依次執(zhí)行采集、感知、決策、控制。如果是單機(jī)直跑不跑ROS 2主循環(huán)也差不多。import cv2 import time from face_detector import FaceDetector from skin_analyzer import analyze_skin_health from line_follower import LineFollower from aruco_navigator import ArucoNavigator import RPi.GPIO as GPIO # RDK X3可通過(guò)GPIO控制 class SmartMedicalCar: def __init__(self): # 初始化各模塊 self.face_detector FaceDetector( proto_pathmodels/deploy.prototxt, model_pathmodels/res10_300x300_ssd_iter_140000.caffemodel ) self.line_follower LineFollower() self.aruco_navigator ArucoNavigator() # 任務(wù)配置 self.current_mode HEALTH_SCAN # 或 DELIVERY self.target_bed_id 1 self.health_result None # 攝像頭 self.cap cv2.VideoCapture(0) self.cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640) self.cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480) def run_health_scan(self): 健康初篩模式采集10幀進(jìn)行分析求平均分?jǐn)?shù) scores [] for _ in range(10): ret, frame self.cap.read() if not ret: continue faces self.face_detector.detect_faces(frame) if len(faces) 0: # 取最大的人臉區(qū)域 x1, y1, x2, y2 max(faces, keylambda f: (f[2]-f[0])*(f[3]-f[1])) face_roi frame[y1:y2, x1:x2] result analyze_skin_health(face_roi) scores.append(result[health_score]) time.sleep(0.1) if scores: avg_score sum(scores) / len(scores) print(f皮膚健康評(píng)分: {avg_score:.1f} / 100) if avg_score 80: print(狀態(tài)健康皮膚狀態(tài)良好) elif avg_score 60: print(狀態(tài)注意建議保持作息規(guī)律) else: print(狀態(tài)警告建議前往皮膚科咨詢) return avg_score else: print(未檢測(cè)到人臉請(qǐng)調(diào)整位置) return None def run_delivery_task(self): 藥品配送模式巡線ArUco停靠 self.aruco_navigator.reset() while True: ret, frame self.cap.read() if not ret: continue line_center, found self.line_follower.get_line_center(frame) ids, _ self.aruco_navigator.detect_aruco_id(frame) # 檢查是否到達(dá)目標(biāo)床位 if ids is not None and self.target_bed_id in [int(i) for i in ids.flatten()]: self.line_follower.stop() print(f已到達(dá) {self.target_bed_id} 號(hào)床位藥品送達(dá)) break # 巡線控制 if found: error line_center - frame.shape[1] // 2 self.line_follower.set_pid(error) else: self.line_follower.slow_down() time.sleep(0.05) def main_loop(self): try: while True: print(\n選擇任務(wù)1健康初篩 2藥品配送 q退出) cmd input() if cmd 1: self.current_mode HEALTH_SCAN self.run_health_scan() elif cmd 2: self.current_mode DELIVERY self.run_delivery_task() elif cmd q: break finally: self.cap.release() cv2.destroyAllWindows() if __name__ __main__: car SmartMedicalCar() car.main_loop()注意RDK X3上的GPIO引腳定義與樹(shù)莓派不完全一樣如果用GPIO控制電機(jī)參考RDK X3的40Pin針腳定義做對(duì)應(yīng)調(diào)整。我實(shí)際項(xiàng)目中因?yàn)槭褂昧藥Т诘碾姍C(jī)驅(qū)動(dòng)板所以代碼里沒(méi)有直接操作GPIO。8. 調(diào)試中最容易踩的5個(gè)坑8.1 攝像頭視角與畫(huà)面延遲的平衡第一版我用的攝像頭是垂直向下裝在車頂?shù)慕嵌鹊故悄芡暾吹揭龑?dǎo)線但人臉檢測(cè)幾乎用不了看不到正臉。后來(lái)我換成了30度左右的俯仰角安裝兼顧了巡線區(qū)域和人臉采集。如果你也需要同時(shí)做這兩個(gè)任務(wù)建議還是給攝像頭加一個(gè)舵機(jī)云臺(tái)按需調(diào)整角度。另外延時(shí)問(wèn)題也很重要。RDK X3跑720p30fps時(shí)如果所有節(jié)點(diǎn)都在同一個(gè)Python進(jìn)程里跑CPU占用會(huì)到80%以上。這時(shí)候畫(huà)面會(huì)卡頓導(dǎo)致巡線PID響應(yīng)變慢。我最終把分辨率降到640x480并開(kāi)啟了JPEG硬件編碼傳輸流暢度立刻上來(lái)了。8.2 PID參數(shù)不能只靠理論計(jì)算巡線PID的初始參數(shù)我一開(kāi)始參考網(wǎng)上的教程設(shè)的結(jié)果車開(kāi)起來(lái)蛇形走位一圈都跑不完就偏了。后來(lái)用了工程上常用的調(diào)參順序先把積分項(xiàng)I設(shè)為0只取比例項(xiàng)P從0.3開(kāi)始逐步增加直到車輛在直線段能穩(wěn)定居中但允許在彎道輕微偏移。加入微分項(xiàng)D從1.0開(kāi)始增加直到過(guò)彎時(shí)車身姿態(tài)穩(wěn)定、不甩尾。最后加一點(diǎn)積分項(xiàng)I用于消除巡線時(shí)的靜態(tài)偏差如電機(jī)轉(zhuǎn)速不一致導(dǎo)致的長(zhǎng)期偏航。最終我這邊的參數(shù)是P0.55I0.02D1.5。但這個(gè)參數(shù)換一輛車就不一定適用了核心還是理解每個(gè)參數(shù)對(duì)響應(yīng)的影響。8.3 ArUco碼檢測(cè)的遠(yuǎn)小近大誤判問(wèn)題ArUco碼在小車5米外就能被識(shí)別但此刻觸發(fā)停車顯然不合理。我做了一個(gè)簡(jiǎn)單的面積過(guò)濾只有當(dāng)目標(biāo)ID對(duì)應(yīng)的碼角點(diǎn)圍成的面積超過(guò)畫(huà)面總面積的2%時(shí)才認(rèn)為到了停車點(diǎn)。這個(gè)閾值需要根據(jù)你實(shí)際場(chǎng)地中貼碼的大小來(lái)調(diào)整。8.4 膚色檢測(cè)在賽場(chǎng)燈光下失效我第一次測(cè)試膚色分析是在實(shí)驗(yàn)室白熾燈下效果很好。結(jié)果到了賽場(chǎng)棚頂?shù)膹?qiáng)光燈一照整個(gè)畫(huà)面的色溫偏藍(lán)膚色分割的mask變得支離破碎。解決辦法是在膚色分析前加一步白平衡預(yù)處理。最簡(jiǎn)單的方式是OpenCV的灰度世界假設(shè)白平衡算法def white_balance(img): result cv2.cvtColor(img, cv2.COLOR_BGR2LAB) avg_a np.average(result[:, :, 1]) avg_b np.average(result[:, :, 2]) result[:, :, 1] result[:, :, 1] - ((avg_a - 128) * (result[:, :, 0] / 255.0) * 1.1) result[:, :, 2] result[:, :, 2] - ((avg_b - 128) * (result[:, :, 0] / 255.0) * 1.1) return cv2.cvtColor(result, cv2.COLOR_LAB2BGR)在進(jìn)入膚色分析前對(duì)ROI做一次這個(gè)處理膚色掩膜的質(zhì)量會(huì)穩(wěn)定很多。當(dāng)然這還是會(huì)消耗一點(diǎn)點(diǎn)CPU時(shí)間實(shí)測(cè)大概2ms可以接受。8.5 電池電壓對(duì)電機(jī)轉(zhuǎn)速的隱藏干擾編碼器測(cè)速和控制如果不閉環(huán)電池電壓從滿電12.6V降到11V的過(guò)程中同一PWM下的電機(jī)會(huì)明顯變慢。我們調(diào)試時(shí)遇到過(guò)上午跑得好好的下午跑歪了的問(wèn)題。解決的辦法是在電機(jī)控制中加基于編碼器的閉環(huán)速度控制PID控制不能用開(kāi)環(huán)PWM。如果項(xiàng)目時(shí)間緊沒(méi)有編碼器退而求其次的方法是在代碼里定時(shí)檢測(cè)電池電壓做PWM的線性補(bǔ)償。9. 競(jìng)賽演示技巧與答辯加分項(xiàng)項(xiàng)目代碼和功能做扎實(shí)只是第一步現(xiàn)場(chǎng)演示和答辯表現(xiàn)同樣重要。根據(jù)我的參賽體會(huì)這幾個(gè)細(xì)節(jié)能幫你多拿不少分。9.1 演示腳本的講故事設(shè)計(jì)評(píng)委看演示通常會(huì)關(guān)注這個(gè)項(xiàng)目到底解決什么問(wèn)題。我當(dāng)時(shí)把演示流程設(shè)計(jì)為開(kāi)場(chǎng)階段讓小車在場(chǎng)地中自主巡線一周屏幕實(shí)時(shí)顯示攝像頭畫(huà)面和識(shí)別框突出感知-決策-執(zhí)行的完整性。健康初篩環(huán)節(jié)請(qǐng)一位觀眾坐小車前方小車自動(dòng)識(shí)別并播報(bào)皮膚健康評(píng)分屏幕上同步展示人臉檢測(cè)框和膚色分布圖。送藥環(huán)節(jié)在手機(jī)/電腦上輸入1號(hào)床配送小車自動(dòng)行駛到1號(hào)床位置播報(bào)藥品已送達(dá)并顯示ArUco碼ID。這套流程下來(lái)評(píng)委能看到的東西非常直觀人臉檢測(cè)、圖像處理、決策調(diào)度、精準(zhǔn)停靠每一個(gè)技術(shù)點(diǎn)都對(duì)應(yīng)一個(gè)明確的看得見(jiàn)的結(jié)果。9.2 數(shù)據(jù)可視化工裝能讓答辯更有說(shuō)服力我專門(mén)做了一個(gè)小的可視化面板把攝像頭畫(huà)面、健康評(píng)分曲線、小車當(dāng)前狀態(tài)巡線中/?？恐袑?shí)時(shí)顯示在一塊副屏上。評(píng)委走過(guò)去不用問(wèn)就能看懂系統(tǒng)的工作步驟。這比臨時(shí)打開(kāi)終端解釋一坨日志強(qiáng)得多。9.3 如何應(yīng)對(duì)你這個(gè)方案有什么短板的提問(wèn)誠(chéng)實(shí)地講這個(gè)方案肯定有不足。比如膚色分析受光照影響、導(dǎo)航依賴地面標(biāo)志、無(wú)法處理動(dòng)態(tài)障礙等。如果被問(wèn)到不用慌這樣組織回答思路先承認(rèn)局限當(dāng)前方案在設(shè)計(jì)時(shí)優(yōu)先考慮了賽題場(chǎng)景下的穩(wěn)定性所以選擇了傳統(tǒng)圖像處理和固定路標(biāo)方案。再談演進(jìn)方向如果要落地到真實(shí)醫(yī)院環(huán)境可以替換為更魯棒的深度學(xué)習(xí)皮膚分析模型并將巡線導(dǎo)航升級(jí)為基于激光雷達(dá)的SLAM自主導(dǎo)航。這樣的回答既展示了你對(duì)技術(shù)邊界的清醒認(rèn)知也體現(xiàn)了你思考過(guò)后續(xù)的工程化路徑。10. 對(duì)準(zhǔn)備參加智能車競(jìng)賽的同學(xué)說(shuō)幾句實(shí)在話最后說(shuō)點(diǎn)項(xiàng)目之外的體會(huì)。地瓜機(jī)器人這套平臺(tái)現(xiàn)在很適合做創(chuàng)意賽項(xiàng)目因?yàn)樗阎悄艿拈T(mén)檻降低了——你不用花大量時(shí)間調(diào)內(nèi)核、適配驅(qū)動(dòng)可以把精力集中在行業(yè)應(yīng)用場(chǎng)景的算法與交互設(shè)計(jì)上。但對(duì)參加智能車競(jìng)賽的同學(xué)來(lái)說(shuō)我還是想強(qiáng)調(diào)三件事軟件架構(gòu)比功能堆疊更重要。如果你準(zhǔn)備用ROS 2一開(kāi)始就設(shè)計(jì)好節(jié)點(diǎn)劃分和消息接口后期擴(kuò)展新功能會(huì)快很多。不要等代碼寫(xiě)到兩千行再回頭重構(gòu)那會(huì)非常痛苦。算法要分優(yōu)先級(jí)。競(jìng)賽現(xiàn)場(chǎng)突發(fā)情況很多與其把精力放在模型精度從90%提升到92%不如把時(shí)間花在異常處理上沒(méi)檢測(cè)到線怎么辦、連續(xù)幾幀沒(méi)看到ArUco碼怎么辦。系統(tǒng)穩(wěn)定性和魯棒性對(duì)最后成績(jī)的影響遠(yuǎn)大于那2%的精度。多留余量現(xiàn)場(chǎng)一定會(huì)有意外。電池沒(méi)充滿、場(chǎng)地光線不對(duì)、貼紙反光甚至工作人員走位擋住攝像頭這些事我都遇到過(guò)。準(zhǔn)備一套快速恢復(fù)操作的流程比臨時(shí)改代碼靠譜。我現(xiàn)在回過(guò)頭看這次項(xiàng)目最大的收獲不是獎(jiǎng)項(xiàng)或代碼量而是搞明白了從一個(gè)想法到一臺(tái)能穩(wěn)定跑起來(lái)的機(jī)器之間到底隔著多少細(xì)節(jié)。地瓜機(jī)器人也好其他平臺(tái)也罷真正難的從來(lái)不是某個(gè)單點(diǎn)技術(shù)而是把感知、決策、控制、交互這些環(huán)節(jié)像齒輪一樣咬合起來(lái)的綜合能力。如果你也在做類似的項(xiàng)目或者在調(diào)試中卡住了歡迎在評(píng)論區(qū)帶上你的具體問(wèn)題來(lái)聊。代碼和思路都不難但每個(gè)人踩坑的位置不一樣把自己的經(jīng)驗(yàn)在社區(qū)里攤開(kāi)來(lái)分享進(jìn)步會(huì)快得多。