1. 為什么值得花時間搞懂 detectron2如果你正在做計算機視覺相關(guān)的項目尤其是目標檢測、實例分割、關(guān)鍵點檢測這類任務大概率會碰到detectron2這個名字。它是某知名AI研究機構(gòu)開源的一個目標檢測與分割框架基于PyTorch構(gòu)建把大量經(jīng)典和前沿的檢測、分割模型整合到了一套統(tǒng)一的代碼體系里。簡單說它解決的核心問題是讓你不用從零實現(xiàn)Faster R-CNN、Mask R-CNN、RetinaNet這些模型的訓練和推理流程直接調(diào)用現(xiàn)成的、經(jīng)過驗證的實現(xiàn)就能跑起來。我第一次接觸它是因為一個工業(yè)質(zhì)檢的項目需要在產(chǎn)線圖片里定位缺陷區(qū)域并做像素級分割。當時試過自己搭Mask R-CNN光是把ROI Align、RPN、多尺度訓練這些環(huán)節(jié)調(diào)通就花了兩周效果還不穩(wěn)定。后來換到detectron2同樣的數(shù)據(jù)集配置改一改兩天就跑出了可用的baseline。這個效率差距就是它最大的價值。這篇文章適合誰看如果你是剛?cè)腴T目標檢測的學生、需要快速驗證算法的工程師、或者想找一個穩(wěn)定訓練框架的研究者那這篇內(nèi)容能幫你少走很多彎路。我會從整體設計思路講起然后拆解核心配置項再給出一套完整的實操流程最后把我在實際項目中踩過的坑整理成排查清單。全程不堆術(shù)語盡量用“人話”把每個選擇背后的原因講清楚。2. 整體設計思路與方案選型考量2.1 為什么是“配置驅(qū)動”而不是“代碼驅(qū)動”detectron2最核心的設計哲學是配置驅(qū)動config-driven。你幾乎不需要改Python代碼只需要寫一個YAML配置文件就能定義模型結(jié)構(gòu)、數(shù)據(jù)集路徑、訓練超參數(shù)、數(shù)據(jù)增強策略等所有內(nèi)容。這個選擇背后有很實際的考量。傳統(tǒng)做法是每個項目復制一份訓練腳本然后在代碼里改參數(shù)。問題是當你同時跑十幾個實驗對比不同backbone、不同學習率、不同增強策略時代碼分支會變得極其混亂。detectron2把配置抽出來之后實驗管理變得非常清晰一個實驗一個YAML文件配合命令行覆蓋參數(shù)可以快速做消融研究。它的配置系統(tǒng)基于一個叫LazyConfig和CfgNode的機制。早期版本主要用CfgNode類似字典的層級結(jié)構(gòu)支持從文件加載和命令行覆蓋。新版本引入了LazyConfig用Python文件做配置靈活性更高但對新手來說門檻也稍高一些。我的建議是新手從CfgNode的YAML配置入手熟悉之后再考慮LazyConfig。注意detectron2的配置項非常多但真正需要你手動調(diào)的其實就那么十幾個。不要被配置文件里密密麻麻的鍵值嚇到大部分保持默認就行。2.2 模型 zoo 的設計邏輯detectron2內(nèi)置了一個Model Zoo提供了大量預訓練模型。這些模型按照任務類型和backbone結(jié)構(gòu)組織比如COCO-Detection下面是目標檢測模型COCO-InstanceSegmentation下面是實例分割模型COCO-Keypoints是關(guān)鍵點檢測。這個設計的好處是你可以直接加載預訓練權(quán)重做微調(diào)而不需要從頭訓練。對于小數(shù)據(jù)集項目微調(diào)預訓練模型通常比從頭訓練效果好得多收斂也快得多。我做過對比同樣一個5000張圖的缺陷檢測數(shù)據(jù)集從頭訓練mAP只能到0.45左右加載COCO預訓練權(quán)重微調(diào)能到0.72。選擇哪個預訓練模型主要看三個因素任務類型、精度要求、推理速度要求。R50ResNet-50 backbone是速度和精度的平衡點R101精度更高但慢一些X101是更深的網(wǎng)絡適合精度優(yōu)先的場景。如果部署在邊緣設備上可以考慮MobileNet backbone的輕量模型。2.3 數(shù)據(jù)加載與增強的流水線設計detectron2的數(shù)據(jù)加載用了DatasetCatalog和MetadataCatalog兩個注冊表。你需要把數(shù)據(jù)集注冊進去框架才能識別。這個設計看起來多了一步但實際上很合理它把數(shù)據(jù)集的“物理位置”和“邏輯名稱”解耦了方便切換不同數(shù)據(jù)集做實驗。數(shù)據(jù)增強方面detectron2內(nèi)置了一套基于AugmentationList的增強流水線。常用的增強包括隨機翻轉(zhuǎn)、隨機裁剪、顏色抖動、亮度對比度調(diào)整等。它的增強是在線進行的每個epoch的增強結(jié)果都不同能有效提升模型泛化能力。這里有個容易忽略的點增強策略要和任務匹配。比如做文本檢測時隨機旋轉(zhuǎn)可能會破壞文字的可讀性做工業(yè)缺陷檢測時顏色抖動可能改變?nèi)毕莸囊曈X特征。我見過有人直接套用COCO的增強配置做工業(yè)項目結(jié)果模型把顏色變化當成了缺陷特征換一批光照條件就完全失效。3. 核心配置項深度拆解與實操要點3.1 環(huán)境搭建從零到能跑通第一個Demo環(huán)境搭建是第一步也是最容易卡住的地方。detectron2對PyTorch版本、CUDA版本、編譯器版本都有要求版本不匹配會報各種奇怪的錯誤。我的建議是用conda創(chuàng)建獨立環(huán)境不要污染系統(tǒng)Python。步驟如下conda create -n detectron2 python3.9 conda activate detectron2然后安裝PyTorch。這里要注意detectron2需要PyTorch 1.8以上但不同版本對CUDA的支持不同。如果你用的是CUDA 11.3可以這樣裝pip install torch1.10.0cu113 torchvision0.11.0cu113 -f https://download.pytorch.org/whl/torch_stable.html接下來安裝detectron2本體。有兩種方式pip安裝和源碼編譯。pip安裝簡單但可能遇到版本兼容問題源碼編譯更可控但需要gcc和g支持。# 方式一pip安裝 pip install detectron2 -f https://dl.fbaipublicfiles.com/detectron2/wheels/cu113/torch1.10/index.html # 方式二源碼編譯 git clone https://github.com/facebookresearch/detectron2.git cd detectron2 pip install -e .提示源碼編譯時如果報“nvcc not found”說明CUDA編譯器沒裝好需要先安裝對應版本的CUDA Toolkit。如果報“gcc version too old”需要升級gcc到7.5以上。驗證安裝是否成功import detectron2 print(detectron2.__version__)能打印出版本號就說明基礎環(huán)境OK了。如果報“ImportError: libcudart.so.11.0: cannot open shared object file”說明CUDA路徑?jīng)]配好需要把CUDA的lib目錄加到LD_LIBRARY_PATH里。3.2 配置文件的核心結(jié)構(gòu)一個典型的detectron2配置文件包含以下幾個大塊MODEL: META_ARCHITECTURE: GeneralizedRCNN BACKBONE: NAME: build_resnet_fpn_backbone RESNETS: DEPTH: 50 FPN: IN_FEATURES: [res2, res3, res4, res5] ROI_HEADS: NUM_CLASSES: 3 WEIGHTS: detectron2://COCO-Detection/faster_rcnn_R_50_FPN_3x/137849458/model_final_280758.pkl DATASETS: TRAIN: (my_dataset_train,) TEST: (my_dataset_val,) SOLVER: BASE_LR: 0.001 MAX_ITER: 10000 BATCH_SIZE_PER_IMAGE: 64 STEPS: (7000, 9000) INPUT: MIN_SIZE_TRAIN: (640, 800) MAX_SIZE_TRAIN: 1333 MIN_SIZE_TEST: 800 MAX_SIZE_TEST: 1333MODEL.META_ARCHITECTURE決定用哪個模型架構(gòu)。目標檢測用GeneralizedRCNN實例分割也用這個但需要加mask head關(guān)鍵點檢測用GeneralizedRCNN加keypoint head。MODEL.WEIGHTS指定預訓練權(quán)重路徑。可以是本地文件路徑也可以是Model Zoo的URL。加載預訓練權(quán)重時如果類別數(shù)不匹配比如COCO是80類你的數(shù)據(jù)集是3類框架會自動跳過分類層的權(quán)重只加載backbone和RPN的權(quán)重。SOLVER.BASE_LR是基礎學習率。這個值很關(guān)鍵太大容易震蕩太小收斂慢。經(jīng)驗值是batch size為2時用0.001batch size為8時用0.005batch size為16時用0.01。如果你不確定從0.001開始試。SOLVER.STEPS是學習率衰減的迭代次數(shù)。比如(7000, 9000)表示在第7000次和第9000次迭代時把學習率乘以0.1。通常設置在總迭代次數(shù)的70%和90%位置。INPUT.MIN_SIZE_TRAIN是訓練時的圖像短邊縮放范圍。多尺度訓練能提升模型對不同尺寸目標的適應能力但會增加顯存占用。如果顯存不夠可以固定一個值比如(800,)。3.3 數(shù)據(jù)集注冊的完整流程detectron2不能直接讀文件夾里的圖片必須先把數(shù)據(jù)集注冊到DatasetCatalog。注冊的核心是提供一個函數(shù)返回一個列表每個元素是一個字典包含file_name、image_id、annotations等字段。以COCO格式的數(shù)據(jù)集為例from detectron2.data.datasets import register_coco_instances register_coco_instances( my_dataset_train, {}, annotations/train.json, images/train ) register_coco_instances( my_dataset_val, {}, annotations/val.json, images/val )如果是自定義格式比如每張圖對應一個XML標注文件就需要自己寫注冊函數(shù)from detectron2.data import DatasetCatalog, MetadataCatalog import os import xml.etree.ElementTree as ET def get_my_dataset_dicts(img_dir, anno_dir): dataset_dicts [] for idx, img_name in enumerate(os.listdir(img_dir)): record {} record[file_name] os.path.join(img_dir, img_name) record[image_id] idx record[height] 640 record[width] 640 anno_path os.path.join(anno_dir, img_name.replace(.jpg, .xml)) tree ET.parse(anno_path) objs [] for obj in tree.findall(object): bbox obj.find(bndbox) objs.append({ bbox: [ float(bbox.find(xmin).text), float(bbox.find(ymin).text), float(bbox.find(xmax).text), float(bbox.find(ymax).text) ], bbox_mode: BoxMode.XYXY_ABS, category_id: class_names.index(obj.find(name).text) }) record[annotations] objs dataset_dicts.append(record) return dataset_dicts DatasetCatalog.register(my_dataset_train, lambda: get_my_dataset_dicts(images/train, annotations/train)) MetadataCatalog.get(my_dataset_train).set(thing_classes[defect_a, defect_b, defect_c])注意image_id必須是唯一的整數(shù)。如果重復評估時會出錯。bbox_mode要和標注格式匹配COCO格式用XYXY_ABSYOLO格式用XYWH_ABS并做歸一化轉(zhuǎn)換。3.4 訓練啟動與參數(shù)覆蓋配置文件和數(shù)據(jù)集都準備好之后就可以啟動訓練了。detectron2提供了tools/train_net.py腳本但更靈活的方式是自己寫一個訓練入口from detectron2.engine import DefaultTrainer from detectron2.config import get_cfg from detectron2 import model_zoo cfg get_cfg() cfg.merge_from_file(model_zoo.get_config_file(COCO-Detection/faster_rcnn_R_50_FPN_3x.yaml)) cfg.DATASETS.TRAIN (my_dataset_train,) cfg.DATASETS.TEST (my_dataset_val,) cfg.DATALOADER.NUM_WORKERS 4 cfg.MODEL.WEIGHTS model_zoo.get_checkpoint_url(COCO-Detection/faster_rcnn_R_50_FPN_3x.yaml) cfg.SOLVER.IMS_PER_BATCH 4 cfg.SOLVER.BASE_LR 0.001 cfg.SOLVER.MAX_ITER 10000 cfg.SOLVER.STEPS (7000, 9000) cfg.MODEL.ROI_HEADS.NUM_CLASSES 3 cfg.OUTPUT_DIR ./output os.makedirs(cfg.OUTPUT_DIR, exist_okTrue) trainer DefaultTrainer(cfg) trainer.resume_or_load(resumeFalse) trainer.train()命令行覆蓋參數(shù)的方式python train.py SOLVER.BASE_LR 0.002 SOLVER.MAX_ITER 20000這種覆蓋機制在做超參數(shù)搜索時特別方便不需要改文件就能跑不同配置。4. 完整實操流程與關(guān)鍵環(huán)節(jié)實現(xiàn)4.1 從原始數(shù)據(jù)到COCO格式的轉(zhuǎn)換大部分標注工具LabelImg、CVAT、Labelme導出的格式都不是COCO。以LabelImg的XML為例轉(zhuǎn)換腳本如下import os import json import xml.etree.ElementTree as ET from PIL import Image def xml_to_coco(anno_dir, img_dir, output_json): coco { images: [], annotations: [], categories: [] } class_names [defect_a, defect_b, defect_c] for i, name in enumerate(class_names): coco[categories].append({id: i, name: name}) anno_id 0 for img_id, xml_file in enumerate(os.listdir(anno_dir)): if not xml_file.endswith(.xml): continue tree ET.parse(os.path.join(anno_dir, xml_file)) root tree.getroot() img_name xml_file.replace(.xml, .jpg) img_path os.path.join(img_dir, img_name) img Image.open(img_path) width, height img.size coco[images].append({ id: img_id, file_name: img_name, width: width, height: height }) for obj in root.findall(object): cls_name obj.find(name).text if cls_name not in class_names: continue bbox obj.find(bndbox) xmin float(bbox.find(xmin).text) ymin float(bbox.find(ymin).text) xmax float(bbox.find(xmax).text) ymax float(bbox.find(ymax).text) coco[annotations].append({ id: anno_id, image_id: img_id, category_id: class_names.index(cls_name), bbox: [xmin, ymin, xmax - xmin, ymax - ymin], area: (xmax - xmin) * (ymax - ymin), iscrowd: 0 }) anno_id 1 with open(output_json, w) as f: json.dump(coco, f)提示COCO的bbox格式是[x, y, width, height]不是[xmin, ymin, xmax, ymax]。這個轉(zhuǎn)換很容易搞錯搞錯了訓練時loss會異常大或者直接不收斂。4.2 訓練過程中的監(jiān)控與日志解讀detectron2默認用TensorBoard記錄訓練日志。啟動TensorBoardtensorboard --logdir output/重點看幾個指標total_loss總體損失應該穩(wěn)步下降。如果震蕩劇烈可能是學習率太大。loss_cls分類損失。如果一直不降可能是類別不平衡或者標注有問題。loss_box_reg邊界框回歸損失。如果突然飆升可能是某些標注框坐標異常。lr學習率。確認衰減策略是否按預期執(zhí)行。日志里還會定期打印評估結(jié)果包括AP、AP50、AP75等指標。AP50是IoU閾值為0.5時的平均精度通常是最先看到明顯提升的指標。AP是IoU從0.5到0.95的平均值更能反映模型在不同定位精度下的綜合表現(xiàn)。我一般會關(guān)注AP50和APs小目標AP。如果AP50高但APs很低說明模型對小目標檢測能力不足可能需要調(diào)整FPN層或者增加高分辨率特征圖。4.3 推理與可視化訓練完成后用DefaultPredictor做推理from detectron2.engine import DefaultPredictor from detectron2.config import get_cfg from detectron2 import model_zoo import cv2 cfg get_cfg() cfg.merge_from_file(model_zoo.get_config_file(COCO-Detection/faster_rcnn_R_50_FPN_3x.yaml)) cfg.MODEL.WEIGHTS ./output/model_final.pth cfg.MODEL.ROI_HEADS.NUM_CLASSES 3 cfg.MODEL.ROI_HEADS.SCORE_THRESH_TEST 0.5 cfg.MODEL.DEVICE cuda predictor DefaultPredictor(cfg) img cv2.imread(test.jpg) outputs predictor(img) instances outputs[instances] boxes instances.pred_boxes.tensor.cpu().numpy() scores instances.scores.cpu().numpy() classes instances.pred_classes.cpu().numpy() for box, score, cls in zip(boxes, scores, classes): print(f類別: {cls}, 置信度: {score:.3f}, 框: {box})可視化可以用Visualizerfrom detectron2.utils.visualizer import Visualizer from detectron2.data import MetadataCatalog v Visualizer(img[:, :, ::-1], MetadataCatalog.get(my_dataset_train), scale1.2) v v.draw_instance_predictions(outputs[instances].to(cpu)) cv2.imwrite(result.jpg, v.get_image()[:, :, ::-1])注意SCORE_THRESH_TEST是推理時的置信度閾值。設太低會出很多誤檢設太高會漏檢。工業(yè)質(zhì)檢場景通常設0.7以上通用檢測場景0.5左右比較合適。4.4 模型導出與部署準備訓練好的模型如果要部署到生產(chǎn)環(huán)境通常需要導出成TorchScript格式from detectron2.export import export_torchscript model predictor.model model.eval() torchscript_model export_torchscript(model, (img_tensor,)) torch.jit.save(torchscript_model, model.ts)導出時要注意輸入尺寸固定。如果訓練時用了多尺度導出時需要指定一個固定尺寸比如(800, 1333)。另外TorchScript對某些自定義算子支持不好如果模型里用了非標準操作導出可能會失敗。5. 常見問題與排查技巧實錄5.1 訓練不收斂的典型原因訓練不收斂是最常見的問題表現(xiàn)是loss震蕩或者一直很高。根據(jù)我的經(jīng)驗原因通常集中在以下幾個方面現(xiàn)象可能原因排查方法解決方案loss劇烈震蕩學習率太大看lr曲線和loss曲線的關(guān)系降低BASE_LR從0.001降到0.0005loss一直不降標注格式錯誤可視化幾個batch的標注框檢查bbox_mode和坐標范圍loss先降后升過擬合對比訓練集和驗證集AP增加數(shù)據(jù)增強加weight decayloss為NaN梯度爆炸看是否有異常大的loss值加梯度裁剪降低學習率分類loss不降類別不平衡統(tǒng)計各類別樣本數(shù)用focal loss或重采樣我遇到過一次特別隱蔽的問題標注文件里有個框的坐標是負數(shù)導致ROI Align計算出錯loss直接變NaN。排查了半天才發(fā)現(xiàn)是標注工具導出的問題。所以訓練前一定要做數(shù)據(jù)清洗檢查所有框的坐標是否在圖像范圍內(nèi)寬高是否大于0。5.2 顯存不足的優(yōu)化策略顯存不足是另一個高頻問題。detectron2的顯存占用主要來自三個方面模型參數(shù)、特征圖、ROI特征。優(yōu)化手段按優(yōu)先級排列減小batch sizeSOLVER.IMS_PER_BATCH從4降到2顯存占用幾乎減半。減小輸入尺寸INPUT.MIN_SIZE_TRAIN從800降到640特征圖面積減少36%。減少ROI數(shù)量MODEL.ROI_HEADS.BATCH_SIZE_PER_IMAGE從512降到256。用混合精度訓練SOLVER.AMP.ENABLED True顯存占用減少約30%。凍結(jié)backboneMODEL.BACKBONE.FREEZE_AT 2只訓練后面的層。提示混合精度訓練在PyTorch 1.6以上支持較好但某些自定義算子可能不兼容。開啟后如果loss出現(xiàn)NaN先關(guān)掉試試。5.3 評估指標異常的排查思路評估時如果AP異常低不要急著改模型先檢查評估流程本身類別ID是否從0開始COCO的類別ID從1開始但detectron2內(nèi)部從0開始。如果注冊時沒做轉(zhuǎn)換評估時所有預測都會被當成背景。驗證集是否注冊正確DATASETS.TEST里的名稱必須和注冊時的名稱完全一致。標注框是否被正確加載用DatasetCatalog.get(my_dataset_val)打印幾條數(shù)據(jù)確認annotations字段不為空。NMS閾值是否合理MODEL.ROI_HEADS.NMS_THRESH_TEST默認0.5如果設得太低重疊目標會被誤刪。我踩過的一個坑是驗證集的圖片路徑寫錯了導致加載不到圖片評估時所有預測都是空的AP直接為0。后來加了一個檢查在注冊數(shù)據(jù)集后打印前幾條數(shù)據(jù)的file_name確認路徑存在。5.4 推理速度優(yōu)化的實戰(zhàn)技巧如果模型要部署到實時場景推理速度很關(guān)鍵。除了換輕量backbone還有幾個實用技巧降低輸入分辨率從1333降到800推理速度提升約2倍精度損失通常在2-3個點以內(nèi)。減少ROI數(shù)量推理時MODEL.ROI_HEADS.DETECTIONS_PER_IMAGE從100降到30后處理時間大幅減少。用TensorRT加速把模型轉(zhuǎn)成TensorRT引擎推理速度能再提升2-3倍但轉(zhuǎn)換過程比較折騰。批處理推理如果有多路視頻流攢幾幀一起推理GPU利用率更高。實測數(shù)據(jù)Faster R-CNN R50在V100上輸入800x1333單張推理約45ms輸入640x1067約28ms轉(zhuǎn)TensorRT后約15ms。精度方面AP50從0.82降到0.79再降到0.77。這個精度換速度的取舍要根據(jù)實際業(yè)務需求來定。5.5 微調(diào)預訓練模型的注意事項微調(diào)預訓練模型時有幾個細節(jié)容易忽略學習率要調(diào)小從頭訓練用0.01微調(diào)通常用0.001甚至0.0001。因為預訓練權(quán)重已經(jīng)在一個大分布上收斂了大學習率會破壞已有的特征。凍結(jié)底層MODEL.BACKBONE.FREEZE_AT 2表示凍結(jié)前兩個stage只訓練后面的。小數(shù)據(jù)集微調(diào)時特別有用能防止過擬合。類別數(shù)要匹配MODEL.ROI_HEADS.NUM_CLASSES必須改成你的類別數(shù)。如果忘了改加載權(quán)重時會報維度不匹配。權(quán)重加載策略trainer.resume_or_load(resumeFalse)會加載MODEL.WEIGHTS指定的權(quán)重。如果OUTPUT_DIR里有上次訓練的checkpointresumeTrue會接著上次訓練。我個人的習慣是先用小學習率微調(diào)全部層跑2000次迭代看效果如果過擬合明顯再凍結(jié)底層重新跑。這個策略在多個項目里都比較穩(wěn)。6. 從項目實戰(zhàn)中沉淀的經(jīng)驗6.1 數(shù)據(jù)質(zhì)量比模型選擇更重要做了這么多檢測項目我最大的體會是數(shù)據(jù)質(zhì)量決定上限模型選擇只是逼近上限。一個標注干凈、覆蓋全面的數(shù)據(jù)集用R50就能跑出很好的效果標注混亂、漏標嚴重的數(shù)據(jù)集換再大的模型也救不回來。具體來說標注要保證三點框要貼緊目標邊緣不要留太多背景、類別定義要清晰避免模棱兩可的標注、難例要覆蓋遮擋、截斷、小目標都要有樣本。我通常會在訓練前隨機抽100張圖人工檢查標注質(zhì)量發(fā)現(xiàn)問題就返工。這個時間投入絕對值得。6.2 配置文件版本管理detectron2的配置文件是實驗的核心資產(chǎn)。我的做法是每個實驗一個獨立的YAML文件命名規(guī)則是日期_模型_數(shù)據(jù)集_關(guān)鍵參數(shù).yaml比如20240115_r50_mydata_lr001.yaml。所有配置文件用git管理每次訓練前commit一次。這樣半年后回頭看能清楚知道每個結(jié)果是怎么來的。另外訓練腳本里把關(guān)鍵配置打印到日志里包括學習率、batch size、迭代次數(shù)、數(shù)據(jù)集路徑。這樣即使配置文件丟了從日志里也能恢復出當時的配置。6.3 小數(shù)據(jù)集上的實用技巧如果數(shù)據(jù)集只有幾百張圖直接微調(diào)可能會過擬合。幾個實用技巧強增強隨機裁剪、旋轉(zhuǎn)、顏色抖動全開甚至可以用CutMix、Mosaic。多尺度訓練INPUT.MIN_SIZE_TRAIN設一個范圍比如(640, 800, 1000)讓模型見到不同尺度的目標。早停驗證集AP連續(xù)幾次不提升就停不要死磕MAX_ITER。交叉驗證如果數(shù)據(jù)量實在少用5折交叉驗證取平均結(jié)果更可靠。我在一個只有300張圖的缺陷檢測項目里用R50微調(diào)加強增強最終AP50到了0.78。如果從頭訓練AP50只有0.52。預訓練權(quán)重的價值在小數(shù)據(jù)集上體現(xiàn)得淋漓盡致。6.4 后續(xù)擴展方向detectron2的生態(tài)還在持續(xù)演進。如果你已經(jīng)跑通了基礎流程可以考慮幾個擴展方向自定義backbone比如換成EfficientNet或Swin Transformer、自定義數(shù)據(jù)增強針對特定場景設計增強策略、模型蒸餾用大模型教小模型兼顧精度和速度、半監(jiān)督訓練利用未標注數(shù)據(jù)提升效果。這些方向每一個都夠?qū)懸黄L文但核心思路是一致的理解框架的擴展點在合適的位置插入自己的邏輯。detectron2的模塊化設計讓這些擴展變得相對容易這也是它比很多“一體化”框架更值得深入的原因。