深度學(xué)習(xí)視覺(jué)的三大核心任務(wù)——分類(lèi)、目標(biāo)檢測(cè)、語(yǔ)義分割——在工業(yè)質(zhì)檢中各有明確的適用場(chǎng)景。分類(lèi)回答“是什么”目標(biāo)檢測(cè)回答“在哪里、是什么”語(yǔ)義分割回答“每個(gè)像素屬于誰(shuí)”。分類(lèi)給整張圖或區(qū)域打標(biāo)簽分類(lèi)是最基礎(chǔ)的任務(wù)。輸入一張圖或一個(gè) ROI輸出一個(gè)類(lèi)別標(biāo)簽。工業(yè)場(chǎng)景零件良品/不良品判別、產(chǎn)品型號(hào)識(shí)別、顏色分選、紋理等級(jí)判定。典型網(wǎng)絡(luò)ResNet、EfficientNet、MobileNet。Halcon 的pretrained_dl_classifier系列就是分類(lèi)網(wǎng)絡(luò)支持在自定義數(shù)據(jù)集上微調(diào)。關(guān)鍵約束分類(lèi)假設(shè)目標(biāo)已經(jīng)居中且充滿(mǎn)整個(gè)輸入?yún)^(qū)域。如果目標(biāo)在圖中位置不固定、大小變化大分類(lèi)效果會(huì)急劇下降。所以工業(yè)上分類(lèi)通常配合傳統(tǒng)定位使用——先找到目標(biāo)裁剪 ROI再送入分類(lèi)網(wǎng)絡(luò)。優(yōu)點(diǎn)訓(xùn)練數(shù)據(jù)需求相對(duì)少推理速度快模型小。缺點(diǎn)只知道“是什么”不知道“在哪里”無(wú)法處理多目標(biāo)和像素級(jí)任務(wù)。目標(biāo)檢測(cè)定位 分類(lèi)目標(biāo)檢測(cè)同時(shí)回答“在哪里”和“是什么”。輸出一組邊界框Bounding Box每個(gè)框帶類(lèi)別標(biāo)簽和置信度。工業(yè)場(chǎng)景缺陷定位與分類(lèi)劃痕、臟污、凹坑分別在哪、多零件計(jì)數(shù)與識(shí)別、裝配完整性檢查。兩大流派兩階段檢測(cè)器Faster R-CNN先提候選區(qū)域再分類(lèi)。精度高速度慢。單階段檢測(cè)器YOLO、SSD直接回歸邊界框和類(lèi)別。速度快精度稍低。工業(yè)現(xiàn)場(chǎng)最常用的是YOLO 系列。YOLOv5-Halcon 在巧克力包裝缺陷檢測(cè)案例中640×640 ROI 內(nèi)檢測(cè) 30 類(lèi)缺陷單張推理僅28ms滿(mǎn)足產(chǎn)線(xiàn)節(jié)拍。關(guān)鍵約束邊界框是矩形無(wú)法精確描述不規(guī)則形狀的缺陷。如果缺陷是細(xì)長(zhǎng)劃痕或彎曲裂紋矩形框會(huì)包含大量背景導(dǎo)致定位精度不足。語(yǔ)義分割像素級(jí)分類(lèi)語(yǔ)義分割給每個(gè)像素分配一個(gè)類(lèi)別標(biāo)簽。輸出是一張與輸入同尺寸的掩碼圖每個(gè)像素值代表它屬于哪一類(lèi)。工業(yè)場(chǎng)景精確缺陷區(qū)域提取不規(guī)則劃痕、異形臟污、表面區(qū)域劃分焊接區(qū)、母材區(qū)、裝配區(qū)域確認(rèn)。典型網(wǎng)絡(luò)U-Net、DeepLab、SegNet。U-Net 在工業(yè)缺陷分割中應(yīng)用最廣因?yàn)樗木幋a器-解碼器結(jié)構(gòu)能同時(shí)捕捉全局上下文和局部細(xì)節(jié)適合小樣本訓(xùn)練。關(guān)鍵約束標(biāo)注成本極高。目標(biāo)檢測(cè)只需要畫(huà)矩形框語(yǔ)義分割需要逐像素標(biāo)注。一張 2000×2000 的圖逐像素標(biāo)注可能需要 30 分鐘以上。工業(yè)上通常先用傳統(tǒng)算法或目標(biāo)檢測(cè)做粗篩再對(duì)候選區(qū)域做精細(xì)分割。三者在工業(yè)質(zhì)檢中的分工任務(wù)回答的問(wèn)題輸出標(biāo)注成本典型場(chǎng)景分類(lèi)是什么類(lèi)別標(biāo)簽低良品/不良品判別目標(biāo)檢測(cè)在哪、是什么邊界框類(lèi)別中缺陷定位分類(lèi)語(yǔ)義分割每個(gè)像素屬于誰(shuí)像素掩碼高不規(guī)則缺陷提取選型邏輯能分類(lèi)就不檢測(cè)能檢測(cè)就不分割。分類(lèi)最便宜分割最貴。如果只需要判斷“這張圖有沒(méi)有缺陷”分類(lèi)就夠了。如果需要知道“缺陷在哪、是什么類(lèi)型”用目標(biāo)檢測(cè)。如果需要精確提取缺陷的不規(guī)則輪廓用于面積測(cè)量才用語(yǔ)義分割。傳統(tǒng)算法與深度學(xué)習(xí)的分工定位用傳統(tǒng)算法形狀匹配分類(lèi)/檢測(cè)用深度學(xué)習(xí)尺寸測(cè)量用傳統(tǒng)算法邊緣提取擬合。這個(gè)“傳統(tǒng)-深度-傳統(tǒng)”的流水線(xiàn)是工業(yè)視覺(jué)最務(wù)實(shí)的融合架構(gòu)。一句話(huà)總結(jié)分類(lèi)是**“貼標(biāo)簽”目標(biāo)檢測(cè)是“貼標(biāo)簽畫(huà)框”語(yǔ)義分割是“給每個(gè)像素貼標(biāo)簽”**。工業(yè)質(zhì)檢中標(biāo)注成本從低到高、輸出信息從粗到細(xì)。選擇哪種任務(wù)取決于你需要多細(xì)的信息以及愿意付出多少標(biāo)注代價(jià)。