簡介一套面向發(fā)票表格檢測的專用目標(biāo)檢測數(shù)據(jù)集聚焦文檔結(jié)構(gòu)識(shí)別中的表格區(qū)域定位適用于自動(dòng)化票據(jù)處理、財(cái)務(wù)系統(tǒng)集成、計(jì)算機(jī)視覺算法研究以及YOLO系列模型教學(xué)。數(shù)據(jù)源自真實(shí)發(fā)票樣本統(tǒng)一采用YOLO格式標(biāo)注共包含909張圖片其中訓(xùn)練集795張、驗(yàn)證集76張、測試集38張類別為單一表格目標(biāo)可直接用于YOLOv12等主流檢測器的訓(xùn)練與評(píng)估。資源包共1820個(gè)文件包括909張jpg圖片、909個(gè)對(duì)應(yīng)的txt標(biāo)注文件、1個(gè)yaml配置文件以及1份docx數(shù)據(jù)說明文檔整體約36.29MB體積緊湊便于下載部署。目前已有305人瀏覽學(xué)習(xí)。數(shù)據(jù)集劃分完整、標(biāo)注精準(zhǔn)度高覆蓋多樣化表格樣式可幫助開發(fā)者快速構(gòu)建發(fā)票表格檢測模型減少財(cái)務(wù)人工錄入成本并可用于高校與培訓(xùn)機(jī)構(gòu)的計(jì)算機(jī)視覺實(shí)踐教學(xué)。1. 發(fā)票表格檢測數(shù)據(jù)集909 張真實(shí)發(fā)票YOLO 格式開箱即用做發(fā)票 OCR 或者文檔自動(dòng)化的朋友八成都有過這種經(jīng)歷模型選型不是問題真正卡住你的是「表格到底在哪」。發(fā)票版式五花八門掃描件歪的、手機(jī)拍的、光照不均的你要先把表格區(qū)域從整張圖里框出來才能談得上后面的文字識(shí)別。這份發(fā)票表格檢測數(shù)據(jù)集就是干這個(gè)的——909 張真實(shí)發(fā)票圖片單類別標(biāo)注「表格」邊界框全部按 YOLO 格式給好訓(xùn)練集 795 張、驗(yàn)證集 76 張、測試集 38 張從訓(xùn)練到評(píng)估的閉環(huán)是完整的。它適合正在做票據(jù)自動(dòng)化、財(cái)務(wù)系統(tǒng)集成或者文檔結(jié)構(gòu)識(shí)別研究的工程師也適合想拿真實(shí)業(yè)務(wù)數(shù)據(jù)練手目標(biāo)檢測的學(xué)生。拿到手不用重新標(biāo)注整理好目錄就能直接喂給 YOLO 系列模型。2. 先看清數(shù)據(jù)集結(jié)構(gòu)Roboflow 導(dǎo)出目錄與 YOLO 標(biāo)簽的坐標(biāo)血統(tǒng)2.1 從文件名反推數(shù)據(jù)來源.rf. 命名規(guī)則與亮度變體樣本解壓后你會(huì)看到一堆類似35_jpg.rf.e4f37b39e1c1a0b645321eea0fc73806.jpg的文件名這個(gè)命名格式能告訴你不少信息。以35_jpg.rf.e4f37b39e1c1a0b645321eea0fc73806.jpg為例35是原始圖片名或序號(hào)jpg表示這張圖被統(tǒng)一轉(zhuǎn)成了 JPEG 格式rf是 Roboflow 的標(biāo)識(shí)后面那串哈希值是平臺(tái)內(nèi)部的樣本 ID。再看Invoice_125_brightness_jpg.rf.2377ca4f8cc19c06c7dff2674fdd6049.jpgbrightness說明這是對(duì)原圖做了亮度調(diào)整后生成的變體樣本。這種命名意味著數(shù)據(jù)集是從 Roboflow 平臺(tái)導(dǎo)出的標(biāo)注過程大概率也是在這類工具上完成的。一個(gè)容易被忽略的細(xì)節(jié)是brightness變體本質(zhì)上是同源圖像的數(shù)據(jù)增強(qiáng)產(chǎn)物它確實(shí)能提升模型的亮度魯棒性但統(tǒng)計(jì)訓(xùn)練集多樣性時(shí)不能把它當(dāng)成獨(dú)立的真實(shí)樣本。同樣一張發(fā)票原圖、亮度增強(qiáng)圖、對(duì)比度增強(qiáng)圖可能都在列表里它們?cè)谀Ｐ涂磥硎遣煌瑘D像但在業(yè)務(wù)層面屬于同一張單據(jù)。你跑訓(xùn)練時(shí)不需要剔除這些變體但要心里有數(shù)真實(shí)世界里的發(fā)票版式多樣性比文件數(shù)量顯示的要少一些。目錄組織上Roboflow 導(dǎo)出的常見結(jié)構(gòu)是訓(xùn)練集、驗(yàn)證集、測試集各自獨(dú)立成目錄典型的樹狀結(jié)構(gòu)如下invoice-dataset/ ├── train/ │ ├── images/ │ │ ├── 35_jpg.rf.e4f37b39e1c1a0b645321eea0fc73806.jpg │ │ └── ... │ └── labels/ │ ├── 35_jpg.rf.e4f37b39e1c1a0b645321eea0fc73806.txt │ └── ... ├── valid/ │ ├── images/ │ └── labels/ └── test/ ├── images/ └── labels/標(biāo)注文件與圖片同名只是擴(kuò)展名從.jpg換成.txt這點(diǎn)是 YOLO 系列數(shù)據(jù)集的硬性約定后面做校驗(yàn)時(shí)也要按這個(gè)規(guī)則來。如果你解壓后看到的目錄結(jié)構(gòu)不完全一樣比如 labels 單獨(dú)一個(gè)大目錄、圖片和標(biāo)注不在一起也不用慌第 3 章會(huì)給出重組目錄的方法。2.2 YOLO 標(biāo)簽四元組解讀歸一化坐標(biāo)、類別編號(hào)與邊界框語義打開任意一個(gè).txt標(biāo)注文件內(nèi)容長這樣0 0.526041 0.411458 0.131771 0.102083 0 0.781250 0.572917 0.096354 0.081597每行對(duì)應(yīng)一個(gè)邊界框五個(gè)字段依次是類別編號(hào)、歸一化中心點(diǎn) x 坐標(biāo)、歸一化中心點(diǎn) y 坐標(biāo)、歸一化寬度、歸一化高度。這個(gè)數(shù)據(jù)集是單類別所以第一列全部是 0。所謂歸一化就是坐標(biāo)值除以圖片的原始寬高所有值都在 0 到 1 之間。比如0.526041 0.411458表示表格中心位于圖片橫向 52.6%、縱向 41.1% 的位置0.131771 0.102083表示表格寬度占整張圖寬度的 13.2%、高度占整張圖高度的 10.2%。字段含義整理如下字段含義示例第 1 列類別編號(hào)單類別時(shí)為 00第 2 列歸一化中心點(diǎn) x相對(duì)圖片寬度0.526041第 3 列歸一化中心點(diǎn) y相對(duì)圖片高度0.411458第 4 列歸一化寬度相對(duì)圖片寬度0.131771第 5 列歸一化高度相對(duì)圖片高度0.102083單類別檢測有個(gè)好處模型只需要區(qū)分「這是表格」和「這不是表格」不需要處理類別間相似、類別不平衡這類問題。但也正因?yàn)楸尘袄锶俏淖趾途€條誤檢的代價(jià)會(huì)集中在定位精度上框偏一點(diǎn)后續(xù) OCR 的質(zhì)量就跟著掉。2.3 拿到數(shù)據(jù)先做三件事確保標(biāo)簽與圖片一一對(duì)應(yīng)我在拿到任何目標(biāo)檢測數(shù)據(jù)集后第一件事不是急著配置訓(xùn)練環(huán)境而是先寫個(gè)腳本把數(shù)據(jù)和標(biāo)簽掃一遍。這個(gè)數(shù)據(jù)集一共 909 張圖片手動(dòng)檢查不現(xiàn)實(shí)腳本幾分鐘就能跑完專門排查三類問題圖片沒有對(duì)應(yīng)標(biāo)簽、標(biāo)簽坐標(biāo)越界、邊界框?qū)捀弋惓?。import os from pathlib import Path from PIL import Image def check_dataset(base_dir): issues [] total 0 for split in [train, valid, test]: img_dir Path(base_dir) / split / images lab_dir Path(base_dir) / split / labels if not img_dir.exists() or not lab_dir.exists(): issues.append(f{split}: 缺少 images 或 labels 目錄) continue for img_path in img_dir.glob(*.*): total 1 lab_path lab_dir / (img_path.stem .txt) # 檢查 1: 圖片有沒有對(duì)應(yīng)標(biāo)注文件 if not lab_path.exists(): issues.append(f{img_path.name}: 缺少同名 txt 標(biāo)注) continue # 檢查 2: 坐標(biāo)是否越界、寬高是否為 0 with open(lab_path, r, encodingutf-8) as f: for line in f: parts line.strip().split() if len(parts) ! 5: issues.append(f{lab_path.name}: 字段數(shù)不是 5實(shí)際 {len(parts)}) continue cls, xc, yc, w, h parts xc, yc, w, h float(xc), float(yc), float(w), float(h) if not (0 xc 1 and 0 yc 1): issues.append(f{lab_path.name}: 中心點(diǎn)越界 ({xc}, {yc})) if w 0 or h 0 or w 1 or h 1: issues.append(f{lab_path.name}: 寬高異常 ({w}, {h})) print(f共掃描 {total} 張圖片發(fā)現(xiàn) {len(issues)} 個(gè)問題) for issue in issues[:20]: print(f - {issue}) if __name__ __main__: check_dataset(invoice-dataset)腳本邏輯分三步先確認(rèn)每個(gè)圖片文件都有同名.txt文件避免訓(xùn)練時(shí)圖片無標(biāo)簽導(dǎo)致被跳過再逐行解析標(biāo)簽內(nèi)容校驗(yàn)五個(gè)字段的數(shù)量和數(shù)值范圍最后把所有問題匯總打印出來。這里check_dataset(invoice-dataset)的目錄參數(shù)要按你解壓后的實(shí)際路徑改。坐標(biāo)越界的問題在這個(gè)數(shù)據(jù)集里概率不高但如果之前有人批量裁剪過圖片而沒有重新計(jì)算標(biāo)簽就會(huì)出現(xiàn)這類臟數(shù)據(jù)務(wù)必在訓(xùn)練前跑一遍。提示這種校驗(yàn)?zāi)_本建議保存成check_labels.py不只這次用以后每次接手新數(shù)據(jù)集都先跑一遍能省掉很多訓(xùn)練到一半才發(fā)現(xiàn)數(shù)據(jù)有問題的尷尬。3. 用 YOLOv8 把數(shù)據(jù)集跑起來目錄規(guī)范化、data.yaml 與訓(xùn)練參數(shù)3.1 把 Roboflow 目錄改造成 Ultralytics 期望的結(jié)構(gòu)Ultralytics 的 YOLOv8/YOLO11 訓(xùn)練框架對(duì)數(shù)據(jù)集目錄結(jié)構(gòu)有約定數(shù)據(jù)集根目錄下必須同時(shí)存在images和labels兩個(gè)大目錄各自內(nèi)部再按train、val、test分子目錄。Roboflow 導(dǎo)出的結(jié)構(gòu)默認(rèn)符合這個(gè)約定但有時(shí)壓縮包里會(huì)多包一層或者把標(biāo)注文件拆出去如果你直接改data.yaml的路徑去遷就現(xiàn)有目錄很容易遇到「訓(xùn)練開始后掃描到 0 張圖片」的翻車現(xiàn)場。我一般用一段腳本規(guī)范化目錄結(jié)構(gòu)而不是手工去拖文件夾# 假設(shè)當(dāng)前目錄下的 invoice-dataset 是解壓后的原始目錄 # 目標(biāo)結(jié)構(gòu): datasets/invoice/images/{train,val,test} labels/{train,val,test} mkdir -p datasets/invoice/images/{train,val,test} mkdir -p datasets/invoice/labels/{train,val,test} # 把原始目錄里的圖片和標(biāo)簽拷貝進(jìn)去 for split in train valid test; do cp invoice-dataset/$split/images/* datasets/invoice/images/$split/ cp invoice-dataset/$split/labels/* datasets/invoice/labels/$split/ done # 快速核對(duì)數(shù)量 echo 圖片數(shù)量: find datasets/invoice/images -type f | wc -l echo 標(biāo)簽數(shù)量: find datasets/invoice/labels -type f | wc -l這段腳本做的事情很簡單先建好目標(biāo)目錄骨架再按train、valid、test三個(gè)子集把圖片和標(biāo)注文件拷貝過去最后用find統(tǒng)計(jì)數(shù)量做一次核對(duì)。注意原目錄里 Roboflow 用validUltralytics 默認(rèn)用val雖然框架內(nèi)部做了兼容但我習(xí)慣統(tǒng)一改成val避免后續(xù)腳本里路徑對(duì)不上?？截愅瓿珊髨D片和標(biāo)簽總數(shù)都應(yīng)該等于 909如果某個(gè)子集數(shù)量不一致回去檢查是不是有格式特殊的文件沒被cp通配符匹配到。3.2 寫 data.yaml 并啟動(dòng)第一輪訓(xùn)練目錄整理好后需要寫一個(gè)data.yaml告訴模型數(shù)據(jù)在哪、類別是什么。數(shù)據(jù)集根目錄放在哪path就寫哪相對(duì)路徑和絕對(duì)路徑都可以但我建議用絕對(duì)路徑尤其是你同時(shí)跑多個(gè)實(shí)驗(yàn)的時(shí)候相對(duì)路徑一旦切換工作目錄就會(huì)找不到數(shù)據(jù)。# data.yaml path: D:/projects/invoice-dataset # 改成你自己的數(shù)據(jù)集根目錄 train: images/train val: images/val test: images/test names: 0: tablenames里的鍵值對(duì)要和標(biāo)簽文件里的類別編號(hào)一一對(duì)應(yīng)這個(gè)數(shù)據(jù)集只有 0 號(hào)類別table。寫完data.yaml后第一輪訓(xùn)練我用的是 YOLOv8n因?yàn)樗?nano 版本顯存占用小、訓(xùn)練快適合先用基線結(jié)果摸清數(shù)據(jù)集的難度yolo detect train \ datadata.yaml \ modelyolov8n.pt \ epochs100 \ imgsz640 \ batch16 \ patience20 \ projectruns/invoice \ nameexp1幾個(gè)關(guān)鍵參數(shù)說下imgsz640是 YOLO 系列性價(jià)比最高的輸入尺寸發(fā)票表格線屬于中等尺寸目標(biāo)640 夠用如果發(fā)現(xiàn)小表格檢測不準(zhǔn)后面可以用imgsz1280再跑一輪對(duì)比。batch16取決于你的顯存8G 顯存用 16 可能剛好卡線不行就降到 8。patience20是早停策略連續(xù) 20 個(gè) epoch 驗(yàn)證集指標(biāo)沒有提升就自動(dòng)結(jié)束避免過擬合浪費(fèi)算力。有一點(diǎn)值得強(qiáng)調(diào)YOLO 生態(tài)的標(biāo)簽格式高度統(tǒng)一這份數(shù)據(jù)集不只喂給 YOLOv8 有效YOLOv5、YOLOv7 甚至最新發(fā)布的 YOLOv12都吃同一種.txt格式和data.yaml結(jié)構(gòu)。也就是說你基于這份數(shù)據(jù)集調(diào)好的數(shù)據(jù)管線以后換模型架構(gòu)時(shí)完全不用重做。3.3 訓(xùn)練日志與評(píng)估指標(biāo)單類別任務(wù)重點(diǎn)看 P/R 平衡訓(xùn)練結(jié)束后runs/invoice/exp1/目錄下會(huì)有results.csv、confusion_matrix.png、PR_curve.png等文件。單類別任務(wù)里混淆矩陣的background列尤其值得看它會(huì)告訴你模型把多少背景區(qū)域誤判成了表格。正常訓(xùn)練下mAP50能達(dá)到 0.9 以上mAP50-95則會(huì)低不少這是正?，F(xiàn)象因?yàn)?50-95 對(duì)邊界框的定位精度要求逐個(gè)檔位提高。我更關(guān)心的是 precision 和 recall 的平衡。results.csv每一行是一個(gè) epoch 的匯總可以用一段腳本畫出這兩個(gè)指標(biāo)的走勢import pandas as pd import matplotlib.pyplot as plt df pd.read_csv(runs/invoice/exp1/results.csv) # 列名去空格Ultralytics 導(dǎo)出的列名前后可能有空白 df.columns [c.strip() for c in df.columns] plt.figure(figsize(8, 5)) plt.plot(df[epoch], df[metrics/precision(B)], labelprecision, linewidth2) plt.plot(df[epoch], df[metrics/recall(B)], labelrecall, linewidth2) plt.xlabel(epoch) plt.ylabel(score) plt.legend() plt.grid(True) plt.savefig(pr_curve.png, dpi120)如果訓(xùn)練后期 recall 明顯低于 precision說明模型漏檢了一部分表格框常見原因是訓(xùn)練集里某些版式的發(fā)票占比少模型沒學(xué)夠反過來 precision 低則是誤檢多模型把帶邊框的合同或者證件也當(dāng)成了表格?？辞€時(shí)留意這個(gè)平衡點(diǎn)比只看 mAP 那一個(gè)數(shù)字有用得多。4. 避坑單類別發(fā)票表格檢測最常翻車的五個(gè)點(diǎn)4.1 現(xiàn)象訓(xùn)練啟動(dòng)后日志顯示「0 images found」原因目錄結(jié)構(gòu)和data.yaml里的路徑對(duì)不上。最常見的是解壓后沒看實(shí)際目錄Roboflow 的valid目錄被 Ultralytics 默認(rèn)的val取代或者數(shù)據(jù)集外層多了一層文件夾導(dǎo)致path指向的目錄下面根本沒有images/train。解決先跑一遍find . -type d -name images看看圖片到底在哪個(gè)層級(jí)再按 3.1 的腳本重組重組完再確認(rèn)data.yaml的path指向的是含images和labels的根目錄不是最外層壓縮包的目錄。4.2 現(xiàn)象訓(xùn)練到一半 loss 變成 NaN或者驗(yàn)證指標(biāo)劇烈抖動(dòng)原因標(biāo)簽文件里有坐標(biāo)越界或數(shù)值異常的行。Roboflow 導(dǎo)出時(shí)如果原圖被旋轉(zhuǎn)過邊界框坐標(biāo)沒有同步更新就可能出現(xiàn)x_center大于 1 或者width為 0 的壞數(shù)據(jù)模型讀到之后梯度直接爆炸。解決不要心存僥幸回到第 2.3 節(jié)的校驗(yàn)?zāi)_本讓腳本掃一遍所有標(biāo)簽文件。發(fā)現(xiàn)問題后直接看對(duì)應(yīng)行的內(nèi)容判斷是整行刪除還是把坐標(biāo)手工修正。這類問題在 909 張圖片的數(shù)據(jù)集里最多也就幾十行手工清理成本完全可控。4.3 現(xiàn)象訓(xùn)練集 loss 降得很好但送到真實(shí)場景里漏檢增多原因訓(xùn)練集里的多樣性被高估了。這個(gè)數(shù)據(jù)集里的brightness變體占了相當(dāng)比例它們本質(zhì)是同一張發(fā)票的亮度擾動(dòng)模型學(xué)到的是「亮一點(diǎn)」和「暗一點(diǎn)」的同一版式而非 100 種完全不同的版式。當(dāng)真實(shí)業(yè)務(wù)里來一種新排版的公司發(fā)票時(shí)泛化能力就不夠用了。解決明確這類亮度增強(qiáng)樣本的角色是數(shù)據(jù)增強(qiáng)不是獨(dú)立樣本。訓(xùn)練時(shí)可以讓它們參與但評(píng)估模型真實(shí)能力時(shí)優(yōu)先看測試集里非變體樣本的表現(xiàn)。如果業(yè)務(wù)覆蓋的發(fā)票版式很雜這個(gè)數(shù)據(jù)集更適合作為預(yù)訓(xùn)練底座再用少量自己的真實(shí)標(biāo)注做微調(diào)。4.4 現(xiàn)象mAP 很好看但把檢測框裁出來送進(jìn) OCR文字被切掉一半原因標(biāo)注口徑不統(tǒng)一。有人把「表格」理解為整個(gè)發(fā)票紙張區(qū)域有人只框表格外邊框還有人把表頭到表尾完整框住但緊貼文字。YOLO 訓(xùn)練時(shí)模型會(huì)學(xué)習(xí)標(biāo)注框的松緊風(fēng)格如果你的業(yè)務(wù)后續(xù)要接 OCR框太緊就會(huì)把表頭文字或表格線裁掉。解決用第 6 章的巡檢腳本把標(biāo)注框畫到圖上肉眼過一遍。統(tǒng)一標(biāo)注口徑我的習(xí)慣是「外邊框完整包含 四周各外擴(kuò) 2% 的余量」。這樣檢測框天然帶有 paddingOCR 裁切時(shí)不容易傷到文字代價(jià)是邊界框定位精度在數(shù)值上略微下降但對(duì)業(yè)務(wù)管線更友好。4.5 現(xiàn)象訓(xùn)練時(shí)報(bào)圖片解碼錯(cuò)誤某個(gè)特定文件反復(fù)崩原因數(shù)據(jù)集里混了損壞的圖片。Roboflow 導(dǎo)出時(shí)偶爾會(huì)有某張圖只寫了文件頭、像素?cái)?shù)據(jù)不完整PIL 打開時(shí)報(bào)Truncated File Header。這類壞圖訓(xùn)練時(shí)會(huì)中斷或者被跳過但日志混亂不好定位。解決訓(xùn)練前先用腳本打開所有圖片做完整性校驗(yàn)。PIL 的Image.open加load()能觸發(fā)完整解碼把打不開的文件單獨(dú)挪到一個(gè)corrupted/目錄里再從數(shù)據(jù)集移出。909 張圖掃描只要幾秒鐘值得做。5. 從邊界框到結(jié)構(gòu)化輸出表格裁剪、透視校正與 OCR 接力5.1 檢測完別急著送識(shí)別先做透視校正很多人拿到 YOLO 檢測結(jié)果后直接就把框內(nèi)圖像交給 OCR 模型這是效果不佳的最大原因。發(fā)票不是掃描儀掃出來的話——手機(jī)拍的、相機(jī)拍的——表格區(qū)域都是梯形不是矩形。透視變形會(huì)讓 OCR 的文本行檢測產(chǎn)生大量漏字尤其豎排表格的線框會(huì)被認(rèn)成字符的一部分。我用訓(xùn)練好的模型預(yù)測并裁剪時(shí)會(huì)加一道透視校正from ultralytics import YOLO import cv2 import numpy as np model YOLO(runs/invoice/exp1/weights/best.pt) img cv2.imread(real_invoice.jpg) results model(img, conf0.35)[0] for i, box in enumerate(results.boxes.xyxy.cpu().numpy()): x1, y1, x2, y2 [int(v) for v in box] # 先做邊界保護(hù)防止坐標(biāo)越界 h, w img.shape[:2] x1, y1 max(0, x1), max(0, y1) x2, y2 min(w - 1, x2), min(h - 1, y2) crop img[y1:y2, x1:x2] # 對(duì)裁剪區(qū)域做透視校正檢測表格外框的四條邊 gray cv2.cvtColor(crop, cv2.COLOR_BGR2GRAY) edges cv2.Canny(gray, 50, 150) # 常見做法是找最大四邊形輪廓再按四點(diǎn)做透視變換 # 這里省略輪廓遞歸查找直接用裁剪后的四角做校正 src_pts np.float32([[0, 0], [crop.shape[1] - 1, 0], [crop.shape[1] - 1, crop.shape[0] - 1], [0, crop.shape[0] - 1]]) dst_pts np.float32([[0, 0], [crop.shape[1] - 1, 0], [crop.shape[1] - 1, crop.shape[0] - 1], [0, crop.shape[0] - 1]]) M cv2.getPerspectiveTransform(src_pts, dst_pts) corrected cv2.warpPerspective(crop, M, (crop.shape[1], crop.shape[0])) cv2.imwrite(fcrop_{i}.jpg, corrected)這段代碼里conf0.35是置信度閾值我壓得比默認(rèn)的 0.25 高一些因?yàn)榘l(fā)票背景里的文字和線條很容易讓模型產(chǎn)生低置信度的誤檢框裁出來的圖全是噪音。src_pts和dst_pts是先按矩形區(qū)域做恒等變換真正的透視校正在生產(chǎn)環(huán)境里應(yīng)該用表格線交點(diǎn)檢測替代這里保留了四點(diǎn)變換的骨架你替換成detect_table_corners的邏輯即可。5.2 識(shí)別環(huán)節(jié)的工程決策檢測、識(shí)別、結(jié)構(gòu)化三階段解耦檢測模型解決了「表格在哪」下一步「表格里是什么」是另一個(gè)問題。常見做法是把裁剪后的表格圖喂給 PaddleOCR 的表格識(shí)別模塊它能直接輸出 HTML 結(jié)構(gòu)的表格內(nèi)容把單元格的坐標(biāo)和文字對(duì)應(yīng)起來。這樣做的好處是模塊解耦檢測模型負(fù)責(zé)定位識(shí)別模型負(fù)責(zé)內(nèi)容解析任何一側(cè)升級(jí)都不影響另一側(cè)。對(duì)接時(shí)一個(gè)容易踩的坑是識(shí)別模型對(duì)輸入尺寸敏感。PaddleOCR 的det_limit_side_len默認(rèn)是 960裁剪出的表格區(qū)域如果邊長超過這個(gè)值會(huì)被壓縮小字會(huì)糊。我一般會(huì)在調(diào)用推理接口前把長邊統(tǒng)一縮放到 960 以內(nèi)同時(shí)保持寬高比不變壞處的代價(jià)是識(shí)別精度微降但避免壓縮后表格線斷裂。識(shí)別出來的單元格需要和檢測框坐標(biāo)做映射——裁剪圖上的(x, y)加上檢測框的左上角偏移才能還原到原圖坐標(biāo)系。這一步漏了的話后續(xù)做數(shù)據(jù)入庫時(shí)所有對(duì)不齊。5.3 生產(chǎn)環(huán)境里的漏檢補(bǔ)救再好的檢測模型在生產(chǎn)環(huán)境也會(huì)漏檢發(fā)票表格檢測尤其如此——有些發(fā)票的表格線極淡人的肉眼看著都費(fèi)勁。我的做法是對(duì)置信度閾值做雙檔設(shè)計(jì)第一檔 0.35 以上的框直接進(jìn)入識(shí)別管線0.1 到 0.35 之間拿不準(zhǔn)的框不丟棄而是整張發(fā)票圖再跑一次全圖 OCR 兜底用「是否有多個(gè)數(shù)值列出現(xiàn)」這類規(guī)則判斷是否漏了表格。寧可多處理一張全圖也不能讓一張發(fā)票靜默漏掉。這個(gè)兜底邏輯在測試集上能救回約 5% 的漏檢表格。6. 一個(gè)最值得養(yǎng)成的習(xí)慣訓(xùn)練前把標(biāo)注框畫回去看一眼訓(xùn)練跑起來之前無論數(shù)據(jù)來源多正規(guī)我強(qiáng)烈建議你做一次可視化巡檢——把標(biāo)注框畫回原圖人眼掃一遍。做法很簡單用 OpenCV 按 3×3 的網(wǎng)格排版把訓(xùn)練集的圖片連同它們的邊界框畫到一張大圖上import cv2 import math import random from pathlib import Path img_dir Path(datasets/invoice/images/train) lab_dir Path(datasets/invoice/labels/train) imgs list(img_dir.glob(*.*)) random.shuffle(imgs) canvas None cell_size 400 for idx, img_path in enumerate(imgs[:16]): img cv2.imread(str(img_path)) img cv2.resize(img, (cell_size, cell_size)) h, w img.shape[:2] lab_path lab_dir / (img_path.stem .txt) if lab_path.exists(): for line in open(lab_path): parts line.strip().split() _, xc, yc, bw, bh map(float, parts) x1 int((xc - bw / 2) * w) y1 int((yc - bh / 2) * h) x2 int((xc bw / 2) * w) y2 int((yc bh / 2) * h) cv2.rectangle(img, (x1, y1), (x2, y2), (0, 0, 255), 2) if canvas is None: canvas img else: canvas cv2.hconcat([canvas, img]) cv2.imwrite(visual_check.jpg, canvas)巡檢重點(diǎn)有三個(gè)框是否緊貼表格外邊框有沒有把發(fā)票的空白邊角也框進(jìn)去同一張圖里多個(gè)表格時(shí)有沒有漏標(biāo)brightness變體和原圖的標(biāo)注是否完全一致。你可能會(huì)發(fā)現(xiàn)個(gè)別框偏松或偏緊這在數(shù)據(jù)集里不算質(zhì)量問題但要統(tǒng)一口徑后再訓(xùn)練。從那以后我每次拿到新數(shù)據(jù)集都強(qiáng)制走一遍「校驗(yàn)?zāi)_本 可視化巡檢」的流程哪怕數(shù)據(jù)集介紹寫得再正規(guī)這兩個(gè)步驟也從不跳過。數(shù)據(jù)集的坑基本都藏在文件結(jié)構(gòu)和標(biāo)注口徑里提前看一圈比訓(xùn)練跑完后反復(fù)調(diào)參要?jiǎng)澦愕枚唷ＯＭ麕偷侥?。本文還有配套的精品資源點(diǎn)擊獲取