簡(jiǎn)介針對(duì)PointNet/PointNet訓(xùn)練自定義LAS點(diǎn)云數(shù)據(jù)的需求這套基于PyTorch的代碼包提供了完整的分類與語義分割流程。資源以GitHub開源項(xiàng)目Pointnet_Pointnet2_pytorch為基礎(chǔ)重點(diǎn)適配帶Classification屬性的LAS點(diǎn)云數(shù)據(jù)讀者可在PointNet或PointNet之間自由選擇適合正在學(xué)習(xí)點(diǎn)云深度學(xué)習(xí)、需要快速上手自己數(shù)據(jù)集的中高級(jí)學(xué)習(xí)者。包體共19個(gè)文件以Python腳本為主涵蓋數(shù)據(jù)加載、LAS屬性解析、模型定義、訓(xùn)練與測(cè)試等環(huán)節(jié)另含兩個(gè)LAS點(diǎn)云樣本一個(gè)用于訓(xùn)練驗(yàn)證一個(gè)用于預(yù)測(cè)及說明文檔壓縮包僅26KB。結(jié)構(gòu)清晰便于直接修改和使用。目前已有894人學(xué)習(xí)/下載。通過這套代碼可省去從零搭建環(huán)境的步驟直接獲得適配LAS分類任務(wù)的數(shù)據(jù)預(yù)處理與訓(xùn)練測(cè)試流程理解如何將通用PointNet/PointNet遷移到帶語義標(biāo)簽的LAS點(diǎn)云上并快速產(chǎn)出初步分類結(jié)果。1. 用你自己的LAS點(diǎn)云跑PointNet分類為什么這條路比“下載公開數(shù)據(jù)集”更值得走拿到了LAS格式的機(jī)載或車載點(diǎn)云帶著Classification屬性卻找不到公開的PointNet可用數(shù)據(jù)這幾乎是每個(gè)做點(diǎn)云分類的從業(yè)者都卡過的坎。公開的ModelNet40、ScanNet都是完整網(wǎng)格或處理好的純凈點(diǎn)云一旦換成實(shí)測(cè)LAS——植被、地面、建筑、電線桿混在一起點(diǎn)密度不均勻坐標(biāo)動(dòng)輒幾十萬米——原樣喂進(jìn)去loss直接不收斂驗(yàn)證集精度的起起伏伏能讓人懷疑人生。而這篇要解決的正是用PointNet和PointNet在“自己手里的LAS數(shù)據(jù)”上跑通分類。從LAS字段抽取、坐標(biāo)歸一化到訓(xùn)練、評(píng)估和換模型升級(jí)整條路徑用代碼一步步走下來最后給出一個(gè)能落到生產(chǎn)環(huán)境的方案。適合那些手里有LAS點(diǎn)云、想訓(xùn)練一個(gè)能區(qū)分地物類別的分類模型的工程師和研究者。先說結(jié)論整條路的核心不在PointNet的網(wǎng)絡(luò)結(jié)構(gòu)而在“把LAS變成PointNet認(rèn)識(shí)的數(shù)據(jù)”這一層。Classification屬性是LAS里現(xiàn)成的標(biāo)簽但它的數(shù)值映射、組織方式和PointNet想要的索引數(shù)組方式之間存在很大的鴻溝這個(gè)鴻溝不填平再怎么調(diào)參數(shù)都是白搭。2. 為什么從LAS Classification入手從PointNet的原生輸入說起2.1 PointNet對(duì)輸入數(shù)據(jù)的要求和LAS的天然差異PointNet原模型的輸入形式是N×3或N×KK是點(diǎn)特征維數(shù)的張量從點(diǎn)云里歸一化到以原點(diǎn)為中心、尺度在1左右的包圍盒。LAS文件常見的坐標(biāo)可能是UTM 50NX是幾萬米、Y是幾千萬米、Z是高程這個(gè)尺度落在PointNet的MLP激活函數(shù)飽和區(qū)。LAS的Classification字段是uint8編碼編碼含義參照ASPRS標(biāo)準(zhǔn)大多數(shù)點(diǎn)類別集中在2地面、3低矮植被、4中等植被、5高植被、6建筑這五個(gè)類而是未分類或0數(shù)值本身不能直接當(dāng)標(biāo)簽喂進(jìn)去。還有一個(gè)數(shù)據(jù)組織形式的問題一條LAS是“一個(gè)文件一個(gè)場(chǎng)景”一個(gè)場(chǎng)景里有幾十個(gè)類別每類點(diǎn)數(shù)相差懸殊如果不做裁塊和重采樣PointNet訓(xùn)練時(shí)用“把所有點(diǎn)一次性喂給網(wǎng)絡(luò)”的寫法小類別輕易被淹沒。從LAS到PointNet輸入歸一化是第一步后面要把場(chǎng)景切成塊再在塊內(nèi)做歸一化和采樣讓訓(xùn)練時(shí)一個(gè)batch里各類別比例可控。2.2 兩種網(wǎng)絡(luò)選型PointNet和PointNet的取舍先介紹一個(gè)常見做法做LAS機(jī)載點(diǎn)云地物分類PointNet作為baseline足夠驗(yàn)證數(shù)據(jù)流程是否通暢PointNet負(fù)責(zé)精度。原理上講PointNet的全局max pooling解決了置換不變性問題但全世界共享一個(gè)特征向量導(dǎo)致它對(duì)稠密區(qū)域和稀疏區(qū)域不加區(qū)分這在LAS數(shù)據(jù)里非常吃虧——機(jī)載點(diǎn)云地面點(diǎn)密度高植被中下層密度低高層建筑立面和底面的分布差異就更明顯。PointNet把點(diǎn)云按鄰域分組用Ball Query或KNN選鄰域在每一組內(nèi)先用小型PointNet稱為Set Abstraction層提取局部特征然后逐層上采樣融合全局與局部特征。從機(jī)載LAS的物理含義看房屋的屋頂是一個(gè)局部平面結(jié)構(gòu)地面和道路是很大的平面結(jié)構(gòu)前者需要在較小的鄰域半徑內(nèi)被識(shí)別后者需要較大的鄰域——PointNet的多尺度分組MSG模式就是為此設(shè)計(jì)的。建議直接把訓(xùn)練代碼寫到“可切換模型”的層面用同一種數(shù)據(jù)加載方式一個(gè)參數(shù)切換PointNet或PointNet。這樣做的好處是先跑PointNet驗(yàn)證數(shù)據(jù)正確性再用PointNet提升精度如果兩種模型的精度相差很大多半是數(shù)據(jù)分割方式的問題而不是模型結(jié)構(gòu)的問題。3. PointNet分類模型的核心結(jié)構(gòu)從代碼層面理解它為什么能處理LAS3.1 一個(gè)能直接訓(xùn)練LAS數(shù)據(jù)的PointNet分類網(wǎng)絡(luò)下面這個(gè)實(shí)現(xiàn)是我在實(shí)際項(xiàng)目里多次調(diào)整沉淀下來的標(biāo)準(zhǔn)結(jié)構(gòu)可以直接作為baseline。它不依賴官方實(shí)現(xiàn)用PyTorch凡常用組件搭起來就好。import torch import torch.nn as nn import torch.nn.functional as F class PointNetClassification(nn.Module): def __init__(self, num_classes, input_channels3, use_tnetTrue): super().__init__() self.use_tnet use_tnet if self.use_tnet: self.input_transform TNet(kinput_channels) self.mlp1 nn.Sequential( nn.Conv1d(input_channels, 64, 1), nn.BatchNorm1d(64), nn.ReLU(), nn.Conv1d(64, 64, 1), nn.BatchNorm1d(64), nn.ReLU() ) self.feature_transform TNet(k64) self.mlp2 nn.Sequential( nn.Conv1d(64, 64, 1), nn.BatchNorm1d(64), nn.ReLU(), nn.Conv1d(64, 128, 1), nn.BatchNorm1d(128), nn.ReLU(), nn.Conv1d(128, 1024, 1), nn.BatchNorm1d(1024), nn.ReLU() ) self.classifier nn.Sequential( nn.Linear(1024, 512), nn.BatchNorm1d(512), nn.ReLU(), nn.Dropout(0.4), nn.Linear(512, 256), nn.BatchNorm1d(256), nn.ReLU(), nn.Dropout(0.3), nn.Linear(256, num_classes) ) def forward(self, x): # x: (B, C, N)C3表示XYZC6表示XYZ法向量或強(qiáng)度 if self.use_tnet: trans self.input_transform(x) x torch.bmm(trans, x) x self.mlp1(x) trans_feat self.feature_transform(x) x torch.bmm(trans_feat, x) x self.mlp2(x) x torch.max(x, dim-1, keepdimFalse)[0] # 全局max pooling x self.classifier(x) return x網(wǎng)絡(luò)結(jié)構(gòu)上這里有一個(gè)很多人會(huì)忽略的坑LAS點(diǎn)云的坐標(biāo)尺度是幾十萬直接丟給網(wǎng)絡(luò)訓(xùn)練MLP的權(quán)重更新會(huì)因?yàn)檩斎脒^大而梯度爆炸。因此數(shù)據(jù)預(yù)處理階段的歸一化比網(wǎng)絡(luò)結(jié)構(gòu)本身更關(guān)鍵。這個(gè)網(wǎng)絡(luò)接收的輸入形狀必須是B, C, N和圖像分類的B, C, H, W不同一個(gè)點(diǎn)云的整個(gè)點(diǎn)集相當(dāng)于一張圖的“寬高”點(diǎn)的順序是任意的——這就是PointNet的核心假設(shè)置換不變性。TNet輸入變換網(wǎng)絡(luò)是一個(gè)小型PointNet生成一個(gè)3×3矩陣用來對(duì)輸入XYZ做仿射變換。LAS點(diǎn)云的采集方向是固定的有沒有TNet影響不大。實(shí)測(cè)中在機(jī)載LAS上開著TNet不但訓(xùn)練時(shí)間翻倍還有一定的驗(yàn)證集精度波動(dòng)風(fēng)險(xiǎn)。我一般把use_tnet設(shè)為False只在數(shù)據(jù)本身有旋轉(zhuǎn)變化時(shí)再開。全局max pooling是整個(gè)PointNet最精妙也最致命的地方。最大值操作保證了它對(duì)點(diǎn)的順序不敏感但它也只保留每個(gè)通道最“激進(jìn)”的特征。在LAS數(shù)據(jù)上如果一張場(chǎng)景切片包含大量地面點(diǎn)和少量建筑點(diǎn)max pooling后建筑的特征可能被地面點(diǎn)的“最大值”淹沒導(dǎo)致建筑類別識(shí)別率低。這就引出PointNet的局部特征聚合方案。3.2 TNet和BatchNorm在LAS數(shù)據(jù)上的實(shí)際表現(xiàn)服務(wù)器上PyTorch的版本、GPU驅(qū)動(dòng)版本都可能影響一個(gè)看起來很簡(jiǎn)單的BatchNorm的行為特別是在數(shù)據(jù)歸一化做得不徹底時(shí)。LAS數(shù)據(jù)如果用了“整塊場(chǎng)景直接歸一化”而不是“逐條樣本歸一化”訓(xùn)練集和驗(yàn)證集的均值方差不同BatchNorm會(huì)在訓(xùn)練后期出現(xiàn)驗(yàn)證集loss震蕩。代碼上多寫一步GroupNorm穩(wěn)定性更好但對(duì)大多數(shù)場(chǎng)景把逐塊歸一化寫進(jìn)數(shù)據(jù)加載器Dataset里比換Normalization層更直接。從算力的角度看PointNet分類網(wǎng)絡(luò)是一個(gè)輕量模型——不算TNet的情況下一個(gè)3萬點(diǎn)的樣本在單張2080Ti上做forward加backward大約只要15ms。真正的瓶頸在數(shù)據(jù)加載和預(yù)處理上后續(xù)數(shù)據(jù)管線設(shè)計(jì)時(shí)把LAS裁切和歸一化放在多進(jìn)程DataLoader的前置模塊里并行處理訓(xùn)練才能跑滿GPU。4. 把LAS轉(zhuǎn)成PointNet能直接吃的張量數(shù)據(jù)預(yù)處理全流程4.1 從LAS讀取XYZ和Classificationlaspy的正確打開方式常見的預(yù)處理工具是laspy讀取LAS文件并將Classification字段導(dǎo)出為numpy。下面這段代碼是完整的處理流程。import laspy import numpy as np def read_las_classification(las_path): las laspy.read(las_path) points np.vstack([las.x, las.y, las.z]).T classification las.classification.copy() return points, classification las_path your_data.las points, labels read_las_classification(las_path) print(points.shape, labels.shape, np.unique(labels))這里對(duì)關(guān)鍵邏輯做一個(gè)說明las.x返回的是經(jīng)過縮放和偏移還原后的真實(shí)坐標(biāo)單位是米。如果直接用las.X即raw整數(shù)坐標(biāo)每個(gè)數(shù)值是“真實(shí)坐標(biāo) / scale offset”后的整數(shù)這會(huì)把坐標(biāo)尺度進(jìn)一步拉大而且不同LAS文件的scale可能不同。務(wù)必使用las.x / las.y / las.z屬性。分類值一定要用.copy()拷貝否則后面做數(shù)據(jù)過濾操作時(shí)las文件對(duì)象被關(guān)閉numpy數(shù)組可能報(bào)錯(cuò)。運(yùn)行這段代碼控制臺(tái)會(huì)輸出點(diǎn)數(shù)和類別值列表。理論上一個(gè)標(biāo)準(zhǔn)機(jī)載LAS里應(yīng)該包含2地面、3-5植被、6建筑。如果輸出全是0或1說明數(shù)據(jù)本身未分類這種數(shù)據(jù)后面要做無監(jiān)督預(yù)分割或者直接扔掉——未分類LAS訓(xùn)練分類模型沒用。4.2 裁塊與歸一化代碼里的正確位置LAS文件動(dòng)輒幾百萬點(diǎn)整塊輸入PointNet是不現(xiàn)實(shí)的。常見做法是按固定尺寸如20m×20m將場(chǎng)景切塊每個(gè)塊內(nèi)的點(diǎn)數(shù)用體素下采樣或隨機(jī)采樣控制在固定數(shù)量如4096點(diǎn)。def normalize_block(points): # 逐塊歸一化減去質(zhì)心除以最大半徑 centroid np.mean(points, axis0) points points - centroid max_dist np.max(np.linalg.norm(points, axis1)) if max_dist 1e-8: return points points points / max_dist return points def create_train_blocks(points, labels, block_size20.0, points_per_block4096): xmin, ymin np.min(points[:, :2], axis0) blocks [] block_labels [] x_width np.max(points[:, 0]) - xmin y_width np.max(points[:, 1]) - ymin for i in range(int(np.ceil(x_width / block_size))): for j in range(int(np.ceil(y_width / block_size))): # 取出該塊內(nèi)的點(diǎn) mask ((points[:, 0] xmin i * block_size) (points[:, 1] ymin j * block_size) (points[:, 0] xmin (i1) * block_size) (points[:, 1] ymin (j1) * block_size)) block_pts points[mask] block_lbls labels[mask] if len(block_pts) 100: # 過濾掉空塊和極稀疏塊 continue # 隨機(jī)采樣到固定點(diǎn)數(shù) if len(block_pts) points_per_block: idx np.random.choice(len(block_pts), points_per_block, replaceFalse) else: idx np.random.choice(len(block_pts), points_per_block, replaceTrue) block_pts block_pts[idx] block_lbls block_lbls[idx] block_pts normalize_block(block_pts) blocks.append(block_pts.astype(np.float32)) # 標(biāo)簽轉(zhuǎn)成整數(shù)索引0為背景1-5對(duì)應(yīng)各類 # 這里假設(shè)Classification的5類映射到0-4 block_labels.append(block_lbls.astype(np.int64)) return np.stack(blocks), np.stack(block_labels)這段代碼里的dos和donts隨機(jī)采樣在點(diǎn)云稠密的地方用隨機(jī)下采樣密度稀疏的地方用有放回采樣湊夠固定點(diǎn)數(shù)。塊的類別分布會(huì)嚴(yán)重不均衡——一棵樹可能分布在20多個(gè)塊里一個(gè)小汽車只在1個(gè)塊里。如果全場(chǎng)景塊都用訓(xùn)練集類別比可能是1000:1導(dǎo)致模型整體預(yù)測(cè)偏向多數(shù)類少數(shù)類召回幾乎為0。解決方法是后續(xù)加“類別加權(quán)采樣”或用Focal Loss。Focal Loss的思路是降低已學(xué)得很好的那部分樣本的權(quán)重讓模型多關(guān)注“難分”的少數(shù)類——LAS點(diǎn)云分類中的小類比如汽車、電線桿是典型難分樣本。歸一化放在采塊之后而不是整個(gè)場(chǎng)景歸一化。整個(gè)場(chǎng)景級(jí)歸一化會(huì)把局部幾何差異抹掉放在塊級(jí)別則保留局部的相對(duì)形狀。4.3 不使用全場(chǎng)景坐標(biāo)而是局部歸一化這個(gè)選擇背后有物理依據(jù)做LAS點(diǎn)云分類局部幾何特征比絕對(duì)坐標(biāo)含義豐富得多。一個(gè)20m×20m的塊里地面點(diǎn)在一個(gè)平面上建筑立面近似垂直于地面樹冠是一個(gè)局部的球狀分布——局部歸一化后這些結(jié)構(gòu)特征最穩(wěn)定。反觀全局歸一化點(diǎn)云在坐標(biāo)上的絕對(duì)位置主要受測(cè)區(qū)經(jīng)緯度影響同一地物在不同測(cè)區(qū)的坐標(biāo)完全不同網(wǎng)絡(luò)去擬合這種“數(shù)字差異”毫無物理意義。有人把XYZ之外又額外加了RGB或強(qiáng)度特征LAS文件的強(qiáng)度Intensity字段對(duì)植被分類有意義——瀝青和水泥的反射強(qiáng)度不同。把強(qiáng)度歸一化后拼到輸入特征維度從3維變成4維PointNet的Conv1d輸入通道數(shù)改一下就行。但要注意LAS的強(qiáng)度存儲(chǔ)在內(nèi)存中只有2字節(jié)部分老的LAS文件數(shù)值范圍是0-65535還有部分是0-255跨文件要統(tǒng)一歸一到0-1才能混著訓(xùn)練。5. 用LAS數(shù)據(jù)訓(xùn)練分類模型從dataset到訓(xùn)練代碼的完整鏈路5.1 Dataset類的寫法PyTorch的數(shù)據(jù)加載實(shí)踐只要block的預(yù)處理做得好Dataset類寫起來很簡(jiǎn)單。但要注意的是在__getitem__里做隨機(jī)采樣會(huì)導(dǎo)致每個(gè)epoch的數(shù)據(jù)都是“重新抽樣的”這樣同一個(gè)塊的樣本在訓(xùn)練和測(cè)試時(shí)內(nèi)容不同——對(duì)測(cè)試集來說這很危險(xiǎn)因?yàn)橥粋€(gè)塊的原始數(shù)據(jù)可能出現(xiàn)在訓(xùn)練集里隨機(jī)抽樣又會(huì)產(chǎn)生同源樣本。正確做法是在預(yù)處理階段一次性固定抽樣訓(xùn)練集和驗(yàn)證集按“塊”為單位做劃分而不是按“點(diǎn)”做劃分。import torch from torch.utils.data import Dataset class LASBlockDataset(Dataset): def __init__(self, block_points, block_labels, num_classes6): self.points torch.from_numpy(block_points).permute(0, 2, 1) # permute變成(B, C, N)格式 self.labels torch.from_numpy(block_labels) self.num_classes num_classes def __len__(self): return len(self.points) def __getitem__(self, idx): # 這里已經(jīng)預(yù)處理完畢直接返回即可 return self.points[idx], self.labels[idx] # 劃分訓(xùn)練集和驗(yàn)證集 n_blocks block_points.shape[0] indices np.random.permutation(n_blocks) train_idx indices[:int(n_blocks * 0.7)] val_idx indices[int(n_blocks * 0.7):] train_dataset LASBlockDataset(block_points[train_idx], block_labels[train_idx]) val_dataset LASBlockDataset(block_points[val_idx], block_labels[val_idx])permute這一步很容易被忽略卻又極其關(guān)鍵。預(yù)處理階段得到的數(shù)組形狀是(N, C)如果直接拿它去訓(xùn)練PointNet的Conv1d期望的輸入是(B, N, C)但這里把C放到了維度1的位置即(B, C, N)。PyTorch的Conv1d要求輸入是(batch, channels, length)length在點(diǎn)云里就是點(diǎn)的數(shù)量。如果用torch.from_numpy直接送進(jìn)去而不做permute你會(huì)發(fā)現(xiàn)loss不下降或者訓(xùn)練的時(shí)候直接報(bào)維度不匹配——這是PointNet做點(diǎn)云訓(xùn)練時(shí)的高頻報(bào)錯(cuò)。還有一個(gè)隱性問題數(shù)據(jù)劃分必須按塊整體劃分如果按點(diǎn)隨機(jī)劃分訓(xùn)練集里某一塊的部分點(diǎn)出現(xiàn)在驗(yàn)證集里同一場(chǎng)景的點(diǎn)云幾何相似度極高驗(yàn)證集精度虛高換到完全沒見過的LAS文件直接崩。5.2 引入類別加權(quán)的損失函數(shù)與超參設(shè)置基礎(chǔ)CrossEntropyLoss在LAS數(shù)據(jù)上的表現(xiàn)通常會(huì)讓地面點(diǎn)和植被點(diǎn)占主導(dǎo)汽車、電線桿類完全被吃掉。給Loss加權(quán)重是最快止血的辦法。from collections import Counter def compute_class_weights(block_labels, num_classes): # 統(tǒng)計(jì)每類點(diǎn)數(shù) flatten_labels block_labels.reshape(-1) class_counts Counter(flatten_labels.tolist()) total len(flatten_labels) # 權(quán)重 總點(diǎn)數(shù) / (類別數(shù) * 該類點(diǎn)數(shù)) weights [] for i in range(num_classes): if class_counts.get(i, 0) 0: weights.append(0.0) else: weights.append(total / (num_classes * class_counts[i])) return torch.tensor(weights, dtypetorch.float32) class_weights compute_class_weights(block_labels, num_classes6) criterion torch.nn.CrossEntropyLoss(weightclass_weights)類別加權(quán)CrossEntropy的原理不復(fù)雜一個(gè)類別的點(diǎn)數(shù)占總數(shù)比例很低時(shí)權(quán)重放大誤差將梯度推向少數(shù)類。機(jī)載LAS里背景類的點(diǎn)占比可達(dá)60%以上權(quán)重在0.3左右汽車點(diǎn)占比不到1%權(quán)重能達(dá)到30以上。訓(xùn)練時(shí)有一個(gè)經(jīng)驗(yàn)參數(shù)。初始學(xué)習(xí)率設(shè)在0.001用Adam優(yōu)化器batch size設(shè)為32。在訓(xùn)練過程中實(shí)時(shí)觀察每個(gè)epoch的類別精度會(huì)發(fā)現(xiàn)一個(gè)典型的規(guī)律訓(xùn)練集和驗(yàn)證集上多數(shù)類精度先到95%以上少數(shù)類可能一直停在30%。這時(shí)把類別權(quán)重的冪次從1.0提到1.5-2.0少數(shù)類就會(huì)開始動(dòng)。But——權(quán)重過高會(huì)導(dǎo)致loss震蕩驗(yàn)證集少數(shù)類的精度反而下降。正確做法是權(quán)重冪次從1.0開始每20個(gè)epoch遞增0.1在驗(yàn)證集上找最佳值。這一部分沒有銀彈多試幾次才能穩(wěn)定。5.3 訓(xùn)練腳本主循環(huán)留好模型checkpoint和早停def train_one_epoch(model, dataloader, optimizer, criterion, device): model.train() total_loss 0.0 for points, labels in dataloader: points points.to(device) labels labels.to(device) optimizer.zero_grad() outputs model(points) loss criterion(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() return total_loss / len(dataloader) def validate(model, dataloader, criterion, device): model.eval() total_correct 0 total_points 0 total_loss 0.0 with torch.no_grad(): for points, labels in dataloader: points points.to(device) labels labels.to(device) outputs model(points) loss criterion(outputs, labels) total_loss loss.item() preds torch.argmax(outputs, dim1) total_correct (preds labels).sum().item() total_points labels.numel() return total_loss / len(dataloader), total_correct / total_points device torch.device(cuda if torch.cuda.is_available() else cpu) model PointNetClassification(num_classes6, use_tnetFalse).to(device) optimizer torch.optim.Adam(model.parameters(), lr0.001) scheduler torch.optim.lr_scheduler.StepLR(optimizer, step_size30, gamma0.5) best_val_acc 0.0 patience_counter 0 for epoch in range(100): train_loss train_one_epoch(model, train_loader, optimizer, criterion, device) val_loss, val_acc validate(model, val_loader, criterion, device) print(fEpoch {epoch:02d}: train_loss{train_loss:.4f}, val_loss{val_loss:.4f}, val_acc{val_acc:.4f}) if val_acc best_val_acc: best_val_acc val_acc torch.save(model.state_dict(), best_model.pth) patience_counter 0 else: patience_counter 1 if patience_counter 20: print(Early stopping triggered.) break scheduler.step()這段訓(xùn)練代碼的幾個(gè)細(xì)節(jié)值得注意模型保存只用state_dict不保存整個(gè)model對(duì)象。因?yàn)轫?xiàng)目迭代過程中模型定義大概率會(huì)修改比如從PointNet換到PointNet直接加載state_dict到新模型更靈活。優(yōu)化器換用Adam配合StepLR比SGD在LAS這種非平衡數(shù)據(jù)上更省心StepLR在50個(gè)epoch前后會(huì)降低一半學(xué)習(xí)率防止后期驗(yàn)證集震蕩。早停的patience設(shè)為20個(gè)epoch是保守寫法如果訓(xùn)練數(shù)據(jù)比較大30個(gè)epoch以內(nèi)通常就能收斂?！膀?yàn)證集精度高但實(shí)際預(yù)測(cè)新數(shù)據(jù)時(shí)效果差”的另一種常見情況是數(shù)據(jù)泄漏。比如同一個(gè)場(chǎng)景被切塊后相鄰的塊在物理空間上是連接的如果按文件劃分而不是按塊劃分會(huì)造成一個(gè)數(shù)據(jù)泄漏模型“記住”了場(chǎng)景A的局部特征驗(yàn)證時(shí)驗(yàn)證集恰好是場(chǎng)景A的鄰居塊。LAS數(shù)據(jù)劃分的最佳實(shí)踐是按照“測(cè)區(qū)”級(jí)別劃分。比如一個(gè)城市有30塊測(cè)區(qū)取其中5塊完全不參與訓(xùn)練這樣做出來的驗(yàn)證精度才可信。6. 避坑LAS點(diǎn)云訓(xùn)練PointNet時(shí)的常見翻車現(xiàn)場(chǎng)6.1 分類值全是0或1LAS自身未分類必須先做預(yù)處理現(xiàn)象讀取LAS的Classification字段后發(fā)現(xiàn)99%的點(diǎn)都是0少數(shù)是1直接訓(xùn)練后模型把全場(chǎng)景預(yù)測(cè)為一個(gè)類別。原因LAS文件本身屬于未分類狀態(tài)。很多低成本激光雷達(dá)掃描設(shè)備導(dǎo)出的LAS文件Classification字段只是默認(rèn)值。這和“訓(xùn)練代碼寫錯(cuò)了”完全是兩碼事。解決先做地面濾波如CSF布料模擬把地面點(diǎn)分類為2再做歸一化分割得到植被和建筑或者用已有的分類工具如LiDAR360、TerraScan完成預(yù)處理。手工分類一小部分?jǐn)?shù)據(jù)再訓(xùn)練一個(gè)輔助模型做自動(dòng)分類也是有點(diǎn)費(fèi)但管用的辦法。6.2 XY坐標(biāo)尺度幾十萬訓(xùn)練Loss變成NaN現(xiàn)象在第一個(gè)epoch訓(xùn)練時(shí)loss在十幾個(gè)step之后突然跳到nan然后一直nan下去。原因坐標(biāo)數(shù)值太大MLP輸出的數(shù)值經(jīng)過softmax之前出現(xiàn)極端值梯度直接炸了。解決檢查是否對(duì)每個(gè)塊做了局部歸一化。特別要注意normalize_block里如果采用“以原點(diǎn)為中心”的歸一化方式對(duì)一個(gè)超大的點(diǎn)云塊做max_dist運(yùn)算時(shí)可能得到0如果所有點(diǎn)坐標(biāo)相同代碼里加了max_dist 1e-8的保護(hù)就安全了。另一個(gè)常見做法是在預(yù)處理階段把整個(gè)場(chǎng)景的坐標(biāo)reduce到以“米的相對(duì)坐標(biāo)”為單位——比如減去測(cè)區(qū)左下角坐標(biāo)作為新的原點(diǎn)再做局部歸一化。6.3 驗(yàn)證集精度高但實(shí)際項(xiàng)目預(yù)測(cè)效果差現(xiàn)象訓(xùn)練時(shí)驗(yàn)證集準(zhǔn)確率95%以上新測(cè)區(qū)一推理整體精度掉到60%以下。原因訓(xùn)練和驗(yàn)證數(shù)據(jù)來自同一測(cè)區(qū)局部特征已經(jīng)被模型“背下來”。不同測(cè)區(qū)的建筑風(fēng)格、植被形態(tài)、點(diǎn)密度差異巨大模型泛化能力不足。解決數(shù)據(jù)劃分按測(cè)區(qū)或按圖幅隔離。至少拿一個(gè)文件完全不參與訓(xùn)練作為盲測(cè)集。建議在預(yù)處理時(shí)就強(qiáng)制保證“驗(yàn)證集來自不同的LAS文件”這個(gè)約束要寫進(jìn)數(shù)據(jù)劃分邏輯里而不是訓(xùn)練時(shí)手動(dòng)指定。6.4 塊內(nèi)點(diǎn)數(shù)差異大個(gè)別塊上千個(gè)類別全同現(xiàn)象某些塊的Accuracy達(dá)到100%某些塊連跑都跑不動(dòng)數(shù)據(jù)加載卡住。原因切塊完成后沒有做類別過濾。20m×20m的塊里可能全是地面點(diǎn)一類點(diǎn)這種塊對(duì)訓(xùn)練貢獻(xiàn)極小卻會(huì)拉低模型對(duì)少數(shù)類學(xué)習(xí)的推動(dòng)力。另外一些塊只有幾百個(gè)點(diǎn)少數(shù)類樣本少網(wǎng)絡(luò)學(xué)到的少數(shù)類特征是噪聲。解決建塊時(shí)過濾掉“單類別占比超過95%”的背景塊。然后把PointNet在后續(xù)引入的“組內(nèi)點(diǎn)數(shù)約束”也寫進(jìn)去——ball query的半徑要適配塊的密度組內(nèi)點(diǎn)數(shù)下限是16個(gè)低于這個(gè)數(shù)就擴(kuò)大半徑重查。6.5 LAS的Classification標(biāo)簽和實(shí)際地物錯(cuò)位現(xiàn)象訓(xùn)練時(shí)loss死活降不下去驗(yàn)證集精度穩(wěn)定在50%左右比瞎猜1/616.7%高但遠(yuǎn)達(dá)不到實(shí)用水平。原因LAS文件的Classification字段本身就存在錯(cuò)標(biāo)現(xiàn)象。機(jī)載數(shù)據(jù)的自動(dòng)分類算法偶爾把低矮植被標(biāo)為地面把陰影中的建筑立面標(biāo)為植被。拿這些錯(cuò)標(biāo)數(shù)據(jù)當(dāng)訓(xùn)練真值模型學(xué)到的是“錯(cuò)標(biāo)規(guī)則”而非真正的幾何特征。解決訓(xùn)練前抽樣10%的點(diǎn)進(jìn)行人工目視校驗(yàn)修正明顯的錯(cuò)標(biāo)。如果數(shù)據(jù)量大至少按類別統(tǒng)計(jì)分類信度把置信度低于閾值的點(diǎn)從訓(xùn)練集里過濾掉。這個(gè)步驟雖然不是代碼可以解決的但它是LAS訓(xùn)練PointNet最容易翻車但最不容易被意識(shí)到的坑。如果項(xiàng)目緊急把錯(cuò)誤標(biāo)簽的比例直接計(jì)入訓(xùn)練loss的平滑項(xiàng)有時(shí)候能降低錯(cuò)誤標(biāo)簽的影響——但只是權(quán)宜之計(jì)。7. PointNet在LAS場(chǎng)景下的精度提升關(guān)鍵改動(dòng)與調(diào)參經(jīng)驗(yàn)7.1 從PointNet到PointNetSampling層和Group層的落地改動(dòng)PointNet的核心理念是“局部區(qū)域建?！焙蚅AS數(shù)據(jù)天然的局部性十分契合。它的前向流程是用FPS最遠(yuǎn)點(diǎn)采樣選出一批中心點(diǎn)圍繞每個(gè)中心點(diǎn)用Ball Query找出鄰域點(diǎn)對(duì)鄰域內(nèi)的點(diǎn)做PointNet提取局部特征然后層層上采樣。PyTorch的實(shí)現(xiàn)里最關(guān)鍵的是FPS和Ball Query這兩個(gè)算子的CUDA版本。Python/Numpy版本的FPS能跑但慢得令人發(fā)指單批次32個(gè)樣本前向一次要多花幾百毫秒。生產(chǎn)環(huán)境的建議是直接使用已經(jīng)實(shí)現(xiàn)的擴(kuò)展庫(kù)比如PyTorch PointNet的第三方實(shí)現(xiàn)或PointNet官方TensorFlow代碼轉(zhuǎn)寫的PyTorch版本。這些庫(kù)都是現(xiàn)成的算子不推薦自己從頭寫CUDA。python import sys sys.path.append(pointnet2_pytorch) from pointnet2_ops import pointnet2_utilsdef farthest_point_sample(xyz, npoint): # xyz: (B, N, 3) 已經(jīng)是歸一化后的坐標(biāo) # 返回中心點(diǎn)索引 shape: (B, npoint) return pointnet2_utils.farthest_point_sample(xyz, npoint)def ball_query(radius, nsample, xyz, new_xyz): # radius: 球半徑nsample: 每個(gè)球最多取多少點(diǎn) return pointnet2_utils.ball_query(radius, nsample, xyz, new_xyz)FPS選中心點(diǎn)時(shí)第一個(gè)中心是隨機(jī)選的后續(xù)每個(gè)中心都選“離已有中心最遠(yuǎn)”的點(diǎn)。這在LAS數(shù)據(jù)上的含義是中心點(diǎn)在空間上盡可能均勻分布保證局部區(qū)域的代表性。Ball Query的半徑感覺像是玄學(xué)但實(shí)測(cè)下來機(jī)載LAS數(shù)據(jù)點(diǎn)密度在10-50 pts/m2半徑設(shè)0.5-1.0米比較合適。如果點(diǎn)密度高半徑可以縮小到0.3米點(diǎn)密度很低半徑要拉大到1.5-2米。半徑太小一個(gè)鄰域內(nèi)可能只有幾個(gè)點(diǎn)局部特征不穩(wěn)定半徑太大局部特征變成了全局特征PointNet退化成了PointNet。 最遠(yuǎn)點(diǎn)采樣的縮放是另一個(gè)值得說的地方。FPS每層輸出的中心點(diǎn)數(shù)量通常設(shè)為上一層的1/4或1/8比如輸入4096點(diǎn)第一層采樣1024中心點(diǎn)第二層采樣256中心點(diǎn)。LAS數(shù)據(jù)地物大小跨度大推薦的中間層設(shè)置是第一層半徑0.5m采樣1024點(diǎn)第二層半徑1.0m采樣256點(diǎn)這種配置覆蓋了從電線桿0.3-1m到建筑立面5-20m的尺度范圍。 ### 7.2 多尺度分組與點(diǎn)特征融合把強(qiáng)度加進(jìn)特征通道的收益 PointNet的標(biāo)準(zhǔn)實(shí)現(xiàn)里每個(gè)中心點(diǎn)的局部特征來自鄰域點(diǎn)集經(jīng)過MLP后的max pooling。如果只用XYZ做輸入在LAS上會(huì)有一個(gè)明顯的缺陷樹冠和建筑屋頂?shù)膸缀涡螤钤谀承┮暯窍赂叨认嗨啤际且黄捌鸱拿妗眴慰繋缀畏植惶濉＿@時(shí)把Intensity強(qiáng)度、ReturnNumber回波次數(shù)加進(jìn)特征通道收益非常明顯。LAS中植被通常有多次回波第一次回波在樹冠頂部最后一次回波接近地面建筑屋頂只有一次回波。這是區(qū)分植被和建筑的關(guān)鍵特征。 python def prepare_input_with_features(points_xyz, intensity, return_number, norm_intensityTrue): # points_xyz: (N, 3), intensity: (N,), return_number: (N,) if norm_intensity: intensity (intensity - intensity.min()) / (intensity.max() - intensity.min() 1e-6) return_number return_number / 5.0 # 歸一化到0-1之間假設(shè)最大回波次數(shù)是5 features np.stack([points_xyz[:, 0], points_xyz[:, 1], points_xyz[:, 2], intensity, return_number], axis1) return features.astype(np.float32)加了強(qiáng)度特征后PointNet在機(jī)載LAS上的整體分類精度提升3-8個(gè)百分點(diǎn)主要集中在植被和建筑兩個(gè)類別上。最主要的還是不同產(chǎn)業(yè)的樹在幾何上差異太大——南方闊葉樹和北方針葉樹的點(diǎn)云形態(tài)完全不同但強(qiáng)度分布特征接近。這是純幾何方法很難跨越的泛化鴻溝靠強(qiáng)度特征就能繞過去。PointNet調(diào)參的個(gè)人經(jīng)驗(yàn)是訓(xùn)練復(fù)雜度比PointNet高得多單epoch時(shí)間大約是PointNet的3-4倍如果數(shù)據(jù)本身質(zhì)量一般類別錯(cuò)標(biāo)多、噪聲大PointNet和PointNet的最終精度差距可能不到2個(gè)百分點(diǎn)那基本說明問題出在數(shù)據(jù)側(cè)而不是模型側(cè)。先拿PointNet跑通流程再換PointNet提精度是一條更穩(wěn)的路線。7.3 在Big-LAS上進(jìn)行推理時(shí)的切塊策略訓(xùn)練用的切塊尺寸是20m×20m推理時(shí)不要用更大的塊。原因很簡(jiǎn)單模型在固定尺寸、固定點(diǎn)數(shù)分布的塊上訓(xùn)練的推理塊如果變成100m×100mBlock內(nèi)部地物復(fù)雜度遠(yuǎn)超訓(xùn)練分布精度會(huì)下降。推理時(shí)保持同樣的塊尺寸和采樣點(diǎn)數(shù)用滑窗覆蓋整個(gè)場(chǎng)景相鄰塊之間設(shè)3-5米的重疊重疊部分的預(yù)測(cè)結(jié)果用多數(shù)投票融合。這樣能緩解邊界處的切塊偽影。推理的另一個(gè)關(guān)鍵細(xì)節(jié)是LAS文件的坐標(biāo)范圍很大但GPU顯存有限一次推理幾百萬個(gè)點(diǎn)是會(huì)OOM的。推理代碼用“逐塊遍歷”的方式寫每塊單獨(dú)做歸一化和推理結(jié)果再映射回全局坐標(biāo)。塊尺寸保持不變點(diǎn)數(shù)保持訓(xùn)練時(shí)的4096速度上也夠用——在單張A100上推理一塊大約需要10-20ms一個(gè)1平方公里的測(cè)區(qū)約2500個(gè)塊總體不到一分鐘。最后一個(gè)實(shí)操教訓(xùn)模型驗(yàn)證時(shí)除了看整體accuracy一定要單獨(dú)算每個(gè)類別的IoU。LAS場(chǎng)景里地面點(diǎn)往往占總數(shù)的60%以上整體accuracy輕松超過90%但汽車類IoU可能只有20%。類別IoU才是你在項(xiàng)目匯報(bào)時(shí)能站得住腳的指標(biāo)。把5類分別輸出IoU作為模型上線和迭代的底線每次調(diào)參后先看這個(gè)表格再?zèng)Q定要不要保留新參數(shù)。希望這份從LAS到PointNet/PointNet的落地路徑能幫到你少走幾趟我走過的彎路。本文還有配套的精品資源點(diǎn)擊獲取