1. 為什么星野照片的噪聲這么難除——先搞懂對(duì)手是誰(shuí)先聊一個(gè)最直觀的感受你興沖沖扛著相機(jī)去山頂拍了一晚銀河回來(lái)在電腦上放大一看暗部全是密密麻麻的彩色噪點(diǎn)星星和噪點(diǎn)混在一起怎么降噪都覺(jué)得“臟”。用PS里的減少雜色糊。用Topaz Denoise太猛了星星直接削成光暈。用Median濾鏡背景倒是干凈了星星也跟著沒(méi)了。太多剛?cè)肟由羁諗z影的朋友把精力花在赤道儀、導(dǎo)星和曝光時(shí)間上結(jié)果拍回來(lái)的素材廢在一張后期濾鏡上。實(shí)際上星野和深空照片的降噪跟普通風(fēng)光攝影根本不是一回事因?yàn)槟愕漠嬅胬锿瑫r(shí)存在兩類東西一類是明暗跨度極大的強(qiáng)烈點(diǎn)光源恒星另一類是幾乎淹沒(méi)在噪聲里的彌散暗信號(hào)星云、銀河、暗背景。傳統(tǒng)降噪算法假定噪聲是隨機(jī)高頻信號(hào)于是把星星也當(dāng)成噪聲一起“磨”掉。這就是為什么你用Photoshop自帶的降噪濾鏡處理星空?qǐng)D總會(huì)得到一種“塑料感”——星星沒(méi)了銳度星云也沒(méi)了層次。這里我把話說(shuō)透星野照片的噪聲來(lái)源主要有三路。第一路是傳感器長(zhǎng)曝光產(chǎn)生的熱噪聲CMOS在持續(xù)通電狀態(tài)下溫度上升暗電流激增畫面里表現(xiàn)為固定位置的暖色亮點(diǎn)第二路是讀出噪聲ADC轉(zhuǎn)換和放大器增益帶來(lái)的隨機(jī)誤差高感光度下尤其嚴(yán)重第三路是天空背景本身的亮度起伏——光害、月光、氣輝混在一起疊加后在暗部形成了偏色的“底噪”。這三路噪聲里熱噪聲和底噪都屬于低頻大尺度信號(hào)可以用平場(chǎng)和多張堆棧來(lái)壓制但隨機(jī)讀出噪聲和暗部底噪在單張素材里幾乎只能靠算法硬扛。傳統(tǒng)工具的局限在于它們對(duì)待所有像素都一視同仁。表面模糊、小波降噪、亮度蒙版配合低通濾鏡——這些方法在風(fēng)光片里很好用但在星空?qǐng)D上星點(diǎn)是一個(gè)兩三個(gè)像素寬的高斯尖峰它和單顆熱像素的形態(tài)高度相似。你為了保住星星就得把閾值調(diào)高結(jié)果噪聲也留下來(lái)了你為了除噪閾值調(diào)低星星也跟著遭殃。這個(gè)矛盾在數(shù)學(xué)上就無(wú)解。所以當(dāng)我第一次用上Starnet的時(shí)候反應(yīng)是“這東西有點(diǎn)不講道理”它能自動(dòng)把圖像拆成兩層——一層純星星一層純背景然后對(duì)背景層做大幅度降噪再把星星層無(wú)損疊回去。相當(dāng)于把兩個(gè)物理上糾纏的問(wèn)題分開(kāi)處理各打各的靶子。那時(shí)候我就意識(shí)到星空后期降噪的題眼根本不在降噪算法本身而在“如何先分離出星星”。2. Starnet的模型原理與版本差異從TensorFlow到Starnet的進(jìn)化可能有人直接搜到Starnet這個(gè)詞以為是某個(gè)衛(wèi)星項(xiàng)目或者科學(xué)軟件包但在天文攝影圈Starnet就是降噪神器。它的作者是天文愛(ài)好者Rob Astro最初版本基于TensorFlow訓(xùn)練了一個(gè)卷積神經(jīng)網(wǎng)絡(luò)專門解決“星空?qǐng)D像里哪些像素是星點(diǎn)、哪些是背景”的語(yǔ)義分割問(wèn)題。模型的核心思路是把訓(xùn)練數(shù)據(jù)里的真實(shí)星空照片通過(guò)人工標(biāo)注和閾值提取的方式生成星星層和背景層的“標(biāo)準(zhǔn)答案”然后讓網(wǎng)絡(luò)學(xué)著從原始輸入中預(yù)測(cè)出這兩個(gè)成分。因?yàn)楹阈堑墓獍咴谛螒B(tài)上高度規(guī)律一個(gè)圓形高斯分布亮度由中心向邊緣衰減而背景星云和暗云氣的紋理尺度更大、更平滑卷積神經(jīng)網(wǎng)絡(luò)能通過(guò)多層特征提取學(xué)到這種尺度差異——這是傳統(tǒng)固定核濾波完全做不到的。第一代Starnet有幾個(gè)明顯的時(shí)代局限。它輸出的是灰度圖處理彩色圖像時(shí)必須先把RGB拆開(kāi)單通道跑或者轉(zhuǎn)成Lab模式只處理亮度通道色彩信息基本靠猜測(cè)而且它基于TensorFlow 1.x環(huán)境配置對(duì)新手很不友好CUDA、cuDNN、Python版本一個(gè)不對(duì)就崩。我當(dāng)年光是把Starnet的環(huán)境在Windows上裝好就折騰了一個(gè)下午。后來(lái)作者在2021年放出了Starnet本質(zhì)上是一個(gè)復(fù)合架構(gòu)先用多尺度中值變換MMT把圖像分離成高頻和低頻分量再讓神經(jīng)網(wǎng)絡(luò)對(duì)不同尺度分別做星點(diǎn)識(shí)別最后合成出質(zhì)量更高的星點(diǎn)蒙版。這樣做的好處極其明顯——不同亮度的星星不會(huì)相互污染背景估計(jì)大星周圍的星云細(xì)節(jié)也保得住。Starnet之后又出現(xiàn)了Starnet v2基于pix2pix的對(duì)抗生成思路輸出效果又提升了一檔。現(xiàn)在圈內(nèi)談Starnet默認(rèn)指代的其實(shí)是Starnet或v2。為了讓你看清差別這里先放一張我整理的簡(jiǎn)表版本底層框架輸出方式是否保留星云細(xì)節(jié)對(duì)彩色原圖的友好度推薦程度Starnet v1TensorFlow 1.x單通道灰度殘差圖一般易在亮星周圍產(chǎn)生光暈需手動(dòng)拆通道僅用于懷舊StarnetTensorFlow 2.x MMT灰度星點(diǎn)蒙版/背景層好多尺度分離更精細(xì)支持RGB→灰度工作流當(dāng)前最推薦Starnet v2pix2pix MMT灰度背景/星點(diǎn)層優(yōu)暗星云細(xì)節(jié)保留最佳支持RGB→灰度工作流追求極致時(shí)用我也見(jiàn)過(guò)有人直接把Starnet輸出的背景層當(dāng)成終稿用實(shí)際上它的標(biāo)準(zhǔn)用法是生成兩張圖一張移除了星星的“純背景圖”用來(lái)做星云和暗云氣的降噪、拉伸、色彩平衡另一張“純星星圖”用來(lái)做星點(diǎn)顏色的校正和星點(diǎn)銳化。最后在PS里用線性減淡或屏幕混合模式把這顆星星按回背景上。這一步操作看著簡(jiǎn)單但它把后期自由度徹底打開(kāi)了不再存在“降噪毀星星”的妥協(xié)。3. 跑通Starnet的完整實(shí)操GUI模式與命令行模式先別急著去下載亂七八糟的“Starnet一鍵版”搞清楚運(yùn)行方式后面能少走很多彎路。Starnet有兩條主流使用路徑一是作為插件跑在Photoshop或GIMP里二是通過(guò)命令行批量處理整個(gè)文件夾。我的建議是對(duì)單張精修用PS插件對(duì)上百?gòu)埶夭呐款A(yù)處理用命令行腳本。先講GUI模式。GIMP那邊通常跑的是starnet-plus-gimp.py腳本前提是你的GIMP裝了Python-Fu支持。Windows版GIMP自帶Python解釋器Linux發(fā)行版可能需要在包里額外勾選python組件。把文件放到GIMP的plug-ins目錄在濾鏡菜單里找到“AI Star Removal”之類的入口就行。Photoshop這邊同理插件提供的是.sbf或.psbx文件放到Adobe Photoshop的Plug-ins文件夾后在“濾鏡→Starnet”里直接調(diào)用支持一鍵生成星點(diǎn)蒙版和無(wú)星背景圖層。GUI模式最友好的場(chǎng)景是“只看當(dāng)前這一張圖”參數(shù)修改可以實(shí)時(shí)迭代。但它的痛點(diǎn)是每張圖都要點(diǎn)一次濾鏡、等一次模型推理當(dāng)你拍攝了一整晚的一兩百?gòu)埗唐厮夭囊粡垙堻c(diǎn)能點(diǎn)到手抽筋。這時(shí)候就該換命令行模式了。核心邏輯非常簡(jiǎn)單把Starnet的倉(cāng)庫(kù)克隆下來(lái)之后進(jìn)入項(xiàng)目目錄跑一條類似這樣的命令python starnetplus.py --input ./raw_frames --output ./starless_backgrounds --downscale_factor 2 --upscale_factor 4這里解釋一下這條命令里每個(gè)參數(shù)的用意--input指向存放原始RAW導(dǎo)出的TIFF或PNG文件夾--output指定結(jié)果輸出位置程序會(huì)自動(dòng)從文件名推斷生成“_starless.png”和“_stars.png”兩套文件--downscale_factor表示先把圖像縮小2倍送進(jìn)模型這樣可以減少網(wǎng)絡(luò)處理的計(jì)算量同時(shí)強(qiáng)迫模型忽略極高頻的微小噪點(diǎn)--upscale_factor則是把特征圖放大4倍恢復(fù)到原始尺寸——注意這個(gè)放大不是簡(jiǎn)單插值而是配合卷積操作恢復(fù)細(xì)節(jié)用的。很多人在命令行環(huán)境里卡住的點(diǎn)在于缺少Python依賴包。Starnet需要NumPy、TensorFlow和SciPy尤其要注意版本匹配TensorFlow 2.6到2.10左右是比較穩(wěn)的區(qū)間太新的TF版本可能跟腳本里調(diào)用的Keras接口不兼容。Windows用戶強(qiáng)烈建議用Anaconda單獨(dú)建一個(gè)虛擬環(huán)境來(lái)跑別直接污染主環(huán)境的包。如果不想折騰Python還有一個(gè)選擇是作者發(fā)布的獨(dú)立Windows/FU打包版雙擊運(yùn)行一個(gè)exe或者用Photoshop插件面板調(diào)用零依賴適合新手。但獨(dú)立版的缺點(diǎn)是更新不及時(shí)而且不開(kāi)放參數(shù)無(wú)法針對(duì)特定素材微調(diào)。4. 關(guān)鍵參數(shù)與效果控制怎么避免把星星削沒(méi)Starnet用起來(lái)像把剃刀用好了是精修用歪了是事故。最常見(jiàn)的三個(gè)事故是星星被削平、星云細(xì)節(jié)連同噪聲一起消失、背景出現(xiàn)馬賽克斑塊。這些大多不是模型的問(wèn)題而是參數(shù)設(shè)置踩了雷。第一個(gè)要注意的參數(shù)是--downscale_factor。我一直把它理解為“給模型戴上近視眼鏡”。把這個(gè)值設(shè)成2模型會(huì)先忽略掉一半的像素細(xì)節(jié)適合處理高ISO短曝的噪聲重災(zāi)區(qū)因?yàn)槟切┘?xì)碎的紅色熱噪點(diǎn)和幾分之一像素的隨機(jī)點(diǎn)會(huì)被自然模糊掉。但如果你的素材本身已經(jīng)拍了很長(zhǎng)時(shí)間、信噪比很好星星又比較小再downscale的話小星星就可能直接被“折疊”進(jìn)背景層里——星點(diǎn)沒(méi)了。第二個(gè)核心參數(shù)是--upscale_factor它跟圖像的恢復(fù)精度直接掛鉤。插值放大必然帶來(lái)柔化所以放大倍數(shù)越高輸出圖越容易出現(xiàn)“細(xì)膩有余、銳利不足”的觀感星星邊緣會(huì)起一圈淡淡的暈。作者在設(shè)計(jì)網(wǎng)絡(luò)的時(shí)候把upscale和convolve綁在一起--convolve參數(shù)決定是否在后處理階段對(duì)星星蒙版做一次卷積平滑。我的實(shí)測(cè)感受是對(duì)于大多數(shù)APS-C畫幅、135mm焦段以內(nèi)的星野照片--downscale_factor 2 --upscale_factor 4 --convolve是最通用的起步組合。但這里有一條分界線如果你的目標(biāo)是深空窄帶或者強(qiáng)烈暗云氣細(xì)節(jié)用v2模型時(shí)建議把downscale_factor降到1即不降采樣直接推理?yè)Q來(lái)的是更精確的星點(diǎn)邊界。代價(jià)是顯存占用直接翻倍一張2400萬(wàn)像素的原圖在8GB顯存的顯卡上可能跑不動(dòng)你要有心理準(zhǔn)備。不同信噪比素材的參數(shù)選擇我整理了一張實(shí)測(cè)表基本覆蓋了常見(jiàn)使用場(chǎng)景素材類型推薦模型downscale_factorupscale_factor附加建議高ISO3200以上短曝星野Starnet24開(kāi)啟convolve后期再配合多張堆棧低ISO長(zhǎng)曝深空單張10min以上Starnet v212保留全部星點(diǎn)控制拉伸幅度普通城市光害下的銀河Starnet22背景層可疊加強(qiáng)力降噪高空視寧度好的月面/太陽(yáng)僅外形Starnet11主要用于去除表面顆粒不作為主用法參數(shù)組合并不是越多越好。我在一組M31仙女座星系素材上做過(guò)對(duì)照實(shí)驗(yàn)downscale_factor從2改成1之后星云內(nèi)旋臂的暗區(qū)域細(xì)節(jié)確實(shí)好了一截但處理時(shí)間從每張約10秒激增到40秒顯卡是RTX 3060而且輸出圖的右下角出現(xiàn)了一條淡淡的條紋狀偽影。后來(lái)我重新檢查發(fā)現(xiàn)那不是模型問(wèn)題是原圖本身右下角有輕微的光暈反射降采樣階段把它“洗”了不降采樣就原樣暴露給模型模型為了補(bǔ)償暗角而產(chǎn)生了條紋。遇到這種情況正確的做法是先做一次鏡頭平場(chǎng)校正再丟給Starnet而不是迷信高參數(shù)。還有一個(gè)常常被忽略的操作Starnet輸出的是線性或半線性數(shù)據(jù)。如果你把RAW在Photoshop里先做了自動(dòng)色階、再去跑Starnet輸出結(jié)果里的星點(diǎn)會(huì)偏小星星層會(huì)切掉一圈擴(kuò)散光暈。我的習(xí)慣是RAW解碼后先做線性拉伸讓直方圖最高點(diǎn)不至于溢出星點(diǎn)盡量核心不爆再跑Starnet。換句話說(shuō)——喂給模型的數(shù)據(jù)越接近傳感器原始狀態(tài)它預(yù)測(cè)的星星邊界就越準(zhǔn)。5. 我踩過(guò)的坑顯存、模型下載、圖片尺寸和雙通道講參數(shù)是“術(shù)”講坑才是“道”。Starnet用了一年多我踩過(guò)的坑基本可以歸納為四類。每一個(gè)坑在官方README里都只是一句話但在實(shí)際操作中都能讓人卡到懷疑人生。第一個(gè)坑是模型文件下載失敗。Starnet和v2的模型權(quán)重文件托管在谷歌硬盤上下載幾百M(fèi)B的文件很容易斷線。下載回來(lái)之后如果沒(méi)過(guò)校驗(yàn)運(yùn)行時(shí)會(huì)直接報(bào)KeyError或者Op type not registered。解決辦法不是反復(fù)刷頁(yè)面而是用命令行g(shù)down工具指定文件ID下載下載完比對(duì)MD5值倉(cāng)庫(kù)里一般都給了校驗(yàn)值。這個(gè)細(xì)節(jié)很多人不看結(jié)果跑一次報(bào)錯(cuò)一次以為是自己代碼問(wèn)題其實(shí)是權(quán)重文件損壞。第二個(gè)坑是圖片尺寸不是2的倍數(shù)。Starnet的神經(jīng)網(wǎng)絡(luò)包含多個(gè)下采樣層每層縮小一半圖像長(zhǎng)寬如果不滿足2的n次冪整除最后模型輸出的尺寸會(huì)和輸入對(duì)不上輕則黑邊重則直接崩。尤其是用戶拿單反拍的很多RAW都是長(zhǎng)邊6000像素這類數(shù)不一定正好整除8。穩(wěn)妥的處理方法是先在圖層面板用“畫布大小”把長(zhǎng)寬補(bǔ)到偶數(shù)或者直接批量裁剪到目標(biāo)尺寸的整數(shù)倍。我自己寫了個(gè)幾行Python的預(yù)處理腳本檢查每張圖的尺寸并自動(dòng)padding跑完再裁剪回去這樣一整批文件都不會(huì)因?yàn)槌叽绯鰡?wèn)題。第三個(gè)坑是顯存不足導(dǎo)致中途崩潰。8GB顯存以下的顯卡跑2400萬(wàn)像素原圖非常勉強(qiáng)而且不少人的顯卡在跑Starnet的同時(shí)還開(kāi)著瀏覽器和PS一個(gè)模型推理莫名其妙地吃滿顯存。解決辦法主要有兩個(gè)方向要么把圖片先等比縮放到2000萬(wàn)像素以內(nèi)再處理這也是職業(yè)選手處理深空最終出圖的基本習(xí)慣要么直接開(kāi)命令行批處理模式設(shè)置CUDA_VISIBLE_DEVICES0確保只占用一張卡同時(shí)關(guān)掉其他占用顯存的軟件。如果顯存實(shí)在不夠還有CPU推理選項(xiàng)把--device /cpu:0加進(jìn)去但速度感人——一張2400萬(wàn)像素圖可能要跑六七分鐘。第四個(gè)坑是“雙通道”信息誤讀。Starnet輸出的是黑白蒙版很多人不理解為什么明明原圖是彩色的得到的星星層卻是灰白的。其實(shí)Starnet內(nèi)部是把RGB圖像轉(zhuǎn)換成Luminance亮度通道做預(yù)測(cè)輸出層只表達(dá)“這里有沒(méi)有星星、星星有多亮”至于顏色那是后期自己從原圖里提取色相信息再賦予星星層的。所以當(dāng)你直接把Starnet的星星層和背景層疊加時(shí)星星的飽和度取決于你對(duì)星星層的著色方式最常見(jiàn)的操作是原始彩色圖復(fù)制一層設(shè)為“顏色”混合模式與Starnet的背景層疊加后再放上經(jīng)過(guò)色彩還原的星星層。這個(gè)流程我在新手群里講了無(wú)數(shù)次能少走很多彎路。第四個(gè)坑。我把這幾條經(jīng)驗(yàn)總結(jié)成一張“避坑速查表”收藏在瀏覽器里每次出圖前過(guò)一遍現(xiàn)象根因快速解決運(yùn)行時(shí)Op type not registered模型權(quán)重下載損壞用gdown重新下載并校驗(yàn)MD5輸出帶黑邊或尺寸不一致輸入長(zhǎng)寬不是模型下采樣的整數(shù)倍預(yù)處理補(bǔ)邊到偶數(shù)處理后再裁切顯存不足直接崩潰模型需要連續(xù)推理大圖縮圖到2000萬(wàn)像素以下或CPU推理星星層發(fā)灰、無(wú)色彩未做顏色通道還原疊加彩色原圖的“顏色”混合層背景層有波紋偽影原圖有暗角或光暈先做平場(chǎng)校正或調(diào)低upscale_factor6. 幾個(gè)進(jìn)階技巧從“會(huì)運(yùn)行”到“出好圖”如果你已經(jīng)能順利跑通Starnet后面真正拉開(kāi)差距的其實(shí)是和它的配合方式。第一個(gè)技巧是“雙層分離法”配合多張堆棧。常規(guī)流程是先把所有子幀在DeepSkyStacker里堆成一張圖再降噪但堆棧本身會(huì)把星點(diǎn)加大、背景抹平Starnet看到的是“已處理”的圖像星點(diǎn)邊緣會(huì)變模糊。我的替代做法是先對(duì)單張子幀分別跑Starnet的背景分離把所有背景層疊加重合生成一個(gè)超高信噪比的純背景圖再對(duì)原圖子幀用星點(diǎn)對(duì)齊算法做一次星點(diǎn)層堆棧保留每顆星的峰值和位置信息。最后把兩層重新合成。這套流程做下來(lái)背景噪聲幾乎能壓到肉眼不可見(jiàn)星星仍然顆顆銳利代價(jià)是處理時(shí)間翻倍但后期效果值回票價(jià)。第二個(gè)技巧是Streched前的“線性分離”。千萬(wàn)別在完全拉伸完、調(diào)好顏色之后才用Starnet。理想流程是RAW解碼后進(jìn)入線性狀態(tài)亮度分布在0到1之間對(duì)比度極低但Starnet的神經(jīng)網(wǎng)絡(luò)恰恰對(duì)線性數(shù)據(jù)最敏感——因?yàn)橛?xùn)練數(shù)據(jù)就是在類似狀態(tài)下標(biāo)注的。如果你在非線性狀態(tài)跑星星的中間過(guò)渡層次會(huì)被強(qiáng)行壓扁輸出蒙版會(huì)很“硬”邊緣一圈切得太整齊像貼紙一樣。第三個(gè)技巧是“手動(dòng)畫回星星”。Starnet偶爾會(huì)在極亮的行星比如木星或者東西狀天體周圍犯錯(cuò)生成一圈像素殘?jiān)?。我遇到這種情況不會(huì)重新調(diào)參數(shù)而是直接把星星層里出事的那一小塊用修補(bǔ)工具擦掉然后在背景層里也把對(duì)應(yīng)區(qū)域用仿制圖章抹平再在最終合成時(shí)手動(dòng)補(bǔ)一顆星。這種“半自動(dòng)半手動(dòng)”的姿態(tài)反而是處理天文后期最務(wù)實(shí)的策略——它把Starnet當(dāng)成了不完美的協(xié)作者而不是無(wú)腦的輸出機(jī)器。我還想專門提一下很多人在處理月亮和太陽(yáng)表面時(shí)也拿Starnet亂跑這屬于用錯(cuò)地方。Starnet的模型是針對(duì)點(diǎn)光源星星訓(xùn)練的對(duì)月海、太陽(yáng)黑子這類大面積連續(xù)紋理并不敏感輸出會(huì)有明顯的“油畫感”。月亮圖片更適合用傳統(tǒng)的高反差保留和銳化宏別指望Starnet包打天下。7. 最后的幾句心里話從第一版Starnet跑通到現(xiàn)在Starnet v2看著這個(gè)項(xiàng)目不斷完善我的感受是工具永遠(yuǎn)在變但后期思路的核心沒(méi)有變。歸根結(jié)底天文照片的處理不是“按一下濾鏡就好看”而是你得分清楚畫面里的哪部分是什么各自用合適的手段去伺候。Starnet的價(jià)值不在于它比Topaz Denoise多去幾個(gè)噪點(diǎn)而在于它把“星星”和“噪聲”這兩個(gè)糾纏在一起的概念徹底分開(kāi)了。有了這個(gè)基礎(chǔ)后面對(duì)背景做多少降噪都不會(huì)再傷害星點(diǎn)。我比較推薦的后期工作流已經(jīng)穩(wěn)定成了一條線RAW線性數(shù)據(jù)→Starnet出背景層與星星層→背景層大力降噪、拉伸、校色→星星層還原色彩、輕微銳化→兩層疊加→整體微調(diào)。整個(gè)過(guò)程只需要Starnet配合Photoshop再加一顆靜得下來(lái)的心。如果你看到這里想拿自己的舊圖試試手建議第一張圖不要挑那種“又糊又堆滿星星”的極端素材先找一張正常的銀河或者星云圖跑一遍默認(rèn)參數(shù)并且把你的操作步驟記錄下來(lái)。跑完把背景層放大到100%再對(duì)比原圖同一位置你會(huì)第一次感受到“原來(lái)我拍的暗云氣里藏了這么多結(jié)構(gòu)”。那一下就是Starnet真正把門打開(kāi)的時(shí)刻。