隊(duì)提出遙感圖像超分辨率：全球真實(shí)場(chǎng)景數(shù)據(jù)集構(gòu)建、測(cè)評(píng)與全面綜述)
REMOTE SENSING遙感SISR十年全景綜述GRSM 2026 · L8S2PS-SR 真實(shí)場(chǎng)景基準(zhǔn)Deep Learning for Remote Sensing Image Superresolution導(dǎo)讀遙感圖像超分辨率的研究已經(jīng)走過了四十余年的歷程。隨著深度學(xué)習(xí)的不斷推進(jìn)CNN、Transformer、GAN、Diffusion、Mamba等路線層出不窮但是有一個(gè)現(xiàn)實(shí)的問題一直存在合成退化上得到很高的分?jǐn)?shù)是否可以真實(shí)的反映出衛(wèi)星影像中重建的能力呢已經(jīng)被IEEE Geoscience and Remote Sensing MagazineGRSM接受的內(nèi)容已經(jīng)完成了一次方法回顧。作者對(duì)近年來(lái)深度學(xué)習(xí)遙感單幅圖像超分辨率(SISR)的研究進(jìn)行了系統(tǒng)的梳理并構(gòu)建了一個(gè)真實(shí)的環(huán)境基準(zhǔn)數(shù)據(jù)集L8S2PS-SR再用15 種代表性的方法對(duì)公開的數(shù)據(jù)集和真實(shí)的場(chǎng)景數(shù)據(jù)進(jìn)行統(tǒng)一評(píng)價(jià)在同一篇文章中把“綜述-數(shù)據(jù)-實(shí)驗(yàn)-未來(lái)方向”放在一起。PART. 01核心信息綜述、基準(zhǔn)與測(cè)評(píng)一次到位論文標(biāo)題Deep Learning for Remote Sensing Image Superresolution: A Comprehensive Review and a New Real-World Benchmark作者Fanen Meng, Sensen Wu, Yi Xiao, Qiangqiang Yuan, Zhiguo Jiang, Fengying Xie, Zhenhong Du, Haopeng Zhang*單位天目山實(shí)驗(yàn)室、浙江大學(xué)、鄭州大學(xué)、武漢大學(xué)、北京航空航天大學(xué)論文鏈接https://doi.org/10.1109/MGRS.2026.3706999代碼鏈接https://github.com/Meng-333/L8S2PS-SRDemohttps://pan.baidu.com/s/1AmqSB3HznH_mDTxuBy3OVQ?pwddemo完整數(shù)據(jù)https://pan.baidu.com/s/1MrYTAOhbUgrZsBCLAptbKQKagglehttps://www.kaggle.com/mengfanen/datasets一句話概括本文把近十年方法譜系、真實(shí)世界數(shù)據(jù)集和統(tǒng)一測(cè)評(píng)放到了一套完整框架里。論文的封面上有作者的信息論文把工作總結(jié)為三方面全面綜述、建立真實(shí)的環(huán)境作為標(biāo)準(zhǔn)、以及系統(tǒng)的評(píng)價(jià)和未來(lái)的方向分析。01全面綜述對(duì)最近十年來(lái)以深度學(xué)習(xí)為基礎(chǔ)的單幅遙感圖像超分辨率的研究文獻(xiàn)進(jìn)行回顧包括相關(guān)的算法、系統(tǒng)的比較、數(shù)據(jù)集和評(píng)價(jià)指標(biāo)等。論文在貢獻(xiàn)總結(jié)部分把現(xiàn)有的方法歸結(jié)為七種類型CNN、Transformer、GAN、Diffusion、Mamba、Foundation Model、HybridFig. 2/ Fig. 3 主要網(wǎng)絡(luò)結(jié)構(gòu)圖和數(shù)量統(tǒng)計(jì)集中在CNN、Transformer、GAN、Diffusion以及Mamba這五種上。02、建立真實(shí)的環(huán)境作為標(biāo)準(zhǔn)L8S2PS-SR 最后剩下195個(gè)場(chǎng)景/ROI可以適用于各種不同的季節(jié)以及地理位置數(shù)據(jù)集正文部分包含了空間配準(zhǔn)后的Landsat 8、Sentinel-1、Sentinel-2以及PlanetScope影像Landsat 8-Sentinel-2、Sentinel-2-PlanetScope 構(gòu)成了不同尺度的真實(shí)世界 SR 配對(duì)。03系統(tǒng)測(cè)評(píng)對(duì)15種代表性的方法進(jìn)行合成數(shù)據(jù)集和真實(shí)場(chǎng)景數(shù)據(jù)上的評(píng)價(jià)并就遙感圖像超分辨率所面臨的問題以及未來(lái)的研究方向進(jìn)行討論。Fig. 1論文的整體結(jié)構(gòu)框架包括架構(gòu)、公開的數(shù)據(jù)、評(píng)價(jià)指標(biāo)、L8S2PS-SR、實(shí)驗(yàn)、挑戰(zhàn)和未來(lái)方向PART. 02背景空間分辨率為什么是遙感低層視覺的硬需求遙感對(duì)地觀測(cè)屬于現(xiàn)代技術(shù)體系的重要部分可以給環(huán)境監(jiān)測(cè)、城市規(guī)劃、精準(zhǔn)農(nóng)業(yè)、軍事偵察和災(zāi)害管理等各個(gè)領(lǐng)域提供重要的數(shù)據(jù)支持。在光學(xué)遙感中空間分辨率越高所得到的影像中地物的細(xì)節(jié)就越清晰這對(duì)圖像分類、目標(biāo)識(shí)別、語(yǔ)義分割等精細(xì)的應(yīng)用來(lái)說(shuō)意義重大。目前提高遙感圖像的空間分辨率主要途徑有二種硬件改進(jìn)與軟件改進(jìn)。升級(jí)硬件的成本很高工藝水平也很高研發(fā)周期很長(zhǎng)而且遙感傳感器的載荷和信噪比提高已經(jīng)到了物理極限。軟件途徑就是在現(xiàn)有的硬件條件下利用設(shè)計(jì)好的算法來(lái)提高遙感圖像的空間分辨率。超分辨率(Super-Resolution, SR)重建是利用一幅或多幅低分辨率(LR)圖像來(lái)重建出高分辨率(HR)圖像在一定程度上可以恢復(fù)出圖像中丟失的一些細(xì)節(jié)信息。從而提升圖像的質(zhì)量。對(duì)于單幅超分辨率問題本文首先從圖像退化的角度來(lái)給出定義其中 f 表示退化函數(shù)ILR與 IHR分別表示退化后低分辨率圖像和原高分辨率圖像s 為下采樣倍率。論文還提到常用的Bicubic合成退化不能完全模擬真實(shí)的退化過程因此提出了一個(gè)包含模糊核、下采樣和噪聲等更復(fù)雜的退化模型。遙感圖像SISR的研究已經(jīng)有四十多年的歷史了。早期的傳統(tǒng)SR方法可以歸結(jié)為以下三種類型基于插值法、基于重建法和基于學(xué)習(xí)法。近幾年來(lái)在深度學(xué)習(xí)技術(shù)不斷進(jìn)步的過程中各種SR方法也相繼出現(xiàn)并且使得性能不斷提高。但是作者認(rèn)為在遙感領(lǐng)域中對(duì)深度學(xué)習(xí)SISR進(jìn)行全面綜述仍然不足早期綜述覆蓋不全部分綜述沒有包括從2022年至2025年期間出現(xiàn)的新方法。但是最新的綜述一般只會(huì)做方法上的回顧缺少統(tǒng)一的性能對(duì)比以及真實(shí)的世界上超分辨率的數(shù)據(jù)集。PART. 03十年方法譜系從CNN、Transformer到Diffusion和Mamba論文匯集了過去十年間共253篇有關(guān)的研究成果在方法綜述的主要網(wǎng)絡(luò)范式統(tǒng)計(jì)中又以2026年5月作為檢索截止日期統(tǒng)計(jì)了從2015年開始至今的110篇相關(guān)的研究并將它們的主要結(jié)構(gòu)歸結(jié)為五種類型CNN、Transformer、GAN、Diffusion和Mamba。根據(jù)論文中給出的統(tǒng)計(jì)數(shù)據(jù)圖可以知道在 2020 年之后各種方法的發(fā)表數(shù)量明顯增多。從 2022 年之前來(lái)看CNN 仍然處于主導(dǎo)地位之后 GAN、擴(kuò)散模型和 Transformer 等的數(shù)量也迅速增多Mamba 也開始參與到遙感超分辨率的研究當(dāng)中來(lái)。兩種組織口徑的存在使得論文中的貢獻(xiàn)總結(jié)中還把基礎(chǔ)模型和混合架構(gòu)單獨(dú)列出一個(gè)類別所以完整的綜述口徑是七個(gè)類別Fig. 2/ Fig. 3 主要架構(gòu)示意圖和數(shù)量統(tǒng)計(jì)集中于五種網(wǎng)絡(luò)范式。兩種口徑服務(wù)的是不同的層次的綜述組織二者并不矛盾。Fig. 2CNN、Transformer、GAN、Diffusion 以及 Mamba 五種SR網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig. 32020-2026年5月不同深度學(xué)習(xí)網(wǎng)絡(luò)在遙感SR中的論文數(shù)量Fig. 4遙感圖像超分辨率研究關(guān)鍵詞詞云Table 1代表性的遙感單幅超分辨率方法概覽PART. 04L8S2PS-SR把超分辨率 benchmark 搬到真實(shí)的衛(wèi)星場(chǎng)景為進(jìn)一步縮小合成數(shù)據(jù)和現(xiàn)實(shí)世界之間差距的研究中使用了Google Earth Engine、Google Drive以及Planet衛(wèi)星影像數(shù)據(jù)云平臺(tái)建立了一個(gè)可以模擬真實(shí)的環(huán)境并且能夠進(jìn)行空間配準(zhǔn)的多個(gè)來(lái)源超分辨率數(shù)據(jù)集。數(shù)據(jù)來(lái)源于Landsat 8、Sentinel-1、Sentinel-2以及PlanetScope等衛(wèi)星包含了各個(gè)季節(jié)和地點(diǎn)的數(shù)據(jù)總的存儲(chǔ)量為217.3GB。Landsat 8 影像的空間分辨率是30 米Sentinel-1和Sentinel-2都是10 米PlanetScope 為3.7 米。經(jīng)過數(shù)據(jù)篩選和人工審核之后最后被保留195 個(gè)場(chǎng)景/ROI。Sentinel-2和PlanetScope數(shù)據(jù)之間的時(shí)間間隔小于等于7天Sentinel-2和Landsat8數(shù)據(jù)之間的時(shí)間間隔小于等于30天。該套數(shù)據(jù)的關(guān)鍵不只在于“分辨率不一樣”而且要盡量保證空間配準(zhǔn)、時(shí)間接近和無(wú)云遮擋。作者使用隨機(jī)ROI采樣、影像拼接、兩輪人工檢查以及PlanetScope數(shù)據(jù)篩選等方法最后得到了不同季節(jié)、不同地理區(qū)域的真實(shí)場(chǎng)景樣本。真實(shí)的 world benchmark 有什么用而在于它把算法從理想的合成中拉回到真實(shí)的傳感器、真實(shí)的時(shí)延和真實(shí)的地理分布。Table 3遙感SR常用的公開數(shù)據(jù)集對(duì)比L8S2PS-SR面向全球尺度的真實(shí)世界的SRFig. 7/8數(shù)據(jù)對(duì)提取流程和規(guī)則矩形區(qū)域選擇Fig. 9最終ROI結(jié)構(gòu)包括四季、城市和鄉(xiāng)村場(chǎng)景Fig. 10全球隨機(jī)ROI分布和真實(shí)的遙感圖像示例PART. 0515 種方法實(shí)測(cè)CNN、擴(kuò)散模型、Transformer 各有千秋本文在公開的NWPU-RESISC45數(shù)據(jù)集以及所提的L8S2PS-SR數(shù)據(jù)集中進(jìn)行實(shí)驗(yàn)并得到結(jié)果。對(duì)基線方法Bicubic以及15種代表性SR模型進(jìn)行定量和定性實(shí)驗(yàn)包括DRCAN、DSSR、AMSSRN、EGASR、ESRGAN等。SRAGAN、NDSRGAN、SRADSGAN、SwinIR、TransENet、HAT、TTST、EDiffSR、FastDiffSR、CNN-DiffSR。根據(jù)論文在NWPU-RESISC45上的一致性對(duì)比以及實(shí)際場(chǎng)景下的實(shí)驗(yàn)結(jié)果可以得出CNN 方法在像素級(jí)別的PSNR、SSIM等指標(biāo)上都具有明顯的優(yōu)勢(shì)而CNN和GAN類方法的復(fù)雜程度總體上低于擴(kuò)散模型擴(kuò)散模型在FID、LPIPS以及視覺效果上都具有很強(qiáng)的競(jìng)爭(zhēng)優(yōu)勢(shì)而在像素保持一致性的前提下Transformer可以達(dá)到感知質(zhì)量以及復(fù)雜度之間的平衡。Table 4NWPU-RESISC45上15種方法的×4超分辨率定量結(jié)果論文中對(duì)于PSNR的定義是MAX(IHR)表示HR圖像的最大像素值MSE(ISR,IHR))表示SR重建結(jié)果和HR真值之間的均方誤差。論文里PSNR 越大就說(shuō)明像素級(jí)別的重建質(zhì)量越好FID用來(lái)評(píng)價(jià)SR圖象和真值圖象之間的分布差異LPIPS用來(lái)評(píng)價(jià)感知相似性兩者都要求越小越好。因此在不同的方法分別在PSNR/SSIM和FID/LPIPS上占優(yōu)的時(shí)候并沒有矛盾之處而是在于說(shuō)明**“數(shù)值保真”與“視覺感知”之間還存在著選擇的問題**。Fig. 14Landsat 8/Sentinel-2建筑場(chǎng)景上3×超分辨率的結(jié)果Fig. 15Sentinel-2/PlanetScope儲(chǔ)罐場(chǎng)景上3×超分辨率的結(jié)果PART. 06挑戰(zhàn)和展望接下來(lái)的研究會(huì)往哪個(gè)方向發(fā)展本文對(duì)目前遙感SISR領(lǐng)域所遇到的問題以及今后的研究方向進(jìn)行了總結(jié)。論文正文把歸納為四種類型真實(shí)的LR-HR配對(duì)數(shù)據(jù)稀缺、大倍率SR、跨模態(tài)SR處理以及實(shí)時(shí)/在線SR。其中目前大部分現(xiàn)有的模型仍然針對(duì)某一特定模態(tài)進(jìn)行設(shè)計(jì)跨模態(tài)和零樣本遷移的能力不夠大多數(shù)深度學(xué)習(xí)SR模型都存在這個(gè)問題計(jì)算復(fù)雜度高、模型規(guī)模大但是也受到了資源限制以及實(shí)時(shí)應(yīng)用的影響。方向輕量高效SR使模型在參數(shù)量、計(jì)算量以及恢復(fù)能力上達(dá)到一個(gè)更加現(xiàn)實(shí)的平衡點(diǎn)。方向|和下游遙感視覺任務(wù)相結(jié)合除了要使圖像看起來(lái)更加清楚之外還要去驗(yàn)證該算法對(duì)于分類、檢測(cè)、分割等任務(wù)是否有實(shí)際的幫助。方向適合遙感特點(diǎn)的新穎評(píng)價(jià)標(biāo)準(zhǔn)論文認(rèn)為目前使用的PSNR、SSIM等全參考指標(biāo)都存在評(píng)價(jià)維度少、不能反映人的視覺感受以及和后續(xù)的任務(wù)不相關(guān)等問題未來(lái)的遙感指標(biāo)應(yīng)該更加符合遙感的特點(diǎn)并且能夠體現(xiàn)出分類、檢測(cè)等一系列后端功能的表現(xiàn)另外還要探索出適合遙感領(lǐng)域的無(wú)參照評(píng)價(jià)指標(biāo)。論文正文部分一共提到了七種以后的研究方向。除了上述三種情況之外還明確指出真實(shí)的現(xiàn)實(shí)、真實(shí)的地理所對(duì)應(yīng)的人力資源-地理位置HR-LR訓(xùn)練數(shù)據(jù)連續(xù)尺度SR、多模態(tài)遙感SR框架、遙感SR大模型等。遙感超分辨率要想真正地走向真實(shí)的這個(gè)世界還需要真實(shí)的地理對(duì)應(yīng)的訓(xùn)練數(shù)據(jù)、連續(xù)尺度和多模態(tài)處理能力、下游任務(wù)驗(yàn)證、輕量化部署以及更加貼近遙感應(yīng)用的新穎評(píng)價(jià)指標(biāo)。PART. 07往期推薦END 頂刊GRSM | 天目山北航團(tuán)隊(duì)提出遙感圖像超分辨率：全球真實(shí)場(chǎng)景數(shù)據(jù)集構(gòu)建、測(cè)評(píng)與全面綜述
REMOTE SENSING遙感SISR十年全景綜述GRSM 2026 · L8S2PS-SR 真實(shí)場(chǎng)景基準(zhǔn)Deep Learning for Remote Sensing Image Superresolution導(dǎo)讀遙感圖像超分辨率的研究已經(jīng)走過了四十余年的歷程。隨著深度學(xué)習(xí)的不斷推進(jìn)CNN、Transformer、GAN、Diffusion、Mamba等路線層出不窮但是有一個(gè)現(xiàn)實(shí)的問題一直存在合成退化上得到很高的分?jǐn)?shù)是否可以真實(shí)的反映出衛(wèi)星影像中重建的能力呢已經(jīng)被IEEE Geoscience and Remote Sensing MagazineGRSM接受的內(nèi)容已經(jīng)完成了一次方法回顧。作者對(duì)近年來(lái)深度學(xué)習(xí)遙感單幅圖像超分辨率(SISR)的研究進(jìn)行了系統(tǒng)的梳理并構(gòu)建了一個(gè)真實(shí)的環(huán)境基準(zhǔn)數(shù)據(jù)集L8S2PS-SR再用15 種代表性的方法對(duì)公開的數(shù)據(jù)集和真實(shí)的場(chǎng)景數(shù)據(jù)進(jìn)行統(tǒng)一評(píng)價(jià)在同一篇文章中把“綜述-數(shù)據(jù)-實(shí)驗(yàn)-未來(lái)方向”放在一起。PART. 01核心信息綜述、基準(zhǔn)與測(cè)評(píng)一次到位論文標(biāo)題Deep Learning for Remote Sensing Image Superresolution: A Comprehensive Review and a New Real-World Benchmark作者Fanen Meng, Sensen Wu, Yi Xiao, Qiangqiang Yuan, Zhiguo Jiang, Fengying Xie, Zhenhong Du, Haopeng Zhang*單位天目山實(shí)驗(yàn)室、浙江大學(xué)、鄭州大學(xué)、武漢大學(xué)、北京航空航天大學(xué)論文鏈接https://doi.org/10.1109/MGRS.2026.3706999代碼鏈接https://github.com/Meng-333/L8S2PS-SRDemohttps://pan.baidu.com/s/1AmqSB3HznH_mDTxuBy3OVQ?pwddemo完整數(shù)據(jù)https://pan.baidu.com/s/1MrYTAOhbUgrZsBCLAptbKQKagglehttps://www.kaggle.com/mengfanen/datasets一句話概括本文把近十年方法譜系、真實(shí)世界數(shù)據(jù)集和統(tǒng)一測(cè)評(píng)放到了一套完整框架里。論文的封面上有作者的信息論文把工作總結(jié)為三方面全面綜述、建立真實(shí)的環(huán)境作為標(biāo)準(zhǔn)、以及系統(tǒng)的評(píng)價(jià)和未來(lái)的方向分析。01全面綜述對(duì)最近十年來(lái)以深度學(xué)習(xí)為基礎(chǔ)的單幅遙感圖像超分辨率的研究文獻(xiàn)進(jìn)行回顧包括相關(guān)的算法、系統(tǒng)的比較、數(shù)據(jù)集和評(píng)價(jià)指標(biāo)等。論文在貢獻(xiàn)總結(jié)部分把現(xiàn)有的方法歸結(jié)為七種類型CNN、Transformer、GAN、Diffusion、Mamba、Foundation Model、HybridFig. 2/ Fig. 3 主要網(wǎng)絡(luò)結(jié)構(gòu)圖和數(shù)量統(tǒng)計(jì)集中在CNN、Transformer、GAN、Diffusion以及Mamba這五種上。02、建立真實(shí)的環(huán)境作為標(biāo)準(zhǔn)L8S2PS-SR 最后剩下195個(gè)場(chǎng)景/ROI可以適用于各種不同的季節(jié)以及地理位置數(shù)據(jù)集正文部分包含了空間配準(zhǔn)后的Landsat 8、Sentinel-1、Sentinel-2以及PlanetScope影像Landsat 8-Sentinel-2、Sentinel-2-PlanetScope 構(gòu)成了不同尺度的真實(shí)世界 SR 配對(duì)。03系統(tǒng)測(cè)評(píng)對(duì)15種代表性的方法進(jìn)行合成數(shù)據(jù)集和真實(shí)場(chǎng)景數(shù)據(jù)上的評(píng)價(jià)并就遙感圖像超分辨率所面臨的問題以及未來(lái)的研究方向進(jìn)行討論。Fig. 1論文的整體結(jié)構(gòu)框架包括架構(gòu)、公開的數(shù)據(jù)、評(píng)價(jià)指標(biāo)、L8S2PS-SR、實(shí)驗(yàn)、挑戰(zhàn)和未來(lái)方向PART. 02背景空間分辨率為什么是遙感低層視覺的硬需求遙感對(duì)地觀測(cè)屬于現(xiàn)代技術(shù)體系的重要部分可以給環(huán)境監(jiān)測(cè)、城市規(guī)劃、精準(zhǔn)農(nóng)業(yè)、軍事偵察和災(zāi)害管理等各個(gè)領(lǐng)域提供重要的數(shù)據(jù)支持。在光學(xué)遙感中空間分辨率越高所得到的影像中地物的細(xì)節(jié)就越清晰這對(duì)圖像分類、目標(biāo)識(shí)別、語(yǔ)義分割等精細(xì)的應(yīng)用來(lái)說(shuō)意義重大。目前提高遙感圖像的空間分辨率主要途徑有二種硬件改進(jìn)與軟件改進(jìn)。升級(jí)硬件的成本很高工藝水平也很高研發(fā)周期很長(zhǎng)而且遙感傳感器的載荷和信噪比提高已經(jīng)到了物理極限。軟件途徑就是在現(xiàn)有的硬件條件下利用設(shè)計(jì)好的算法來(lái)提高遙感圖像的空間分辨率。超分辨率(Super-Resolution, SR)重建是利用一幅或多幅低分辨率(LR)圖像來(lái)重建出高分辨率(HR)圖像在一定程度上可以恢復(fù)出圖像中丟失的一些細(xì)節(jié)信息。從而提升圖像的質(zhì)量。對(duì)于單幅超分辨率問題本文首先從圖像退化的角度來(lái)給出定義其中 f 表示退化函數(shù)ILR與 IHR分別表示退化后低分辨率圖像和原高分辨率圖像s 為下采樣倍率。論文還提到常用的Bicubic合成退化不能完全模擬真實(shí)的退化過程因此提出了一個(gè)包含模糊核、下采樣和噪聲等更復(fù)雜的退化模型。遙感圖像SISR的研究已經(jīng)有四十多年的歷史了。早期的傳統(tǒng)SR方法可以歸結(jié)為以下三種類型基于插值法、基于重建法和基于學(xué)習(xí)法。近幾年來(lái)在深度學(xué)習(xí)技術(shù)不斷進(jìn)步的過程中各種SR方法也相繼出現(xiàn)并且使得性能不斷提高。但是作者認(rèn)為在遙感領(lǐng)域中對(duì)深度學(xué)習(xí)SISR進(jìn)行全面綜述仍然不足早期綜述覆蓋不全部分綜述沒有包括從2022年至2025年期間出現(xiàn)的新方法。但是最新的綜述一般只會(huì)做方法上的回顧缺少統(tǒng)一的性能對(duì)比以及真實(shí)的世界上超分辨率的數(shù)據(jù)集。PART. 03十年方法譜系從CNN、Transformer到Diffusion和Mamba論文匯集了過去十年間共253篇有關(guān)的研究成果在方法綜述的主要網(wǎng)絡(luò)范式統(tǒng)計(jì)中又以2026年5月作為檢索截止日期統(tǒng)計(jì)了從2015年開始至今的110篇相關(guān)的研究并將它們的主要結(jié)構(gòu)歸結(jié)為五種類型CNN、Transformer、GAN、Diffusion和Mamba。根據(jù)論文中給出的統(tǒng)計(jì)數(shù)據(jù)圖可以知道在 2020 年之后各種方法的發(fā)表數(shù)量明顯增多。從 2022 年之前來(lái)看CNN 仍然處于主導(dǎo)地位之后 GAN、擴(kuò)散模型和 Transformer 等的數(shù)量也迅速增多Mamba 也開始參與到遙感超分辨率的研究當(dāng)中來(lái)。兩種組織口徑的存在使得論文中的貢獻(xiàn)總結(jié)中還把基礎(chǔ)模型和混合架構(gòu)單獨(dú)列出一個(gè)類別所以完整的綜述口徑是七個(gè)類別Fig. 2/ Fig. 3 主要架構(gòu)示意圖和數(shù)量統(tǒng)計(jì)集中于五種網(wǎng)絡(luò)范式。兩種口徑服務(wù)的是不同的層次的綜述組織二者并不矛盾。Fig. 2CNN、Transformer、GAN、Diffusion 以及 Mamba 五種SR網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig. 32020-2026年5月不同深度學(xué)習(xí)網(wǎng)絡(luò)在遙感SR中的論文數(shù)量Fig. 4遙感圖像超分辨率研究關(guān)鍵詞詞云Table 1代表性的遙感單幅超分辨率方法概覽PART. 04L8S2PS-SR把超分辨率 benchmark 搬到真實(shí)的衛(wèi)星場(chǎng)景為進(jìn)一步縮小合成數(shù)據(jù)和現(xiàn)實(shí)世界之間差距的研究中使用了Google Earth Engine、Google Drive以及Planet衛(wèi)星影像數(shù)據(jù)云平臺(tái)建立了一個(gè)可以模擬真實(shí)的環(huán)境并且能夠進(jìn)行空間配準(zhǔn)的多個(gè)來(lái)源超分辨率數(shù)據(jù)集。數(shù)據(jù)來(lái)源于Landsat 8、Sentinel-1、Sentinel-2以及PlanetScope等衛(wèi)星包含了各個(gè)季節(jié)和地點(diǎn)的數(shù)據(jù)總的存儲(chǔ)量為217.3GB。Landsat 8 影像的空間分辨率是30 米Sentinel-1和Sentinel-2都是10 米PlanetScope 為3.7 米。經(jīng)過數(shù)據(jù)篩選和人工審核之后最后被保留195 個(gè)場(chǎng)景/ROI。Sentinel-2和PlanetScope數(shù)據(jù)之間的時(shí)間間隔小于等于7天Sentinel-2和Landsat8數(shù)據(jù)之間的時(shí)間間隔小于等于30天。該套數(shù)據(jù)的關(guān)鍵不只在于“分辨率不一樣”而且要盡量保證空間配準(zhǔn)、時(shí)間接近和無(wú)云遮擋。作者使用隨機(jī)ROI采樣、影像拼接、兩輪人工檢查以及PlanetScope數(shù)據(jù)篩選等方法最后得到了不同季節(jié)、不同地理區(qū)域的真實(shí)場(chǎng)景樣本。真實(shí)的 world benchmark 有什么用而在于它把算法從理想的合成中拉回到真實(shí)的傳感器、真實(shí)的時(shí)延和真實(shí)的地理分布。Table 3遙感SR常用的公開數(shù)據(jù)集對(duì)比L8S2PS-SR面向全球尺度的真實(shí)世界的SRFig. 7/8數(shù)據(jù)對(duì)提取流程和規(guī)則矩形區(qū)域選擇Fig. 9最終ROI結(jié)構(gòu)包括四季、城市和鄉(xiāng)村場(chǎng)景Fig. 10全球隨機(jī)ROI分布和真實(shí)的遙感圖像示例PART. 0515 種方法實(shí)測(cè)CNN、擴(kuò)散模型、Transformer 各有千秋本文在公開的NWPU-RESISC45數(shù)據(jù)集以及所提的L8S2PS-SR數(shù)據(jù)集中進(jìn)行實(shí)驗(yàn)并得到結(jié)果。對(duì)基線方法Bicubic以及15種代表性SR模型進(jìn)行定量和定性實(shí)驗(yàn)包括DRCAN、DSSR、AMSSRN、EGASR、ESRGAN等。SRAGAN、NDSRGAN、SRADSGAN、SwinIR、TransENet、HAT、TTST、EDiffSR、FastDiffSR、CNN-DiffSR。根據(jù)論文在NWPU-RESISC45上的一致性對(duì)比以及實(shí)際場(chǎng)景下的實(shí)驗(yàn)結(jié)果可以得出CNN 方法在像素級(jí)別的PSNR、SSIM等指標(biāo)上都具有明顯的優(yōu)勢(shì)而CNN和GAN類方法的復(fù)雜程度總體上低于擴(kuò)散模型擴(kuò)散模型在FID、LPIPS以及視覺效果上都具有很強(qiáng)的競(jìng)爭(zhēng)優(yōu)勢(shì)而在像素保持一致性的前提下Transformer可以達(dá)到感知質(zhì)量以及復(fù)雜度之間的平衡。Table 4NWPU-RESISC45上15種方法的×4超分辨率定量結(jié)果論文中對(duì)于PSNR的定義是MAX(IHR)表示HR圖像的最大像素值MSE(ISR,IHR))表示SR重建結(jié)果和HR真值之間的均方誤差。論文里PSNR 越大就說(shuō)明像素級(jí)別的重建質(zhì)量越好FID用來(lái)評(píng)價(jià)SR圖象和真值圖象之間的分布差異LPIPS用來(lái)評(píng)價(jià)感知相似性兩者都要求越小越好。因此在不同的方法分別在PSNR/SSIM和FID/LPIPS上占優(yōu)的時(shí)候并沒有矛盾之處而是在于說(shuō)明**“數(shù)值保真”與“視覺感知”之間還存在著選擇的問題**。Fig. 14Landsat 8/Sentinel-2建筑場(chǎng)景上3×超分辨率的結(jié)果Fig. 15Sentinel-2/PlanetScope儲(chǔ)罐場(chǎng)景上3×超分辨率的結(jié)果PART. 06挑戰(zhàn)和展望接下來(lái)的研究會(huì)往哪個(gè)方向發(fā)展本文對(duì)目前遙感SISR領(lǐng)域所遇到的問題以及今后的研究方向進(jìn)行了總結(jié)。論文正文把歸納為四種類型真實(shí)的LR-HR配對(duì)數(shù)據(jù)稀缺、大倍率SR、跨模態(tài)SR處理以及實(shí)時(shí)/在線SR。其中目前大部分現(xiàn)有的模型仍然針對(duì)某一特定模態(tài)進(jìn)行設(shè)計(jì)跨模態(tài)和零樣本遷移的能力不夠大多數(shù)深度學(xué)習(xí)SR模型都存在這個(gè)問題計(jì)算復(fù)雜度高、模型規(guī)模大但是也受到了資源限制以及實(shí)時(shí)應(yīng)用的影響。方向輕量高效SR使模型在參數(shù)量、計(jì)算量以及恢復(fù)能力上達(dá)到一個(gè)更加現(xiàn)實(shí)的平衡點(diǎn)。方向|和下游遙感視覺任務(wù)相結(jié)合除了要使圖像看起來(lái)更加清楚之外還要去驗(yàn)證該算法對(duì)于分類、檢測(cè)、分割等任務(wù)是否有實(shí)際的幫助。方向適合遙感特點(diǎn)的新穎評(píng)價(jià)標(biāo)準(zhǔn)論文認(rèn)為目前使用的PSNR、SSIM等全參考指標(biāo)都存在評(píng)價(jià)維度少、不能反映人的視覺感受以及和后續(xù)的任務(wù)不相關(guān)等問題未來(lái)的遙感指標(biāo)應(yīng)該更加符合遙感的特點(diǎn)并且能夠體現(xiàn)出分類、檢測(cè)等一系列后端功能的表現(xiàn)另外還要探索出適合遙感領(lǐng)域的無(wú)參照評(píng)價(jià)指標(biāo)。論文正文部分一共提到了七種以后的研究方向。除了上述三種情況之外還明確指出真實(shí)的現(xiàn)實(shí)、真實(shí)的地理所對(duì)應(yīng)的人力資源-地理位置HR-LR訓(xùn)練數(shù)據(jù)連續(xù)尺度SR、多模態(tài)遙感SR框架、遙感SR大模型等。遙感超分辨率要想真正地走向真實(shí)的這個(gè)世界還需要真實(shí)的地理對(duì)應(yīng)的訓(xùn)練數(shù)據(jù)、連續(xù)尺度和多模態(tài)處理能力、下游任務(wù)驗(yàn)證、輕量化部署以及更加貼近遙感應(yīng)用的新穎評(píng)價(jià)指標(biāo)。PART. 07往期推薦END