基于殘差注意力的合成孔徑雷達圖像超分辨率算法

摘 要：隨著(zhù)機器學(xué)習和神經(jīng)網(wǎng)絡(luò )的高速發(fā)展，低分辨率圖像超分辨率已經(jīng)成為計算機視覺(jué)研究的熱門(mén)課題。由于合成孔徑雷達圖像（synthetic?aperture?radar,?SAR）方向和距離分辨率不一致，斜距被壓縮，再加上SAR圖像固有相干噪聲的影響，因此SAR圖像的研究集中在小尺度放大上。本文算法主要研究大尺度放大倍數的SAR?圖像超分辨重建，實(shí)驗結果表明，本文算法在SAR圖像大尺度放大倍數上效果不錯。

關(guān)鍵詞：SAR圖像；殘差注意力；超分辨率

0 引言

SAR圖像超分辨率在軍事指揮，全球氣候環(huán)境檢測，智慧農業(yè)檢測，礦物質(zhì)開(kāi)采等領(lǐng)域有重要應用。SAR 圖像低分辨率重建會(huì )帶來(lái)很多不確定的問(wèn)題，比如：算法建模困難，重建效果差，數據處理困難等，這些都增加了 SAR 圖像大尺度放大倍數的研究難道，讓很多科研工作者望而卻步。隨著(zhù)神經(jīng)網(wǎng)絡(luò )和深度學(xué)習的進(jìn)步，計算性能的提升，SAR 圖像圖像超分辨率的研究工作逐漸想大尺度方向發(fā)展，但是還是以小尺度研究為主。研究 SAR 圖像大尺度少的主要原因是 SAR 圖像本身干擾多，有用信息少，提取特征困難，重建效果差。本文提出一種基于殘差注意力的合成孔徑雷達圖像超分辨率算法有效的解決了此問(wèn)題。首先用殘差注意力 U-net 映射出 SAR 低分辨率和 SAR 圖像高分辨率之間的內在聯(lián)系，從而得到 SAR 圖像低分辨率到 SAR 圖像超分重建的高清圖像；然后計算數據集的 SAR 圖像高分辨率圖像與超分辨率 SAR 圖像的 L1 范數；最后得到重建結果。下面以 8 倍大尺度放大倍數為例，網(wǎng)絡(luò )框圖如圖 1 所示。

圖中，SAR_SR 表示低分辨率 SAR 圖像重建的高分辨率 SAR 圖像；SAR_HR 數據集中的高清 SAR 圖像；SAR_LR 數據集中低分辨率 SAR 圖像；數據集中 SAR 圖像低分辨率和高分辨率是成對出現的。

該網(wǎng)絡(luò )首次對低分辨率 SAR 圖像采用上采樣操作得到和高分辨 SAR 圖像尺寸相同的初始低分辨率 SAR 圖像，然后對初始 SAR 圖像連續采用 3 次下采樣操作，分別得到不同層次的特征信息，最后對下采樣后的圖像連續采用 3 次上采樣操作，分別得到對稱(chēng)的特征信息，并把對稱(chēng)下采樣和上采樣的特征按一定要求組合，輸出超分辨率 SAR 圖像。

1 網(wǎng)絡(luò )架構

殘差注意力網(wǎng)絡(luò )分為下采樣，上采樣，特征融合 3 部分，上采樣和下采樣是對稱(chēng)結構，然后把對應的特征按一定規則融合。首先對低分辨率 SAR 圖像上采樣得到與高分辨 SAR 圖像尺寸大小的圖像，然后用 3×3 卷積網(wǎng)絡(luò )提取初始特征 T_u0 ：

最后用 L1 范數作為超分高分辨率圖像和實(shí)際高分辨圖像的損失函數，因為 L1 范數可以具有更好的收斂性能且可以忍受異常值，從而得到很好的超分辨率效果。

2 實(shí)驗結果

本文是在大型公開(kāi)數據集 SEN1-2 進(jìn)行實(shí)驗驗證的。此數據集中 SAR 低分辨率圖像、SAR 高分辨率圖像數據是通過(guò) Sentinel-1 衛星、Sentinel-2 衛星在不同的場(chǎng)景拍攝的，并且SAR圖像高低分辨率圖像是成對出現的。我們實(shí)驗的數據集收集了來(lái)再世界各地的 SAR 圖像圖片，包含各種場(chǎng)景，各種天氣下的成對高低分辨率 SAR 圖像。在 SEN1-2 數據集中，每一張單通道的 SAR 圖像的空間大小為 256×256 像素，距離向分辨率每像素 20 m，方位向分辨率每像素 5 m。每張 3 通道的光學(xué)圖像的空間大小也為 256×256 像素，但是每張 3 通道的光學(xué)圖像空間分辨率是 10 m。本實(shí)驗從數據集中選取了 600 對高低分辨率 SAR 圖像作為實(shí)驗的訓練集，選取 50 對高低分辨率 SAR 圖像作為實(shí)驗的測試集。

本文實(shí)驗圖像質(zhì)量評價(jià)指標采用的是：峰值信噪比 (Peak Signal-to-Noise Ratio, PSNR)[87] 和結構相似度 (structural similarity, SSIM)[88]，實(shí)驗結果如表 1。

表1 實(shí)驗結果

從實(shí)驗結果可以看出本文算法在放大倍數為 2、4、8 時(shí)，PSNR 和 SSIM 明顯高于其他算法。主要原因是本文提出的殘差注意力模塊共享了 SAR 圖像低分辨率和 SAR 高分辨率的有用信息，增強了圖像特征表示。因此本文算法在解決大尺度放大倍數的 SAR 圖像超分辨率重建非常有效。

參考文獻：

[1] SHEN H F, LIN L P, LI J, et al. A residual convolutional neural network for polarimetric SAR image superresolution[J]. ISPRS Journal of Photogrammetry and Remote Sensing,2020.

[2] 閔銳,楊學(xué)志,董張玉,等.結構增強型生成對抗網(wǎng)絡(luò )SAR圖像超分辨率重建[J].地理與地理信息科學(xué),2021(2).

[3] 吳從中,魏雪琦,詹曙.深層多級殘差網(wǎng)絡(luò )的圖像超分辨率重建[J].合肥工業(yè)大學(xué)學(xué)報(自然科學(xué)版),2020(10).

[4] 應自爐,宣晨,翟懿奎,等.面向小樣本SAR圖像識別的自注意力多尺度特征融合網(wǎng)絡(luò )[J].信號處理,2020(11).

[5] 楊坤.基于改進(jìn)的UNet連云港海岸線(xiàn)提取研究[J].軟件,2020(10).

[6] MA J Y, YU W, LIANG P W, et al. FusionGAN: a generative adversarial network for infrared and visible image fusion[J]. Information Fusion,2018.

[7] 杜蘭,王兆成,王燕,等.復雜場(chǎng)景下單通道SAR目標檢測及鑒別研究進(jìn)展綜述[J].雷達學(xué)報,2020(1).

[8] 劉艷.基于自適應重要采樣UKF的SAR圖像超分辨率方法[J].計算機應用與軟件,2021(7).

(注：本文轉載自《電子產(chǎn)品世界》雜志2022年11月期)