圖像復原又來新突破了！還記得性能超越SwinIR（基于Transformer）的MambaIR嗎？一種基于Mamba的圖像復原基準模型，登上ECCV 2024。最近原作者又開發(fā)了新版本MambaIRv2，更高性能、更高效率！另外還有ACM MM 2024上的Freqmamba方法，在圖像去雨任務中取得了SOTA性能！

顯然，這種基于Mamba的方法在圖像復原領域，比基于CNN和Transformer的方法更受歡迎。得益于Mamba全局感受野、線性計算復雜度、高效遠程依賴處理等諸多優(yōu)勢，它在圖像復原（比如超分辨率、去噪等）任務上實現了更高的復原質量和更低的計算成本！可以說是圖像增強領域的研究焦點。

目前這方向研究熱情高漲，頂會成果多，為了幫論文er抓緊機會，我已經挑選好了10篇Mamba做圖像復原的高質量論文供大家參考，基本都有代碼，想速發(fā)論文拿下頂會的別錯過啦。

MambaIRv2: Attentive State Space Restoration

方法：論文提出了一種基于Mamba架構的圖像復原方法MambaIRv2，通過引入非因果建模能力，類似于ViT，來增強Mamba的圖像復原性能。這種方法特別關注解決Mamba在因果建模中的局限性，允許模型在整個圖像中更有效地利用像素信息，從而提高圖像復原任務的性能，如超分辨率、去噪和JPEG壓縮減少等。

創(chuàng)新點：

提出了“注意力狀態(tài)空間恢復”的新方法，通過將注意力機制與狀態(tài)空間模型結合，克服了Mamba架構的因果建模限制。

通過語義引導的鄰域重構，作者將相似像素在一維序列中重新排列，使其更加接近。

Freqmamba: Viewing mamba from a frequency perspective for image deraining

方法：論文提出了一種名為FreqMamba的圖像復原方法。FreqMamba結合了Mamba模型和頻率分析，專注于圖像去雨任務。該方法通過結合頻率分析和Mamba的狀態(tài)空間模型來提高去雨效果，包括空間Mamba、頻率帶Mamba和傅里葉全局建模三個交互結構，旨在利用Mamba捕捉局部相關性的能力，同時通過頻率分析增強對全局退化的感知。

創(chuàng)新點：

FreqMamba 是一種創(chuàng)新性的去雨網絡，通過結合空間域序列建模和頻率域全局建模，以應對圖像去雨的挑戰(zhàn)。

引入了一種新穎的三分支結構用于低光圖像增強，成功應對照明不足和噪聲放大的場景。

頻率SSM模塊利用多尺度U-Net架構，并結合不同尺度的降解圖像生成注意力圖，捕獲不同尺度的降解分布。

Multi-dimensional Visual Prompt Enhanced Image Restoration via Mamba-Transformer Aggregation

方法：論文提出了一個名為MTAIR的方法，通過充分利用Mamba和Transformer的互補優(yōu)勢，在不犧牲計算效率的情況下，處理包括圖像去噪、去雨和去霧等多種圖像退化問題。MTAIR通過在空間和通道維度上設計多維提示學習模塊，來動態(tài)調整特征分布并挖掘與特定退化任務相關的上下文信息，從而提高了“全能型”圖像復原模型的性能。

創(chuàng)新點：

結合了Mamba和Transformer的優(yōu)勢，通過選擇性掃描機制在空間維度進行長距離依賴建模，同時利用Transformer的自注意力機制在通道維度進行判別特征學習。

設計了一種新穎的多維提示學習模塊，能夠從多尺度層中學習提示流，有助于從空間和通道角度揭示各種退化的底層特征，從而增強"多合一"模型解決各種恢復任務的能力。

Cu-mamba: Selective state space models with channel learning for image restoration

方法：論文介紹了一個名為CU-Mamba的模型，該模型結合了U-Net架構和雙狀態(tài)空間模型框架，用于圖像復原任務。CU-Mamba模型利用空間SSM模塊進行全局上下文編碼，以及通道SSM組件來保留通道相關特征，兩者都具有相對于特征圖大小的線性計算復雜度。

創(chuàng)新點：

提出了一種新型的通道感知U形Mamba模型（CU-Mamba），通過結合U-Net框架與雙向選擇性狀態(tài)空間模型（SSM），顯著提升了圖像復原能力。

在CU-Mamba模型中，作者創(chuàng)新性地在通道維度引入選擇性SSM機制，以彌補現有Mamba-based U-Net在捕獲通道信息方面的不足。