具体内容请看原论文。此文只为本人观后总结。如有侵权,请联系我删除,谢谢!

原文链接:https://doi.org/10.1109/TIP.2024.3354108

作者:Zixuan Chen , Zewei He , and Zhe-Ming Lu , Senior Member, IEEE

目录

一、创新点

二、提出原因

三、总体框架

1.Detail-Enhanced Convolution -- 细节增强卷积 DEConv

a.实现细节 

b.re-parameterization technique--重新参数化技术(**)

2.Content-Guided Attention -- 内容引导注意力 CGA

3.CGA-Based Mixup Fusion Scheme --基于cga的混合融合方案

四、损失函数

五、实验结果


一、创新点

1.Detail-Enhanced Convolution -- 细节增强卷积 DEConv

2.Content-Guided Attention -- 内容引导注意力 CGA

3.CGA-Based Mixup Fusion Scheme --基于cga的混合融合方案

二、提出原因

1.Detail-Enhanced Convolution -- 细节增强卷积 DEConv

        雾霾覆盖的自然场景可能会失去一些高频细节。注意到低频信息对于校正光照和颜色分布非常重要,而高频信息(例如,边缘和轮廓)对于恢复缺失的细节也至关重要。

2.Content-Guided Attention -- 内容引导注意力 CGA

       a.特征注意模块(Feature attention module, FAM)通道注意力和空间注意力权重之间没有信息交换。

       b.只采用单通道W_{s}对图像级雾霾分布不均匀进行处理,忽略特征级雾霾分布不均匀。

3.CGA-Based Mixup Fusion Scheme --基于cga的混合融合方案

        先前提出的融合方案都存在感受野失配的问题。浅层特征中编码的信息与深层特征具有不同的接受域。深层特征中的单个像素来源于浅层特征中的一个像素区域。简单的添加或连接操作或混合操作无法在融合之前解决不匹配问题

三、总体框架

        DEA-Net由三部分组成:编码器部分、特征变换部分和解码器部分。特征变换部分作为DEA-Net的核心,采用了堆叠细节增强注意块(DEABs)来学习无雾特征。

1.Detail-Enhanced Convolution -- 细节增强卷积 DEConv

a.实现细节 

        一共使用了五个卷积层(四个差分卷积-中心差分卷积CDC、角差分卷积ADC、垂直差分卷积VDC、水平差分卷积HDC和一个普通卷积),并行部署提取特征。

以HDC为例:

通过计算所选像素对的差值来计算水平梯度,训练后,我们将学习到的核权值重新排列,并直接对未改变的输入特征进行卷积。明确地将梯度先验编码到卷积层中,通过学习有益的梯度信息来增强表示和泛化能力。

        普通卷积用于获得强度级信息,而差分卷积用于增强梯度级信息。此论文中将获取的特征通过加法操作作为DEConv的输出。

b.re-parameterization technique--重新参数化技术(**)

可用原因:卷积的性质--如果几个大小相同的二维核以相同的步长和填充对相同的输入操作产生输出,将它们的输出相加得到最终输出,作者此处将这些核在相应的位置上相加,得到一个等价的核,产生相同的最终输出。

 其中,DEConv\left ( \cdot \right )表示DEConv的运算,K_{i}分别表示VC, CDC, ADC, HDC和VDC的核,\ast表示卷积运算,K_{cvt}表示将并行卷积组合在一起的转换核。

2.Content-Guided Attention -- 内容引导注意力 CGA

        粗到精的方式获得每一条输入特征通道的独占SIM,同时充分混合通道注意权和空间注意权,保证信息交互.

1.实现细节

其中max\left ( \cdot \right )表示ReLU激活函数,C_{k\times k}表示内核为K的卷积操作,X_{GAP}X_{GMP}分别代表全局平均池化层和全局最大池化层。第一次C_{1\times 1}是为了参数的数量和限制模型的复杂性,将通道维数减少到\frac{C}{r},第二次将其扩展为C,其中r=\frac{C}{16}.

        将两者的结果相加得到W_{coa}\epsilon \mathbb{R}^{C\times H\times W},再与输入X进行Concat操作,进行通道洗牌操作交替重新排列,再放入卷积层获得最终的特征图W

 其中\sigma为sigmod函数。

3.CGA-Based Mixup Fusion Scheme --基于cga的混合融合方案

 通过学习到的空间权重调制特征,自适应地融合编码器部分的低级特征和相应的高级特征。

使用CGA来计算特征调制的空间权重,将编码器部分的低级特征和相应的高级特征输入到CGA中计算权重,然后采用加权求和的方法进行组合.

四、损失函数

DEA-Net是通过最小化预测的无雾图像J和相应的真实值GT之间的像素差异来训练的。

五、实验结果

Logo

一站式 AI 云服务平台

更多推荐