本文为稀土掘金技术社区首发签约文章，30天内禁止转载，30天后未获授权禁止转载，侵权必究!

beginning

前面给大家介绍过14种超全的低照度图像增强算法，还没了解过的盆友们赶紧去看看叭➡低照度图像增强???其实，图像增强也是图像去雾算法的一种。然而，通过调节灰度等级以改善对比度的图像增强方法，并没有充分考虑到含雾图像降质的本质，因此其去雾效果并不理想。话不多说，如果你也想了解如何对图像有效去雾，咱们一起欢乐的学习吧！???

1.图像去雾简介

图像去雾是一种用于减轻或消除由大气中存在的雾、烟雾或其他气溶胶引起的图像模糊和低对比度效果的技术，这些因素会导致图像中的细节损失和色彩偏移，降低图像的质量和清晰度。尽管图像去雾在计算机视觉领域并没有像目标检测、语义分割这样的任务那么频繁地被讨论，但实际上有很多研究人员一直在努力研究新的方法来解决这个具有挑战性的问题，并在计算机视觉、遥感图像处理、无人驾驶、安防监控等领域广泛应用。去雾的基本原理大都是在大气散射模型的基础上，通过计算透射率和全局大气光照强度来估计场景的初始亮度，以便消除雾霾对图像的影响。具体来说，图像去雾算法可以分为基于图像增强的去雾算法、基于图像复原的去雾算法和基于深度学习的去雾算法。本文主要研究 $\color{blue}{介绍基于深度学习的去雾算法}$ ???

图像去雾例子.png

2.十种图像去雾原理

2.1DehazeNet

论文：caibolun.github.io/papers/Deha…
代码：github.com/caibolun/De…

DehazeNet是一种用于图像去雾的卷积神经网络（Convolutional Neural Network，简称CNN），它被设计用来自动去除受大气影响产生的雾霾效果，从而提高图像的可见度和质量。该 $\color{blue}{端到端}$ 图像去雾系统旨在通过自动估计图像中的大气光照和透射率来去除图像中的雾霾效果。DehazeNet网络由 $\color{blue}{特征提取、多尺度映射、局部极值和非线性回归}$ 这四个连续单元组成，而四个单元由三个卷积层、一个池化层、一个Maxout单元和一个BReLU激活函数构成。该网络结构如下：

其中，网络参数的具体 $\color{blue}{设置}$ 如下：

DehazeNet网络设置.png

DehazeNet去雾算法的 $\color{blue}{主要思想和步骤}$ 如下：

数据集生成：首先，研究人员从户外场景采集了大量包含雾霾的图像；然后，他们使用预定义的参数模型来合成一组具有不同程度和颜色的雾霾图像对。这些合成的图像对包括有雾霾图像和对应的无雾霾图像。
网络架构：DehazeNet采用了深度卷积神经网络作为其核心结构。网络包括多个卷积层、池化层和反卷积层，以及激活函数。通过使用深度卷积神经网络，DehazeNet可以自动学习输入图像中的雾霾特征并进行去除。
损失函数：为了训练DehazeNet，研究人员定义了一个损失函数来度量生成图像与真实无雾霾图像之间的差异。他们采用了感知损失和平滑损失的组合作为总体损失函数，并将其最小化以优化网络参数。
训练过程：在训练阶段，研究人员使用合成的图像对来训练DehazeNet。他们通过将有雾霾图像作为输入，真实无雾霾图像作为目标输出，迭代地调整网络参数，使得DehazeNet能够逐渐学习到去除雾霾的能力。
测试和应用：在测试阶段，经过训练的DehazeNet可以直接应用于单个含有雾霾的图像，以恢复出清晰的图像。它不需要任何先验知识或手动调整的参数，具有较好的通用性和自适应性。

优点：
1. 去雾效果良好：DehazeNet在处理雾霾图像时能够产生令人满意的去雾效果。
2. 自适应调整：DehazeNet能够根据不同图像的特征自适应地调整参数，以获得更准确的去雾结果。根据图像中的光照条件和雾霾程度进行自动调整，从而提高了去雾的鲁棒性和适应性。
3. 立体感增强：除了去除雾霾，DehazeNet还能够增强图像的立体感。它能够恢复图像中物体的深度信息，使得远处物体和近处物体之间的差异更加明显，从而提高图像的视觉效果。
缺点：
1. 计算复杂度高：需要进行大量的计算才能生成去雾图像，这会导致算法的运行时间较长，特别是在处理大尺寸图像时。因此，在实际应用中需要考虑算法的计算资源需求。
2. 对低对比度图像效果不佳：DehazeNet在处理低对比度的图像时可能效果不佳。由于雾霾造成了图像的对比度下降，这会导致算法难以准确地估计大气光照和透射率，从而影响去雾效果。
3. 对噪声敏感：DehazeNet对图像中的噪声比较敏感。在去雾过程中，如果图像中存在较多的噪声，算法可能会将噪声误判为雾霾，并产生一些伪影或伪雾效果。

2.2MSCNN

论文：drive.google.com/file/d/1COs…
代码：github.com/rwenqi/Mult…

本文提出了一种基于 $\color{blue}{多尺度卷积神经网络}$ （Multi-scale Convolutional Neural Networks）和 $\color{blue}{整体边缘}$ （Holistic Edges）的方法来进行单幅图像去雾。该方法通过学习图像特征和去雾映射关系，能够从受大气散射影响的模糊图像中恢复出清晰的图像内容，以下是该方法的主要步骤：

数据集准备：使用真实世界的户外场景图像作为训练数据集。这些图像包含原始图像和相应的去雾图像对。
多尺度卷积神经网络：为了捕获不同尺度上的图像特征，作者设计了一个多尺度卷积神经网络。该网络包括多个卷积层和池化层，能够学习到图像的局部和全局特征。
整体边缘生成：在进行去雾之前，作者使用边缘检测算法生成整体边缘。这些边缘对于恢复图像的细节和纹理非常重要。
去雾处理：在获取了多尺度特征和整体边缘后，作者将它们输入到去雾模型中。该模型通过学习从模糊图像到去雾图像的映射关系来恢复图像的清晰度。为了优化模型参数，作者使用了残差损失函数和感知损失函数。

该算法的 $\color{blue}{整体架构}$ 如下所示。

下图（a）是提出的单幅图像去雾算法的主要步骤。为了训练多尺度网络，作者基于深度图像数据集合成朦胧图像和相应的传输图。在测试阶段，基于训练好的模型估计输入的模糊图像的透视图，然后利用估计的大气光和计算的透射图生成去雾图像。

下图中（b）提出了多尺度卷积网络。给定一幅模糊图像，粗尺度网络（绿色虚线框）预测出一个整体的传输图，并将其提供给精细尺度网络（橙色虚线框），以生成一个精细的传输图。然后，作者使用整体边缘来细化透射图，使其在同一物体内部平滑。蓝色虚线表示连接操作。

优点：高质量去雾效果、多尺度处理、网络端到端训练、鲁棒性好
缺点：计算复杂度高、对输入参数敏感、部分细节损失

2.3AOD-Net

论文：arxiv.org/pdf/1707.06…
代码：gitcode.net/mirrors/May…

本文提出了一种使用卷积神经网络（CNN）构建的图像去雾模型，称为一体式去雾网络（AOD-Net）。它是基于重新制定的大气散射模型而设计的。 AOD-Net 没有像以前的大多数模型那样分别估计传输矩阵和大气光，而是通过轻量级 CNN 直接生成干净的图像。这种新颖的端到端设计可以轻松地将 AOD-Net 嵌入到其他深度模型中，例如 Faster R-CNN，以提高模糊图像上的高级任务性能。

AOD-Net 的一个显著特点是它能够估计透射率图，该图表示每个像素中的雾气量。然后，透射率图用于引导去雾处理过程，以有效地去除雾气。网络在训练过程中学习估计透射率图并同时执行去雾操作。在推断时，AOD-Net 接收有雾图像作为输入，并应用其学习到的转换来生成去雾后的图像。通过从大量有雾和对应清晰图像的数据集中进行学习，网络能够很好地泛化，并有效地从各种场景中去除雾霾。

AOD-Net的整体架构如下。它由两个模块组成，如下图 (a) 所示：一个 $\color{blue}{K-估计模块}$ ，根据输入的I (x) 估计 K (x)，后面是一个利用 K (x) 的 $\color{blue}{干净图像生成模块}$ ，作为其输入自适应参数来估计 J (x)。

K-估计模块是AOD-Net的关键组件，负责估计深度和相对雾度水平。如下图（b）所示，作者使用五个卷积层，并通过融合不同尺寸的滤波器形成多尺度特征。AOD-Net 的“concat1”层连接了“conv1”层和“conv2”层的特征。类似地，“concat2”连接来自“conv2”和“conv3”的特征； “concat3”连接“conv1”、“conv2”、“conv3”和“conv4”的特征。这种多尺度设计捕获了不同尺度的特征，中间连接也补偿了卷积过程中的信息损失。值得注意的是，AOD-Net 的每个卷积层仅使用三个滤波器。因此，与现有的深度方法相比，AOD-Net 是轻量级的。在K-估计模块之后，干净图像生成模块由一个逐元素乘法层和多个逐元素加法层组成，以便生成恢复图像。

为了便于理解K-估计模块，这里给出五个卷积层的实现代码：

import torch
import torch.nn as nn
import math
class dehaze_net(nn.Module):
	def __init__(self):
		super(dehaze_net, self).__init__()
		self.relu = nn.ReLU(inplace=True)
	############   每个卷积层只用三个核   ##############
		self.e_conv1 = nn.Conv2d(3,3,1,1,0,bias=True) 
		self.e_conv2 = nn.Conv2d(3,3,3,1,1,bias=True) 
		self.e_conv3 = nn.Conv2d(6,3,5,1,2,bias=True) ## 连接1、2层，3+3=6，输出3
		self.e_conv4 = nn.Conv2d(6,3,7,1,3,bias=True) ##连接2，3层，3+3=6，输出3
		self.e_conv5 = nn.Conv2d(12,3,3,1,1,bias=True) #连接1，2，3，4层，3+3+3+3=12，输出3
	def forward(self, x):
		source = []
		source.append(x)
    ############   K-estimation   ##############
		x1 = self.relu(self.e_conv1(x))
		x2 = self.relu(self.e_conv2(x1))

		concat1 = torch.cat((x1,x2), 1)
		x3 = self.relu(self.e_conv3(concat1))

		concat2 = torch.cat((x2, x3), 1)
		x4 = self.relu(self.e_conv4(concat2))

		concat3 = torch.cat((x1,x2,x3,x4),1)
		x5 = self.relu(self.e_conv5(concat3))
     #######     带入公式    ############
		clean_image = self.relu((x5 * x) - x5 + 1) 
		return clean_image

2.4NLD

论文及代码：github.com/danaberman/…

非局部图像去雾（Non-local image dehazing）是一种用于去除图像中雾霾效应的算法，它通过分析图像中的非局部信息来估计并恢复原始场景的亮度和颜色。传统的去雾算法通常基于局部信息，例如对每个像素使用局部均值或梯度进行处理。然而，这种方法在处理雾霾较为严重的图像时可能会导致细节丢失和色彩失真。相比之下，Non-local image dehazing算法利用图像中的全局信息来更准确地恢复场景的外观。

Non-local image dehazing算法的 $\color{blue}{核心思想}$ 是通过建立图像中像素之间的相似性关系来获取附近区域的参考信息。它假设图像中的每个像素都可以从其他像素中获取信息，并使用这些信息来对当前像素进行去雾处理。下面是一种常见的Non-local image dehazing算法的步骤：

雾霾模型估计：首先，需要估计图像中的雾霾模型。常用的模型是单色模型或深度模型。单色模型假设雾霾主要由散射光引起，而深度模型则假设雾霾程度与场景深度相关。
暗通道先验计算：通过计算图像的暗通道先验来获取图像中的全局大气光值。暗通道是指在无雾条件下，图像中某些区域的最小值较低。通过找到这些区域并计算其最小值，可以估计出全局大气光值。
雾密度估计：使用估计的大气光值和雾霾模型，可以计算每个像素点处的雾密度。这可以通过比较像素点处的亮度与估计的大气光值来实现。
非局部相似性权重计算：对于每个像素点，根据其周围的局部块与整个图像中其他块之间的相似性来计算非局部相似性权重。
雾移除处理：使用计算得到的非局部相似性权重和雾密度，可以对图像进行去雾处理。通过对每个像素点进行加权平均，可以恢复出被雾霾遮挡的细节。

优点：
1. 高质量去雾效果：算法利用全局信息进行处理，能够更准确地估计雾霾影响，从而产生高质量的去雾结果。相比传统基于局部信息的算法，它能够更好地保留图像的细节和色彩。
2. 自适应性：该算法不依赖于任何先验设定参数，而是通过分析图像本身来自适应地获取全局大气光和可见度图。这使得算法在不同的图像场景下表现出较强的适应性和鲁棒性。
3. 无需引入附加信息：与某些去雾方法需要额外输入如深度图或大气散射模型不同，该算法仅使用图像自身的信息进行处理，无需额外引入其他辅助数据。
4. 能见度估计准确度高：通过使用非局部相似性原理，该算法能够准确地估计每个像素的能见度，并据此恢复图像的颜色和细节。这有助于消除颜色失真，并在去雾过程中保持图像的自然感。
缺点：
1. 计算复杂度较高：算法涉及全局信息的处理，需要在整个图像中搜索具有相似颜色的像素。这导致了算法的计算复杂度较高，尤其是对于处理大型图像或实时应用场景而言，可能需要较长的处理时间。
2. 对噪声敏感：由于该算法依赖于非局部相似性原理，在存在噪声较多的图像中，可能会影响到算法的准确性和效果。噪声信号可能被错误地视为相似区域，从而产生不理想的去雾结果。
3. 参数选择困难：虽然算法无需外部参数，但在算法内部仍存在一些参数需要进行调整。对于不同的图像场景，可能需要进行不同的参数设置，这对于用户来说可能是一个挑战。

2.5SSLD

论文：drive.google.com/file/d/1c7S…

半监督图像去雾（Semi-Supervised Image Dehazing）是一种用于改善模糊、有雾的图像质量的图像处理技术，旨在从具有部分标记或未标记的图像数据中学习图像去雾模型，以恢复被雾气遮挡的图像细节。

传统的图像去雾方法通常依赖于完全标记的训练数据，即每个输入图像都有对应的已知的去雾输出。然而，获取大量完全标记的图像对于训练一个准确的模型来说是非常耗费时间和资源的。半监督图像去雾通过结合已标记的图像和未标记的图像数据，充分利用未标记数据中的信息，提供了一种更高效、经济的解决方案。

单幅图像去雾的半监督学习框架如下图所示。该方法由两个具有相同权值的分支—— $\color{blue}{监督分支和无监督分支}$ 组成。监督分支使用标记合成数据和基于均方误差、感知误差和对抗性误差的损失函数进行训练。使用未标记的真实数据和基于暗信道损失和总变化的损失函数来训练无监督分支。

优点：高质量的去雾效果、半监督学习的灵活性、可拓展性强
缺点：有标注数据的需求、对雾霾密度变化敏感、需要适当的参数调整

2.6EPDN

论文：openaccess.thecvf.com/content_CVP…
代码：github.com/ErinChen1/E…

增强型pix2pix去雾网络（Enhanced pix2pix dehazing network，EPDN）是一种用于图像去雾的深度学习模型。它基于pix2pix模型（是一种生成对抗网络），并进行了改进以提高去雾效果。以下是该模型的主要特点：

数据集：Enhanced pix2pix dehazing network使用了大量的雾霾图像和对应的清晰图像对作为训练数据集。这些图像对用于教导模型学习如何去除雾霾并还原图像的细节。
损失函数：模型使用了多种损失函数来指导训练过程。其中包括感知损失、内容损失和对抗性损失等。这些损失函数帮助生成器生成更真实、清晰的图像，并帮助判别器更好地区分生成的图像和真实的清晰图像。
网络架构：Enhanced pix2pix dehazing network采用了改进的生成器和判别器网络架构。生成器使用了深层卷积神经网络（CNN）来学习图像转换任务。同时，引入了跳跃连接（skip connection），以便在不同层级捕捉到更多的上下文信息。判别器网络也进行了优化，增强了对生成图像的辨别能力。
先验知识：该模型还可以利用先验知识来指导去雾过程。例如，利用天气条件或场景结构等信息，可以更准确地还原雾霾图像中的细节。

以下是EPDN模型的具体结构，它包含 $\color{blue}{多分辨率生成器，多尺度判别器和增强器}$ 。

多分辨率生成器由全局子生成器G1和局部子生成器G2组成。如上图所示，G1和G2都包括一个卷积前端、三个残差块和一个转置卷积后端。 G1 的输入是对原始模糊图像进行 2 倍下采样。 G1嵌入到G2中，G1的输出与G2的卷积前端获得的特征图的逐元素和被馈送到G2的残差块中。全局子生成器创建粗尺度的图像，而局部子生成器创建精细尺度的图像。两个子生成器的组合产生从粗到细的图像。

多尺度判别器模块包含名为 D1 和 D2 的两个尺度判别器。 D1 和 D2 具有相同的架构，D2 的输入是 D1 输入的 2 倍下采样。生成器的输出被馈送到 D1。多尺度判别器可以引导生成器从粗到细。一方面，D2 引导生成器生成粗尺度的全局伪真实图像。另一方面，D1 在精细范围内引导生成器。

增强块如下图所示。具体来说，增强块中有两个3×3前端卷积层。前端卷积层的输出按4×、8×、16×、32×因子下采样，构建四尺度金字塔。不同尺度的特征图提供不同的感受野，这有助于在不同尺度上重建图像。然后采用1×1卷积进行降维。之后将特征图上采样到原始大小，并将它们与前端卷积层的输出连接在一起。最后在特征图的串联上实现 3 × 3 卷积。

2.7DAD

论文：openaccess.thecvf.com/content_CVP…
代码：github.com/HUSTSYJ/DA_…

领域自适应去雾算法（Domain Adaptation for Image Dehazing，DAD）旨在解决图像去雾任务中源领域和目标领域之间的差异问题，它提出了一种 $\color{blue}{领域自适应}$ 方法来改善在不同环境条件下的图像去雾性能。以下是该论文的主要内容：

提出的方法：论文提出了一种基于深度学习的领域自适应算法，用于图像去雾任务中的目标领域数据。该方法通过将源领域和目标领域进行特征对齐，实现源领域知识的迁移，从而改善目标领域的去雾效果。
特征对齐：为了减小源领域和目标领域之间的分布差异，论文采用了两个步骤来进行特征对齐。首先，在源领域和目标领域上训练两个基于卷积神经网络（CNN）的特征提取器，并使用最大均值差异（Maximum Mean Discrepancy，MMD）损失函数来对齐两个特征空间。然后，利用自适应批归一化（Adaptive Batch Normalization）来进一步缩小源域和目标域的特征分布。
领域适应损失：为了促进源领域和目标领域之间的特征对齐，论文引入了一个领域适应损失函数。该损失函数包括最大均值差异损失和感知损失，用于约束源领域和目标领域的特征表示在空间和感知上的一致性。
无监督学习：根据领域自适应的思想，论文利用目标领域的未标注数据进行无监督学习。通过使用目标领域数据，可以进一步优化去雾模型以适应目标领域的特点。
实验评估：论文通过在公开数据集上进行实验评估，证明了所提出方法的有效性。与其他相关方法相比，该方法在跨领域的图像去雾任务中取得了较好的性能。

下图是所提出的图像去雾域适应框架的架构。该框架由两部分组成，一个图像翻译模块和两个图像去雾模块。图像翻译模块将图像从一个域翻译到另一域以减少域差异。图像去雾模块在合成域和真实域上执行图像去雾。

2.8PSD

论文：openaccess.thecvf.com/content/CVP…
代码：github.com/zychen-ustc…

基于物理先验的合成到真实去雾（Principled Synthetic-to-Real Dehazing Guided by Physical Priors，PSD）旨在通过结合 $\color{blue}{物理先验}$ 来实现合成到真实的去雾过程。该算法利用深度学习和物理模型相结合的方式，提高有雾图像的可见度，并还原场景的细节。

与仅依赖数据驱动方法不同，PSD将物理先验融入去雾过程中。它利用对光散射和透射模型的理解来指导去雾算法。下面是PSD算法的详细介绍：

合成图像生成：PSD首先通过物理模型生成合成的有雾图像。这些合成图像是通过从清晰的图像中引入雾霾效果来模拟退化过程。具体而言，物理模型考虑了光的散射和透射，以及雾霾对图像的影响。
网络训练：使用合成的有雾图像和对应的清晰图像，PSD训练一个深度神经网络。这个网络被设计为将有雾图像映射到无雾图像。通过大量的合成图像对进行训练，网络可以学习到雾霾与图像之间的复杂关系。
物理先验整合：在去雾过程中，PSD利用已经训练好的神经网络来估计透射图。透射图表示每个像素处的雾霾程度。然而，为了更好地约束估计的透射图，PSD引入了物理先验。这些先验基于对雾霾形成和散射过程的物理理解，包括雾霾衰减和颜色恢复等约束。
优化透射图：PSD通过优化过程进一步改善估计的透射图。它将物理先验与数据驱动的深度学习相结合，以获得更准确和现实的透射图。这样可以更好地反映真实场景中的雾霾分布和属性。
去雾处理：最后，PSD使用优化后的透射图来去除输入有雾图像中的雾霾。它通过根据透射图对输入图像进行修复和恢复操作，增强图像的可见度，并还原底层场景细节。最终输出的图像是经过去雾处理的清晰图像。

下面是PSD 框架图。模型由 $\color{blue}{主干、物理兼容头和大气光估计网络（A-net）}$ 构成。作者使用合成图像对模型进行预训练，然后在基于多个物理先验的代理损失委员会的指导下，使用合成图像和真实模糊图像对模型进行微调。

优点：物理先验引导、数据驱动学习、提高可见度、原则性和可靠性
缺点：训练数据依赖、计算复杂度较高、对光照条件敏感

2.9MSBDN

论文：openaccess.thecvf.com/content_CVP…
代码：github.com/BookerDeWit…

多尺度增强去雾网络与密集特征融合（Multi-scale boosted dehazing network with dense feature fusion，MSBDN）是一种用于改善模糊或有雾图像的深度学习模型。算法的各个组成部分如下：

多尺度处理：该网络在多个尺度上运行，以捕捉输入图像中的全局和局部信息。通常会使用一系列具有不同感受野的卷积层，在不同的粒度级别上分析图像。
增强去雾：”增强”一词表示使用增强技术，如AdaBoost或梯度提升，来改善去雾过程的性能。增强算法将多个弱去雾模型组合起来，形成一个更强大的集成模型。
密集特征融合：密集特征融合旨在以稠密且相互连接的方式结合来自不同网络层的特征。它有助于在不同尺度间传播信息，并有效地捕捉低级和高级特征。这种融合技术通过利用丰富的上下文信息，增强了网络处理去雾任务的能力。

MSBDN采用跳跃连接将相应的特征图从编码器模块引入到增强解码器模块，下图所示为MSBDN算法的框架，该框架基于U-Net 体系结构。网络包括三个部分：编码器模块Encoder，增强型解码器模块Boosted Decoder和功能恢复模块。

优点：多尺度处理、增强去雾效果、密集特征融合、高性能
缺点：计算复杂度较高、对于极端情况的效果不佳、对输入图像质量敏感

2.10GFN

论文：openaccess.thecvf.com/content_cvp…
代码：github.com/rwenqi/GFN-…

Gated Fusion Network for Single Image Dehazing模型的核心思想是通过融合多个不同层次的特征来恢复被雾霾遮挡的图像细节。它采用了 $\color{blue}{门控机制}$ （gating mechanism），在特征融合过程中动态地选择和调整不同特征的权重，以更好地适应不同图像内容和雾霾程度。这样可以使模型更具灵活性和适应性，从而实现更好的去雾效果。具体来说，Gated Fusion Network包含以下几个关键组成部分：

特征提取器（Feature Extractor）：这是一个用于提取输入图像的特征表示的卷积神经网络。它可以将原始图像转换为一系列不同层次的特征图，每个特征图捕捉了不同尺度和语义层次的信息。
雾霾感知模块（Haze Perception Module）：这个模块用于估计输入图像中雾霾的程度和分布。它可以通过分析不同层次的特征图的对比度和亮度来检测雾霾区域，并生成相应的遮罩（mask）作为后续处理的依据。
逐层融合模块（Layer-wise Fusion Module）：这个模块用于逐层地融合不同尺度的特征。它使用门控机制来自适应地选择和调整不同特征之间的权重，以实现更好的特征融合效果。通过逐层融合，模型可以同时考虑低层次的细节信息和高层次的语义信息，从而提高去雾效果。
去雾恢复模块（Dehaze Restoration Module）：这个模块用于基于融合后的特征图进行去雾恢复。它通过学习一个映射函数，将输入图像与估计的雾霾遮罩一起转换为去除雾霾的图像。这个模块通常使用卷积神经网络或者转置卷积神经网络来实现。

下图所示为GFN的网络结构。该网络包含 $\color{blue}{对称编码器和解码器层}$ 。为了检索更多上下文信息，作者使用扩张卷积（DC）来扩大编码器块中卷积层的感受野。短路连接从卷积特征图连接到反卷积特征图。三个增强版本源自输入的模糊图像。然后，这三个输入分别由我们的网络学习到的三个置信图进行加权。