1.本发明涉及水下图像处理技术领域，尤其涉及一种基于多特征图像融合的水下图像超分辨率方法。
背景技术：2.近年来，随着人类对海洋资源开发的不断深入，水下机器视觉领域的发展对海洋资源的探索到了至关重要的作用。但由于水下环境复杂多样，海水中的大量悬浮物导致的光照强度衰减，水体环境对光照的前向散射和后向散射等影响因素，水下获取的图像通常存在色彩失真、细节模糊、对比度低和分辨率低等问题。因此，利用水下图像超分辨率重建技术来提升水下图像的对比度和分辨率，以解决水下图像细节纹理缺失和模糊不清的问题，具有重要的研究意义。
3.图像超分辨率重建技术就是运用数字图像处理和计算机视觉等领域的相关知识，将低质量、低分辨率的图像恢复成高质量、高分辨率图像的技术。相较于低分辨率图像，高分辨率图像通常包含更大的像素密度、更丰富的纹理细节以及更高的可信赖度。所以高分辨率的图像对于提高人类对图像的识别能力和识别精度有着很大的帮助。图像超分辨率重建方法分为传统的超分辨率重建算法和基于深度学习的超分辨率重建算法。传统的超分辨率重建算法主要是通过数字图像处理技术进行图像重建，主要有基于插值的方法、基于退化模型的方法、基于学习的方法等。随着深度学习算法的兴起，越来越多的基于深度学习的超分辨率重建方法开始出现。
4.相较于陆地上的图像超分辨率重建方法，现有的图像超分辨率重建方法在水下领域的研究相对较少。因为水下成像通常受到能见度差、光吸收和散射的影响，造成水下图像缺乏重要细节，感兴趣区域不显著，这给水下图像超分辨率重建带来了巨大的困难。研究人员近年来已经对水下图像超分辨率重建进行了一些研究尝试，研究重点是从噪声或模糊的图像中重建出质量更好的水下图像。其中，基于特征融合的图像超分辨率方法为解决水下图像超分辨率重建提供了很好的思路。特征融合模块能够将多幅特征图中最显著的特征提取并融合到一幅图像中去，合并成有更强判别能力的特征图像。而超分辨率模块采用深度残差网络结构，使用跳跃连接来保留卷积层重复块中的标识映射，这有助于稳定的训练非常深层的网络模型。在密集残差块中的跳跃连接能够组合来自每个层的层次特征，以提高图像超分辨率重建的性能。基于特征融合的图像超分辨率方法能够解决水下图像特征提取困难，细节特征不明显，分辨率低的问题。
技术实现要素：5.根据现有技术存在的问题，本发明公开了一种基于多特征图像融合的水下图像超分辨率方法，具体包括如下步骤：
6.获取水下图像，采用白平衡、自适应直方图均衡化和暗通道先验三种方法分别对该水下图像进行预处理；
7.构建特征融合超分辨率网络模型，将三种预处理后的水下图像和原图像输入至特征融合超分辨率网络模型中进行训练，并获得每种预处理图像的置信度信息；
8.将原图像分别与三种预处理图像进行特征优化获得三种特征优化图像；
9.将三种特征优化图像分别与各自的置信度相乘得到三种待融合的水下图像，将三种待融合的水下图像整合相加进行特征融合，得到特征融合的水下图像；
10.对特征融合的水下图像进行超分辨率重建，获得超分辨率重建图像。
11.进一步的，所述白平衡方法为：首先对水下图像进行颜色投射校正，获取准确的色彩还原；所述自适应直方图均衡化方法为：首先计算水下图像的局部直方图，对亮度进行重新分布改进水下图像的局部对比度从而获得图像的更多细节；所述暗通道先验方法为：计算水下图像的透射率和大气光成分值，对原始图像进行高斯低通滤波后进行反转得到透射率图像，根据透射率图像得到局部去雾的水下图像。
12.进一步的，将自适应直方图均衡化特征优化图像r
he
、白平衡特征优化图像r
wb
和暗通道先验特征优化图像r
dcp
分别与各自的置信度d
he
、d
wb
和d
dcp
相乘得到三种待融合的水下图像，将三种待融合的水下图像整合相加进行特征融合，得到特征融合的水下图像i
er
，该过程的函数表示为：
13.i
er
＝d
he
×rhe
+d
wb
×rwb
+d
dcp
×rdcp
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
14.在对水下图像进行特征融合过程中，采用最小化感知损失函数学习特征融合水下图像的映射函数，从而减少由像素级损失函数引起的伪影，度量特征融合图像i
er
与参考图像i
rf
之间的差异性感知损失函数为：
[0015][0016]
其中，n表示训练过程中每批次的数量，w
khkck
分别表示网络模型内第k个卷积层的特征映射的宽度、高度和通道数，θk(x)表示激活后的预训练的网络模型的第k层。
[0017]
进一步的，对特征融合的水下图像进行超分辨率重建时包括对水下图像中的低层特征信息和高层特征信息进行重建：
[0018]
其中对低层特征信息进行重建时：首先提取水下图像中的低层特征信息，并对水下图像中的低层特征信息进行恢复；
[0019]
其中对高层特征信息进行重建时：首先提取水下图像的高层特征信息，再采用迁移学习方法使用预先训练好的网络模型提取高分辨率水下图像的高层特征信息，将该高层信息与上一步骤提取的高层特征信息进行对比，采用最小化均方误差法缩小二者的误差；
[0020]
采用反卷积方法对恢复后的水下图像低层特征信息和高层特征信息进行超分辨率重建。
[0021]
进一步的，对特征融合的水下图像进行超分辨率重建时，首先衡量提取出的水下图像特征与从网络模型中提取出的水下图像特征之间的差距程度，得到接近真实的高分辨率的水下图像，采用内容损失函数衡量图像之间的相似程度，
[0022]
lc(f)＝ι
h,l
[||θ(h)-θ(f(l))||2]
ꢀꢀꢀ
(3)
[0023]
其中，f:{l}
→
h代表一个学习函数或映射，l表示低分辨率图像域，h表示高分辨率图像域；为了调控感知损失函数公式(2)和内容损失函数公式(3)，使得两个损失函数得到
小的损失，引入与损失函数相关的超参数λk与λc，则特征融合超分辨率网络的目标损失函数表示为：
[0024][0025]
由于采用了上述技术方案，本发明提供的一种基于多特征图像融合的水下图像超分辨率方法，该方法能够很好地解决水下图对比度低、分辨率低等问题。对解决水下图像色偏问题也有一定的帮助；该方法运用特征融合网络，能更好的在减少伪影的同时提取预处理图像的有用细节信息；该方法使用深度残差块结构，能很好的提取并组合水下图像的低层次的特征细节，使用迁移学习的方法，对水下图像的高层特征细节进行补充，以超分辨率重建出高质量，高分辨率的水下图像。
附图说明
[0026]
为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0027]
图1为本发明基于多特征图像融合的水下图像超分辨率方法的流程图；
[0028]
图2为本发明基于多特征图像融合的水下图像超分辨率方法的总体框架结构图。
具体实施方式
[0029]
为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：
[0030]
如图1所示的一种基于多特征图像融合的水下图像超分辨率方法，该方法首先获取不同海域、不同深度的水下图像，并分别采用白平衡、自适应直方图均衡化、暗通道先验三种算法处理原始图像以构建具有多种判别信息的水下特征图。然后，将三种特征图与原始图像一起输入到特征置信度网络中，获得每种特征图像的置信度信息。此外，使用特征优化单元对特征图进行处理以减少预处理算法引入的多余的颜色映射和伪影。将优化后的特征图像分别乘以各自的置信度，得到待融合的水下图像，然后将以上不同类型图像融合获得特征融合图像。由于水体对光的散射等原因，水下图像特征提取困难，而特征融合能从具有多种判别信息的水下特征图中提取目标本质特征，合并成有更强判别能力的特征图像。之后，将特征融合图像输入到超分辨率模块，利用密集残差块组合来自每个卷积层的低层特征信息，并使用迁移学习的方法补充图像的高层特征信息，最后使用反卷积操作将图像分辨率进行放大。该方法解决了水下图像对比度低，分辨率低的问题，有效的增强了水下图像的细节纹理特征，提高了水下图像的分辨率。该方法的具体步骤为：
[0031]
s1：获取水下图像，采用白平衡、自适应直方图均衡化和暗通道先验三种方法分别对该水下图像进行预处理，具体采用如下方式：
[0032]
s11：获取水下图像整合成数据集，并将获取的水下图像数据集，按照7：3的比例分成训练数据集和测试数据集。
[0033]
s12：采用白平衡方法，预处理水下图像。针对水下图像偏蓝偏绿的特点，将水下图
像中红色像素通道占比增大，绿色蓝色通道占比调小，进行颜色投射校正，获取准确的色彩还原。具体来说，先统计rgb每个通道的像素值直方图分布，将直方图分布前0.25％的像素赋值0，后0.25％的像素值赋值255，其余部分均衡映射到0～255之间，相当与对每个通道执行一次直方图均衡。这样使得每一个值通道的值在rgb中分布较均匀，达到颜色平衡的结果。
[0034]
s13：采用自适应直方图均衡化方法，预处理水下图像。计算水下图像的局部直方图，然后重新分布亮度来改进水下图像的局部对比度以及获得更多的图像细节。具体来说，先用直方图规定化方法处理水下图像分割成的每个局部区域，然后用双线性内插将水下图像的相邻局部区域组合起来以消除人工引入的边界效应，特别是可以限制均匀亮度区域的对比度，以免放大噪声。
[0035]
s14：采用暗通道先验方法，预处理水下图像。先计算水下图像的透射率和大气光成分值，然后原始图像通过高斯低通滤波后进行反转得到透射率图像，之后由透射率图像得到局部去雾的水下图像，这样使得水下图像中的暗区域得到亮度提升。
[0036]
s2：构建特征融合超分辨率网络模型，具体采用如下方式：
[0037]
s21：采用pytorch搭建深度学习框架。
[0038]
s22：编译模型，以便完成拟合训练过程。采用门控融合网络架构来设计置信度模块，采用多层卷积与修正线性单元来设计特征优化模块，采用密集残差块与反卷积操作来设计超分辨率模块。
[0039]
s23：在获取的训练数据集上拟合模型，将epoch设置为400，batch_size设置为16，学习率设置为0.001。
[0040]
s24：评估模型并进行预测，用可变数据和随机测试对模型进行测试，以验证训练模型的有效性，以及其性能效率是否符合预期要求。
[0041]
s3：将所述的三种预处理后的图像与原图像一起输入到特征融合超分辨率网络中进行训练，经过特征置信度模块，获得每种预处理图像的置信度，具体采用如下方式：
[0042]
s31：将三种预处理后的图像与原图像并行输入到特征融合超分辨率网络中的特征置信度模块。
[0043]
s32：采用多层卷积与归一化指数函数的方法，对网络进行训练，获得每种预处理图像的置信度信息。
[0044]
s33：从学习到的置信度信息确定特征融合图像中的最显著特征，将三种预处理特征图像组合成一个综合利用多种图像特征，有更强判别能力的特征图像，实现多特征的优势互补，获得更加鲁棒和显著性的结果。
[0045]
s4：对原始水下图像采用三种图像处理算法进行预处理，虽然能够从不同角度增强水下图像的细节特征，但是会给图像增加多余的背景噪声。而所述的特征优化模块能尽可能的减少，由三种图像处理算法在原始图像中引入的颜色映射和伪影，提高图像质量。将原图像分别与三种预处理图像输入到特征优化模块，进行特征优化，获得三种特征优化图像，具体采用如下方式：
[0046]
s41：将原图像分别与三种预处理图像输入到特征融合超分辨率网络中的特征优化模块。
[0047]
s42：为了更加有效率的梯度下降以及反向传播：避免梯度爆炸和梯度消失问题，
采用多层卷积与线性整流函数的方法，对网络进行训练，提取并组合输入图像的特征信息，减少由三种图像处理算法在原始图像中引入的颜色映射和伪影，提高图像质量，同时活跃度的分散性降低了神经网络整体计算成本。
[0048]
s5：由于水体对光的散射等原因，水下图像特征提取困难，而特征融合能从具有多种判别信息的水下特征图中提取目标本质特征，合并成有更强判别能力的特征图像。对所述三种特征优化图像，分别与各自的置信度相乘，得到待融合的水下图像。并对所述的三种待融合的水下图像整合相加进行特征融合，得到特征融合的水下图像，具体采用如下方式：
[0049]
s51：采用element-wise相乘的方法，将经过特征优化模块得到的三种特征优化图像，与各自的置信度信息相乘，得到三种待融合的水下图像。
[0050]
s52：采用element-wise相加的方法，将三种待融合的水下图像整合相加进行特征融合，得到特征融合的水下图像。
[0051]
s53：将特征融合过程进行函数表示，以便于确定损失成本。将直方图均衡化特征优化图像r
he
、白平衡特征优化图像r
wb
和暗通道先验特征优化图像r
dcp
分别与各自的置信度d
he
、d
wb
和d
dcp
相乘得到三种待融合的水下图像，将三种待融合的水下图像整合相加进行特征融合，得到特征融合的水下图像i
er
，该过程的函数表示为：
[0052]ier
＝d
he
×rhe
+d
wb
×rwb
+d
dcp
×rdcp
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0053]
s54：在对水下图像进行特征融合过程中，采用最小化感知损失函数学习特征融合水下图像的映射函数，从而减少由像素级损失函数引起的伪影，度量特征融合图像i
er
与参考图像i
rf
之间的差异性感知损失函数为：
[0054][0055]
其中，n表示训练过程中每批次的数量，w
khkck
分别表示网络模型内第k个卷积层的特征映射的宽度、高度和通道数，θk(x)表示激活后的预训练的网络模型的第k层。
[0056]
s6：对所述特征融合的水下图像，输入到超分辨率模块进行超分辨率重建，获得超分辨率重建图像，具体采用如下方式：
[0057]
s61：采用多层卷积和批标准化的方法，提取水下图像中的低层特征信息，并采用密集残差跳跃连接的方式，组合来自每个卷积层的层次特征和标识映射，对水下图像中的低层特征信息进行恢复。
[0058]
s62：采用多层卷积和批标准化的方法，提取并保存水下图像的高层特征信息。
[0059]
s63：采用迁移学习的方法，获得预先训练好的从预训练网络模型提取出的高分辨率水下图像的高层特征信息。
[0060]
s64：将步骤二保存的高层特征信息与步骤三获得的高层特征信息进行对比，采用最小化均方误差法缩小二者的误差，并对水下图像的高层特征信息进行恢复。
[0061]
s65：采用反卷积方法对恢复后的水下图像低层特征信息和高层特征信息进行超分辨率重建，获得超分辨率的水下图像。
[0062]
s66：对特征融合的水下图像进行超分辨率重建时，为衡量提取出的水下图像特征与用迁移学习方法获得的水下图像特征之间的差距程度，得到接近真实的高分辨率的水下图像，采用内容损失函数衡量图像之间的相似程度，
[0063]
lc(f)＝ι
h,l
[||θ(h)-θ(f(l))||2]
ꢀꢀꢀ
(3)
[0064]
其中，f:{l}
→
h代表一个学习函数或映射，l表示低分辨率图像域，h表示高分辨率图像域；为了调控感知损失函数公式(2)和内容损失函数公式(3)，使得两个损失函数得到小的损失，引入与损失函数相关的超参数λk与λc，则特征融合超分辨率网络的目标损失函数表示为：
[0065][0066]
本发明公开的基于特征融合网络的水下图像超分辨率方法，能够很好地解决水下图对比度低、分辨率低等问题。对解决水下图像色偏问题也有一定的帮助。运用特征融合网络，能更好的在减少伪影的同时提取预处理图像的有用细节信息。使用深度残差块结构，能很好的提取并组合水下图像的低层次的特征细节，使用迁移学习的方法，对水下图像的高层特征细节进行补充，以超分辨率重建出高质量，高分辨率的水下图像。
[0067]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
技术特征：1.一种基于多特征图像融合的水下图像超分辨率方法，其特征在于包括：获取水下图像，采用白平衡、自适应直方图均衡化和暗通道先验三种方法分别对该水下图像进行预处理；构建特征融合超分辨率网络模型，将三种预处理后的水下图像和原图像输入至特征融合超分辨率网络模型中进行训练，并获得每种预处理图像的置信度信息；将原图像分别与三种预处理图像进行特征优化获得三种特征优化图像；将三种特征优化图像分别与各自的置信度相乘得到三种待融合的水下图像，将三种待融合的水下图像整合相加进行特征融合，得到特征融合的水下图像；对特征融合的水下图像进行超分辨率重建，获得超分辨率重建图像。2.根据权利要求1所述的基于多特征图像融合的水下图像超分辨率方法，其特征在于：所述白平衡方法为：首先对水下图像进行颜色投射校正，获取准确的色彩还原；所述自适应直方图均衡化方法为：首先计算水下图像的局部直方图，对亮度进行重新分布改进水下图像的局部对比度从而获得图像的更多细节；所述暗通道先验方法为：计算水下图像的透射率和大气光成分值，对原始图像进行高斯低通滤波后进行反转得到透射率图像，根据透射率图像得到局部去雾的水下图像。3.根据权利要求1所述的基于多特征图像融合的水下图像超分辨率方法，其特征在于：将自适应直方图均衡化特征优化图像r
he
、白平衡特征优化图像r
wb
和暗通道先验特征优化图像r
dcp
分别与各自的置信度d
he
、d
wb
和d
dcp
相乘得到三种待融合的水下图像，将三种待融合的水下图像整合相加进行特征融合，得到特征融合的水下图像i
er
，该过程的函数表示为：i
er
＝d
he
×
r
he
+d
wb
×
r
wb
+d
dcp
×
r
dcp
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)在对水下图像进行特征融合过程中，采用最小化感知损失函数学习特征融合水下图像的映射函数，从而减少由像素级损失函数引起的伪影，度量特征融合图像i
er
与参考图像i
rf
之间的差异性感知损失函数为：其中，n表示训练过程中每批次的数量，w
k
h
k
c
k
分别表示网络模型内第k个卷积层的特征映射的宽度、高度和通道数，θ
k
(x)表示激活后的预训练的网络模型的第k层。4.根据权利要求1所述的基于多特征图像融合的水下图像超分辨率方法，其特征在于：对特征融合的水下图像进行超分辨率重建时包括对水下图像中的低层特征信息和高层特征信息进行重建：其中对低层特征信息进行重建时：首先提取水下图像中的低层特征信息，并对水下图像中的低层特征信息进行恢复；其中对高层特征信息进行重建时：首先提取水下图像的高层信息，再采用迁移学习方法使用预先训练好的网络模型提取高分辨率水下图像的高层信息，将该高层信息与上一步骤提取的高层信息进行对比，采用最小化均方误差法缩小二者的误差；采用反卷积方法对恢复后的水下图像低层特征信息和高层特征信息进行超分辨率重建。5.根据权利要求4所述的基于多特征图像融合的水下图像超分辨率方法，其特征在于：
对特征融合的水下图像进行超分辨率重建时，首先衡量提取出的水下图像特征与从网络模型中提取出的水下图像特征之间的差距程度，得到接近真实的高分辨率的水下图像，采用内容损失函数衡量图像之间的相似程度，l
c
(f)＝ι
h,l
[||θ(h)-θ(f(l))||2]
ꢀꢀꢀ
(3)其中，f:{l}
→
h代表一个学习函数或映射，l表示低分辨率图像域，h表示高分辨率图像域；为了调控感知损失函数公式(2)和内容损失函数公式(3)，使得两个损失函数得到小的损失，引入与损失函数相关的超参数λ
k
与λ
c
，则特征融合超分辨率网络的目标损失函数表示为：
技术总结本发明公开了一种基于多特征图像融合的水下图像超分辨率方法，包括：获取水下图像，采用白平衡、自适应直方图均衡化和暗通道先验三种方法分别对该水下图像进行预处理；构建特征融合超分辨率网络模型，将三种预处理后的水下图像和原图像输入至特征融合超分辨率网络模型中进行训练，并获得每种预处理图像的置信度信息；将原图像分别与三种预处理图像进行特征优化获得三种特征优化图像；将三种特征优化图像分别与各自的置信度相乘得到三种待融合的水下图像，得到特征融合的水下图像；对特征融合的水下图像进行超分辨率重建，获得超分辨率重建图像；该方法能更好的在减少伪影的同时提取预处理图像的有用细节信息。取预处理图像的有用细节信息。取预处理图像的有用细节信息。
技术研发人员：付先平 王息宁 姚冰 蒋广琪
受保护的技术使用者：大连海事大学
技术研发日：2022.07.06
技术公布日：2022/11/1
