本发明涉及图像质量评价,具体而言,尤其涉及一种多先验指导的水下图像质量评价方法。
背景技术:
1、在复杂的水下环境中,由于水中悬浮粒子和可溶性物质对光的吸收与散射作用,水下图像通常会出现颜色衰减、对比度差、细节模糊等问题,这限制了水下图像在实际场景中的应用。为解决这一问题,学者们研发了多样的水下图像增强方法以提高水下图像的质量。这些方法展现出优异性能,在提高水下图像视觉质量方面取得了可观的效果。然而,不同的增强方法生成的增强结果呈现出不同的特点,在视觉质量上有高低之分。如何正确地评估增强结果的质量、公平地比较不同算法的性能,成为促进水下图像增强方法发展和进步的一个关键性问题。
2、现有的图像质量评价方法可分为主观方法和客观方法,主观方法是通过人的主观感知去评估图像的视觉质量,这种方法需要耗费大量的时间和人力,在现实应用中具有很大的弊端。客观方法根据是否需要参考图像可以分为全参考图像质量评价方法、部分参考图像质量评价方法和无参考图像质量评价方法。因为获取与失真水下图像对应的高质量参考图像是几乎不可实现的,所以水下图像质量评价方法的研究通常聚焦于无参考图像质量评价方法。其主要思想是基于图像的颜色、对比度等某一特性设计相应的物理函数,之后采用多元线性回归的方法求解物理函数中的参数,使其相近与人类主观的视觉评价。此类方法的稳定性易受到多样水下场景的影响,在场景复杂、退化因素多样的水下图像上评价结果与人类主观评价偏差较大,参考意义较小,从而难以促进水下图像增强方法的改进和发展。
3、有鉴于此,本发明提供了一种多先验指导的水下图像质量评价方法。
技术实现思路
1、根据上述现有水下图像质量评价方法的不足,本发明提供一种多先验指导的水下图像质量评价方法。本发明主要基于transformer结构搭建,由串行特征提取模块和并行特征交互模块组成,能够较为准确地对多样的水下图像处理方法的性能进行评测。
2、本发明采用的技术手段如下:
3、本发明提供了一种多先验指导的水下图像质量评价方法,包括:
4、构建水下图像数据集,所述水下图像数据集包括多个图像组,所述图像组包括多张水下图像,同一所述图像组中的所述水下图像的场景相同、质量不同;
5、将所述水下图像数据集划分为训练集和测试集;
6、构建网络模型,所述网络模型包括串行特征提取模块、并行特征交互模块和线性映射层,所述串行特征提取模块用于提取所述水下图像的多尺度特征,所述并行特征交互模块用于对所述多尺度特征进行融合,所述线性映射层用于根据融合后的所述多尺度特征计算所述水下图像的质量分数;
7、采用所述训练集对所述网络模型进行训练,得到训练后的所述网络模型;
8、从所述测试集中选择任一所述图像组,将选择的所述图像组的所有所述水下图像分别输入训练后的所述网络模型,得到该组每张所述水下图像对应的质量分数;
9、根据该组每张所述水下图像对应的质量分数,对该组所有所述水下图像按照质量分数递增或分数递减的顺序进行排序。
10、优选地,构建所述水下图像数据集,包括:
11、获取uieb水下数据集,所述uieb水下数据集包括多张原始水下图像;
12、确定m种水下图像增强方法,m为整数且m≥2;
13、对所述原始水下图像分别采用m种水下图像增强方法进行处理,得到所述原始水下图像对应的m张增强的水下图像,对所述原始水下图像及其对应的m张所述增强的水下图像进行质量评分,得到所述图像组;
14、所有所述原始水下图像对应的所述图像组构成所述水下图像数据集。
15、优选地,构建所述网络模型,包括:
16、顺次连接的第一串行特征提取模块、第二串行特征提取模块、第三串行特征提取模块和第四串行特征提取模块;
17、顺次连接的第一并行特征交互模块、第二并行特征交互模块、第三并行特征交互模块、第四并行特征交互模块、第五并行特征交互模块、第六特征交互模块和所述线性映射层构成支路,所述支路包括第一支路、第二支路和第三支路,将所述第一支路的所述第一并行特征交互模块与所述第二串行特征提取模块连接,将所述第二支路的所述第一并行特征交互模块与所述第三串行特征提取模块连接,将所述第三支路的所述第一并行特征交互模块与所述第四串行特征提取模块连接;所述第二支路的所述第一并行特征交互模块分别与所述第一支路、所述第三支路的所述第一并行特征交互模块连接,所述第二支路的所述第二并行特征交互模块分别与所述第一支路、所述第三支路的所述第二并行特征交互模块连接,所述第二支路的所述第三并行特征交互模块分别与所述第一支路、所述第三支路的所述第三并行特征交互模块连接,所述第二支路的所述第四并行特征交互模块分别与所述第一支路、所述第三支路的所述第四并行特征交互模块连接,所述第二支路的所述第五并行特征交互模块分别与所述第一支路、所述第三支路的所述第五并行特征交互模块连接,所述第二支路的所述第六并行特征交互模块分别与所述第一支路、所述第三支路的所述第六并行特征交互模块连接。
18、优选地,所述串行特征提取模块包括:
19、颜色先验模块,用于生成所述水下图像的暗通道先验图;
20、对比度先验模块,用于生成所述水下图像的mscn系数直方图;
21、细节先验模块,用于生成所述水下图像的梯度幅值分布直方图;
22、根据所述暗通道先验图、所述mscn系数直方图和所述梯度幅值分布直方图的指导提取所述水下图像的多尺度特征。
23、优选地,所述颜色先验模块按照以下方式计算:
24、
25、其中,ic(p)为所述水下图像在像素点p处的像素值,ω(x)为以像素点x为中心的窗口区域,min为最小值函数,c为r通道、g通道和b通道。
26、优选地,所述对比度先验模块按照以下方式计算:
27、
28、其中,(x,y)为像素点的坐标,μ(x,y)为以像素点(x,y)为中心的窗口的灰度平均值,σ(x,y)为以像素点(x,y)为中心的窗口的灰度标准差,c0为第一常数,igray(x,y)为所述水下图像在像素点(x,y)的灰度值。
29、优选地,所述细节先验模块按照以下方式计算:
30、
31、其中,(x,y)为像素点的坐标,igm(x,y)为像素点(x,y)的梯度幅值,为线性卷积算子,hx为水平方向的高斯滤波器,hy为垂直方向的高斯滤波器。
32、优选地,所述并行特征交互模块包括:
33、顺次连接的卷积注意力模块、特征相加模块和前向反馈模块构成分路,所述分路包括第一分路、第二分路和第三分路,将所述第一分路的所述卷积注意力模块与所述第二分路的所述特征相加模块、所述第三分路的特征相加模块连接,将所述第二分路的所述卷积注意力模块与所述第一分路的所述特征相加模块、所述第三分路的特征相加模块连接,将所述第三分路的所述卷积注意力模块与所述第一分路的所述特征相加模块、所述第二分路的特征相加模块连接。
34、优选地,采用所述训练集对所述网络模型进行训练,包括:
35、s1:提供两个所述网络模型,两个所述网络模型共享权重;
36、s2:从所述训练集中选取两张所述水下图像并分别输入两个所述网络模型,两张所述水下图像属于同一所述图像组;
37、s3:两个所述网络模型的输出作为损失模块的输入,所述损失模块计算损失,并根据所述损失反向传播更新所述网络模型的参数;
38、重复步骤s2至s3,当满足终止条件,完成所述网络模型的训练。
39、优选地,所述损失模块计算损失,按照以下方式计算:
40、l(ih,il;θ)=max(0,f(ih;θ)-f(il;θ)+ε)
41、其中,l(ih,il;θ)为边际排名损失,ih为选取的两张所述水下图像中质量评分最高的所述水下图像,il为选取的两张所述水下图像中质量评分最低的所述水下图像,f(ih;θ)为ih对应的分数,f(il;θ)为il对应的分数,ε为第二常数,θ为所述网络模型的参数。
42、较现有技术相比,本发明具有以下优点:
43、本发明提供的一种多先验指导的水下图像质量评价方法,通过串行特征提取模块能够充分提取水下图像的多尺度特征,并行特征交互模块能够实现多尺度特征的交互。在串行和并行部分均使用卷积注意力模块进行图像特征的提取。鉴于复杂多样的水下环境对水下成像造成的颜色衰减、对比度差、细节模糊现象,本发明特设计三个物理先验指导网络学习水下失真图像的特征。训练阶段,本发明使用共享权重的孪生网络将由同一张水下失真图像生成的不同视觉质量的增强图像作为输入,得到不同增强图像的质量预估得分,再通过边际排名损失函数进行约束以迭代更新网络参数,得到能够对同一水下失真图像的不同增强结果进行视觉质量排序的网络模型。通过实验验证,本发明提出的水下图像质量评价方法,能够较为准确地对多样的水下图像处理方法的性能进行评测。
1.一种多先验指导的水下图像质量评价方法,其特征在于,包括:
2.根据权利要求1所述的一种多先验指导的水下图像质量评价方法,其特征在于,构建所述水下图像数据集,包括:
3.根据权利要求1或2所述的一种多先验指导的水下图像质量评价方法,其特征在于,构建所述网络模型,包括:
4.根据权利要求1所述的一种多先验指导的水下图像质量评价方法,其特征在于,所述串行特征提取模块包括:
5.根据权利要求4所述的一种多先验指导的水下图像质量评价方法,其特征在于,所述颜色先验模块按照以下方式计算:
6.根据权利要求4所述的一种多先验指导的水下图像质量评价方法,其特征在于,所述对比度先验模块按照以下方式计算:
7.根据权利要求4所述的一种多先验指导的水下图像质量评价方法,其特征在于,所述细节先验模块按照以下方式计算:
8.根据权利要求1所述的一种多先验指导的水下图像质量评价方法,其特征在于,所述并行特征交互模块包括:
9.根据权利要求1所述的一种多先验指导的水下图像质量评价方法,其特征在于,采用所述训练集对所述网络模型进行训练,包括:
10.根据权利要求9所述的一种多先验指导的水下图像质量评价方法,其特征在于,所述损失模块计算损失,按照以下方式计算:
