本发明涉及图像处理，具体涉及一种红外图像和可见光图像的融合方法及装置。
背景技术：
1、红外和可见光图像融合技术是将红外图像与可见光图像进行融合，以提高图像质量和对目标的识别能力。
2、现有的融合方法主要是利用深度学习的红外和可见光融合算法，通过学习输入、输出图像的非线性映射关系进行融合，这种方法将可见光图像和红外图像直接作为输入图像输入融合网络，导致融合网络泛化性不足，还会导致对于纹理信息丰富的图像难以完全提取其特征信息，且无法平衡图像中大尺寸物体和极小尺寸物体的融合质量，另外，现有融合网络对不同图像区域没有侧重，在融合过程中对前景人物等信息和背景信息做同等方式融合，不能突出前景信息的重要性。
3、综上，现有的融合方法的融合结果不佳。
技术实现思路
1、有鉴于此，本发明实施例提供一种红外图像和可见光图像的融合方法及装置，以实现提高融合图像质量的目的。
2、为实现上述目的，本发明实施例提供如下技术方案：
3、本发明实施例第一方面公开了一种红外图像和可见光图像的融合方法，所述方法包括：
4、获取待融合的红外图像和可见光图像；
5、分别对所述红外图像和所述可见光图像进行高通滤波，得到红外高频图像和可见光高频图像；
6、对所述红外高频图像进行非下采样剪切波变换，得到红外高频方向子带图像；
7、将所述红外高频方向子带图像与所述可见光高频图像进行堆叠得到目标图像；
8、将所述目标图像输入到预先构建的融合网络，得到所述融合网络输出的高频加权特征图；所述融合网络中包含注意力机制模块；所述高频加权特征图包含所述目标图像中经过非线性调整的高频特征，所述高频加权特征图的各通道存在对应的权重；
9、利用长跳跃连接方式将所述高频加权特征图与所述可见光图像进行短接，得到融合图像。
10、优选的，所述对所述红外高频图像进行非下采样剪切波变换，得到红外高频方向子带图像，包括：
11、基于非下采样金字塔对红外高频图像进行k级分解，并且设置每一级的方向数为m，得到k个高频子带系数，其中，每一个所述高频子带系数包含m个方向的目标高频子带系数；k和m为正整数；
12、将预设的无需重构的所述目标高频子带系数置0；
13、将各个所述目标高频子带系数变换到图像域，得到红外高频方向子带图像。
14、优选的，所述融合网络包括：特征提取网络和特征注入网络，所述特征提取网络和所述特征注入网络分别包含多个残差模块，每一所述残差模块均包含注意力机制模块。
15、优选的，所述将所述目标图像输入到预先构建的融合网络，得到所述融合网络输出的高频加权特征图，包括：
16、利用所述特征提取网络中的多个所述残差模块，提取所述目标图像中的低频特征得到低频特征图，并利用所述注意力机制模块对所述低频特征图进行加权处理，得到并输出低频加权特征图；
17、从所述目标图像中剔除所述低频加权特征图中包含的所述低频特征，得到高频目标图像；
18、利用所述特征注入网络中的多个所述残差模块，对所述高频目标图像中的高频特征进行非线性调整，得到高频特征图，并利用所述注意力机制模块对所述高频特征图进行加权处理，得到并输出高频加权特征图。
19、优选的，所述注意力机制模块包括：全局平均池化层、扩张率为1的普通卷积层、扩张率大于1的扩张卷积层、全连接层和sigmoid函数层。
20、优选的，所述利用所述注意力机制模块对所述低频特征图进行加权处理，得到并输出低频加权特征图，包括：
21、将所述低频特征图依次通过所述全局平均池化层、所述普通卷积层、所述扩张卷积层、所述全连接层和所述sigmoid函数层进行处理，得到所述sigmoid函数层输出的第一权重系数；
22、基于所述第一权重系数对所述低频特征图进行加权处理，得到并输出低频加权特征图；
23、相应的，所述利用所述注意力机制模块对所述高频特征图进行加权处理，得到并输出高频加权特征图，包括：
24、将所述高频特征图依次通过所述全局平均池化层、所述普通卷积层、所述扩张卷积层、所述全连接层和所述sigmoid函数层进行处理，得到所述sigmoid函数层输出的第二权重系数；
25、基于所述第二权重系数对所述高频特征图进行加权处理，得到并输出高频加权特征图。
26、本发明实施例第二方面公开了一种红外图像和可见光图像的融合装置，所述装置包括：
27、获取单元，用于获取待融合的红外图像和可见光图像；
28、滤波单元，用于分别对所述红外图像和所述可见光图像进行高通滤波，得到红外高频图像和可见光高频图像；
29、变换单元，用于对所述红外高频图像进行非下采样剪切波变换，得到红外高频方向子带图像；
30、堆叠单元，用于将所述红外高频方向子带图像与所述可见光高频图像进行堆叠得到目标图像；
31、提取单元，用于将所述目标图像输入到预先构建的融合网络，得到所述融合网络输出的高频加权特征图；所述高频加权特征图包含所述目标图像中经过非线性调整的高频特征，所述高频加权特征图的各通道存在对应的权重；
32、融合单元，用于利用长跳跃连接方式将所述高频加权特征图与所述可见光图像进行短接，得到融合图像。
33、优选的，所述变换单元，具体用于：
34、基于非下采样金字塔对红外高频图像进行k级分解，并且设置每一级的方向数为m，得到k个高频子带系数，其中，每一个所述高频子带系数包含m个方向的目标高频子带系数；k和m为正整数；
35、将预设的无需重构的所述目标高频子带系数置0；
36、将各个所述目标高频子带系数变换到图像域，得到红外高频方向子带图像。
37、优选的，所述融合网络包括：特征提取网络和特征注入网络，所述特征提取网络和所述特征注入网络分别包含多个残差模块，每一所述残差模块均包含注意力机制模块。
38、优选的，所述提取单元，包括：
39、提取子单元，用于利用所述特征提取网络中的多个所述残差模块，提取所述目标图像中的低频特征得到低频特征图，并利用所述注意力机制模块对所述低频特征图进行加权处理，得到并输出低频加权特征图；
40、剔除子单元，用于从所述目标图像中剔除所述低频加权特征图中包含的所述低频特征，得到高频目标图像；
41、调整子单元，用于利用所述特征注入网络中的多个所述残差模块，对所述高频目标图像中的高频特征进行非线性调整，得到高频特征图，并利用所述注意力机制模块对所述高频特征图进行加权处理，得到并输出高频加权特征图。
42、基于上述本发明实施例提供的一种红外图像和可见光图像的融合方法及装置，获取待融合的红外图像和可见光图像；分别对所述红外图像和所述可见光图像进行高通滤波，得到红外高频图像和可见光高频图像；对所述红外高频图像进行非下采样剪切波变换，得到红外高频方向子带图像；将所述红外高频方向子带图像与所述可见光高频图像进行堆叠得到目标图像；将所述目标图像输入到预先构建的融合网络，得到所述融合网络输出的高频加权特征图；所述融合网络中包含注意力机制模块；所述高频加权特征图包含所述目标图像中经过非线性调整的高频特征，所述高频加权特征图的各通道存在对应的权重；利用长跳跃连接方式将所述高频加权特征图与所述可见光图像进行短接，得到融合图像。在本方案中，高通滤波提高了融合网络的泛化性，注意力机制模块能够在融合过程中突出前景信息，非下采样剪切波变换具有多尺度和平移不变性的特点，可以提高不同尺寸物体的融合质量，最终实现提高融合图像质量的目的。
1.一种红外图像和可见光图像的融合方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述红外高频图像进行非下采样剪切波变换，得到红外高频方向子带图像，包括：
3.根据权利要求1所述的方法，其特征在于，所述融合网络包括：特征提取网络和特征注入网络，所述特征提取网络和所述特征注入网络分别包含多个残差模块，每一所述残差模块均包含注意力机制模块。
4.根据权利要求3所述的方法，其特征在于，所述将所述目标图像输入到预先构建的融合网络，得到所述融合网络输出的高频加权特征图，包括：
5.根据权利要求4所述的方法，其特征在于，所述注意力机制模块包括：全局平均池化层、扩张率为1的普通卷积层、扩张率大于1的扩张卷积层、全连接层和sigmoid函数层。
6.根据权利要求5所述的方法，其特征在于，所述利用所述注意力机制模块对所述低频特征图进行加权处理，得到并输出低频加权特征图，包括：
7.一种红外图像和可见光图像的融合装置，其特征在于，所述装置包括：
8.根据权利要求7所述的装置，其特征在于，所述变换单元，具体用于：
9.根据权利要求7所述的装置，其特征在于，所述融合网络包括：特征提取网络和特征注入网络，所述特征提取网络和所述特征注入网络分别包含多个残差模块，每一所述残差模块均包含注意力机制模块。
10.根据权利要求9所述的装置，其特征在于，所述提取单元，包括：
