本发明涉及太赫兹安检和图像超分辨,具体涉及一种基于生成对抗网络和混合transformer的太赫兹图像超分辨方法及系统。
背景技术:
1、太赫兹波段是电磁波谱中的一部分,位于微波和红外之间,相比于可见光和红外线,太赫兹波段具有更强的穿透能力,可以穿透雾霾、纸张、塑料等一些常见的障碍物,实现隐蔽物体的成像。由于其的电磁波穿透力强,对许多非金属和非电导体材料具有良好的穿透性,同时太赫兹波段的能量相对较低,对人体和大多数材料的影响较小,不会造成显著的生物危害,因此适合于生物医学和安全检测等领域。
2、传统太赫兹成像系统的分辨率通常较低,这使得难以获得高清晰度和细节丰富的图像。特别是在需要精确测量或细微结构分析的应用中,分辨率限制可能成为一个显著的问题。并且太赫兹波段易受到大气条件、材料表面条件和系统内部噪声等因素的影响,在整体的图像中会存在大量的高斯噪声以及信息失真从而导致成像质量下降。太赫兹成像系统的设计和调试相对复杂,需要高度精确的控制和校准,以确保成像质量。这种复杂性不仅增加了设备的制造成本,还可能增加操作和维护的困难度。由于波源波动和传感器噪声、电磁波干扰和波源的低功率,太赫兹图像的空间分辨率低、轮廓特征模糊、背景噪声高。因此,开发一种具有去噪能力好、鲁棒性高、成像分辨率高的图像增强算法对于太赫兹图像危险品检测具有重要的意义。
技术实现思路
1、本发明针对上述问题,提供了一种基于生成对抗网络和混合transformer的太赫兹图像超分辨方法,所述方法包括:
2、步骤s1、使用太赫兹成像设备对待检测人员拍摄太赫兹图像,构建太赫兹图数据集;
3、步骤s2、基于生成对抗网络和缓和transformer构建太赫兹图像超分辨模型;
4、步骤s3、使用所述太赫兹图数据集对所述太赫兹图像超分辨模型进行训练,得到训练好的太赫兹图像超分辨模型;
5、步骤s4、使用训练好的网络对待检测的太赫兹图像进行图像超分辨。
6、可选的,所述步骤s1中,使用太赫兹成像设备对待检测人员拍摄太赫兹图像,构建太赫兹图数据集的内容具体包括:
7、使用太赫兹成像设备对待检测人员拍摄太赫兹图像,获得太赫兹图数据集th=[th1,th2,...,thk],对th进行4倍下采样后得到数据集tl=[tl1,tl2,...,tlk],所述th为高分辨率的太赫兹图像,所述tl为低分辨率的太赫兹图像。
8、可选的,所述s2中,基于生成对抗网络和缓和transformer构建太赫兹图像超分辨模型的内容具体包括:
9、步骤s21、使用生成对抗网络的生成器结构提取所述太赫兹图数据集的特征,得到特征图;
10、步骤s22、将所述特征图经过空间和通道卷积,并进行拼接,得到第一融合特征图;
11、步骤s23、将所述第一融合特征输入残差swin transformer模块,得到第二融合特征;
12、步骤s24、将所述第二融合特征输入巩固信息transformer模块,得到第三融合特征。
13、可选的,所述步骤s22中,将所述特征图经过空间和通道卷积,并进行拼接,得到第一融合特征图的内容具体包括:
14、将所述特征图输入卷积层进行特征提取后滤除噪声信息,得到特征激活后的特征图t1;
15、将所述特征图t1经过空间和通道卷积得到特征图t2;
16、将特征图t1加权一个优化因子γ后与特征图t2在维度1上进行特征的拼接融合,得到第一融合特征图tc。
17、可选的,所述步骤s23中,将所述第一融合特征输入残差swin transform er模块,得到第二融合特征的内容具体包括:
18、将特征图t1经过第一层残差swin transformer模块后,经过一个卷积层将输入特征与输出特征进行一个残差连接得到第一输出特征;
19、将所述第一特征图经过第二层残差swin transformer模块后,经过一个卷积层将输入特征与输出特征进行一个残差连接得到第二输出特征;
20、将所述第二特征图经过第二层残差swin transformer模块后,经过一个卷积层将输入特征与输出特征进行一个残差连接得到第三输出特征;
21、将所述第三特征图经过第二层残差swin transformer模块后,经过一个卷积层将输入特征与输出特征进行一个残差连接得到第二融合特征。
22、可选的,所述步骤s24中,将所述第二融合特征输入巩固信息transforme r模块,得到第三融合特征的内容具体包括:
23、将特征图t2经过巩固信息transformer模块巩固特征信息,即第三融合特征e;
24、e=τ·leff(ln(wmsa(ln(t2))+t2))+(wmsa(ln(t2))+t2)+t2
25、其中,leff(·)表示增强型前馈网络函数;wmsa(·)表示加权改良加权多头自注意力机制;ln(·)表示层归一化函数。
26、本发明还公开一种基于生成对抗网络和混合transformer的太赫兹图像超分辨系统,系统包括:数据采集模块、模型构建模块、模型优化模块和图像超分辨检测模块;
27、所述数据采集模块,用于使用太赫兹成像设备对待检测人员拍摄太赫兹图像,构建太赫兹图数据集;
28、所述模型构建模块,用于基于生成对抗网络和缓和transformer构建太赫兹图像超分辨模型;
29、所述模型优化模块,用于使用所述太赫兹图数据集对所述太赫兹图像超分辨模型进行训练,得到训练好的太赫兹图像超分辨模型;
30、所述图像超分辨率检测模块,用于使用训练好的网络对待检测的太赫兹图像进行图像超分辨率。
31、可选的,所述模型构建模块包括对抗网络提取特征子模块、空间通道卷积子模块、transformer子模块和特征融合子模块;
32、所述对抗网络提取特征子模块用于使用生成对抗网络的生成器结构提取所述太赫兹图数据集的特征,得到特征图;
33、所述空间通道卷积子模块用于将所述特征图经过空间和通道卷积,并进行拼接,得到第一融合特征图;
34、所述transformer子模块用于将所述第一融合特征输入残差swintransfo rmer模块,得到第二融合特征;
35、所述特征融合子模块用于将所述第二融合特征输入巩固信息transformer模块,得到第三融合特征。
36、与现有技术相比,本发明的有益效果为:
37、本发明提供了基于生成对抗网络和混合transformer的太赫兹图像超分辨方法及系统。在传统的太赫兹图像超分辨算法难以去除噪声的干扰,本发明通过设计残差空间和通道重建卷积增强密集模块,有效地对太赫兹图像中的噪声进行了去除并且对特征信息进行了提取,从而为后续的细节特征增强和图像重建提供了鲁棒性更好的特征图信息。同时引入的残差swin transformer模块实现了特征图之间的移动式提取以及多通道的融合,能够在较差的信息中稳定的读取其中的细节轮廓等关键信息。最后在图像重建部分使用了巩固信息transformer模块,在上采样之后巩固了模型的放大特征图信息。该方法适用于太赫兹图像超分辨的实时应用和多种场景。在许多领域,如安全检测、无损检测和医学成像等具有广阔的应用前景。
1.一种基于生成对抗网络和混合transformer的太赫兹图像超分辨方法,其特征在于,所述方法包括:
2.根据权利要求1所述的基于生成对抗网络和混合transformer的太赫兹图像超分辨方法,其特征在于,所述步骤s1中,使用太赫兹成像设备对待检测人员拍摄太赫兹图像,构建太赫兹图数据集的内容具体包括:
3.根据权利要求1所述的基于生成对抗网络和混合transformer的太赫兹图像超分辨方法,其特征在于,所述s2中,基于生成对抗网络和缓和transformer构建太赫兹图像超分辨模型的内容具体包括:
4.根据权利要求3所述的基于生成对抗网络和混合transformer的太赫兹图像超分辨方法,其特征在于,所述步骤s22中,将所述特征图经过空间和通道卷积,并进行拼接,得到第一融合特征图的内容具体包括:
5.根据权利要求4所述的基于生成对抗网络和混合transformer的太赫兹图像超分辨方法,其特征在于,所述步骤s23中,将所述第一融合特征输入残差swin transformer模块,得到第二融合特征的内容具体包括:
6.根据权利要求5所述的基于生成对抗网络和混合transformer的太赫兹图像超分辨方法,其特征在于,所述步骤s24中,将所述第二融合特征输入巩固信息transformer模块,得到第三融合特征的内容具体包括:
7.一种基于生成对抗网络和混合transformer的太赫兹图像超分辨系统,所述太赫兹图像超分辨系统用于实现权利要求1-6任一项所述的太赫兹图像超分辨方法,其特征在于,系统包括:数据采集模块、模型构建模块、模型优化模块和图像超分辨检测模块;
8.根据权利要求7所述的基于生成对抗网络和混合transformer的太赫兹图像超分辨系统,其特征在于,所述模型构建模块包括对抗网络提取特征子模块、空间通道卷积子模块、transformer子模块和特征融合子模块;
