面向识别过程的热红外人脸图像纹理增强方法、系统及存储介质

专利2025-06-07  76


本发明涉及图像处理,尤其涉及一种面向识别过程的热红外人脸图像纹理增强方法、系统及存储介质。


背景技术:

1、红外图像是红外技术与成像技术结合的产物,其主要应用于军事和安防等领域,例如在监控领域,在无光条件下,装有红外摄像头的监控设备仍能获取监控视野范围内的环境信息。但由于红外图像的成像机理以及红外成像系统自身的原因,红外图像与可见光图像相比,大多有图像对比度低、图像较模糊、信噪比低等特点。这对后续的特征提取、识别或跟踪等极为不利,因此抑制噪声,提高图像信噪比,以及调整红外图像对比度,增强红外图像边沿及线条等操作是必不可少的。所以,需要对图像进行适当的处理,因此红外图像增强是非常有必要的。

2、红外图像纹理增强技术的主要目的是处理一幅给定的红外图像使它的结果对某种特定应用来说比原始图像更合用。通过增强,可以改善红外图像的质量,为后续对红外图像的操作提供准备。

3、传统的红外图像纹理增强技术主要是指使用灰度变换、线性于非线性变换、图像平滑滤波等传统图像处理方法,将原本模糊不清甚至根本无法分辨的原始图像处理成清晰的富含大量有用信息的可使用图像,有效地去除图像中的噪声、增强图像中的边缘或其他感兴趣的区域。其中最为常用的红外纹理增强算法是dde(digital detail enhancement)算法。在dde算法进行图像处理时,先利用特殊的滤波器将图像的背景层(低频部分)和细节层(高频部分)进行分离,然后分别对提取的背景层和细节层进行相应的灰度增强和噪声抑制处理,再调整和压缩各图层的动态范围,最终合成一幅8bits的输出图像,这样,就可以在8bits范围内表现出14bits图像中的大动态温差以及目标局部的细节信息。

4、由于深度学习的广泛应用,目前部分方法开始使用神经网络实现红外图像增强。一种方法使用全卷积网络,这种方法一般通过全卷积网络提取红外图像的特征信息,通过跳连接进行特征融合,丰富细节信息,达到增强的效果。另一种方法使用生成对抗网络,以真实的可见光灰度图像为条件,依靠识别子网络d监督生成子网络g,并通过生成子网络和识别子网络的相互博弈,实现红外图像增强。

5、目前还没有一款面向人脸识别过程的、基于深度学习的红外人脸图像纹理增强算法。

6、相比起传统的红外图像纹理增强方法,基于深度学习的红外图像纹理增强方法能够提供更高的精度,应用场景也更广。但目前的红外图像纹理增强技术依然存在着许多的问题。

7、首先,一般的基于深度学习的红外纹理增强方法的训练过程中,需要使用到成对的低分辨率和高分辨率图片作为训练集,且要求图像对之间的视角、内容等完全一致,如此大量且有严格限制的图像对显然难以通过两只红外相机分别拍摄获得。

8、其次,大多数基于深度学习的红外纹理增强方法是面向一般场景的,当对人脸图片使用这些增强方法时,不能达到很好的纹理增强效果。

9、最后,开发面向人脸识别过程的热红外人脸纹理增强技术难度很大。在模型设计过程中,难以使用人脸识别的结果对纹理增强过程进行有效监督;而在模型训练过程中,也容易因为梯度爆炸和梯度消失等问题导致训练失败。


技术实现思路

1、本发明提供了一种种面向识别过程的热红外人脸图像纹理增强方法,包括如下步骤:

2、步骤1,训练数据获取步骤:通过使用高分辨率热红外摄像机进行数据采集,获得热红外图像;之后通过仿真操作,根据红外摄像头标定的温度分辨率对高分辨率热红外图像灰度值进行阶梯化处理,获得其对应的低分辨率热红外图像;

3、步骤2,训练步骤:将在训练数据获取步骤获得的图像对作为训练数据,送入纹理增强网络中进行训练,在训练过程中,将纹理增强网络输出的结果再次送入可见光人脸识别网络中,将其获得的最后推断的分类交叉熵损失、以及纹理增强网络输出结果与高分辨率热红外图像的l2损失的加权和作为纹理增强网络的损失函数,完成对纹理增强网络的监督;

4、步骤3,预测步骤:仅使用低温度分辨率红外摄像头所拍摄的人脸图像,通过纹理增强网络,获得其对应的纹理增强后的图像。

5、作为本发明的进一步改进,在所述步骤1中,对高分辨率热红外摄像机获得的热红外图像进行去噪处理,获得更加清晰的热红外图像。

6、作为本发明的进一步改进,在所述步骤1中,通过中值滤波的方法对高分辨率热红外摄像机获得的热红外图像进行去噪处理,获得更加清晰的热红外图像。

7、本发明还提供了一种面向识别过程的热红外人脸图像纹理增强系统,包括:存储器、处理器以及存储在所述存储器上的计算机程序,所述计算机程序配置为由所述处理器调用时实现本发明所述热红外人脸图像纹理增强方法的步骤。

8、本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序配置为由处理器调用时实现本发明所述热红外人脸图像纹理增强方法的步骤。

9、本发明的有益效果是:本发明能够将低分辨率的热红外人脸图像通过纹理增强算法生成高分辨率的热红外人脸图像,且能够保证其特征朝着有利于识别的方向提升,且原身份信息得到了保留。



技术特征:

1.一种面向识别过程的热红外人脸图像纹理增强方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的热红外人脸图像纹理增强方法,其特征在于:在所述步骤1中,对高分辨率热红外摄像机获得的热红外图像进行去噪处理,获得更加清晰的热红外图像。

3.根据权利要求2所述的热红外人脸图像纹理增强方法,其特征在于:在所述步骤1中,通过中值滤波的方法对高分辨率热红外摄像机获得的热红外图像进行去噪处理,获得更加清晰的热红外图像。

4.根据权利要求1所述的热红外人脸图像纹理增强方法,其特征在于:l2损失函数为公式5-1,其中h、w分别为图像的高度与宽度,x为通过仿真生成的低分辨率热红外图像,y为高分辨率热红外图像,f为纹理增强网络,θ为网络参数;

5.根据权利要求4所述的热红外人脸图像纹理增强方法,其特征在于:所述可见光人脸识别网络为vgg网络。

6.根据权利要求5所述的热红外人脸图像纹理增强方法,其特征在于:分类交叉熵损失为公式5-2与5-3,其中k是人脸总类别数,yk是图像y所属的人脸类别;

7.根据权利要求1所述的热红外人脸图像纹理增强方法,其特征在于:所述纹理增强网络为基于残差学习的热红外人脸图像纹理增强卷积神经网络,采用残差学习,直接学习高分辨率热红外图像与低分辨率热红外图像之间的映射关系。

8.根据权利要求7所述的热红外人脸图像纹理增强方法,其特征在于:所述纹理增强网络由特征提取模块、映射模块和图像重建模块构成,在除图像重建模块以外,每一个卷积层后面都有一个prelu层,其中prelu层的操作如公式5-5所示,其输入图像分辨率为1xhxw,首先在特征提取模块依次通过两个conv3x3生成一个56xhxw的特征图,所述特征图分别通过一个conv1x1网络、两个conv3x3网络、一个conv1x1网络,生成一个新的56xhxw特征图,最后将新的56xhxw特征图依次通过一个conv3x3网络,并将得到的1xhxw图像与原低分辨率图像按像素求和,生成最后的高分辨率热红外图像;

9.一种面向识别过程的热红外人脸图像纹理增强系统,其特征在于,包括:存储器、处理器以及存储在所述存储器上的计算机程序,所述计算机程序配置为由所述处理器调用时实现权利要求1-8中任一项所述热红外人脸图像纹理增强方法的步骤。

10.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质存储有计算机程序,所述计算机程序配置为由处理器调用时实现权利要求1-8中任一项所述热红外人脸图像纹理增强方法的步骤。


技术总结
本发明提供了一种面向识别过程的热红外人脸图像纹理增强方法、系统及存储介质,包括训练数据获取步骤、训练步骤和预测步骤。本发明的有益效果是:本发明能够将低分辨率的热红外人脸图像通过纹理增强算法生成高分辨率的热红外人脸图像,且能够保证其特征朝着有利于识别的方向提升,且原身份信息得到了保留。

技术研发人员:何震宇,王池,田超,杨超
受保护的技术使用者:哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
技术研发日:
技术公布日:2024/11/11
转载请注明原文地址: https://tieba.8miu.com/read-14762.html

最新回复(0)