本发明属于图像处理及模式识别，涉及一种基于深度哈希网络的特征融合掌纹掌静脉匹配方法。
背景技术：
1、目前，识别掌纹掌静脉的方法包括基于编码的方法、主成分分析方法以及深度学习方法等。
2、然而，现有的掌纹掌静脉识别方法存在一些缺陷，限制了其在实际应用中的效果和性能。其中，包括但不限于以下几点：首先，部分现有方法在处理图像质量较差或对比度不高的情况下，识别精度较低，容易受到噪声和光照变化的影响。其次，部分方法在处理大规模数据集时，可能存在类别不平衡的情况，导致模型对少数类别的识别效果不佳。另外，部分方法的计算复杂度较高，导致在实际应用中需要较长的识别时间，不利于实时识别场景的应用。
3、因此，本申请致力于改善或解决上述问题，旨在提高识别精度、降低计算复杂度，并解决类别不平衡问题，从而更适用于各种实际应用场景。
技术实现思路
1、本发明的目的在于针对大规模掌纹掌静脉分类数量的场景下，现有one-hot向量作为输出分类存在准确率低、复杂度高、不适合现场且测试识别不出等缺陷，提出了基于深度哈希网络的特征融合掌纹掌静脉匹配方法，所述方法通过基于深度哈希网络进行特征融合，将掌纹和掌静脉图像映射为二进制哈希值，使得不同类哈希值间的汉明距离较大，同类哈希值间的汉明距离较小，由此判断两组数据是否为同类型，最后通过近似哈希匹配算法进行匹配测试。
2、为了达到上述目的，本发明采取如下技术方案：
3、第一方面，本发明提出一种基于深度哈希网络的特征融合掌纹掌静脉检测系统，具有训练模式和匹配测试模式；所述检测系统包括数据预处理模块、预训练模块、深度哈希网络及近似哈希匹配模块；数据预处理模块与预训练模块相连；预处理模块及预训练模块与深度哈希网络相连，所述深度哈希网络与近似哈希匹配模块相连；所述深度哈希网络通过基于mpsnet模型的特征提取主干网络构建；所述数据预处理模块用于对输入所述深度哈希网络的数据进行预处理，得到预处理后数据，预处理后数据分别输入预训练模块及深度哈希网络；所述数据预训练模块接收预处理后数据，进行特征提取链接到与分类数相同的分类器以one-hot编码作为输出、交叉熵为损失函数、adam优化器进行预训练，保存特征提取子模块参数；训练模式的深度哈希网络包括特征提取子模块、分类器子模块和损失函数子模块；匹配训练模式的深度哈希网络不计算损失函数仅将图像通过预处理后经过特征提取子模块提取特征后，再通过分类器子模块映射为哈希值；近似哈希匹配模块，在训练模式下，深度哈希网络训练完成后，将每个输入类的哈希值通过哈希树构建子模块构建为哈希树；在匹配测试模式中，哈希值匹配子模块将预处理后图像转化的哈希值进行匹配。
4、所述深度哈希网络，包括训练模式及匹配测试模式的数据预处理模块；训练模式的数据预处理模块，包括roi提取子模块、数据增强子模块、图像增强子模块；匹配测试模式的数据预处理模块，包括roi提取子模块以及图像增强子模块。
5、在训练模式下，预处理模块接收原始掌纹、掌静脉图像，依次通过roi提取、数据增强及图像增强，再将图像增强后的图像输入给深度哈希网络；在匹配测试模式下，预处理模块接收原始掌纹、掌静脉图像，依次通过roi提取及图像增强，再将图像增强后的图像输入给深度哈希网络。
6、所述特征提取子模块为mpsnet的特征提取主干网络；所述分类器子模块，包括全连接层、激活子模块及tanh函数子模块；全连接层及激活子模块与tanh函数子模块相连。
7、深度哈希网络在训练模式中，接收掌纹、掌静脉图像经过两个特征提取子模块被各自处理生成融合特征，随后将融合特征输入分类器子模块；分类器子模块将该融合特征映射为哈希值并将哈希值输入给损失函数子模块反向传播梯度并更新特征提取子模块和分类器子模块的参数；在匹配测试模式不计算损失函数，仅将图像通过预处理后经过特征提取子模块提取特征后，再通过分类器子模块映射为哈希值。
8、所述近似哈希匹配模块，包括哈希树构建子模块和哈希值匹配子模块，分别工作于训练模式和匹配测试模式；训练模式中，深度哈希网络训练完成后，将每个输入类的哈希值通过哈希树构建子模块构建为哈希树；在匹配测试模式中，将前述图像转化的哈希值输入到哈希值匹配子模块进行匹配。
9、第二方面，本发明提供一种基于深度哈希网络的特征融合掌纹掌静脉匹配方法，基于给定的若干受试者掌纹掌静脉图像进行训练、匹配测试并构建搜索结构；所述训练，包括如下步骤：
10、s10、对掌纹掌静脉训练集进行预处理，获取输入给深度哈希网络模块的训练数据，得到预处理后数据；
11、s11、对于预处理后数据，进行特征提取链接与分类数相同的分类器以one-hot编码作为输出、交叉熵为损失函数、adam优化器进行预训练，保存特征提取子模块参数；
12、s12、对于给定的掌纹掌静脉训练集，训练深度哈希网络计算每个样本的哈希值，对同类样本的哈希值进行平均处理找到代表哈希值，再记录所有类的代表哈希值；
13、s13、基于所有类的代表哈希值，通过近似哈希值匹配中的哈希树构建方法构建哈希树。
14、s13所述代表哈希值，指的是：对同类样本的哈希值求均值并找出与所有同类哈希值汉明距离之和最小的哈希值。
15、所述匹配并构建搜索结构，包括如下步骤：
16、s20、数据预处理模块接收原始掌纹、掌静脉图像，依次通过roi提取模块提取roi、图像增强模块增强图像，得到预处理后图像；再将预处理后图像输入深度哈希网络；
17、s21、基于深度哈希网络，对预处理后图像依次通过特征提取子模块提取特征，再连接深度哈希网络的分类器，通过分类器映射为哈希值；
18、s22、将哈希值输入近似哈希值匹配模块进行匹配，得到匹配结果。
19、将预处理后图像通过特征提取子模块提取特征，具体为：接收掌纹、掌静脉图像经过两个特征提取子模块被各自处理成特征再融合；分类器映射为哈希值，具体为：分类器子模块中的分类器将特征提取子模块融合的特征映射为哈希值。
20、与现有技术相比，本发明所产生的有益效果在于：
21、1、所述方法具有识别精度高、在复杂环境下鲁棒性好的优势；
22、2、所述方法基于深度哈希网络模块，具有存储空间小，计算速度快的优势；
23、3、所述方法依托于提出的近似哈希值匹配方法，在匹配中具有复杂度低的优势。
1.一种基于深度哈希网络的特征融合掌纹掌静脉检测系统，具有训练模式和匹配测试模式；其特征在于，所述检测系统包括数据预处理模块、预训练模块、深度哈希网络及近似哈希匹配模块；所述数据预处理模块与预训练模块相连；所述数据预处理模块及预训练模块均与深度哈希网络相连，所述深度哈希网络与近似哈希匹配模块相连；所述深度哈希网络基于mpsnet模型的特征提取主干网络构建；
2.根据权利要求1所述的一种基于深度哈希网络的特征融合掌纹掌静脉检测系统，其特征在于，深度哈希网络包括训练模式及匹配测试模式的数据预处理模块；训练模式的数据预处理模块包括roi提取子模块、数据增强子模块、图像增强子模块；匹配测试模式的数据预处理模块，包括roi提取子模块以及图像增强子模块。
3.根据权利要求2所述的一种基于深度哈希网络的特征融合掌纹掌静脉检测系统，其特征在于，在训练模式下，数据预处理模块接收原始掌纹、掌静脉图像，依次通过roi提取子模块提取、数据增强子模块及图像增强子模块增强后，再将增强后的图像输入深度哈希网络；
4.根据权利要求1所述的一种基于深度哈希网络的特征融合掌纹掌静脉检测系统，其特征在于，所述特征提取子模块为mpsnet的特征提取主干网络；所述分类器子模块包括全连接层、激活子模块及tanh函数子模块；全连接层及激活子模块与tanh函数子模块相连。
5.根据权利要求4所述的一种基于深度哈希网络的特征融合掌纹掌静脉检测系统，其特征在于，深度哈希网络在训练模式中，接收掌纹、掌静脉图像经过两个特征提取子模块被各自处理生成融合特征，随后将融合特征输入分类器子模块；分类器子模块将该融合特征映射为哈希值并将哈希值输入给损失函数子模块反向传播梯度并更新特征提取子模块和分类器子模块的参数；
6.根据权利要求1所述的一种基于深度哈希网络的特征融合掌纹掌静脉检测系统，其特征在于，训练模式中，深度哈希网络训练完成后，将每个输入类的哈希值通过哈希树构建子模块构建为哈希树；在匹配测试模式中，将前述图像转化的哈希值输入到哈希值匹配子模块进行匹配。
7.基于深度哈希网络的特征融合掌纹掌静脉匹配方法，基于给定的若干受试者掌纹掌静脉图像进行训练、匹配测试并构建搜索结构，其特征在于，所述训练包括如下步骤：
8.根据权利要求7所述的基于深度哈希网络的特征融合掌纹掌静脉匹配方法，其特征在于，s12所述代表哈希值指的是：对同类样本的哈希值求均值并找出与所有同类哈希值汉明距离之和最小的哈希值。
9.根据权利要求7所述的基于深度哈希网络的特征融合掌纹掌静脉匹配方法，其特征在于，所述匹配包括如下步骤：
10.根据权利要求9所述的基于深度哈希网络的特征融合掌纹掌静脉匹配方法，其特征在于，将预处理后图像通过特征提取子模块提取特征，具体为：
