一种基于毫米波4d雷达的人脸识别方法
技术领域
1.本发明涉及人脸识别技术领域，特别是涉及一种基于毫米波4d雷达的人脸识别方法。
背景技术：2.随着现有的人脸识别大都是基于摄像头获得的图像数据，应用深度学习技术实现识别，其技术已经比较成熟，在人民生活中也得到了较多的应用，其应用场景大多是实现照片与实时人脸的比对识别。
3.现有的人脸识别技术受限于环境中的光线，当光照条件较差时识别准确度会下降；且实时的摄像头拍摄会保留设备周边环境的可视化信息以及用户的实际相貌，这些数据可以反映用户的部分信息，是一种隐私数据，当系统的安全性不强时，存在个人数据泄漏的风险。
技术实现要素：4.本发明的目的在于提出一种基于毫米波4d雷达的人脸识别方法，可以利用毫米波4d雷达采集数据，能够精准的将需要的数据类别较好地识别出来，并且探测效果不会受到环境光照的影响。
5.为解决上述技术问题，本发明提供一种基于毫米波4d雷达的人脸识别方法，包括：
6.毫米波4d雷达采集人脸的原始数据；
7.所述毫米波4d雷达将所采集到的所述原始数据传到上位机进行目标点云数据提取，生成四维的向量图；
8.所述上位机将所述向量图输入深度学习网络中进行训练，生成针对所述人脸部分的识别模型。
9.进一步的，在所述毫米波4d雷达采集人脸的所述原始数据中，包括：对所述毫米波4d雷达进行参数配置后，启动所述毫米波4d雷达得到对应的所述原始数据。
10.进一步的，在所述毫米波4d雷达将所采集到的所述原始数据传到所述上位机进行所述目标点云数据提取，生成四维的向量图中，包括：
11.依据所述参数，以雷达帧为单位，对所述原始数据进行排列，以数据帧为单位生成雷达数据矩阵；
12.对所述雷达数据矩阵做二维傅里叶变换得到距离多普勒谱，获得目标点的距离以及信号强度；
13.对所有通道的所述距离多普勒谱的数据做非相干积累并且进行二维恒虚警检测，提取出所述距离多普勒谱中信号的极大值；
14.记录所述极大值在距离域上的索引后，在天线通道维度上做波达方向定位进行目标方位角计算，获得方位角和俯仰角；
15.依据所述目标点的距离、方位角、俯仰角以及信号强度生成四维的向量图。
16.进一步的，在所述生成所述雷达数据矩阵之后，在所述对雷达数据矩阵做二维傅里叶变换得到距离多普勒谱之前，还包括：
17.进行雷达通道校验得到校验数据。
18.进一步的，所述非相干积累包括：将得到的数据在az维度和el维度的对应数据求绝对值后求和。
19.进一步的，所述获得方位角和俯仰角的过程包括：
20.所述极大值所在的单元为所述目标点，使用cfar-so算法对所述目标点进行筛选，得到所述目标点对应的距离坐标和速度坐标；
21.返回所述雷达数据矩阵中的方位角维度和俯仰角维度中，根据所述距离坐标和速度坐标，在所述雷达数据矩阵中取出所述目标点对应的方位角维度和所述俯仰角维度的数据；
22.对所述方位角维度和所述俯仰角维度分别做二维傅里叶变换，得到所述目标点的所述方位角和所述俯仰角。
23.进一步的，所述目标点云数据是以雷达为中心的球坐标系分布数据，并通过球坐标系-直角坐标转换而得到所述目标点在直角坐标系下的分布。
24.进一步的，所述毫米波4d雷达配置的所述参数包括：
25.距离分辨率rres，速度分辨率vres，雷达可视范围水平方位azfov，雷达可视范围俯仰方位elfov。
26.进一步的，在所述上位机将所述向量图输入深度学习网络中进行训练的步骤中，先将所述目标点云数据构造成对应的图像输入网络。
27.进一步的，所述构造的方法包括：将一帧目标点云数据按照幅值大小为顺序构造图片数据。
28.进一步的，所述深度学习网络包括三层特征提取网络和辅助网络；所述特征提取网络包括卷积层、激活函数以及dropout网络；所述辅助网络包括flatten层、full connect网络以及batch normalize网络。
29.相比于现有技术，本发明至少具有以下有益效果：本发明利用毫米波4d雷达采集数据，具备高角度分辨率的特性，能够在整个探测范围内得到更多的点云数据，通过这些点云数据来对用户的人脸进行描述，另外，本发明属于近距离雷达探测，因此控制了雷达的有效距离范围，将数据输入到完成训练的识别模型中进行识别，包含在训练集中的数据类别能够被较好地识别出来，不包含在训练集中的其他测试类别几乎不会被误识别为训练集中的某个类别；并且本发明使用毫米波4d雷达进行探测，环境的光照不会影响探测效果。
附图说明
30.图1为本发明一实施例中一种基于毫米波4d雷达的人脸识别方法的流程示意图；
31.图2为本发明一实施例中毫米波4d雷达的人脸识别硬件系统部署图；
32.图3为本发明一实施例中毫米波4d雷达原始数据处理流程图；
33.图4为本发明一实施例中深度学习网络模型的结构示意图。
rate，cfar)，提取出所述距离多普勒谱中信号的极大值；记录所述极大值在距离域上的索引后，在天线通道维度上做波达方向定位(doa)进行目标方位角计算，获得方位角和俯仰角；依据所述目标点的距离、方位角、俯仰角以及信号强度生成四维的向量图。
47.具体的，在本实施例中，毫米波4d雷达原始数据处理流程，请参考图3所示，原始数据在存储到上位机后，首先会根据雷达实际的接收通道序号以及帧号进行数据排列，以数据帧为单位生成雷达数据矩阵(radar data cube)；由于雷达通道在硬件上可能具有差异，因此首先需要进行雷达通道校验得到校验数据(calibration data),得到雷达数据矩阵后，需要使用校验数据对雷达数据矩阵进行通道校正；校正后的雷达数据矩阵就是比较准确的原始数据。对雷达数据矩阵做二维傅里叶变换(fft)得到距离多普勒谱(range-doppler map，rd-map)，该图谱表示雷达在距离域以及速度域中各个单元(unit)上的信号强度；然后对所有通道的距离多普勒谱数据做非相干积累并且进行二维恒虚警检测(constant false alarm rate，cfar)，提取出距离多普勒谱中信号的极大值，记录该极大值在距离域上的索引后，在天线通道维度上做波达方向定位(doa)估计进行目标方位角计算；最后将上述过程得到的目标点的距离(range)、方位角(azimuth)、俯仰角(elevation)以及信号强度(amplitude)保存为h5格式(hierarchical data format)文件。
48.其中，校准完成后将对该雷达数据矩阵(radar data cube)进行进一步的处理，在这个过程中，快速傅里叶变换(fast fourier transformation,fft)是提取一个维度上雷达数据信息的方法，详细描述如下：
49.首先，取雷达数据矩阵(radar data cube)的range维度做fft，由此可以在得到在雷达探测范围内的距离数据，然后取velocity维度做fft；上述操作将雷达可视距离中的每个单元上的距离信息和速度信息都提取了出来。由于雷达整个探测范围被接收通道rx分割，每个通道接收到的目标信息有差异，因此需要将得到的数据在az维度和el维度的对应数据求绝对值后求和，这一步称为非相干积累。此时，雷达数据矩阵(radar data cube)表示从回波信号中得到的，整个探测范围中的距离-速度(range-doppler)分布。在这个数据结构中，具有较大数据值(幅值)的单元则称之为目标点。本专利使用cfar-so算法对上述数据进行筛选，得到目标点单元对应的range坐标和doppler坐标。
50.在本实施例中，得到了目标点的range坐标和doppler坐标后，返回雷达数据矩阵(radar data cube)的az维度和el维度。根据上述的坐标，在雷达数据矩阵(radar data cube)中取出目标点对应的az维度和el维度数据。得到该数据后，对az维度和el维度分别做256阶fft，得到目标点的方位角-俯仰角(azimuth-elevation)分布数据，然后在az维度和el维度分别先后做峰值提取，这样就能得到目标点在可视空间内的坐标分布。
51.具体的，在本实施例中，上述得到的数据就是目标点在以雷达为中心的球坐标系分布数据，通过球坐标系-直角坐标转换就可以得到目标点在直角坐标系下的分布，即目标点云数据。得到的目标点云数据需要进一步输入到深度学习网络中进行训练，得到能够识别该类目标点云数据的模型。
52.此外，本实施例中采用的深度学习模型是一种图像识别模型，因此此处需要将点云数据构造成对应的图像输入网络。构造的方法为：将一帧点云数据pk＝{amp,az,el,r}按照幅值(amp)大小为顺序构造图片数据，然后将该图片输入模型进行学习。
53.在本实施例中，深度学习网络模型的结构请参考图4所示，所述深度学习网络包括
三层特征提取网络和辅助网络；所述特征提取网络包括卷积层、激活函数以及dropout网络；所述辅助网络包括flatten层、fullconnect网络以及batchnormalize网络。
54.其中，dropout是一个正则网络。
55.flatten层用来将输入“压平”，即把多维的输入一维化，常用在从卷积层到全连接层的过渡。
56.fullconnect网络(全连接神经网络)是一种最基本的神经网络结构，深度学习最基础的网络类型的之一，全连接神经网络(full connect neural network)是大多数入门深度学习领域的初学者必学的内容，充分体现深度学习方法相比于传统机器学习算法的特点，即大数据驱动、去公式推导、自我迭代更新、黑匣子训练等。
57.batch normalization(批标准化)：对一小批数据在网络各层的输出做标准化处理，batch normalization是2015年一篇论文中提出的数据归一化方法，往往用在深度神经网络中激活层之前。其作用可以加快模型训练时的收敛速度，使得模型训练过程更加稳定，避免梯度爆炸或者梯度消失。
58.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
技术特征：1.一种基于毫米波4d雷达的人脸识别方法，其特征在于，包括：毫米波4d雷达采集人脸的原始数据；所述毫米波4d雷达将所采集到的所述原始数据传到上位机进行目标点云数据提取，生成四维的向量图；所述上位机将所述向量图输入深度学习网络中进行训练，生成针对所述人脸部分的识别模型。2.如权利要求1所述的人脸识别方法，其特征在于，在所述毫米波4d雷达采集人脸的所述原始数据中，包括：对所述毫米波4d雷达进行参数配置后，启动所述毫米波4d雷达得到对应的所述原始数据。3.如权利要求2所述的人脸识别方法，其特征在于，在所述毫米波4d雷达将所采集到的所述原始数据传到所述上位机进行所述目标点云数据提取，生成四维的向量图中，包括：依据所述参数，以雷达帧为单位，对所述原始数据进行排列，以数据帧为单位生成雷达数据矩阵；对所述雷达数据矩阵做二维傅里叶变换得到距离多普勒谱，获得目标点的距离以及信号强度；对所有通道的所述距离多普勒谱的数据做非相干积累并且进行二维恒虚警检测，提取出所述距离多普勒谱中信号的极大值；记录所述极大值在距离域上的索引后，在天线通道维度上做波达方向定位进行目标方位角计算，获得方位角和俯仰角；依据所述目标点的距离、方位角、俯仰角以及信号强度生成四维的向量图。4.如权利要求3所述的人脸识别方法，其特征在于，在所述生成所述雷达数据矩阵之后，在所述对雷达数据矩阵做二维傅里叶变换得到距离多普勒谱之前，还包括：进行雷达通道校验得到校验数据。5.如权利要求3所述的人脸识别方法，其特征在于，所述非相干积累包括：将得到的数据在az维度和el维度的对应数据求绝对值后求和。6.如权利要求3所述的人脸识别方法，其特征在于，所述获得方位角和俯仰角的过程包括：所述极大值所在的单元为所述目标点，使用cfar-so算法对所述目标点进行筛选，得到所述目标点对应的距离坐标和速度坐标；返回所述雷达数据矩阵中的方位角维度和俯仰角维度中，根据所述距离坐标和速度坐标，在所述雷达数据矩阵中取出所述目标点对应的方位角维度和所述俯仰角维度的数据；对所述方位角维度和所述俯仰角维度分别做二维傅里叶变换，得到所述目标点的所述方位角和所述俯仰角。7.如权利要求3所述的人脸识别方法，其特征在于，所述目标点云数据是以雷达为中心的球坐标系分布数据，并通过球坐标系-直角坐标转换而得到所述目标点在直角坐标系下的分布。8.如权利要求2所述的人脸识别方法，其特征在于，所述毫米波4d雷达配置的所述参数包括：距离分辨率rres，速度分辨率vres，雷达可视范围水平方位az
fov
，雷达可视范围俯仰方
位el
fov
。9.如权利要求1所述的人脸识别方法，其特征在于，在所述上位机将所述向量图输入深度学习网络中进行训练的步骤中，先将所述目标点云数据构造成对应的图像输入网络。10.如权利要求9所述的人脸识别方法，其特征在于，所述构造的方法包括：将一帧目标点云数据按照幅值大小为顺序构造图片数据。11.如权利要求1所述的人脸识别方法，其特征在于，所述深度学习网络包括三层特征提取网络和辅助网络；所述特征提取网络包括卷积层、激活函数以及dropout网络；所述辅助网络包括flatten层、fullconnect网络以及batchnormalize网络。
技术总结本发明揭示了一种基于毫米波4D雷达的人脸识别方法，包括：毫米波4D雷达采集人脸的原始数据；所述毫米波4D雷达将所采集到的所述原始数据传到上位机进行目标点云数据提取，生成四维的向量图；所述上位机将所述向量图输入深度学习网络中进行训练，生成针对所述人脸部分的识别模型。本发明是利用毫米波4D雷达采集数据，具备高角度分辨率的特性，能够在整个探测范围内得到更多的点云数据，并且不受限于环境中的光线，能够将数据类别更准确地识别出来。能够将数据类别更准确地识别出来。能够将数据类别更准确地识别出来。
技术研发人员：钟有轩 袁纯 邹毅
受保护的技术使用者：深圳市华杰智通科技有限公司
技术研发日：2022.07.26
技术公布日：2022/11/1
