1.本发明属于智能车技术领域，尤其涉及一种动作识别方法、装置、存储介质、传感器及车辆。
背景技术：2.脚踢自动尾门系统，属于智能车在感知控制领域的一种实现；该系统通过安装在车身周围的传感器自动识别人体脚踢动作，并控制尾门自动开启；该系统的核心是用于识别人体脚踢动作的传感器。
3.目前，市场上主流的方法是使用电容传感器，一般是在车辆后保险杠下方，车辆尾部和底部各安装一个电容电场发射电极，当探测区域出现人体腿部，则会与电极之间形成电容；电容值随腿部与电极的距离发生变化，进而可识别出人体脚踢动作。
4.随着汽车的智能化发展，雷达已逐渐成为汽车感知系统必不可少的组成部分；其中超宽带uwb（ultra wide band）雷达由于其带宽大、穿透性强、成本低等优点，具有较大的发展潜力。
5.相比于电容传感器仅测量电容值的变化，uwb雷达可以同时测量物体的距离、速度、角度等信息，获取更加丰富的特征；同时，若复用车辆左后或右后方uwb锚点，可进一步降低成本。
技术实现要素：6.本发明实施例公开了一种动作识别方法、装置、存储介质、传感器及车辆；该作识别方法通过人工智能方法识别相关信号中的有效数据，并能够对干扰信号和白噪声进行有效的过滤。
7.具体地，该方法包括第一数据采集步骤、第四动作识别步骤；其中，第一数据采集步骤扫描并获取第一原始信号，转换该第一原始信号为二维数组形式并形成第一图像，该第一图像为距离-时间图像。
8.进一步地，其第四动作识别步骤通过第一类特征处理步骤、第二类特征处理步骤、第三类别判定输出步骤等相关步骤对有效数据进行识别；其中，第一类特征处理步骤提取第一图像时间维度的第一类特征数据；第二类特征处理步骤提取第一图像距离和速度维度的第二类特征数据；第三类别判定输出步骤合成第一类特征数据与第二类特征数据后得到动作识别数据集；再通过分类识别该动作识别数据集，得到第三识别结果数据；其中，动作识别数据集至少被划分为第一有效数据集、第二噪声数据集、第三干扰数据集三个类别。
9.具体地，其第一数据采集步骤周期性获取第一原始信号，该第一原始信号可以是固定长度的i/q复信号；其第一图像由第一原始信号序列排列而成，其二维数组为mxn形式；其中，m、n为自然数；其第三识别结果数据包括用于触发相关机构的开关量或信号。
10.进一步地，该方法还可包括第二预处理步骤和第三中间处理步骤；其中，第二预处理步骤还包括降噪处理步骤，其第三中间处理步骤还包括快速傅里叶变换步骤fft和/或短
时傅里叶变换stft步骤；其stft步骤在fft之前增加一窗函数，该窗函数可以是hanning窗；通过降噪处理第一图像得到第二降噪后图像；该第二降噪后图像替代第一图像可进一步执行第四动作识别步骤，进而改善相关识别过程的效果；其第三中间处理步骤通过获取第二降噪后图像的信噪比snr，并形成第二图像用于第二类特征数据的提取。
11.具体地，其第一类特征数据可以是一个长度为n的第一特征向量，其第二类特征数据可以是一个长度为l的第二特征向量，其动作识别数据集则是一个长度为（n+l）的第三特征向量；通过以预设的卷积核对第三特征向量进行1x1卷积，获取动作识别数据集各类数据的激活值，再归一化处理激活值并得到动作识别数据集各类数据取值的概率分布；其中，概率最大的类别对应于第三识别结果数据；其卷积核可以是，其归一化过程可采用softmax方法。
12.进一步地，其第一原始信号的脉冲重复间隔pri（pulse repetition interval）可采用固定值，其第一原始信号可采用超宽带uwb雷达的回波，可将该雷达的工作频率设定在6.4与8ghz之间或将其波长设定在3.75与4.69cm之间。
13.进一步地，该方法还可包括防抖输出步骤和模型训练步骤；其中，防抖输出步骤通过连续r次获取第三识别结果数据，来确认数据的有效性，避免干扰信号导致的误动作，提升系统的可靠性和鲁棒性；其中，r为大于或等于2的自然数。
14.若可以连续r次获取该第三识别结果数据，且均为第一有效数据，则判定该第一原始信号为有效信号。
15.进一步地，其模型训练步骤可包括降噪模型训练步骤、识别模型训练步骤和/或相关模型训练步骤；其中，降噪模型训练步骤用于降噪处理步骤；该降噪模型训练步骤通过归一化处理训练样本x得到归一化样本x-normal，并对x-normal叠加随机白噪声得到噪声样本x-noise；再由归一化样本x-normal与噪声样本x-noise构造训练样本对《x-normal，x-noise》；通过输入x-noise到自编码器得到解码输出y；进而通过获取损失函数loss=mse（y，x-normal）并迭代优化编码与解码参数直至损失函数loss达到目标值；其中，在前向推理阶段，亦可对第一图像进行归一化处理并将其归一化结果输入自编码器。
16.具体地，可使用合成少数类过采样方法smote（synthetic minority oversampling technique）对其训练样本进行扩增；其识别模型训练步骤亦可对第一图像或第二降噪后图像以及第二图像分别进行归一化处理；再将归一化后的样本输入动作识别模型中，得到预测概率分布p；再使用focal loss作为损失函数，计算预测值与真实标签之间的误差loss；并使用梯度下降法迭代优化模型参数，直至loss降到预设的精度范围。
17.此外，本发明实施例还公开了一种动作识别装置，包括第一数据采集模块、第三动作识别模块；其中：第一数据采集模块扫描并获取第一原始信号，转换该第一原始信号为二维数组形式并形成第一图像，该第一图像即为距离-时间图像。
18.进一步地，其第三动作识别模块可包括第一类特征处理模块、第二类特征处理模块、第三类别判定输出单元；其中，第一类特征处理模块提取第一图像时间维度的第一类特征数据；第二类特征处理模块提取第一图像距离和速度维度的第二类特征数据；第三类别判定输出单元则合成第一类特征数据与第二类特征数据后得到动作识别数据集；其第三类别判定输出单元分类识别其动作识别数据集，得到第三识别结果数据；其中，该动作识别数据集至少被划分为第一有效数据集、第二噪声数据集、第三干扰数据集三个类别。
19.具体地，第一数据采集模块周期性获取第一原始信号，其中，该第一原始信号可以是固定长度的i/q复信号；第一图像由第一原始信号序列排列而成，其二维数组为mxn形式；其中，m、n为自然数；其第三识别结果数据则包括用于触发相关机构的开关量或信号。
20.进一步地，该装置还可包括：第二数据处理模块，通过数据预处理来改善特征识别的效果；其中，第二数据处理模块包括降噪处理模块、中间处理模块；其中间处理模块可完成快速傅里叶变换fft和/或短时傅里叶变换stft；其stft在fft之前增加一窗函数，该窗函数可以是hanning窗函数；其降噪处理模块处理第一图像得到第二降噪后图像；第二降噪后图像可替代第一图像参与第三动作识别模块的处理；其中间处理模块获取第二降噪后图像的信噪比snr，并形成第二图像用于第二类特征数据的提取。
21.具体地，其第一类特征数据是一个长度为n的第一特征向量，第二类特征数据是一个长度为l的第二特征向量，其动作识别数据集是一个长度为（n+l）的第三特征向量；进而以预设的卷积核对第三特征向量进行1x1卷积，获取动作识别数据集各类数据的激活值，归一化处理该激活值并得到动作识别数据集各类数据取值的概率分布；其中，概率最大的类别对应于第三识别结果数据，可选该卷积核为3，其归一化方法可采用softmax来实现。
22.进一步地，其第一原始信号的脉冲重复间隔pri可采用固定值，其第一原始信号可采用超宽带uwb雷达的回波，该雷达的工作频率介于6.4与8ghz之间或波长介于范围3.75与4.69cm之间。
23.进一步地，该装置还可包括第四控制输出模块；当连续r次获取第三识别结果数据后；若r次获取的第三识别结果数据均为第一有效数据，则判定该第一原始信号为有效信号。
24.进一步地，其第二数据处理模块还可包括降噪模型训练模块、识别模型训练模块和/或相关模型训练模块；其中，降噪模型训练模块用于降噪处理的优化；降噪模型训练模块归一化处理训练样本x得到归一化样本x-normal，并对x-normal叠加随机白噪声得到噪声样本x-noise；再由归一化样本x-normal与噪声样本x-noise构造训练样本对《x-normal，x-noise》；输入x-noise到自编码器得到解码输出y；该降噪模型训练模块获取损失函数loss=mse（y，x-normal）并迭代优化编码与解码参数直至损失函数loss达到目标值；其中，在前向推理阶段，亦可对第一图像进行归一化处理并将其归一化结果输入自编码器；该第二数据处理模块可使用合成少数类过采样方法smote对训练样本进行扩增，以均衡样本数据；此外，识别模型训练模块对第一图像或第二降噪后图像以及第二图像可分别进行归一化处理；再将归一化后的样本输入动作识别模型中，得到预测概率分布p并使用focal loss作为损失函数，计算预测值与真实标签之间的误差loss；再使用梯度下降法迭代优化模型参数，直至loss降到预设的精度范围。
25.进一步地，本发明实施例还公开了采用上述方法和装置的相关产品，包括计算机存储介质、传感器及车辆。其中，该存储介质包括用于存储计算机程序的存储介质本体；当计算机程序在被微处理器执行时，可实现上述动作识别方法。
26.类似地，其传感器和车辆包括如上的任一装置、存储介质，亦可实现相关特征数据的识别进而对相关动作进行响应，具体过程不再赘述。
27.本发明实施例以uwb雷达识别人体脚踢动作，并将深度学习技术与uwb雷达相结合，用以解决识别技术中存在的误识别、误动作问题，可进一步提升相关系统的性能；此外，
使用uwb雷达实现的脚踢传感器，其成本更低，将uwb雷达信号与深度学习模型相结合，其识别性能亦得到提升。
28.需要说明的是，在本文中采用的“第一”、“第二”等类似的语汇，仅仅是为了描述技术方案中的各组成要素，并不构成对技术方案的限定，也不能理解为对相应要素重要性的指示或暗示；带有“第一”、“第二”等类似语汇的要素，表示在对应技术方案中，该要素至少包含一个。
附图说明
29.为了更加清晰地说明本发明的技术方案，利于对本发明的技术效果、技术特征和目的进一步理解，下面结合附图对本发明进行详细的描述，附图构成说明书的必要组成部分，与本发明的实施例一并用于说明本发明的技术方案，但并不构成对本发明的限制。
30.附图中的同一标号代表相同的部件，具体地：图1为本发明方法实施例流程示意图一；图2为本发明方法及产品实施例数据采集示意图；图3为本发明方法及产品实施例降噪自编码解码结构示意图；图4为本发明方法及产品实施例动作识别结构示意图；图5为本发明方法实施例动作识别流程示意图；图6为本发明方法实施例模型训练流程示意图；图7为本发明方法实施例流程示意图二；图8为本发明装置实施例组成结构示意图；图9为本发明装置实施例动作识别模块结构示意图；图10为本发明装置实施例模型训练模块结构示意图；图11为本发明产品实施例组成结构示意图一；图12为本发明产品实施例组成结构示意图二；图13为本发明产品实施例组成结构示意图三；图14为本发明产品实施例组成结构示意图四。
31.其中：001-第一原始信号，即实施例i/q信号，011-第一距离时间图像（二维数组）一，012-信号间重叠，022-第一距离时间图像（二维数组）二，100-第一数据采集步骤，111-第一降噪后图像（二维数组），200-第二预处理步骤，实施例中包括降噪；300-第三中间处理步骤，实施例中构造距离速度图像；400-第四动作识别步骤，实施例中区分白噪声、肢体动作和干扰动作；410-第一类特征处理步骤，有关于时间维度的数据提取；420-第二类特征处理步骤，有关于距离速度维度的数据提取；430-第三类别判定输出步骤；
500-第五防抖输出步骤，600-第六模型训练步骤，602-降噪模型训练步骤，604-识别模型训练步骤，60m-相关模型训练步骤，m为自然数，m大于或等于2；700-动作识别装置，710-第一数据采集模块，720-第二数据处理模块，721-降噪模型训练模块，722-识别模型训练模块，72m-相关模型训练模块，730-第三动作识别模块，740-第四控制输出模块；771-第一类特征处理模块，772-第二类特征处理模块，773-第三类别判定输出模块，810-第八降噪自编码解码结构，811-编码器，812-解码器，900-车辆，901-控制器，902-动作识别装置，903-计算机存储介质，905-传感器，1001-一维卷积神经网络处理过程，即1d-cnn；1003-特征张量，即cnn-f；1005-特征图，即实施例经由lstm获得的n个输出量；1111-第一特征数据（向量），2001-二维卷积神经网络特征提取过程，即实施例经由2d-cnn获得的l个输出量；2222-第二特征数据（向量），3000-特征数据（向量）合并，3333-第三识别结果数据。
具体实施方式
32.下面结合附图和实施例，对本发明作进一步的详细说明。当然，下列描述的具体实施例只是为了解释本发明的技术方案，而不是对本发明的限定。此外，实施例或附图中表述的部分，也仅仅是本发明相关部分的举例说明，而不是本发明的全部。
33.如图1、图2、图4、图5所示的动作识别方法，包括第一数据采集步骤100、第四动作识别步骤400；其中，第一数据采集步骤100扫描并获取第一原始信号001，转换第一原始信
号001为二维数组形式并形成第一图像011，第一图像011为距离-时间图像。
34.如图5所示，其第四动作识别步骤400包括第一类特征处理步骤410、第二类特征处理步骤420、第三类别判定输出步骤430；如图4,所示，其第一类特征处理步骤410提取第一图像011时间维度的第一类特征数据1111，第二类特征处理步骤420提取第一图像011距离和速度维度的第二类特征数据2222；第三类别判定输出步骤430合成第一类特征数据1111与第二类特征数据2222后得到动作识别数据集。
35.进一步地，如图4所示，通过分类识别其动作识别数据集，得到第三识别结果数据3333；其中，动作识别数据集至少被划分为第一有效数据集、第二噪声数据集、第三干扰数据集三个类别。
36.具体地，如图2所示，第一数据采集步骤100周期性获取第一原始信号001，其第一原始信号001为固定长度的i/q复信号；其第一图像011由第一原始信号001序列排列而成，其二维数组为mxn形式；其中，m、n为自然数；此外，如图4的第三识别结果数据3333包括用于触发相关机构的开关量或信号。
37.进一步地，如图7所示，该动作识别方法还包括第二预处理步骤200、第三中间处理步骤300；第二预处理步骤200可包括降噪处理步骤，第三中间处理步骤300可包括快速傅里叶变换步骤fft和/或短时傅里叶变换stft；其中，stft在fft之前增加一窗函数，该窗函数可以是hanning窗；可通过降噪处理第一图像011得到第二降噪后图像111；第二降噪后图像111可替代第一图像011执行第四动作识别步骤400；第三中间处理步骤300通过获取第二降噪后图像111的信噪比snr，并形成第二图像222用于第二类特征数据2222的提取。
38.如图4所示，第一类特征数据1111可以是一个长度为n的第一特征向量，第二类特征数据2222可以是一个长度为l的第二特征向量，其动作识别数据集则是一个长度为（n+l）的第三特征向量。
39.进一步地，以预设的卷积核对第三特征向量进行1x1卷积，获取动作识别数据集各类数据的激活值，归一化处理该激活值并得到动作识别数据集各类数据取值的概率分布；其中，概率最大的类别则对应于第三识别结果数据3333。
40.具体地，其卷积核可以为3；其归一化过程可采用softmax方法获得。
41.进一步地，其第一原始信号001的脉冲重复间隔pri固定，第一原始信号001为超宽带uwb雷达的回波，该雷达的工作频率可选择介于6.4与8ghz之间或使得波长介于范围3.75与4.69cm之间。
42.此外，如图7所示，该方法还可包括防抖输出步骤500和模型训练步骤600；其中，防抖输出步骤500通过连续r次获取第三识别结果数据3333来确保识别的可靠性；其中，r为大于或等于2的自然数；若r次获取的第三识别结果数据3333均为第一有效数据，则判定第一原始信号001为有效信号。
43.如图6所示，其模型训练步骤600包括降噪模型训练步骤602、识别模型训练步骤604和/或相关模型训练步骤60m，m为自然数也m不小于2；其中，降噪模型训练步骤602用于降噪处理步骤；降噪模型训练步骤602归一化处理训练样本x得到归一化样本x-normal，并对x-normal叠加随机白噪声得到噪声样本x-noise；再由归一化样本x-normal与噪声样本x-noise构造训练样本对《x-normal，x-noise》；再输入x-noise到自编码器得到解码输出y；通过获取损失函数loss=mse（y，x-normal）；迭代优化编码与解码参数直至该损失函数loss
达到目标值；其中，在前向推理阶段，亦可对第一图像011进行归一化处理并将其归一化结果输入所述自编码器。
44.进一步地，为了确保训练样本的均衡性，可使用合成少数类过采样方法smote对训练样本进行扩增。
45.此外，如图6所示，其识别模型训练步骤604可对第一图像011或第二降噪后图像111以及第二图像222分别进行归一化处理；再将归一化后的样本输入动作识别模型中，得到预测概率分布p；再使用focal loss作为损失函数，计算预测值与真实标签之间的误差loss；并使用梯度下降法迭代优化模型参数，直至loss降到预设的精度范围。
46.如图8所示，本发明实施例还公开了一种动作识别装置700，包括第一数据采集模块710、第三动作识别模块730；其中：第一数据采集模块710扫描并获取第一原始信号001，转换第一原始信号001为二维数组形式并形成第一图像011，该第一图像011为距离-时间图像。
47.图9所示，其第三动作识别模块730包括第一类特征处理模块771、第二类特征处理模块772、第三类别判定输出单元773；其中，第一类特征处理模块771提取第一图像011时间维度的第一类特征数据1111，第二类特征处理模块772提取第一图像011距离和速度维度的第二类特征数据2222；第三类别判定输出单元773合成第一类特征数据1111与第二类特征数据2222后得到动作识别数据集；第三类别判定输出单元773分类识别动作识别数据集，得到第三识别结果数据3333；其中，动作识别数据集至少被划分为第一有效数据集、第二噪声数据集、第三干扰数据集三个类别。
48.进一步地，如图2所示，第一数据采集模块710周期性获取第一原始信号001，其第一原始信号001为固定长度的i/q复信号；第一图像011由第一原始信号001序列排列而成，二维数组为mxn形式；其中，m、n为自然数；第三识别结果数据3333包括用于触发相关机构的开关量或信号。
49.进一步地，如图8所示，该动作识别装置还包括：第二数据处理模块720；如图10所示，该第二数据处理模块720包括降噪处理模块、中间处理模块；该中间处理模块完成快速傅里叶变换fft和/或短时傅里叶变换stft；其中，stft在fft之前增加一窗函数，窗函数可以是hanning形式的；降噪处理模块处理第一图像011得到第二降噪后图像111；第二降噪后图像111替代第一图像011参与第三动作识别模块730的处理；中间处理模块获取第二降噪后图像111的信噪比snr，并形成第二图像222用于第二类特征数据2222的提取。
50.如图4所示，第一类特征数据1111是一个长度为n的第一特征向量，第二类特征数据2222是一个长度为l的第二特征向量，动作识别数据集是一个长度为（n+l）的第三特征向量；以预设的卷积核3对第三特征向量进行1x1卷积，获取动作识别数据集各类数据的激活值，归一化处理激活值并得到动作识别数据集各类数据取值的概率分布；其中，概率最大的类别对应于第三识别结果数据3333；其中，归一化方法可以采用softmax实现。
51.进一步地，第一原始信号001的脉冲重复间隔pri固定，第一原始信号001可以是超宽带uwb雷达的回波，雷达的工作频率介于6.4与8ghz之间或波长介于范围3.75与4.69cm之间。
52.如图8所示，该装置700还可包括第四控制输出模块740；其中，第四控制输出模块740连续r次获取第三识别结果数据3333，r为大于或等于2的自然数；若r次获取的第三识别
结果数据3333均为第一有效数据，则判定第一原始信号001为有效信号；此外，第二数据处理模块720还可包括降噪模型训练模块721、识别模型训练模块722和/或相关模型训练模块72m；其中，降噪模型训练模块721用于降噪处理的优化；降噪模型训练模块721通过归一化处理训练样本x得到归一化样本x-normal，并对x-normal叠加随机白噪声得到噪声样本x-noise；再由归一化样本x-normal与噪声样本x-noise构造训练样本对《x-normal，x-noise》；并输入x-noise到自编码器得到解码输出y；降噪模型训练模块721获取损失函数loss=mse（y，x-normal）并迭代优化编码与解码参数直至损失函数loss达到目标值。
53.其中，在前向推理阶段，亦可对第一图像011进行归一化处理并将其归一化结果输入自编码器；此外，第二数据处理模块720可使用合成少数类过采样方法smote对训练样本进行扩增。
54.进一步地，识别模型训练模块722可对第一图像011或第二降噪后图像111以及第二图像222分别进行归一化处理；再将归一化后的样本输入动作识别模型中，得到预测概率分布p并使用focal loss作为损失函数，计算预测值与真实标签之间的误差loss；再使用梯度下降法迭代优化模型参数，直至loss降到预设的精度范围。
55.如图11至14的计算机存储介质903，包括用于存储计算机程序的存储介质本体；当计算机程序在被微处理器执行时，可实现本发明所公开的任一动作识别方法。
56.此外，如图14所示的传感器905，可采用本发明所公开的任一动作识别装置和/或存储介质；类似地，采用本发明所公开装置或存储介质的车辆也自然地落入了本发明的保护范围。
57.具体地，本发明实施例可使用nxp的uwb雷达芯片工作在6.4ghz-8ghz之间，其波长范围介于3.75~4.69cm。
58.该uwb雷达以固定的pri周期性地发射窄脉冲信号，在探测范围内若存在目标，则接收到的回波中会携带目标信息。
59.该装置实施例由uwb雷达数据采集模块，数据处理模块、动作识别模块、输出模块组成；其uwb雷达数据采集模块负责采集uwb雷达接收的原始i/q信号，数据处理模块负责对原始i/q信号进行降噪、fft等预处理，动作识别模块负责在uwb雷达信号中提取人体脚踢动作特征，判断是否为人体脚踢动作，输出模块负责综合多次识别结果并输出控制信号。
60.具体可包括如图1的若干过程：其中，uwb雷达数据采集模块每次接收固定长度的原始i/q信号，并将原始信号序列排列成mxn的二维数组形式，亦可表示为二维图像，记为距离-时间图像img_dt；进一步地，将img_dt输入到数据处理模块，通过自编码器对img_dt进行降噪处理，得到降噪后的图像img_denoise；再进一步，对img_denoise沿慢时间维进行stft处理，并对处理后的图像计算信噪比，得到距离-速度热力图img_dvh；再将img_denoise和img_dvh同时输入到动作识别模块中，得到人体脚踢动作的识别结果；此外，若动作识别模块多次识别到人体脚踢动作，则输出模块输出开启尾门的控制信号。
61.如图2所示，uwb雷达采集模块通过动态维护一个缓冲队列实现：由于缓冲队列的存在，数据的写入速度和读取速度可以不一致，即当队列中的数据长度积累到超过需要读取的长度时，才进行读取；另外，连续两次读取之间设置一个重叠overlap区，这样可以降低一个连续的动作被拆分到2帧数据的概率，其overlap可取[0,1)之间，典型值为0.5。
[0062]
进一步地，从队列中读取数据后，将数据排列成mxn的二维数组，其中m对应快时间维，n对应慢时间维，即每一列是对单个脉冲的采样信号，是一维距离像，共有n组脉冲采样信号组成；二维数组中的每个元素都是i+q*j的复信号，对信号求模，即a=sqr(i^2+q^2 )，图像img_dt中的每个像素值即为对应的模值。
[0063]
具体地，可使用自编码器对图像img_dt降噪：其自编码器可采用encoder-decoder的结构，如图3所示；其中，encoder部分对输入图像img_dt进行编码，通过堆叠卷积（convolution）、激活（activation）和最大值池化（maxpooling）提取图像的有效特征，降低特征维度；decoder部分使用编码后的低维特征，通过堆叠卷积（convolution）、激活（activation）和上采样（upsample）恢复图像内容；decoder的输出即为降噪后的图像img_denoise，其尺寸与encoder的输入尺寸一致。
[0064]
进一步地，自编码器在使用前需要进行训练，其训练过程包括：对训练样本x进行归一化处理，即x_norm=(x-mean(x))/std(x)；对训练样本x_norm叠加随机白噪声，即对每个像素值叠加一个服从n(0,1)分布的随机数，得到噪声训练样本x_noise，与x_norm组成训练样本对《x_norm, x_noise》；将x_noise输入如图3所示的自编码器中，得到decoder的输出y；计算损失函数loss=mse(y, x_norm)并使用梯度下降法迭代优化encoder和decoder的参数，直至loss降到不能再小为止；此外，在前向推理阶段，也需要先对输入图像img_dt进行归一化处理，再输入到自编码器中。
[0065]
具体地，由于图像的宽度有限，直接进行fft会出现频率泄露的问题；为减小频率泄露，可使用短时傅里叶变换stft（short time fourier transform），先对信号乘以一个窗函数（如hanning窗），再做fft（fast fourier transformation）。
[0066]
其中，信噪比snr=20log (|stft(img_denoise) | )；由该公式计算后即可得到距离-速度热力图img_dvh。
[0067]
进一步地，动作识别模块是一个端到端的识别模型，融合了卷积神经网络cnn（convolutional neural network）和循环神经网络rnn（recurrent neural network）；如图4所示，模型共有2个分支，分支1主要提取时间维度的特征，分支2主要提取距离和速度维度的特征。
[0068]
具体地，分支1的输入是img_denoise，该分支使用1d-cnn+lstm，即一维卷积长短期记忆网络lstm（long short term memory）的方式提取对象特征：以img_denoise的一列为对象，进行一维卷积，其中卷积核尺寸为1xk（k典型为3），卷积核的数量为c，经过1d-cnn后的特征是一个mxnxc的张量；对该张量沿c方向进行累加，得到mxn大小的特征图cnn_f；将cnn_f按列进行拆分，共拆分为n个长度为m的向量，将n个m维向量依次输入lstm（lstm是rnn的一种），可得到n个输出，即分支1的f_branch1是一个长度为n的特征向量。
[0069]
类似地，分支2的输入是img_dvh，该分支使用典型的2d-cnn提取对象特征，其内部由一系列卷积层、批归一化层、激活层、池化层等堆叠而成，经过2d-cnn后的特征分支2的f_branch2是一个长度为l的特征向量。
[0070]
进一步地，如图4所示，2个分支各自计算出特征向量后，将f_branch1和f_branch2合并，得到长度为(n+l)的特征向量；对该特征向量进行1x1卷积，卷积核数量为3，得到各个类别的激活值；最后通过softmax对各个类别的激活值进行归一化，得到类别的概率分布，概率最大的类别即为模型的输出。
[0071]
本发明方法将类别数设置为3，一类是背景噪声，一类是人体脚踢动作，还有一类是其他（如一只猫从车底钻过，大风影响等），即将那些容易和人体脚踢动作混淆的干扰统一作为一类。
[0072]
具体地，模型在使用前需要进行训练，其训练过程包括：对训练样本img_denoise和img_dvh分别进行归一化处理；将归一化后的样本对输入到如图4所示的模型中，得到预测概率分布p；使用focal loss作为损失函数，计算预测值与真实标签之间的误差loss；再使用梯度下降法迭代优化模型参数，直至loss降到不能再小为止。
[0073]
可选地，若用于训练的样本之间不均衡，会影响模型效果，为解决该问题，可使用合成少数类过采样技术smote（synthetic minority oversampling technique）方法对训练样本进行扩增。
[0074]
进一步地，为提升系统的鲁棒性，增加了信号去抖策略：其类别信号需要连续r次（如r=2）都是脚踢动作，才会输出尾门控制信号。
[0075]
此外，图3所示的降噪自编码器，只要是使用cnn作为encoder或decoder的，都应属于本方案的范畴；如图4所示的动作识别模型，其分支1中的lstm也可以替换成其他的rnn模型，如门循环单元gru（gate recurrent unit）等；分支2中的2d-cnn模型，只要是由一系列卷积层、批归一化层、激活层、池化层、全连接层中的一种或多种组件堆叠而成，无论以何种方式组合，都应属于本发明实施例的范畴。
[0076]
需要说明的是，上述实施例仅是为了更清楚地说明本发明的技术方案，本领域技术人员可以理解，本发明的实施方式不限于以上内容，基于上述内容所进行的明显变化、替换或替代，均不超出本发明技术方案涵盖的范围；在不脱离本发明构思的情况下，其它实施方式也将落入本发明的范围。
技术特征：1.一种动作识别方法，其特征在于，包括：第一数据采集步骤（100）、第四动作识别步骤（400）；其中，所述第一数据采集步骤（100）扫描并获取第一原始信号（001），转换所述第一原始信号（001）为二维数组形式并形成第一图像（011），所述第一图像（011）为距离-时间图像；所述第四动作识别步骤（400）包括：第一类特征处理步骤（410）、第二类特征处理步骤（420）、第三类别判定输出步骤（430）；其中，所述第一类特征处理步骤（410）提取所述第一图像（011）时间维度的第一类特征数据（1111），所述第二类特征处理步骤（420）提取所述第一图像（011）距离和速度维度的第二类特征数据（2222）；所述第三类别判定输出步骤（430）合成所述第一类特征数据（1111）与所述第二类特征数据（2222）后得到动作识别数据集；分类识别所述动作识别数据集，得到第三识别结果数据（3333）；其中，所述动作识别数据集至少被划分为第一有效数据集、第二噪声数据集、第三干扰数据集三个类别。2.如权利要求1的所述动作识别方法，其中：所述第一数据采集步骤（100）周期性获取所述第一原始信号（001），所述第一原始信号（001）为固定长度的i/q复信号；所述第一图像（011）由所述第一原始信号（001）序列排列而成，所述二维数组为mxn形式；其中，m、n为自然数；所述第三识别结果数据（3333）包括用于触发相关机构的开关量或信号。3.如权利要求2的所述动作识别方法，还包括：第二预处理步骤（200）、第三中间处理步骤（300）；所述第二预处理步骤（200）包括降噪处理步骤，所述第三中间处理步骤（300）包括快速傅里叶变换步骤fft和/或短时傅里叶变换stft；其中，所述stft在fft之前增加一窗函数，所述窗函数包括hanning窗；降噪处理所述第一图像（011）得到第二降噪后图像（111）；所述第二降噪后图像（111）替代所述第一图像（011）执行所述第四动作识别步骤（400）；所述第三中间处理步骤（300）获取所述第二降噪后图像（111）的信噪比snr，并形成第二图像（222）用于所述第二类特征数据（2222）的提取。4.如权利要求3的所述动作识别方法，其中：所述第一类特征数据（1111）是一个长度为n的第一特征向量，所述第二类特征数据（2222）是一个长度为l的第二特征向量，所述动作识别数据集是一个长度为（n+l）的第三特征向量；以预设的卷积核对所述第三特征向量进行1x1卷积，获取所述动作识别数据集各类数据的激活值，归一化处理所述激活值并得到所述动作识别数据集各类数据取值的概率分布；其中，概率最大的类别对应于所述第三识别结果数据（3333）。5.如权利要求4的所述动作识别方法，其中：所述卷积核为3；所述归一化过程采用softmax方法获得。6.如权利要求3、4或5的任一所述动作识别方法，其中：所述第一原始信号（001）的脉冲重复间隔pri固定，所述第一原始信号（001）为超宽带uwb雷达的回波，所述雷达的工作频率介于6.4与8ghz之间或所述雷达的雷达波的波长介于
范围3.75与4.69cm之间。7.如权利要求1、2、3、4或5的任一所述动作识别方法，还包括：防抖输出步骤（500）、模型训练步骤（600）；其中，所述防抖输出步骤（500）连续r次获取所述第三识别结果数据（3333），r为大于或等于2的自然数；若所述r次获取的所述第三识别结果数据（3333）均为所述第一有效数据，则判定所述第一原始信号（001）为有效信号；所述模型训练步骤（600）包括降噪模型训练步骤（602）、识别模型训练步骤（604）和/或相关模型训练步骤（60m）；其中，所述降噪模型训练步骤（602）用于降噪处理步骤；所述降噪模型训练步骤（602）归一化处理训练样本x得到归一化样本x-normal，并对x-normal叠加随机白噪声得到噪声样本x-noise；再由所述归一化样本x-normal与所述噪声样本x-noise构造训练样本对<x-normal，x-noise>；输入所述x-noise到自编码器得到解码输出y；获取损失函数loss=mse（y，x-normal）；迭代优化编码与解码参数直至所述损失函数loss达到目标值；其中，在前向推理阶段，亦对所述第一图像（011）进行所述归一化处理并将其归一化结果输入所述自编码器。8.如权利要求7的所述动作识别方法，其中：使用合成少数类过采样方法smote对所述训练样本进行扩增；所述识别模型训练步骤（604）对所述第一图像（011）或所述第二降噪后图像（111）以及所述第二图像（222）分别进行归一化处理；再将归一化后的样本输入动作识别模型中，得到预测概率分布p；使用focal loss作为损失函数，计算预测值与真实标签之间的误差loss；再使用梯度下降法迭代优化模型参数，直至loss降到预设的精度范围。9.一种动作识别装置，包括：第一数据采集模块（710）、第三动作识别模块（730）；其中：所述第一数据采集模块（710）扫描并获取所述第一原始信号（001），转换所述第一原始信号（001）为二维数组形式并形成第一图像（011），所述第一图像（011）为距离-时间图像；所述第三动作识别模块（730）包括：第一类特征处理模块（771）、第二类特征处理模块（772）、第三类别判定输出单元（773）；其中，所述第一类特征处理模块（771）提取所述第一图像（011）时间维度的第一类特征数据（1111），所述第二类特征处理模块（772）提取所述第一图像（011）距离和速度维度的第二类特征数据（2222）；所述第三类别判定输出单元（773）合成所述第一类特征数据（1111）与所述第二类特征数据（2222）后得到动作识别数据集；所述第三类别判定输出单元（773）分类识别所述动作识别数据集，得到第三识别结果数据（3333）；其中，所述动作识别数据集至少被划分为第一有效数据集、第二噪声数据集、第三干扰数据集三个类别。10.如权利要求9的所述动作识别装置，其中：所述第一数据采集模块（710）周期性获取所述第一原始信号（001），所述第一原始信号（001）为固定长度的i/q复信号；所述第一图像（011）由所述第一原始信号（001）序列排列而成，所述二维数组为mxn形式；其中，m、n为自然数；所述第三识别结果数据（3333）包括用于触发相关机构的开关量或信号。
11.如权利要求10的所述动作识别装置，还包括：第二数据处理模块（720）；所述第二数据处理模块（720）包括降噪处理模块、中间处理模块；所述中间处理模块完成快速傅里叶变换fft和/或短时傅里叶变换stft；其中，所述stft在fft之前增加一窗函数，所述窗函数包括hanning窗；所述降噪处理模块处理所述第一图像（011）得到第二降噪后图像（111）；所述第二降噪后图像（111）替代所述第一图像（011）参与所述第三动作识别模块（730）的处理；所述中间处理模块获取所述第二降噪后图像（111）的信噪比snr，并形成第二图像（222）用于所述第二类特征数据（2222）的提取。12.如权利要求11的所述动作识别装置，其中：所述第一类特征数据（1111）是一个长度为n的第一特征向量，所述第二类特征数据（2222）是一个长度为l的第二特征向量，所述动作识别数据集是一个长度为（n+l）的第三特征向量；以预设的卷积核对所述第三特征向量进行1x1卷积，获取所述动作识别数据集各类数据的激活值，归一化处理所述激活值并得到所述动作识别数据集各类数据取值的概率分布；其中，概率最大的类别对应于所述第三识别结果数据（3333），所述卷积核包括自然数3，所述归一化方法包括softmax。13.如权利要求9、10、11或12的任一所述动作识别装置，其中：所述第一原始信号（001）的脉冲重复间隔pri固定，所述第一原始信号（001）为超宽带uwb雷达的回波，所述雷达的工作频率介于6.4与8ghz之间或所述雷达的雷达波的波长介于范围3.75与4.69cm之间。14.如权利要求9、10、11或12的任一所述动作识别装置，还包括：第四控制输出模块（740）；其中，所述第四控制输出模块（740）连续r次获取所述第三识别结果数据（3333），r为大于或等于2的自然数；若所述r次获取的所述第三识别结果数据（3333）均为所述第一有效数据，则判定所述第一原始信号（001）为有效信号；所述第二数据处理模块（720）还包括降噪模型训练模块（721）、识别模型训练模块（722）和/或相关模型训练模块（72m）；其中，所述降噪模型训练模块（721）用于降噪处理的优化；所述降噪模型训练模块（721）归一化处理训练样本x得到归一化样本x-normal，并对x-normal叠加随机白噪声得到噪声样本x-noise；再由所述归一化样本x-normal与所述噪声样本x-noise构造训练样本对<x-normal，x-noise>；输入所述x-noise到自编码器得到解码输出y；所述降噪模型训练模块（721）获取损失函数loss=mse（y，x-normal）并迭代优化编码与解码参数直至所述损失函数loss达到目标值；其中，在前向推理阶段，亦对所述第一图像（011）进行所述归一化处理并将其归一化结果输入所述自编码器；所述第二数据处理模块（720）使用合成少数类过采样方法smote对所述训练样本进行扩增；所述识别模型训练模块（722）对所述第一图像（011）或所述第二降噪后图像（111）以及所述第二图像（222）分别进行归一化处理；再将归一化后的样本输入动作识别模型中，得到预测概率分布p并使用focal loss作为损失函数，计算预测值与真实标签之间的误差loss；再使用梯度下降法迭代优化模型参数，直至loss降到预设的精度范围。
15.一种计算机存储介质，包括：用于存储计算机程序的存储介质本体；所述计算机程序在被微处理器执行时，实现如权利要求1至8所述的任一动作识别方法。16.一种传感器，包括：如权利要求9至14的任一所述动作识别装置（902）；和/或如权利要求15的所述存储介质（903）。17.一种车辆，包括：如权利要求9至14的任一所述动作识别装置（902）；和/或如权利要求15的所述存储介质（903）；和/或如权利要求16的任一所述传感器（905）。
技术总结本发明属于智能车技术领域，尤其涉及一种动作识别方法、装置、存储介质、传感器及车辆；其实施例以超宽带UWB（Ultra Wide Band）雷达识别人体脚踢动作，并将深度学习技术与UWB雷达相结合，用以解决识别技术中存在的误识别、误动作问题，可进一步提升相关系统的性能；此外，使用UWB雷达实现的脚踢传感器，其成本更低，将UWB雷达信号与深度学习模型相结合，其识别性能亦得到了提升。别性能亦得到了提升。别性能亦得到了提升。
技术研发人员：牛寅 陈枭雄 岑冠男
受保护的技术使用者：联合汽车电子有限公司
技术研发日：2022.07.21
技术公布日：2022/11/1
