基于2D激光雷达及惯性感测数据的人物辨识方法及设备

基于2d激光雷达及惯性感测数据的人物辨识方法及设备
技术领域
1.本发明涉及多传感器信息融合，特别是一种基于2d激光雷达及惯性感测数据的人物辨识方法及设备。


背景技术：

2.人物辨识应用广泛，是人工智能领域研究的热点问题，是智慧城市、智慧交通、智能监控系统等诸多应用的一项基础技术。用于人物辨识的设备通常分为两类：接触式和非接触式；接触式设备通常包括智能手表、智能手环、携带芯片的证件、智能手机等穿戴式装置，而非接触式设备则包括摄像头、激光雷达、rfid、wifi等。其中，基于摄像头的人物辨识技术通过采集图像或视频来提取人脸特征或其他生物特征，存在个人隐私泄露和强烈依赖于光线条件等问题；激光雷达、rfid、wifi等由于对人体侵入性低，对环境光源无依赖，使用方便，近年来得到大量研究学者关注，但rfid和wifi只能识别出站、坐、蹲、走、躺等粗粒度的人物行为，在诸多人物行为相似的现实场景中鲁棒性较低。
3.融合2d激光雷达和穿戴式装置的人物辨识方法可以解决上述问题。首先，2d激光雷达适用于任何光线条件下的探测任务，具有多通道的激光雷达可以产生密集的点云图像，在不泄露人脸隐私的前提下，可以实时实现人物目标检测。在目标探测任务中，由于激光扫描本质上包含点云的空间坐标，所以激光雷达对于获取探测到的人物的姿态和形状具有一定优势，然而由于缺少人物具体的个性化信息，这使得激光雷达很难识别出人物的身份信息。
4.其次，人物携带的穿戴式装置，如智能手表、智能手环、工作证件、智能手机等，通常存储着人物的身份信息，并装载有加速度计、陀螺仪、磁强计等惯性传感器。通过无线通信可以获取穿戴式装置中的个人信息与惯性感测数据，并基于惯性感测数据可以进一步计算人物的运动特征与活动轨迹，但无法获得人物所处环境信息以及高精度的室内位置信息。因此，需要将2d激光雷达数据和穿戴式装置的惯性数据进行有效关联，设计稳定的人物特征提取与配对方法，才能在激光雷达扫描的点云图像中定位到人物，并正确地标记人物的身份信息。相比于基于单一传感器的人物辨识方法，基于多传感器的方法获取目标的信息更为丰富、观测视角更为广阔，且鲁棒性更高。但是，融合2d激光雷达数据和惯性感测数据的人物辨识方法存在以下难点：
5.1、基于2d激光雷达的点云数据和穿戴式装置的惯性感测数据相比于视觉图像数据，所涵盖的信息维度较低，提取人物特征较难；
6.2、人物遮挡会导致部分点云数据缺失，由此提取的人物特征存在偏差，如何基于2d激光雷达数据与惯性感测数据提取的特征，实现容错性高且稳定可靠的关联配对，存在较大困难。


技术实现要素：

7.本发明所要解决的技术问题是，针对现有技术不足，提供一种基于2d激光雷达及
惯性感测数据的人物辨识方法及设备，克服采用单一传感器进行人物辨识存在的精度低、鲁棒性差的问题，最大程度保障在无光源、无影像、隐私保护等多种场景下的人物准确辨识。
8.为解决上述技术问题，本发明所采用的技术方案是：一种基于2d激光雷达及惯性感测数据的人物辨识方法，包括以下步骤：
9.s1、利用2d激光雷达实时获取环境的2d点云数据；获取人物的身份信息和惯性感测数据；
10.s2、对2d点云数据进行预处理；
11.s3、从预处理后的2d点云数据和惯性感测数据中分别提取出人的行为特征序列；
12.s4、对s3获取的两组行为特征序列分别进行归一化，并基于两组行为特征序列的相似度，进行短期配对；
13.s5、利用历史信息纠正短期配对偏差，得到稳定的长期配对结果和人物辨识结果。
14.本发明融合了2d激光雷达和穿戴式装置实时获取环境的2d点云数据和惯性感测数据，基于两种数据信息进行短期配对，并利用历史信息纠正短期配对误差，从而可以得到定的长期配对结果和人物辨识结果，本发明克服了采用单一传感器进行人物辨识存在的精度低、鲁棒性差的问题，最大程度保障在无光源、无影像、隐私保护等多种场景下的人物辨识。
15.为了进一步提高识别精度，本发明步骤s2的具体实现过程包括：
16.2.1，删除2d点云数据中的静态背景数据；
17.2.2，对2.1处理后的2d点云数据进行聚类，识别出第t帧时刻的所有人物点集；
18.2.3，对每个人物点集进行曲线拟合，删除不符合人体形状的点集；
19.2.4，对经2.3处理后的人物点集，将连续帧中属于同一人的点集连接在一起，得到预处理后的2d点云数据。
20.步骤2.2的具体实现过程包括：
21.选定扫描点pi(xi,yi)为集群中心，设定集群区域半径tc，遍历每个扫描点，当扫描点pj的坐标(xj,yj)在集群区域之内时，即将该扫描点pj加入点集当扫描点pj的坐标(xj,yj)在集群区域之外时，将该扫描点pj加入候选点集，直至遍历完全部的扫描点；tc为设定的边界阈值；
22.在候选点集中选择一个扫描点作为下一个新点集的集群中心，依次判断候选点集中剩下的扫描点是否在新点集的集群区域内；
23.直至所有扫描点被划分到点集中，得到第t帧时刻所有人物点集的集合c
t
；
24.其中，2d激光雷达被安装为x轴向东，y轴向北，z轴向上的直角坐标系，xi和yi分别表示扫描点在x方向和y方向平移的距离。
25.步骤2.3的具体实现过程包括：利用2d激光雷达扫描人体上半身，得到一个人体点集集合并统计得到人体点集长度的范围[l
min
,l
max
]，l
min
为最小的人体点集长度，l
max
为最大的人体点集长度；针对集合c
t
中的第i个人物点集若的点集长度处于[l
min
,l
max
]范围中，则被认为是一个人体，选取点集中心点作为人体的质心，该质心坐标代表人体位
置，记为否则将从c
t
中删除。
[0026]
步骤2.4的具体实现过程包括：已知第t-1帧和第t帧时的点集集合c
t-1
和c
t
，对于c
t-1
中的点集已知该点集在t-1帧内的轨迹使用卡尔曼滤波器预测点集在下一帧的位置，即预测点集在t帧时的质心，记为对c
t-1
和c
t
中的全部点集进行两两配对，基于和的欧氏距离构建成本矩阵；基于成本矩阵，利用匈牙利算法计算c
t-1
和c
t
中点集之间的相关性；如果与相关性最大，则将加入轨迹，得到第t帧时点集的轨迹其中，
[0027]
步骤s3的具体实现过程包括：
[0028]
从预处理后的2d点云数据中获取人物的最近轨迹，提取人的第一行为特征序列，其中第一行为特征序列包括：移动特征、朝向特征、加速度特征、转向特征；其中，最近轨迹获取过程包括：设为第t帧时点集的轨迹集合，若中点集数量不少于m个，则选取轨迹最近的m个点集组成序列否则，将轨迹中全部点集组成序列并填充坐标为空的空点集，直至中点集数量为m；
[0029]
从可穿戴装置中获得人物的惯性感测数据，从惯性感测数据中提取人的第二行为特征序列，其中第二行为特征序列包括：移动特征、朝向特征、加速度特征、转向特征。
[0030]
所述第一行为特征序列中：
[0031]
移动特征和朝向特征获取过程包括：以第t-1时的点集的位置为中间点，设置一个正方形区域，该正方形区域由9个边长为ts的正方形构成，以居中位置的正方形的中心为起点，以该起点朝向其余8个正方形的中点方向为朝向，为每个正方形赋值；判断预处理后的2d点云数据中的点集所处的正方形，将该点集的移动特征和朝向特征设置为对应的正方形的相应数值；
[0032]
转向特征获取过程包括：设为第t帧时点集的移动向量与第t-1帧时点集的移动向量的夹角，即则第t帧时点集的转向特征值为点集到第t帧时所有相邻移动向量的夹角变化累计值，即其中
[0033]
所述第二行为特征序列中：
[0034]
移动特征确定过程包括：获取可穿戴式装置中加速度计、陀螺仪和磁强计的数据，分别记为w.s3；若不符合峰值检测标准，则设为0，表示人物处于停止状态；否则，使用陀螺仪和磁强计计算四元数，计算的方位角，用m个方位角的平均方位角作为t时刻的方位角值，并根据所述正方形区域，将移动方向设为1至8中的数值；其中，峰值检测标准为：8中的数值；其中，峰值检测标准为：sw表示所设定的滑动窗口大小；
[0035]
朝向特征确定过程包括：将t时刻的方位值靠近的正方形区域的方向设为朝向特征；
[0036]
加速度特征确定过程包括：将加速度特征归一化分为4个级别，分别用0，1，2，3表示，其中0代表最小特征值；
[0037]
转向特征确定过程包括：在可穿戴式装置的每两个相邻数据点之间获得一个移动向量，设为第t帧时可穿戴式装置的移动向量与第t-1帧时的移动向量的夹角，即则第t帧时的转向特征值为到帧时所有相邻移动向量的夹角变化累计值，即其中
[0038]
本发明设计的特征提取方法能够提取到较为细粒度的行为特征，涵盖了随时间变化的人物的移动、朝向、加速度和转向特征，通过形成细粒度的人物行为序列，能够辅助提高人物辨识的准确性。
[0039]
步骤s4的实现过程包括：
[0040]
采用动态时间规整方法计算两组行为特征序列的相似度采用动态时间规整方法计算两组行为特征序列的相似度分别表示提取的两组行为特征序列；
[0041]
得到所有人物点阵和穿戴式装置的一个相似度矩阵s[1:i,1:j]，其中i和j分别表示在时间间隔ts内从激光数据和惯性数据中侦测到的人物个数，令对于每个穿戴式装置采用如下方差公式计算该装置配对的置信度采用如下方差公式计算该装置配对的置信度其中s[1:i,j]为人物点阵与的相似度序列，即s[1:i,j]＝[s[i,j]],i∈[1,i]；
[0042]
选择当前置信度最高的穿戴式装置，在相似度矩阵s[1:i,1:j]中第j列中选择数值最大的行，选择该行所代表的点集组成配对，将配对结果加入到短期配对结果中；然后从相似度矩阵s[1:i,1:j]中删除i行和j列，并选择下一个置信度最高的穿戴式装置依次进行配对，直到全部配对完成，得到所有的短期配对结果p
short
(t)。
[0043]
本发明设计的短期配对方法以信号稳定的穿戴式装置数据为主，通过置信度计算，选取相似度最高的人物点阵，能够有效地克服人物遮挡引起的点云数据缺失问题。
[0044]
步骤s5的实现过程包括：令上一个时间间隔t-1内的长期配对结果为1内的长期配对结果为其中组表示点集与穿戴式装置配对，且其长期配对相似度得分为对于以下三种情况，分别计算当前时间间隔t内长期配对结果p
long
(t)：表示点集与穿戴式装置的相似度；
[0045]
当短期配对与长期配对结果一致时，即在短期配对p
short
(t)中，
在长期配对p
long
(t-1)中，且1)中，且则将添加到长期配对结果p
iong
(t)中，其中计算公式为：α为权重参数；表示两组行为特征序列和的相似度；
[0046]
当短期配对与长期配对结果不一致时，即若在短期配对p
short
(t)中，在长期配对p
long
(t-1)中，当时，若则将添加到p
long
(t)中；(t)中；若则将添加到p
long
(t)中；
[0047]
当短期配对中出现新配对时，即若出现在短期配对p
short
(t)中，但并未出现在长期配对p
long
(t-1)中，则将添加到p
long
(t)中，
[0048]
本发明通过计算人物点阵与穿戴式装置的行为特征序列相似度，结合置信度衡量进行长短期综合配对，能够有效克服人物辨识过程中的人物遮挡、数据缺失或者数据误差引起的配对抖动问题，实现了容错性高且稳定可靠的关联配对。
[0049]
本发明还提供了一种终端设备，其包括处理器和存储器；所述存储器存储有计算机程序/指令；所述处理器执行所述存储器存储的计算机程序/指令；所述计算机程序/指令被配置为实现本发明所述方法的步骤。
[0050]
与现有技术相比，本发明所具有的有益效果为：
[0051]
现有技术基于单一2d激光雷达的人物探测方法，通过扫描环境能够得到准确的空间定位信息，但是只能捕捉到人物外形和人体行为，无法获得准确的个性化人物特征，无法精准捕捉人物的身份信息；基于单一穿戴式装置的人物辨识方法携带有准确的人物身份信息，但是缺少全局的环境扫描和准确的室内定位信息，无法对环境中的人物进行准确定位和识别。本发明充分利用2d激光雷达在目标检测与局部定位以及穿戴式装置在身份感知与移动感知上的优势，实现优势互补，克服采用单一传感器进行人物辨识存在的精度低、鲁棒性差等问题；同时，本发明不依赖于视觉图像数据，不涉及到人脸隐私，采用的惯性感测数据不存在人物遮挡问题，通过容错性高且稳定可靠的关联配对，最大程度保障了在无光源、无影像、隐私保护等多种场景下的人物辨识。本发明克服了采用单一传感器进行人物辨识存在的精度低、鲁棒性差的问题，最大程度地保障了在无光源、无影像、隐私保护等多种场景下的人物准确辨识。
附图说明
[0052]
图1为本发明实施例方法流程图。
[0053]
图2为本发明实施例移动特征与朝向特征示意图。
具体实施方式
[0054]
如图1所示，本发明实施例具体实现过程包括：
[0055]
步骤1，利用2d激光雷达实时获取周围环境的2d点云数据；
[0056]
步骤2，通过对2d点云数据进行预处理，获得人物点阵，并定位到人物坐标；
[0057]
步骤3，利用人物所佩戴的穿戴式装置获取人物的身份信息和惯性感测数据；
[0058]
步骤4，从点云数据和惯性感测数据中分别提取出人的行为特征序列；
[0059]
步骤5，对两组行为特征序列进行归一化，并基于两组行为特征序列的相似度计算进行短期配对；
[0060]
步骤6，利用历史信息纠正短期配对偏差，得到稳定的长期配对和人物辨识结果。
[0061]
本发明实施例中，步骤1利用2d激光雷达获取周围环境的2d点云数据，是指以激光雷达装置位置为坐标起点，扫描周边环境，获取整体环境的2d点云数据，得到每个扫描点pi的多参数表示形式：pi＝{xi,yi,di}，其中xi和yi表示扫描点在直角坐标系下的坐标，di表示扫描点到雷达的径向距离。
[0062]
本发明实施例中，步骤2对2d点云数据进行预处理，包括：
[0063]
步骤2.1，参考无人物活动时扫描的2d点云图，对实时采集的2d点云数据中的静态背景数据进行删除。
[0064]
步骤2.2，对2d点云数据进行聚类，识别出人物点集。选定扫描点pi(xi,yi)为集群中心，设定集群区域半径tc，遍历每个扫描点，当扫描点pj的坐标(xj,yj)在集群区域之内时，即将该扫描点pj加入点集当扫描点pj的坐标(xj,yj)在集群区域之外时，将该扫描点pj加入候选点集，直至遍历完全部的扫描点；在候选点集中选择一个扫描点作为下一个新点集的集群中心，依次判断候选点集中剩下的扫描点是否在新点集的集群区域内；直至所有扫描点被划分到点集中，由此得到第t帧时刻所有点集的一个集合c
t
。
[0065]
步骤2.3，对每个点集进行曲线拟合，删除不符合人体形状的点集。利用2d激光雷达扫描人体上半身，得到一个人体点集集合并统计得到人体点集长度的范围[l
min
,l
max
]，l
min
为最小的人体点集长度，l
max
为最大的人体点集长度；针对集合c
t
中的第i个人物点集若的点集长度处于[l
min
,l
max
]范围中，则被认为是一个人体，选取点集中心点作为人体的质心，该质心坐标代表人体位置，记为否则将从c
t
中删除。
[0066]
步骤2.4，将连续帧中属于同一个人的点集连接在一起。已知t-1帧和t帧时的点集集合c
t-1
和c
t
，对于c
t-1
中的点集已知该点集在t-1帧内的轨迹使用卡尔曼滤波器预测在下一帧的位置，记为对c
t-1
和c
t
中的全部点集进行两两配对，基于和的欧氏距离构建成本矩阵；基于成本矩阵，利用匈牙利算
法来计算c
t-1
和c
t
中点集之间的相关性。如果与相关性最大，则将加入轨迹得到t帧时点集c
t
的轨迹其中，
[0067]
本发明实施例中，步骤3利用人物所佩戴的穿戴式装置获取人物的身份信息和惯性感测数据，包括：
[0068]
采集可穿戴设备中加速度计、陀螺仪和磁强计这三类传感器的惯性感测数据，分别记为对所有惯性感测数据进行低通滤波，以消除短期波动，维持长期趋势。同时利用可穿戴设备中存储的账号信息获取到人物的身份信息，记为profilej。
[0069]
本发明实施例中，步骤4从点云数据和惯性感测数据中分别提取出人的行为特征序列，包括：
[0070]
步骤4.1，从2d激光雷达的点云数据中获取人物的最近轨迹。已知为点集到t帧时该点集的轨迹集合，如果中点集数量不少于m个，则选取轨迹最近的m个点集组成序列否则，将轨迹中全部点集组成序列并填充坐标为空的空点集直至中点集数量为m。
[0071]
步骤4.2，从2d激光雷达的点云数据中提取人的行为特征序列，其中行为特征序列包括：移动特征、朝向特征、加速度特征、转向特征。
[0072]
步骤4.3，从可穿戴装置中获得人物的惯性感测数据。获取可穿戴式装置中加速度计、陀螺仪和磁强计的数据，分别记为和并保持感测数据中数据点个数与点云数据中点集个数相同，均为m。
[0073]
步骤4.4，从惯性感测数据中提取人的行为特征序列，其中行为特征序列包括：移动特征、朝向特征、加速度特征、转向特征。
[0074]
本发明实施例中，步骤4.2从2d激光雷达的点云数据中提取人的行为特征序列，包括：
[0075]
步骤4.2.1，从点云数据中提取人物的移动特征和朝向特征。以第t-1时的点集的位置为中间点，设置一个正方形区域，该正方形区域由9个边长为ts的正方形构成，以居中位置的正方形的中心为起点，以该起点朝向其余8个正方形的中点方向为朝向，为每个正方形赋值；判断预处理后的2d点云数据中的点集所处的正方形，将该点集的移动特征和朝向特征设置为对应的正方形的相应数值；如点集相对于的移动方位为正东方，即点集的移动向量为v8，则的移动特征和朝向特征赋值为8。
[0076]
步骤4.2.2，从点云数据中提取人物的加速度特征。通过中记录的人物点集位置，计算得到人物移动的物理距离，进而计算得到加速度，人物点集的加速特征标记为将其归一化分为4个级别，分别用0，1，2，3表示，其中0代表最小特征值。
[0077]
步骤4.2.3，从点云数据中提取人物的转向特征。转向特征是序列
角度变化的累积值。设为第t帧时点集的移动向量与第t-1帧时点集的移动向量的夹角，即则第t帧时点集的转向特征值为点集到第t帧时所有相邻移动向量的夹角变化累计值，即其中
[0078]
本发明实施例中，步骤4.4从惯性感测数据中提取出人的行为特征序列，包括：
[0079]
步骤4.4.1，从惯性感测数据中提取人物的移动特征。首先判断可穿戴式装置是否移动，使用加速度值并应用z-score算法来检测峰值。用sw表示滑动窗口大小，t时刻的移动平均值和标准差的计算方法如下：
[0080][0081][0082]
用β表示预先定义的权重，峰值检测标准如下：
[0083][0084]
如果不符合上述峰值检测标准，则将设为0，表示人物处于停止状态；否则，使用陀螺仪和磁强计来计算四元数。通过变换，获得的方位角。我们用m个方位角的平均方位角作为t时刻的方位角值，并根据图2将移动方向设为1至8中的数值。
[0085]
步骤4.4.2，从惯性感测数据中提取人物的朝向特征。通过陀螺仪和磁强计计算四元数获得人物方位。然后将四元数转换为欧拉角，得到方位角。将t时刻的方位值靠近的正方形区域的方向设为朝向特征。
[0086]
步骤4.4.3，从惯性感测数据中提取人物的加速度特征。基于加速度数据，采用低通滤波器滤除噪声，将加速度特征归一化分为4个级别，分别用0，1，2，3表示，其中0代表最小特征值。
[0087]
步骤4.4.4，从惯性感测数据中提取人物的转向特征。在可穿戴式装置的每两个相邻数据点之间获得一个移动向量，设为第t帧时可穿戴式装置的移动向量与第t-1帧时的移动向量的夹角，即则第t帧时的转向特征值为到帧时所有相邻移动向量的夹角变化累计值，即其中
[0088]
本发明实施例中，步骤5对两组行为特征序列进行归一化，并基于两组行为特征序列的相似度计算进行短期配对，包括：
[0089]
步骤5.1，两组行为特征序列的相似度计算，即计算从激光数据和惯性数据中提取出的每组行为特征序列和的相似度，对于每个特征fk,k＝1,2,3,4，计算相似度令x[1:m]和y[1:n]表示时间间隔ts内和的特征fk的序列值。我们采用动态时间规整(dynamic time warping,dtw)算法来计算相似度。设dtw(i,j)表示子序列x[1:i]和y[1:j]之间的距离，其中i≤m,j≤n。初始条件为dtw(1,1)＝d(x[1],y[1])，其中d
()表示两个数据点之间的欧几里得距离。子序列x[1:i]和y[1:j]之间的距离dtw(i,j)为：
[0090]
dtw(i,j)＝d(x[i],y[j])+min{dtw(i-1,j)},dtw(i-1,j-1),dtw(i,j-1)}.
ꢀꢀꢀ
(4)
[0091]
步骤5.2，相似度数值归一化。根据步骤5.1，由此可得到子序列的距离dtw(m,n)和最大距离dtw
max
。对于每个特征fk,k＝1,2,3,4，相似度可归一化为：
[0092][0093]
步骤5.3，综合相似度计算。根据步骤5.2，得到每个特征归一化后的相似度数值，通过加权求和得到综合相似度为：
[0094][0095]
其中αk为加权权重。
[0096]
步骤5.4，基于相似度进行短期配对。首先定义一个相似度矩阵s[1:i,1:j]，其中i和j表示在时间间隔ts内从激光数据和惯性数据中侦测到的人物个数，令内从激光数据和惯性数据中侦测到的人物个数，令采用执行度来决定配对顺序的优先级。对于每个穿戴式装置采用如下方差公式来计算该装置配对的置信度，方差越大，表示置信度越高：
[0097][0098]
其中s[1:i,j]为人物点阵与的相似度序列，即s[1:i,j]＝[s[i,j]],i∈[1,i]；选择当前置信度最高的穿戴式装置在相似度矩阵中第j列中选择数值最大的行，选择该行所代表的点集组成配对，如该行所代表的点集为则组成配对将配对结果加入到短期配对结果p
short
(t)中。然后从矩阵s中删除i行和j列，并选择下一个置信度最高的穿戴式装置进行依次配对，直到全部配对完成，得到所有的短期配对结果p
short
(t)。
[0099]
本发明实施例中，步骤6利用历史信息纠正短期配对偏差，得到最终的配对和人物辨识结果，包括：
[0100]
步骤6.1，基于短期配对结果和历史配对信息，更新长期配对结果。令上一个时间间隔t-1内的长期配对结果为其中组表示点集与穿戴式装置配对，且其长期配对相似度得分为对于以下三种情况，计算当前时间间隔t内长期配对结果p
long
(t)：表示点集与穿戴式装置的相似度；
[0101]
当短期配对与长期配对结果一致时，即在短期配对p
short
(t)中，在长期配对p
long
(t-1)中，且1)中，且
则将添加到p
long
(t)中，其中按照如下方法计算，其中α为权重参数：
[0102][0103]
当短期配对与长期配对结果不一致时，即若在短期配对p
short
(t)中，在长期配对p
long
(t-1)中，当时，若则表示之前的长期配对结果可靠性更高，则将添加到p
long
(t)中，其中按照如下方法计算：
[0104][0105]
若则表示新的配对结果可靠性更高，将添加到p
long
(t)中，其中按照如下方法计算：
[0106][0107]
当短期配对中出现新配对时，即若出现在短期配对p
short
(t)中，但并未出现在长期配对p
long
(t-1)中，则将添加到p
long
(t)中，其中按照如下方法计算：
[0108][0109]
在计算所有穿戴式设备的长短期配对结果后，可得到当前时间间隔t内长期配对结果p
long
(t)。
[0110]
如果点云图像中的人物点阵与穿戴式装置实现了稳定的长期配对，则可以自动关联到可穿戴设备中存储的人物身份信息profilej，并同步在点云图中标记出来。
[0111]
实验证明，在无光源的室内场景内，本发明实施例的方法仍然可以实时有效地辨识出环境中的每个佩戴有穿戴式装置的人物，并将无穿戴式装置的人物标记为“未知”。

技术特征：
1.一种基于2d激光雷达及惯性感测数据的人物辨识方法，其特征在于，包括以下步骤：s1、利用2d激光雷达实时获取环境的2d点云数据；获取人物的身份信息和惯性感测数据；s2、对2d点云数据进行预处理；s3、从预处理后的2d点云数据和惯性感测数据中分别提取出人的行为特征序列；s4、对s3获取的两组行为特征序列分别进行归一化，并基于两组行为特征序列的相似度，进行短期配对；s5、利用历史信息纠正短期配对偏差，得到稳定的长期配对结果和人物辨识结果。2.根据权利要求1所述的基于2d激光雷达及惯性感测数据的人物辨识方法，其特征在于，步骤s2的具体实现过程包括：2.1，删除2d点云数据中的静态背景数据；2.2，对2.1处理后的2d点云数据进行聚类，识别出第t帧时刻的所有人物点集；2.3，对每个人物点集进行曲线拟合，删除不符合人体形状的点集；2.4，对经2.3处理后的人物点集，将连续帧中属于同一人的点集连接在一起，得到预处理后的2d点云数据。3.根据权利要求2所述的基于2d激光雷达及惯性感测数据的人物辨识方法，其特征在于，步骤2.2的具体实现过程包括：选定扫描点p
i
(x
i
,y
i
)为集群中心，设定集群区域半径t
c
，遍历每个扫描点，当扫描点p
j
的坐标(x
j
,y
j
)在集群区域之内时，即将该扫描点p
j
加入点集当扫描点p
j
的坐标(x
j
,y
j
)在集群区域之外时，将该扫描点p
j
加入候选点集，直至遍历完全部的扫描点；t
c
为设定的边界阈值；在候选点集中选择一个扫描点作为下一个新点集的集群中心，依次判断候选点集中剩下的扫描点是否在新点集的集群区域内；直至所有扫描点被划分到点集中，得到第t帧时刻所有人物点集的集合c
t
；其中，2d激光雷达被安装为x轴向东，y轴向北，z轴向上的直角坐标系，x
i
和y
i
分别表示扫描点在x方向和y方向平移的距离。4.根据权利要求2所述的基于2d激光雷达及惯性感测数据的人物辨识方法，其特征在于，步骤2.3的具体实现过程包括：利用2d激光雷达扫描人体上半身，得到一个人体点集集合，统计得到人体点集长度的范围[l
min
,l
max
]，l
min
为最小的人体点集长度，l
max
为最大的人体点集长度；针对集合c
t
中的第i个人物点集若的点集长度处于[l
min
,l
max
]范围中，则被认为是一个人体，选取点集中心点作为人体的质心，该质心坐标代表人体位置，记为否则将从c
t
中删除。5.根据权利要求2所述的基于2d激光雷达及惯性感测数据的人物辨识方法，其特征在于，步骤2.4的具体实现过程包括：已知第t-1帧和第t帧时的点集集合c
t-1
和c
t
，对于c
t-1
中的点集已知该点集在t-1帧内的轨迹使用卡尔曼滤波器预测点集在下一帧的位置，即预测点集在
t帧时的质心，记为对c
t-1
和c
t
中的全部点集进行两两配对，基于和的欧氏距离构建成本矩阵；基于成本矩阵，利用匈牙利算法计算c
t-1
和c
t
中点集之间的相关性；如果与相关性最大，则将加入轨迹，得到第t帧时点集的轨迹其中，第t帧时点集的轨迹即预处理后的2d点云数据。6.根据权利要求1所述的基于2d激光雷达及惯性感测数据的人物辨识方法，其特征在于，步骤s3的具体实现过程包括：从预处理后的2d点云数据中获取人物的最近轨迹，提取人的第一行为特征序列，其中第一行为特征序列包括：移动特征、朝向特征、加速度特征、转向特征；其中，最近轨迹获取过程包括：设为第t帧时点集的轨迹集合，若中点集数量不少于m个，则选取轨迹最近的m个点集组成序列否则，将轨迹中全部点集组成序列并填充坐标为空的空点集，直至中点集数量为m；从可穿戴装置中获得人物的惯性感测数据，从惯性感测数据中提取人的第二行为特征序列，其中第二行为特征序列包括：移动特征、朝向特征、加速度特征、转向特征。7.根据权利要求6所述的基于2d激光雷达及惯性感测数据的人物辨识方法，其特征在于，所述第一行为特征序列中：移动特征和朝向特征获取过程包括：以第t-1时的点集的位置为中间点，设置一个正方形区域，该正方形区域由9个边长为t
s
的正方形构成，以居中位置的正方形的中心为起点，以该起点朝向其余8个正方形的中点方向为朝向，为每个正方形赋值；判断预处理后的2d点云数据中的点集所处的正方形，将该点集的移动特征和朝向特征设置为对应的正方形的相应数值；转向特征获取过程包括：设为第t帧时点集的移动向量与第t-1帧时点集的移动向量的夹角，即则第t帧时点集的转向特征值为点集到第t帧时所有相邻移动向量的夹角变化累计值，即其中所述第二行为特征序列中：移动特征确定过程包括：获取可穿戴式装置中加速度计、陀螺仪和磁强计的数据，分别记为若不符合峰值检测标准，则设为0，表示人物处于停止状态；否则，使用陀螺仪和磁强计计算四元数，计算的方位角，用m个方位角的平均方位角作为t时刻的方位角值，并根据所述正方形区域，将移动方向设为1至8中的数值；其中，峰值检测标准为：中的数值；其中，峰值检测标准为：sw表示所设定的滑动窗口大小；
朝向特征确定过程包括：将t时刻的方位值靠近的正方形区域的方向设为朝向特征；加速度特征确定过程包括：将加速度特征归一化分为4个级别，分别用0，1，2，3表示，其中0代表最小特征值；转向特征确定过程包括：在可穿戴式装置的每两个相邻数据点之间获得一个移动向量，设为第t帧时可穿戴式装置的移动向量与第t-1帧时的移动向量的夹角，即则第t帧时的转向特征值为到帧时所有相邻移动向量的夹角变化累计值，即其中8.根据权利要求1所述的基于2d激光雷达及惯性感测数据的人物辨识方法，其特征在于，步骤s4的实现过程包括：采用动态时间规整方法计算两组行为特征序列的相似度采用动态时间规整方法计算两组行为特征序列的相似度分别表示提取的两组行为特征序列；得到所有人物点阵和穿戴式装置的一个相似度矩阵s[1:i,1:j]，其中i和j分别表示在时间间隔t
s
内从激光数据和惯性数据中侦测到的人物个数，令内从激光数据和惯性数据中侦测到的人物个数，令对于每个穿戴式装置采用如下方差公式计算该装置配对的置信度其中s[1:i,j]为人物点阵与的相似度序列，即s[1:i,j]＝[s[i,j]],i∈[1,i]；选择当前置信度最高的穿戴式装置，在相似度矩阵s[1:i,1:j]中第j列中选择数值最大的行，选择该行所代表的点集组成配对，将配对结果加入到短期配对结果中；然后从相似度矩阵s[1:i,1:j]中删除i行和j列，并选择下一个置信度最高的穿戴式装置依次进行配对，直到全部配对完成，得到所有的短期配对结果p
short
(t)。9.根据权利要求1所述的基于2d激光雷达及惯性感测数据的人物辨识方法，其特征在于，步骤s5的实现过程包括：令上一个时间间隔t-1内的长期配对结果为其中组表示点集与穿戴式装置配对，且其长期配对相似度得分为对于以下三种情况，分别计算当前时间间隔t内长期配对结果p
long
(t)：表示点集与穿戴式装置的相似度；当短期配对与长期配对结果一致时，即在短期配对p
short
(t)中，在长期配对p
long
(t-1)中，且1)中，且则将添加到长期配对结果p
long
(t)中，其中计
算公式为：算公式为：α为权重参数；表示两组行为特征序列的相似度；当短期配对与长期配对结果不一致时，即若在短期配对p
short
(t)中，在长期配对p
long
(t-1)中，当时，若则将添加到p
long
(t)中；其中(t)中；其中若则将添加到p
long
(t)中；其中(t)中；其中当短期配对中出现新配对时，即若出现在短期配对p
short
(t)中，但并未出现在长期配对p
long
(t-1)中，则将添加到p
long
(t)中，其中10.一种终端设备，其特征在于，包括处理器和存储器；所述存储器存储有计算机程序/指令；所述处理器执行所述存储器存储的计算机程序/指令；所述计算机程序/指令被配置为实现权利要求1～9之一所述方法的步骤。

技术总结
本发明公开了一种基于2D激光雷达及惯性感测数据的人物辨识方法及设备，利用2D激光雷达实时获取周围环境的点云数据；通过对2D点云数据进行背景移除、聚类和曲线拟合得到人物点阵，并定位到人物坐标；利用人物所佩戴的穿戴式装置获取人物的身份信息和惯性感测数据；从点云数据和惯性感测数据中分别提取出人的行为特征序列；对两组行为特征序列进行归一化，并基于两组行为特征序列的相似度进行短期配对；利用历史信息纠正短期配对偏差，得到稳定的长期配对和人物辨识结果。本发明结合了2D激光雷达在局部定位和穿戴式装置在移动感知上的优势，实现了无光源、无影像、隐私保护等多种场景下的人物辨识。场景下的人物辨识。场景下的人物辨识。


技术研发人员：张凌燕 曾煜棋
受保护的技术使用者：中南大学
技术研发日：2022.07.08
技术公布日：2022/11/1