1.本发明涉及一种跌倒检测方法,尤其是一种基于毫米波多维特征与多重滤波的跌倒检测方法。
背景技术:2.现有的跌倒检测主要有基于加速度计和摄像头的检测系统以及基于毫米波雷达的检测系统等。
3.基于加速度计和摄像头的检测系统是当人发生跌倒时,加速度计检测到人体的加速度急剧增加,同时人体的姿态变为水平或倾斜状态,头部关节和身体中心之间的垂直距离也会减少。具体技术方案是依次提取头部关节和人体中心位置、提取人体加速度、监控头部关节到人体中心的垂直距离和人体加速度、跌倒行为分析、判断是否从跌倒中恢复,是,则无需报警,否则报警。即当加速度计检测到人体产生了一个较大的加速度,同时摄像头观测到头部关节和人体中心之间的垂直距离减少时,系统就会检测到发生了跌倒事件;如果头部关节和人体中心的垂直距离在一定时间内又开始增加,那么意味着这个人已经从跌倒状态中恢复过来,无需报警,否则就认为目标可能发生了具有危险的跌倒,启动报警。所述检测系统的不足之处是实际应用时检测的虚警率较高,而且加速度计必须佩戴在人体上,不便于日常使用;摄像头在光线不好或有障碍物存在的情况下表现不佳,同时还有泄露日常生活中的隐私的问题。
4.基于毫米波雷达检测系统是设置多个雷达进行跌倒,无需人体佩戴装置及设置摄像头等,相比基于加速度计和摄像头的检测系统不但日常监测方便且可避免隐私泄露,但仍存在着虚警率较高的问题。如专利申请号为202111313188.1的中国发明专利申请,公开了一种“基于毫米波雷达和机器学习的跌倒检测方法和系统”,其通过在雷达回波信号中提取出多普勒频率等多种特征并结合机器学习模型实现跌倒检测。专利申请号为202111354517.7的中国发明专利申请,公开了“一种多通道超宽带雷达浴室跌倒检测装置与方法”,其首先利用回波信号中的加速度信息判断人体目标是否存在,再计算判别向量进而实现跌倒检测。专利申请号为202111256842.x的中国发明专利申请,公开了“一种跌倒检测方法及雷达设备”,其首先在雷达信号中提取出速度、距离等特征,再分别判断人体是否在水平以及垂直方向上发生跌倒来实现跌倒检测。上述跌倒检测方法均没有充分利用雷达信号中的多维度特征,且对于跌倒检测过程没有进行充分的前置滤波及后续滤波处理,因此,对于多个特定动作虚警率大于30%。
技术实现要素:5.本发明是为了解决现有技术所存在的上述技术问题,提供一种基于毫米波多维特征与多重滤波的跌倒检测方法。
6.本发明的技术解决方案是:一种基于毫米波多维特征与多重滤波的跌倒检测方法,其特征在于依次按照如下步骤进行:
7.步骤1.获得连续t1时间段内多个天线的毫米波雷达测量信息;
8.步骤2.根据每个天线毫米波雷达测量信息,计算目标点当前帧时刻的距离、速度、snr、垂直角和相位;
9.步骤3.将多目标点的特征进行融合,得到最终的距离、速度、snr、垂直角和相位,即得到每帧t1时间段内每个时刻最终的特征向量;
10.步骤4.基于t1时间段内每帧时刻最终的特征向量,形成m个多维特征矩阵t1k,所述k是多维特征矩阵t1k的序数,k=1,2,3
……
m;
11.步骤5.设每次跌倒判决结果为rn,所述n为判断结果的序数,n=1,2,
……
,连续跌倒判决次数为m,所述m小于或等于m,跌倒事件判断阈值为q,q小于m,k
←
1、n
←
1起,进行如下操作:
12.步骤5.1计算多维特征矩阵t1k中速度和snr的均值和方差,判断均值和方差是否均小于阈值,是,则判定为空场景数据或者人体静态场景数据,将非跌倒状态记为跌倒判决结果rn,进行步骤5.5;否,则进行步骤5.2;
13.步骤5.2.将多维特征矩阵t1k送至跌倒检测网络实现跌倒或非跌倒状态分类判决,将分类结果记为跌倒判决结果rn,判断n是否等于m,是进行步骤5.3,否,则进行步骤5.5;
14.步骤5.3判断m次跌倒判决结果中的跌倒事件是否大于或者等于q次,是,则进行步骤5.4,否,进行步骤5.5;
15.步骤5.4获得t2时间段内多个天线的毫米波雷达测量信息,计算目标点当前时刻的距离、速度、snr、垂直角和相位;将多目标点的特征进行融合,得到最终的距离、速度、snr、垂直角和相位,即得到t2时间段内每个时刻最终的特征向量;基于t2时间段内每个时刻最终的特征向量,形成多维特征矩阵t2s;计算多维特征矩阵t2s中速度和snr的均值和方差,判断均值和方差是否均小于阈值,是,则判定为人体静态场景数据,触发跌倒报警状态,否,则进行步骤5.5;
16.步骤5.5判断k是否小于m,是,进行步骤5.6,否,则结束;
17.步骤5.6判断m与k的差值是否大于或等于m,是k
←
k+1,n
←
1,返回步骤5.1,否,则将多维特征矩阵t1
k+1
—t1m储存,结束。
18.所述步骤2按照如下步骤进行:首先对多天线雷达测量信息执行频域分析,并将多天线的频域数据按range-antenna-chirp排列,得到data cube;然后采用music波束成形算法对data cube执行垂直方向上的music波束成形,获取目标在不同距离及不同垂直角度上的频域信息谱图range-elevation spectrum;接着对range-elevation spectrum执行2d-cfar算法,获取潜在的目标点以及每个目标点对应的距离、垂直角、snr信息;获取snr最强点的相位信息作为最终的相位信息;再沿目标点方向对data cube执行波束成形,最后执行基于快速傅里叶变换的频域分析,获取每个目标点的速度。
19.所述步骤3按照如下步骤进行:
20.步骤3.1基于每个目标点的snr大小确定每个目标点的权重αi:
21.22.其中,j表示检测到的目标点的个数;
23.步骤3.2基于权重信息,得到融合多目标点的特征:
[0024][0025]
其中,r、v和ele分别代表最终的距离、速度、垂直角度,rj、vj和elej分别代表每个目标点的距离、速度、垂直角度;最终的snr由多个目标点的snr平均值表示,最终的相位信息采用snr最强点的相位信息。
[0026]
本发明利用多天线毫米波雷达信号获取人体目标的距离、速度、snr、垂直角及相位等多维度特征,从而得到跌倒动作的高质量多维特征矩阵,通过多重滤波措施消除跌倒检测中的虚警事件。具体滤波措施是首先进行前置滤波处理,即基于多维特征矩阵判断当前场景是否为动态场景,只有为动态场景时才执行后续的跌倒检测网络检测;其次,利用跌倒检测网络进行跌倒判断,并对判断结果执行平滑滤波处理,即只有连续出现多次跌倒结果才表示有可能出现了跌倒事件;最后,进行后置滤波处理,即检测到跌倒事件后,如果一段时间内跌倒特征矩阵一直为人体静态场景数据,则进入跌倒报警状态,否则解除跌倒报警状态。本发明有效降低了跌倒事件的虚警率,实际测试表明系统的正确检出率在95%以上,系统虚警率在5%以下。
附图说明
[0027]
图1是本发明实施例的流程图。
[0028]
图2是本发明实施例的天线布置图。
[0029]
图3是提取多维特征提取路线示意图。
[0030]
图4是本发明实施例特征矩阵构建示意图。
具体实施方式
[0031]
本发明的一种基于毫米波多维特征与多重滤波的跌倒检测方法如图1所示,依次按照如下步骤进行:
[0032]
步骤1.获得连续t1时间(2s)段内多个天线的毫米波雷达测量信息;
[0033]
本发明实施例的多个天线的毫米波雷达是设置3发4收fmcw毫米波雷达跌倒检测系统,系统配置如下:
[0034]
1.系统工作在60ghz频段;
[0035]
2.系统有3根发射天线(tx1-3)和4根接收天线(rx1-4),天线布置阵列如图2所示;
[0036]
3.系统采样率为2612ksps,频带宽度为4ghz;
[0037]
4.系统的距离分辨率为0.076m,速度分辨率为0.079m/s,最大测量距离为4.9m,最大测量速度为3.8m/s。
[0038]
步骤2.根据每个天线毫米波雷达测量信息,计算目标点当前帧时刻的距离、速度、
snr、垂直角和相位;
[0039]
具体步骤如图3所示:基于恒虚警检测方法对毫米波雷达的采样信号进行背景消除等预处理,对采用恒虚警检测方法检测到的能量强点进行波束成形以实现感知目标聚焦。
[0040]
首先对多天线雷达测量信息执行频域分析,并将多天线的频域数据按range-antenna-chirp排列,得到data cube;然后采用music波束成形算法对data cube执行垂直方向上的music波束成形,获取目标在不同距离及不同垂直角度上的频域信息谱图range-elevation spectrum;接着对range-elevation spectrum执行2d-cfar算法,获取潜在的目标点以及每个目标点对应的距离、垂直角、snr信息;获取snr最强点的相位信息作为最终的相位信息;再沿目标点方向对data cube执行波束成形,最后执行基于快速傅里叶变换的频域分析,获取每个目标点的速度。
[0041]
步骤3.将多目标点的特征进行融合,得到最终的距离、速度、snr、垂直角和相位,即得到每个t1时间段内每帧时刻最终的特征向量;
[0042]
步骤3.1基于每个目标点的snr大小确定每个目标点的权重αi:
[0043][0044]
其中,j表示检测到的目标点的个数;
[0045]
步骤3.2基于权重信息,得到融合多目标点的特征:
[0046][0047]
其中,r、v和ele分别代表最终的距离、速度、垂直角度,rj、vj和elej分别代表每个目标点的距离、速度、垂直角度;最终的snr由多个目标点的snr平均值表示,最终的相位信息采用snr最强点的相位信息。
[0048]
步骤4.如图4所示,基于t1时间段内每帧时刻最终的特征向量,形成20个多维特征矩阵t1k,所述k是多维特征矩阵t1k的序数,k=1,2,3
……
20;
[0049]
步骤5.设每次跌倒判决结果为rn,所述n为判断结果的序数,n=1,2,
……
,连续跌倒判决次数为m=9,跌倒事件判断阈值为7,k
←
1、n
←
1起,进行如下操作:
[0050]
步骤5.1前置滤波:计算多维特征矩阵t1k中速度和snr的均值和方差,判断均值和方差是否均小于阈值(设定阈值为速率均值0.05m/s,速率方差0.1m/s,snr均值0.1,snr方差0.1),是,则判定为空场景数据或者人体静态场景数据,将非跌倒状态记为跌倒判决结果rn,进行步骤5.5;否,则进行步骤5.2;
[0051]
步骤5.2.跌倒检测网络判决:将多维特征矩阵t1k送至跌倒检测网络实现跌倒或非跌倒状态分类判决,将分类结果记为跌倒判决结果rn,判断n是否等于m,是进行步骤5.3,否,则进行步骤5.5;
[0052]
本发明的跌倒检测网络采用3层的卷积与全连接混合网络,前两层为卷积层,第三层为全连接层。第一层卷积层的卷积核为5
×
5,卷积核个数为16;第二层卷积层的卷积核为3
×
3,卷积核个数为8;全连接层输入为第二层卷积输出展平的向量,输出为1
×
2的状态向量;两个状态分别对应跌倒与非跌倒状态的概率,如果跌倒状态概率值高于非跌倒状态概率,则当前判决为跌倒状态,反之为非跌倒状态。跌倒检测网络的数据集由自行采集的跌倒样本和非跌倒样本组成,将数据集按照7:3的比例进行分配,70%用于训练,30%用于测试。
[0053]
跌倒检测网络首先对输入的动态场景的多维特征矩阵执行卷积操作,获取更高维度的特征,经过两级卷积操作后,由全连接网络完成高维特征到低维特征的映射,实现状态分类;
[0054]
步骤5.3平滑滤波:判断m次跌倒判决结果中的跌倒事件是否大于或者等于q次,是,则进行步骤5.4,否,进行步骤5.5;
[0055]
步骤5.4后置滤波阶段:获得t2时间段(10s)内多个天线的毫米波雷达测量信息,按照上述步骤2-4的方法,计算目标点当前时刻的距离、速度、snr、垂直角和相位;将多目标点的特征进行融合,得到最终的距离、速度、snr、垂直角和相位,即得到t2时间段内每个时刻最终的特征向量;基于t2时间段内每个时刻最终的特征向量,形成多维特征矩阵t2s;计算多维特征矩阵t2s中速度和snr的均值和方差,判断均值和方差是否均小于阈值(设定阈值为速率均值0.05m/s,速率方差0.1m/s,snr均值0.1,snr方差0.1),是,则判定为人体静态场景数据,即目标跌倒后一直未起,目标发生了具有危险的跌倒事件,触发跌倒报警状态,否,则进行步骤5.5;
[0056]
步骤5.5判断k是否小于m,是,进行步骤5.6,否,则结束;
[0057]
步骤5.6判断m与k的差值是否大于或等于m,是k
←
k+1,n
←
1,返回步骤5.1,否,则将多维特征矩阵t1
k+1
—t1m储存,作为下期数据的自动补位,结束。
技术特征:1.一种基于毫米波多维特征与多重滤波的跌倒检测方法,其特征在于依次按照如下步骤进行:步骤1.获得连续t1时间段内多个天线的毫米波雷达测量信息;步骤2.根据每个天线毫米波雷达测量信息,计算目标点当前帧时刻的距离、速度、snr、垂直角和相位;步骤3.将多目标点的特征进行融合,得到最终的距离、速度、snr、垂直角和相位,即得到每个t1时间段内每帧时刻最终的特征向量;步骤4.基于t1时间段内每帧时刻最终的特征向量,形成m个多维特征矩阵t1
k
,所述k是多维特征矩阵t1
k
的序数,k=1,2,3
……
m;步骤5.设每次跌倒判决结果为rn,所述n为判断结果的序数,n=1,2,
……
,连续跌倒判决次数为m,所述m小于或等于m,跌倒事件判断阈值为q,q小于m,k
←
1、n
←
1起,进行如下操作:步骤5.1计算多维特征矩阵t1
k
中速度和snr的均值和方差,判断均值和方差是否均小于阈值,是,则判定为空场景数据或者人体静态场景数据,将非跌倒状态记为跌倒判决结果rn,进行步骤5.5;否,则进行步骤5.2;步骤5.2.将多维特征矩阵t1
k
送至跌倒检测网络实现跌倒或非跌倒状态分类判决,将分类结果记为跌倒判决结果rn,判断n是否等于m,是进行步骤5.3,否,则进行步骤5.5;步骤5.3判断m次跌倒判决结果中的跌倒事件是否大于或者等于q次,是,则进行步骤5.4,否,进行步骤5.5;步骤5.4获得t2时间段内多个天线的毫米波雷达测量信息,计算目标点当前时刻的距离、速度、snr、垂直角和相位;将多目标点的特征进行融合,得到最终的距离、速度、snr、垂直角和相位,即得到t2时间段内每个时刻最终的特征向量;基于t2时间段内每个时刻最终的特征向量,形成多维特征矩阵t2s;计算多维特征矩阵t2s中速度和snr的均值和方差,判断均值和方差是否均小于阈值,是,则判定为人体静态场景数据,触发跌倒报警状态,否,则进行步骤5.5;步骤5.5判断k是否小于m,是,进行步骤5.6,否,则结束;步骤5.6判断m与k的差值是否大于或等于m,是k
←
k+1,n
←
1,返回步骤5.1,否,则将多维特征矩阵t1
k+1
—t1
m
储存,结束。2.根据权利要求1所述的基于毫米波多维特征与多重滤波的跌倒检测方法,其特征在于所述步骤2按照如下步骤进行:首先对多天线雷达测量信息执行频域分析,并将多天线的频域数据按range-antenna-chirp排列,得到data cube;然后采用music波束成形算法对data cube执行垂直方向上的music波束成形,获取目标在不同距离及不同垂直角度上的频域信息谱图range-elevation spectrum;接着对range-elevation spectrum执行2d-cfar算法,获取潜在的目标点以及每个目标点对应的距离、垂直角、snr信息;获取snr最强点的相位信息作为最终的相位信息;再沿目标点方向对data cube执行波束成形,最后执行基于快速傅里叶变换的频域分析,获取每个目标点的速度。3.根据权利要求2所述的基于毫米波多维特征与多重滤波的跌倒检测方法,其特征在于所述步骤3按照如下步骤进行:步骤3.1基于每个目标点的snr大小确定每个目标点的权重α
i
:
其中,j表示检测到的目标点的个数;步骤3.2基于权重信息,得到融合多目标点的特征:其中,r、v和ele分别代表最终的距离、速度、垂直角度,r
j
、v
j
和ele
j
分别代表每个目标点的距离、速度、垂直角度;最终的snr由多个目标点的snr平均值表示,最终的相位信息采用snr最强点的相位信息。
技术总结本发明公开一种基于毫米波多维特征与多重滤波的跌倒检测方法,利用多天线毫米波雷达信号获取人体目标的距离、速度、SNR、垂直角及相位等多维度特征,从而得到跌倒动作的高质量多维特征矩阵,通过前置滤波、跌倒检测网络判决、平滑滤波及后置滤波等多重滤波措施消除跌倒检测中的虚警事件。本发明有效降低了跌倒事件的虚警率,实际测试表明系统的正确检出率在95%以上,系统虚警率在5%以下。系统虚警率在5%以下。系统虚警率在5%以下。
技术研发人员:王洁 石勇 肖祺 冉旭 邹余洋 周禀祯 金龙洙 高庆华
受保护的技术使用者:大连理工大学 大连海事大学
技术研发日:2022.07.11
技术公布日:2022/11/1