一种睡眠动作识别方法及系统

1.本发明涉及计算机智能识别技术领域，尤其涉及一种睡眠动作识别方法及系统。


背景技术：

2.睡眠是人类重要的生理活动之一，高质量的睡眠对于人类健康至关重要。除了呼吸和心跳频率，睡眠中人体的各种动作也是反映睡眠质量与睡眠分期的重要指标。因此，日常生活中的睡眠动作识别对于睡眠质量和人体健康的评估具有重要意义。
3.近年来，随着物联网技术的快速发展，出现了一些用于日常生活中睡眠动作检测与识别的方法，它们可分为基于接触传感器的方法和非接触方法两类。
4.基于接触传感器的方法通过陀螺仪、加速度计、压力传感器感知身体动作引起的角速度、加速度、压力的变化检测睡眠动作，这类方法可以有效检测各种睡眠动作，但是需要传感器与人体紧密接触，容易引起不适进而影响睡眠质量。
5.非接触睡眠动作检测方法通常采用rgb彩色摄像头、红外摄像头、深度摄像头、麦克风作为传感器实现睡眠动作的检测，但这些方法需要采集睡眠中的图像或声音，不可避免会导致使用者对于隐私问题的担忧。
6.为了解决上述问题，有学者提出基于雷达的睡眠动作检测方法，该方法通过对人体动作调制后的雷达回波的分析识别睡眠动作，可以有效避免上述系统或方法所存在的接触引起不适、侵犯个人隐私等问题，但是由于雷达对于方向垂直于信号发射方向的运动不敏感，单个雷达对于某些睡眠动作的识别会因为发射角度过小引起的敏感度问题而精度受限。
7.因此，有必要提出一种新的睡眠动作识别方法，能克服现有单路雷达方法存在的信号发射角度小而导致动作识别精度低的问题。


技术实现要素：

8.本发明实施例所要解决的技术问题在于，提供一种睡眠动作识别方法及系统，能克服现有单路雷达方法存在的信号发射角度小而导致动作识别精度低的问题。
9.为了解决上述技术问题，本发明实施例提供了一种睡眠动作识别方法，其在与两路连续波多普勒雷达进行配合的睡眠动作识别系统上实现，所述方法包括以下步骤：
10.所述睡眠动作识别系统周期性接收所述两路雷达对人体睡眠动作发生时分别采样所得的i、q通道信号并进行预处理；
11.所述睡眠动作识别系统基于预处理后的两路雷达的i、q通道信号，分别构建两路雷达的频谱图，并堆叠为混合频谱图；
12.所述睡眠动作识别系统将所述混合频谱图输入事先训练好的睡眠动作识别神经网络模型中进行睡眠动作识别，输出识别结果。
13.其中，所述两路雷达之一为安装于人体上方1.5米处且方向正对人体腰部的上方雷达，另一为安装于人体左侧方0.3米处且离地0.15米以及方向正对人体腰部左侧的侧方
雷达。
14.其中，所述上方雷达的i、q通道信号通过以下公式(1)来表示；所述侧方雷达的i、q通道信号通过以下公式(2)来表示；
[0015][0016][0017]
其中：i
上
(t)、q
上
(t)为所述上方雷达i、q两个通道的输出；x
上
(t)为相对所述上方雷达的身体位移；λ
上
为所述上方雷达的载波波长；θ
上
是固定的初始相位；φ
上
分别为所述上方雷达的i通道直流偏移量、q通道直流偏移量、i通道增益、q通道增益、i/q通道相位差，可以通过基于最小二乘的椭圆拟合算法从i、q信号中估计；φ
上
均为固定的参数值；i
侧
(t)、q
侧
(t)为所述侧方雷达i、q两个通道的输出；x
侧
(t)为相对所述侧方雷达的身体位移；λ
侧
为所述侧方雷达的载波波长；θ
侧
是固定的初始相位；的初始相位；φ
侧
分别为所述侧方雷达的i通道直流偏移量、q通道直流偏移量、i通道增益、q通道增益、i/q通道相位差，可以通过基于最小二乘的椭圆拟合算法从i、q信号中估计；φ
侧
均为固定的参数值。
[0018]
其中，对所述上方雷达及所述侧方雷达均执行以下步骤进行预处理，具体包括：
[0019]
通过公式(3)和(4)，对所述上方雷达及所述侧方雷达的q通道信号均进行校正，消除每路i、q信号的增益偏差和相位差；
[0020][0021][0022]
通过公式(5)-(8)，对所述上方雷达及所述侧方雷达的i、q信号分别进行截止频率为2hz的高通滤波，以减少0.2-2hz的呼吸与心跳的干扰；
[0023][0024][0025][0026][0027]
其中，a1＝3.974，a2＝-5.922，a3＝3.922，a4＝-0.974，b0＝0.987，b1＝-3.948，b2＝5.922，b3＝-3.948，b4＝0.987，当k＝1～4时，当k＝1～4时，
[0028]
通过公式(9)和(10)，分别构建所述上方雷达及所述侧方雷达的复信号；
[0029][0030][0031]
其中，所述基于预处理后的两路雷达的i、q通道信号，分别构建两路雷达的频谱图的具体步骤包括：
[0032]
获取3.456秒共4320个采样点对应所述上方雷达及所述侧方雷达的复信号s
上
(k),s
上
(k+1),s
上
(k+2)
…s上
(k+4319)和s
侧
(k),s
侧
(k+1),s
侧
(k+2)
…s侧
(k+4319)；
[0033]
对256个采样点对应所述上方雷达的复信号s
上
(k+32j),s
上
(k+32j+1),s
上
(k+32j+2)
…s上
(k+32j+255)和对应所述侧方雷达的复信号s
侧
(k+32j),s
侧
(k+32j+1),s
侧
(k+32j+2)
…s侧
(k+32j+255)均进行傅里叶变换，生成256
×
128的二维数组x
上
和x
侧
；其中：x
上
第j列对应s
上
(k+32j),s
上
(k+32j+1),s
上
(k+32j+2)
…s上
(k+32j+255)傅里叶变换后各频率的幅值；x
侧
第j列对应s
侧
(k+32j),s
侧
(k+32j+1),s
侧
(k+32j+2)
…s侧
(k+32j+255)傅里叶变换后各频率的幅值；j＝0-127，对应128列；
[0034]
将256
×
128的二维数组x
上
和x
侧
降维成128
×
128的二维数组m
上
和m
侧
；其中，m
上
[i][j]＝(x
上
[2i][j]+x
上
[2i+1][j])/2；m
侧
[i][j]＝(x
侧
[2i][j]+x
侧
[2i+1][j])/2，i＝0～127,j＝0～127；m
上
和m
侧
分别对应所述上方雷达及所述侧方雷达的原始频谱图；
[0035]
对二维数组m
上
和m
侧
的所有元素均做对数运算，得到矩阵和其中：i＝0～127,j＝0～127；
[0036]
分别计算矩阵和所有元素的平均值，以得到对应的平均值和并对矩阵和中所有元素进行二值化处理，获得二值化处理之后的对应矩阵和其中，
和分别对应所述上方雷达及所述侧方雷达二值化后的频谱图；
[0037]
根据轮廓寻找算法，寻找和中的所有轮廓，且进一步将和中处在最大轮廓外的点的值均置为0后，分别形成为所述上方雷达及所述侧方雷达去噪后的频谱图。
[0038]
其中，所述混合频谱图是基于所述上方雷达及所述侧方雷达去噪后的频谱图作为两个通道堆叠而成的。
[0039]
其中，所述方法进一步包括：
[0040]
预先定义睡眠动作识别神经网络模型，并采用mini-batch adam优化算法以及被标记有睡眠动作标签的历史混合频谱图作为训练的数据集进行训练；其中，训练样本经过神经网络的输出和真实的训练样本输出之间的损失函数如下：
[0041][0042]
i，k为索引值；m1为训练样本数量；k为睡眠动作的种类数量；l为交叉熵损失函数；ai为第i个训练样本在softmax层的未激活的输出；zi为训练集中第i个训练样本的分类向量，向量中目标分类z
ik
等于1，其他分类z
ik
等于0；为softmax的输出，计算了第i个训练样本预测为属于分类k的似然概率；对损失函数e进行优化求最小化的极值获得神经网络的参数。
[0043]
其中，所述睡眠动作识别神经网络模型包括四个卷积层，四个池化层和三个全连接层。
[0044]
本发明实施例还提供了一种睡眠动作识别系统，其与两路连续波多普勒雷达相连，包括：
[0045]
睡眠信号接收单元，用于周期性接收所述两路雷达对人体睡眠动作发生时分别采样所得的i、q通道信号并进行预处理；
[0046]
频谱图构建单元，用于基于预处理后的两路雷达的i、q通道信号，分别构建两路雷达的频谱图，并堆叠为混合频谱图；
[0047]
睡眠动作识别单元，用于将所述混合频谱图输入事先训练好的睡眠动作识别神经网络模型中进行睡眠动作识别，输出识别结果。
[0048]
其中，所述两路雷达之一为安装于人体上方1.5米处且方向正对人体腰部的上方雷达，另一为安装于人体左侧方0.3米处且离地0.15米以及方向正对人体腰部左侧的侧方雷达。
[0049]
实施本发明实施例，具有如下有益效果：
[0050]
本发明利用深度卷积神经网络，将基于双路连续波多普勒雷达的睡眠动作识别作为图像的多值分类问题，避免单路雷达对切向运动不敏感的问题，提高了睡眠动作识别精度，从而克服现有单路雷达方法存在的信号发射角度小而导致动作识别精度低的问题。
附图说明
[0051]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。
[0052]
图1为本发明实施例提供的一种睡眠动作识别方法的流程图；
[0053]
图2为本发明实施例提供的一种睡眠动作识别方法中两路连续波多普勒雷达的安装示意图；
[0054]
图3为本发明实施例提供的一种睡眠动作识别方法中睡眠动作识别神经网络模型的结构图；
[0055]
图4为本发明实施例提供的一种睡眠动作识别方法中左翻身动作时上方雷达及侧方雷达的原始频谱图、对数变换后的频谱图、二值化后的频谱图和去噪后的频谱图；其中，上方雷达的原始频谱图、对数变换后的频谱图、二值化后的频谱图和去噪后的频谱图依序对应为(a)、(c)、(e)和(g)；侧方雷达的原始频谱图、对数变换后的频谱图、二值化后的频谱图和去噪后的频谱图依序对应为(b)、(d)、(f)和(h)；
[0056]
图5为本发明实施例提供的一种睡眠动作识别方法中十种典型睡眠动作去噪后的频谱图；
[0057]
图6为本发明实施例提供的一种睡眠动作识别方法中十种典型睡眠运动输入分别为混合频谱图、上方雷达频谱图及侧方雷达频谱图时的混淆矩阵的示意图；其中，(a)、(b)、(c)分别为混合频谱图、上方雷达频谱图及侧方雷达频谱图时的混淆矩阵；
[0058]
图7为本发明实施例提供的一种睡眠动作识别系统的结构示意图。
具体实施方式
[0059]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
[0060]
如图1所示，为本发明实施例中，提出的一种睡眠动作识别方法，其在与两路连续波多普勒雷达进行配合的睡眠动作识别系统上实现，所述方法包括以下步骤：
[0061]
步骤s1、所述睡眠动作识别系统周期性接收所述两路雷达对人体睡眠动作发生时分别采样所得的i、q通道信号并进行预处理；
[0062]
步骤s2、所述睡眠动作识别系统基于预处理后的两路雷达的i、q通道信号，分别构建两路雷达的频谱图，并堆叠为混合频谱图；
[0063]
步骤s3、所述睡眠动作识别系统将所述混合频谱图输入事先训练好的睡眠动作识别神经网络模型中进行睡眠动作识别，输出识别结果。
[0064]
具体过程为，在步骤s1之前，如图2所示，预先设置两路连续波多普勒雷达，其中一个安装于人体上方1.5米处且方向正对人体腰部，作为上方雷达，另一个安装于人体左侧方0.3米处且离地0.15米以及方向正对人体腰部左侧，作为侧方雷达。
[0065]
同时，还在睡眠动作识别系统中，预先定义睡眠动作识别神经网络模型，并采用mini-batch adam优化算法以及被标记有睡眠动作标签的历史混合频谱图作为训练的数据集进行训练，其构架如图3所示；其中，训练样本经过神经网络的输出和真实的训练样本输
出之间的损失函数如下：
[0066][0067]
i，k为索引值；m1为训练样本数量；k为睡眠动作的种类数量；l为交叉熵损失函数；ai为第i个训练样本在softmax层的未激活的输出；zi为训练集中第i个训练样本的分类向量，向量中目标分类z
ik
等于1，其他分类z
ik
等于0；为softmax的输出，计算了第i个训练样本预测为属于分类k的似然概率；对损失函数e进行优化求最小化的极值获得神经网络的参数。
[0068]
应当说明的是，睡眠动作识别神经网络模型包括四个卷积层，四个池化层和三个全连接层。神经网络每个卷积层的卷积核大小和个数见表1，每个池化层都是2
×
2最大池化，全连接层的输入和输出神经元个数见表2，每个卷积层后接一个relu激活函数和一个池化层，fc1和fc2全连接层后接一个relu激活函数，最后一个全连接层fc3后接softmax激活函数。
[0069]
表1
[0070]
类型conv1conv2conv3conv4卷积核大小3
×
33
×
33
×
33
×
3卷积核个数64128256512
[0071]
表2
[0072]
类型fc1fc2fc3输入神经元个数184321024512输出神经元个数1024512k
[0073]
睡眠动作分类神经网络由四组卷积层+relu激活函数+池化层和两组全连接层+relu激活函数最后加一组全连接层+softmax激活函数组成，整个神经网络的连接顺序为：
[0074]
conv1-relu-pool1-conv2-relu-pool2-conv3-relu-pool3-conv4-relu-pool4-fc1-relu-fc2-relu-fc3-softmax；
[0075]
其中，conv1层、conv2层、conv3层、conv4层为卷积层，fc1、fc2、fc3是全连接层，conv1输入通道数为2，输出通道数为64；conv2输入通道数为64，输出通道数为128；conv3输入通道数为128，输出通道数为256；conv4输入通道数为256，输出通道数为512；fc1输入神经元个数为18432，输出神经元个数为1024；fc2输入神经元个数为1024，输出神经元个数为512；fc3输入神经元个数为512，输出神经元个数为k,其中k为睡眠动作的种类数量；relu为非线性激活函数，relu(x)＝max(0，x)；
[0076]
整个神经网络具体操作如下：
[0077]
j(c)＝f
softmax
(f
fc3
(f
relu
(f
fc2
(f
relu
(f
fc1
(f
pool4
(f
relu
(f
conv4
(f
pool3
(f
relu
(f
conv3
(f
pool2
(f
relu
(f
conv2
(f
pool1
(f
relu
(f
conv1
(c)))))))))))))))))
[0078]
其中：c＝(上方雷达频谱图，侧方雷达频谱图)是双路雷达频谱图的归一化向量；f
relu
对应relu激活函数；f
softmax
对应softmax激活函数；f
conv1-f
conv4
对应卷积层；f
pool1-f
pool4
对应池化层；f
fc1-f
fc3
对应全连接层。
[0079]
应当说明的是，历史混合频谱图的形成过程为先由长时间的、包含大量睡眠动作
的两路雷达信号经手动截取睡眠动作发生时的信号段构建相应的两张频谱图，再每个动作的两张频谱图作为两个通道进行堆叠，并被手工标记上所属睡眠动作的标签。
[0080]
在步骤s1中，首先，两路雷达以1250hz的频率进行采样，t时刻的上方雷达的i、q通道信号通过以下公式(1)来表示；t时刻的侧方雷达的i、q通道信号通过以下公式(2)来表示；
[0081][0082][0083]
其中：i
上
(t)、q
上
(t)为上方雷达i、q两个通道的输出；x
上
(t)为相对上方雷达的身体位移；λ
上
为上方雷达的载波波长；θ
上
是固定的初始相位；是固定的初始相位；φ
上
分别为上方雷达的i通道直流偏移量、q通道直流偏移量、i通道增益、q通道增益、i/q通道相位差,可以通过基于最小二乘的椭圆拟合算法从i、q信号中估计；φ
上
均为固定的参数值；i
侧
(t)、q
侧
(t)为侧方雷达i、q两个通道的输出；x
侧
(t)为相对侧方雷达的身体位移；λ
侧
为所述侧方雷达的载波波长；θ
侧
是固定的初始相位；φ
侧
分别为侧方雷达的i通道直流偏移量、q通道直流偏移量、i通道增益、q通道增益、i/q通道相位差，可以通过基于最小二乘的椭圆拟合算法从i、q信号中估计；φ
侧
均为固定的参数值。
[0084]
其次，对上方雷达及侧方雷达均执行以下步骤进行预处理，具体包括：
[0085]
(1.1)通过公式(3)和(4)，对上方雷达及侧方雷达的q通道信号均进行校正，消除每路i、q信号的增益偏差和相位差；
[0086][0087]
[0088]
(1.2)通过公式(5)-(8)，对上方雷达及侧方雷达的i、q信号分别进行截止频率为2hz的高通滤波，以减少0.2-2hz的呼吸与心跳的干扰；
[0089][0090][0091][0092][0093]
其中，a1＝3.974，a2＝-5.922，a3＝3.922，a4＝-0.974，b0＝0.987，b1＝-3.948，b2＝5.922，b3＝-3.948，b4＝0.987，当k＝1～4时，当k＝1～4时，
[0094]
(1.3)通过公式(9)和(10)，分别构建上方雷达及侧方雷达的复信号；
[0095][0096][0097]
在步骤s2中，首先，基于预处理后的两路雷达的i、q通道信号，分别构建两路雷达的频谱图的具体步骤包括：
[0098]
(2.1)获取3.456秒共4320个采样点对应所述上方雷达及所述侧方雷达的复信号s
上
(k)，s
上
(k+1)，s
上
(k+2)
…s上
(k+4319)和s
侧
(k),s
侧
(k+1),s
侧
(k+2)
…s侧
(k+4319)；
[0099]
(2.2)对256个采样点对应上方雷达的复信号s
上
(k+32j),s
上
(k+32j+1),s
上
(k+32j+2)
…s上
(k+32j+255)和对应侧方雷达的复信号s
侧
(k+32j),s
侧
(k+32j+1),s
侧
(k+32j+2)
…s侧
(k+32j+255)均进行傅里叶变换，生成256
×
128的二维数组x
上
和x
侧
；其中：x
上
第j列对应s
上
(k+32j),s
上
(k+32j+1),s
上
(k+32j+2)
…s上
(k+32j+255)傅里叶变换后各频率的幅值；x
侧
第j列对应s
侧
(k+32j),s
侧
(k+32j+1),s
侧
(k+32j+2)
…s侧
(k+32j+255)傅里叶变换后各频率的幅值；j＝0-127，对应128列；
[0100]
在一个例子中，上方雷达和侧方雷达的复信号傅里叶变换均可采用以下方式，具体如下：
[0101]
将s(k)、s(k+1)
…
s(k+255)傅里叶变换生成x第1列
[0102]
将s(k+2)、s(k+2)
…
s(k+256)傅里叶变换生成x第2列
[0103]
以此类推，直到将s(k+4064)、s(k+4064)
…
s(k+4319)傅里叶变换生成x第128列。
[0104]
(2.3)将256
×
128的二维数组x
上
和x
侧
降维成128
×
128的二维数组m
上
和m
侧
；其中，m
上
[i][j]＝(x
上
[2i][j]+x
上
[2i+1][j])/2；m
侧
[i][j]＝(x
侧
[2i][j]+x
侧
[2i+1][j])/2，i＝0～127,j＝0～127；m
上
和m
侧
分别对应上方雷达及侧方雷达的原始频谱图；在一个例子中，左翻身(仰卧到左侧躺)动作时上方雷达及侧方雷达的原始频谱图分别对应如图4中(a)和(b)所示的频谱图；
[0105]
(2.4)对二维数组m
上
和m
侧
的所有元素均做对数运算，得到矩阵和其中：
i＝0～127,j＝0～127；在一个例子中，左翻身(仰卧到左侧躺)动作时上方雷达及侧方雷达的原始频谱图对数变换后的频谱图分别对应如图4中(c)和(d)所示的频谱图；
[0106]
(2.5)分别计算矩阵和所有元素的平均值，以得到对应的平均值和并对矩阵和中所有元素进行二值化处理，获得二值化处理之后的对应矩阵和其中，其中，和分别对应所述上方雷达及所述侧方雷达二值化后的频谱图；在一个例子中，左翻身(仰卧到左侧躺)动作时上方雷达及侧方雷达二值化后的频谱图分别对应如图4中(e)和(f)所示的频谱图；
[0107]
(2.6)根据轮廓寻找算法，寻找和中的所有轮廓，且进一步将和中处在最大轮廓外的点的值均置为0后，分别形成为上方雷达及侧方雷达去噪后的频谱图；在一个例子中，左翻身(仰卧到左侧躺)动作时上方雷达及侧方雷达去噪后的频谱图分别对应如图4中(g)和(h)所示的频谱图。
[0108]
如图5所示，展示了十种典型睡眠运动去噪后的频谱图，包括(a)仰卧至左侧躺、(b)左侧躺至仰卧、(c)仰卧至右侧躺、(d)右侧躺至仰卧、(e)坐起、(f)躺下、(g)屈腿、(h)伸腿、(i)向上挥手和(j)向下挥手。在每个动作的两个频谱图中，左边的频谱图是由上方雷达数据产生的，右边的频谱图是由侧方雷达数据产生的。
[0109]
其次，将上方雷达及侧方雷达去噪后的频谱图作为两个通道堆叠而成混合频谱图。
[0110]
在步骤s4中，将步骤s3所得的混合频谱图输入上述事先训练好的睡眠动作识别神经网络模型中进行睡眠动作识别，输出识别结果即可。
[0111]
下面对本发明实施例提供的睡眠动作识别方法的效果进行试验验证：在t时刻，使用(t-3.456)～t的两路雷达数据(1250hz共4320组采样点)构建频谱图，并将其堆叠为混合频谱图输入至睡眠动作分类神经网络，在实际应用中每0.5秒使用最新的4320组采样数据重复此步骤。训练后的睡眠动作分类神经网络作为一个多值分类器产生混合频谱图属于每个睡眠动作的似然概率。最后根据神经网络输出的似然概率计算最终的频谱图分类结果。表3是睡眠动作分类神经网络在输入为混合频谱图、上方雷达频谱图、侧方雷达频谱图三种情况下的睡眠动作分类准确率，图6是对应的混淆矩阵，图6(a)是输入为混合频谱图时的混淆矩阵，图6(b)是输入为上方雷达频谱图时的混淆矩阵，图6(c)是输入为侧方雷达频谱图时的混淆矩阵。从表3和图6可以看出，本发明实施例采用双路雷达进行睡眠动作的识别，可
以有效避免单路雷达由于天线发射角度小导致的对垂直于天线发射方向的运动不敏感的问题，从而极大地提升了睡眠动作识别的准确率。
[0112]
表3
[0113]
输入混合频谱图上方雷达频谱图侧方雷达频谱图分类准确率97.22％86.15％89.71％
[0114]
本发明实施例使用python 3.9和pytorch1.10.0库实现了基于深度卷积神经网络的睡眠动作分类方法，所有实验都是在nvidiageforcertx 2080tigpu和inteli5-10400fcpu机器上进行的。
[0115]
如图7所示，为本发明实施例中，对应实现本发明实施例中睡眠动作识别方法的一种睡眠动作识别系统，其与两路连续波多普勒雷达相连，包括：
[0116]
睡眠信号接收单元110，用于周期性接收所述两路雷达对人体睡眠动作发生时分别采样所得的i、q通道信号并进行预处理；
[0117]
频谱图构建单元120，用于基于预处理后的两路雷达的i、q通道信号，分别构建两路雷达的频谱图，并堆叠为混合频谱图；
[0118]
睡眠动作识别单元130，用于将所述混合频谱图输入事先训练好的睡眠动作识别神经网络模型中进行睡眠动作识别，输出识别结果。
[0119]
其中，所述两路雷达之一为安装于人体上方1.5米处且方向正对人体腰部的上方雷达，另一为安装于人体左侧方0.3米处且离地0.15米以及方向正对人体腰部左侧的侧方雷达。
[0120]
实施本发明实施例，具有如下有益效果：
[0121]
本发明利用深度卷积神经网络，将基于双路连续波多普勒雷达的睡眠动作识别作为图像的多值分类问题，避免单路雷达对切向运动不敏感的问题，提高了睡眠动作识别精度，从而克服现有单路雷达方法存在的信号发射角度小而导致动作识别精度低的问题。
[0122]
值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
[0123]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如rom/ram、磁盘、光盘等。
[0124]
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

技术特征：
1.一种睡眠动作识别方法，其特征在于，其在与两路连续波多普勒雷达进行配合的睡眠动作识别系统上实现，所述方法包括以下步骤：所述睡眠动作识别系统周期性接收所述两路雷达对人体睡眠动作发生时分别采样所得的i、q通道信号并进行预处理；所述睡眠动作识别系统基于预处理后的两路雷达的i、q通道信号，分别构建两路雷达的频谱图，并堆叠为混合频谱图；所述睡眠动作识别系统将所述混合频谱图输入事先训练好的睡眠动作识别神经网络模型中进行睡眠动作识别，输出识别结果。2.如权利要求1所述的睡眠动作识别方法，其特征在于，所述两路雷达之一为安装于人体上方1.5米处且方向正对人体腰部的上方雷达，另一为安装于人体左侧方0.3米处且离地0.15米以及方向正对人体腰部左侧的侧方雷达。3.如权利要求2所述的睡眠动作识别方法，其特征在于，所述上方雷达的i、q通道信号通过以下公式(1)来表示；所述侧方雷达的i、q通道信号通过以下公式(2)来表示；q通道信号通过以下公式(2)来表示；其中：i
上
(t)、q
上
(t)为所述上方雷达i、q两个通道的输出；x
上
(t)为相对所述上方雷达的身体位移；λ
上
为所述上方雷达的载波波长；θ
上
是固定的初始相位；φ
上
分别为所述上方雷达的i通道直流偏移量、q通道直流偏移量、i通道增益、q通道增益、i/q通道相位差，通过基于最小二乘的椭圆拟合算法从i、q信号中估计；φ
上
均为固定的参数值；i
侧
(t)、q
侧
(t)为所述侧方雷达i、q两个通道的输出；x
侧
(t)为相对所述侧方雷达的身体位移；λ
侧
为所述侧方雷达的载波波长；θ
侧
是固定的初始相位；始相位；φ
侧
分别为所述侧方雷达的i通道直流偏移量、q通道直流偏移量、i通道增益、q通道增益、i/q通道相位差，通过基于最小二乘的椭圆拟合算法从i、q信号中估计；φ
侧
均为固定的参数值。4.如权利要求3所述的睡眠动作识别方法，其特征在于，对所述上方雷达及所述侧方雷达均执行以下步骤进行预处理，具体包括：通过公式(3)和(4)，对所述上方雷达及所述侧方雷达的q通道信号均进行校正，消除每路i、q信号的增益偏差和相位差；
通过公式(5)-(8)，对所述上方雷达及所述侧方雷达的i、q信号分别进行截止频率为2hz的高通滤波，以减少0.2-2hz的呼吸与心跳的干扰；2hz的呼吸与心跳的干扰；2hz的呼吸与心跳的干扰；2hz的呼吸与心跳的干扰；其中，a1＝3.974，a2＝-5.922，a3＝3.922，a4＝-0.974，b0＝0.987，b1＝-3.948，b2＝5.922，b3＝-3.948，b4＝0.987，当k＝1～4时，当k＝1～4时，通过公式(9)和(10)，分别构建所述上方雷达及所述侧方雷达的复信号；分别构建所述上方雷达及所述侧方雷达的复信号；5.如权利要求4所述的睡眠动作识别方法，其特征在于，所述基于预处理后的两路雷达的i、q通道信号，分别构建两路雷达的频谱图的具体步骤包括：获取3.456秒共4320个采样点对应所述上方雷达及所述侧方雷达的复信号s
上
(k),s
上
(k+1),s
上
(k+2)
…
s
上
(k+4319)和s
侧
(k),s
侧
(k+1),s
侧
(k+2)
…
s
侧
(k+4319)；对256个采样点对应所述上方雷达的复信号s
上
(k+32j),s
上
(k+32j+1),s
上
(k+32j+2)
…
s
上
(k+32j+255)和对应所述侧方雷达的复信号s
侧
(k+32j),s
侧
(k+32j+1),s
侧
(k+32j+2)
…
s
侧
(k+32j+255)均进行傅里叶变换，生成256
×
128的二维数组x
上
和x
侧
；其中：x
上
第j列对应s
上
(k+32j),s
上
(k+32j+1),s
上
(k+32j+2)
…
s
上
(k+32j+255)傅里叶变换后各频率的幅值；x
侧
第j列对应s
侧
(k+32j),s
侧
(k+32j+1),s
侧
(k+32j+2)
…
s
侧
(k+32j+255)傅里叶变换后各频率的幅值；j＝0-127，对应128列；将256
×
128的二维数组x
上
和x
侧
降维成128
×
128的二维数组m
上
和m
侧
；其中，m
上
[i][j]＝(x
上
[2i][j]+x
上
[2i+1][j])/2；m
侧
[i][j]＝(x
侧
[2i][j]+x
侧
[2i+1][j])/2，i＝0～127,j＝0～127；m
上
和m
侧
分别对应所述上方雷达及所述侧方雷达的原始频谱图；
对二维数组m
上
和m
侧
的所有元素均做对数运算，得到矩阵和其中：分别计算矩阵和所有元素的平均值，以得到对应的平均值和并对矩阵和中所有元素进行二值化处理，获得二值化处理之后的对应矩阵和其中，其中，其中，和分别对应所述上方雷达及所述侧方雷达二值化后的频谱图；根据轮廓寻找算法，寻找和中的所有轮廓，且进一步将和中处在最大轮廓外的点的值均置为0后，分别形成为所述上方雷达及所述侧方雷达去噪后的频谱图。6.如权利要求5所述的睡眠动作识别方法，其特征在于，所述混合频谱图是基于所述上方雷达及所述侧方雷达去噪后的频谱图作为两个通道堆叠而成的。7.如权利要求1所述的睡眠动作识别方法，其特征在于，所述方法进一步包括：预先定义睡眠动作识别神经网络模型，并采用mini-batch adam优化算法以及被标记有睡眠动作标签的历史混合频谱图作为训练的数据集进行训练；其中，训练样本经过神经网络的输出和真实的训练样本输出之间的损失函数如下：i，k为索引值；m1为训练样本数量；k为睡眠动作的种类数量；l为交叉熵损失函数；a
i
为第i个训练样本在softmax层的未激活的输出；z
i
为训练集中第i个训练样本的分类向量，向量中目标分类z
ik
等于1，其他分类z
ik
等于0；为softmax的输出，计算了第i个训练样本预测为属于分类k的似然概率；对损失函数e进行优化求最小化的极值获得神经网络的参数。8.如权利要求7所述的睡眠动作识别方法，其特征在于，所述睡眠动作识别神经网络模型包括四个卷积层，四个池化层和三个全连接层。9.一种睡眠动作识别系统，其特征在于，其与两路连续波多普勒雷达相连，包括：睡眠信号接收单元，用于周期性接收所述两路雷达对人体睡眠动作发生时分别采样所得的i、q通道信号并进行预处理；频谱图构建单元，用于基于预处理后的两路雷达的i、q通道信号，分别构建两路雷达的频谱图，并堆叠为混合频谱图；
睡眠动作识别单元，用于将所述混合频谱图输入事先训练好的睡眠动作识别神经网络模型中进行睡眠动作识别，输出识别结果。10.如权利要求9所述的睡眠动作识别方法，其特征在于，所述两路雷达之一为安装于人体上方1.5米处且方向正对人体腰部的上方雷达，另一为安装于人体左侧方0.3米处且离地0.15米以及方向正对人体腰部左侧的侧方雷达。

技术总结
本发明提供一种睡眠动作识别方法，包括其在与两路连续波多普勒雷达进行配合的睡眠动作识别系统上实现，包括：睡眠动作识别系统周期性接收两路雷达对人体睡眠动作发生时分别采样所得的I、Q通道信号并进行预处理；睡眠动作识别系统基于预处理后的两路雷达的I、Q通道信号，分别构建两路雷达的频谱图，并堆叠为混合频谱图；睡眠动作识别系统将所述混合频谱图输入事先训练好的睡眠动作识别神经网络模型中进行睡眠动作识别，输出识别结果。实施本发明，能克服现有单路雷达方法存在的信号发射角度小而导致动作识别精度低的问题。度小而导致动作识别精度低的问题。度小而导致动作识别精度低的问题。


技术研发人员：徐玉 李佳程 翁知翔
受保护的技术使用者：温州大学
技术研发日：2022.07.23
技术公布日：2022/11/1