本发明属于计算机视觉，涉及一种半监督深度学习的人体活动识别方法及系统。
背景技术：
1、近年来，智能设备和物联网(iot)设备的使用增加了人体活动识别(humanactivity recognition)在各种场景中的重要性，例如智能家居系统、医疗保健和健康监测。har用于根据传感器信号确定用户的活动。har可分为两类：基于可穿戴传感器的方法和环境传感方法。基于可穿戴传感器的har方法因其广泛的信息量、无缝的设备集成和更强的隐私保护而得到广泛应用，并在日常活动监测中占据主导地位。然而，从活动信号中提取丰富的语义表征仍然是一个关键挑战。
2、目前的har方法主要分为两类：基于特征工程的方法和基于深度学习的方法。基于特征工程的方法一般使用传统的机器学习方法来识别不同的活动。这些方法涉及从传感器信号中定义和提取各种特征，例如统计特征或频率特性。这些提取的特征通常需要经过精心挑选，以便使传统的机器学习方法达到相对较高的准确度。然而，这些方法在特征提取和选择过程中需要专家知识和人工干预，可能仍然无法达到最佳性能。
3、为了克服传统手工特征方法的局限性，人们提出了一些基于深度学习的方法。har常用的深度学习模型有循环神经网络(rnn)和卷积神经网络(cnn)。rnn擅长分析时间序列数据，捕捉广泛的时间依赖性。另一方面，cnn擅长从信号中提取特征，对空间或局部变化表现出高度的不变性，不受时空背景的影响。将cnn与rnn相结合，通过结合来自传感器的空间和时间信息，提高了模型的准确性，从而产生了更稳健的特征表征。此外，还引入了注意力机制来提高模型的有效性。然而，这些方法需要大量的标注数据才能达到令人满意的活动识别准确率。收集大量标记数据是一项劳动密集型工作，甚至成本高昂，这限制了此类har方法的实际应用。
4、为了降低收集标注数据的成本，一些研究人员转而采用半监督学习方法来加强模型训练。半监督学习是一种将大量未标记数据与少量标记数据相结合的机器学习范式。典型的半监督学习算法主要分为基于伪标签的方法和一致性正则化方法。基于伪标签的方法首先使用有标签的数据训练弱分类器，然后对无标签的数据进行预测，生成伪标签。这类方法需要设定一个置信度标准，选择置信度高的未标记样本来不断扩大训练集。
5、相比之下，一致性正则化方法鼓励模型在不同的数据增强条件下对相同的输入产生一致的预测，从而学习数据的内在不变性，提高模型对输入变化的鲁棒性。然而，这些方法通常需要设置较高的置信度标准来过滤未标记的样本，以提高模型性能。但在训练的早期阶段，过高的置信度标准可能会导致数据利用率低下，限制模型的学习效率。同时，过高的置信度标准还可能导致伪标签的类不平衡，造成模型的认知偏差，最终影响模型的整体性能。
技术实现思路
1、有鉴于此，本发明的目的在于提供一种半监督深度学习的人体活动识别方法及系统，旨在解决现有人体活动识别模型需要大量标注数据来训练模型，收集海量的标注活动数据通常需要大量人力，甚至成本高昂的问题。本发明提出的兼具高精度和鲁棒性的半监督学习方法acs-har采用了半监督学习框架，并利用未标记样本增强了训练过程。具体来说，对同一未标记样本施加不同程度的扰动，促使模型在这些扰动下产生一致的预测结果，从而提高模型的泛化能力；同时，根据模型的学习状态自适应地调整置信度标准，有效地选择高置信度的未标记样本进行训练；为了避免伪标签带来的类不平衡问题，引入了焦点损失(focal loss)；最后，结合部分卷积(partial convolution)和双向gru来捕捉样本的空间和时间依赖性，从而降低模型的计算成本和内存访问频率。在四个主流har数据集上的实验结果证实，本发明的方法优于现有的半监督har方法，尤其是在准确性和泛化能力方面。
2、本发明具体技术方案如下：
3、一种半监督深度学习的人体活动识别方法，该方法包括以下步骤：s1、对智能设备中小型标签传感器信号进行监督训练；s2、利用训练有素的模型为无标签数据生成伪标签；s3、迭代选择高置信度的伪标签样本，纳入训练集，直到使用完所有高质量样本；s4、利用训练完成的模型对人体活动进行识别。
4、进一步，在步骤s1中，在进行小型标签传感器信号的监督训练阶段，处理的数据集来自智能设备内置的惯性传感器，包括加速计、陀螺仪和磁力计；在监督训练的过程中，传感器信号被输入到监督分支进行特征编码；该监督分支由空间特征编码器、时间特征编码器以及一个分类器构成，这种结构使得模型能够在空间和时间维度上深入学习传感器数据的关键特征；随后，这些学到的特征通过顶部的分类器映射到具体的行为类别，其中，和分别表示标签样本集和未标记样本集，表示传感器信号，表示相关的活动类别。
5、进一步，在步骤s2中，利用经过训练的模型为无标签数据生成伪标签，包括对未标记的样本实施两种不同的增强策略：弱增强(如随机缩放)和强增强(结合时间变化和随机缩放)，这些经过增强的未标记样本随后被输入到训练完成的监督分支中，用以生成伪标签。
6、进一步，在步骤s3中，所述迭代选择高置信度的伪标签样本，纳入训练集，直到使用完所有高质量样本包括：采用自适应置信度调整机制在学习过程中根据模型的学习状态动态调整阈值，从而提高模型利用未标记样本的利用率；在动态置信度阈值的基础上，迭代选择高置信度的未标注样本进入标注数据集，直到未标记样本集为空。
7、进一步，步骤s1中，具体包括：假设一个传感器数据集它由一个标记集和一个无标签集合组成，t是传感器序列的长度，c表示通道的数量，k是活动类别的数量，nl表示已标记数据的数量，nu表示未标记数据的数量；一般来说，nl＞＞nu意味着未标注样本的数量往往大大多于标注样本的数量。
8、监督分支从标注数据集中学习特征，由于缺乏数据多样性而导致过拟合。为了增加数据的多样性和数量，采用随机缩放的方法来增加有限的标注数据，提高模型的性能；监督分支的深度模型包括空间特征编码组件、时间特征编码组件和顶部的分类器；
9、为了从传感器数据中学习空间特征，通常会使用cnn。虽然cnn学习到的特征图通常包含冗余信息，但它们通常会导致参数数量和计算复杂度的增加。为了解决这个问题，本发明采用部分卷积pconv取代dwconv，以降低dwconv对内存带宽的高要求；假设输入和输出通道相等，pconv只对输入通道中的r应用传统卷积进行特征提取，其余1-r通道保持不变；因此，pconv的flops为h*w*k2*(rc)2，其内存带宽计算为
10、h*w*2(rc)+k2*(rc)2≈h*w*2(rc),
11、其中，r为局部划分比率，h*w*2(rc)表示i/o操作的内存访问量；因此，pconv的计算成本仅为传统卷积的r2，同时还将内存带宽降至传统卷积的r倍。将pconv与pwconv结合使用，可有效利用通道间相关性，在输入特征图中呈现出t型感受野。这种组合充分利用了滤波器冗余，从而节省了计算量。对于连续存储或以模式存储的特征图，可选择第一个或最后一个通道来表示整个特征图。
12、具体来说，空间特征编码组件包括四个主要模块，每个模块包含一个或多个基本块，每个基本模块由一个pconv和两个pwconv组成；在两个pwconv层之间嵌入了批归一化(bn)和gelu激活层，以增强特征表示并减少信息传输延迟；这样的设计策略不仅加快了数据处理速度，还保持了特征多样性，大大提高了网络处理复杂数据的性能和效率。
13、进一步，在步骤s1中，为了从传感器数据中学习时间特征，采用最近的双向gru(bi-gru)作为空间特征编码组件之后的关键组件；与流行的长短期记忆(lstm)相比，gru通过合并遗忘门和输入门简化了模型结构，从而降低了训练过程中的参数要求。这不仅减少了内存消耗，还提高了执行效率。bi-gru基于两个关键门控机制：更新门和重置门；更新门与输入xt结合，决定了过去隐藏状态信息的保留程度；前向更新门和后向更新门的描述如下：
14、zt＝σ(wzxt+uzht-1)，
15、z't＝σ(w'zxt+u'zht+1)，
16、其中zt和z't分别代表当前时间步长t的前向和后向更新门；w、u、w'和u'是前向和后向门的权重矩阵；ht-1和ht+1是前向隐藏状态和后向隐藏状态；采用sigmoid函数σ来确保门的输出值限制在0和1之间；
17、前向重置门rt和后向重置门r't根据输入xt和相应隐藏状态的线性组合，决定要丢弃多少前状态信息；数学上，rt和r't的描述如下：
18、rt＝σ(wrxt+urht-1),
19、r't＝σ(w'rxt+u'rht+1),
20、具体来说，bi-gru依赖于重置门和过去的隐藏状态，在每个时间步更新其前向和后向的候选隐藏状态和
21、
22、
23、其中，tanh是一个激活函数，用于将输入数据转换为介于-1和+1之间的输出；
24、随后，bi-gru在时间步长为t时，通过以下方式调整前向和后向隐藏状态ht和h't：
25、
26、
27、这样，所使用的bi-gru通过前向和后向处理，全面模拟了活动数据的时间依赖性。
28、进一步，在步骤s3中，为了识别高置信度样本并将其整合到训练数据集中，传统的伪标记方法通常会设置较高的样本选择阈值。然而，这种方法可能会限制模型泛化能力和充分利用未标记数据中的有用信息的能力。在本发明中，采用一种动态置信度调整机制，能够在学习过程中根据模型的发展状况动态调整阈值，从而提高模型利用未标记样本的效率。根据动态置信度阈值，迭代选择高置信度的未标注样本进入标注数据集；动态置信度旨在通过协调全局置信度和局部置信度来完善伪标签生成过程；全局阈值有两个作用：一是根据模型对无标签数据的置信度来反映模型的综合学习状态；二是确保全局置信度稳步提升，不受异常伪标签造成的失真影响；为此，将全局阈值设置为所有未标记数据的平均置信度，随后使用指数移动平均(ema)对其进行更新，这个过程描述为：
29、
30、其中，p(y|xi；θ)表示模型对弱增强后的无标记样本的预测概率分布，表示上一时刻的全局置信度，λ是ema的衰减系数，范围在0到1之间，b表示批次中标记和未标记样本的数量；局部阈值用于有效把握类别内的多样性和类别间的相似性，从而映射出模型对特定类别的学习状态。局部阈值由表示，是基于模型对未标记数据被分类到特定类别的置信度来设定的；然后，局部阈值使用反映模型持续演化能力的ema进行动态更新，其写法为：
31、
32、其中，表示包含与k个类别相关的概率集合，表示上一时刻的局部置信度；
33、为了消除模型内部的认知偏差，使用局部阈值对全局置信度进行微调，当模型在特定类别中的表现低于预期时，动态置信度机制就会自动地降低阈值；这种方法允许在该类别中加入更多样本，从而促进更平衡的学习过程。随着模型通过持续训练逐步完善其对某一类别的识别能力，动态置信度也会适当提高。这种调整提高了模型选择高质量未标记样本的准确性。动态置信度阈值τ对于过滤伪标签至关重要，其计算公式如下：
34、
35、进一步，本方法的损失函数包含三个不同的部分：监督损失ls、半监督分支的一致性正则化损失lu和类不平衡损失li；模型的总损失函数写成
36、
37、其中，β和λ是损失权重(默认情况下，β设置为1，λ设置为0.05)；
38、监督损失衡量的是模型的预测输出与训练数据中提供的真实活动标签之间的差异。在本发明中，使用标准的交叉熵损失作为监督损失的度量，并将其表述为：
39、
40、一致性正则化损失是根据模型对同一输入的不同增强视图的预测之间的差异计算得出的，该损失鼓励模型在弱增强和强增强中生成一致的预测，并惩罚模型生成不一致的预测；数学上，一致性正则化损失的写法如下
41、
42、其中，qi和qi分别代表弱增强(即缩放)和强增强(即幅度扩展、时间扩展和缩放)样本的预测概率，指的是交叉熵损失，τ是动态置信度；
43、考虑到生成的伪标签可能会导致类别不平衡问题，采用焦点损失法(focal loss)来降低易分类样本的相对权重，从而促使模型更加关注那些具有挑战性的分类样本。具体来说，通过引入一个调制因子(1-pt)γ来减少易分类样本的损失贡献，并相应地增加难分类样本的损失贡献；此外，为了进一步微调焦点损失的有效性，引入一个平衡变量αt，用于平衡损失函数中正负样本的权重，从而有效解决类不平衡问题；类不平衡损失在数学上写为：
44、
45、其中，αt是平衡系数，用于调整损失函数中正负样本的权重；γ是调节系数，用于控制正负样本的损失贡献；对于参数αt和γ，采用focal loss中的默认值；pt是模型对真实标签的预测概率，描述如下：
46、
47、本发明还提供了一种半监督深度学习的人体活动识别系统。
48、本发明的有益效果在于：
49、本发明的一种半监督深度学习的人体活动识别方法及系统采用自适应置信度调整策略，可以根据模型当前的学习状态调整置信度值。这样，能够在不牺牲准确性的前提下，更好地利用未标注数据，从而显著提高har的准确率。
50、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
1.一种半监督深度学习的人体活动识别方法，其特征在于：该方法包括以下步骤：
2.根据权利要求1所述的一种半监督深度学习的人体活动识别方法，其特征在于：在步骤s1中，在进行小型标签传感器信号的监督训练阶段，处理的数据集来自智能设备内置的惯性传感器，包括加速计、陀螺仪和磁力计；在监督训练的过程中，传感器信号被输入到监督分支进行特征编码；该监督分支由空间特征编码器、时间特征编码器以及一个分类器构成；随后，这些学到的特征通过顶部的分类器映射到具体的行为类别，其中，和分别表示标签样本集和未标记样本集，表示传感器信号，表示相关的活动类别。
3.根据权利要求2所述的一种半监督深度学习的人体活动识别方法，其特征在于：在步骤s2中，利用经过训练的模型为无标签数据生成伪标签，包括对未标记的样本实施两种不同的增强策略：弱增强和强增强，这些经过增强的未标记样本随后被输入到训练完成的监督分支中，用以生成伪标签。
4.根据权利要求3所述的一种半监督深度学习的人体活动识别方法，其特征在于：在步骤s3中，所述迭代选择高置信度的伪标签样本，纳入训练集，直到使用完所有高质量样本包括：采用自适应置信度调整机制在学习过程中根据模型的学习状态动态调整阈值，从而提高模型利用未标记样本的利用率；在动态置信度阈值的基础上，迭代选择高置信度的未标注样本进入标注数据集，直到未标记样本集为空。
5.根据权利要求2所述的一种半监督深度学习的人体活动识别方法，其特征在于：步骤s1中，具体包括：假设一个传感器数据集它由一个标记集和一个无标签集合组成，t是传感器序列的长度，c表示通道的数量，k是活动类别的数量，nl表示已标记数据的数量，nu表示未标记数据的数量；
6.根据权利要求5所述的一种半监督深度学习的人体活动识别方法，其特征在于：在步骤s1中，为了从传感器数据中学习时间特征，采用双向gru作为空间特征编码组件之后的关键组件；bi-gru基于两个关键门控机制：更新门和重置门；更新门与输入xt结合，决定了过去隐藏状态信息的保留程度；前向更新门和后向更新门的描述如下：
7.根据权利要求6所述的一种半监督深度学习的人体活动识别方法，其特征在于：在步骤s3中，为了识别高置信度样本并将其整合到训练数据集中，采用一种动态置信度调整机制，根据动态置信度阈值，迭代选择高置信度的未标注样本进入标注数据集；动态置信度旨在通过协调全局置信度和局部置信度来完善伪标签生成过程；全局阈值有两个作用：一是根据模型对无标签数据的置信度来反映模型的综合学习状态；二是确保全局置信度稳步提升，不受异常伪标签造成的失真影响；为此，将全局阈值设置为所有未标记数据的平均置信度，随后使用指数移动平均对其进行更新，这个过程描述为：
8.根据权利要求7所述的一种半监督深度学习的人体活动识别方法，其特征在于：本方法的损失函数包含三个不同的部分：监督损失ls、半监督分支的一致性正则化损失lu和类不平衡损失li；模型的总损失函数写成
9.一种半监督深度学习的人体活动识别系统，其特征在于：该系统采用如权利要求1至8中任一项所述方法。
