本技术涉及金融科技(fi ntech)，尤其涉及一种人体关键点检测方法和装置、电子设备及存储介质。
背景技术：
1、人体关键点检测是计算机视觉领域的一个重要研究方向，它旨在从图像或视频中定位人体解剖关键点(如身体关节、眼睛、鼻子等)的坐标，以便进行人体姿态估计、动作识别、行为分析等应用。目前，人体关键点检测主要分为两类：基于深度学习的方法和基于传统特征的方法。基于深度学习的方法具有较高的准确性和鲁棒性，但也需要大量的标注数据来训练网络，这在多人场景下尤其困难和耗时。基于传统特征的方法具有较低的计算复杂度和数据需求，但也容易受到遮挡、光照、背景干扰等因素的影响，导致检测性能下降。
2、在金融场景下，多人关键点检测可以应用于金融机构的智能监控系统，通过分析监控画面中的多个人体的姿态和动作，以实现异常行为的检测和报警，如打架、突发情况等；也可以应用于智能客服系统，通过分析客户在咨询或办理业务时多个人体的姿态、动作、表情，实现客户满意度的评估和优化，如判断客户是否感兴趣、是否有疑问、是否需要帮助等。基于此，在金融场景下，如何提高对多人关键点检测的效率和准确性成为亟待解决的技术问题。
技术实现思路
1、本技术实施例的主要目的在于提出一种人体关键点检测方法和装置、电子设备及存储介质，能够提高对多人关键点检测的效率和准确性，尤其在金融场景下，可以高效且准确地识别多个人体的姿态、动作、表情，有助于提高金融服务效率和质量，提升客户满意度，从而提升金融企业的竞争力。
2、为实现上述目的，本技术实施例的第一方面提出了一种人体关键点检测方法，所述方法包括：
3、获取包含多个人体的待检测图像；
4、对所述待检测图像进行人体检测，得到多个人体图像；
5、将每个所述人体图像输入至预训练好的卷积神经网络进行特征提取，得到人体关键点特征图；
6、将所述人体关键点特征图输入至预训练好的关键点检测网络进行关键点检测，预测得到每个人体关键点的热力图，其中，所述卷积神经网络和所述关键点检测网络是通过弱监督学习模块基于多任务损失函数训练得到，所述弱监督学习模块使用2d关键点或3d骨架作为弱监督信号，所述多任务损失函数包括重建损失函数和结构损失函数，所述重建损失函数用于衡量所述人体关键点的位置与所述弱监督信号之间的一致性，所述结构损失函数用于衡量所述人体关键点的位置之间的几何约束；
7、采用峰值提取算法从所述热力图中提取得到每个所述人体关键点的位置。
8、在一些实施例，所述方法还包括：
9、在所述待检测图像为视频帧图像的情况下，采用预训练好的关键点跟踪网络对相邻视频帧图像中的每个所述人体关键点的位置进行匹配和关联，得到每个所述人体关键点的位置关联结果，其中，所述关键点跟踪网络是通过所述弱监督学习模块基于多任务损失函数训练得到，所述多任务损失函数还包括平滑损失函数，所述平滑损失函数用于衡量相邻视频帧图像中所述人体关键点之间的连续性和稳定性；
10、采用卡尔曼滤波器对每个所述人体关键点的位置关联结果进行平滑和预测，得到每个人体关键点的位置跟踪结果。
11、在一些实施例，所述对所述待检测图像进行人体检测，得到多个人体图像，包括：
12、对所述待检测图像进行人体检测，得到每个人体的边界框；
13、对每个所述边界框内的人体图像进行裁剪和缩放，得到统一大小的多个人体图像。
14、在一些实施例，在所述将每个所述人体图像输入至预训练好的卷积神经网络进行特征提取，得到人体关键点特征图之后，还包括：
15、确定所述人体关键点特征图中与人体关键点相关的第一区域；
16、确定所述人体关键点特征图中与人体关键点无关的第二区域；
17、通过注意力机制对所述第一区域进行增强，以及对所述第二区域进行抑制。
18、在一些实施例，所述重建损失函数为所述人体关键点的位置与所述弱监督信号之间的欧氏距离的平均值。
19、在一些实施例，所述结构损失函数为所述人体关键点与预设参考模型之间的结构相似度的负对数。
20、在一些实施例，所述平滑损失函数为相邻帧中所述人体关键点之间的位置变化量的平方和。
21、为实现上述目的，本技术实施例的第二方面提出了一种人体关键点检测装置，所述装置包括：
22、获取模块，用于获取包含多个人体的待检测图像；
23、人体检测模块，用于对所述待检测图像进行人体检测，得到多个人体图像；特征提取模块，用于将每个所述人体图像输入至预训练好的卷积神经网络进行特征提取，得到人体关键点特征图；
24、关键点检测模块，用于将所述人体关键点特征图输入至预训练好的关键点检测网络进行关键点检测，预测得到每个人体关键点的热力图，其中，所述卷积神经网络和所述关键点检测网络是通过弱监督学习模块基于多任务损失函数训练得到，所述弱监督学习模块使用2d关键点或3d骨架作为弱监督信号，所述多任务损失函数包括重建损失和结构损失，所述重建损失函数用于衡量所述人体关键点的位置与所述弱监督信号之间的一致性，所述结构损失函数用于衡量所述人体关键点的位置之间的几何约束；
25、关键点提取模块，用于采用峰值提取算法从所述热力图中提取得到每个人体关键点的位置。
26、为实现上述目的，本技术实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
27、为实现上述目的，本技术实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。
28、本技术提出的人体关键点检测方法和装置、电子设备及存储介质,获取包含多个人体的待检测图像；对待检测图像进行人体检测，得到多个人体图像；将每个人体图像输入至预训练好的卷积神经网络进行特征提取，得到人体关键点特征图；将人体关键点特征图输入至预训练好的关键点检测网络进行关键点检测，预测得到每个人体关键点的热力图，其中，卷积神经网络和关键点检测网络是通过弱监督学习模块基于多任务损失函数训练得到，弱监督学习模块使用2d关键点或3d骨架作为弱监督信号，多任务损失函数包括重建损失函数和结构损失函数，重建损失函数用于衡量所述人体关键点的位置与所述弱监督信号之间的一致性，结构损失函数用于衡量所述人体关键点的位置之间的几何约束；采用峰值提取算法从热力图中提取得到每个人体关键点的位置。本技术实施例可以从单目图像或视频中实现多个人体关键点的检测，且无需使用完整的人体姿态标注数据，只需使用部分的2d关键点或3d骨架作为弱监督信号，从而降低数据获取和标注的成本和难度。同时，采用多任务损失函数可以有效利用弱监督信号中的信息，提高了卷积神经网络和关键点检测网络的模型泛化能力和鲁棒性。在多人场景下，本技术实施例可以有效地区分不同人体并进行关键点检测，避免出现错误的匹配和关联，在复杂环境下，有效地处理遮挡、光照、背景干扰等因素，从而提高多人关键点检测的准确性和稳定性。基于此，本技术实施例能够提高对多人关键点检测的效率和准确性，尤其在金融场景下，可以高效且准确地识别多个人体的姿态、动作、表情，有助于提高金融服务效率和质量，提升客户满意度，从而提升金融企业的竞争力。
1.一种人体关键点检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述对所述待检测图像进行人体检测，得到多个人体图像，包括：
4.根据权利要求1所述的方法，其特征在于，在所述将每个所述人体图像输入至预训练好的卷积神经网络进行特征提取，得到人体关键点特征图之后，还包括：
5.根据权利要求1或2所述的方法，其特征在于，所述重建损失函数为所述人体关键点的位置与所述弱监督信号之间的欧氏距离的平均值。
6.根据权利要求1或2所述的方法，其特征在于，所述结构损失函数为所述人体关键点与预设参考模型之间的结构相似度的负对数。
7.根据权利要求2所述的方法，其特征在于，所述平滑损失函数为相邻帧中所述人体关键点之间的位置变化量的平方和。
8.一种人体关键点检测装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的人体关键点检测方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的人体关键点检测方法。
