1.本发明涉及步态识别技术领域，特别是涉及一种遮挡步态的重建方法、装置、电子设备及存储介质。
背景技术：2.步态是指一个人的行走模式，与一个人的肌肉记忆、骨骼结构和由小脑中的神经中枢控制的影响有关，作为一个可以远距离识别的生物特征，步态识别在公安刑侦、危险预警等领域具有重要的应用价值。
3.然而，步态识别方法会受到多种协变量因素的影响，例如大衣、背包、拍摄角度、遮挡等，这些协变量因素的存在改变了步态的外观形状，导致步态识别准确率下降。该现象给步态识别在现实中的应用带来很大阻力，例如在火车站、超市、学校及马路上，人的步态经常会被其他行人或者物体遮挡，因此如何解决这一难题成为一个具有挑战性的问题。
技术实现要素：4.基于此，本发明的目的在于，提供一种遮挡步态的重建方法、装置、电子设备及存储介质，使用基于身体部位的输入和骨架信息计算损失函数，指导生成网络更加关注局部的重建信息，重建的人体结构性更加完整。
5.第一方面，本发明提供一种遮挡步态的重建方法，包括以下步骤：
6.获取待重建的遮挡步态序列；
7.将所述遮挡步态序列输入训练好的生成对抗网络的生成器中，得到修复的步态序列；
8.其中，所述生成对抗网络的训练方法包括以下步骤：
9.从无遮挡步态数据集中选取部分样本作为原样本集，并将原样本集中的样本添加遮挡特征，作为训练集；
10.将所述训练集的样本放入生成器中，得到修复的步态序列，即修复样本集；
11.将所述修复样本集与所述原样本集放入鉴别器中，使用损失函数计算所述修复样本集与所述原样本集的差距；所述损失函数基于身体部位的输入和骨架信息计算；
12.对抗训练所述生成器和所述鉴别器，直至损失函数收敛，保存训练好的生成对抗网络。
13.进一步地，所述鉴别器的损失函数包括身体部位损失函数、骨架信息损失函数和三元组损失函数；
14.所述身体部位损失函数基于所述修复样本集中修复样本si与所述原样本集中的真样本s
gt
的身体块的距离计算得到；
15.所述骨架信息损失函数基于所述修复样本集中修复样本si与所述原样本集中的真样本s
gt
的骨架图距离计算得到；
16.所述三元组损失函数基于所述修复样本集中修复样本si与基于所述原样本集中
的真样本s
gt
构建得到的正样本s
pos
和负样本s
neg
计算得到。
17.进一步地，所述三元组损失函数为：
[0018][0019]
其中，l-triplet为三元组损失函数，margin为超参数，d(si)、d(s
pos
)和d(s
neg
)分别为将修复样本si、正样本s
pos
和负样本s
neg
输入到鉴别器中得到的输出结果。
[0020]
进一步地，所述身体部位损失函数的计算步骤为：
[0021]
将所述修复样本si的人体轮廓图按身体部位的头、身体左侧、身体右侧、左腿、右腿5个部分划分子图；
[0022]
将所述真样本s
gt
的人体轮廓图按身体部位的头、身体左侧、身体右侧、左腿、右腿5个部分划分子图；
[0023]
使用以下公式，分别计算所述修复样本si的每个子图与所述真样本s
gt
的每个对应子图的距离：
[0024][0025][0026][0027][0028][0029]
其中，i为当前的训练样本，n为训练时所用数据集的数量。
[0030]
使用以下公式，计算所述身体部位损失函数l-patch：
[0031]
l-patch＝l-head+l-leftbody+l-rightbody+l-leftleg+l-rightleg。
[0032]
进一步地，所述骨架信息损失函数的计算步骤为：
[0033]
对所述修复样本si和所述真样本s
gt
分别进行骨架提取生成骨架图像；
[0034]
使用以下公式，计算所述骨架信息损失函数l-skeleton：
[0035][0036]
其中，l-skeleton为骨架信息损失函数，i为当前的训练样本，n为训练时所用数据集的数量。
[0037]
进一步地，所述生成器网络中使用残差连接，将第一层网络输出与倒数第二层网络的输出相加，作为最后一层卷积层的输入，将第三层网络输入与倒数第四层网络的输出相加，作为倒数第三层的输入。
[0038]
进一步地，所述生成器中引入了空洞卷积；
[0039]
空洞卷积引入了一个扩张率的超参数，该参数定义了卷积核处理数据时各值的间距：
[0040]
一个普通的3*3的二维卷积核一次能采样3*3的特征图；一个扩张率为2的3*3的二维空洞卷积能够一次采样5*5的特征图。
[0041]
第二方面，本发明还提供一种遮挡步态的重建装置，包括：
[0042]
步态序列获取模块，用于获取待重建的遮挡步态序列；
[0043]
步态序列修复模块，用于将所述遮挡步态序列输入训练好的生成对抗网络的生成器中，得到修复的步态序列；
[0044]
所述生成对抗网络的训练方法包括以下步骤：
[0045]
从无遮挡步态数据集中选取部分样本作为原样本集，并将原样本集中的样本添加遮挡特征，作为训练集；
[0046]
将所述训练集的样本放入生成器中，得到修复的步态序列，即修复样本集；
[0047]
将所述修复样本集与所述原样本集放入鉴别器中，使用损失函数计算所述修复样本集与所述原样本集的差距；所述损失函数基于身体部位的输入和骨架信息计算；
[0048]
对抗训练所述生成器和所述鉴别器，直至损失函数收敛，保存训练好的生成对抗网络。
[0049]
第三方面，本发明还提供一种电子设备，包括：
[0050]
至少一个存储器以及至少一个处理器；
[0051]
所述存储器，用于存储一个或多个程序；
[0052]
当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如本发明第一方面任一所述的一种遮挡步态的重建方法的步骤。
[0053]
第四方面，本发明还提供一种计算机可读存储介质，
[0054]
所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明第一方面任一所述的一种遮挡步态的重建方法的步骤。
[0055]
本发明提供的一种遮挡步态的重建方法、装置、电子设备及存储介质，使用基于身体部位的输入计算损失函数，指导生成网络更加关注局部的重建信息。使用骨架信息计算损失函数，指导生成网络中重建的人体结构性更加完整。并在生成器网络中使用skip connection(残差连接)，通过残差连接的方法让网络能够利用上步态序列中的未遮挡部分的信息。通过在生成器中引入dilated convolution(空洞卷积)，在下采样时能够不损失信息的情况下，增大感受野。让每个卷积输出都包含较大范围的信息。与以往技术相比，重建的图像质量效果更好，重建图像的结构性更加完整。
[0056]
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
[0057]
图1为本发明使用的对抗生成网络的训练步骤示意图；
[0058]
图2为一个示例性的未遮挡步态轮廓序列；
[0059]
图3为一个示例性的人工遮挡后(静态)的步态轮廓序列；
[0060]
图4为一个示例性的人工遮挡后(动态)的步态轮廓序列；
[0061]
图5为一个示例性的经过生成对抗网络的生成器重建后的步态轮廓序列；
[0062]
图6为本发明在一个实施例中使用的网络框架图；
[0063]
图7为本发明提供的一种遮挡步态的重建装置的结构示意图。
具体实施方式
[0064]
为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施例方式作进一步地详细描述。
[0065]
应当明确，所描述的实施例仅仅是本技术实施例一部分实施例，而不是全部的实施例。基于本技术实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本技术实施例保护的范围。
[0066]
在本技术实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术实施例。在本技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0067]
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。在本技术的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
[0068]
此外，在本技术的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0069]
针对背景技术中的问题，本技术实施例提供一种遮挡步态的重建方法，该方法包括以下步骤：
[0070]
s01：获取待重建的遮挡步态序列。
[0071]
s02：将所述遮挡步态序列输入训练好的生成对抗网络的生成器中，得到修复的步态序列。
[0072]
如图1所示，所述生成对抗网络的训练方法包括以下步骤：
[0073]
s11：从无遮挡步态数据集中选取部分样本作为原样本集，并将原样本集中的样本添加遮挡特征，作为训练集。
[0074]
在一个具体的实施例中，未遮挡步态轮廓序列如图2所示，多个未遮挡步态轮廓序列组成原样本集；人工遮挡后(静态)的步态轮廓序列如图3所示，人工遮挡后(动态)的步态轮廓序列如图4所示，多个人工遮挡后的步态轮廓序列组成训练集。
[0075]
s12：将所述训练集的样本放入生成器中，得到修复的步态序列，即修复样本集。
[0076]
在一个具体的实施例中，重建后的步态轮廓序列如图5所示。多个重建后的步态轮
廓序列组成修复样本集。
[0077]
s13：将所述修复样本集与所述原样本集放入鉴别器中，使用损失函数计算所述修复样本集与所述原样本集的差距；所述损失函数基于身体部位的输入和骨架信息计算。
[0078]
s14：对抗训练所述生成器和所述鉴别器，直至损失函数收敛，保存训练好的生成对抗网络。
[0079]
在一个优选的实施例中，如图6所示，鉴别器的损失函数包括身体部位损失函数、骨架信息损失函数和三元组损失函数。
[0080]
其中，所述身体部位损失函数基于所述修复样本集中修复样本si与所述原样本集中的真样本s
gt
的身体块的距离计算得到。
[0081]
身体部位损失函数能够使网络更能关注到重建图像的局部信息，以增强重建图像与真实图像的局部一致性。
[0082]
优选的，所述身体部位损失函数的计算步骤为：
[0083]
s21：将所述修复样本si的人体轮廓图按身体部位的头、身体左侧、身体右侧、左腿、右腿5个部分划分子图。
[0084]
s22：将所述真样本s
gt
的人体轮廓图按身体部位的头、身体左侧、身体右侧、左腿、右腿5个部分划分子图。
[0085]
s23：使用以下公式，分别计算所述修复样本si的每个子图与所述真样本s
gt
的每个对应子图的距离：
[0086][0087][0088][0089][0090][0091]
其中，i为当前的训练样本，n为训练时所用数据集的数量。
[0092]
s24：使用以下公式，计算所述身体部位损失函数l-patch：
[0093]
l-patch＝l-head+l-leftbody+l-rightbody+l-leftleg+l-rightleg。
[0094]
所述骨架信息损失函数基于所述修复样本集中修复样本si与所述原样本集中的真样本s
gt
的骨架图距离计算得到。
[0095]
骨架信息损失函数让重建网络能够在重建过程中关注到人体结构的完整性。
[0096]
优选的，所述骨架信息损失函数的计算步骤为：
[0097]
s31：对所述修复样本si和所述真样本s
gt
分别进行骨架提取生成骨架图像。
[0098]
在一个具体的实施例中，骨架提取的方法为二值图细化方法，实施步骤如下：
[0099]
二值图细化是从原来的二值图重去掉一些点，但仍要保持原图的骨架不变，将其细化为一个像素宽度的线条的过程，判断某个像素点是否可以去掉是以其相邻的8个像素点作为依据的，具体条件为：1.内部点不可删除。2.孤立点不可删除。3.直线端点不可删除。
[0100]
s32：使用以下公式，计算所述骨架信息损失函数l-skeleton：
[0101][0102]
其中，l-skeleton为骨架信息损失函数，i为当前的训练样本，n为训练时所用数据集的数量。
[0103]
所述三元组损失函数基于所述修复样本集中修复样本si与基于所述原样本集中的真样本s
gt
构建得到的正样本s
pos
和负样本s
neg
计算得到。
[0104]
对于一个真样本s
gt
，构建一个对应的正样本数据集和负样本数据集，正样本为同一个人行走的不同的步态视频，负样本为不同人行走的步态视频。将si和正负样本数据输入到鉴别器中，输出的值为d(si)、d(s
pos
)和d(s
neg
)，计算三元组损失函数l-triplet，计算公式为：
[0105][0106]
其中，l-triplet为三元组损失函数，margin为超参数，d(si)、d(s
pos
)和d(s
neg
)分别为将修复样本si、正样本s
pos
和负样本s
neg
输入到鉴别器中得到的输出结果。
[0107]
结合l-patch、l-skeleton和l-triplet，以提高生成器对于遮挡区域的重建效果。
[0108]
在一个优选的实施例中，所述生成器网络中使用残差连接，将第一层网络输出与倒数第二层网络的输出相加，作为最后一层卷积层的输入，将第三层网络输入与倒数第四层网络的输出相加，作为倒数第三层的输入。
[0109]
残差连接作用：通过残差连接的方法让网络能够利用上步态序列中的未遮挡部分的信息。
[0110]
在一个更为优选的实施例中，在生成器中还引入dilated convolution(空洞卷积)：
[0111]
空洞卷积引入了一个dilation rate(扩张率)的超参数，该参数定义了卷积核处理数据时各值的间距。
[0112]
一个普通的3*3的二维卷积核一次能采样3*3的特征图。
[0113]
一个扩张率为2的3*3的二维空洞卷积能够一次采样5*5的特征图。
[0114]
空洞卷积作用：在下采样时能够不损失信息的情况下，增大感受野。让每个卷积输出都包含较大范围的信息。
[0115]
本技术实施例还提供一种遮挡步态的重建装置，如图7所示，该遮挡步态的重建装置400包括：
[0116]
步态序列获取模块401，用于获取待重建的遮挡步态序列；
[0117]
步态序列修复模块402，用于将所述遮挡步态序列输入训练好的生成对抗网络的生成器中，得到修复的步态序列；
[0118]
所述生成对抗网络的训练方法包括以下步骤：
[0119]
从无遮挡步态数据集中选取部分样本作为原样本集，并将原样本集中的样本添加遮挡特征，作为训练集；
[0120]
将所述训练集的样本放入生成器中，得到修复的步态序列，即修复样本集；
[0121]
将所述修复样本集与所述原样本集放入鉴别器中，使用损失函数计算所述修复样本集与所述原样本集的差距；所述损失函数基于身体部位的输入和骨架信息计算；
[0122]
对抗训练所述生成器和所述鉴别器，直至损失函数收敛，保存训练好的生成对抗网络。
[0123]
优选的，所述鉴别器的损失函数包括身体部位损失函数、骨架信息损失函数和三元组损失函数；
[0124]
所述身体部位损失函数基于所述修复样本集中修复样本si与所述原样本集中的真样本s
gt
的身体块的距离计算得到；
[0125]
所述骨架信息损失函数基于所述修复样本集中修复样本si与所述原样本集中的真样本s
gt
的骨架图距离计算得到；
[0126]
所述三元组损失函数基于所述修复样本集中修复样本si与基于所述原样本集中的真样本s
gt
构建得到的正样本s
pos
和负样本s
neg
计算得到。
[0127]
优选的，所述三元组损失函数为：
[0128][0129]
其中，l-triplet为三元组损失函数，margin为超参数，d(si)、d(s
pos
)和d(s
neg
)分别为将修复样本si、正样本s
pos
和负样本s
neg
输入到鉴别器中得到的输出结果。
[0130]
优选的，所述身体部位损失函数的计算步骤为：
[0131]
将所述修复样本si的人体轮廓图按身体部位的头、身体左侧、身体右侧、左腿、右腿5个部分划分子图；
[0132]
将所述真样本s
gt
的人体轮廓图按身体部位的头、身体左侧、身体右侧、左腿、右腿5个部分划分子图；
[0133]
使用以下公式，分别计算所述修复样本si的每个子图与所述真样本s
gt
的每个对应子图的距离：
[0134][0135][0136]
[0137][0138][0139]
其中，i为当前的训练样本，n为训练时所用数据集的数量。
[0140]
使用以下公式，计算所述身体部位损失函数l-patch：
[0141]
l-patch＝l-head+l-leftbody+l-rightbody+l-leftleg+l-rightleg。
[0142]
优选的，对所述修复样本si和所述真样本s
gt
分别进行骨架提取生成骨架图像；
[0143]
使用以下公式，计算所述骨架信息损失函数l-skeleton：
[0144][0145]
其中，l-skeleton为骨架信息损失函数，i为当前的训练样本，n为训练时所用数据集的数量。
[0146]
优选的，所述生成器网络中使用残差连接，将第一层网络输出与倒数第二层网络的输出相加，作为最后一层卷积层的输入，将第三层网络输入与倒数第四层网络的输出相加，作为倒数第三层的输入。
[0147]
优选的，所述生成器中引入了空洞卷积；
[0148]
空洞卷积引入了一个扩张率的超参数，该参数定义了卷积核处理数据时各值的间距：
[0149]
一个普通的3*3的二维卷积核一次能采样3*3的特征图；一个扩张率为2的3*3的二维空洞卷积能够一次采样5*5的特征图。
[0150]
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0151]
本技术实施例还提供一种电子设备，包括：
[0152]
至少一个存储器以及至少一个处理器；
[0153]
所述存储器，用于存储一个或多个程序；
[0154]
当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如前所述的一种遮挡步态的重建方法的步骤。
[0155]
对于设备实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的设备实施例仅仅是示意性的，其中所述作为分离部件说明的组件可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的
需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0156]
本技术实施例还提供一种计算机可读存储介质，
[0157]
所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的一种遮挡步态的重建方法的步骤。
[0158]
计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(r a m)、只读存储器(r o m)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
[0159]
本发明提供的一种遮挡步态的重建方法、装置、电子设备及存储介质，使用基于身体部位的输入计算损失函数，指导生成网络更加关注局部的重建信息。使用骨架信息计算损失函数，指导生成网络中重建的人体结构性更加完整。并在生成器网络中使用skip connection(残差连接)，通过残差连接的方法让网络能够利用上步态序列中的未遮挡部分的信息。通过在生成器中引入dilated convolution(空洞卷积)，在下采样时能够不损失信息的情况下，增大感受野。让每个卷积输出都包含较大范围的信息。与以往技术相比，重建的图像质量效果更好，重建图像的结构性更加完整。
[0160]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
技术特征：1.一种遮挡步态的重建方法，其特征在于，包括以下步骤：获取待重建的遮挡步态序列；将所述遮挡步态序列输入训练好的生成对抗网络的生成器中，得到修复的步态序列；其中，所述生成对抗网络的训练方法包括以下步骤：从无遮挡步态数据集中选取部分样本作为原样本集，并将原样本集中的样本添加遮挡特征，作为训练集；将所述训练集的样本放入生成器中，得到修复的步态序列，即修复样本集；将所述修复样本集与所述原样本集放入鉴别器中，使用损失函数计算所述修复样本集与所述原样本集的差距；所述损失函数基于身体部位的输入和骨架信息计算；对抗训练所述生成器和所述鉴别器，直至损失函数收敛，保存训练好的生成对抗网络。2.根据权利要求1所述的一种遮挡步态的重建方法，其特征在于：所述鉴别器的损失函数包括身体部位损失函数、骨架信息损失函数和三元组损失函数；所述身体部位损失函数基于所述修复样本集中修复样本s
i
与所述原样本集中的真样本s
gt
的身体块的距离计算得到；所述骨架信息损失函数基于所述修复样本集中修复样本s
i
与所述原样本集中的真样本s
gt
的骨架图距离计算得到；所述三元组损失函数基于所述修复样本集中修复样本s
i
与基于所述原样本集中的真样本s
gt
构建得到的正样本s
pos
和负样本s
neg
计算得到。3.根据权利要求2所述的一种遮挡步态的重建方法，其特征在于，所述三元组损失函数为：其中，l-triplet为三元组损失函数，margin为超参数，d(s
i
)、d(s
pos
)和d(s
neg
)分别为将修复样本s
i
、正样本s
pos
和负样本s
neg
输入到鉴别器中得到的输出结果。4.根据权利要求2所述的一种遮挡步态的重建方法，其特征在于，所述身体部位损失函数的计算步骤为：将所述修复样本s
i
的人体轮廓图按身体部位的头、身体左侧、身体右侧、左腿、右腿5个部分划分子图；将所述真样本s
gt
的人体轮廓图按身体部位的头、身体左侧、身体右侧、左腿、右腿5个部分划分子图；使用以下公式，分别计算所述修复样本s
i
的每个子图与所述真样本s
gt
的每个对应子图的距离：
其中，i为当前的训练样本，n为训练时所用数据集的数量。使用以下公式，计算所述身体部位损失函数l-patch：l-patch＝l-head+l-leftbody+l-rightbody+l-leftleg+l-rightleg。5.根据权利要求2所述的一种遮挡步态的重建方法，其特征在于，所述骨架信息损失函数的计算步骤为：对所述修复样本s
i
和所述真样本s
gt
分别进行骨架提取生成骨架图像；使用以下公式，计算所述骨架信息损失函数l-skeleton：其中，l-skeleton为骨架信息损失函数，i为当前的训练样本，n为训练时所用数据集的数量。6.根据权利要求1所述的一种遮挡步态的重建方法，其特征在于：所述生成器网络中使用残差连接，将第一层网络输出与倒数第二层网络的输出相加，作为最后一层卷积层的输入，将第三层网络输入与倒数第四层网络的输出相加，作为倒数第三层的输入。7.根据权利要求1所述的一种遮挡步态的重建方法，其特征在于：所述生成器中引入了空洞卷积；空洞卷积引入了一个扩张率的超参数，该参数定义了卷积核处理数据时各值的间距：一个普通的3*3的二维卷积核一次能采样3*3的特征图；一个扩张率为2的3*3的二维空洞卷积能够一次采样5*5的特征图。8.一种遮挡步态的重建装置，其特征在于，包括：步态序列获取模块，用于获取待重建的遮挡步态序列；步态序列修复模块，用于将所述遮挡步态序列输入训练好的生成对抗网络的生成器中，得到修复的步态序列；所述生成对抗网络的训练方法包括以下步骤：从无遮挡步态数据集中选取部分样本作为原样本集，并将原样本集中的样本添加遮挡特征，作为训练集；
将所述训练集的样本放入生成器中，得到修复的步态序列，即修复样本集；将所述修复样本集与所述原样本集放入鉴别器中，使用损失函数计算所述修复样本集与所述原样本集的差距；所述损失函数基于身体部位的输入和骨架信息计算；对抗训练所述生成器和所述鉴别器，直至损失函数收敛，保存训练好的生成对抗网络。9.一种电子设备，其特征在于，包括：至少一个存储器以及至少一个处理器；所述存储器，用于存储一个或多个程序；当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7任一所述的一种遮挡步态的重建方法的步骤。10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一所述的一种遮挡步态的重建方法的步骤。
技术总结本发明涉及一种遮挡步态的重建方法、装置、电子设备及存储介质。本发明所述的遮挡步态的重建方法包括：获取待重建的遮挡步态序列；将所述遮挡步态序列输入训练好的生成对抗网络的生成器中，得到修复的步态序列；其中，生成对抗网络的训练方法包括以下步骤：从无遮挡步态数据集中选取部分样本作为原样本集，并将原样本集中的样本添加遮挡特征，作为训练集；将所述训练集的样本放入生成器中，得到修复样本集；将修复样本集与原样本集放入鉴别器中，使用损失函数计算所述修复样本集与所述原样本集的差距；对抗训练所述生成器和所述鉴别器，直至损失函数收敛，保存训练好的生成对抗网络。本发明所述的遮挡步态的重建方法，重建的人体结构性更加完整。的人体结构性更加完整。的人体结构性更加完整。
技术研发人员：周成菊 刘平治 王瑜琦 王书喜 曾家煜
受保护的技术使用者：华南师范大学
技术研发日：2022.07.07
技术公布日：2022/11/1
