1.本发明属于服装图像处理领域，具体涉及一种基于姿态迁移的虚拟试衣方法。
背景技术：2.近年来，随着购物方式从线下向线上转变，线上服装购物方式受到了消费者的青睐，然而却存在不能试穿的问题，消费者无法体验到服装穿在自己身上的效果。虚拟试衣的出现可以使卖方更客观地展示服饰优点，使交易双方可以更为直观地了解信息，促成交易，减少不必要的工作，提高工作效率，满足用户需求。
3.目前，现有技术的将虚拟试衣和姿态迁移进行融合以实现多姿势的虚拟试衣方法，主要分为基于2d图像和基于3d重构两种方式，对于直接基于2d图像的多姿态试衣的技术比较少，而且试衣结果存在皮肤与布料像素混淆，细节丢失等现象；基于3d重构方式的效果较好，但是对设备算力、性能和生成的模型质量要求相对较高，不利于技术的推广和普及。
4.公开号为cn 108734787a的中国专利公开了“一种基于多姿态和部位分解的图片合成虚拟试衣方法”，通过使用多姿态和部位的分解来进行合成，而不是单纯的将整张衣服图片进行简单的合成，能够更真实的达到虚拟试衣的效果，但该技术没有考虑姿态变换导致的皮肤与布料像素混淆，细节丢失等问题，大大影响了试衣效果。
技术实现要素：5.本发明的目的是针对上述问题，提供一种基于姿态迁移的虚拟试衣方法，利用解析引导图对目标服装图像的扭曲范围限定，避免目标服装图像在随目标姿态变换时过度扭曲；根据目标姿态以及去除了下半身的解析图，利用服装曲翘网络得到跟随目标姿态扭曲的目标服装图像，将试穿者图像、随目标姿态扭曲的目标服装图像、目标姿态和解析引导图同时输入试穿图像生成网络，利用试穿图像生成网络得到目标姿态的试穿结果，提高试衣效果，避免试穿姿态变换导致皮肤与布料像素混淆的问题，并保持更多的服装纹理细节。
6.本发明的技术方案是基于姿态迁移的虚拟试衣方法，包括以下步骤：
7.步骤1，获取原始解析图和试穿者图像，先提取试穿者图像中的服装像素信息，得到简陋的服装图像，再进行纹理修复得到精细的服装图像；
8.步骤2，将原始解析图、目标服装和目标姿势输入到解析引导网络，得到解析引导图；
9.步骤3，根据解析引导图，对目标服装的扭曲范围做初步限定；
10.步骤4，获取目标姿态并预处理得到去除了下半身的解析图，通过服装曲翘网络获得扭曲后的目标服装图像；
11.步骤5，根据解析引导图、扭曲后的目标服装图像、目标姿态和试穿者图像，通过图像生成网络生成目标姿态的试穿结果。
12.进一步地，步骤1对服装图像进行像素级修复，具体修复过程包括：
13.先通过卷积神经层学习服装图像的边缘信息特征，关注像素值剧烈变化的区域；再使用插值法对像素值剧烈变化的区域进行像素修复，确保服装边缘平滑且与背景自然过渡。
14.优选地，步骤1包括以下子步骤：
15.首先，根据原始解析图中的服装语义信息，提取试穿者图像中对应区域的像素信息，得到初步的服装图像，服装图像存在图像边缘模糊或图像边缘有缺口的情形；
16.然后，使用插值法对服装图像中的模糊和缺口区域进行像素补齐或填充，得到更加精细的服装图像。
17.进一步地，步骤2的具体过程如下：
18.首先，将原始解析图和目标姿势输入到解析引导网络，利用解析引导网络的多层卷积网络提取图像特征，并在解析引导网络中加入残差模块和小波采样层，用于提取更高级的语义结构，使得解析引导网络深入学习人体各个部位之间的关系细节，其中，小波采样层是通过小波变换将特征图转换到频域进行下采样，可以更好的保留纹理信息；
19.然后，将提取到的图像特征输入到解析引导网络的多层反卷积网络中，对图像进行上采样，并在反卷积之间加入归一化层，用来增强全局特征和局部特征之间的特征融合，并引入归一化约束损失函数，控制上采样过程中保留更多的语义细节；
20.最后，将生成的解析引导图与目标状态进行空间位置比较，确保各语义部分与对应的姿态关键点在位置上贴合，更好的处理手臂和服装之间重叠时的关系，并对语义位置进行微调得到更规整的解析引导图。
21.优选地，所述归一化约束损失函数如下：
[0022][0023]
式中，表示归一化约束损失函数，g表示图像的全局特征，g
′
表示解析后图像的全局特征，l表示图像的局部特征，l
′
表示解析后图像的局部特征，表示解析前后图像全局特征匹配损失函数，表示解析前后图像局部特征匹配损失函数，均为学习系数，用于调整全局特征和局部特征的重要程度。
[0024]
解析引导图包含语义分割信息，具体包括：面部、头发、脖子、上衣区域、左手臂、右手臂、左手、右手、左肩膀、右肩膀、下衣区域。
[0025]
优选地，目标姿态包含18个关键点，具体包括：鼻子、脖子、右肩、右肘、右手腕、左肩、左肘、左手腕、右臀、右膝、右脚踝、左臀、左膝、左脚踝、右眼、左眼、右耳、左耳。
[0026]
进一步地，步骤4的具体过程如下：
[0027]
首先，根据解析引导图中各语义信息像素值的不同，去除下半身的语义信息，得到去除了下半身的解析图；
[0028]
然后，通过去除了下半身的解析图和目标姿态，限制服装图像扭曲的整体轮廓，避免曲翘网络对服装图像进行强行变形，避免服装过度扭曲；
[0029]
最后，经过曲翘网络并引入平面变形损失函数对服装图像进行变形，得到扭曲后的服装图像。
[0030]
优选地，所述平面变形损失函数如下：
[0031][0032]
式中，c
x
(x),cy(x)分别表示采样参数的x,y坐标，|c
x
(x+i,y)-c
x
(x,y)|表示两个节点之间的欧氏距离，i,j均为形变量，γ,δ均为形变系数。
[0033]
进一步地，步骤5中，试穿图像生成网络是端到端的网络，它包括生成器和判别器，生成器输入是解析引导图、扭曲后的服装图像和试穿者图像，在解析引导图的限定下，根据扭曲后服装图像和试穿者图像的像素信息生成粗糙试穿结果图，再经过判别器并引入特征点损失函数，判定粗糙试穿结果图是否符合目标姿态，并提取更多手臂区域特征，不断加强粗糙试穿结果图的细节，提高图像清晰度。
[0034]
优选地，所述特征点匹配损失函数如下：
[0035][0036]
式中，表示特征点匹配损失函数，w表示粗糙试穿结果图中人体姿态坐标点，m表示目标姿态的坐标点，wi(x)表示粗糙试穿结果图中坐标点i的横坐标，mi(x)表示目标姿态图中坐标点i的横坐标，n表示特征点总个数，|wi(x)-mi(x)|表示相同部位关键点在x轴的欧式距离，α,β均为调整系数，且α+β＝1。
[0037]
相比现有技术，本发明的有益效果包括：
[0038]
(1)本发明通过将包含语义分割信息的解析引导图、随目标姿态扭曲的目标服装图像、目标姿态和试穿者图像同时输入到试穿图像生成网络，利用试穿图像生成网络得到试穿者目标姿态的试衣效果图，大幅度提升了试衣效果，解决了试穿姿态变换导致皮肤与布料像素混淆的问题，并在试衣效果图中保持更多的服装纹理细节，提高了虚拟试穿的体验度。
[0039]
(2)本发明利用包含语义分割信息的解析引导图对目标服装图像的扭曲范围进行限定，避免目标服装图像在随目标姿态变换时过度扭曲，使虚拟试穿效果更加逼真。
[0040]
(3)本发明从试穿者图像中获取服装图像，并对服装图像中的模糊和缺口区域进行纹理细化，得到更精细的服装图像，解决了训练数据集中缺少服装图像的问题，有助于试穿图像生成网络、解析引导网络、服装曲翘网络的训练强化，增强了试衣方法的鲁棒性。
[0041]
(4)本发明在得到解析引导图的解析引导过程中，引入归一化层和归一化约束损失函数，在增强全局特征和局部特征融合的同时，控制上采样过程中保留了更多的语义细节。
[0042]
(5)本发明在试穿图像生成网络中引入特征点匹配损失函数，判定初步的试穿结果图是否符合目标姿态，有效避免手臂与服装交叉遮挡的问题，进一步提高了虚拟试衣效果。
附图说明
[0043]
下面结合附图和实施例对本发明作进一步说明。
[0044]
图1为本发明实施例的虚拟试衣方法的流程示意图。
[0045]
图2为本发明实施例的虚拟试衣方法的解析引导网络结构图。
[0046]
图3为本发明实施例的虚拟试衣方法的服装曲翘网络结构图。
[0047]
图4为本发明实施例的虚拟试衣方法的试穿图像生成网络结构图。
[0048]
图5为本发明实施例的虚拟试衣系统的示意图。
具体实施方式
[0049]
实施例一
[0050]
如图1所示，基于姿态迁移的虚拟试衣方法，包括以下步骤：
[0051]
(1)获取原始解析图和试穿者图像，先提取试穿者图像中的服装像素信息，得到简陋的服装图像，再进行纹理修复得到精细的服装图像；
[0052]
其中，服装图像的获取过程如下：首先，根据原始解析图中的服装语义信息，提取试穿者图像中对应区域的像素信息，得到粗糙的服装图像，服装图像的边缘模糊且存在缺口。然后，对服装图像进行纹理修复，使用插值法对粗糙服装图像中的模糊和缺口区域进行像素补齐或填充，得到更加精细的服装图像。
[0053]
原始解析图包含试穿者各部位的语义信息，包含：面部、头发、脖子、上衣区域、左手臂、右手臂、左手、右手、左肩膀、右肩膀、下衣区域。
[0054]
其中，纹理修复先通过卷积神经网络学习服装图像的边缘信息特征，关注于像素值剧烈变化的区域，再使用插值法对像素值剧烈变化的区域进行像素修复，确保服装边缘平滑且与背景自然过渡。
[0055]
(2)获取原始解析图和目标姿势，输入到解析引导网络，得到解析引导图；
[0056]
其中，解析引导图显示试穿者姿态变换后的语义分割信息，包含面部、头发、脖子、上衣、手臂、下装的信息。
[0057]
目标姿态由18个关键点构成，包含鼻子、脖子、右肩、右肘、右手腕、左肩、左肘、左手腕、右臀、右膝、右脚踝、左臀、左膝、左脚踝、右眼、左眼、右耳、左耳。
[0058]
如图2所示，解析引导网络由多层卷积网络和多层反卷积网络组成，解析引导网络的输入是原始解析图、目标服装和目标姿势，输出是解析引导图。
[0059]
其中，解析引导过程具体如下：首先，输入原始解析图和目标姿势，经过多层卷积网络提取图像特征，并在解析引导网络中加入残差模块和小波采样层，用于提取更高级的语义结构，使得解析引导网络深入学习人体各个部位之间的关系细节，其中，小波采样层是通过小波变换将特征图转换到频域进行下采样，可更好地保留纹理信息；然后，将提取到的图像特征输入到多层反卷积网络中，对图像进行上采样，并在反卷积之间加入归一化层，用来增强全局特征和局部特征之间的特征融合，并引入归一化约束损失函数，控制上采样过程中保留更多的语义细节。最后，将生成的解析引导图与目标状态进行空间位置比较，确保各语义部分与对应的姿态关键点在位置上贴合，更好的处理手臂和服装之间重叠时的关系，并对语义位置进行微调得到更规整的解析引导图。
[0060]
其中，在归一化层中将前一层反卷积得到的特征看作局部特征，将后一层反卷积得到的特征看作全局特征，通过引入归一化约束损失函数控制当前局部特征和全局特征对后续融合结果的影响。
[0061]
其中，归一化约束损失函数表示为：
[0062]
[0063]
式中，表示归一化约束损失函数，g表示图像的全局特征，g
′
表示解析后图像的全局特征，l表示图像的局部特征，l
′
表示解析后图像的局部特征，表示解析前后图像全局特征匹配损失函数，表示解析前后图像局部特征匹配损失函数，均为学习系数，用于调整全局特征和局部特征的重要程度。
[0064]
(3)根据解析引导图，对服装的扭曲范围做初步限定；
[0065]
(4)获取目标姿态并预处理得到去除了下半身的解析图，通过服装曲翘网络获得扭曲后的服装图像，如图3所示；
[0066]
其中，获取扭曲服装图像的具体过程如下：首先，根据解析引导图中各语义信息像素值的不同，去除下半身的语义信息，得到去除了下半身的解析图；然后，通过去除了下半身的解析图和目标姿态，限制服装图像扭曲的整体轮廓，避免曲翘网络对服装图像进行强行变形，避免服装过度扭曲；最后，经过曲翘网络并引入平面变形损失函数对服装图像进行变形，得到扭曲后的服装图像。
[0067]
其中，平面变形损失函数表示为：
[0068][0069]
式中，c
x
(x),cy(x)分别表示采样参数的x,y坐标，|c
x
(x+i,y)-c
x
(x,y)|表示两个节点之间的欧氏距离，i,j均为形变量，γ,δ均为形变系数。
[0070]
(5)根据解析引导图、扭曲后的服装图像、目标姿态和试穿者图像，通过图像生成网络生成目标姿态的试穿结果；
[0071]
如图4所示，图像生成网络是端到端的网络，由生成器和判别器两部分构成，生成器由编码器和解码器构成，生成器输入是解析引导图、扭曲后的服装图像和试穿者图像，在解析引导图的限定下，根据扭曲后服装图像和试穿者图像的像素信息生成粗糙试穿结果图，并得到粗糙试穿结果图的人体姿态图，再经过判别器并引入特征点匹配损失函数，判定粗糙试穿结果图是否符合目标姿态，并鼓励提取更多手臂区域特征，不断加强粗糙试穿结果图的细节，提高图像清晰度。
[0072]
其中，特征点匹配损失函数如下所示：
[0073][0074]
式中，表示特征点匹配损失函数，w表示粗糙试穿结果图中人体姿态坐标点，m表示目标姿态的坐标点，wi(x)表示粗糙试穿结果图中坐标点i的横坐标，mi(x)表示目标姿态图中坐标点i的横坐标，n表示特征点总个数，|wi(x)-mi(x)|表示相同部位关键点在x轴的欧式距离，α,β均为调整系数，且α+β＝1。
[0075]
实施例二
[0076]
如图5所示，姿态迁移的虚拟试衣系统包括解析引导模块、服装匹配模块、图像融合模块。
[0077]
解析引导模块，用于根据原始解析图、试穿者图像和目标姿势，先进行像素提取和纹理修复，再经过解析引导网络生成解析引导图；
[0078]
服装匹配模块，用于根据解析引导图、目标姿态和去除了下半身的解析图，通过服装曲翘网络获得扭曲后的服装图像；
[0079]
图像融合模块，根据解析引导图、扭曲后的服装图像、目标姿态和试穿者图像，通过试穿图像生成网络生成目标姿态的试穿结果。
[0080]
如图2所示，语义解析网络的输入是原始解析图和目标姿势图，输出是解析引导图，即姿态迁移后的解析图。原始解析图和目标姿势图分别经依次连接的5个残差块处理，每个残差块使用3
×
3的卷积提取特征，残差块之间经小波层连接，小波层在频域空间对特征图下采样；末端的残差块连接归一化层，用来增强全局特征和局部特征之间的特征融合，并引入归一化约束损失函数，控制上采样过程中保留更多的语义细节；归一化之后经依次连接的5个反卷积层处理，相邻的反卷积层之间经逆小波层连接，逆小波层用于上采样，末端的反卷积层输出解析引导图。
[0081]
如图3所示，服装曲翘网络的输入是解析引导图和服装图像，输出是扭曲后的服装图像。首先，解析引导图和服装图像分别经编码器进行编码，分别提取两者的图像特征；然后，通过两者的图像特征计算形变系数θ，并通过解析引导图和目标姿态，限制服装图像扭曲的整体轮廓，避免曲翘网络对服装图像进行强行变形，避免服装过度扭曲；最后，经扭曲操作并引入平面变形损失函数对服装图像进行变形，得到扭曲后的服装图像。
[0082]
如图4所示，试穿图像生成网络的输入是解析引导图、扭曲后的服装图像和试穿者图像，输出是试穿图像。试穿图像生成网络是端到端的网络，它包括生成器和判别器，生成器由编码器和解码器构成，生成器输入是解析引导图、扭曲后的服装图像和试穿者图像，在解析引导图的限定下，根据扭曲后服装图像和试穿者图像的像素信息生成粗糙试穿结果图，再经过判别器并引入特征点损失函数，判定粗糙试穿结果图是否符合目标姿态，并提取更多手臂区域特征，加强粗糙试穿结果图的细节，提高图像清晰度。
[0083]
姿态迁移的虚拟试衣系统采用和实施例一相同的虚拟试衣方法。
[0084]
实施结果表明本发明不仅使得语义分割的精度更高，而且增加了服装变形的鲁棒性，使试穿结果图像保留更多的细节大大提高了高分辨率2d图像的虚拟试穿效果，提高了试穿效果和用户体验。
技术特征：1.基于姿态迁移的虚拟试衣方法，其特征在于，包括以下步骤：步骤1，获取原始解析图和试穿者图像，先提取试穿者图像中的服装像素信息，得到简陋的服装图像，再进行纹理修复得到精细的服装图像；步骤2，将原始解析图、目标服装和目标姿势输入到解析引导网络，得到解析引导图；步骤3，根据解析引导图，对目标服装的扭曲范围做初步限定；步骤4，获取目标姿态并预处理得到去除了下半身的解析图，通过服装曲翘网络获得扭曲后的服装图像；步骤5，根据解析引导图、扭曲后的目标服装图像、目标姿态和试穿者图像，通过试穿图像生成网络生成目标姿态的试穿结果。2.根据权利要求1所述的虚拟试衣方法，其特征在于，步骤1对服装图像进行像素级修复，具体修复过程包括：先通过卷积神经层学习服装图像的边缘信息特征，关注像素值剧烈变化的区域；再使用插值法对像素值剧烈变化的区域进行像素修复，确保服装边缘平滑且与背景自然过渡。3.根据权利要求2所述的虚拟试衣方法，其特征在于，步骤1包括以下子步骤：首先，根据原始解析图中的服装语义信息，提取试穿者图像中对应区域的像素信息，得到粗糙的服装图像，服装图像存在图像边缘模糊或图像边缘有缺口的情形；然后，对服装图像进行纹理修复，使用插值法对粗糙服装图像中的模糊和缺口区域进行像素补齐或填充，得到更加精细的服装图像。4.根据权利要求3所述的虚拟试衣方法，其特征在于，步骤2的具体过程如下：首先，将原始解析图和目标姿势输入到解析引导网络，利用解析引导网络的多层卷积网络提取图像特征，并在解析引导网络中加入残差模块和小波采样层用于提取更高级的语义结构，使得解析引导网络深入学习人体各个部位之间的关系细节，其中，小波采样层是通过小波变换将特征图转换到频域进行下采样，可以更好地保留纹理信息；然后，将提取到的图像特征输入到解析引导网络的多层反卷积网络中，对图像进行上采样，并在卷积与反卷积之间加入归一化层，用来增强全局特征和局部特征之间的特征融合，并引入归一化约束损失函数，控制上采样过程中保留更多的语义细节；最后，将生成的解析引导图与目标状态进行空间位置比较，确保各语义部分与对应的姿态关键点在位置上贴合，更好的处理手臂和服装之间重叠时的关系，并对语义位置进行微调得到更规整的解析引导图。5.根据权利要求4所述的虚拟试衣方法，其特征在于，所述归一化约束损失函数如下：式中，表示归一化约束损失函数，g表示图像的全局特征，g
′
表示解析后图像的全局特征，l表示图像的局部特征，l
′
表示解析后图像的局部特征，表示解析前后图像全局特征匹配损失函数，表示解析前后图像局部特征匹配损失函数，均为学习系数。6.根据权利要求4所述的虚拟试衣方法，其特征在于，步骤4的具体过程如下：首先，根据解析引导图中各语义信息像素值的不同，去除下半身的语义信息，得到去除了下半身的解析图；
然后，通过去除了下半身的解析图和目标姿态，限制服装图像扭曲的整体轮廓，避免曲翘网络对服装图像进行强行变形，避免服装过度扭曲；最后，经过曲翘网络并引入平面变形损失函数对服装图像进行变形，得到扭曲后的服装图像。7.根据权利要求6所述的虚拟试衣方法，其特征在于，所述平面变形损失函数如下：式中，c
x
(x),c
y
(x)分别表示采样参数的x,y坐标，|c
x
(x+i,y)-c
x
(x,y)|表示两个节点之间的欧氏距离，i,j均为形变量，γ,δ均为形变系数。8.根据权利要求6所述的虚拟试衣方法，其特征在于，步骤5中，试穿图像生成网络包括生成器和判别器，生成器的输入是解析引导图、扭曲后的服装图像和试穿者图像，在解析引导图的限定下，根据扭曲后服装图像和试穿者图像的像素信息生成粗糙试穿结果图，再经过判别器并引入特征点损失函数，判定粗糙试穿结果图是否符合目标姿态，并提取更多手臂区域特征，加强粗糙试穿结果图的细节，提高图像清晰度。9.根据权利要求8所述的虚拟试衣方法，其特征在于，所述特征点匹配损失函数如下：式中，表示特征点匹配损失函数，w表示粗糙试穿结果图中人体姿态坐标点，m表示目标姿态的坐标点，w
i
(x)表示粗糙试穿结果图中人体姿态坐标点i的横坐标，m
i
(x)表示目标姿态图中坐标点i的横坐标，n表示特征点总个数，|w
i
(x)-m
i
(x)|表示相同部位关键点在x轴的欧式距离，α,β均为调整系数，且α+β＝1。
技术总结本发明涉及基于姿态迁移的虚拟试衣方法，包括：获取原始解析图和试穿者图像，先提取试穿者图像中的服装像素信息，再进行纹理修复得到精细的服装图像；将原始解析图和目标姿势输入到解析引导网络，得到解析引导图；根据解析引导图，对服装的扭曲范围做初步限定；获取目标姿态并预处理得到去除了下半身的解析图，通过服装曲翘网络获得扭曲后的服装图像；根据解析引导图、扭曲后的服装图像、目标姿态和试穿者图像，生成目标姿态的试穿结果。本发明通过将解析引导图、扭曲的目标服装图像、目标姿态和试穿者图像同时输入到神经网络模型，得到目标姿态的试衣效果图，提升了试衣效果，解决了试穿姿态变换导致皮肤与布料像素混淆的问题。试穿姿态变换导致皮肤与布料像素混淆的问题。试穿姿态变换导致皮肤与布料像素混淆的问题。
技术研发人员：朱佳龙 姜明华 史衍康 陈子宜 刘军 余锋
受保护的技术使用者：武汉纺织大学
技术研发日：2022.07.07
技术公布日：2022/11/1
