单样本自适应域生成器迁移方法

1.本发明涉及就三级视觉中的图像生成和迁移学习领域。


背景技术：

2.单样本生成模型域迁移的目的在于：利用给定的单张引导图，把原本生成真实图片的生成器转化成可生成与引导图有相似风格图片的生成器。训练一个可用的生成器往往需要大量的数据，但现实生活中收集足够相似风格的数据是十分困难的。因此，对于数据极度匮乏的情况，通常的做法是利用给定的目标域数据，把在数据充足的源域训练的生成器迁移到目标域中。
3.近年来，随着深度学习技术的进一步发展，图像生成及其迁移学习也取得了突破性的进展。学者们利用生成器合成高质量的图片，并使用基于大规模图文对预训练的模型提取图片的特征，将引导图的特征与生成图片的特征对齐，从而使生成的图片与引导图风格更加接近。然而，使用现有的算法迁移后的目标生成器合成的图片有两个问题。一方面，合成的图片与引导图在局部的特征和风格上差异较大；另一方面，迁移后的图片多样性很低，且与迁移前的图片属性不一致。


技术实现要素：

4.本发明是为了解决使用现有的算法迁移后的目标生成器无法准确获取引导图风格及迁移后的图片多样性低的问题。本发明提供了一种单样本自适应域生成器迁移方法。
5.单样本自适应域生成器迁移方法，该方法包括：
6.s1、利用多张源域图片及多维高斯分布中随机采样得到的多个512维的向量对预训练的生成器进行训练，获得源域生成器gb；再利用源域生成器gb的权重初始化目标域生成器，得到初始化后的目标域生成器ga，同时，选取一张风格不同于源域图片作为初始化后的目标域生成器gb的目标域引导图；
7.s2、从多维高斯分布中随机采样m个512维的向量，输入至源域生成器gb合成m张源域合成图片，将m张源域合成图片和目标域引导图输入至第一clip图片编码器中进行特征提取，获得源域中心特征向量ν
src
、目标域引导图全局特征向量ν
tar
和目标域引导图局部特征向量序列f
tar
；
8.s3、从多维高斯分布中随机采样一个512维的向量，并同时输入到源域生成器ga和初始化后的目标域生成器gb中，使得源域生成器ga合成一张迁移前图片、初始化后的目标域生成器gb合成一张迁移后图片；
9.s4、把合成后的迁移前图片和迁移后图片输入至第二clip图片编码器中，提取出迁移前图片的全局特征向量νa、迁移后图片的全局特征向量νb和迁移后图片的局部特征向量序列fb后，并结合源域中心特征向量ν
src
、目标域引导图全局特征向量ν
tar
和目标域引导图局部特征向量序列f
tar
，确定全局水平域迁移损失函数l
global
的损失值和局部水平域迁移损失函数l
local
的损失值；
10.同时，把合成后的迁移前图片和迁移后图片输入至逆映射器中，提取迁移前图片的属性向量ωa和迁移后图片的属性向量ωb；并根据迁移前图片的属性向量ωa、迁移后图片的属性向量ωb确定自适应属性保持损失函数l
scc
的损失值；
11.s5、将全局水平域迁移损失函数l
global
的损失值、局部水平域迁移损失函数l
local
的损失值和自适应属性保持损失函数l
scc
的损失值求和，获得总损失值；
12.s6、判断当前总损失值是否小于预设阈值，结果为是，将其当前总损失值作为初始化后的目标域生成器gb的最优总损失值，从而获得迁移后的目标域生成器，实现对自适应域生成器的迁移；结果为否，根据当前总损失值对初始化后的目标域生成器gb的参数进行优化更新，实现对初始化后的目标域生成器gb的训练，然后重新执行步骤s3。
13.优选的是，步骤s2中，获得源域中心特征向量ν
src
、目标域引导图全局特征向量ν
tar
和目标域引导图局部特征向量序列f
tar
列的实现方式为：
14.将m张源域合成图片输入至第一clip图片编码器中进行全局特征提取，获得每张源域合成图片的全局特征向量，并计算m张源域合成图片的全局特征向量的平均值，并将该平均值作为源域中心特征向量ν
src
；
15.同时，将目标域引导图输入至第一clip图片编码器中进行全局特征提取及局部特征提取，获得目标域引导图全局特征向量ν
tar
和目标域引导图局部特征向量序列f
tar
。
16.优选的是，步骤s4中，确定全局水平域迁移损失函数l
global
的损失值的实现方式为：
17.将迁移前图片的全局特征向量νa、迁移后图片的全局特征向量νb、源域中心特征向量ν
src
和目标域引导图全局特征向量ν
tar
，代入到全局水平域迁移损失函数l
global
中，从而获得全局水平域迁移损失函数l
global
的损失值。
18.优选的是，全局水平域迁移损失函数l
global
的表达式为：
[0019][0020]
其中，
[0021]
δν
samp
＝ν
b-νaꢀꢀꢀꢀꢀꢀꢀꢀ
公式2；
[0022]
δν
dom
＝ν
tar-ν
src
ꢀꢀꢀꢀꢀꢀ
公式3；
[0023]
δν
samp
为移后图片的全局特征向量νb与迁移前图片的全局特征向量νa的差值，δν
dom
为目标域引导图全局特征向量ν
tar
与源域中心特征向量ν
src
的差值。
[0024]
优选的是，步骤s4中，确定局部水平域迁移损失函数l
local
的损失值的实现方式为：
[0025]
将目标域引导图全局特征向量ν
tar
和目标域引导图局部特征向量序列f
tar
，代入到局部水平域迁移损失函数l
global
中，从而获得局部水平域迁移损失函数的损失值。
[0026]
优选的是，局部水平域迁移损失函数l
local
的表达式为：
[0027][0028]
[0029]
其中，为迁移后图片的局部特征向量序列fb中的第i个向量，为目标域引导图局部特征向量序列f
tar
中第j个向量，c
i,j
为与间的余弦距离矩阵，n为迁移后图片的局部特征向量序列fb中向量的个数，m为目标域引导图局部特征向量序列f
tar
中向量的个数，i和j均为整数，且i＝1，2
……
n，j＝1，2
……
m，n和m均为整数。
[0030]
优选的是，步骤s6中、获得迁移后的目标域生成器的实现方式为：
[0031]
s61、在初始化后的目标域生成器gb进行训练过程中，将训练过程中获得的p个迁移后图片的属性向量ωa进行求和、取平均后，获得迁移后图片的平均属性向量，还将训练过程中获得的p个迁移前图片的属性向量ωb进行求和、取平均后，获得迁移前图片的平均属性向量；
[0032]
s62、将迁移后图片的平均属性向量与迁移前图片的平均属性向量作差，获得平均属性差值向量δω；平均属性差值向量δω为多维向量，且维数为n，n为大于3的整数；
[0033]
s63、确定条件向量mask(δω，α)中所有元素所在位置的值，从而获得条件向量mask(δω，α)，并将条件向量mask(δω，α)、最后一次训练得到迁移前图片的属性向量ωa和最后一次训练得到迁移后图片的属性向量ωa代入自适应属性保持损失函数l
scc
中，获得自适应属性保持损失函数l
scc
的损失值，并将该损失值作为初始化后的目标域生成器gb的最优总损失值，从而获得迁移后的目标域生成器；
[0034]
其中，预设向量mask(δω，α)的维数与平均属性差值向量δω的维数相同，α为被选取属性所占的比例。
[0035]
优选的是，s63中、确定条件向量mask(δω，α)中所有元素所在位置的值，从而获得条件向量mask(δω，α)的实现方式为：
[0036]
首先、条件向量mask(δω，α)中每个元素所在位置的值的获得方式为,
[0037][0038]
其中，δωi为平均属性差值向量δω中第i个元素的值，δω
san
为平均属性差值向量δω中第n
·
α小的元素所对应的值；
[0039]
其次，根据条件向量mask(δω，α)中每个元素所在位置的值，从而确定条件向量mask(δω，α)中所有元素的值，从而获得条件向量mask(δω，α)；其中，
[0040]
mask(δω，α)＝{mask(δω，α)1，mask(δω，α)2……
mask(δω，α)i}
ꢀꢀꢀ
公式7；
[0041]
所述i＝1，2，3
……
n。
[0042]
优选的是，自适应属性保持损失函数l
scc
的表达式为：
[0043]
l
scc
＝||mask(δω，α)
·
(ω
b-ωa)||1ꢀꢀꢀꢀꢀ
公式7；
[0044]
其中，α为被选取属性所占的比例，mask(δω，α)为条件向量，δω为平均属性差值向量，||
·
||1为1的范数。
[0045]
原理分析：通过全局水平域迁移损失函数l
global
使迁移后的目标域生成器合成的图片拥有引导图的全局特征；设计了局部水平域迁移损失函数l
local
来解决现有技术无法准确获取引导图局部代表性特征的问题；利用逆映射器把合成图片映射到隐空间，并提出自适应属性保持损失函数l
scc
来自适应的挑选和保持域共享的属性，从而使迁移后的图片保持了之前图片的部分属性，提高了合成图片的多样性。由此，给定一张目标域的引导图，也
可以使训练后的生成器所合成的图片既具有的丰富内容，也能拥有与目标域相似的风格。
[0046]
本发明带来的有益效果是：
[0047]
本发明单样本自适应域生成器迁移方法，利用全局水平域迁移损失函数使合成图片获取引导图的全局风格，针对现有技术无法准确获取引导图风格和迁移后的图片多样性低的问题，设计了局部水平域迁移损失函数和自适应属性保持损失函数，从而自适应的获取引导图的局部风格，同时使迁移后的图片保持了之前图片的部分属性，提高了合成图片的多样性，其中，局部水平域迁移损失函数是用于实现局部特征的对齐。
[0048]
具体考虑到对于引导图全局和局部水平代表性特征的获取，以及对源域生成器多样性的继承，设计了全局水平和局部水平域迁移损失函数、以及自适应属性保持损失函数，从而解决了生成器迁移过程中对重要属性及风格获取不足和迁移后的图片多样性低的问题，同时也使迁移后的图片保持了一部分属性。且本发明方法只给定一张目标域引导图，即可实现迁移后的目标域生成器(也即迁移后的目标生成器)合成的图片既具有的丰富内容，也能拥有与目标域引导图相似的风格，且只通过一张目标域引导图对目标域生成器进行不断的训练和优化，所使用的样本数量少，且能保证属性继承的准确度，整个迁移学习的过程简单，便于实现。
附图说明
[0049]
图1是本发明所述单样本自适应域生成器迁移方法的流程图；
[0050]
图2是单样本自适应域生成器迁移方法的原理示意图。
具体实施方式
[0051]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0052]
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0053]
实施例1：
[0054]
参见图1说明本实施例1，本实施例1所述的单样本自适应域生成器迁移方法，该方法包括：
[0055]
s1、利用多张源域图片及多维高斯分布中随机采样得到的多个512维的向量对预训练的生成器进行训练，获得源域生成器gb；再利用源域生成器gb的权重初始化目标域生成器，得到初始化后的目标域生成器ga，同时，选取一张风格不同于源域图片作为初始化后的目标域生成器gb的目标域引导图；
[0056]
s2、从多维高斯分布中随机采样m个512维的向量，输入至源域生成器gb合成m张源域合成图片，将m张源域合成图片和目标域引导图输入至第一clip图片编码器中进行特征提取，获得源域中心特征向量ν
src
、目标域引导图全局特征向量ν
tar
和目标域引导图局部特征向量序列f
tar
；
[0057]
s3、从多维高斯分布中随机采样一个512维的向量，并同时输入到源域生成器ga和
初始化后的目标域生成器gb中，使得源域生成器ga合成一张迁移前图片、初始化后的目标域生成器gb合成一张迁移后图片；
[0058]
s4、把合成后的迁移前图片和迁移后图片输入至第二clip图片编码器中，提取出迁移前图片的全局特征向量νa、迁移后图片的全局特征向量νb和迁移后图片的局部特征向量序列fb后，并结合源域中心特征向量ν
src
、目标域引导图全局特征向量ν
tar
和目标域引导图局部特征向量序列f
tar
，确定全局水平域迁移损失函数l
global
的损失值和局部水平域迁移损失函数l
local
的损失值；
[0059]
同时，把合成后的迁移前图片和迁移后图片输入至逆映射器中，提取迁移前图片的属性向量ωa和迁移后图片的属性向量ωb；并根据迁移前图片的属性向量ωa、迁移后图片的属性向量ωb确定自适应属性保持损失函数l
scc
的损失值；
[0060]
s5、将全局水平域迁移损失函数l
global
的损失值、局部水平域迁移损失函数l
local
的损失值和自适应属性保持损失函数l
scc
的损失值求和，获得总损失值；
[0061]
s6、判断当前总损失值是否小于预设阈值，结果为是，将其当前总损失值作为初始化后的目标域生成器gb的最优总损失值，从而获得迁移后的目标域生成器，实现对自适应域生成器的迁移；结果为否，根据当前总损失值对初始化后的目标域生成器gb的参数进行优化更新，实现对初始化后的目标域生成器gb的训练，然后重新执行步骤s3。
[0062]
应用时，当前总损失值大于或等于预设阈时，重新执行步骤s3，根据当前总损失值对初始化后的目标域生成器gb的参数进行不断的迭代更新，至当前总损失值小于预设阈值时，将此时当前总损失值作为初始化后的目标域生成器gb的最优总损失值，同时还将此时的初始化后的目标域生成器gb作为迁移后的目标域生成器，这种通过迭代更新目标域生成器gb参数的方式，保证了迁移后的目标域生成器的生成精度。
[0063]
在所述的单样本自适应域生成器迁移方法在目标域生成器迁移学习的过程中，仅通过只通过一张目标域引导图对目标域生成器进行不断的训练和优化，所使用的样本数量少，且能保证属性继承的准确度，考虑到对于引导图全局和局部水平代表性特征的获取，以及对源域生成器多样性的继承，设计了全局水平域迁移损失函数l
global
、局部水平域迁移损失函数l
local
、以及自适应属性保持损失函数l
scc
，从而解决了生成器迁移过程中对重要属性及风格获取不足和迁移后的图片多样性低的问题，同时也使迁移后的图片既具有的丰富内容，也能拥有与目标域引导图相似的风格，自适应域生成器迁移方法过程简单。
[0064]
逆映射器采用pixel2style2pixel(像素到编码到像素)框架，也即psp框架实现，其中psp框架是一种像素到编码到像素的图像编码框架。
[0065]
进一步的，步骤s2中，获得源域中心特征向量ν
src
、目标域引导图全局特征向量ν
tar
和目标域引导图局部特征向量序列f
tar
列的实现方式为：
[0066]
将m张源域合成图片输入至第一clip图片编码器中进行全局特征提取，获得每张源域合成图片的全局特征向量，并计算m张源域合成图片的全局特征向量的平均值，并将该平均值作为源域中心特征向量ν
src
；
[0067]
同时，将目标域引导图输入至第一clip图片编码器中进行全局特征提取及局部特征提取，获得目标域引导图全局特征向量ν
tar
和目标域引导图局部特征向量序列f
tar
。
[0068]
本优选实施方式给出的获得源域中心特征向量、目标域引导图全局特征向量和目标域引导图局部特征向量序列的实现方式，可使初始化后的目标域生成器准确估计源域中
的全局特征向量并充分获取引导图全局特征向量和局部特征向量序列。
[0069]
更进一步的，步骤s4中，确定全局水平域迁移损失函数l
global
的损失值的实现方式为：
[0070]
将迁移前图片的全局特征向量νa、迁移后图片的全局特征向量νb、源域中心特征向量ν
src
和目标域引导图全局特征向量ν
tar
，代入到全局水平域迁移损失函数l
global
中，从而获得全局水平域迁移损失函数l
global
的损失值。
[0071]
本优选实施方式确定全局水平域迁移损失函数l
global
的损失值的目的是使目标域生成器准确获取引导图的全局水平特征。
[0072]
更进一步的，全局水平域迁移损失函数l
global
的表达式为：
[0073][0074]
其中，
[0075]
δν
samp
＝ν
b-νaꢀꢀꢀꢀꢀꢀꢀꢀ
公式2；
[0076]
δν
dom
＝ν
tar-ν
src
ꢀꢀꢀꢀꢀꢀ
公式3；
[0077]
δν
samp
为移后图片的全局特征向量νb与迁移前图片的全局特征向量νa的差值，δν
dom
为目标域引导图全局特征向量ν
tar
与源域中心特征向量ν
src
的差值。
[0078]
本优选实施方式中，构建了一种全局水平域迁移损失函数的结构，通过此结构的损失函数的功能是使目标域生成器准确获取引导图的全局水平特征。
[0079]
更进一步的，步骤s4中，确定局部水平域迁移损失函数l
local
的损失值的实现方式为：
[0080]
将目标域引导图全局特征向量ν
tar
和目标域引导图局部特征向量序列f
tar
，代入到局部水平域迁移损失函数l
global
中，从而获得局部水平域迁移损失函数的损失值。
[0081]
上述给出了确定局部水平域迁移损失函数的损失值的具体实现方式，获得局部水平域迁移损失函数的损失值的过程简单，只需将目标域引导图全局特征向量和目标域引导图局部特征向量序列，代入到局部水平域迁移损失函数中，即可获得局部水平域迁移损失函数的损失值。
[0082]
更进一步的，局部水平域迁移损失函数l
local
的表达式为：
[0083][0084][0085]
其中，为迁移后图片的局部特征向量序列fb中的第i个向量，为目标域引导图局部特征向量序列f
tar
中第j个向量，c
i,j
为与间的余弦距离矩阵，n为迁移后图片的局部特征向量序列fb中向量的个数，m为目标域引导图局部特征向量序列f
tar
中向量的个数，i和j均为整数，且i＝1，2
……
n，j＝1，2
……
m，n和m均为整数。
[0086]
本优选实施方式使目标域生成器准确获取目标域引导图的局部水平特征。
[0087]
更进一步的，步骤s6中、参见图2，获得迁移后的目标域生成器的实现方式为：
[0088]
s61、在初始化后的目标域生成器gb进行训练过程中，将训练过程中获得的p个迁移后图片的属性向量ωa进行求和、取平均后，获得迁移后图片的平均属性向量，还将训练过程中获得的p个迁移前图片的属性向量ωb进行求和、取平均后，获得迁移前图片的平均属性向量；
[0089]
s62、将迁移后图片的平均属性向量与迁移前图片的平均属性向量作差，获得平均属性差值向量δω；平均属性差值向量δω为多维向量，且维数为n，n为大于3的整数；
[0090]
s63、确定条件向量mask(δω，α)中所有元素所在位置的值，从而获得条件向量mask(δω，α)，并将条件向量mask(δω，α)、最后一次训练得到迁移前图片的属性向量ωa和最后一次训练得到迁移后图片的属性向量ωa代入自适应属性保持损失函数l
scc
中，获得自适应属性保持损失函数l
scc
的损失值，并将该损失值作为初始化后的目标域生成器gb的最优总损失值，从而获得迁移后的目标域生成器；
[0091]
其中，预设向量mask(δω，α)的维数与平均属性差值向量δω的维数相同，α为被选取属性所占的比例。
[0092]
更进一步的，s63中、确定条件向量mask(δω，α)中所有元素所在位置的值，从而获得条件向量mask(δω，α)的实现方式为：
[0093]
首先、条件向量mask(δω，α)中每个元素所在位置的值的获得方式为,
[0094][0095]
其中，δωi为平均属性差值向量δω中第i个元素的值，δω
san
为平均属性差值向量δω中第n
·
α小的元素所对应的值；
[0096]
其次，根据条件向量mask(δω，α)中每个元素所在位置的值，从而确定条件向量mask(δω，α)中所有元素的值，从而获得条件向量mask(δω，α)；其中，
[0097]
mask(δω，α)＝{mask(δω，α)1，mask(δω，α)2……
mask(δω，α)i}
ꢀꢀꢀ
公式7；
[0098]
所述i＝1，2，3
……
n。
[0099]
本优选实施方式条件向量mask(δω，α)确定了域迁移过程中需要保持的属性位置，保证了迁移前的图片与迁移后的图片内容相近。
[0100]
更进一步的，自适应属性保持损失函数l
scc
的表达式为：
[0101]
l
scc
＝||mask(δω，α)
·
(ω
b-ωa)||1ꢀꢀꢀꢀꢀ
公式7；
[0102]
其中，α为被选取属性所占的比例，mask(δω，α)为条件向量，δω为平均属性差值向量，||
·
||1为1的范数。
[0103]
本优选实施方式通过自适应属性保持损失函数l
scc
保持了域迁移过程中源域和目标域共享的属性，从而使生成的图片更具有多样性。
[0104]
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

技术特征：
1.单样本自适应域生成器迁移方法，其特征在于，该方法包括：s1、利用多张源域图片及多维高斯分布中随机采样得到的多个512维的向量对预训练的生成器进行训练，获得源域生成器g
b
；再利用源域生成器g
b
的权重初始化目标域生成器，得到初始化后的目标域生成器g
a
，同时，选取一张风格不同于源域图片作为初始化后的目标域生成器g
b
的目标域引导图；s2、从多维高斯分布中随机采样m个512维的向量，输入至源域生成器g
b
合成m张源域合成图片，将m张源域合成图片和目标域引导图输入至第一clip图片编码器中进行特征提取，获得源域中心特征向量ν
src
、目标域引导图全局特征向量ν
tar
和目标域引导图局部特征向量序列f
tar
；s3、从多维高斯分布中随机采样一个512维的向量，并同时输入到源域生成器g
a
和初始化后的目标域生成器g
b
中，使得源域生成器g
a
合成一张迁移前图片、初始化后的目标域生成器g
b
合成一张迁移后图片；s4、把合成后的迁移前图片和迁移后图片输入至第二clip图片编码器中，提取出迁移前图片的全局特征向量ν
a
、迁移后图片的全局特征向量ν
b
和迁移后图片的局部特征向量序列f
b
后，并结合源域中心特征向量ν
src
、目标域引导图全局特征向量ν
tar
和目标域引导图局部特征向量序列f
tar
，确定全局水平域迁移损失函数l
global
的损失值和局部水平域迁移损失函数l
local
的损失值；同时，把合成后的迁移前图片和迁移后图片输入至逆映射器中，提取迁移前图片的属性向量ω
a
和迁移后图片的属性向量ω
b
；并根据迁移前图片的属性向量ω
a
、迁移后图片的属性向量ω
b
确定自适应属性保持损失函数l
scc
的损失值；s5、将全局水平域迁移损失函数l
global
的损失值、局部水平域迁移损失函数l
local
的损失值和自适应属性保持损失函数l
scc
的损失值求和，获得总损失值；s6、判断当前总损失值是否小于预设阈值，结果为是，将其当前总损失值作为初始化后的目标域生成器g
b
的最优总损失值，从而获得迁移后的目标域生成器，实现对自适应域生成器的迁移；结果为否，根据当前总损失值对初始化后的目标域生成器g
b
的参数进行优化更新，实现对初始化后的目标域生成器g
b
的训练，然后重新执行步骤s3。2.根据权利要求1所述的单样本自适应域生成器迁移方法，其特征在于，步骤s2中，获得源域中心特征向量ν
src
、目标域引导图全局特征向量ν
tar
和目标域引导图局部特征向量序列f
tar
列的实现方式为：将m张源域合成图片输入至第一clip图片编码器中进行全局特征提取，获得每张源域合成图片的全局特征向量，并计算m张源域合成图片的全局特征向量的平均值，并将该平均值作为源域中心特征向量ν
src
；同时，将目标域引导图输入至第一clip图片编码器中进行全局特征提取及局部特征提取，获得目标域引导图全局特征向量ν
tar
和目标域引导图局部特征向量序列f
tar
。3.根据权利要求1所述的单样本自适应域生成器迁移方法，其特征在于，步骤s4中，确定全局水平域迁移损失函数l
global
的损失值的实现方式为：将迁移前图片的全局特征向量ν
a
、迁移后图片的全局特征向量ν
b
、源域中心特征向量ν
src
和目标域引导图全局特征向量ν
tar
，代入到全局水平域迁移损失函数l
global
中，从而获得全局水平域迁移损失函数l
global
的损失值。
4.根据权利要求1所述的单样本自适应域生成器迁移方法，其特征在于，全局水平域迁移损失函数l
global
的表达式为：其中，δν
samp
＝ν
b-ν
a
ꢀꢀꢀꢀ
公式2；δν
dom
＝ν
tar-ν
src
ꢀꢀꢀꢀ
公式3；δν
samp
为移后图片的全局特征向量ν
b
与迁移前图片的全局特征向量ν
a
的差值，δν
dom
为目标域引导图全局特征向量ν
tar
与源域中心特征向量ν
src
的差值。5.根据权利要求1所述的单样本自适应域生成器迁移方法，其特征在于，步骤s4中，确定局部水平域迁移损失函数l
local
的损失值的实现方式为：将目标域引导图全局特征向量ν
tar
和目标域引导图局部特征向量序列f
tar
，代入到局部水平域迁移损失函数l
global
中，从而获得局部水平域迁移损失函数的损失值。6.根据权利要求1所述的单样本自适应域生成器迁移方法，其特征在于，局部水平域迁移损失函数l
local
的表达式为：的表达式为：其中，为迁移后图片的局部特征向量序列f
b
中的第i个向量，为目标域引导图局部特征向量序列f
tar
中第j个向量，c
i,j
为与间的余弦距离矩阵，n为迁移后图片的局部特征向量序列f
b
中向量的个数，m为目标域引导图局部特征向量序列f
tar
中向量的个数，i和j均为整数，且i＝1，2
……
n，j＝1，2
……
m，n和m均为整数。7.根据权利要求1所述的单样本自适应域生成器迁移方法，其特征在于，步骤s6中、获得迁移后的目标域生成器的实现方式为：s61、在初始化后的目标域生成器g
b
进行训练过程中，将训练过程中获得的p个迁移后图片的属性向量ω
a
进行求和、取平均后，获得迁移后图片的平均属性向量，还将训练过程中获得的p个迁移前图片的属性向量ω
b
进行求和、取平均后，获得迁移前图片的平均属性向量；s62、将迁移后图片的平均属性向量与迁移前图片的平均属性向量作差，获得平均属性差值向量δω；平均属性差值向量δω为多维向量，且维数为n，n为大于3的整数；s63、确定条件向量mask(δω，α)中所有元素所在位置的值，从而获得条件向量mask(δω，α)，并将条件向量mask(δω，α)、最后一次训练得到迁移前图片的属性向量ω
a
和最后一次训练得到迁移后图片的属性向量ω
a
代入自适应属性保持损失函数l
scc
中，获得自适应属性保持损失函数l
scc
的损失值，并将该损失值作为初始化后的目标域生成器g
b
的最优总损失值，从而获得迁移后的目标域生成器；其中，预设向量mask(δω，α)的维数与平均属性差值向量δω的维数相同，α为被选取
属性所占的比例。8.根据权利要求7所述的单样本自适应域生成器迁移方法，其特征在于，s63中、确定条件向量mask(δω，α)中所有元素所在位置的值，从而获得条件向量mask(δω，α)的实现方式为：首先、条件向量mask(δω，α)中每个元素所在位置的值的获得方式为,其中，δω
i
为平均属性差值向量δω中第i个元素的值，δω
san
为平均属性差值向量δω中第n
·
α小的元素所对应的值；其次，根据条件向量mask(δω，α)中每个元素所在位置的值，从而确定条件向量mask(δω，α)中所有元素的值，从而获得条件向量mask(δω，α)；其中，mask(δω，α)＝{mask(δω，α)1，mask(δω，α)2……
mask(δω，α)
i
}
ꢀꢀꢀ
公式7；所述i＝1，2，3
……
n。9.根据权利要求1所述的单样本自适应域生成器迁移方法，其特征在于，自适应属性保持损失函数l
scc
的表达式为：l
scc
＝||mask(δω，α)
·
(ω
b-ω
a
)||1ꢀꢀꢀꢀꢀ
公式7；其中，α为被选取属性所占的比例，mask(δω，α)为条件向量，δω为平均属性差值向量，||
·
||1为1的范数。

技术总结
单样本自适应域生成器迁移方法，涉及就三级视觉中的图像生成和迁移学习领域。解决了使用现有的算法迁移后的目标生成器无法准确获取引导图风格及迁移后的图片多样性低的问题。本发明方法通过全局水平域迁移损失函数使迁移后的目标域生成器合成的图片拥有引导图的全局特征；设计了局部水平域迁移损失函数来解决现有技术无法准确获取引导图局部代表性特征的问题；利用逆映射器把合成图片映射到隐空间，并提出自适应属性保持损失函数来自适应的挑选和保持域共享的属性，从而使迁移后的图片保持了之前图片的部分属性，提高了合成图片的多样性，并通过给定一张目标域引导图即可实现对自适应域生成器的迁移。主要用于实现对自适应域生成器的迁移。应域生成器的迁移。应域生成器的迁移。


技术研发人员：左旺孟 张亚博 姚明帅 魏于翔
受保护的技术使用者：哈尔滨工业大学
技术研发日：2022.07.11
技术公布日：2022/11/1