1.本技术涉及数据处理领域，具体而言，涉及一种图像生成方法和模型训练方法。
背景技术：2.在人工智能领域，可以通过图像生成方法来合成模型的训练数据，但是，目前的图像生成方法在优化过程中，会灾难性遗忘部分信息，导致图像生成的准确度较低。
3.针对上述的问题，目前尚未提出有效的解决方案。
技术实现要素：4.本技术实施例提供了一种图像生成方法和模型训练方法，以至少解决相关技术中图像生成方法的准确度较低的技术问题。
5.根据本技术实施例的一个方面，提供了一种图像生成方法，包括：获取目标向量，其中，目标向量满足正态分布；利用图像生成网络对目标向量进行处理，生成目标图像，其中，目标图像用于表征目标模型的训练样本，图像生成网络的网络参数基于原始图像的原始结果和历史图像的历史结果进行更新，原始结果通过目标模型对原始图像进行处理得到，历史结果通过目标模型对历史图像进行处理得到，原始图像和历史图像均由图像生成网络生成，历史图像的生成时间早于原始图像。
6.根据本技术实施例的另一方面，还提供了一种模型训练方法，包括：获取原始向量，其中，原始向量满足正态分布；利用图像生成网络对原始向量进行处理，生成原始图像，其中，图像生成网络用于生成目标模型的训练样本；利用目标模型对原始图像进行处理，得到原始图像的原始结果；基于原始结果和历史图像的历史结果，对图像生成网络的网络参数进行更新，其中，历史结果用于表征利用目标模型对历史图像进行处理得到结果，历史图像用于表征在生成原始图像之前，利用图像生成网络所生成的图像，目标模型为神经网络模型。
7.根据本技术实施例的另一方面，还提供了一种图像生成方法，包括：在操作界面上显示图像生成控件；响应作用于图像生成控件的图像生成指令，在操作界面上显示目标图像，其中，目标图像通过图像生成网络对目标向量进行处理得到，目标图像用于表征目标模型的训练样本，图像生成网络的网络参数基于原始图像的原始结果和历史图像的历史结果进行更新，原始结果通过目标模型对原始图像进行处理得到，历史结果通过目标模型对历史图像进行处理得到，原始图像和历史图像均由图像生成网络生成，历史图像的生成时间早于原始图像，目标模型为神经网络模型。
8.根据本技术实施例的另一方面，还提供了一种图像生成方法，在虚拟现实vr设备或增强现实ar设备的呈现画面上展示操作界面，其中，操作界面上显示有图像生成控件；响应作用于图像生成控件的图像生成指令，获取目标向量，其中，目标向量满足正态分布；利用图像生成网络对目标向量进行处理，生成目标图像，其中，目标图像用于表征目标模型的训练样本，图像生成网络的网络参数基于原始图像的原始结果和历史图像的历史结果进行
更新，原始结果通过目标模型对原始图像进行处理得到，历史结果通过目标模型对历史图像进行处理得到，原始图像和历史图像均由图像生成网络生成，历史图像的生成时间早于原始图像，目标模型为神经网络模型；驱动vr设备或ar设备展示目标图像。
9.根据本技术实施例的另一方面，还提供了一种图像生成方法，包括：通过调用第一接口获取目标向量，其中，目标向量满足正态分布；利用图像生成网络对目标向量进行处理，生成目标图像，其中，目标图像用于表征目标模型的训练样本，图像生成网络的网络参数基于原始图像的原始结果和历史图像的历史结果进行更新，原始结果通过目标模型对原始图像进行处理得到，历史结果通过目标模型对历史图像进行处理得到，原始图像和历史图像均由图像生成网络生成，历史图像的生成时间早于原始图像，目标模型为神经网络模型；通过调用第二接口输出目标图像，其中，第二接口包括第二参数，第二参数的参数值为目标图像。
10.根据本技术实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行上述实施例中任意一项的方法。
11.根据本技术实施例的另一方面，还提供了一种电子设备，包括：处理器；存储器，与处理器相连接，用于为处理器提供处理一下处理步骤的指令：获取目标向量，其中，目标向量满足正态分布；利用图像生成网络对目标向量进行处理，生成目标图像，其中，目标图像用于表征目标模型的训练样本，图像生成网络的网络参数基于原始图像的原始结果和历史图像的历史结果进行更新，原始结果通过目标模型对原始图像进行处理得到，历史结果通过目标模型对历史图像进行处理得到，原始图像和历史图像均由图像生成网络生成，历史图像的生成时间早于原始图像，目标模型为神经网络模型。
12.在本技术实施例中，在获取到满足正态分布的目标向量之后，可以利用图像生成网络对目标向量进行处理，从而生成用于训练目标模型的目标图像，达到图像生成的目的。容易注意到的是，图像生成网络的网络参数是基于原始图像的原始结果和历史图像的历史结果进行更新的，使得在图像生成网络的优化过程中，避免灾难性遗忘，并且重用历史信息，可以更好的使得图像生成网络学习到类别敏感信息，可以使得图像生成网络所生成的图像的准确率更高，从而达到提高图像生成网络的攻击性能的技术效果，进而解决了相关技术中图像生成方法的准确度较低的技术问题。
附图说明
13.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
14.图1是根据本技术实施例的一种图像生成方法的虚拟现实设备的硬件环境的示意图；
15.图2是根据本技术实施例的一种图像生成方法的计算环境的结构框图；
16.图3是根据本技术实施例1的图像生成方法的流程图；
17.图4是根据本技术可选实施例的图像生成方法的流程图；
18.图5是根据本技术实施例2的模型训练方法的流程图；
19.图6是根据本技术实施例3的图像生成方法的流程图；
20.图7是根据本技术实施例4的图像生成方法的流程图；
21.图8是根据本技术实施例5的模型训练方法的流程图；
22.图9是根据本技术实施例5的图像生成装置900的结构示意图；
23.图10是根据本技术实施例6的模型训练装置1000的结构示意图；
24.图11是根据本技术实施例7的图像生成装置1100的结构示意图；
25.图12是根据本技术实施例8的图像生成装置1200的结构示意图；
26.图13是根据本技术实施例9的图像生成装置1300的结构示意图；
27.图14是根据本技术实施例的一种计算机终端的结构框图。
具体实施方式
28.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
29.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
30.首先，在对本技术实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
31.原型学习：可以是通过寻找一个原型集来表示目标集，利用类中心对齐不同类别的样本，从而分析出目标的类别，确定目标集，从而在样本空间进行数据约简，在增强数据可用性的同时，提升机器学习算法的执行效率的方法。
32.模型逆向攻击(model inversion attack，简称mia)：是一种人工智能领域可以用于获取被攻击模型的训练数据的方法。
33.基于风格的生成器结构网络(style-based generator architecture network，简称stylegan)：是一种基于风格参数的图像生成网络。
34.为了实现图像生成的目的，相关技术中给出了如下两种方法：第一种方法是预训练一个图像生成模型，该模型具有一定的图像先验信息，保证合成图像的可识别性，然后将合成图像输入到目标模型，通过y梯度回传更新该模型的参数；第二种方法是预训练一个图像生成模型，该模型具有一定的图像先验信息，保证合成图像的可识别性，然后对合成图像进行数据增加。
35.但是，第一种方法在优化过程中仅考虑本次学习到的知识，并没有考虑先前学习到的知识，并且优化过程会导致目标模型过拟合，无法提高图像生成的准确度；第二种方法，没有考虑图像多样性，同样无法提高图像生成的准确度。
36.为了解决上述问题，本技术提供了一种新的模型优化过程，可以在优化过程中充分利用历史信息，避免灾难性遗忘部分信息，提高模型性能，进而提高图像生成的准确度。在模型攻击领域中，可以进一步体型模型攻击性能。
37.实施例1
38.根据本技术实施例，还提供了一种图像生成方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
39.图1是根据本技术实施例的一种图像生成方法的虚拟现实设备的硬件环境的示意图。如图1所示，虚拟现实设备104与终端106相连接，终端106与服务器102通过网络进行连接，上述虚拟现实设备104并不限定于：虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等，上述终端104并不限定于pc、手机、平板电脑等，服务器102可以为媒体文件运营商对应的服务器，上述网络包括但不限于：广域网、城域网或局域网。
40.可选地，该实施例的虚拟现实设备104包括：存储器、处理器和传输装置。存储器用于存储应用程序，该应用程序可以用于执行：获取目标向量，其中，目标向量满足正态分布；利用图像生成网络对目标向量进行处理，生成目标图像，其中，目标图像用于表征目标模型的训练样本，图像生成网络的网络参数基于原始图像的原始结果和历史图像的历史结果进行更新，原始结果通过目标模型对原始图像进行处理得到，历史结果通过目标模型对历史图像进行处理得到，原始图像和历史图像均由图像生成网络生成，历史图像的生成时间早于原始图像，从而解决了相关技术中图像生成方法的准确度较低的技术问题，达到了提高模型逆向攻击性能的目的。
41.该实施例的终端可以用于执行在虚拟现实(virtual reality，简称为vr)设备或增强现实(augmented reality，简称为ar)设备的呈现画面上展示操作界面，其中，操作界面上显示有图像生成控件；以及目标图像，并向虚拟现实设备104发送作用于图像生成控件的图像生成指令，获取目标向量，其中，目标向量满足正态分布；利用图像生成网络对目标向量进行处理，生成目标图像，其中，目标图像用于表征目标模型的训练样本，图像生成网络的网络参数基于原始图像的原始结果和历史图像的历史结果进行更新，原始结果通过目标模型对原始图像进行处理得到，历史结果通过目标模型对历史图像进行处理得到，原始图像和历史图像均由图像生成网络生成，历史图像的生成时间早于原始图像，虚拟现实设备104在接收到目标图像之后在目标投放位置显示出来。
42.可选地，该实施例的虚拟现实设备104带有的眼球追踪的hmd(head mount display，头戴式显示器)头显与眼球追踪模块与上述实施例中的作用相同，也即，hmd头显中的屏幕，用于显示实时的画面，hmd中的眼球追踪模块，用于获取用户眼球的实时运动路径。该实施例的终端通过跟踪系统获取用户在真实三维空间的位置信息与运动信息，并计算出用户头部在虚拟三维空间中的三维坐标，以及用户在虚拟三维空间中的视野朝向。
43.图1示出的硬件结构框图，不仅可以作为上述ar/vr设备(或移动设备)的示例性框图，还可以作为上述服务器的示例性框图，一种可选实施例中，图2以框图示出了使用上述图1所示的ar/vr设备(或移动设备)作为计算环境201中计算节点的一种实施例。图2是根据本技术实施例的一种图像生成方法的计算环境的结构框图，如图2所示，计算环境201包括
运行在分布式网络上的多个(图中采用210-1，210-2，
…
,来示出)计算节点(如服务器)。每个计算节点都包含本地处理和内存资源，终端用户202可以在计算环境201中远程运行应用程序或存储数据。应用程序可以作为计算环境301中的多个服务220-1,220-2,220-3和220-4进行提供，分别代表服务“a”，“d”，“e”和“h”。
44.终端用户202可以通过客户端上的web浏览器或其他软件应用程序提供和访问服务，在一些实施例中，可以将终端用户202的供应和/或请求提供给入口网关230。入口网关230可以包括一个相应的代理来处理针对服务220(计算环境201中提供的一个或多个服务)的供应和/或请求。
45.服务220是根据计算环境201支持的各种虚拟化技术来提供或部署的。在一些实施例中，可以根据基于虚拟机(vm)的虚拟化、基于容器的虚拟化和/或类似的方式提供服务220。基于虚拟机的虚拟化可以是通过初始化虚拟机来模拟真实的计算机，在不直接接触任何实际硬件资源的情况下执行程序和应用程序。在虚拟机虚拟化机器的同时，根据基于容器的虚拟化，可以启动容器来虚拟化整个操作系统(os)，以便多个工作负载可以在单个操作系统实例上运行。
46.在基于容器虚拟化的一个实施例中，服务220的若干容器可以被组装成一个pod(例如，kubernetes pod)。举例来说，如图2所示，服务220-2可以配备一个或多个pod 240-1，240-2，
…
，240-n(统称为pod 240)。每个pod 240可以包括代理245和一个或多个容器242-1，242-2，
…
，242-m(统称为容器242)。pod 240中一个或多个容器242处理与服务的一个或多个相应功能相关的请求，代理245通常控制与服务相关的网络功能，如路由、负载均衡等。其他服务220也可以陪陪类似于pod 240的pod。
47.在操作过程中，执行来自终端用户202的用户请求可能需要调用计算环境201中的一个或多个服务220，执行一个服务220的一个或多个功能坑你需要调用另一个服务220的一个或多个功能。如图2所示，服务“a”220-1从入口网关230接收终端用户202的用户请求，服务“a”220-1可以调用服务“d”220-2，服务“d”220-2可以请求服务“e”220-3执行一个或多个功能。
48.上述的计算环境可以是云计算环境，资源的分配由云服务提供上管理，允许功能的开发无需考虑实现、调整或扩展服务器。该计算环境允许开发人员在不构建或维护复杂基础设施的情况下执行响应事件的代码。服务可以被分割完成一组可以自动独立伸缩的功能，而不是扩展单个硬件设备来处理潜在的负载。
49.在上述运行环境下，本技术提供了如图3所示的图像生成方法。需要说明的是，该实施例的图像生成方法可以由图1所示实施例的移动终端执行。图3是根据本技术实施例1的图像生成方法的流程图。如图3所示，该方法可以包括如下步骤：
50.步骤s302，获取目标向量，其中，目标向量满足正态分布。
51.由于神经网络只要有非线性激活函数，就可以拟合任意的函数。分布也是一样的，通过正态分布或高斯分布去训练神经网络，可以得到更加复杂的分布。因此，目标向量可以是高维向量，且服从正态分布的向量，从而可以通过将目标向量输入到图像生成网络以便生成目标图像。
52.在一种可选的实施例中，当用户需要生成目标模型的训练样本时，用户可以通过客户端向服务器提供目标向量，该向量满足正态分布，从而服务器可以基于用户提供的目
标向量生成目标图像。在另一种可选的实施例中，当用户需要生成目标模型的训练样本时，用户可以在客户端提供的操作界面上点击“图像生成”按钮，从而客户端可以将图像生成指令发送给服务器，服务器在接收到模型图像生成指令之后，可以随机生成一个满足正态分布的向量作为目标向量。
53.步骤s304，利用图像生成网络对目标向量进行处理，生成目标图像，其中，目标图像用于表征目标模型的训练样本，图像生成网络的网络参数基于原始图像的原始结果和历史图像的历史结果进行更新，原始结果通过目标模型对原始图像进行处理得到，历史结果通过目标模型对历史图像进行处理得到，原始图像和历史图像均由图像生成网络生成，历史图像的生成时间早于原始图像，目标模型为神经网络模型。
54.具体地，图像生成网络可以生成与目标模型的训练样本相同的图像，也即，图像生成网络生成的目标图像可以认为是目标模型的训练样本，具体的网络结构可以采用相关技术中提供的图像生成网络，例如，gan网络，在本技术实施例中，以stylegan网络为例进行说明。上述目标模型可以是以图像作为输入的神经网络，例如，用于对图像进行分类识别的分类网络，但不仅限于此，在本技术实施例中以分类网络为例进行说明。
55.上述原始图像可以是图像生成网络训练过程中，输入至目标模型的图像，该图像可以由图像生成网络所生成。
56.上述历史图像可以是在图像生成网络的训练过程中，在原始图像生成之前，通过图像生成网络所生成的图像。
57.上述原始图像的原始结果可以是将原始图像输入到目标模型所得到的输出概率，例如，以分类网络为例，原始结果可以是原始图像对应类别的概率。
58.上述历史图像的历史结果可以是将历史图像输入到目标模型所得到的输出概率，例如，以分类网络为例，历史结果可以是历史图像对应类别的概率。
59.上述网络参数可以是图像生成网络中映射网络的网络参数。
60.在一个可选实施例中，图像生成网络可以采用如下目标函数对网络参数φ进行优化，在该目标函数中，用于表征目标损失函数，因此，该网络参数随着损失函数的调整而更新。
61.其中，g用于表征合成网络g，用于表征目标向量，f
φ
(z)用于表征映射网络，用于表征生成图像，即原始图像。f
θ
用于表征基于类别的分类器(即目标模型)，用于表示此次生成图像的识别结果，即原始结果，用于表征图像x的预设结果。
62.需要说明的是，上述图像生成网络可以用于对上述目标模型进行动态记忆模型逆向攻击(dynamic memory model inversion attack，简称dmmia)，以生成上述目标模型的训练图像。
63.在一个可选实施例中，目标模型可以是其他用户已经训练好的模型，例如，目标模型通过训练数据集训练得到，并且该数据集中的目标模型的输入x和目标模型的输出y满足联合分布将目标模型表示为一个具有k个类别的类别分类器则模型逆向攻击的目标可以如下：
当y
t
是特定的目标类别时，使得目标模型的输出结果集接近
64.上述历史图像的历史结果可以存储在记忆对比项(memory contrast term，简称mct)中，以实现复用历史信息的目的。mct可以是一个历史合成图像原型集合，该历史合成图像原型集合的元素可以是记忆原型(memory prototype)。在一个实施例中，可以将该历史合成图像的原型集合表示为其中，nm用于表示内存库的大小，mi用于表征记忆原型。需要注意的是，本技术中的历史结果可以随着最新的原始图像的原始结果进行更新。并且，本技术采用mct是可以使得记忆原型更接近预测结果，从而达到图像生成网络从训练过程中产生的目标图像中学习到目标类别分布的技术效果。
65.需要说明的是，在目标向量是一个高维度数据(high-dimensional data)的情况下，直接对高维度向量进行优化，会得到一个无意义的特征。为解决上述问题，图像生成网络需要生成高保真度的语义图像。其次，为了使得图像生成网络在优化过程中充分学习历史信息，本技术在对图像生成网络的训练过程中定义了可学习的原型集合，即分布表征原型项(distribution representation term，简称drt)。该原型集合drt可以定义为where n
p
≥k，并且，在目标类别标签设置为1的情况下，基于上述原型集合的特征可以由one-hot标签监督。
66.在另一种可选的实施例中，服务器在接收到客户端上传的目标向量，或随机生成目标向量之后，可以将目标向量输入至预先训练好的图像生成网络，图像生成网络的输出为目标图像，进一步地，服务器可以将目标图像返回给客户端，由客户端展示在操作界面上。
67.可选地，图像生成网络包括：映射模块和生成模块，其中，利用图像生成网络对目标向量进行处理，生成目标图像，包括：利用映射模块对目标向量进行映射，得到映射向量；利用生成模块对映射向量进行处理，生成目标图像。
68.具体地，上述映射模块可以是映射网络(mapping network),上述生成模块可以是合成网络(synthesis network)。在一个可选实施例中，如图4所示，采用一个预先训练好的stylegan作为图像生成网络，该图像生成网络包括合成网络g和用于调整目标向量的分布的映射网络f，对图像生成网络的优化可以通过对网络参数的优化实现。如图4所示，(与上述的所表征的含义相同)是交叉熵损失函数，是动态记忆损失函数，drt可以是自定义的可学习原型集合，mct可以是历史合成图像原型集合。本技术图像生成网络用于动态记忆模型逆向攻击的流程如下：首先，随机生成一个满足正态分布的目标向量z，再将目标向量输入映射网络f，映射网络可以对目标向量进行映射，然后将经过映射后得到的向量输入合成网络g，得到原始图像a1，再将原始图像输入目标模型，得到原始结果，则可以通过原始图像、预设结果和当前网络参数对目标损失函数进行更新，得到更新后的目标损失函数。然后，再根据更新后的目标损失函数对网络参数φi进行更新，得到φ
i+1
。随后，根据当前分布表征原型参数、历史结果和预设结果更新动态记忆损失函数然后，可以根据更新后的动态记忆损失函数单独对当前分布表征原型参数进行更新。最后，再基于该原始图像对历史图像进行更新，得到新的历史图像集合，并基于更新后的历史图像集合更新历史结果，得到更新后的mct。
69.可选地，在基于原始结果和历史图像的历史结果，对图像生成网络的网络参数进
行更新之后，该方法还包括：基于原始结果对历史结果进行更新。
70.为了更好地利用历史信息，提升图像生成网络的生成准确度，mct中存储的历史结果可以随着图像生成网络的迭代过程更新，也即，mct中存储有固定数量的历史结果，每一次网络参数更新之后，可以将原始结果存储至mct中，并删除mct中存储时间最长的一张图像，从而确保mct存储有每次训练开始之前，图像生成网络所生成的一定数量的历史图像的历史结果。需要说明的是，在第一次训练过程中，mct可以通过随机初始化得到。
71.可选地，映射模块的第一参数基于原始结果和历史结果进行更新，且生成模块的第二参数保持不变。
72.需要说明的是，由于现有合成网络g的模型精度较高，而映射网络f的网络参数对图像生成的影响较大，因此，可以仅根据交叉熵损失函数更新映射网络f的网络参数(即上述的第一参数)，合成网络g的网络参数(即上述的第二参数)保持不变。
73.可选地，在基于原始结果和历史图像的历史结果，对图像生成网络的网络参数进行更新之后，该方法还包括：基于第一损失函数对分布表征原型参数进行更新。
74.在一个可选实施例中，分布表征原型参数可以是可学习的分布表征原型的参数，可以采用如下公式对分布表征原型参数进行更新：
75.其中，用于表示第一损失函数，wi用于表示本次图像生成网络训练过程中所使用的分布表征原型参数，用于表示原始图像，用于表示预设结果，w
i+1
用于表示更新后的分布表征原型参数，λ用于表示动态权重参数。
76.下面以模型攻击场景中的面部图像生成为例进行详细说明。服务器可以随机生成一个服从正态分布的原始向量，并将原始向量输入至图像生成网络中，得到输出的面部图像作为原始图像，并基于该面部图像对历史图像进行更新，mct也可以随着历史图像的更新进行更新，同时，还可以将面部图像输入目标模型中，得到目标模型的识别结果作为上述原始结果，此时，还可以根据原始结果和预设结果生成交叉熵损失函数以及可以根据分布表征原型参数、原始结果和历史结果生成动态记忆损失函数，并根据上述交叉熵损失函数更新映射网络f中的网络参数。
77.在本技术实施例中，在获取到满足正态分布的目标向量之后，可以利用图像生成网络对目标向量进行处理，从而生成用于训练目标模型的目标图像，达到图像生成的目的。容易注意到的是，图像生成网络的网络参数是基于原始图像的原始结果和历史图像的历史结果进行更新的，使得在图像生成网络的优化过程中，避免灾难性遗忘，并且重用历史信息，可以更好的使得图像生成网络学习到类别敏感信息，可以使得图像生成网络所生成的图像的准确率更高，从而达到提高图像生成网络的攻击性能的技术效果，进而解决了相关技术中图像生成方法的准确度较低的技术问题。
78.在本技术实施例中，该方法还包括：获取分布表征原型参数，其中，分布表征原型参数用于表征原始图像对应的预设结果的分布；基于预设结果、原始结果、历史结果和分布表征原型参数，生成目标损失函数；基于目标损失函数对网络参数进行更新。
79.具体地，上述分布表征原型参数可以是一个可学习的原型集合，即drt中存储的参数，该参数可以表征目标模型对应的输出结果的分布，例如，以分类网络为例，drt包含的参数可以表征目标类别的分布。上述预设结果可以是原始图像的真实结果，也即将原始图像输入目标模型中理论上应该得到的识别结果。
80.在一个可选实施例中，目标损失函数可以包括动态记忆损失函数(可以是margin-based softmax loss)和交叉熵损失函数。该目标损失函数可以通过如下公式确定：其中，用于表征第一损失函数，即上述动态记忆损失函数，用于表征第二损失函数，即上述交叉熵损失函数，λ用于表征原型的标准平衡影响因子，并且是一个基于梯度范数角度的动态权重。
81.在一个可选实施例中，可以根据原始结果、预设结果和分布表征原型参数构建动态记忆损失函数，也可以根据原始结果、预设结果和当前网络参数构建交叉熵损失函数，以调整目标向量的分布，使得目标图像与目标模型的训练数据更为接近。
82.上述网络参数可以是图像生成网络中映射模型的网络参数φ。
83.在本技术实施例中，基于预设结果、原始结果、历史结果和分布表征原型参数，生成目标损失函数包括：基于原始结果、历史结果和分布表征原型参数，生成第一损失函数；基于原始结果和预设结果，生成第二损失函数；获取第一损失函数和第二损失函数的加权和，得到目标损失函数。
84.具体地，上述第一损失函数可以是一个动态记忆损失函数，例如，基于margin-based softmax loss实现，第二损失函数可以是交叉熵损失函数。
85.在一个可选实施例中，可以将第一损失函数定义为如下公式：
[0086][0087]
其中，用于表征在原始结果是时的可学习的分布表征原型参数，用于表征在原始结果为是的记忆原型。
[0088]
在本技术实施例中，基于原始结果、历史结果和分布表征原型参数，生成第一损失函数，包括：获取原始结果和历史结果的乘积，得到历史特征表示表示；获取原始结果和分布表征原型参数的乘积，得到当前分布表示；获取历史特征表示和分布表征原型参数之和，得到目标分布表示和；基于历史特征表示表示、当前分布表示和目标分布表示和，生成第一损失函数。
[0089]
具体地，如上述第一损失函数的定义公式所示，原始结果可以是具体地，如上述第一损失函数的定义公式所示，原始结果可以是可以是历史结果的转置矩阵，历史特征表示表示可以是历史结果的转置矩阵，历史特征表示表示可以是可以是分布表征原型参数的转置矩阵，当前分布表示可以是历史特征表示和分布表征原型参数之和，即上述目标分布表示和，可以是
[0090]
在一个可选实施例中，可以将第二损失函数定义为如下公式：
[0091]
其中，用于表征预设结果，用于表征原始结果。
[0092]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术
所必须的。
[0093]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。
[0094]
实施例2
[0095]
根据本技术实施例，还提供了一种模型训练方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0096]
图5是根据本技术实施例2的模型训练方法的流程图。如图5所示，该方法可以包括如下步骤：
[0097]
步骤s502，获取原始向量，其中，原始向量满足正态分布。
[0098]
步骤s504，利用图像生成网络对原始向量进行处理，生成原始图像，其中，图像生成网络用于生成目标模型的训练样本，目标模型为神经网络模型。
[0099]
步骤s506，利用目标模型对原始图像进行处理，得到原始图像的原始结果。
[0100]
步骤s508，基于原始结果和历史图像的历史结果，对图像生成网络的网络参数进行更新，其中，历史结果用于表征利用目标模型对历史图像进行处理得到结果，历史图像用于表征在生成原始图像之前，利用图像生成网络所生成的图像。
[0101]
在本技术实施例中，该方法还包括：获取分布表征原型参数，其中，分布表征原型参数用于表征原始图像对应的预设结果的分布；基于预设结果、原始结果、历史结果和分布表征原型参数，生成目标损失函数；基于目标损失函数对网络参数进行更新。
[0102]
在本技术实施例中，基于预设结果、原始结果、历史结果和分布表征原型参数，生成目标损失函数包括：基于原始结果、历史结果和分布表征原型参数，生成第一损失函数；基于原始结果和预设结果，生成第二损失函数；获取第一损失函数和第二损失函数的加权和，得到目标损失函数。
[0103]
在本技术实施例中，基于原始结果、历史结果和分布表征原型参数，生成第一损失函数，包括：获取原始结果和历史结果的乘积，得到历史特征表示表示；获取原始结果和分布表征原型参数的乘积，得到当前分布表示；获取历史结果和分布表征原型参数之和，得到目标分布表示和；基于历史特征表示表示、当前分布表示和目标分布表示和，生成第一损失函数。
[0104]
在本技术实施例中，在基于原始结果和历史图像的历史结果，对图像生成网络的网络参数进行更新之后，方法还包括：基于第一损失函数对分布表征原型参数进行更新。
[0105]
在本技术实施例中，在基于原始结果和历史图像的历史结果，对图像生成网络的网络参数进行更新之后，方法还包括：基于原始结果对历史结果进行更新。
[0106]
在本技术实施例中，图像生成网络包括：映射模块和生成模块，其中，利用图像生成网络对目标向量进行处理，生成目标图像，包括：利用映射模块对目标向量进行映射，得
到映射向量；利用生成模块对映射向量进行处理，生成目标图像。
[0107]
在本技术实施例中，映射模块的第一参数基于原始结果和历史结果进行更新，且生成模块的第二参数保持不变。
[0108]
实施例3
[0109]
根据本技术实施例，还提供了一种图像生成方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0110]
图6是根据本技术实施例3的图像生成方法的流程图。如图6所示，该方法可以包括如下步骤：
[0111]
步骤s602，在操作界面上显示图像生成控件。
[0112]
步骤s604，响应作用于图像生成控件的图像生成指令，在操作界面上显示目标图像，其中，目标图像通过图像生成网络对目标向量进行处理得到，目标图像用于表征目标模型的训练样本，图像生成网络的网络参数基于原始图像的原始结果和历史图像的历史结果进行更新，原始结果通过目标模型对原始图像进行处理得到，历史结果通过目标模型对历史图像进行处理得到，原始图像和历史图像均由图像生成网络生成，历史图像的生成时间早于原始图像，目标模型为神经网络模型。
[0113]
在本技术实施例中，该方法还包括：获取分布表征原型参数，其中，分布表征原型参数用于表征原始图像对应的预设结果的分布；基于预设结果、原始结果、历史结果和分布表征原型参数，生成目标损失函数；基于目标损失函数对网络参数进行更新。
[0114]
在本技术实施例中，基于预设结果、原始结果、历史结果和分布表征原型参数，生成目标损失函数包括：基于原始结果、历史结果和分布表征原型参数，生成第一损失函数；基于原始结果和预设结果，生成第二损失函数；获取第一损失函数和第二损失函数的加权和，得到目标损失函数。
[0115]
在本技术实施例中，基于原始结果、历史结果和分布表征原型参数，生成第一损失函数，包括：获取原始结果和历史结果的乘积，得到历史特征表示表示；获取原始结果和分布表征原型参数的乘积，得到当前分布表示；获取历史特征表示和分布表征原型参数之和，得到目标分布表示和；基于历史特征表示、当前分布表示和目标分布表示和，生成第一损失函数。
[0116]
在本技术实施例中，在基于原始结果和历史图像的历史结果，对图像生成网络的网络参数进行更新之后，方法还包括：基于第一损失函数对分布表征原型参数进行更新。
[0117]
在本技术实施例中，在基于原始结果和历史图像的历史结果，对图像生成网络的网络参数进行更新之后，方法还包括：基于原始结果对历史结果进行更新。
[0118]
在本技术实施例中，图像生成网络包括：映射模块和生成模块，其中，利用图像生成网络对目标向量进行处理，生成目标图像，包括：利用映射模块对目标向量进行映射，得到映射向量；利用生成模块对映射向量进行处理，生成目标图像。
[0119]
在本技术实施例中，映射模块的第一参数基于原始结果和历史结果进行更新，且生成模块的第二参数保持不变。
[0120]
实施例4
[0121]
根据本技术实施例，还提供了一种可以应用于虚拟现实vr设备、增强现实ar设备等虚拟现实场景下的图像生成方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0122]
图7是根据本技术实施例4的图像生成方法的流程图。如图7所示，该方法可以包括如下步骤：
[0123]
步骤s702，在虚拟现实vr设备或增强现实ar设备的呈现画面上展示操作界面，其中，操作界面上显示有图像生成控件。
[0124]
步骤s704，响应作用于图像生成控件的图像生成指令，获取目标向量，其中，目标向量满足正态分布。
[0125]
步骤s706,利用图像生成网络对目标向量进行处理，生成目标图像，其中，目标图像用于表征目标模型的训练样本，图像生成网络的网络参数基于原始图像的原始结果和历史图像的历史结果进行更新，原始结果通过目标模型对原始图像进行处理得到，历史结果通过目标模型对历史图像进行处理得到，原始图像和历史图像均由图像生成网络生成，历史图像的生成时间早于原始图像，目标模型为神经网络模型。
[0126]
步骤s708，驱动vr设备或ar设备展示目标图像。
[0127]
可选地，在本实施例中，上述图像生成方法可以应用于由服务器、虚拟现实设备所构成的硬件环境中。在虚拟现实vr设备或增强现实ar设备的呈现画面上展示目标图像，服务器可以为媒体文件运营商对应的服务器，上述网络包括但不限于：广域网、城域网或局域网，上述虚拟现实设备并不限定于：虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等。
[0128]
可选地，虚拟现实设备包括：存储器、处理器和传输装置。存储器用于存储应用程序，该应用程序可以用于执行：在虚拟现实vr设备或增强现实ar设备的呈现画面上展示操作界面，其中，操作界面上显示有图像生成控件；响应作用于图像生成控件的图像生成指令，获取目标向量，其中，目标向量满足正态分布；利用图像生成网络对目标向量进行处理，生成目标图像，其中，目标图像用于表征目标模型的训练样本，图像生成网络的网络参数基于原始图像的原始结果和历史图像的历史结果进行更新，原始结果通过目标模型对原始图像进行处理得到，历史结果通过目标模型对历史图像进行处理得到，原始图像和历史图像均由图像生成网络生成，历史图像的生成时间早于原始图像；驱动vr设备或ar设备展示目标图像。需要说明的是，该实施例的上述应用在vr设备或ar设备中的图像生成方法可以包括图7所示实施例的方法，以实现驱动vr设备或ar设备展示目标图像的目的。
[0129]
可选地，该实施例的处理器可以通过传输装置调用上述存储器存储的应用程序以执行上述步骤。传输装置可以通过网络接收服务器发送的媒体文件，也可以用于上述处理器与存储器之间的数据传输。
[0130]
可选地，在虚拟现实设备中，带有眼球追踪的头戴式显示器，该hmd头显中的屏幕，用于显示展示的视频画面，hmd中的眼球追踪模块，用于获取用户眼球的实时运动路径，跟踪系统，用于追踪用户在真实三维空间的位置信息与运动信息，计算处理单元，用于从跟踪系统中获取用户的实时位置与运动信息，并计算出用户头部在虚拟三维空间中的三维坐标，以及用户在虚拟三维空间中的视野朝向等。
[0131]
在本技术实施例中，虚拟现实设备可以与终端相连接，终端与服务器通过网络进
行连接，上述虚拟现实设备并不限定于：虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等，上述终端并不限定于pc、手机、平板电脑等，服务器可以为媒体文件运营商对应的服务器，上述网络包括但不限于：广域网、城域网或局域网。
[0132]
实施例5
[0133]
根据本技术实施例，还提供了一种模型训练方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0134]
图8是根据本技术实施例5的模型训练方法的流程图。如图8所示，该方法可以包括如下步骤：
[0135]
步骤s802，通过调用第一接口获取目标向量，其中，目标向量满足正态分布。
[0136]
步骤s804，利用图像生成网络对目标向量进行处理，生成目标图像，其中，目标图像用于表征目标模型的训练样本，图像生成网络的网络参数基于原始图像的原始结果和历史图像的历史结果进行更新，原始结果通过目标模型对原始图像进行处理得到，历史结果通过目标模型对历史图像进行处理得到，原始图像和历史图像均由图像生成网络生成，历史图像的生成时间早于原始图像，目标模型为神经网络模型。
[0137]
步骤s806，通过调用第二接口输出目标图像，其中，第二接口包括第二参数，第二参数的参数值为目标图像。
[0138]
在本技术实施例中，该方法还包括：获取分布表征原型参数，其中，分布表征原型参数用于表征原始图像对应的预设结果的分布；基于预设结果、原始结果、历史结果和分布表征原型参数，生成目标损失函数；基于目标损失函数对网络参数进行更新。
[0139]
在本技术实施例中，基于预设结果、原始结果、历史结果和分布表征原型参数，生成目标损失函数包括：基于原始结果、历史结果和分布表征原型参数，生成第一损失函数；基于原始结果和预设结果，生成第二损失函数；获取第一损失函数和第二损失函数的加权和，得到目标损失函数。
[0140]
在本技术实施例中，基于原始结果、历史结果和分布表征原型参数，生成第一损失函数，包括：获取原始结果和历史结果的乘积，得到历史特征表示；获取原始结果和分布表征原型参数的乘积，得到当前分布表示；获取历史特征表示和分布表征原型参数之和，得到目标分布表示和；基于历史特征表示、当前分布表示和目标分布表示和，生成第一损失函数。
[0141]
在本技术实施例中，在基于原始结果和历史图像的历史结果，对图像生成网络的网络参数进行更新之后，方法还包括：基于第一损失函数对分布表征原型参数进行更新。
[0142]
在本技术实施例中，在基于原始结果和历史图像的历史结果，对图像生成网络的网络参数进行更新之后，方法还包括：基于原始结果对历史结果进行更新。
[0143]
在本技术实施例中，图像生成网络包括：映射模块和生成模块，其中，利用图像生成网络对目标向量进行处理，生成目标图像，包括：利用映射模块对目标向量进行映射，得到映射向量；利用生成模块对映射向量进行处理，生成目标图像。
[0144]
在本技术实施例中，映射模块的第一参数基于原始结果和历史结果进行更新，且生成模块的第二参数保持不变。
[0145]
实施例6
[0146]
根据本技术实施例，还提供了一种用于实施上述实施例1中图像生成方法的图像生成装置900，如图9所示，该装置包括：
[0147]
获取模块902，用于获取目标向量，其中，目标向量满足正态分布。
[0148]
处理模块904，用于利用图像生成网络对目标向量进行处理，生成目标图像，其中，目标图像用于表征目标模型的训练样本，图像生成网络的网络参数基于原始图像的原始结果和历史图像的历史结果进行更新，原始结果通过目标模型对原始图像进行处理得到，历史结果通过目标模型对历史图像进行处理得到，原始图像和历史图像均由图像生成网络生成，历史图像的生成时间早于原始图像，目标模型为神经网络模型。
[0149]
在本技术实施例中，该装置还包括：参数获取单元，用于获取分布表征原型参数，其中，分布表征原型参数用于表征原始图像对应的预设结果的分布；损失函数构建单元，用于基于预设结果、原始结果、历史结果和分布表征原型参数，生成目标损失函数；网络参数更新单元，用于基于目标损失函数对网络参数进行更新。
[0150]
在本技术实施例中，损失函数构建单元还用于基于原始结果、历史结果和分布表征原型参数，生成第一损失函数；基于原始结果和预设结果，生成第二损失函数；获取第一损失函数和第二损失函数的加权和，得到目标损失函数。
[0151]
在本技术实施例中损失函数构建单元还用于获取原始结果和历史结果的乘积，得到历史特征表示；获取原始结果和分布表征原型参数的乘积，得到当前分布表示；获取历史特征表示和分布表征原型参数之和，得到目标分布表示和；基于历史特征表示、当前分布表示和目标分布表示和，生成第一损失函数。
[0152]
在本技术实施例中，处理模块还包括：参数更新单元，用于基于第一损失函数对分布表征原型参数进行更新。
[0153]
在本技术实施例中，处理模块还包括：历史结果更新单元，用于基于原始结果对历史结果进行更新。在本技术实施例中，图像生成网络包括：映射模块和生成模块，其中，利用图像生成网络对目标向量进行处理，生成目标图像，包括：利用映射模块对目标向量进行映射，得到映射向量；利用生成模块对映射向量进行处理，生成目标图像。
[0154]
在本技术实施例中，映射模块的第一参数基于原始结果和历史结果进行更新，且生成模块的第二参数保持不变。
[0155]
此处需要说明的是，上述获取模块902和处理模块904对应于实施例1中的步骤s302至步骤s304，两个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的ar/vr设备中。
[0156]
实施例7
[0157]
根据本技术实施例，还提供了一种用于实施上述实施例2中模型训练方法的模型训练装置1000，如图10所示，该装置包括：
[0158]
获取模块1002，获取原始向量，其中，原始向量满足正态分布。
[0159]
原始图像生成模块1004，用于利用图像生成网络对原始向量进行处理，生成原始图像，其中，图像生成网络用于生成目标模型的训练样本，目标模型为神经网络模型。
[0160]
原始结果处理模块1006，用于利用目标模型对原始图像进行处理，得到原始图像
的原始结果。
[0161]
网络参数更新模块1008，用于基于原始结果和历史图像的历史结果，对图像生成网络的网络参数进行更新，其中，历史结果用于表征利用目标模型对历史图像进行处理得到结果，历史图像用于表征在生成原始图像之前，利用图像生成网络所生成的图像。
[0162]
在本技术实施例中，该装置还包括：参数获取单元，用于获取分布表征原型参数，其中，分布表征原型参数用于表征原始图像对应的预设结果的分布；损失函数构建单元，用于基于预设结果、原始结果、历史结果和分布表征原型参数，生成目标损失函数；网络参数更新单元，用于基于目标损失函数对网络参数进行更新。
[0163]
在本技术实施例中，损失函数构建单元还用于基于原始结果、历史结果和分布表征原型参数，生成第一损失函数；基于原始结果和预设结果，生成第二损失函数；获取第一损失函数和第二损失函数的加权和，得到目标损失函数。
[0164]
在本技术实施例中损失函数构建单元还用于获取原始结果和历史结果的乘积，得到历史特征表示；获取原始结果和分布表征原型参数的乘积，得到当前分布表示；获取历史特征表示和分布表征原型参数之和，得到目标分布表示和；基于历史特征表示、当前分布表示和目标分布表示和，生成第一损失函数。
[0165]
在本技术实施例中，处理模块还包括：参数更新单元，用于基于第一损失函数对分布表征原型参数进行更新。
[0166]
在本技术实施例中，处理模块还包括：历史结果更新单元，用于基于原始结果对历史结果进行更新。在本技术实施例中，图像生成网络包括：映射模块和生成模块，其中，利用图像生成网络对目标向量进行处理，生成目标图像，包括：利用映射模块对目标向量进行映射，得到映射向量；利用生成模块对映射向量进行处理，生成目标图像。
[0167]
在本技术实施例中，映射模块的第一参数基于原始结果和历史结果进行更新，且生成模块的第二参数保持不变。
[0168]
此处需要说明的是，上述获取模块1002、原始图像生成模块1004、原始图像处理模块1006、网络参数更新模块1008对应于实施例2中的步骤s502至步骤s508，两个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例2所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例2提供的ar/vr设备中。
[0169]
实施例8
[0170]
根据本技术实施例，还提供了一种用于实施上述实施例3中图像生成方法的图像生成装置1100，如图11所示，该装置包括：
[0171]
显示模块1102，用于在操作界面上显示图像生成控件。
[0172]
响应模块1104，用于响应作用于图像生成控件的图像生成指令，在操作界面上显示目标图像，其中，目标图像通过图像生成网络对目标向量进行处理得到，目标图像用于表征目标模型的训练样本，图像生成网络的网络参数基于原始图像的原始结果和历史图像的历史结果进行更新，原始结果通过目标模型对原始图像进行处理得到，历史结果通过目标模型对历史图像进行处理得到，原始图像和历史图像均由图像生成网络生成，历史图像的生成时间早于原始图像，目标模型为神经网络模型。
[0173]
在本技术实施例中，该装置还包括：参数获取单元，用于获取分布表征原型参数，其中，分布表征原型参数用于表征原始图像对应的预设结果的分布；损失函数构建单元，用
于基于预设结果、原始结果、历史结果和分布表征原型参数，生成目标损失函数；网络参数更新单元，用于基于目标损失函数对网络参数进行更新。
[0174]
在本技术实施例中，损失函数构建单元还用于基于原始结果、历史结果和分布表征原型参数，生成第一损失函数；基于原始结果和预设结果，生成第二损失函数；获取第一损失函数和第二损失函数的加权和，得到目标损失函数。
[0175]
在本技术实施例中损失函数构建单元还用于获取原始结果和历史结果的乘积，得到历史特征表示；获取原始结果和分布表征原型参数的乘积，得到当前分布表示；获取历史特征表示和分布表征原型参数之和，得到目标分布表示和；基于历史特征表示、当前分布表示和目标分布表示和，生成第一损失函数。
[0176]
在本技术实施例中，处理模块还包括：参数更新单元，用于基于第一损失函数对分布表征原型参数进行更新。
[0177]
在本技术实施例中，处理模块还包括：历史结果更新单元，用于基于原始结果对历史结果进行更新。在本技术实施例中，图像生成网络包括：映射模块和生成模块，其中，利用图像生成网络对目标向量进行处理，生成目标图像，包括：利用映射模块对目标向量进行映射，得到映射向量；利用生成模块对映射向量进行处理，生成目标图像。
[0178]
在本技术实施例中，映射模块的第一参数基于原始结果和历史结果进行更新，且生成模块的第二参数保持不变。
[0179]
此处需要说明的是，上述获取模块1102和响应模块1104对应于实施例3中的步骤s602至步骤s604，两个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例3所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例3提供的ar/vr设备中。
[0180]
实施例9
[0181]
根据本技术实施例，还提供了一种用于实施上述实施例4中图像生成方法的图像生成装置1200，如图12所示，该装置包括：
[0182]
操作界面展示模块1202，用于在虚拟现实vr设备或增强现实ar设备的呈现画面上展示操作界面，其中，操作界面上显示有图像生成控件。
[0183]
目标向量获取模块1204，响应作用于图像生成控件的图像生成指令，获取目标向量，其中，目标向量满足正态分布。
[0184]
目标图像生成模块1206，用于利用图像生成网络对目标向量进行处理，生成目标图像，其中，目标图像用于表征目标模型的训练样本，图像生成网络的网络参数基于原始图像的原始结果和历史图像的历史结果进行更新，原始结果通过目标模型对原始图像进行处理得到，历史结果通过目标模型对历史图像进行处理得到，原始图像和历史图像均由图像生成网络生成，历史图像的生成时间早于原始图像，目标模型为神经网络模型。
[0185]
目标图像展示模块1208，用于驱动vr设备或ar设备展示目标图像。
[0186]
在本技术实施例中，该装置还包括：参数获取单元，用于获取分布表征原型参数，其中，分布表征原型参数用于表征原始图像对应的预设结果的分布；损失函数构建单元，用于基于预设结果、原始结果、历史结果和分布表征原型参数，生成目标损失函数；网络参数更新单元，用于基于目标损失函数对网络参数进行更新。
[0187]
在本技术实施例中，损失函数构建单元还用于基于原始结果、历史结果和分布表
征原型参数，生成第一损失函数；基于原始结果和预设结果，生成第二损失函数；获取第一损失函数和第二损失函数的加权和，得到目标损失函数。
[0188]
在本技术实施例中损失函数构建单元还用于获取原始结果和历史结果的乘积，得到历史特征表示；获取原始结果和分布表征原型参数的乘积，得到当前分布表示；获取历史特征表示和分布表征原型参数之和，得到目标分布表示和；基于历史特征表示、当前分布表示和目标分布表示和，生成第一损失函数。
[0189]
在本技术实施例中，处理模块还包括：参数更新单元，用于基于第一损失函数对分布表征原型参数进行更新。
[0190]
在本技术实施例中，处理模块还包括：历史结果更新单元，用于基于原始结果对历史结果进行更新。在本技术实施例中，图像生成网络包括：映射模块和生成模块，其中，利用图像生成网络对目标向量进行处理，生成目标图像，包括：利用映射模块对目标向量进行映射，得到映射向量；利用生成模块对映射向量进行处理，生成目标图像。
[0191]
在本技术实施例中，映射模块的第一参数基于原始结果和历史结果进行更新，且生成模块的第二参数保持不变。
[0192]
此处需要说明的是，上述操作界面展示模块1202、目标向量获取模块1204、目标图像生成模块1206、目标图像展示模块1208对应于实施例4中的步骤s702至步骤s708，两个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例4所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例4提供的ar/vr设备中。
[0193]
实施例10
[0194]
根据本技术实施例，还提供了一种用于实施上述实施例5中图像生成方法的图像生成装置1300，如图13所示，该装置包括：
[0195]
获取模块1302，用于通过调用第一接口获取目标向量，其中，目标向量满足正态分布。
[0196]
处理模块1304，用于利用图像生成网络对目标向量进行处理，生成目标图像，其中，目标图像用于表征目标模型的训练样本，图像生成网络的网络参数基于原始图像的原始结果和历史图像的历史结果进行更新，原始结果通过目标模型对原始图像进行处理得到，历史结果通过目标模型对历史图像进行处理得到，原始图像和历史图像均由图像生成网络生成，历史图像的生成时间早于原始图像，目标模型为神经网络模型。
[0197]
输出模块1306，用于通过调用第二接口输出目标图像，其中，第二接口包括第二参数，第二参数的参数值为目标图像。
[0198]
在本技术实施例中，该装置还包括：参数获取单元，用于获取分布表征原型参数，其中，分布表征原型参数用于表征原始图像对应的预设结果的分布；损失函数构建单元，用于基于预设结果、原始结果、历史结果和分布表征原型参数，生成目标损失函数；网络参数更新单元，用于基于目标损失函数对网络参数进行更新。
[0199]
在本技术实施例中，损失函数构建单元还用于基于原始结果、历史结果和分布表征原型参数，生成第一损失函数；基于原始结果和预设结果，生成第二损失函数；获取第一损失函数和第二损失函数的加权和，得到目标损失函数。
[0200]
在本技术实施例中损失函数构建单元还用于获取原始结果和历史结果的乘积，得到历史特征表示；获取原始结果和分布表征原型参数的乘积，得到当前分布表示；获取历史
特征表示和分布表征原型参数之和，得到目标分布表示和；基于历史特征表示、当前分布表示和目标分布表示和，生成第一损失函数。
[0201]
在本技术实施例中，处理模块还包括：参数更新单元，用于基于第一损失函数对分布表征原型参数进行更新。
[0202]
在本技术实施例中，处理模块还包括：历史结果更新单元，用于基于原始结果对历史结果进行更新。在本技术实施例中，图像生成网络包括：映射模块和生成模块，其中，利用图像生成网络对目标向量进行处理，生成目标图像，包括：利用映射模块对目标向量进行映射，得到映射向量；利用生成模块对映射向量进行处理，生成目标图像。
[0203]
此处需要说明的是，上述获取模块1302、处理模块1304、输出模块1306对应于实施例5中的步骤s802至步骤s806，两个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例5所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例5提供的ar/vr设备中。
[0204]
实施例11
[0205]
本技术的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端集群中的任意一个计算机终端。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。
[0206]
可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
[0207]
在本实施例中，上述计算机终端可以执行模型训练方法中以下步骤的程序代码：
[0208]
可选地，图14是根据本技术实施例的一种计算机终端的结构框图。如图14所示，该计算机终端a可以包括：一个或多个(图中仅示出一个)处理器1402、以及存储器1404。
[0209]
其中，存储器可用于存储软件程序以及模块，如本技术实施例中的模型训练方法和装置，及数据处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的模型训练方法和数据处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端a。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0210]
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取目标向量，其中，目标向量满足正态分布；利用图像生成网络对目标向量进行处理，生成目标图像，其中，目标图像用于表征目标模型的训练样本，图像生成网络的网络参数基于原始图像的原始结果和历史图像的历史结果进行更新，原始结果通过目标模型对原始图像进行处理得到，历史结果通过目标模型对历史图像进行处理得到，原始图像和历史图像均由图像生成网络生成，历史图像的生成时间早于原始图像，目标模型为神经网络模型。
[0211]
可选地，处理器还可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取分布表征原型参数，其中，分布表征原型参数用于表征原始图像对应的预设结果的分布；基于预设结果、原始结果、历史结果和分布表征原型参数，生成目标损失函数；基于目标损失函数对网络参数进行更新。
[0212]
可选地，处理器还可以通过传输装置调用存储器存储的信息及应用程序，以执行
下述步骤：基于预设结果、原始结果、历史结果和分布表征原型参数，生成目标损失函数包括：基于原始结果、历史结果和分布表征原型参数，生成第一损失函数；基于原始结果和预设结果，生成第二损失函数；获取第一损失函数和第二损失函数的加权和，得到目标损失函数。
[0213]
可选地，处理器还可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：基于原始结果、历史结果和分布表征原型参数，生成第一损失函数，包括：获取原始结果和历史结果的乘积，得到历史特征表示；获取原始结果和分布表征原型参数的乘积，得到当前分布表示；获取历史特征表示和分布表征原型参数之和，得到目标分布表示和；基于历史特征表示、当前分布表示和目标分布表示和，生成第一损失函数。
[0214]
可选地，处理器还可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：在基于原始结果和历史图像的历史结果，对图像生成网络的网络参数进行更新之后，方法还包括：基于第一损失函数对分布表征原型参数进行更新。
[0215]
可选地，处理器还可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：在基于原始结果和历史图像的历史结果，对图像生成网络的网络参数进行更新之后，方法还包括：基于原始结果对历史结果进行更新。
[0216]
可选地，处理器还可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：图像生成网络包括：映射模块和生成模块，其中，利用图像生成网络对目标向量进行处理，生成目标图像，包括：利用映射模块对目标向量进行映射，得到映射向量；利用生成模块对映射向量进行处理，生成目标图像。
[0217]
可选地，处理器还可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：映射模块的第一参数基于原始结果和历史结果进行更新，且生成模块的第二参数保持不变。
[0218]
上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0219]
在本技术的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0220]
在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0221]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0222]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0223]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用
时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0224]
以上所述仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。
技术特征：1.一种图像生成方法，其特征在于，包括：获取目标向量，其中，所述目标向量满足正态分布；利用图像生成网络对所述目标向量进行处理，生成目标图像，其中，所述目标图像用于表征目标模型的训练样本，所述图像生成网络的网络参数基于原始图像的原始结果和历史图像的历史结果进行更新，所述原始结果通过所述目标模型对所述原始图像进行处理得到，所述历史结果通过所述目标模型对所述历史图像进行处理得到，所述原始图像和所述历史图像均由所述图像生成网络生成，所述历史图像的生成时间早于所述原始图像，所述目标模型为神经网络模型。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取分布表征原型参数，其中，所述分布表征原型参数用于表征所述原始图像对应的预设结果的分布；基于所述预设结果、所述原始结果、所述历史结果和所述分布表征原型参数，生成目标损失函数；基于所述目标损失函数对所述网络参数进行更新。3.根据权利要求2所述的方法，其特征在于，基于所述预设结果、所述原始结果、所述历史结果和所述分布表征原型参数，生成目标损失函数包括：基于所述原始结果、所述历史结果和所述分布表征原型参数，生成第一损失函数；基于所述原始结果和所述预设结果，生成第二损失函数；获取所述第一损失函数和所述第二损失函数的加权和，得到所述目标损失函数。4.根据权利要求3所述的方法，其特征在于，基于所述原始结果、所述历史结果和所述分布表征原型参数，生成第一损失函数，包括：获取所述原始结果和所述历史结果的乘积，得到历史特征表示；获取所述原始结果和所述分布表征原型参数的乘积，得到当前分布表示；获取所述历史特征表示和所述分布表征原型参数之和，得到目标分布表示和；基于所述历史特征表示、所述当前分布表示和所述目标分布表示和，生成所述第一损失函数。5.根据权利要求3所述的方法，其特征在于，在基于所述原始结果和历史图像的历史结果，对所述图像生成网络的网络参数进行更新之后，所述方法还包括：基于所述第一损失函数对所述分布表征原型参数进行更新。6.根据权利要求5所述的方法，其特征在于，在基于所述原始结果和历史图像的历史结果，对所述图像生成网络的网络参数进行更新之后，所述方法还包括：基于所述原始结果对所述历史结果进行更新。7.根据权利要求1所述的方法，其特征在于，所述图像生成网络包括：映射模块和生成模块，其中，利用图像生成网络对所述目标向量进行处理，生成目标图像，包括：利用所述映射模块对所述目标向量进行映射，得到映射向量；利用所述生成模块对所述映射向量进行处理，生成所述目标图像。8.根据权利要求7所述的方法，其特征在于，所述映射模块的第一参数基于所述原始结果和所述历史结果进行更新，且所述生成模块的第二参数保持不变。9.一种模型训练方法，其特征在于，包括：
获取原始向量，其中，所述原始向量满足正态分布；利用图像生成网络对所述原始向量进行处理，生成原始图像，其中，所述图像生成网络用于生成目标模型的训练样本；利用目标模型对所述原始图像进行处理，得到所述原始图像的原始结果，所述目标模型为神经网络模型；基于所述原始结果和历史图像的历史结果，对所述图像生成网络的网络参数进行更新，其中，所述历史结果用于表征利用所述目标模型对所述历史图像进行处理得到结果，所述历史图像用于表征在生成所述原始图像之前，利用所述图像生成网络所生成的图像。10.一种图像生成方法，其特征在于，包括：在操作界面上显示图像生成控件；响应作用于所述图像生成控件的图像生成指令，在所述操作界面上显示目标图像，其中，所述目标图像通过图像生成网络对所述目标向量进行处理得到，所述目标图像用于表征目标模型的训练样本，所述图像生成网络的网络参数基于原始图像的原始结果和历史图像的历史结果进行更新，所述原始结果通过所述目标模型对所述原始图像进行处理得到，所述历史结果通过所述目标模型对所述历史图像进行处理得到，所述原始图像和所述历史图像均由所述图像生成网络生成，所述历史图像的生成时间早于所述原始图像，所述目标模型为神经网络模型。11.一种图像生成方法，其特征在于，包括：在虚拟现实vr设备或增强现实ar设备的呈现画面上展示操作界面，其中，所述操作界面上显示有图像生成控件；响应作用于所述图像生成控件的图像生成指令，获取目标向量，其中，所述目标向量满足正态分布；利用图像生成网络对所述目标向量进行处理，生成目标图像，其中，所述目标图像用于表征目标模型的训练样本，所述图像生成网络的网络参数基于原始图像的原始结果和历史图像的历史结果进行更新，所述原始结果通过所述目标模型对所述原始图像进行处理得到，所述历史结果通过所述目标模型对所述历史图像进行处理得到，所述原始图像和所述历史图像均由所述图像生成网络生成，所述历史图像的生成时间早于所述原始图像，所述目标模型为神经网络模型；驱动所述vr设备或所述ar设备展示所述目标图像。12.一种图像生成方法，其特征在于，包括：通过调用第一接口获取目标向量，其中，所述目标向量满足正态分布；利用图像生成网络对所述目标向量进行处理，生成目标图像，其中，所述目标图像用于表征目标模型的训练样本，所述图像生成网络的网络参数基于原始图像的原始结果和历史图像的历史结果进行更新，所述原始结果通过所述目标模型对所述原始图像进行处理得到，所述历史结果通过所述目标模型对所述历史图像进行处理得到，所述原始图像和所述历史图像均由所述图像生成网络生成，所述历史图像的生成时间早于所述原始图像，所述目标模型为神经网络模型；通过调用第二接口输出所述目标图像，其中，所述第二接口包括第二参数，所述第二参数的参数值为所述目标图像。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至12中任意一项所述的方法。14.一种电子设备，其特征在于，包括：处理器；存储器，与所述处理器相连接，用于为所述处理器提供处理一下处理步骤的指令：获取目标向量，其中，所述目标向量满足正态分布；利用图像生成网络对所述目标向量进行处理，生成目标图像，其中，所述目标图像用于表征目标模型的训练样本，所述图像生成网络的网络参数基于原始图像的原始结果和历史图像的历史结果进行更新，所述原始结果通过所述目标模型对所述原始图像进行处理得到，所述历史结果通过所述目标模型对所述历史图像进行处理得到，所述原始图像和所述历史图像均由所述图像生成网络生成，所述历史图像的生成时间早于所述原始图像，所述目标模型为神经网络模型。
技术总结本申请公开了一种图像生成方法和模型训练方法。其中，该方法包括：获取目标向量，其中，目标向量满足正态分布；利用图像生成网络对目标向量进行处理，生成目标图像，其中，目标图像用于表征目标模型的训练样本，图像生成网络的网络参数基于原始图像的原始结果和历史图像的历史结果进行更新，原始结果通过目标模型对原始图像进行处理得到，历史结果通过目标模型对历史图像进行处理得到，原始图像和历史图像均由图像生成网络生成，历史图像的生成时间早于原始图像，目标模型为神经网络模型。本申请解决了相关技术中图像生成方法的准确度较低的技术问题。的技术问题。的技术问题。
技术研发人员：齐格格 陈岳峰 毛潇锋 李小丹 惠彬原 张荣 薛晖
受保护的技术使用者：阿里巴巴（中国）有限公司
技术研发日：2022.07.14
技术公布日：2022/11/1
