一种时变体数据的超分辨率生成器的训练方法

1.本发明属于超分辨率重建技术领域，具体涉及一种时变体数据的超分辨率生成器的训练方法。


背景技术：

2.时变体数据往往会在科学模拟中产生以应用于各种研究，如天气预报、计算流体力学、燃烧科学、计算宇宙学、气候模式研究等。这些时变体数据通常含有复杂且大规模的特征，需要应用到原位可视化的技术。
3.原位可视化意为在模拟期间先减少特征数据以降低读写与存储的压力，而在分析与可视化的后处理阶段再将数据进行上采样。上采样技术，即超分辨率，在原位可视化中扮演着举足轻重的作用。
4.尽管已有繁多的上采样技术被提出，但这些研究却很少聚焦于时变体数据。换句话说，给定一组低分辨率的时变体数据序列，我们要将其映射成高分辨率的时变体数据序列，这带来了两个挑战，相比于过去的技术而言，时变体数据的时间相干性必须被纳入考虑范围，再者，相比于传统的方法，我们的方法要实现更好的视觉效果。


技术实现要素：

5.针对现有技术中存在的上述问题，本发明提出一种时变体数据的超分辨率生成器的训练方法，通过设置一鉴别器，并通过鉴别器与生成器的互相对抗来训练超分辨率生成器，以得到时变体数据超分辨率生成效果好的生成器，为天气预报、计算流体力学、燃烧科学、计算宇宙学、气候模式研究奠定基础。
6.本发明采用以下技术方案：
7.一种时变体数据的超分辨率生成器的训练方法，包括步骤：
8.s1、在训练集中选取多个时间步连续的时变体数据，以得到原始体数据；
9.s2、对原始体数据进行裁剪，以得到真实高分辨率体数据；
10.s3、对真实高分辨率体数据进行三线性下采样，以得到真实低分辨率体数据；
11.s4、将真实低分辨率体数据在通道维度进行拼接，以得到第一拼接体数据并输入生成器，以生成伪造高分辨率体数据；
12.s5、将真实高分辨率体数据、伪造高分辨率体数据分别与尺寸调整后的真实低分辨率体数据在通道维度上进行拼接，以分别得到第二拼接体数据、第三拼接体数据，并输入鉴别器，以分别得到第一预测矩阵、第二预测矩阵；
13.s6、基于真实高分辨率体数据、伪造高分辨率体数据、第二预测矩阵以及第二拼接体数据在鉴别器中的中间特征、第三拼接体数据在鉴别器中的中间特征计算生成器训练损失函数值，基于第一预测矩阵、第二预测矩阵计算鉴别器训练损失函数值；
14.s7、基于生成器训练损失函数值对生成器进行训练，以得到训练后生成器，基于鉴别器训练损失函数值对鉴别器进行训练，以得到训练后鉴别器；
15.s8、重复步骤s1-s7，直至预设迭代次数。
16.作为优选方案，步骤s1具体为：在训练集中选取3个时间步连续的时变体数据，以得到原始体数据。
17.作为优选方案，步骤s2具体为：对原始体数据中的每个数据在相同位置处进行裁剪，以得到真实高分辨率体数据。
18.作为优选方案，步骤s4中所述生成器包括第一编码器、解码器，第一编码器包括依次相连的第一编码块、第二编码块，解码器包括依次相连的第一解码块、第二解码块、第三解码块、第四解码块，第二编码块与第一解码块连接；
19.编码器与解码器之间形成有多个跳跃链接，以使在第一编码器中流失的早期特征流入解码块中。
20.作为优选方案，步骤s5中所述鉴别器包括第二编码器，第二编码器包括依次连接的第三编码块、第四编码块、第五编码块。
21.作为优选方案，步骤s6中所述生成器训练损失函数值的计算公式为：
22.l(θg)＝λ
adv
×
l
adv
+λ
voxdis
×
l
voxdis
+λ
featdis
×
l
featdis
，
23.其中，l
adv
表示对抗性损失，l
adv
基于第二预测矩阵计算得到；l
voxdis
表示体素距离损失，l
voxdis
基于真实高分辨率体数据、伪造高分辨率体数据计算得到；l
featdis
表示特征损失，l
featdis
基于第二拼接体数据、第三拼接体数据在鉴别器中的中间特征计算得到；λ
adv
、λ
voxdis
、λ
featdis
分别为l
adv
、l
voxdis
、l
voxdis
的权重。
24.作为优选方案，对抗性损失l
adv
的计算公式为：
[0025][0026]
其中，bce表示二分类交叉熵损失，d表示鉴别器，g表示生成器，表示真实低分辨率体数据，表示通道拼接，r表示修正尺寸操作，表示第二预测矩阵，1表示值均为1的矩阵。
[0027]
作为优选方案，体素距离损失l
voxdis
的计算公式为：
[0028][0029]
其中，||
·
||
l1
表示l1损失，表示真实高分辨率体数据，表示伪造高分辨率体数据。
[0030]
作为优选方案，特征损失l
featdis
的计算公式为：
[0031][0032]
其中，mse代表平均方差损失，分别表示第二拼接数据、第三拼接数据在鉴别器中第l层的中间特征。
[0033]
作为优选方案，步骤s6中所述鉴别器训练损失函数值的计算公式为；
[0034]
[0035]
其中，bce表示二分类交叉熵损失，d表示鉴别器，g表示生成器，表示真实低分辨率体数据，表示通道拼接，r表示修正尺寸操作，表示第二预测矩阵，0表示值均为0的矩阵，表示真实高分辨率体数据，表示第一预测矩阵。
[0036]
本发明的有益效果是：
[0037]
通过设置一鉴别器，并通过鉴别器与生成器的互相对抗来训练超分辨率生成器，以得到时变体数据超分辨率生成效果好的生成器，为天气预报、计算流体力学、燃烧科学、计算宇宙学、气候模式研究奠定基础。
附图说明
[0038]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0039]
图1是本发明所述一种时变体数据的超分辨率生成器的训练方法的流程图；
[0040]
图2是本发明所述生成器的结构示意图；
[0041]
图3是本发明所述解码器的结构示意图；
[0042]
图4是利用本发明所述训练方法训练后的生成器对squarecylinder数据集进行超分辨重构后与原始数据的对比图；
[0043]
图5是利用本发明所述训练方法训练后的生成器对ionization(h)数据集进行超分辨重构后与原始数据的对比图。
具体实施方式
[0044]
以下通过特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0045]
令为时变体数据集中的低分辨率体数据序列，其中，分别是时间步为1，2，...，n的低分辨率体数据；令为时变体数据集中的高分辨率体数据序列，其中，分别是时间步为1，2，...，n的高分辨率体数据。本发明旨在通过一个生成对抗网络模型来得到从v
l
到vh的映射关系，即vh＝m(v
l
)，并同时考虑空间相干性与时间相干性。
[0046]
参照图1所示，本实施例提供一种时变体数据的超分辨率生成器的训练方法，包括步骤：
[0047]
s1、在训练集中选取多个时间步连续的时变体数据，以得到原始体数据
[0048]
s2、随机选择一个位置，对原始体数据vo在这个位置进行同样的裁剪，以得到真实高分辨率体数据
[0049]
s3、对真实高分辨率体数据进行三线性下采样，以得到真实低分辨率体数据
[0050]
s4、将真实低分辨率体数据在通道维度进行拼接，以得到第一拼接体数据并输入生成器g，以生成伪造高分辨率体数据入生成器g，以生成伪造高分辨率体数据仍然是一个整体，内部的数据在通道这个维度上拼接在一起；
[0051]
s5、将真实高分辨率体数据伪造高分辨率体数据分别与尺寸调整后的真实低分辨率体数据在通道维度上进行拼接，以分别得到第二拼接体数据、第三拼接体数据，并输入鉴别器d，以分别得到第一预测矩阵、第二预测矩阵；
[0052]
s6、基于真实高分辨率体数据伪造高分辨率体数据第二预测矩阵以及第二拼接体数据在鉴别器中的中间特征、第三拼接体数据在鉴别器中的中间特征计算生成器训练损失函数值，基于第一预测矩阵、第二预测矩阵计算鉴别器训练损失函数值；第二预测矩阵传递给生成器，引导生成器生成出尽可能接近的这就构成了一个生成器与鉴别器之间的竞争循环。
[0053]
s7、基于生成器训练损失函数值对生成器进行训练，以得到训练后生成器，基于鉴别器训练损失函数值对鉴别器进行训练，以得到训练后鉴别器；
[0054]
s8、重复步骤s1-s7，直至预设迭代次数；
[0055]
s9、在测试集中选取多个时间步连续的时变体数据，在经过三线性下采样与通道拼接操作后输入训练后生成器，以生成相应的伪造高分辨率体数据，并在解除拼接后进行可视化操作，通过可视化动画判断生成器训练效果，若达到预期则停止训练，若未达到预期则返回步骤s1继续进行训练。
[0056]
需要说明的是，时变体数据表示一系列在时间上连续的三维数据，具体可以是飓风模拟时变体数据、盐在水中的溶解行为模拟时变体数据，氢离子电离不稳定性模拟时变体数据、不可压缩流场模拟时变体数据等等。
[0057]
参照图1所示，我们训练方法中的生成对抗网络包括一个生成器和一个鉴别器。生成器的任务是生成尽可能接近真实高分辨率体数据的伪造高分辨率体数据并欺骗鉴别器。而鉴别器的任务是尽可能辨别与并将反馈传给生成器。不像传统的生成对抗网络，仅仅由简单的卷积神经网络组成，我们模型中的生成器与鉴别器由更为复杂的，受到pix2pix模型启发的神经网络组成。因此，我们把我们的模型叫做pix2pixssr。
[0058]
具体地，以下对本发明中所述生成器、鉴别器的架构以及他们两者训练的损失函
数计算公式进行详细说明：
[0059]
参照图2所示，展示了本发明中所述生成器的架构。k代表核心尺寸，#k代表核心的数量，p代表填充值，s代表步幅，sf代表采样率，bn代表批标准化，do代表丢弃，lrelu代表带泄露修正线性单元，conv代表卷积，up代表上采样，concat代表拼接，maxpool代表最大池化。
[0060]
我们的生成器包含编码器-解码器架构。编码器的任务是编码与提取输入的真实低分辨率体数据的特征，并将这些特征存入小尺寸的包含高层次和重要特征的中间数据。编码器包含了两个编码块，分别命名为编码块1和编码块2。每个编码块包含两个卷积层和一个最大池化层。解码器的任务是对中间数据的特征进行放大，从而得到伪造高分辨率体数据的特征。解码器包含四个解码块，分别命名为解码块1、解码块2、解码块3与解码块4。每个解码块由上采样-卷积-串连结构组成，并附有两个卷积层。
[0061]
除了编码器-解码器架构之外，我们的生成器还有四个跳跃链接，跳跃链接允许特征从编码块流到解码块。跳跃链接的好处有两个，对于前向传播而言，它使得在编码块中流失的早期特征能够流入解码块中，从而实现更好的细节效果。对于后向传播而言，它可以避免梯度消失问题。
[0062]
我们的生成器总共由七个操作步骤组成，分别是卷积层0操作、上采样操作、卷积层1操作、最大池化操作、上采样卷积拼接操作、卷积2操作、带泄露线性修正单元操作。所有的操作步骤都是在三维数据上运行的，例如24x8x6x3(宽度x高度x深度x通道)，因此是三维操作。简洁而言，我们使用例如k＝2，s＝2，p＝2，sf＝2的符号来表示核心的尺寸、步幅的尺寸、填充的尺寸以及采样比例在所有的维度(x，y，z)上都相同。当它们的尺寸在不同维度上不同时，我们使用例如k＝(2，2，1)来表示。
[0063]
卷积0操作是一个核心为(1，1，1)的卷积操作。卷积1操作是带有批标准化、丢弃和带泄露修正线性单元的核心为(3，3，3)的卷积操作。卷积2是带有批标准化和修正线性单元的核心为(3，3，3)的卷积操作。上采样操作将三维数据在三个维度上都增加为原来的2倍或4倍。最大池化操作将三维数据在三个维度上都将为原来的二分之一。上采样卷积拼接操作实现了跳跃链接，是上采样、卷积与串连操作的混合序列。以图2中的底层数据6x2x3x512为例，它首先使用上采样率(2，2，1)来倍增宽度与高度，生成更大的12x4x3x512数据。其次，这个数据再经由核心等于(3，3，3)，填充值等于1，核心数等于256的3d卷积操作，使得它的大小不变而通道减半，变为12x4x3x256。再者，这个数据与相同尺寸的数据通过跳跃链接进行串连，得到12x4x3x512的数据。与传统的unet模型使用同样尺寸的输入输出不同，我们的生成器有不同尺寸的输出与输入，因为它是从低分辨率体数据映射到高分辨率体数据。这是unet模型所无法做到的。为了恢复unet的形状，添加了两个上采样操作，使得数据可以数倍扩大而不改变通道数。当采样比例是4或5时，可分别输出64或125倍大的数据。
[0064]
一个低分辨率的三维数据输入生成器，首先经过编码块1，经过三个卷积0操作，将通道数从3放大到128，再经由两个卷积1操作，将通道数放大为256，经过一个最大池化操作，数据在三个维度上都缩小一半，进入编码块2。编码块2包括两个卷积1，将通道数放大到512。数据在经过一个最大池化操作，数据在三个维度上再缩小一半。再经过一个上采样卷积拼接操作，数据在三个维度上放大一倍，进入解码块1。解码块1包含两个卷积2操作和一个上采样卷积拼接操作，将通道数从512降到256，在三个维度上放大一倍。进入解码块2，其
中包含两个卷积2操作和一个上采样卷积拼接操作，通道数降到128，数据在三个维度上放大一倍。进入解码块3，其中包含两个卷积2操作和一个上采样卷积拼接操作，通道数降到64，数据在三个维度上放大一倍。此时数据在三个维度上的大小都各自为原输入尺寸的4倍，进入解码块4。解码块4包括两个卷积2操作，将通道数降为32，再经过一个卷积0，将通道数降为3，最后经过一个带泄露修正线性单元操作，得到最终输出。最终输出的通道数与输入数据保持一致，而体积则是原数据的64倍。
[0065]
在生成器中，还包含四个跳跃链接，跳跃链接将前期编码块的数据连接到后期的解码块中，它允许特征从编码块流到解码块。对于前向传播而言，它使得在编码块中流失的早期特征能够流入解码块中，从而实现更好的细节效果。对于后向传播而言，它可以避免梯度消失问题。第一个跳跃链接将编码块1中的第二个数据直接四倍上采样，将其跳跃链接到解码块4中。第二个跳跃连接则将编码块1中的第三个数据进行二倍上采样，将其跳跃链接到解码块3中。第三跳跃链接则将编码块1中的第四个数据跳跃链接到解码块2中。第四个跳跃链接将编码块2中的第一个数据跳跃链接到解码块1中。
[0066]
参照图3所示，展示了本发明中所述鉴别器架构，这是一个典型的patchgan模型并仅有编码器。编码器包含三个编码块，分别命名为编码块1、编码块2与编码块3。编码块与生成器中的一致，除了在卷积1操作中没有丢弃操作。gan的一个通病是鉴别器往往比生成器更具优势，因为鉴别器的任务比生成器的任务要容易得多。为了避免这个问题，我们保持了鉴别器架构的简单性，相较于我们的生成器架构而言。
[0067]
在鉴别器中，一个三维的输入数据首先经过一个卷积0操作，将通道数从6变为32，再经过两个卷积1操作，将通道数变为64，然后进行最大池化操作，数据在三个维度上都缩小一半，此为编码块1。数据进入编码块2，其中经过两个卷积1操作，通道数变为128，经过一个最大池化操作，数据在三个维度上都缩小一半。数据进入编码块3，经过两个卷积1操作，通道数变为256，经过一个最大池化操作，数据在三个维度上都缩小一半。最后进行卷积0操作，通道数变为1，得到最后的输出。鉴别器的输出将作为一个反馈数据输入生成器，来引导生成器的训练。
[0068]
参照图2所示，我们在鉴别器中的编码块1和编码块2都分别使用了脱离操作。脱离是一种正则化技术，每次迭代，每层上的一些神经元被随机关闭，以便暂时消除它们在前向传播中对下游神经元激活的影响，并且使得任何的权重更新都不会应用于后向传播中的神经元。脱离使得我们的生成器对神经元的特定权重不会太敏感，因此能够更好地泛化与避免过拟合。参照图2、图3中所示，另一种优化技术是批标准化，我们在大多数的卷积层中都使用了批标准化。这是一种标准化技术，用于标准化每个迷你批处理的神经网络层的输入。它具有平滑损失函数和减少内部协变量偏移的效果，因此可以稳定和加速神经网络的训练。
[0069]
生成器损失函数：
[0070]
设g和d分别为生成器与鉴别器，θg和θd为g和d的学习参数，生成器训练损失函数值的计算公式为：
[0071]
l(θg)＝λ
adv
×
l
adv
+λ
voxdis
×
l
voxdis
+λ
featdis
×
l
featdis
，
[0072]
其中，l
adv
表示对抗性损失，l
adv
基于第二预测矩阵计算得到；l
voxdix
表示体素距离损失，l
voxdis
基于真实高分辨率体数据、伪造高分辨率体数据计算得到；l
featdis
表示特征损
失，l
featdis
基于第二拼接体数据、第三拼接体数据在鉴别器中的中间特征计算得到；λ
adv
、λ
voxdis
、λ
featdis
分别为l
adv
、λ
voxdis
、λ
voxdis
的权重。
[0073]
上述三个损失具体如下所示：
[0074]
第一个损失是对抗性损失l
adv
，计算公式为：
[0075][0076]
其中，bce表示二分类交叉熵损失，d表示鉴别器，g表示生成器，表示真实低分辨率体数据，表示通道拼接，r表示修正尺寸操作，表示第二预测矩阵，1表示值均为1的矩阵。
[0077]
将生成器伪造的高分辨率体数据与被修正尺寸到与前者具有相同尺寸的真实低分辨率体数据同时放入鉴别器，鉴别器事先不知道哪个是真实数据哪个是伪造数据，鉴别器会进行计算，并给每一个输入都输出一个对应概率值来判断数据是真实数据还是伪造数据。对输出的概率值计算二分类交叉熵损失，就得到了对抗性损失l
adv
，对抗性损失l
adv
将会反馈给生成器。
[0078]
第二个损失被称作体素距离损失l
voxdis
，计算公式为：
[0079][0080]
其中，||
·
||
l1
表示l1损失，这个损失有两个作用，首先，使得生成器能看见真实值，从而能生成更加接近真实的高分辨率体数据，其次，使用l1损失可以提高训练稳定性，表示真实高分辨率体数据，表示伪造高分辨率体数据，体素距离损失l
voxdis
将真实高分辨率体数据与伪造高分辨率体数据进行比较，计算两者的l1损失，反应的是两者的差异程度，l
voxdis
将会反馈给生成器。
[0081]
第三个损失是特征损失l
featdis
，它描述的是鉴别器中第二拼接数据v
′r与第三拼接数据v’f
之间的特征距离，计算公式为：
[0082][0083]
其中，mse代表平均方差损失，分别表示第二拼接数据、第三拼接数据在鉴别器中第l层的中间特征。
[0084]
我们挑选了鉴别器中的五个中间特征用于特征对比，它们分别取自鉴别器中两个卷积层与三个编码块层的计算结果。除了鉴别器最后的输出矩阵外，鉴别器中的五个中间特征也要分别存储以供计算特征损失时调用，中间特征仅在本轮训练中有效，在次轮训练时将重新计算存储。分别代表v’r
和v’f
的第l个中间特征。mse代表平均方差损失。该损失旨在使得生成器产生更加接近真实值的高分辨率体数据。特征损失l
featdis
将反馈给生成器。
[0085]
鉴别器损失函数：
[0086]
等式5展示了鉴别器的损失函数l(θd)，它包含两个对抗性损失。与生成器中的对抗性损失相似，第一个损失代表的是伪造数据预测，第二个损失代表的是真实数据预测。再对这两个损失求平均，得到鉴别器的总损失。由于鉴别器的输出是一个矩阵，所以这里的0和1分别代表值全为0的矩阵与值全为1的矩阵。鉴别器的损失函数将反馈给鉴别器，帮助鉴别器训练。鉴别器训练损失函数值的计算公式为；
[0087][0088]
其中，bce表示二分类交叉熵损失，d表示鉴别器，g表示生成器，表示真实低分辨率体数据，表示通道拼接，r表示修正尺寸操作，表示第二预测矩阵，0表示值均为0的矩阵，表示真实高分辨率体数据，表示第一预测矩阵。
[0089]
以下对本发明中所述可视化操作进行相应说明：
[0090]
我们使用体绘制中的体射线投射算法，将训练好的生成器推断出的时变高分辨率体数据逐时间步以动画的形式呈现出来，从而可以观察到它们的演变。特别地，为了强调体数据的前景特征的边界，我们使用以下公式来设置它们的传递函数的不透明度：
[0091]
o(vf)＝norminten(vf)
×
β+log(normgrad(vf)+1)
×
γ，
[0092]
其中vf代表每个前景特征的体素，o(vf)代表不透明度；norminten(vf)与normgrad(vf)分别代表标准化强度与梯度；log(
·
)代表对数函数；β与γ代表两个由用户控制的参数，它们分别控制强度与边界不透明度。为了可视化推断出的体数据，我们使用了体绘制来可视化推断体数据与真实体数据之间的差异，并以动画的形式呈现，以便更好地识别差异，从而判断生成器训练效果，以保证生成器对时变体数据超分辨率生成的效果。
[0093]
基于本发明所述生成器、鉴别器内部结构以及训练方法训练后得到的生成器对时变体数据超分辨率生成的效果可参照图4、图5所示，图4是利用本发明所述训练方法训练后的生成器对squarecylinder数据集进行超分辨重构后与原始数据的对比图，图5是利用本发明所述训练方法训练后的生成器对ionization(h)数据集进行超分辨重构后与原始数据的对比图。
[0094]
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的保护范围内。

技术特征：
1.一种时变体数据的超分辨率生成器的训练方法，其特征在于，包括步骤：s1、在训练集中选取多个时间步连续的时变体数据，以得到原始体数据；s2、对原始体数据进行裁剪，以得到真实高分辨率体数据；s3、对真实高分辨率体数据进行三线性下采样，以得到真实低分辨率体数据；s4、将真实低分辨率体数据在通道维度进行拼接，以得到第一拼接体数据并输入生成器，以生成伪造高分辨率体数据；s5、将真实高分辨率体数据、伪造高分辨率体数据分别与尺寸调整后的真实低分辨率体数据在通道维度上进行拼接，以分别得到第二拼接体数据、第三拼接体数据，并输入鉴别器，以分别得到第一预测矩阵、第二预测矩阵；s6、基于真实高分辨率体数据、伪造高分辨率体数据、第二预测矩阵以及第二拼接体数据在鉴别器中的中间特征、第三拼接体数据在鉴别器中的中间特征计算生成器训练损失函数值，基于第一预测矩阵、第二预测矩阵计算鉴别器训练损失函数值；s7、基于生成器训练损失函数值对生成器进行训练，以得到训练后生成器，基于鉴别器训练损失函数值对鉴别器进行训练，以得到训练后鉴别器；s8、重复步骤s1-s7，直至预设迭代次数。2.根据权利要求1所述的一种时变体数据的超分辨率生成器的训练方法，其特征在于，步骤s1具体为：在训练集中选取3个时间步连续的时变体数据，以得到原始体数据。3.根据权利要求1所述的一种时变体数据的超分辨率生成器的训练方法，其特征在于，步骤s2具体为：对原始体数据中的每个数据在相同位置处进行裁剪，以得到真实高分辨率体数据。4.根据权利要求1所述的一种时变体数据的超分辨率生成器的训练方法，其特征在于，步骤s4中所述生成器包括第一编码器、解码器，第一编码器包括依次相连的第一编码块、第二编码块，解码器包括依次相连的第一解码块、第二解码块、第三解码块、第四解码块，第二编码块与第一解码块连接；编码器与解码器之间形成有多个跳跃链接，以使在第一编码器中流失的早期特征流入解码块中。5.根据权利要求4所述的一种时变体数据的超分辨率生成器的训练方法，其特征在于，步骤s5中所述鉴别器包括第二编码器，第二编码器包括依次连接的第三编码块、第四编码块、第五编码块。6.根据权利要求1所述的一种时变体数据的超分辨率生成器的训练方法，其特征在于，步骤s6中所述生成器训练损失函数值的计算公式为：l(θ
g
)＝λ
adv
×
l
adv
+λ
voxdis
×
l
voxdis
+λ
featdis
×
l
featdis
，其中，l
adv
表示对抗性损失，l
adv
基于第二预测矩阵计算得到；l
voxdis
表示体素距离损失，l
voxdis
基于真实高分辨率体数据、伪造高分辨率体数据计算得到；l
featdis
表示特征损失，l
featdis
基于第二拼接体数据、第三拼接体数据在鉴别器中的中间特征计算得到；λ
adv
、λ
voxdis
、λ
featdis
分别为l
adv
、l
voxdis
、l
voxdis
的权重。7.根据权利要求6所述的一种时变体数据的超分辨率生成器的训练方法，其特征在于，对抗性损失l
adv
的计算公式为：
其中，bce表示二分类交叉熵损失，d表示鉴别器，g表示生成器，表示真实低分辨率体数据，表示通道拼接，r表示修正尺寸操作，表示第二预测矩阵，1表示值均为1的矩阵。8.根据权利要求6所述的一种时变体数据的超分辨率生成器的训练方法，其特征在于，体素距离损失l
voxdis
的计算公式为：其中，||
·
||
l1
表示l1损失，表示真实高分辨率体数据，表示伪造高分辨率体数据。9.根据权利要求6所述的一种时变体数据的超分辨率生成器的训练方法，其特征在于，特征损失l
festdis
的计算公式为：其中，mse代表平均方差损失，分别表示第二拼接数据、第三拼接数据在鉴别器中第l层的中间特征。10.根据权利要求1所述的一种时变体数据的超分辨率生成器的训练方法，其特征在于，步骤s6中所述鉴别器训练损失函数值的计算公式为；其中，bce表示二分类交叉熵损失，d表示鉴别器，g表示生成器，表示真实低分辨率体数据，表示通道拼接，r表示修正尺寸操作，表示第二预测矩阵，o表示值均为o的矩阵，表示真实高分辨率体数据，表示第一预测矩阵。

技术总结
本发明涉及一种时变体数据的超分辨率生成器的训练方法，包括步骤：S1、得到原始体数据；S2、进行裁剪以得到真实高分辨率体数据；S3、进行三线性下采样以得到真实低分辨率体数据；S4、在通道维度进行拼接以得到第一拼接体数据并输入生成器，以生成伪造高分辨率体数据；S5、将真实高分辨率体数据、伪造高分辨率体数据分别与尺寸调整后的真实低分辨率体数据在通道维度上进行拼接，以分别得到第二拼接体数据、第三拼接体数据，并输入鉴别器，以分别得到第一预测矩阵、第二预测矩阵；S6、基于上述体数据、预测矩阵对生成器、鉴别器进行训练；S7、重复步骤S1-S6，直至预设迭代次数。本发明通过对抗训练以得到时变体数据超分辨率生成效果好的生成器。好的生成器。好的生成器。


技术研发人员：陈金金
受保护的技术使用者：浙江传媒学院
技术研发日：2022.07.14
技术公布日：2022/11/1