基于循环生成对抗网络的isar图像超分辨方法
技术领域
1.本技术涉及逆合成孔径雷达成像图像处理技术领域，特别是涉及一种基于循环生成对抗网络的isar图像超分辨方法。
背景技术：2.随着雷达系统硬件水平与信号处理技术的不断进步，现有的宽带isar成像雷达已经具有较高的分辨率，可以得到导弹、飞机等运动目标的形状、尺寸、材料等细节信息。为了获取目标更加清晰的图像，最直接的方法就是提高雷达发射信号带宽以提升isar图像的距离分辨率，提高目标相对于雷达的相干积累角度以提升isar图像方位分辨率。然而，考虑到提高发射信号带宽所带来的高成本问题以及非合作目标难以保证足够的相干积累角度，通过超分辨成像方法获得更高分辨率的isar图像是一种有效途径。
3.近年来，基于深度学习的方法可直接在图像域处理实现超分辨，在光学图像与sar图像领域均取得了较好的超分辨效果。ledig c等人在文章《photo-realistic single image super-resolution using a generative adversarial network》(ieee computer society,2016)中设计了一种生成对抗网络结构，实现了单幅光学图像的超分辨。ao d等人在文章《dialectical gan for sar image translation:from sentinel-1to terrasar-x》(remote sensing,2018,10(10).)中设计了一种辩证生成对抗网络结构，通过学习得到哨兵一号sar图像到terrasar-x sar图像的映射，从而提升了哨兵一号sar图像的分辨率。同样，针对isar图像，dan q等人在文章《isar resolution enhancementusing residual network》(ieee 4th international conference on signal and image processing,2019)中也提出了一种基于残差网络的超分辨方法，取得了一定的效果。然而，该方法要求输入的测试isar图像必须与训练时isar图像采用相同的预处理方法，导致在实际应用中具有一定局限性，尤其是在处理与训练数据分辨率不同的isar图像数据时，超分辨效果并不理想。
技术实现要素：4.基于此，有必要针对测试数据和训练数据可能存在分辨率不同从而导致超分辨效果下降的问题，提供一种能够实现低分辨isar图像到高分辨isar图像的端到端映射，从而得到更高目标分辨率的isar图像的基于循环生成对抗网络的isar图像超分辨方法。
5.一种基于循环生成对抗网络的isar图像超分辨方法，所述方法包括：
6.获取成对的目标低分辨率isar图像数据集与高分辨率isar图像数据集；分别构建低分辨率isar图像和高分辨率isar图像的训练集和测试集。
7.将低分辨率isar图像训练集和高分辨率isar图像训练集输入预设循环生成对抗网络模型进行训练，得到初步循环生成对抗网络模型；所述初步循环生成对抗网络模型中的判别器模块为动态全卷积网络，所述动态全卷积网络感受野大小根据目标散射点确定。
8.将低分辨率isar图像测试集输入初步循环生成对抗网络模型进行验证，计算与高
分辨率isar图像测试集的误差，当误差较大时调整所述判别器模块的感受野大小，重新训练初步循环生成对抗网络模型，得到循环生成对抗网络模型。
9.在其中一个实施例中，获取成对的目标低分辨率isar图像数据集与高分辨率isar图像数据集，分别构建低分辨率isar图像和高分辨率isar图像的训练集和测试集，包括：
10.通过暗室测量，得到目标x波段各姿态下全极化雷达回波数据；根据设定的成像带宽与相干积累角度，对所述各姿态下全极化雷达回波数据中相同姿态下的回波数据进行处理，得到特定姿态下成对的目标低分辨率isar图像以及与所述低分辨率isar图像对应的高分辨率isar图像；分别构建低分辨率isar图像和高分辨率isar图像的训练集和测试集。
11.在其中一个实施例中，将低分辨率isar图像训练集和高分辨率isar图像训练集输入预设循环生成对抗网络模型进行训练，得到初步循环生成对抗网络模型，包括：
12.将所述低分辨率isar图像训练集分割成低分辨率isar图像训练子集和低分辨率isar图像验证子集；将所述高分辨率isar图像训练集分割成高分辨率isar图像训练子集和高分辨率isar图像验证子集。
13.将所述低分辨率isar图像训练子集和高分辨率isar图像训练子集分别输入生成器模块，得到对应的isar图像的网络损失函数，基于所述网络损失函数对所述预设循环生成对抗网络模型进行训练。
14.通过所述低分辨率isar图像验证子集和所述高分辨率isar图像验证子集对所述预设循环生成对抗网络模型进行验证，得到初步循环生成对抗网络模型。
15.在其中一个实施例中，所述网络损失函数包括：对抗损失函数、循环损失函数、超分辨损失函数。
16.在其中一个实施例中，所述对抗损失函数，包括：低分辨率isar图像的对抗损失函数和高分辨率isar图像的对抗损失函数。
17.其中，低分辨率isar图像的对抗损失函数表达式为：
[0018][0019]
高分辨率isar图像的对抗损失函数表达式为：
[0020][0021]
其中，x表示低分辨图像训练子集，y表示高分辨图像训练子集,g为从x域到y域的生成器模块，f为从y域到x域的生成器模块，d
x
、dy分别为x域与y域上的判别器模块，p
data
(x)表示低分辨率图像训练子集真实样本分布，p
data
(y)表示高分辨率图像训练子集真实样本分布。
[0022]
在其中一个实施例中，所述循环损失函数，包括：低分辨率isar图像的循环损失函数。
[0023]
其表达式为：
[0024][0025]
在其中一个实施例中，所述超分辨损失函数，包括：低分辨率isar图像的超分辨损失函数和高分辨率isar图像的超分辨损失函数。
[0026]
其中，低分辨率isar图像的超分辨损失函数表达式为：
[0027][0028]
高分辨率isar图像的超分辨损失函数表达式为：
[0029][0030]
在其中一个实施例中，所述网络损失函数包括：从x域到y域的生成器模块网络损失函数和从y域到x域的生成器模块网络损失函数。
[0031]
其中，从x域到y域的生成器模块网络损失函数，表达式为：
[0032][0033]
从y域到x域的生成器模块网络损失函数，表达式为：
[0034]
l(f)＝l
gan
(f,d
x
,y,x)+λb*l
sr
(f)
[0035]
在其中一个实施例中，将低分辨率isar图像测试集输入初步循环生成对抗网络模型进行验证，计算与高分辨率isar图像测试集的误差，当误差较大时调整所述判别器模块的感受野大小，重新训练初步循环生成对抗网络模型，得到循环生成对抗网络模型，包括：
[0036]
将低分辨率isar图像测试集输入初步循环生成对抗网络模型进行验证，计算输出结果与高分辨率isar图像测试集的绝对值误差，当误差较大时，通过改变判别器卷积核大小与卷积层层数来调整感受野大小，重新训练初步循环生成对抗网络模型，当误差无明显下降时，得到循环生成对抗网络模型；所述绝对值误差指对两幅图像每个像素点对应差值绝对值求和取平均。
[0037]
在其中一个实施例中，所述生成器模块采用u-net结构；所述判别器模块采用patchgan结构。
[0038]
上述于循环生成对抗网络的isar图像超分辨方法，通过获取成对的目标低分辨率isar图像数据集与高分辨率isar图像数据集；分别构建低分辨率isar图像和高分辨率isar图像的训练集和测试集；在构建循环生成对抗网络模型时，采用的判别器为动态卷积结构，动态全卷积网络感受野大小根据目标散射点进行调整，保证任意感受野都能包含目标散射点，使得卷积过程中每一个感受野都能被框选到，解决了在卷积过程中其感受野框选范围大概率是背景而非目标，从而导致判别器模块误判率增高的问题；通过引入循环对抗网络结构，实现了低分辨isar图像到高分辨isar图像的端到端映射，得到更高目标分辨率的isar图像，训练所得到的网络相较于已有的isar图像超分辨网络泛化性能更强，对于分辨率与测试数据不同的isar图像超分辨效果也更优于已有方法。
附图说明
[0039]
图1为一个实施例中基于循环生成对抗网络的isar图像超分辨方法流程图；
[0040]
图2为一个实施例中低分辨isar图像与高分辨isar图像生成流程图；
[0041]
图3为一个实施例中判别器感受野尺寸改进前后对比图；
[0042]
图4为一个实施例中经超分辨比例为4的数据集训练网络后，对于成像带宽1ghz，相干积累角度5
°
的isar图像输入后超分辨结果，与对应的成像带宽4ghz，相干积累角度20
°
isar图像进行比较图。
具体实施方式
[0043]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0044]
值得说明的是，本发明所说的isar低分辨图像和高分辨图像并非基于同一图像获得，而是针对同一目标利用isar在不同的发射信号带宽以及转台成像时不同的相干积累角度所得到的。
[0045]
本技术提供的基于循环生成对抗网络的isar图像超分辨方法，如图1所示，为本发明的流程图，包括以下步骤：
[0046]
步骤1：获取成对的目标低分辨率isar图像数据集与高分辨率isar图像数据集；分别构建低分辨率isar图像和高分辨率isar图像的训练集和测试集。
[0047]
具体的，将低分辨率isar图像数据集记为i
lr
，将高分辨率isar图像数据集记为i
hr
，将低分辨率isar图像训练集记为x
*
(每个图像512
×
512)，低分辨率isar图像训练集x
*
中isar图像距离向分辨率包含方位向分辨率将高分辨isar图像训练集记为y
*
(每个图像512
×
512)，高分辨isar图像训练集y
*
中isar图像距离向分辨率包含方位向分辨率且n为分辨率比值。低分辨率isar图像测试集记为x^，高分辨isar图像测试集记为y^，两组测集之间距离向分辨率与方位向分辨率比值均为n。
[0048]
值得注意的是，低分辨率isar图像数据集是相对于高分辨率isar图像数据集而言，并非绝对概念。在构建模型之前，需要将数据集进行划分，以防止训练模型提前了解测试集中的样本特点，造成数据窥探偏误，而使模型训练结果过于乐观，偏离实际。将低分辨率isar图像数据集与相应的高分辨率isar图像数据集分割为训练集、验证集和测试集，由于获取测试集isar图像时的成像带宽以及相干积累角度与获取训练集/验证集时不同,采用的并非同样带宽以及相干积累角度所得isar图像，因此测试集数量并未参与分割，实际上只有采用相同带宽以及积累角度的训练集以及验证集进行了分割，本发明实施例中训练集、验证集和测试集分割比例为3:1:4，也可以根据实际情况设定不同的分割比例。
[0049]
步骤2：将低分辨率isar图像训练集和高分辨率isar图像训练集输入预设循环生成对抗网络模型进行训练，得到初步循环生成对抗网络模型；初步循环生成对抗网络模型中的判别器模块为动态全卷积网络，动态全卷积网络感受野大小根据目标散射点确定。
[0050]
值得说明的是，低分辨率isar图像训练集中包含低分辨率isar图像训练子集和低分辨率isar图像训练验证子集，高分辨率isar图像训练集中包含高分辨率isar图像训练子集和高分辨率isar图像训练验证子集。通过训练集进行预设循环生成对抗网络模型的训练，再通过验证集对预设循环生成对抗网络模型进行评估验证，找到最佳的参数。
[0051]
在本发明的循环生成对抗网络模型中，使用的判别器为动态全卷积网络；和常规的选用目标为像素图像不同，本发明的目标是稀疏的isar图像，当判别器对应的感受野尺寸过小时，在卷积过程中其感受野框选的范围大概率是背景而非目标，导致判别器误判率增高。为解决这一问题，需要根据实际目标尺寸增加卷积核大小与卷积层层数；根据实验结
果发现，当判别器感受野大小能保证任意感受野都能包含目标散射点时，超分辨效果较好。
[0052]
步骤3：将低分辨率isar图像测试集输入初步循环生成对抗网络模型进行验证，计算与高分辨率isar图像测试集的误差，当误差较大时调整所述判别器模块的感受野大小，重新训练初步循环生成对抗网络模型，得到循环生成对抗网络模型。
[0053]
值得说明的是，通过步骤2训练后得到的初步循环生成对抗网络模型存在一定的泛化误差，将低分辨率isar图像测试集输入初步循环生成对抗网络模型进行误差验证，计算输出结果与高分辨率isar图像测试集的绝对值误差，这里的绝对值误差指对两幅图像每个像素点对应差值绝对值求和取平均。当误差较大时，改变判别器的卷积核大小与卷积层层数大小，从而改变感受野大小重新训练网络模型，当误差无明显下降时，得到需要的循环生成对抗网络模型，通过本方法训练后的循环生成对抗网络模型，泛化能力更强。
[0054]
上述于循环生成对抗网络的isar图像超分辨方法，通过获取成对的目标低分辨率isar图像数据集与高分辨率isar图像数据集；分别构建低分辨率isar图像和高分辨率isar图像的训练集和测试集；在构建循环生成对抗网络模型时，采用的判别器为动态卷积结构，动态全卷积网络感受野大小根据目标散射点进行调整，保证任意感受野都能包含目标散射点，使得卷积过程中每一个感受野都能被框选到，解决了在卷积过程中其感受野框选范围大概率是背景而非目标，从而导致判别器模块误判率增高的问题；通过引入循环对抗网络结构，实现了低分辨isar图像到高分辨isar图像的端到端映射，得到更高目标分辨率的isar图像，训练所得到的网络相较于已有的isar图像超分辨网络泛化性能更强，对于分辨率与测试数据不同的isar图像超分辨效果也更优于已有方法。
[0055]
在其中一个实施例中，获取成对的目标低分辨率isar图像数据集与高分辨率isar图像数据集，分别构建低分辨率isar图像和高分辨率isar图像的训练集和测试集，包括：
[0056]
通过暗室测量，得到目标x波段各姿态下全极化雷达回波数据；根据设定的成像带宽与相干积累角度，对各姿态下全极化雷达回波数据中相同姿态下的回波数据进行处理，得到特定姿态下成对的目标低分辨率isar图像数据集以及与低分辨率isar图像对应的高分辨率isar图像数据集；分别构建低分辨率isar图像和高分辨率isar图像的训练集和测试集。
[0057]
值得说明的是，本发明获取的目标为雷达回波数据，如图2所示，为低分辨isar图像与高分辨isar图像生成流程图，通过暗室测量得到回波数据，通过设定不同成像带宽与相干积累角度进行数据截断，得到小带宽回波数据和相应大带宽回波数据，分别构建低分辨率isar图像数据集与高分辨率isar图像数据集。
[0058]
具体的，通过暗室测量得到回波数据，选取中心频率10ghz，成像相干积累角度3
°
，带宽0.4ghz的isar图像作为低分辨率isar图像数据集；带宽1.6ghz，成像相干积累角度12
°
的isar图像作为对应高分辨率isar图像数据集；组成0.4ghz(3
°
)的低分辨率isar图像训练集和1.6ghz(12
°
)的高分辨率isar图像训练集，旨在训练超分辨比例为4的网络。采用带宽1ghz，相干积累角度3
°
的isar图像作为低分辨率isar图像测试集；对应姿态下的带宽4ghz，相干积累角度12
°
的isar图像作为高分辨率isar图像测试集。
[0059]
在其中一个实施例中，将低分辨率isar图像训练集和高分辨率isar图像训练集输入预设循环生成对抗网络模型进行训练，得到初步循环生成对抗网络模型，包括：
[0060]
将低分辨率isar图像训练集分割成低分辨率isar图像训练子集和低分辨率isar
图像验证子集；将高分辨率isar图像训练集分割成高分辨率isar图像训练子集和高分辨率isar图像验证子集。
[0061]
将低分辨率isar图像训练子集和高分辨率isar图像训练子集分别输入生成器模块，得到对应的isar图像的网络损失函数，基于网络损失函数对预设循环生成对抗网络模型进行训练。
[0062]
通过低分辨率isar图像验证子集和高分辨率isar图像验证子集对预设循环生成对抗网络模型进行验证，得到初步循环生成对抗网络模型。
[0063]
具体的，构建预设循环生成对抗网络模型，包括生成器模块和判别器模块。
[0064]
生成器利用跳跃连接(skipconnection)保证散射点匹配，跳跃连接指的是深层网络训练时，会跳跃神经网络的某些层，并将一层的输出作为下一层的输入，之所以采用跳跃连接，是因为在进行深层网络训练时，由于更深层无法学习甚至恒等映射，会产生较高的训练误差，而具有跳跃连接的神经网络的损失表面更平滑，且收敛速度更快。判别器为动态全卷积网络，将输入样本通过卷积映射成一个特征矩阵，特征矩阵每一个元素对应于原始图片一片感受野，通过对整个特征矩阵求平均判定输入样本真伪。
[0065]
将0.4ghz(3
°
)的低分辨率isar图像训练集进行分割得到低分辨率isar图像训练子集和低分辨率isar图像验证子集；将1.6ghz(12
°
)的高分辨率isar图像训练集进行分割得到高分辨率isar图像训练子集和高分辨率isar图像验证子集。训练集和验证集分割比例为3：1，具体分割方法为按方位角由小到大排布，每四个数据中随机抽取一个作为验证子集数据，且高低分辨子集之间方位角一一对应。
[0066]
将低分辨率isar图像训练子集和高分辨率isar图像训练子集分别输入生成器模块，得到对应的isar图像的网络损失函数，基于网络损失函数对预设循环生成对抗网络模型进行训练。
[0067]
通过低分辨率isar图像验证子集和高分辨率isar图像验证子集对预设循环生成对抗网络模型进行进行验证，得到初步循环生成对抗网络模型。
[0068]
在其中一个实施例中，网络损失函数包括：对抗损失函数、循环损失函数、超分辨损失函数。
[0069]
具体的，在一轮训练过程中，先有x域通过g生成对应的g(x)，g(x)通过f得到f(g(x))，计算对应对抗损失函数、循环损失函数、超分辨损失函数更新生成器g。之后对于y域中数据过程类似，仅过程中删除了循环损失，之后更新生成器f。
[0070]
在其中一个实施例中，所述对抗损失函数，包括：低分辨率isar图像的对抗损失函数和高分辨率isar图像的对抗损失函数；
[0071]
其中，低分辨率isar图像的对抗损失函数表达式为：
[0072][0073]
高分辨率isar图像的对抗损失函数表达式为：
[0074][0075]
其中，x表示低分辨图像训练子集，y表示高分辨图像训练子集,g为从x域到y域的生成器模块，f为从y域到x域的生成器模块，d
x
、dy分别为x域与y域上的判别器模块，p
data
(x)表示低分辨率图像训练子集真实样本分布，p
data
(y)表示高分辨率图像训练子集真实样本
分布。
[0076]
在其中一个实施例中，所述循环损失函数，包括：低分辨率isar图像的循环损失函数；
[0077]
其表达式为：
[0078][0079]
在其中一个实施例中，所述超分辨损失函数，包括：低分辨率isar图像的超分辨损失函数和高分辨率isar图像的超分辨损失函数；
[0080]
其中，低分辨率isar图像的超分辨损失函数表达式为：
[0081][0082]
高分辨率isar图像的超分辨损失函数表达式为：
[0083][0084]
在其中一个实施例中，所述网络损失函数包括：从x域到y域的生成器模块网络损失函数和从y域到x域的生成器模块网络损失函数；
[0085]
其中，从x域到y域的生成器模块网络损失函数，表达式为：
[0086][0087]
从y域到x域的生成器模块网络损失函数，表达式为：
[0088]
l(f)＝l
gan
(f,d
x
,y,x)+λb*l
sr
(f)
[0089]
在其中一个实施例中，将低分辨率isar图像测试集输入初步循环生成对抗网络模型进行验证，计算与高分辨率isar图像测试集的误差，当误差较大时调整所述判别器模块的感受野大小，重新训练初步循环生成对抗网络模型，得到循环生成对抗网络模型，包括：
[0090]
将低分辨率isar图像测试集输入初步循环生成对抗网络模型进行验证，计算输出结果与高分辨率isar图像测试集的绝对值误差，当误差较大时，通过改变判别器卷积核大小与卷积层层数来调整感受野大小，从新训练初步循环生成对抗网络模型，当误差无明显下降时，得到循环生成对抗网络模型；所述绝对值误差指对两幅图像每个像素点对应差值绝对值求和取平均。
[0091]
在其中一个实施例中，生成器模块采用u-net结构；判别器模块采用patchgan结构。
[0092]
如图3所示为对应图片大小为512
×
512的patchgan结构。
[0093]
在其中一个实施例中，对本发明进行验证，如图4所示，为经超分辨比例为4的数据集训练网络后，对于成像带宽1ghz，相干积累角度5
°
的isar图像输入后超分辨结果，与对应的成像带宽4ghz，相干积累角度20
°
isar图像进行比较。可以看到对于比训练数据中更大带宽与相干积累角度下的低分辨isar像网络仍具有较好的恢复能力。
[0094]
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行
完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0095]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0096]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。
技术特征：1.一种基于循环生成对抗网络的isar图像超分辨方法，其特征在于，所述方法包括：获取成对的目标低分辨率isar图像数据集与高分辨率isar图像数据集；分别构建低分辨率isar图像和高分辨率isar图像的训练集和测试集；将低分辨率isar图像训练集和高分辨率isar图像训练集输入预设循环生成对抗网络模型进行训练，得到初步循环生成对抗网络模型；所述初步循环生成对抗网络模型中的判别器模块为动态全卷积网络，所述动态全卷积网络感受野大小根据目标散射点确定；将低分辨率isar图像测试集输入初步循环生成对抗网络模型进行验证，计算与高分辨率isar图像测试集的误差，当误差较大时调整所述判别器模块的感受野大小，重新训练初步循环生成对抗网络模型，得到循环生成对抗网络模型。2.根据权利要求1所述的方法，其特征在于，获取成对的目标低分辨率isar图像数据集与高分辨率isar图像数据集，分别构建低分辨率isar图像和高分辨率isar图像的训练集和测试集；包括：通过暗室测量，得到目标x波段各姿态下全极化雷达回波数据；根据设定的成像带宽与相干积累角度，对所述各姿态下全极化雷达回波数据中相同姿态下的回波数据进行处理，得到特定姿态下成对的目标低分辨率isar图像以及与所述低分辨率isar图像对应的高分辨率isar图像；分别构建低分辨率isar图像和高分辨率isar图像的训练集和测试集。3.根据权利要求1所述的方法，其特征在于，将低分辨率isar图像训练集和高分辨率isar图像训练集输入预设循环生成对抗网络模型进行训练，得到初步循环生成对抗网络模型，包括：将所述低分辨率isar图像训练集分割成低分辨率isar图像训练子集和低分辨率isar图像验证子集；将所述高分辨率isar图像训练集分割成高分辨率isar图像训练子集和高分辨率isar图像验证子集；将所述低分辨率isar图像训练子集和高分辨率isar图像训练子集分别输入生成器模块，得到对应的isar图像的网络损失函数，基于所述网络损失函数对所述预设循环生成对抗网络模型进行训练；通过所述低分辨率isar图像验证子集和所述高分辨率isar图像验证子集对所述预设循环生成对抗网络模型进行验证，得到初步循环生成对抗网络模型。4.根据权利要求3所述的方法，其特征在于，所述网络损失函数包括：对抗损失函数、循环损失函数、超分辨损失函数。5.根据权利要求4所述的方法，其特征在于，所述对抗损失函数，包括：低分辨率isar图像的对抗损失函数和高分辨率isar图像的对抗损失函数；其中，低分辨率isar图像的对抗损失函数表达式为：高分辨率isar图像的对抗损失函数表达式为：其中，x表示低分辨图像训练子集，y表示高分辨图像训练子集,g为从x域到y域的生成
器模块，f为从y域到x域的生成器模块，d
x
、d
y
分别为x域与y域上的判别器模块，p
data
(x)表示低分辨率图像训练子集真实样本分布，p
data
(y)表示高分辨率图像训练子集真实样本分布。6.根据权要求5所述的方法，其特征在于，所述循环损失函数，包括：低分辨率isar图像的循环损失函数；其表达式为：7.根据权要求6所述的方法，其特征在于，所述超分辨损失函数，包括：低分辨率isar图像的超分辨损失函数和高分辨率isar图像的超分辨损失函数；其中，低分辨率isar图像的超分辨损失函数表达式为：高分辨率isar图像的超分辨损失函数表达式为：8.根据权要求7所述的方法，其特征在于，所述网络损失函数包括：从x 域到y域的生成器模块网络损失函数和从y域到x域的生成器模块网络损失函数；其中，从x域到y域的生成器模块网络损失函数，表达式为：从y域到x域的生成器模块网络损失函数，表达式为：l(f)＝l
gan
(f,d
x
,y,x)+λ
b
*l
sr
(f)9.根据权利要求1所述的方法，其特征在于，将低分辨率isar图像测试集输入初步循环生成对抗网络模型进行验证，计算与高分辨率isar图像测试集的误差，当误差较大时调整所述判别器模块的感受野大小，重新训练初步循环生成对抗网络模型，得到循环生成对抗网络模型，包括：将低分辨率isar图像测试集输入初步循环生成对抗网络模型进行验证，计算输出结果与高分辨率isar图像测试集的绝对值误差，当误差较大时，通过改变判别器卷积核大小与卷积层层数来调整感受野大小，从新训练初步循环生成对抗网络模型，当误差无明显下降时，得到循环生成对抗网络模型；所述绝对值误差指对两幅图像每个像素点对应差值绝对值求和取平均。10.根据权利要求1-9中任一项所述的方法，其特征在于：所述生成器模块采用u-net结构；所述判别器模块采用patchgan结构。
技术总结本申请涉及一种基于循环生成对抗网络的ISAR图像超分辨方法。通过获取成对的目标低分辨率ISAR图像数据集与高分辨率ISAR图像数据集；分别构建低分辨率ISAR图像和高分辨率ISAR图像的训练集和测试集；在构建循环生成对抗网络模型时，采用的判别器为动态卷积结构，动态全卷积网络感受野大小根据目标散射点进行调整，使得卷积过程中每一个感受野都能被框选到，解决了判别器模块误判率增高的问题；通过引入循环对抗网络结构，实现了低分辨ISAR图像到高分辨ISAR图像的端到端映射，训练所得到的网络相较于已有的ISAR图像超分辨网络泛化性能更强，对于分辨率与测试数据不同的ISAR图像超分辨效果也更优于已有方法。超分辨效果也更优于已有方法。超分辨效果也更优于已有方法。
技术研发人员：易拓源 户盼鹤 刘振
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：2022.07.18
技术公布日：2022/11/1
