1.本发明涉及一种基于细节信息渐近恢复的图像超分辨率重建方法,属于图像处理
技术领域:
:。
背景技术:
::2.图像超分辨率是数字图像处理中的一个重要课题。简单来说,图像超分辨率表示信息量的多少,而信息量可以理解为一张英寸的图像中像素点的数量。单图像超分辨率重建(sisr)的目的是从低分辨率图像输入得到高分辨率图像重建输出,并在增加其空间分辨率的情况下最大程度地恢复图像的细节以及纹理信息。从信号熵的角度来看,这是一个熵增大的过程,在无参考、无先验知识的情况下,这是一个从有损退化信号重建原始真实信号的病态问题,从早期基于插值的方法到目前基于学习的方法,由于人眼对于高频细节不敏感,这些算法仅仅从视觉特征的角度对图像进行优化重建,而忽略了真实图像中丰富的信息与高频细节的表达,同时未考虑到深度网络细节信息的损失,因此对于sisr任务往往存在重建精度低、数据特征利用不充分以及纹理细节丢失等问题。高精度单图像超分辨率重建方法,在医疗图像领域、监控领域、卫星航空影像、图像处理、模式识别以及计算子视觉邻域等方面产生巨大的应用价值。3.针对以上重构算法精度低、特征信息利用不充分信息细节丢失等问题,随着近几年深度学习的不断发展,为了对sisr问题进行高质量优化,并降低重建的计算复杂度,提高算法的场景适应性能,基于深度神经网络的方法也被引入到sisr问题中,但简单的神经网络需要在极大的网络深度下才能获取较好的重建性能,并且基于卷积的方法仅仅对于图像的局部感受野有效,因此通过加深网络提高性能的方法,仅能够重建出符合人眼视觉观感的优化结果,对于一些高级模式识别任务,其性能往往较差。技术实现要素:4.本发明提供了基于细节信息渐近恢复的图像超分辨率重建方法,利用sobel算子提取边缘特征并迁移到图像超分辨率网络中增强图像的高频信息。在超分辨率网络中使用由上下文特征增强模块和特征细化模块构成的特征逐步恢复模块来帮助网络恢复图像内容和上下文细节信息以生成超分辨率图像。5.本发明所采用的技术方案是:6.一种基于细节信息渐近恢复的图像超分辨率重建方法,其特征在于,包括如下步骤:7.step1:获取训练数据集:对原始高分辨率图像进行预处理,得到不同尺度的低分辨率图像数据集;8.step2:提取图像的边缘特征:通过sobel方法获得step1中低分辨率图像数据集中低分辨率图像ilr作为增强图像边缘信息的特征,即边缘特征fedge;9.step3:对step1的训练数据集进行特征提取:利用由两个3×3卷积和bn+relu构成的特征提取器获得浅层特征f0;10.step4:特征匹配:设计特征对齐模块对step2的边缘特征fedge与step3的浅层特征f0进行匹配,对任意两张图片的特征组进行图匹配操作,对相似的特征赋予权重后生成特征fa;11.step5:获取信息量丰富的特征:使用注意力模块对step2中的边缘特征fedge和step3中的浅层特征f0进行处理,保留信息量多的特征,抑制信息量少的特征,获得特征c0;12.step6:获得深层特征:先通过特征融合模块融合step4的特征fa和step5的特征c0,生成融合特征再由一个3×3卷积提取融合特征即生成深层特征fd;13.step7:获取上下文特征:先利用由第一个上下文特征增强模块增强step6的深层特征fd生成第一层细节特征再由第一个残差特征细化模块逐恢复第一个上下文特征增强模块的第一层细节特征和step3的浅层特征f0以生成上下文特征14.step8:获取上下文细节特征:利用由多个首尾相连的上下文特征增强模块和残差特征细化模块构成的特征恢复模块逐步恢复step7的上下文特征和step3的浅层特征f0,生成最终的上下文细节特征fcdf;15.step9:获取超分辨率图像:利用由2个3×3卷积、relu和亚像素卷积构成的自适应上采样机制处理step1中不同尺度的低分辨率图像和step8的上下文细节特征fcdf,生成超分辨率图像isr;16.step10:对图像进行损失操作:分别利用l1函数对step1的原始高分辨率图像ihr与step9的超分辨率图像isr作重建损失和对step1的原始高分辨率图像ihr与step11的超分辨率图像isr作边缘损失来提高超分辨率网络的性能。17.具体地,所述step3浅层特征f0提取的具体操作如下:18.浅层特征f0的提取,具体如下式所示:19.f0=fsfep(ilr)20.式中fsfep(·)表示浅层特征提取函数,包含2个卷积层的内核大小为3×3和bn+relu层,ilr表示低分辨率图像。21.具体地,所述step4中通过特征对齐模块来迁移step2中的边缘特征。其中,特征对齐模块对边缘特征和step3的浅层特征f0进行拼接操作和相似性度量,并赋予其权重,相似的特征通过迁移到低分辨率图像中,具体操作如下:[0022][0023]ffusion=concat(fedge,f0)[0024]α=sigmoid(ffusion)[0025]β=sigmiod(flr)[0026]f1=α*flr[0027]f2=(1-α)*ffusion[0028]fa=f1+f2[0029]式中,fedge,f0,concat(·),ffusion,fa,sigmoid(·)分别表示边缘特征、边缘特征提取器,浅层特征,浅层特征提取器,特征融合操作,融合的边缘特征和浅层特征,融合的对齐特征,激活函数,α表示对齐特征的权重,β表示浅层特征的权重,f1,f2都表示为对齐特征。[0030]具体地,所述step5注意力模块的具体步骤如下:[0031][0032][0033]c0=a*f0[0034]式中,conv1×1和conv分别表示1x1和3x3卷积操作,c0表示信丰富的特征,a表示注意力权重图。[0035]具体地,所述step6的具体步骤如下:[0036]融合特征的生成:[0037][0038]深层特征的生成:[0039][0040]具体地,所述step7通过第1个上下文特征增强模块和第1个残差特征细化模块丰富上下文特征的具体步骤如下:[0041]第1个上下文特征增强模块增强的信息,具体操作如下:[0042][0043]式中,表示网络第1层细节特征,fcfem表示上下文特征增强函数。[0044]第1个残差特征细化模块恢复上下文信息,具体步骤如下:[0045][0046][0047]式中,和(h1×w1×c1分别表示第1层补丁块网络的大小)都代表网络第1层的中间特征图,和f0分别表示网络第1层的细节特征和浅层特征,a1和b1表示网络第1层的权重图,concat(·,·)表示通道级连接操作,σ(·)为relu激活函数,‘⊙’表示元素级的乘法操作,η(·)表示广播操作,其中权重沿频道维度进行广播复制。[0048]从特征互补模块组成中得到的网络第1层的上下文特征的具体步骤如下:[0049][0050]具体地,所述step8通过特征逐步恢复模块恢复上下文信息的具体步骤如下:[0051]上下文特征增强模块增强网络第一层的信息,具体操作如下:[0052][0053]式中,表示网络第i-1层的细节特征,i表示网络深度,表示网络第i-1层的上下文特征增强函数;[0054]残差特征细化模块,具体操作如下:[0055][0056][0057]式中,和(hi-1×wi-1×ci-1表示网络第i-1层补丁块的大小)都代表网络第i-1层的中间特征图,和f0分别表示网络第i-1层的上下文特征和浅层特征,ai-1和bi-1表示网络第i-1层的权重图,concat(·,·)表示通道级连接操作,σ(·)为relu激活函数,‘⊙’表示元素级的乘法操作,η(·)表示广播操作,其中权重沿频道维度进行广播复制;[0058]从特征互补模块组成中得到的输出第i-1层的特征图的具体步骤如下:[0059][0060]上下文增强模块的最终增强细节特征fdetial为[0061][0062]式中,表示网络第i-1层的上下文特征增强函数,表示网络第i-1层的细节特征。[0063]残差细化模块的最终输出的生成上下文特征fs:[0064][0065]式中,和都代表网络第i-1层的中间特征图[0066]特征恢复模块最终输出上下文细节特征fcdf为:[0067][0068]式中,i=2,3,...,n。[0069]具体地,所述step9中自适应上采样机制操作如下:[0070][0071]式中,isr超分辨率图像,fcdf表示上下文细节特征,conv1×1表示1x1卷积操作,↑表示上采样。[0072]具体地,所述step10损失函数的具体步骤如下:[0073]总损失函数:[0074]loverall=λreclrec+λedgeledge[0075]式中,λrec和λedge分别表示重建损失的超参数和边缘损失的超参数,lrec,ledge分别表示重建损失,边缘损失。[0076]重建损失:第一个损失为重建损失:[0077][0078]式中c,h,w为高分分辨率图像ihr的长,宽,高。利用l1损失,它已被证明比l2损失对性能更尖锐,更容易收敛;[0079]梯度损失:为了生成可靠的高分辨率图像,将图像梯度图引入了图像超分辨率方法,图像梯度图指定了图像中颜色的方向变化,这对应于高频图像的细节,此外,梯度图表示图像细节的位置和大小,超分辨率图像可以在梯度图的引导下明确地恢复这些高频部分,正则化方法引入了额外的基于梯度的约束条件,以帮助恢复高频细节,正确恢复图像,边缘和纹理应该特别真实,采用图像梯度作为损失函数的正则化项:[0080]ledge=||g(isr)-g(ihr)||2[0081]式中,g(·)为梯度检测器,g(isr)为超分辨率图像的梯度图,g(ihr)为高分辨率图像的梯度图。[0082]本发明的有益效果是:1.本发明是将基于卷积神经网络(cnn)的单图像超分辨率方法,该方法利用特征对齐模块将高频特征和低分辨率图像特征作相似性度量,将相似度高的特征融合到超分辨率网络以增强网络的细节信息;同时利用特征逐步恢复模块逐步恢复不同深度网络的信息。通过以上两个模块作为超分辨率网络的主要部分,并提高了图像超分辨率网络的性能,在视觉上清晰的图像的纹理和边缘特征。附图说明[0083]图1为基于细节信息渐近恢复的图像超分辨率重建方法处理流程图。[0084]图2为图像超分辨率网络示意图;[0085]图3为上下文特征增强模块示意图;[0086]图4为特征对齐模块示意图;[0087]图5为特征细化模块示意图;[0088]图6为注意力模块示意图。具体实施方式[0089]为了更好的说明本发明的技术方案,下面结合附图对本发明的具体实施方式进行详细描述。[0090]实施例1:如图1为本发明方法的流程示意图,[0091]step1:获取训练数据集:对原始高分辨率图像进行预处理,得到不同尺度的低分辨率图像数据集;[0092]step2:提取图像的边缘特征:通过sobel方法获得step1中低分辨率图像数据集中低分辨率图像ilr作为增强图像边缘信息的特征,即边缘特征fedge;[0093]step3:对step1的训练数据集进行特征提取:利用由两个3×3卷积和bn+relu构成的特征提取器获得浅层特征f0;[0094]step4:特征匹配:设计特征对齐模块对step2的边缘特征fedge与step3的浅层特征f0进行匹配,对任意两张图片的特征组进行图匹配操作,对相似的特征赋予权重后生成特征fa;[0095]step5:获取信息量丰富的特征:使用注意力模块对step2中的边缘特征fedge和step3中的浅层特征f0进行处理,保留信息量多的特征,抑制信息量少的特征,获得特征c0;[0096]step6:获得深层特征:先通过特征融合模块融合step4的特征fa和step5的特征c0,[0118]式中,conv1×1和conv分别表示1x1和3x3卷积操作,c0表示信丰富的特征,a表示注意力权重图。[0119]进一步地,所述step6的具体步骤如下:[0120]融合特征的生成:[0121][0122]深层特征的生成:[0123][0124]进一步地,所述step7通过第1个上下文特征增强模块和第1个残差特征细化模块丰富上下文特征的具体步骤如下:[0125]第1个上下文特征增强模块增强的信息,具体操作如下:[0126][0127]式中,表示网络第1层细节特征,fcfem表示上下文特征增强函数。[0128]第1个残差特征细化模块恢复上下文信息,具体步骤如下:[0129][0130][0131]式中,和(h1×w1×c1分别表示第1层补丁块网络的大小)都代表网络第1层的中间特征图,和f0分别表示网络第1层的细节特征和浅层特征,a1和b1表示网络第1层的权重图,concat(·,·)表示通道级连接操作,σ(·)为relu激活函数,‘⊙’表示元素级的乘法操作,η(·)表示广播操作,其中权重沿频道维度进行广播复制。[0132]从特征互补模块组成中得到的网络第1层的上下文特征的具体步骤如下:[0133][0134]进一步地,所述step8通过特征逐步恢复模块恢复上下文信息的具体步骤如下:[0135]上下文特征增强模块增强网络第一层的信息,具体操作如下:[0136][0137]式中,表示网络第i-1层的细节特征,i表示网络深度,表示网络第i-1层的上下文特征增强函数;[0138]残差特征细化模块,具体操作如下:[0139][0140][0141]式中,和(hi-1×wi-1×ci-1表示网络第i-1层补丁块的大小)都代表网络第i-1层的中间特征图,和f0分别表示网络第i-1层的上下文特征和浅层特征,ai-1和bi-1表示网络第i-1层的权重图,concat(·,·)表示通道级连接操作,σ(·)[0165]式中,g(·)为梯度检测器,g(isr)为超分辨率图像的梯度图,g(ihr)为高分辨率图像的梯度图。[0166]本实施例中,本发明在数据集div2k上进行了实验,与最先进的超分辨率重建方法进行了psnr和ssim的比较。[0167]模型在在本文实验中,使用div2k数据集,该数据集包含800张高质量的rgb训练图像,并广泛用于图像恢复任务。为了进行评估,本文使用了5个广泛使用的基准数据集:set5、set14、bsd100、urban100和manga109。其中,训练集包括800对、验证集包括200对,并在实验中考虑×2的比例因子。[0168]实施细节为了获得lrdiv2k训练图像,本发明在stsr中使用双边缘插值,使用比例因子×2下调hr图像。从hr图像中随机裁剪出大小为192×192的hr图像补丁,作为本发明模型的输入,并将小批量大小设置为16。对于数据增强,本发明执行随机水平翻转和90度旋转。λrec和λedge的权重系数分别为1、10-4和10-4,批量大小设置为16。本发明的模型是由adam优化器与动量参数β1=0.9一起训练的。初始学习速率设置为2×10-4,每2×10-5次迭代时减半。本文方法stsr是由pytorch1.8.0实现的,使用一个gtx3060gpu上实现了所提出的网络,所提出的网络性能也优于现有超分辨率重建网络。[0169]表1两倍上采样结果定量分析[0170]table1quantitativeanalysisofdoubleupsamplingresults[0171][0172]注:加粗字体为每行的最优值[0173]本发明提出一种基于细节信息渐近恢复的图像超分辨率重建方法,该方法通过使用sobel算子提取图像的边缘特征用于图像超分辨率网络的细节信息;在超分辨率网络中设计特征对齐模块对边缘特征与浅层特征进行匹配,对任意两张图片的特征组进行图匹配操作,对相似的特征赋予权重并使用注意力模块保留信息量多的补丁块,抑制信息量少的的补丁块;特征逐步恢复模块,上下文特征增强模块和特征细化模块融合了网络不同深度的特征;为避免信息的丢失,设计了残差特征细化模块,深层信息通过由上下文特征融合模块、权重学习模块和特征互补模块组成的残差特征细化模块。该模块通过上下文特征融合模块、权重学习模块和特征互补模块帮助网络保留更丰富的图像内容和纹理细节,增强细节信息和上下文信息,其中权重学习模块来自适应地调整特征互补模块的权重。自适应上采样机制利用一个柔性阀来处理不同尺度的lr图像,实现了一个灵活的sr模型。对比现有的超分辨率方法,该方法显著提高超分辨率图像细节信息的性能。[0174]以上结合附图对本发明的具体实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。当前第1页12当前第1页12
技术特征:1.一种基于细节信息渐近恢复的图像超分辨率重建方法,其特征在于:包括如下步骤:step1:获取训练数据集:对原始高分辨率图像进行预处理,得到不同尺度的低分辨率图像数据集;step2:提取图像的边缘特征:通过sobel方法获得step1中低分辨率图像数据集中低分辨率图像i
lr
的结构特征作为增强图像边缘信息的特征,即边缘特征f
edge
;step3:对step1的训练数据集进行特征提取:利用由两个3
×
3卷积和bn+relu构成的特征提取器获得浅层特征f0;step4:特征匹配:设计特征对齐模块对step2的边缘特征f
edge
与step3的浅层特征f0进行匹配,对任意两张图片的特征组进行图匹配操作,对相似的特征赋予权重后生成特征f
a
;step5:获取信息量丰富的特征:使用注意力模块对step2中的边缘特征f
edge
和step3中的浅层特征f0进行处理,保留信息量多的特征,抑制信息量少的特征,获得特征c0;step6:获得深层特征:先通过特征融合模块融合step4的特征f
a
和step5的特征c0,生成融合特征再由一个3
×
3卷积提取融合特征即生成深层特征f
d
;step7:获取上下文特征:先利用由第一个上下文特征增强模块增强step6的深层特征f
d
生成第一层细节特征再由第一个残差特征细化模块逐恢复第一个上下文特征增强模块的第一层细节特征和step3的浅层特征f0以生成上下文特征f
s1
;step8:获取上下文细节特征:利用由多个首尾相连的上下文特征增强模块和残差特征细化模块构成的特征恢复模块逐步恢复step7的上下文特征f
s1
和step3的浅层特征f0,生成最终的上下文细节特征f
cdf
;step9:获取超分辨率图像:利用由2个3
×
3卷积、relu和亚像素卷积构成的自适应上采样机制处理step1中不同尺度的低分辨率图像和step8的上下文细节特征f
cdf
,生成超分辨率图像i
sr
;step10:对图像进行损失操作:分别利用l1函数对step1的原始高分辨率图像i
hr
与step9的超分辨率图像i
sr
作重建损失和对step1的原始高分辨率图像i
hr
与step11的超分辨率图像i
sr
作边缘损失来提高超分辨率网络的性能。2.根据权利要求1所述的基于细节信息渐近恢复的图像超分辨率重建方法,其特征在于:所述step3浅层特征f0提取的具体操作如下:浅层特征f0的提取,具体如下式所示:f0=f
sfep
(i
lr
)式中f
sfep
(
·
)表示浅层特征提取函数,包含2个卷积层的内核大小为3
×
3和bn+relu层。3.根据权利要求1所述的基于细节信息渐近恢复的图像超分辨率重建方法,其特征在于:所述step4中通过特征对齐模块来迁移step2中的边缘特征,其中,特征对齐模块对边缘特征和step3的浅层特征f0进行拼接操作和相似性度量,并赋予其权重,相似的特征通过迁移到低分辨率图像中,具体操作如下:f
fusion
=concat(f
edge
,f0)α=sigmoid(f
fusion
)
β=sigmiod(f
lr
)f1=α*f
lr
f2=(1-α)*f
fusion
f
a
=f1+f2式中,f
edge
,f0,concat(
·
),f
fusion
,f
a
,sigmoid(
·
)分别表示边缘特征、边缘特征提取器,浅层特征,浅层特征提取器,特征融合操作,融合的边缘特征和浅层特征,融合的对齐特征,激活函数,α表示对齐特征的权重,β表示浅层特征的权重,f1,f2都表示为对齐特征。4.根据权利要求1所述的基于细节信息渐近恢复的图像超分辨率重建方法,其特征在于:所述step5注意力模块的具体步骤如下:于:所述step5注意力模块的具体步骤如下:c0=a*f0式中,conv1×1和conv分别表示1x1和3x3卷积操作,c0表示信丰富的特征,a表示注意力权重图。5.根据权利要求4所述的基于细节信息渐近恢复的图像超分辨率重建方法,其特征在于,所述step 6的具体步骤如下:融合特征的生成:深层特征的生成:6.根据权利要求1所述的基于细节信息渐近恢复的图像超分辨率重建方法,其特征在于:所述step7通过第1个上下文特征增强模块和第1个残差特征细化模块丰富上下文特征的具体步骤如下:第1个上下文特征增强模块增强的信息,具体操作如下:式中,表示网络第1层细节特征,f
cfem
表示上下文特征增强函数;第1个残差特征细化模块恢复上下文信息,具体步骤如下:第1个残差特征细化模块恢复上下文信息,具体步骤如下:式中,和都代表网络第1层的中间特征图,h1×
w1×
c1分别表示第1层补丁块网络的大小,和f0分别表示网络第1层的细节特征和浅层特征,a1和b1表示网络第1层的权重图,concat(
·
,
·
)表示通道级连接操作,σ(
·
)为relu激活函数,
‘⊙’
表示元素级的乘法操作,η(
·
)表示广播操作,其中权重沿频道维度进行广播复制;从特征互补模块组成中得到的网络第1层的上下文特征的具体步骤如下:
7.根据权利要求1所述的基于细节信息渐近恢复的图像超分辨率重建方法,其特征在于,所述step8通过特征逐步恢复模块恢复上下文信息的具体步骤如下:上下文特征增强模块增强网络第一层的信息,具体操作如下:式中,表示网络第i-1层的细节特征,i表示网络深度,表示网络第i-1层的上下文特征增强函数;残差特征细化模块,具体操作如下:残差特征细化模块,具体操作如下:式中,和都代表网络第i-1层的中间特征图,h
i-1
×
w
i-1
×
c
i-1
表示网络第i-1层补丁块的大小,和f0分别表示网络第i-1层的上下文特征和浅层特征,a
i-1
和b
i-1
表示网络第i-1层的权重图,concat(
·
,
·
)表示通道级连接操作,σ(
·
)为relu激活函数,
‘⊙’
表示元素级的乘法操作,η(
·
)表示广播操作,其中权重沿频道维度进行广播复制;从特征互补模块组成中得到的输出第i-1层的特征图的具体步骤如下:上下文增强模块的最终增强细节特征f
detial
为式中,表示网络第i-1层的上下文特征增强函数,表示网络第i-1层的细节特征;残差细化模块的最终输出的生成上下文特征f
s
:式中,和都代表网络第i-1层的中间特征图特征恢复模块最终输出上下文细节特征f
cdf
为:式中,i=2,3,...,n。8.根据权利要求1所述的基于细节信息渐近恢复的图像超分辨率重建方法,其特征在于,所述step9中自适应上采样机制操作如下:式中,i
sr
超分辨率图像,f
cdf
表示上下文细节特征,conv1×1表示1x1卷积操作,
↑
表示上采样。
9.根据权利要求1所述的基于细节信息渐近恢复的图像超分辨率重建方法,其特征在于,所述step10损失函数的具体步骤如下:总损失函数:l
overall
=λ
rec
l
rec
+λ
edge
l
edge
式中,λ
rec
和λ
edge
分别表示重建损失的超参数和边缘损失的超参数,l
rec
,l
edge
分别表示重建损失,边缘损失;重建损失:第一个损失为重建损失:式中c,h,w为高分分辨率图像i
hr
的长,宽,高,利用l1损失,它已被证明比l2损失对性能更尖锐,更容易收敛;梯度损失:为了生成可靠的高分辨率图像,将图像梯度图引入了图像超分辨率方法,图像梯度图指定了图像中颜色的方向变化,这对应于高频图像的细节,此外,梯度图表示图像细节的位置和大小,超分辨率图像在梯度图的引导下明确地恢复这些高频部分,正则化方法引入了额外的基于梯度的约束条件,以帮助恢复高频细节,正确恢复图像,边缘和纹理应该特别真实,采用图像梯度作为损失函数的正则化项:l
edge
=||g(i
sr
)-g(i
hr
)||2式中,g(
·
)为梯度检测器,g(i
sr
)为超分辨率图像的梯度图,g(i
hr
)为高分辨率图像的梯度图。
技术总结本发明涉及一种基于细节信息渐近恢复的图像超分辨率重建方法,属于图像超分辨率重建技术领域。该方法包括:针对基于学习的图像超分辨率重建算法中存在边缘信息丢失、易产生视觉伪影等问题。本发明首先对SR网络中边缘特征通过特征对齐模块和注意力模块分别将边缘特征迁移到SR网络和保留信息量多的特征,抑制信息量少的特征;再对上下文特征增强模块和特征细化模块融合网络不同深度的特征。其中,残差特征细化模块有效地帮助网络保留更丰富的图像内容和纹理细节并增强丢失的细节信息和上下文信息。最后获得超分辨率图像结果,对比现有的超分辨率方法,该方法显著提高超分辨率图像细节信息的性能。像细节信息的性能。像细节信息的性能。
技术研发人员:李凡 朱静
受保护的技术使用者:昆明理工大学
技术研发日:2022.06.23
技术公布日:2022/11/1