基于神经结构搜索和雨密度引导的单幅图像去雨方法

1.本发明涉及计算机视觉和图像恢复领域，具体地说，涉及一种基于神经结构搜索和雨密度引导的单幅图像去雨方法。


背景技术：

2.近年来，随着人工智能和数字化的不断发展，摄影设备(如手机、监控摄像头、专业照相机、航拍设备等)开始遍布人们生活的方方面面，随之而来的是对图像处理技术的需求。其中，雨天作为一种常见的天气气候，经常会导致摄影设备拍摄的图像出现失真、模糊等退化现象，导致后续的图像应用无法进行。为此，催生了图像去雨的需求，特别是单幅图像去雨技术，由于其无法利用视频帧间丰富的信息，较之视频去雨，难度更高。
3.在单幅图像去雨方法中，可以大致将它们分为两类，一类是基于稀疏表示、高斯混合模型、引导滤波的传统方法，这类方法依托物理模型和数学推导求解，使用先验对雨条纹和背景图像进行建模，并通过将整个过程转化为迭代过程求解。然而，简单的建模会导致模型难以应对复杂的场景，过于复杂的建模又会导致求解的难度呈几何系数上升且效率低下。这些局限性阻碍了传统方法在实际场景中的应用。另一类是基于深度学习的方法，它倾向于直接构建网络框架，通过数据驱动的方式来学习有雨图像到无雨背景图像的映射关系，通常还会通过施加其他约束来解决去雨过程中模型精度的问题，在应对复杂场景和效率方面都比传统方法更具优势。
4.然而在实践中，几乎所有现有的基于深度学习的单幅图像去雨方法的网络结构都依赖于人工设计，受到诸多的限制：1、寻找一种有效的网络结构需要耗费大量人力，而图像恢复性能对网络结构非常敏感。特别是，多尺度网络通常由多个子网络组成，这进一步增加了手工设计的难度；2、近来许多研究人员提出利用雨密度图作为引导进行单幅图像去雨。然而这些方法不仅需要手工设计单幅图像去雨网络，而且还需要手工设计雨密度图网络，这进一步加大了工作量；3、多尺度网络需要考虑尺度融合的策略，过早或者过晚融合不同尺度的信息都会对网络性能造成很大的影响。


技术实现要素：

5.本发明的目的在于克服现有技术需繁琐且耗时的神经网络结构设计，提供一种基于神经结构搜索和雨密度引导的单幅图像去雨方法，神经结构搜索能够自适应地搜索出适合当前去雨任务的网络结构，同时引入雨密度推理网络作为引导条件，引导单幅图像去雨网络进行图像去雨，提高恢复图像质量。
6.为了实现上述目的，本发明所采用的技术方案如下：
7.一种基于神经结构搜索和雨密度引导的单幅图像去雨方法，包括以下步骤：
8.s1.确定雨密度推理网络和单幅图像去雨网络的结构搜索空间，构建雨密度推理网络和单幅图像去雨网络；
9.s2.将有雨图像输入雨密度推理网络，自动搜索雨密度推理网络的网络结构；
10.s3.冻结雨密度推理网络的结构参数，将有雨图像输入雨密度推理网络，训练雨密度推理网络的网络权重；
11.s4.冻结雨密度推理网络的网络权重，将有雨图像输入雨密度推理网络，雨密度推理网络输出雨密度图，将有雨图像和雨密度图输入单幅图像去雨网络，自动搜索单幅图像去雨网络的网络结构；
12.s5.冻结单幅图像去雨网络的结构参数，将有雨图像和雨密度图输入单幅图像去雨网络，训练单幅图像去雨网络的网络权重，冻结单幅图像去雨网络的网络权重，获得去雨模型。
13.进一步，雨密度推理网络和单幅图像去雨网络均利用神经结构搜索方法自动搜索网络结构。
14.进一步，雨密度推理网络包括平行模块p、融合模块f和转换模块t，单幅图像去雨网络包括平行模块p、融合模块f、转换模块t和注意力模块a。
15.进一步，雨密度推理网络的结构搜索空间为平行模块p和融合模块f组成的多尺度细胞单元c，单幅图像去雨网络的结构搜索空间由平行模块p和融合模块f组成的多尺度细胞单元c和注意力模块a共同组成。
16.进一步，多尺度细胞单元c中平行排布平行模块p和融合模块f，训练时多尺度细胞单元c的输出是平行模块p和融合模块f的加权和，多尺度细胞单元c的输出计算公式如下：
[0017][0018]
其中，表示转换模块t输出的一组特征，ω
p
、ωf分别表示平行模块p和融合模块f的权重，ω
p
、ωf为初始化为0-1之间的随机数。
[0019]
进一步，注意力模块a包括多个注意力细胞单元a
cell
，注意力细胞单元a
cell
中并联有n种不同的注意力操作，训练时注意力细胞单元a
cell
中的输出为各个注意力操作输出的加权和，注意力细胞单元a
cell
的输出计算公式如下：
[0020][0021]
其中，n表示不同注意力操作的个数，fi表示将输入特征f在通道维度上平均分割成s份取第i个分割特征，tk表示第k种注意力操作，αk是第k种注意力操作的权重参数，yi为第i个输出特征。
[0022]
进一步，平行模块p对不同分辨率的特征进行相同的卷积运算，输入特征数量与输出特征数量一致，平行模块p用公式表示如下：
[0023]
[0024]
其中，表示该特征长宽尺度为输入有雨图像的通道维度为有雨图像2n倍；mlp(
·
)表示多层感知器。
[0025]
进一步，融合模块f将不同分辨率的特征进行相互融合，若是分辨率大的特征融合到分辨率小的特征，则对分辨率大的特征使用步长为2卷积核大小为3x3的卷积运算进行下采样；对于尺度差异为2n倍的下采样(n》1),使用n次卷积进行下采样，前n-1次卷积时保持特征通道数不变，最后一次卷积将输出特征通道数设置为分辨率小的特征的通道数；若是分辨率小的特征融合到分辨率大的特征，先对分辨率小的特征采用卷积核大小为1x1的卷积运算对特征通道数进行调整，然后采用最邻近插值方法进行上采样。
[0026]
进一步，每个尺度的最后输出由所有已经经过尺度变化的其它尺度的特征与该尺度特征进行相加，然后通过relu函数激活后得到，融合模块f用公式表示如下：
[0027][0028]
其中，t
up
(
·
)表示最邻近插值方法进行的上采样操作，t
down
(
·
)表示步长为2卷积核大小为3x3的卷积运算进行的下采样操作，add(
·
)表示像素相加操作。
[0029]
进一步，转化模块t通过卷积运算将输入特征在长宽尺度上缩放至原来的在通道维度上增加一倍，转化模块t的计算过程表示如下：
[0030]
f'＝f,
[0031][0032][0033][0034][0035]
其中，表示该特征在长宽尺度上为原始特征的在通道维度上是原始特征的2n倍；fc(
·
)表示步长为2的卷积操作；输出新增的特征由输入中的特征经过卷积得到，每经过一次转换模块t只增加一个不同分辨率的特征，即转换模块t只从生成
其余特征由输入特征直接得到。
[0036]
与现有技术相比，本发明具有以下有益效果：
[0037]
1.本发明同时在雨密度推理网络和单幅图像去雨网络的网络结构设计上，采用神经结构搜索的思想，无需手工设计网络结构。相较于传统的基于实验和直觉设计的网络结构，基于数据驱动生成的网络结构要更适合当前数据和任务，可以一定程度上缓解繁琐且耗时的神经网络结构设计。
[0038]
2.本发明在训练过程中充分利用了数据库中有雨图像与无雨图像联合产生的雨条纹密度信息，利用神经结构搜索思想训练得到可以有效提取有雨图像中雨密度信息的雨密度推理网络。雨密度推理网络生成的雨密度图中包含的雨条纹密度信息可以指导单幅图像去雨网络更精确的执行有雨图像去雨任务。
[0039]
3.本发明在设计单幅图像去雨网络和雨密度推理网络的结构搜索空间时，根据任务的区别，在任务目标较为简单的雨密度推理网络中不使用注意力模块a，从而降低模型复杂度。
附图说明
[0040]
图1为本发明基于神经结构搜索和雨密度引导的单幅图像去雨方法的流程示意图。
[0041]
图2为本发明实施例中多尺度细胞单元c的结构框图。
[0042]
图3为本发明实施例中注意力细胞单元a
cell
的结构框图。
[0043]
图4为本发明实施例中注意力模块a的结构框图。
[0044]
图5为本发明基于神经结构搜索和雨密度引导的单幅图像去雨方法的整体网络框图。
具体实施方式
[0045]
下面结合附图和具体实施例对本发明基于神经结构搜索和雨密度引导的单幅图像去雨方法作进一步说明。
[0046]
请参阅图1，本发明公开了一种基于神经结构搜索和雨密度引导的单幅图像去雨方法，包括以下步骤；s1.确定雨密度推理网络和单幅图像去雨网络的结构搜索空间，构建雨密度推理网络和单幅图像去雨网络；s2.将有雨图像输入雨密度推理网络，自动搜索雨密度推理网络的网络结构；s3.冻结雨密度推理网络的结构参数，将有雨图像输入雨密度推理网络，训练雨密度推理网络的网络权重；s4.冻结雨密度推理网络的网络权重，将有雨图像输入雨密度推理网络，雨密度推理网络输出雨密度图，将有雨图像和雨密度图输入单幅图像去雨网络，自动搜索单幅图像去雨网络的网络结构；s5.冻结单幅图像去雨网络的结构参数，将有雨图像和雨密度图输入单幅图像去雨网络，训练单幅图像去雨网络的网络权重，冻结单幅图像去雨网络的网络权重，获得去雨模型。将有雨图像输入最终的去雨模型，就能实现单幅图像去雨效果。
[0047]
本发明同时在雨密度推理网络和单幅图像去雨网络的网络结构设计上，引入了神经结构搜索的思想，使网络自动学习不同的网络结构，能有效应对不同要求的图像处理任
务。为了更加精确的处理有雨图像中的雨条纹，引入了基于神经结构搜索的雨密度推理网络，通过二进制雨密度图指导单幅图像去雨网络实现更加精确的去雨效果。
[0048]
具体地，获取雨密度推理网络训练需要的真实雨密度图。真实雨密度图获取的方式如下：
[0049]
现有数据库如rain800、rian1400等均提供了有雨-无雨图像对用于训练。根据有雨图像o＝(o
i,j
)n×n和无雨背景图像b＝(b
i,j
)n×n之间的关系，得到真实雨密度图m＝(m
i,j
)n×n，真实雨密度图m＝(m
i,j
)n×n表示为：
[0050][0051]
其中，m
i,j
表示雨密度图m中坐标(i,j)处的像素点，o
i,j
表示有雨图像o中坐标(i,j)处的像素点，b
i,j
表示无雨背景图像b中坐标(i,j)处的像素点。图像的长和宽均为n个像素点。雨密度图m表示了有雨图像和无雨图像之间的差异，指示雨条纹在图像中出现的位置，根据图像中不同区域出现的雨条纹数量可以得到该区域的雨条纹密度信息，以引导随后的单幅图像去雨网络进行更加精确的去雨。
[0052]
(1)确定雨密度推理网络的结构搜索空间
[0053]
在雨密度推理网络中，使用多尺度网络结构来保留更多的图像信息，并利用神经结构搜索的思想，让网络根据当前任务自行判断多尺度信息融合的时机，从而获得更高的图像恢复性能。具体来说，在雨密度推理网络中，方法如下：
[0054]
首先，利用简单的mlp(multi-layer perceptron，多层感知器)提取图像特征。对于每一张rgb格式的输入有雨图像x，提取图像特征的方法为：
[0055]fin
＝mlp(x)
[0056]
其中，f
in
表示经过mlp网络后提取的特征，其大小与x保持一致，维度从rgb的3维提高到32维。
[0057]
随后，将得到的特征f
in
输入至一个转化模块t，从而得到多尺度特征。如图2所示，转化模块t通过卷积运算将输入特征在长宽尺度上缩放至原来的在通道维度上增加一倍，从而增加了一个不同分辨率的特征。转换模块t的计算过程可表示为：
[0058]
f'＝f,
[0059][0060][0061][0062][0063]
其中，表示该特征在长宽尺度上为原始特征的在通道维度上是原始特征的2n倍；fc(
·
)表示步长为2的卷积操作；输出新增的特征由输入中的特征经过卷积
得到，每经过一次转换模块t只增加一个不同分辨率的特征，即转换模块t只从生成其余特征由输入特征直接得到。
[0064]
在得到多尺度特征后，将其输入到由平行模块p和融合模块f组成的多尺度细胞单元c中。如图2所示，平行模块p和融合模块f在多尺度细胞单元c中平行分布，在训练阶段，为每个平行模块p和融合模块f分别赋予不同的权重ω
p
、ωf，多尺度细胞单元c中每一步的输出都是平行模块p和融合模块f的加权和，多尺度细胞单元c的输出计算公式如下：
[0065][0066]
其中，表示转换模块t的特征输出，ω
p
和ωf分别表示平行模块p和融合模块f的权重，ω
p
和ωf为初始化为0-1之间的随机数。训练完成后，根据平行模块p的权重ω
p
和融合模块f的权重ωf的大小，选择权重大的网络通道(平行模块p或融合模块f)作为整体网络的一部分。
[0067]
具体地，对于每个平行模块p和融合模块f，多尺度特征在输入与输出后保持尺度和通道维度不变。不同的是，平行模块p中不同分辨率的特征不发生信息交换，当前尺度的输出特征仅取决于相同尺度的输入特征，输入经过mlp(多层感知器)的运算后直接得到输出。平行模块p用公式可表示为：
[0068][0069]
其中，表示该特征长宽尺度为输入有雨图像的通道维度为有雨图像2n倍；mlp(
·
)表示多层感知器。
[0070]
而融合模块f当前尺度的输出特征为所有尺度的输入特征的融合。若分辨率大的特征融合到分辨率小的特征，则对分辨率大的特征使用步长为2卷积核大小为3x3的卷积运算进行下采样。对于尺度差异为2n倍的下采样(n》1),使用n次卷积进行下采样，前n-1次卷积时保持特征通道数不变，最后一次卷积将输出特征通道数设置为分辨率小的特征的通道数。若是分辨率小的特征融合到分辨率大的特征，先对分辨率小的特征采用卷积核大小为1x1的卷积运算对特征通道数进行调整，然后采用最邻近插值方法进行上采样。
[0071]
每个尺度的最后输出由所有已经经过尺度变化的其它尺度的特征与该尺度特征进行相加，然后通过relu函数激活后得到。融合模块f用公式可表示为：
[0072][0073]
其中，t
up
(
·
)表示最邻近插值方法进行的上采样操作，t
down
(
·
)表示步长为2卷积核大小为3x3的卷积运算进行的下采样操作，add(
·
)表示像素相加操作。
[0074]
如图2所示，每个多尺度细胞单元c中包含平行排布的4个平行模块p和4个融合模块f。如图5所示，雨密度推理网络包含多个多尺度细胞单元c，多尺度细胞单元c之间使用转换模块t进行连接。因此，随着多尺度细胞单元c增多，相应的不同尺度的特征也增多。第一次输入的单尺度特征经过转换模块t后，其特征的通道维度扩展为[32,64]，第二次输入的多尺度特征经过转换模块t后，特征的通道维度扩展为[32,64，128]，第三次输入的多尺度特征经过转换模块t后，特征的通道维度扩展为[32,64，128，256]。经过三次转换模块t后，特征尺度分别为原始图像的1，
[0075]
在经过最后一个多尺度细胞单元c后，网络所产生的多尺度特征输入特征融合模块f，取输出多尺度特征中通道数为32的特征作为输出，然后将该输出通过一个mlp(多层感知器)网络得到雨密度图m
out
。训练时雨密度推理网络的损失l为：
[0076]
l＝mse(m
out
,m)
[0077]
其中，m
out
表示雨密度推理网络推理的雨密度图，m表示真实的雨密度图，mse表示均方损失。
[0078]
采用反向传播和梯度下降法训练网络，学习率设为0.001，观察雨密度推理网络的损失l稳定时停止训练，得到训练完成的模型。
[0079]
雨密度推理网络结构搜索训练完成后，对于每个多尺度细胞单元c中的平行模块p和融合模块f，比较其权重大小，并将其二值化为0或1：
[0080][0081][0082]
根据网络结构权重{ω
p
,ωf}，得到了最终的结构参数{γ
p
,γf}，并将其冻结，从而产生搜索得到的雨密度推理网络，用公式表示如下：
[0083][0084]
当γ
p
为1时，γf为0，表示雨密度推理网络在此处路径选择中选择平行模块p；当γ
p
为0时，γf为1，表示雨密度推理网络在此处路径选择中选择融合模块f。
[0085]
至此，雨密度推理网络的网络结构搜索完毕，再次输入有雨图像对冻结结构后的雨密度推理网络进行训练，采用mse损失和和梯度下降法训练网络中的权重，得到最终雨密度推理网络模型。
[0086]
(2)确定单幅图像去雨网络的结构搜索空间
[0087]
单幅图像去雨网络与雨密度推理网络类似，均采用神经结构搜索方法进行网络结构搜索。但由于网络的输出为rgb图像，相较于简单的一维的二进制雨密度图，无疑要更加复杂。如图5所示，在雨密度推理网络中的每个多尺度细胞单元c的后面引入一个注意力模块a来得到单幅图像去雨网络，多尺度细胞单元c输出的一组多尺度特征中的每一个尺度的特征都会独立的经过注意力模块a增强。
[0088]
如图4所示，注意力模块a将输入特征f
in
沿通道平均分割s份，得到一组分割特征{f1,f2,...,fs}。每个分割特征fi通过一个注意力细胞单元a
cell
。注意力细胞单元a
cell
的结构如图3所示，注意力细胞单元a
cell
中并联有n种不同的注意力操作，训练时注意力细胞单元a
cell
的输出特征是所有注意力操作输出特征的加权和，注意力细胞单元a
cell
的输出用公式表示如下：
[0089][0090]
其中，n表示不同注意力操作的个数，fi表示第i个分割特征，tk表示第k种注意力操作，αk是第k种注意力操作的权重参数，yi为第i个输出特征。
[0091]
在训练时，使用softmax函数将权重参数αk归一化到0-1之间，用公式表示如下：
[0092][0093]
其中，αk表示第k种注意力操作的权重参数，βk表示归一化后的权重参数αk取值。
[0094]
训练完成后，除取值最大的权重参数被赋值为1外，其余权重参数均赋值为0，从而实现注意力操作的选择，用公式表示如下：
[0095][0096]
注意力模块a的整体流程如图4所示，对于一组分割特征{f1,f2,...,fs}，首先获取相应的一组中间特征{u1,u2,...,us}。
[0097]
对于中间特征u1，它由分割特征f1输入到注意力细胞单元a
cell
计算得出。对于中间特征u2，它的计算除了需要分割特征f2外，还依赖于前面计算得到的中间特征u1，即分别将分割特征f2和中间特征u1输入注意力细胞单元a
cell
中，将二者的输出结果加和即可得到中间特征u2。同样，中间特征u3的计算除了依赖分割特征f3外，还依赖于前面计算得到的中间特征u1和中间特征u2，即将分割特征f3、中间特征u1和中间特征u2分别输入注意力细胞单元a
cell
中，将三者的输出结果加和即可得到中间特征u3，依此类推，生成一组中间特征{u1,u2,...,us}的过程用公式表示如下：
[0098]
[0099]
得到中间特征{u1,u2,...,us}后，分别融合分割特征{f1,f2,...,fs}和中间特征{u1,u2,...,us}。对于一组分割特征{f1,f2,...,fs}，将分割特征f1,f2,
…
,fs相加，然后将相加后的结果输入senet得到输出特征f
sum
。用公式表示如下：
[0100][0101]
对于一组中间特征{u1,u2,
…
,us}，将u1,u2,
…
,us和f
sum
沿通道维度合并形成新的特征u
sum
，特征u
sum
通过卷积操作将通道数还原到与输入特征f
in
一致，并将二者相加，其结果输入到senet后得到最终的输出特征f
out
，用公式表示如下：
[0102]fout
＝senet(conv(cat(u1,u2,
…
,us,f
sum
)))
[0103]
单幅图像去雨网络使用mse(均方误差)和感知损失作为网络的总损失：
[0104][0105]
其中，y
′
表示单幅图像去雨网络的输出结果，b表示真实的无雨背景图，l
p
表示感知损失。同雨密度推理网络一样，在经过最后一个多尺度细胞单元c后，网络所产生的多尺度特征输入特征融合模块f，取通道数为32的特征作为输出，将其输入mlp(多层感知器)网络后得到最后的去雨输出图片y
′
。
[0106]
(3)训练策略
[0107]
为了使网络训练趋于平稳，在网络结构搜索阶段，雨密度推理网络和单幅图像去雨网络在最初的10个epoch均不将网络结构权重参数ω加入到反向传播中进行更新，而是保持最初的随机初始化数值。在经过10个epoch的训练后，网络趋于较稳定的训练趋势，此时再将网络结构权重参数ω加入到反向传播中进行更新，避免网络在训练过程中出现大幅震荡。
[0108]
综上所述，本发明具有以下有益效果：
[0109]
1.本发明同时在雨密度推理网络和单幅图像去雨网络的网络结构设计上采用神经结构搜索的思想，无需手工设计网络结构。相较于传统的基于实验和直觉设计的网络结构，基于数据驱动生成的网络结构要更适合当前数据和任务，可以一定程度上缓解繁琐且耗时的神经网络结构设计。
[0110]
2.本发明在训练过程中充分利用了数据库中有雨图像与无雨图像联合产生的雨条纹密度信息，利用神经结构搜索思想训练得到可以有效提取有雨图像中雨密度信息的雨密度推理网络。雨密度推理网络生成的雨密度图中包含的雨条纹密度信息可以指导单幅图像去雨网络更精确地执行有雨图像去雨任务。
[0111]
3.本发明在设计单幅图像去雨网络和雨密度推理网络的结构搜索空间时，根据任务的区别，在任务目标较为简单的雨密度推理网络中不使用注意力模块a，从而降低模型复杂度。
[0112]
上述说明是针对本发明较佳可行实施例的详细说明，但实施例并非用以限定本发明的专利申请范围，凡本发明所揭示的技术精神下所完成的同等变化或修饰变更，均应属于本发明所涵盖专利范围。

技术特征：
1.一种基于神经结构搜索和雨密度引导的单幅图像去雨方法，其特征在于，包括以下步骤：s1.确定雨密度推理网络和单幅图像去雨网络的结构搜索空间，构建雨密度推理网络和单幅图像去雨网络；s2.将有雨图像输入雨密度推理网络，雨密度推理网络自动搜索网络结构；s3.冻结雨密度推理网络的结构参数，将有雨图像输入雨密度推理网络，训练雨密度推理网络的网络权重；s4.冻结雨密度推理网络的网络权重，将有雨图像输入雨密度推理网络，雨密度推理网络输出雨密度图，将有雨图像和雨密度图输入单幅图像去雨网络，单幅图像去雨网络自动搜索网络结构；s5.冻结单幅图像去雨网络的结构参数，将有雨图像和雨密度图输入单幅图像去雨网络，训练单幅图像去雨网络的网络权重，冻结单幅图像去雨网络的网络权重，获得去雨模型。2.如权利要求1的基于神经结构搜索和雨密度引导的单幅图像去雨方法，其特征在于，雨密度推理网络和单幅图像去雨网络均利用神经结构搜索方法自动搜索网络结构。3.如权利要求1的基于神经结构搜索和雨密度引导的单幅图像去雨方法，其特征在于，雨密度推理网络包括平行模块p、融合模块f和转换模块t，单幅图像去雨网络包括平行模块p、融合模块f、转换模块t和注意力模块a。4.如权利要求3的基于神经结构搜索和雨密度引导的单幅图像去雨方法，其特征在于，雨密度推理网络的结构搜索空间为平行模块p和融合模块f组成的多尺度细胞单元c，单幅图像去雨网络的结构搜索空间由平行模块p和融合模块f组成的多尺度细胞单元c和注意力模块a共同组成。5.如权利要求4的基于神经结构搜索和雨密度引导的单幅图像去雨方法，其特征在于，多尺度细胞单元c中平行排布平行模块p和融合模块f，训练时多尺度细胞单元c的输出是平行模块p和融合模块f的加权和，多尺度细胞单元c的输出计算公式如下：其中，表示转换模块t输出的一组特征，ω
p
和ω
f
分别表示平行模块p和融合模块f的权重，ω
p
、ω
f
为初始化为0-1之间的随机数。6.如权利要求4的基于神经结构搜索和雨密度引导的单幅图像去雨方法，其特征在于，注意力模块a包括多个注意力细胞单元a
cell
，注意力细胞单元a
cell
中并联有n种不同的注意力操作，训练时注意力细胞单元a
cell
中的输出为各个注意力操作输出的加权和，注意力细胞单元a
cell
的输出计算公式如下：其中，n表示不同注意力操作的个数，f
i
表示将输入特征f在通道维度上平均分割成s份取第i个分割特征，t
k
表示第k种注意力操作，α
k
是第k种注意力操作的权重参数，y
i
为第i个输出特征。
7.如权利要求4的基于神经结构搜索和雨密度引导的单幅图像去雨方法，其特征在于，平行模块p对不同分辨率的特征进行相同的卷积运算，输入特征数量与输出特征数量一致，平行模块p用公式表示如下：其中，表示该特征长宽尺度为输入有雨图像的通道维度为有雨图像2n倍；mlp(
·
)表示多层感知器。8.如权利要求4的基于神经结构搜索和雨密度引导的单幅图像去雨方法，其特征在于，融合模块f将不同分辨率的特征进行相互融合，若是分辨率大的特征融合到分辨率小的特征，则对分辨率大的特征使用步长为2卷积核大小为3x3的卷积运算进行下采样；对于尺度差异为2n倍的下采样(n>1),使用n次卷积进行下采样，前n-1次卷积时保持特征通道数不变，最后一次卷积将输出特征通道数设置为分辨率小的特征的通道数；若是分辨率小的特征融合到分辨率大的特征，先对分辨率小的特征采用卷积核大小为1x1的卷积运算对特征通道数进行调整，然后采用最邻近插值方法进行上采样。9.如权利要求8的基于神经结构搜索和雨密度引导的单幅图像去雨方法，其特征在于，每个尺度的最后输出由所有已经经过尺度变化的其它尺度的特征与该尺度特征进行相加，然后通过relu函数激活后得到，融合模块f用公式表示如下：其中，t
up
(
·
)表示最邻近插值方法进行的上采样操作，t
down
(
·
)表示步长为2卷积核大小为3x3的卷积运算进行的下采样操作，add(
·
)表示像素相加操作。10.如权利要求4的基于神经结构搜索的雨密度引导的单幅图像去雨方法，其特征在于，转化模块t通过卷积运算将输入特征在长宽尺度上缩放至原来的在通道维度上增加一倍，转化模块t的计算过程表示如下：
其中，表示该特征在长宽尺度上为原始特征的在通道维度上是原始特征的2
n
倍；f
c
(
·
)表示步长为2的卷积操作；输出新增的特征由输入中的特征经过卷积得到，每经过一次转换模块t只增加一个不同分辨率的特征，即转换模块t只从生成其余特征由输入特征直接得到。

技术总结
本发明公开了一种基于神经结构搜索和雨密度引导的单幅图像去雨方法，包括以下步骤：S1.确定雨密度推理网络和单幅图像去雨网络的结构搜索空间，构建雨密度推理网络和单幅图像去雨网络；S2.将有雨图像输入雨密度推理网络，雨密度推理网络自动搜索网络结构；S3.冻结雨密度推理网络的结构参数，将有雨图像输入雨密度推理网络，训练雨密度推理网络的网络权重；S4.将有雨图像输入雨密度推理网络，雨密度推理网络输出雨密度图，将有雨图像和雨密度图输入单幅图像去雨网络，单幅图像去雨网络自动搜索网络结构；S5.冻结单幅图像去雨网络的结构参数，将有雨图像和雨密度图输入单幅图像去雨网络，训练单幅图像去雨网络的网络权重，冻结其网络权重，获得去雨模型。获得去雨模型。获得去雨模型。


技术研发人员：傅予力 霍万良 蔡磊 向友君 夏君君 张颖
受保护的技术使用者：华南理工大学
技术研发日：2022.06.14
技术公布日：2022/11/1