1.本发明涉及图像处理领域，具体涉及一种模拟视觉系统平行分级处理机制的轻量化轮廓检测方法。
背景技术：2.轮廓检测旨在提取一幅图像中背景和目标之间的分界线，通常作为多种中、高级计算机视觉任务的前端处理的关键步骤，是计算机视觉研究领域的基本任务之一。
3.轮廓检测的目的在于从自然图像中提取有意义的轮廓，从而辅助一些高级视觉任务的处理过程，是一项较为底层的视觉任务。得益于深度学习技术的发展，基于卷积神经网络的轮廓检测模型展现了较强性能。这些方法通过迁移学习对vgg或resnet等经典网络进行预训练得到编码网络，进而设计解码网络构成端到端的轮廓检测模型。这些模型通过在伯克利分割数据集(bsds500)上的实验证明了其性能。
4.目前基于卷积神经网络的轮廓检测模型虽然获得了较好的性能，但由于采用了vgg等经典网络，其训练参数量较大，计算量较高，不适用于一些计算资源匮乏的应用场景。
技术实现要素：5.本发明旨在提供一种模拟视觉系统平行分级处理机制的轻量化轮廓检测方法，该方法从增强轮廓检测深度学习模型的计算效率出发，根据生物视觉机制，设计了一种轻量化轮廓检测神经网络，该网络在使用极少参数的情况下并能够达到与常规编-解码轮廓检测网络相当的性能。
6.本发明的技术方案如下：
7.所述的模拟视觉系统平行分级处理机制的轻量化轮廓检测方法，包括以下步骤：
8.a、构建神经网络结构，神经网络结构具体如下：
9.编码网络、解码网络；
10.其中，编码网络包括x型细胞模型、y型细胞模型、简单细胞模型、复杂细胞模型；其中，简单细胞模型由方向选择性卷积模拟，复杂细胞模型由简单细胞模型的输出结果再次经过方向选择性卷积来模拟；
11.所述的解码网络由特征整合模块组成；
12.b、原始图像输入神经网络中，先经过1*1卷积对各个通道进行整合后，分别输入x型细胞模型、y型细胞模型中；x型细胞模型、y型细胞模型的输出结果分别经过1*1卷积对各个通道进行整合后，进行相加融合，相加融合结果分别输入简单细胞模型和解码网络中；简单细胞模型的输出结果经过1*1卷积对各个通道进行整合后，分别输入复杂细胞模型和解码网络中；复杂细胞模型的输出结果经过1*1卷积对各个通道进行整合后，输入解码网络；由解码网络解码后输出最终轮廓。
13.所述的x型细胞模型为：
14.[0015][0016][0017]
relu(a)＝max(0,a)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0018][0019]
其中，i∈{1,2,
…
,n}为通道标号；ω为可学习的权重参数，控制了周边机制对中心机制的抑制强度；与分别是中心机制与周边机制在第i个通道的可学习卷积核；是半径为rc的圆形；而是内部半径为rc外部半径为rs的圆环；mean(
·
)和std(
·
)分别是计算均值与方差的函数；fi代表输入特征的第i个通道，a代表占位符号，代表这个函数的自变量。
[0020]
所述的y型细胞模型为：
[0021][0022][0023][0024]
其中，i∈{1,2,
…
,n}为通道标号，ω控制了周边机制对中心机制的抑制强度，通过学习得到；与分别是中心机制响应和周边机制响应；为所有非线性亚单位的整体响应，由所有非线性亚单位响应取平均值得到；k代表非线性亚单位的个数；和分别为第j个非线性亚单位的可学习卷积核以及其单独作用的响应；负责将第j个非线性亚单位在所负责区域的响应收集到中心位置，其形状和大小与非线性亚单位所负责区域相同，为圆环状，宽度为w；fi代表输入特征的第i个通道。
[0025]
所述的方向选择性卷积为：
[0026][0027]
其中，maxpool(
·
)为2
×
2池化操作，为第j个方向(共4个方向)上的可学习卷积核。
[0028]
所述的解码网络由两个特征整合模块组成，简单细胞模型的输出结果和复杂细胞模型的输出结果经过分别经过1*1卷积对各个通道进行整合后，输入第一个特征整合模块，经第一个特征整合模块处理得到第一整合特征；第一整合特征和相加融合结果输入第二个特征整合模块，经第二个特征整合模块处理得到第二整合特征，第二整合特征即为最终轮廓。
[0029]
在特征整合模块中，输入特征中低分变率的特征经过3*3卷积后，进行实例归一化处理，然后经过relu函数处理，经置换卷积处理，得到置换处理结果；输入特征中高分变率的特征经经过3*3卷积后，进行实例归一化处理，然后经过relu函数处理后，与置换处理结果相加融合得到整合特征。
[0030]
本发明的方法在使用极少参数的情况下，能够取得与传统方法相当的性能。
[0031]
本发明以生物视觉机制为基础，建立了不同于常规方法的卷积模型，使神经网络对于特征的提取和处理更加高效，在实验中展现了较高的处理效率。
附图说明
[0032]
图1为本发明实施例1的神经网络的整体结构示意图；
[0033]
图2为本发明实施例1的解码网络的结构示意图；
[0034]
图3为本发明实施例1的整合特征模块的结构示意图。
具体实施方式
[0035]
下面结合附图和实施例具体说明本发明。
[0036]
实施例1
[0037]
本实施例提供的一种模拟视觉系统平行分级处理机制的轻量化轮廓检测方法，包括以下步骤：
[0038]
a、构建神经网络结构，神经网络结构具体如下：
[0039]
编码网络、解码网络；
[0040]
其中，编码网络包括x型细胞模型、y型细胞模型、简单细胞模型、复杂细胞模型；其中，简单细胞模型由方向选择性卷积模拟，复杂细胞模型由简单细胞模型的输出结果再次经过方向选择性卷积来模拟；
[0041]
所述的解码网络由特征整合模块组成；
[0042]
b、原始图像输入神经网络中，先经过1*1卷积对各个通道进行整合后，分别输入x型细胞模型、y型细胞模型中；x型细胞模型、y型细胞模型的输出结果分别经过1*1卷积对各个通道进行整合后，进行相加融合，相加融合结果分别输入简单细胞模型和解码网络中；简单细胞模型的输出结果经过1*1卷积对各个通道进行整合后，分别输入复杂细胞模型和解码网络中；复杂细胞模型的输出结果经过1*1卷积对各个通道进行整合后，输入解码网络；由解码网络解码后输出最终轮廓。
[0043]
所述的x型细胞模型为：
[0044][0045][0046][0047]
relu(a)＝max(0,a)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0048][0049]
其中，i∈{1,2,
…
,n}为通道标号；ω为可学习的权重参数，控制了周边机制对中心机制的抑制强度；与分别是中心机制与周边机制在第i个通道的可学习卷积核；是半径为rc(本实施例设置为5)的圆形；而是内部半径为rc外部半径为rs(本实施例设置为21)的圆环；mean(
·
)和std(
·
)分别是计算均值与方差的函数；fi代表输入特征的第i个
通道，a代表占位符号，代表这个函数的自变量。
[0050]
所述的y型细胞模型为：
[0051][0052][0053][0054]
其中，i∈{1,2,
…
,n}为通道标号，ω控制了周边机制对中心机制的抑制强度，通过学习得到；与分别是中心机制响应和周边机制响应；为所有非线性亚单位的整体响应，由所有非线性亚单位响应取平均值得到；k代表非线性亚单位的个数；和分别为第j个非线性亚单位的可学习卷积核以及其单独作用的响应；负责将第j个非线性亚单位在所负责区域的响应收集到中心位置，其形状和大小与非线性亚单位所负责区域相同，为圆环状，宽度为w；fi代表输入特征的第i个通道。
[0055]
所述的方向选择性卷积为：
[0056][0057]
其中，maxpool(
·
)为2
×
2池化操作，为第j个方向(共4个方向)上的可学习卷积核。
[0058]
所述的解码网络由两个特征整合模块组成，简单细胞模型的输出结果和复杂细胞模型的输出结果经过分别经过1*1卷积对各个通道进行整合后，输入第一个特征整合模块，经第一个特征整合模块处理得到第一整合特征；第一整合特征和相加融合结果输入第二个特征整合模块，经第二个特征整合模块处理得到第二整合特征，第二整合特征即为最终轮廓。
[0059]
在特征整合模块中，输入特征中低分变率的特征经过3*3卷积后，进行实例归一化处理，然后经过relu函数处理，经置换卷积处理，得到置换处理结果；输入特征中高分变率的特征经经过3*3卷积后，进行实例归一化处理，然后经过relu函数处理后，与置换处理结果相加融合得到整合特征。
[0060]
实施例2
[0061]
对于最终的轮廓图进行定量的性能评估，我们除了采用和文献1中一样的性能测量标准ods外，还采用参数量params和浮点计算量flops。ods越高表示模型精度越好。其中ods计算方法为
[0062][0063][0064][0065]
其中tp表示被正确的检测到的轮廓像素，fp表示非轮廓像素被检测为轮廓像素的
个数，fn表示轮廓像素被检测为非轮廓像素的个数。params为模型中可学习参数的个数，flops是对模型处理数据时浮点运算次数的计，对于没有偏置项的卷积层，计算方法为
[0066]
flops＝2
×ci
×
k2×h×w×
c0ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
[0067]
其中ci为输入通道数，h和w为输入特征的高和宽，c0为输出通道数。
[0068]
文献1：he j,zhang s,yang m,et al.bi-directional cascade network for perceptual edge detection[c].proceedings of the ieee conference on computer vision and pattern recognition,long beach,2019:3828-3837.
[0069]
文献1与实施例1评估时所用参数都是相同的。
[0070]
表1中展示了文献1与实施例1在伯克利分割数据集(bsds500)上的评估结果。实施例1相较于文献1拥有更小的参数量params，更少的计算量flops，却有更高的ods。
[0071]
表1 bsds500数据集定量评估结果
[0072]
技术特征：1.一种模拟视觉系统平行分级处理机制的轻量化轮廓检测方法，其特征在于包括以下步骤：a、构建神经网络结构，神经网络结构具体如下：编码网络、解码网络；其中，编码网络包括x型细胞模型、y型细胞模型、简单细胞模型、复杂细胞模型；其中，简单细胞模型由方向选择性卷积模拟，复杂细胞模型由简单细胞模型的输出结果再次经过方向选择性卷积来模拟；所述的解码网络由特征整合模块组成；b、原始图像输入神经网络中，先经过1*1卷积对各个通道进行整合后，分别输入x型细胞模型、y型细胞模型中；x型细胞模型、y型细胞模型的输出结果分别经过1*1卷积对各个通道进行整合后，进行相加融合，相加融合结果分别输入简单细胞模型和解码网络中；简单细胞模型的输出结果经过1*1卷积对各个通道进行整合后，分别输入复杂细胞模型和解码网络中；复杂细胞模型的输出结果经过1*1卷积对各个通道进行整合后，输入解码网络；由解码网络解码后输出最终轮廓。2.如权利要求1所述的模拟视觉系统平行分级处理机制的轻量化轮廓检测方法，其特征在于：所述的x型细胞模型为：型细胞模型为：型细胞模型为：relu(a)＝max(0,a)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)其中，i∈{1,2,
…
,n}为通道标号；ω为可学习的权重参数，控制了周边机制对中心机制的抑制强度；与分别是中心机制与周边机制在第i个通道的可学习卷积核；是半径为r
c
的圆形；而是内部半径为r
c
外部半径为r
s
的圆环；mean(
·
)和std(
·
)分别是计算均值与方差的函数；f
i
代表输入特征的第i个通道，a代表占位符号，代表这个函数的自变量。3.如权利要求1所述的模拟视觉系统平行分级处理机制的轻量化轮廓检测方法，其特征在于：所述的y型细胞模型为：所述的y型细胞模型为：所述的y型细胞模型为：
其中，i∈{1,2,
…
,n}为通道标号，ω控制了周边机制对中心机制的抑制强度，通过学习得到；与分别是中心机制响应和周边机制响应；为所有非线性亚单位的整体响应，由所有非线性亚单位响应取平均值得到；k代表非线性亚单位的个数；与分别是中心机制与周边机制在第i个通道的可学习卷积核；是半径为r
c
的圆形；而是内部半径为r
c
外部半径为r
s
的圆环；和分别为第j个非线性亚单位的可学习卷积核以及其单独作用的响应；负责将第j个非线性亚单位在所负责区域的响应收集到中心位置，其形状和大小与非线性亚单位所负责区域相同，为圆环状，宽度为w；f
i
代表输入特征的第i个通道。4.如权利要求1所述的模拟视觉系统平行分级处理机制的轻量化轮廓检测方法，其特征在于：所述的方向选择性卷积为：其中，maxpool(
·
)为2
×
2池化操作，为第j个方向(共4个方向)上的可学习卷积核。5.如权利要求1所述的模拟视觉系统平行分级处理机制的轻量化轮廓检测方法，其特征在于：所述的解码网络由两个特征整合模块组成，简单细胞模型的输出结果和复杂细胞模型的输出结果经过分别经过1*1卷积对各个通道进行整合后，输入第一个特征整合模块，经第一个特征整合模块处理得到第一整合特征；第一整合特征和相加融合结果输入第二个特征整合模块，经第二个特征整合模块处理得到第二整合特征，第二整合特征即为最终轮廓。6.如权利要求5所述的模拟视觉系统平行分级处理机制的轻量化轮廓检测方法，其特征在于：在特征整合模块中，输入特征中低分变率的特征经过3*3卷积后，进行实例归一化处理，然后经过relu函数处理，经置换卷积处理，得到置换处理结果；输入特征中高分变率的特征经经过3*3卷积后，进行实例归一化处理，然后经过relu函数处理后，与置换处理结果相加融合得到整合特征。
技术总结本发明旨在提供一种模拟视觉系统平行分级处理机制的轻量化轮廓检测方法，包括以下步骤：A、构建神经网络结构，神经网络结构具体如下：编码网络、解码网络；B、原始图像输入神经网络中，先经过1*1卷积后，分别输入X型细胞模型、Y型细胞模型中；X型细胞模型、Y型细胞模型的输出结果分别经过1*1卷积后，进行相加融合，相加融合结果分别输入简单细胞模型和解码网络中；简单细胞模型的输出结果经过1*1卷积后，分别输入复杂细胞模型和解码网络中；复杂细胞模型的输出结果经过1*1卷积后，输入解码网络；由解码网络解码后输出最终轮廓。本发明在使用极少参数的情况下并能够达到与常规编-解码轮廓检测网络相当的性能。测网络相当的性能。
技术研发人员：林川 王若璞 徐航 黄凯健 王衢 古家虹 潘勇才 韦艳霞
受保护的技术使用者：广西科技大学
技术研发日：2022.07.25
技术公布日：2022/11/1
