小样本循环一致性引导的桥梁多类型损伤通用识别方法及系统

专利2024-11-25  95



1.本发明涉及智慧基础设施、桥梁智能检测技术领域,特别涉及一种小样本循环一致性引导的桥梁多类型损伤通用识别方法及系统。


背景技术:

2.桥梁是我国基础设施建设和国民经济发展的重要组成部分,目前我国的桥梁数量及规模均跃居世界前列。桥梁结构在长达上百年服役期内不可避免地遭受环境侵蚀、材料老化、疲劳荷载、灾害及突发事件等复杂因素的耦合作用,形成混凝土剥落、混凝土裂缝、钢筋暴露、拉索腐蚀剥落、钢结构疲劳裂纹等多类型损伤。桥梁结构所面临的服役安全形势愈发严峻,检测监测和运维管养任务日趋加重。
3.结构健康监测和检测技术已经成为保障桥梁安全的先进有效方法。传统的人工检测方法严重依赖检测人员的主观判断,准确性和稳定性较低,对某些难抵达区域的检测十分困难、危险性大,并且成本高、预报滞后、时效性差,已经满足不了当前数字化时代的桥梁安全管理需求。
4.目前,计算机视觉和深度学习技术获得了飞速发展。特别是在有监督学习领域,随着可用数据集的增加,国内外研究者相继提出了一系列适用于不同计算机视觉识别任务的图像分类、目标检测和语义分割方法,分别实现对输入图像的全局场景理解、对图像包含目标物体的边界框定位和像素级分类识别。这些方法已经开始应用于桥梁结构损伤的图像识别中,基于图像的桥梁结构损伤识别方法的先进性依赖于计算机视觉领域识别模型的最新进展。目前,对不同网络模型的改进思路可以概括为以下两种形式:
5.(1)通过改进网络架构,如resnet/u-net/densenet/panet等,增加相邻或不同层级特征图之间的联系以及特征融合或聚合,增加特征提取的深度和宽度,提高模型的特征提取能力;
6.(2)通过设计特殊功能模块,如通道或空间自注意力机制和transformer系列架构等,加入新功能模块或替换原始模块来提高模型对某些重要性特征的感知能力(比如图像局部像素区域或整体之间的相关性等),从而提高模型性能。
7.目前,主流基于计算机视觉的桥梁损伤识别方法通常采用有监督学习的方式,模型的识别效果十分依赖于监督条件:在实际工程中,首先要收集大量的训练数据和标签,并且训练样本的数量越多、类别越丰富、标签精度越高,模型的识别和泛化能力就越好。然而,在实际桥梁复杂使役场景下,桥梁损伤图像数据集往往具有信息不完备、样本不充分、数据不平衡、标签不精准的特点,即某些类别的实际数据往往具有小样本、强干扰的特点,导致所训练模型在小样本图像上的特征表达能力不全面,进而导致在小样本数据集上训练得到的模型在真实场景中的识别精度和泛化能力较差。
8.除了存在小样本数据的有偏识别问题,桥梁多类型损伤识别面临的另一个难题是如何使用一个统一的模型实现对多类型损伤的通用识别。传统计算机视觉领域的多类别物
体语义分割任务往往具有以下特点:数据集中的单张图像基本包括了全部或大多数的目标类型;与之不同的是,实际桥梁获取的损伤图像往往只含有一类或少数几类损伤,并不会包含所有类型或大部分类型的损伤形式,这就导致模型可能偏向含有较多数量样本的损伤类型,而在数量较少的损伤类型上识别效果较差。


技术实现要素:

9.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
10.为此,本发明的第一个目的在于提出一种小样本循环一致性引导的桥梁多类型损伤通用识别方法。
11.本发明的第二个目的在于提出一种小样本循环一致性引导的桥梁多类型损伤通用识别系统。
12.本发明的第三个目的在于提出一种计算机设备。
13.本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
14.为达到上述目的,本发明第一方面实施例提出了小样本循环一致性引导的桥梁多类型损伤通用识别方法,包括以下步骤:步骤s1,对预设桥梁损伤类型进行数据对齐,将数据对齐后的数据集划分为支持集和查询集;步骤s2,利用所述支持集和所述查询集建立小样本循环一致性引导的桥梁多类型损伤通用识别模型;步骤s3,利用所述小样本循环一致性引导的桥梁多类型损伤通用识别模型计算所述查询集的第一损失值;步骤s4,利用所述小样本循环一致性引导的桥梁多类型损伤通用识别模型,并引入循环一致,计算所述支持集的第二损失值;步骤s5,基于所述第一损失值和所述第二损失值计算所述小样本循环一致性引导的桥梁多类型损伤通用识别模型的综合损失,再通过误差反向传播算法进行更新模型,直到模型收敛。
15.本发明实施例的小样本循环一致性引导的桥梁多类型损伤通用识别方法,针对桥梁损伤图像识别的小样本难题,将图像划分为支持集和查询集,通过设计模型在查询集和支持集上的循环一致性,解决了小样本问题;实现了采用一个统一模型对不同类型桥梁损伤的通用识别,解决了传统方法需要针对不同任务建立不同识别模型的不足;仅使用小样本图像,创建了查询集和支持集的双重监督信息利用模式,实现了两条监督路径的同时学习:首先以支持集原始图像和标注、查询集原始图像为输入,获得多类损伤高维特征空间的余弦相似度张量,并且以查询集标注为真实值、计算查询集损失;然后基于查询集原始图像和余弦相似度张量获得查询集标注的近似结果,以支持集原始图像为输入,以支持集标注为真实值、计算支持集损失。
16.另外,根据本发明上述实施例的小样本循环一致性引导的桥梁多类型损伤通用识别方法还可以具有以下附加的技术特征:
17.进一步地,在本发明的一个实施例中,所述步骤s1具体包括:
18.步骤s101,定义所述预设桥梁损伤类型,将桥梁多类型损伤图像和与其对应的多通道像素级标注进行数据对齐,形成小样本数据集;
19.步骤s102,将所述小样本数据集随机划分为互斥的支持集和查询集。
20.进一步地,在本发明的一个实施例中,所述步骤s3具体包括:
21.步骤s301,将所述支持集的原始图像输入所述小样本循环一致性引导的桥梁多类
型损伤通用识别模型的编码器中进行特征提取,获得高层级特征图,同时与之对应的多通道像素级标注图像经过与编码器相同层级的下采样模块,获得掩码图;
22.步骤s302,将所述掩码图与所述高层级特征图进行逐元素地乘积运算,再进行全局平均池化,得到特征向量簇;
23.步骤s303,将所述查询集的原始图像输入所述小样本循环一致性引导的桥梁多类型损伤通用识别模型的编码器,获得相应的高层级特征图,将所述特征向量簇按损伤类型通道方向拆分成多个特征向量,逐点计算每个特征向量与所述查询集的原始图像的高层级特征图的余弦相似度张量;
24.步骤s304,将所述余弦相似度张量按损伤类型通道方向进行逐通道拆分和通道扩充,与所述查询集的原始图像的高层级特征图进行逐元素相乘,获得对应多个损伤类型和特征图;然后按规定的损伤类型顺序逐个经过与编码器具有反对称结构的解码器,获得所述查询集的原始图像的预测结果,与所述查询集的多通道像素级标注计算第一损失值。
25.进一步地,在本发明的一个实施例中,所述步骤s4具体包括:
26.对所述余弦相似度张量沿损伤类型通道方向做softmax运算,获得所述查询集的原始图像的像素级标注的独热编码,然后以所述查询集的原始图像及其多通道像素级标注的独热编码、所述支持集的原始图像为输入,以所述支持集中与原始图像对应的多通道像素级标注图像作为真实值,重复步骤s302至步骤s304,获得所述支持集的原始图像的预测结果,与所述支持集的多通道像素级标注计算第二损失值。
27.进一步地,在本发明的一个实施例中,所述余弦相似度张量的计算公式为:
[0028][0029]
其中,n为损伤类型通道总数,i为索引序号,vi为特征向量簇的第i个通道,f
(a,b)
为查询集的原始图像经过编码器后得到的高层级特征图在平面位置(a,b)处对应的向量,‖‖2为向量取模运算,d为余弦相似度张量,(h

,w

)为h
’×
w’的平面。
[0030]
进一步地,在本发明的一个实施例中,所述独热编码的计算公式为:
[0031][0032]
其中,n为损伤类型通道总数,i为索引序号,maxindicator表示执行以下运算:将一个向量各元素中具有最大数值的位置赋值为1,其余位置赋值为0;exp为取指数运算;为余弦相似度张量在平面位置(a,b)处第i个通道对应的余弦相似度数值;为在平面位置(a,b)处第i个通道对应的独热编码,(h

,w

)为h
’×
w’的平面。
[0033]
进一步地,在本发明的一个实施例中,所述步骤s5中的综合损失为:
[0034]
l=l1+λl2[0035]
其中,l为综合损失,l1为所述查询集的第一损失值,l2为考虑循环一致性后、在所述支持集的第二损失值,λ为比例系数,根据查询集和支持集的样本数量之比设置。
[0036]
为达到上述目的,本发明第二方面实施例提出了小样本循环一致性引导的桥梁多类型损伤通用识别系统,包括:数据集划分模块,用于对预设桥梁损伤类型进行数据对齐,
将数据对齐后的数据集划分为支持集和查询集;构建模块,用于利用所述支持集和所述查询集建立小样本循环一致性引导的桥梁多类型损伤通用识别模型;第一损失计算模块,用于利用所述小样本循环一致性引导的桥梁多类型损伤通用识别模型计算所述查询集的第一损失值;第二损失计算模块,用于利用所述小样本循环一致性引导的桥梁多类型损伤通用识别模型,并引入循环一致,计算所述支持集的第二损失值;更新收敛模块,用于基于所述第一损失值和所述第二损失值计算所述小样本循环一致性引导的桥梁多类型损伤通用识别模型的综合损失,再通过误差反向传播算法进行更新模型,直到模型收敛。
[0037]
为达到上述目的,本发明第三方面实施例提出了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
[0038]
为达到上述目的,本发明第四方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述所述的方法的步骤。
[0039]
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
[0040]
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
[0041]
图1是本发明一个实施例的小样本循环一致性引导的桥梁多类型损伤通用识别方法的流程图;
[0042]
图2是本发明一个实施例的小样本循环一致性引导的桥梁多类型损伤通用识别模型的结构示意图;
[0043]
图3是本发明一个具体实施例与传统方法对小样本桥梁多类型损伤语义分割识别结果的对比图,(a)为混凝土裂缝,(b)为混凝土剥落,(c)为钢结构疲劳裂纹;
[0044]
图4是本发明一个具体实施例与传统方法对小样本场景下桥梁多类型损伤语义分割识别精度的对比图,(a)为混凝土裂缝,(b)为混凝土剥落,(c)为钢结构疲劳裂纹;
[0045]
图5是本发明一个实施例的小样本循环一致性引导的桥梁多类型损伤通用识别系统的结构示意图。
具体实施方式
[0046]
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
[0047]
下面参照附图描述根据本发明实施例提出的小样本循环一致性引导的桥梁多类型损伤通用识别方法及系统,首先将参照附图描述根据本发明实施例提出的小样本循环一致性引导的桥梁多类型损伤通用识别方法。
[0048]
图1是本发明一个实施例的小样本循环一致性引导的桥梁多类型损伤通用识别方法的流程图。
[0049]
如图1所示,该小样本循环一致性引导的桥梁多类型损伤通用识别方法包括以下
步骤:
[0050]
在步骤s1中,对预设桥梁损伤类型进行数据对齐,将数据对齐后的数据集划分为支持集和查询集。
[0051]
进一步地,在本发明的一个实施例中,步骤s1具体包括:
[0052]
步骤s101,定义预设桥梁损伤类型,将桥梁多类型损伤图像和与其对应的多通道像素级标注进行数据对齐,形成小样本数据集;
[0053]
步骤s102,将小样本数据集随机划分为互斥的支持集和查询集。
[0054]
也就是说,先定义考虑的所有桥梁损伤类型,记所有损伤类型与图像背景的类别总数为n,将桥梁多类型损伤图像x和与其对应的多通道像素级标注y进行数据对齐,形成小样本数据集d。然后将数据集d随机划分为互斥的支持集s和查询集q两部分,支持集和查询集中包括的样本数量分别用{s}和{q}表示。
[0055]
具体地,规定所有待识别的桥梁结构损伤类型及其顺序。例如,考虑混凝土裂纹、混凝土剥落、钢箱梁疲劳裂纹三类桥梁结构损伤和图像背景,n取4,数值编码1~4依次表示背景、混凝土裂纹、混凝土剥落、钢箱梁疲劳裂纹。
[0056]
对于任意一张可能仅包含一类或少数几类桥梁损伤的原始图像x(维度为h
×
w),按规定的损伤类型通道顺序,将对应损伤类型的像素级标注沿通道方向进行拼接,形成多通道像素级标注图像y(维度为h
×w×
n)。
[0057]
对于y的某个通道(维度为h
×
w),若该通道包含对应的损伤类型,则其像素为二值化表示(1表示该像素为此类型损伤,0表示不是);若该图像不包含某个通道对应的类型,则标注图像在此通道上的值全为0。由此,可以得到任意一幅桥梁损伤原始图像和与其对应的多通道像素级标注图像组成的数据对{x,y},所有符合此形式的数据对的集合即为数据集d。将数据集d随机划分为互斥的支持集s和查询集q两部分,支持集和查询集中包括的样本数量分别用{s}和{q}表示。
[0058]
在步骤s2中,如图2所示,利用支持集和查询集建立小样本循环一致性引导的桥梁多类型损伤通用识别模型。
[0059]
在步骤s3中,利用小样本循环一致性引导的桥梁多类型损伤通用识别模型计算查询集的第一损失值。
[0060]
也就是说,将支持集s中的原始图像xs及对应的多通道像素级标注图像ys、查询集q中的原始图像xq作为输入,将查询集q中与xq对应的多通道像素级标注图像yq作为真实值,计算第一部分损失值l1。
[0061]
进一步地,在本发明的一个实施例中,步骤s3具体包括:
[0062]
步骤s301,将支持集的原始图像输入小样本循环一致性引导的桥梁多类型损伤通用识别模型的编码器中进行特征提取,获得高层级特征图,同时与之对应的多通道像素级标注图像经过与编码器相同层级的下采样模块,获得掩码图;
[0063]
步骤s302,将掩码图与高层级特征图进行逐元素地乘积运算,再进行全局平均池化,得到特征向量簇;
[0064]
步骤s303,将查询集的原始图像输入小样本循环一致性引导的桥梁多类型损伤通用识别模型的编码器,获得相应的高层级特征图,将特征向量簇按损伤类型通道方向拆分成多个特征向量,逐点计算每个特征向量与查询集的原始图像的高层级特征图的余弦相似
度张量,计算公式为:
[0065][0066]
其中,n表示损伤类型通道总数(含背景),i为索引序号,vi表示步骤二二中特征向量簇的第i个通道(维度为1
×
n’),f
(a,b)
表示查询集原始图像xq经过编码器后得到的高层级特征图在平面位置(a,b)处对应的向量(维度为1
×
n’),||||2表示向量取模运算,d表示余弦相似度张量(维度为h
’×w’×
n)。
[0067]
步骤s304,将余弦相似度张量按损伤类型通道方向进行逐通道拆分和通道扩充,与查询集的原始图像的高层级特征图进行逐元素相乘,获得对应多个损伤类型和特征图;然后按规定的损伤类型顺序逐个经过与编码器具有反对称结构的解码器,获得查询集的原始图像的预测结果,与查询集的多通道像素级标注计算第一损失值。
[0068]
在步骤s4中,利用小样本循环一致性引导的桥梁多类型损伤通用识别模型,并引入循环一致,计算支持集的第二损失值。
[0069]
也就是说,通过循环一致性引导模块获得桥梁多类型损伤的余弦相似度张量,在损伤类型的通道方向做softmax运算,获得查询集原始图像xq的多通道像素级标注独热编码;然后以查询集原始图像xq及其多通道像素级标注独热编码、支持集s中的原始图像xs为输入,将支持集s中与xs对应的多通道像素级标注图像ys作为真实值,计算第二部分损失值l2。
[0070]
进一步地,在本发明的一个实施例中,步骤s4具体包括:
[0071]
对余弦相似度张量沿损伤类型通道方向做softmax运算,获得查询集的原始图像的像素级标注的独热编码,然后以查询集的原始图像及其多通道像素级标注的独热编码、支持集的原始图像为输入,以支持集中与原始图像对应的多通道像素级标注图像作为真实值,重复步骤s302至步骤s304,获得支持集的原始图像的预测结果,与支持集的多通道像素级标注计算第二损失值。
[0072]
其中,独热编码的计算公式为:
[0073][0074]
其中,n为损伤类型通道总数,i为索引序号,maxindicator表示执行以下运算:将一个向量各元素中具有最大数值的位置赋值为1,其余位置赋值为0;exp为取指数运算;为余弦相似度张量在平面位置(a,b)处第i个通道对应的余弦相似度数值;为在平面位置(a,b)处第i个通道对应的独热编码,(h

,w

)为h
’×
w’的平面。
[0075]
具体地,如图2所示,支持集s的原始图像xs经过编码器进行特征提取获得高层级特征图(维度为h
’×w’×
n’),与之对应的多通道像素级标注图像ys经过与编码器相同层级的下采样模块,获得与高层级特征图相同平面尺寸的掩码图(维度为h
’×w’×
n);
[0076]
将上一步中获得的掩码图(维度为h
’×w’×
n)逐通道与上一步中高层级特征图(维度为h
’×w’×
n’)进行逐元素地乘积运算(维度为h
’×w’×n’×
n),实现在高层级特征图上移除背景区域信息、仅保留各类损伤区域信息,然后在h
’×
w’平面上进行全局平均池
化,获得以n’为向量长度、以n为通道数的特征向量簇(维度为1
×n’×
n);
[0077]
查询集q的原始图像xq经过编码器(与支持集s的编码器参数共享),获得相应的高层级特征图(维度为h
’×w’×
n’)。将前一步骤获得的特征向量簇(维度为1
×n’×
n)按损伤类型通道方向拆分成n个1
×
n’的特征向量,每个特征向量(维度为1
×
n’)与查询集原始图像xq的高层级特征图(维度为h
’×w’×
n’)在h
’×
w’平面上逐点计算获得余弦相似度矩阵(维度为h
’×
w’),最终在n个损伤类型通道方向上拼接,获得余弦相似度张量(维度为h
’×w’×
n)。
[0078]
将前一步骤获得的余弦相似度张量(维度为h
’×w’×
n)按损伤类型通道方向进行逐通道拆分和通道扩充(维度为h
’×w’×
n’),与前一步骤中与查询集原始图像xq对应的高层级特征图(维度为h
’×w’×
n’)进行逐元素相乘,获得对应n个损伤类型、维度为h
’×w’×
n’的特征图;然后按规定的损伤类型顺序逐个经过与编码器具有反对称结构的解码器,获得查询集原始图像xq的预测结果(维度为h
×w×
n),与查询集多通道像素级标注yq计算第一损失值l1。
[0079]
以上过程只利用了查询集的像素级标注信息计算损失值,本发明实施例考虑到如果模型真正学习到了不同损伤类型的高维特征空间,那么模型就应该能够保持循环一致性,即交换支持集和查询集的位置后,仍可以获得正确的输出。基于此思路,设计了循环一致性模块(如图2中的虚线箭头所示),具体说明如下:
[0080]
对余弦相似度张量(维度为h
’×w’×
n),沿损伤类型通道方向做softmax运算,获得查询集原始图像xq像素级标注的独热编码(维度为h
’×w’×
n),相当于步骤二一中的掩码图。然后以查询集原始图像xq及其多通道像素级标注独热编码、支持集s原始图像xs为输入,以支持集s中与xs对应的多通道像素级标注图像ys作为真实值,重复前述步骤,获得支持集原始图像xs的预测结果,与支持集多通道像素级标注ys计算第二损失值l2。
[0081]
在步骤s5中,基于第一损失值和第二损失值计算小样本循环一致性引导的桥梁多类型损伤通用识别模型的综合损失,再通过误差反向传播算法进行更新模型,直到模型收敛。
[0082]
其中,步骤s5中的综合损失为:
[0083]
l=l1+λl2[0084]
其中,l为综合损失,l1为查询集的第一损失值,l2为考虑循环一致性后、在支持集的第二损失值,λ为比例系数,根据查询集和支持集的样本数量之比设置。
[0085]
其中,设置原则为:若支持集的样本较多、查询集的样本较少,则需要提高损失函数中查询集样本的作用,λ相应减小;反之,若支持集的样本较少、查询集的样本较多,则需要提高损失函数中支持集样本的作用,λ相应增大。
[0086]
需要说明的是,本发明实施例中并未对模型中编码器、解码器的具体形式,模型训练的优化算法及超参数选择,损失函数的具体形式等设置进行限制。这是因为,本发明实施例提出的方法对于任何编码器-解码器形式的深度卷积神经网络模型架构(如u-net、fcn等)、基于误差反向传播的优化算法(如rmsprop、sgd系列、adam系列等)、针对不同任务的损失函数(dice损失、交叉熵分类损失、iou损失、focal损失等)都可以适用。任何一种特定的选择只是本发明实现的一种具体形式,因此不局限于某种特定的设计。对模型中的编码器和解码器、模型训练的优化算法及超参数选择、损失函数等采用不同设置,在本质上仍然在
本发明实施例所阐述方法及核心思想的涵盖范围之内。
[0087]
下面通过一个具体实施例对本发明实施例提出的小样本循环一致性引导的桥梁多类型损伤通用识别进一步说明。
[0088]
将小样本循环一致性引导的桥梁多类型损伤通用识别方法,应用于混凝土裂缝、混凝土剥落、钢结构疲劳裂纹三种常见桥梁结构损伤图像的语义分割任务。数据集包括200张桥梁多类型损伤图像,分辨率为512
×
512,其中100张作为支持集,100张作为查询集。所选取的编码器架构为改进u-net编码器,解码器架构为改进u-net解码器。采用rmsprop优化算法对模型进行训练,超参数设置支持集样本数为3,查询集样本数为1,学习率为0.01,迭代伦次为20,查询集和支持集上的损失函数选用dice损失,比例系数λ设置为1/3。
[0089]
使用传统u-net编码器和解码器架构对结构损伤图像数据集进行训练,采用相同的优化算法和超参数设置,损失函数同样采用dice损失形式、只是不区分查询集和支持集,作为与本发明所提方法的对比,以下简称为传统方法。
[0090]
图3为本发明实施例所提方法与传统方法对小样本桥梁多类型损伤(包括混凝土裂缝、混凝土剥落、钢结构疲劳裂纹)语义分割识别结果的对比图。图4为本发明实施例所提方法与传统方法对小样本场景下桥梁多类型损伤语义分割识别精度的对比图。结果表明,本发明实施例提出的小样本循环一致性引导的桥梁多类型损伤通用识别方法在训练样本较少的情况下,识别效果明显优于传统方法,对背景的误识别率大幅降低,并且基于一个统一模型实现了对桥梁多类型损伤的精准辨识,对于混凝土裂缝、混凝土剥落、钢结构疲劳裂纹三种桥梁损伤的平均识别精度分别提高6.4%、3.5%、2.5%。
[0091]
综上,根据本发明实施例提出的小样本循环一致性引导的桥梁多类型损伤通用识别方法,具有以下有益效果:
[0092]
(1)针对桥梁损伤图像识别的小样本难题,将图像划分为支持集和查询集,通过设计模型在查询集和支持集上的循环一致性,解决了小样本问题;
[0093]
(2)实现了采用一个统一模型对不同类型桥梁损伤的通用识别,解决了传统方法需要针对不同任务建立不同识别模型的不足;
[0094]
(3)仅使用小样本图像,创建了查询集和支持集的双重监督信息利用模式,实现了两条监督路径的同时学习:首先以支持集原始图像和标注、查询集原始图像为输入,获得多类损伤高维特征空间的余弦相似度张量,并且以查询集标注为真实值、计算查询集损失;然后基于查询集原始图像和余弦相似度张量获得查询集标注的近似结果,以支持集原始图像为输入,以支持集标注为真实值、计算支持集损失。
[0095]
其次参照附图描述根据本发明实施例提出的小样本循环一致性引导的桥梁多类型损伤通用识别系统。
[0096]
图5是本发明一个实施例的小样本循环一致性引导的桥梁多类型损伤通用识别系统的结构示意图。
[0097]
如图5所示,该系统10包括:数据集划分模块100、构建模块200、第一损失计算模块300、第二损失计算模块400和更新收敛模块500。
[0098]
其中,数据集划分模块100用于对预设桥梁损伤类型进行数据对齐,将数据对齐后的数据集划分为支持集和查询集。构建模块200用于利用支持集和查询集建立小样本循环一致性引导的桥梁多类型损伤通用识别模型。第一损失计算模块300用于利用小样本循环
一致性引导的桥梁多类型损伤通用识别模型计算查询集的第一损失值。第二损失计算模块400用于利用小样本循环一致性引导的桥梁多类型损伤通用识别模型,并引入循环一致,计算支持集的第二损失值。更新收敛模块500用于基于第一损失值和第二损失值计算小样本循环一致性引导的桥梁多类型损伤通用识别模型的综合损失,再通过误差反向传播算法进行更新模型,直到模型收敛。
[0099]
需要说明的是,前述对小样本循环一致性引导的桥梁多类型损伤通用识别方法实施例的解释说明也适用于该实施例的系统,此处不再赘述。
[0100]
根据本发明实施例提出的小样本循环一致性引导的桥梁多类型损伤通用识别系统,具有以下有益效果:
[0101]
(1)针对桥梁损伤图像识别的小样本难题,将图像划分为支持集和查询集,通过设计模型在查询集和支持集上的循环一致性,解决了小样本问题;
[0102]
(2)实现了采用一个统一模型对不同类型桥梁损伤的通用识别,解决了传统方法需要针对不同任务建立不同识别模型的不足;
[0103]
(3)仅使用小样本图像,创建了查询集和支持集的双重监督信息利用模式,实现了两条监督路径的同时学习:首先以支持集原始图像和标注、查询集原始图像为输入,获得多类损伤高维特征空间的余弦相似度张量,并且以查询集标注为真实值、计算查询集损失;然后基于查询集原始图像和余弦相似度张量获得查询集标注的近似结果,以支持集原始图像为输入,以支持集标注为真实值、计算支持集损失。
[0104]
为了实现上述实施例,本发明还提出了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时,实现如前述实施例的小样本循环一致性引导的桥梁多类型损伤通用识别方法。
[0105]
为了实现上述实施例,本发明还提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如前述实施例的小样本循环一致性引导的桥梁多类型损伤通用识别方法。
[0106]
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或n个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0107]
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“n个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
[0108]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更n个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明
的实施例所属技术领域的技术人员所理解。
[0109]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或n个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(ram),只读存储器(rom),可擦除可编辑只读存储器(eprom或闪速存储器),光纤装置,以及便携式光盘只读存储器(cdrom)。另外,计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序,然后将其存储在计算机存储器中。
[0110]
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,n个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(pga),现场可编程门阵列(fpga)等。
[0111]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
[0112]
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
[0113]
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征:
1.一种小样本循环一致性引导的桥梁多类型损伤通用识别方法,其特征在于,包括以下步骤:步骤s1,对预设桥梁损伤类型进行数据对齐,将数据对齐后的数据集划分为支持集和查询集;步骤s2,利用所述支持集和所述查询集建立小样本循环一致性引导的桥梁多类型损伤通用识别模型;步骤s3,利用所述小样本循环一致性引导的桥梁多类型损伤通用识别模型计算所述查询集的第一损失值;步骤s4,利用所述小样本循环一致性引导的桥梁多类型损伤通用识别模型,并引入循环一致,计算所述支持集的第二损失值;步骤s5,基于所述第一损失值和所述第二损失值计算所述小样本循环一致性引导的桥梁多类型损伤通用识别模型的综合损失,再通过误差反向传播算法进行更新模型,直到模型收敛。2.根据权利要求1所述的小样本循环一致性引导的桥梁多类型损伤通用识别方法,其特征在于,所述步骤s1具体包括:步骤s101,定义所述预设桥梁损伤类型,将桥梁多类型损伤图像和与其对应的多通道像素级标注进行数据对齐,形成小样本数据集;步骤s102,将所述小样本数据集随机划分为互斥的支持集和查询集。3.根据权利要求1所述的小样本循环一致性引导的桥梁多类型损伤通用识别方法,其特征在于,所述步骤s3具体包括:步骤s301,将所述支持集的原始图像输入所述小样本循环一致性引导的桥梁多类型损伤通用识别模型的编码器中进行特征提取,获得高层级特征图,同时与之对应的多通道像素级标注图像经过与编码器相同层级的下采样模块,获得掩码图;步骤s302,将所述掩码图与所述高层级特征图进行逐元素地乘积运算,再进行全局平均池化,得到特征向量簇;步骤s303,将所述查询集的原始图像输入所述小样本循环一致性引导的桥梁多类型损伤通用识别模型的编码器,获得相应的高层级特征图,将所述特征向量簇按损伤类型通道方向拆分成多个特征向量,逐点计算每个特征向量与所述查询集的原始图像的高层级特征图的余弦相似度张量;步骤s304,将所述余弦相似度张量按损伤类型通道方向进行逐通道拆分和通道扩充,与所述查询集的原始图像的高层级特征图进行逐元素相乘,获得对应多个损伤类型和特征图;然后按规定的损伤类型顺序逐个经过与编码器具有反对称结构的解码器,获得所述查询集的原始图像的预测结果,与所述查询集的多通道像素级标注计算第一损失值。4.根据权利要求3所述的小样本循环一致性引导的桥梁多类型损伤通用识别方法,其特征在于,所述步骤s4具体包括:对所述余弦相似度张量沿损伤类型通道方向做softmax运算,获得所述查询集的原始图像的像素级标注的独热编码,然后以所述查询集的原始图像及其多通道像素级标注的独热编码、所述支持集的原始图像为输入,以所述支持集中与原始图像对应的多通道像素级标注图像作为真实值,重复步骤s302至步骤s304,获得所述支持集的原始图像的预测结果,
与所述支持集的多通道像素级标注计算第二损失值。5.根据权利要求3所述的小样本循环一致性引导的桥梁多类型损伤通用识别方法,其特征在于,所述余弦相似度张量的计算公式为:其中,n为损伤类型通道总数,i为索引序号,v
i
为特征向量簇的第i个通道,f
(a,b)
为查询集的原始图像经过编码器后得到的高层级特征图在平面位置(a,b)处对应的向量,‖‖2为向量取模运算,d为余弦相似度张量,(h

,w

)为h
’×
w’的平面。6.根据权利要求4所述的小样本循环一致性引导的桥梁多类型损伤通用识别方法,其特征在于,所述独热编码的计算公式为:其中,n为损伤类型通道总数,i为索引序号,maxindicator表示执行以下运算:将一个向量各元素中具有最大数值的位置赋值为1,其余位置赋值为0;exp为取指数运算;为余弦相似度张量在平面位置(a,b)处第i个通道对应的余弦相似度数值;为在平面位置(a,b)处第i个通道对应的独热编码,(h

,w

)为h
’×
w’的平面。7.根据权利要求4所述的小样本循环一致性引导的桥梁多类型损伤通用识别方法,其特征在于,所述步骤s5中的综合损失为:l=l1+λl2其中,l为综合损失,l1为所述查询集的第一损失值,l2为考虑循环一致性后、在所述支持集的第二损失值,λ为比例系数,根据查询集和支持集的样本数量之比设置。8.一种小样本循环一致性引导的桥梁多类型损伤通用识别系统,其特征在于,包括:数据集划分模块,用于对预设桥梁损伤类型进行数据对齐,将数据对齐后的数据集划分为支持集和查询集;构建模块,用于利用所述支持集和所述查询集建立小样本循环一致性引导的桥梁多类型损伤通用识别模型;第一损失计算模块,用于利用所述小样本循环一致性引导的桥梁多类型损伤通用识别模型计算所述查询集的第一损失值;第二损失计算模块,用于利用所述小样本循环一致性引导的桥梁多类型损伤通用识别模型,并引入循环一致,计算所述支持集的第二损失值;更新收敛模块,用于基于所述第一损失值和所述第二损失值计算所述小样本循环一致性引导的桥梁多类型损伤通用识别模型的综合损失,再通过误差反向传播算法进行更新模型,直到模型收敛。9.一种计算机设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1-7中任一所述的小样本循环一致性引导的桥梁多类型损伤通用识别方法。10.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计
算机程序被处理器执行时实现如权利要求1-7中任一所述的小样本循环一致性引导的桥梁多类型损伤通用识别方法。

技术总结
本发明公开了一种小样本循环一致性引导的桥梁多类型损伤通用识别方法及系统,其中,该方法包括:对预设桥梁损伤类型进行数据对齐,将数据对齐后的数据集划分为支持集和查询集,以建立小样本循环一致性引导的桥梁多类型损伤通用识别模型;利用小样本循环一致性引导的桥梁多类型损伤通用识别模型计算查询集的第一损失值;利用桥梁多类型损伤通用识别模型,并引入循环一致,计算支持集的第二损失值;基于第一损失值和第二损失值计算小样本循环一致性引导的桥梁多类型损伤通用识别模型的综合损失,再通过误差反向传播算法进行更新模型,直到模型收敛。该方法解决了小样本问题,也解决了传统方法需要针对不同任务建立不同识别模型的不足。别模型的不足。别模型的不足。


技术研发人员:徐阳 李惠 范云蕾
受保护的技术使用者:哈尔滨工业大学
技术研发日:2022.06.30
技术公布日:2022/11/1
转载请注明原文地址: https://tieba.8miu.com/read-10539.html

最新回复(0)