1.本发明涉及基础设施健康监测技术领域，具体涉及一种基于生成对抗网络和图像融合设施缺陷图像生成方法。
背景技术：2.缺陷检测在基础设施健康监测领域具有非常重大的意义。基础设施的缺陷会影响到道路交通、生产生活的正常进行，不及时对这些基础设施进行检测会造成巨大的国民财产损失，同时还可能会诱发潜在的交通和楼房垮塌事故，造成人员伤亡。近年来，大量基础设施的投入使用加速了经济的发展，提高了人民的生活水平，是人们生产生活中的重要支撑,只有确保其安全,才能使人们的日常生活得以顺利进行，于是基础设施缺陷的及时检测显得尤为重要，如何准确并快速检测路面缺陷是当前面临的重要问题。
3.基础设施缺陷检测技术近年来得到了快速的发展。传统的检测方法通常采用人工巡视的方法，不仅需要大量的人力资源成本，而且检测时间成本高昂。随后逐渐引入计算机图像识别的方法来提高工作效率，但其依然需要通过专家的专业只是进行评判，在评判过程中存在较大的主观性，且传统的图像识别的方法的检测时间依然是巨大的。随着计算机图像识别技术的不断进步，人工智能逐渐应用到基础设施缺陷的检测任务，人工智能技术具有强大的学习能力，能从历史知识中学习相应的规律，进而用于相应识别任务。其中最为关键的就是可供学习的历史知识，或者叫人工智能的训练(学习)样本，因为获得一个优异的检测模型的前提是提供海量的学习样本，而在实际结构中，缺陷的数量是有限的，并且数据的采集难度大是制约人工智能在基础设施缺陷检测的首要问题。生成对抗网络能够生成大量与真实数据具有相似特征的数据，能够扩充原有的数据样本，但在实际的使用过程中，生成对抗网络很难生成具有复杂真实背景的基础设施缺陷图像。因此，如何获取更加复杂的、真实的基础设施缺陷图像是一个迫切需要解决的问题
技术实现要素：4.(一)解决的技术问题
5.针对现有技术的不足，本发明提供一种基于生成对抗网络和图像融合设施缺陷图像生成方法，以解决上述背景技术中提出的问题。
6.(二)技术方案
7.为实现上述目的，本发明提供如下技术方案：
8.一种基于生成对抗网络和图像融合设施缺陷图像生成方法，包括以下步骤：
9.s1：采集基础设施正常服役期间的图像；
10.s2：搜集有限的缺陷图像(裂缝、坑槽、漏筋、裸露、滑坡等)；
11.s3：使用有限的缺陷图像训练生成对抗网络，并利用生成对抗网络生成更多样式的缺陷图像；
12.s4：利用背景图像和缺陷图像建立泊松图像融合的方法；
13.s5：将采集的大量基础设施图像与缺陷图像进行融合，从而生成大量具有缺陷的基础设施表观图像。
14.优选的，所述该方法适用于多种基础设施(桥梁、路面、边坡等)的正常和缺陷图像。
15.优选的，所述将有限的缺陷图像结合生成对抗网络技术生成大量的缺陷图像。
16.优选的，所述采用泊松图像融合技术将大量正常的基础设施图像与缺陷图像进行融合。
17.优选的，所述采用matlab平台搭建交互式的操作流程，实现大规模且操作便捷的图像融合技术流程。
18.优选的，所述采集图像-生成缺陷图像-建立泊松图像融合方法-生成大量基础设施缺陷图像。
19.与现有技术相比，本发明提供的基于生成对抗网络和图像融合设施缺陷图像生成方法，具备以下有益效果：
20.1、该基于生成对抗网络和图像融合的基础设施缺陷图像的生成方法，通过本发明利用无监督学习算法生成对抗网络生成大量具有与真实缺陷相同特征的缺陷图像，并将这些缺陷图像与实际基础设施图像进行融合，得到大量具有真实复杂背景的基础设施缺陷图像，并以此作为人工智能识别技术的训练样本。
21.2、该基于生成对抗网络和图像融合的基础设施缺陷图像的生成方法，通过该方法可以显著提高基础设施缺陷图像的数据量，具有相当高的可靠度。
22.3、该基于生成对抗网络和图像融合的基础设施缺陷图像的生成方法，通过同时将对人工智能对基础设施的自动化识别领域贡献积极的作用。
附图说明
23.图1为本发明实施例各种采集设备得到的桥梁、路面以及边坡真实图像示意图；
24.图2为本发明实施例搜集的有限的具有简单背景的基础设施缺陷图像示意图；
25.图3为本发明实施例生成对抗网络生成的缺陷图像示例示意图；
26.图4为本发明实施例基于生成对抗网络和图像融合的方法实施流程示意图。
27.图5为本发明实施例背景图像和缺陷图像的合成效果示意图。
具体实施方式
28.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
29.所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
30.实施例：
31.请参阅图1-5，本发明提供的基于生成对抗网络和图像融合设施缺陷图像生成方法，包括如下步骤：
32.s1，采集基础设施正常服役期间的图像；
33.基础设施在正常服役过程中，其绝大部分的图像都是正常的(如图1)，但无论是桥梁、路面、还是边坡，其定期的巡视是必不可少的，因此会形成大量的数据，对于桥梁来说，桥梁巡检车是最流行的采集设备，能够获得全面的桥梁图像；对于路面来说，行车记录仪是一个比较广泛且价格低廉的采集装备，因此通过行车记录仪能够以最小的成本获得大量的路面图像；边坡的巡检是一项繁重的工作，无人机以其灵活性、便捷性得以应用到边坡的巡检工作，大大提高了工作效率，因此在本发明中将采用无人机采集的边坡图像；
34.s2，搜集有限的具有简单背景的缺陷图像(裂缝、坑槽、漏筋等)；
35.因为基础设施在正常服役情况下，其缺陷是相对比较少的，而且获得的难度很大，因此我们从互联网及已有的图像集中筛选出有限的缺陷图像(如图2)；
36.s3，使用有限的缺陷图像训练生成对抗网络，并利用生成对抗网络生成更多样式的缺陷图像；
37.生成对抗网络是一种深度学习模型，可以生成与输入真实数据具有相似特征的数据，它由生成器和鉴别器两部分组成(如图3)，生成对抗网络一旦训练完成，它可以生成大量类似于真实数据的虚拟数据，本项目利用matlab的深度学习资源，设计了生成对抗网络的生成器和鉴别器，生成器由一系列的转置卷积过程组成，它输出与真实训练图像(例如，桥梁表面的缺陷)具有相似特征的虚拟图像；鉴别器由一系列的卷积过程组成，它将对混合图像(真实的和虚拟的)的进行分类，理想状态下，生成对抗网络的生成器将生成可以愚弄鉴别器的图像，此时的图像具有与真实图像具有相似的特征；
38.本发明将利用matlab的深度学习工具箱资源建立生成对抗网络相应的网络结构(输入、输出图像的尺寸、网络层数、卷积核数量等)，以采集的真实的桥梁表面缺陷(裂缝、露筋、腐蚀等)图像作为生成对抗网络的训练样本，利用训练样本得到一个能够生成大量与真实图像具有相似特征的图像，为进一步建立桥梁表面缺陷的深度学习模型提供足够的样本；
39.s4，利用背景图像和缺陷图像建立泊松图像融合的方法；
40.在图像融合任务中，前景放置在背景上时，需要保证两点：前景本身主要内容相比于背景而言，尽量平滑；边界处无缝，即前景、背景在边界点位置上的像素值，需要保持边界一致，因此本发明使用泊松图像融合技术建立了如下基础设施缺陷图像生成方法；
41.图4中u表示需要被合成的前景图片，v是u的梯度场，s是背景图片，w是合并后目标图像中被前景所覆盖的区域，则是w的边界，设合并后图像在w内的像素表示函数是f，在w外的像素值表示函数是f*；
42.此时如果要满足图像融合的理想效果，需要达到以下两个条件：
43.1、前景图像与背景图像过度区域平滑：
44.2、边界一致：
45.基于以上两个限定条件，在matlab平台建立了以下基础设施缺陷图像的融合方法(模块)，包括导入图像、选择缺陷放置的位置、图像融合、导出融合后的图像，如图5，依次点击背景和缺陷图像导入按钮，然后通过黑色十字光标选择缺陷放置的位置，待缺陷放置完毕后，弹出下一步操作窗口，可选择在图像中添加更多缺陷(在已添加缺陷的图像中再增加
一个缺陷)或进入下一张，重复此步骤可以实现大量图像的融合步骤；
46.s5，将采集的基础设施图像与缺陷图像进行交互式融合，从而生成大量具有缺陷的基础设施表观图像；
47.在s4的基础上，通过交互式导入背景图像与缺陷图像，并按照设计的操作流程完成图像中一个缺陷或多个缺陷的图像融合过程。
48.在使用时，通过利用无监督学习算法生成对抗网络生成大量具有与真实缺陷相同特征的缺陷图像，并将这些缺陷图像与实际基础设施图像进行融合，得到大量具有真实复杂背景的基础设施缺陷图像，并以此作为人工智能识别技术的训练样本，该方法可以显著提高基础设施缺陷图像的数据量，具有相当高的可靠度，同时将对人工智能对基础设施的自动化识别领域贡献积极的作用。
49.本发明上述实施例针对深度学习技术需要大量的历史数据学习才能完成相应的识别和检测任务，在实际的基础设施正常服役阶段能够获得的缺陷数据是有限的，生成对抗网络能够提取已有数据的特征，并自动生成大量与真实数据具有相似特征的数据，进而为深度学习技术提供充足的学习样本，实际的工程种图像是复杂的，利用生成对抗网络很难生成具有复杂背景的缺陷图像的不足，本发明首先利用生成对抗网络产生大量简单背景的缺陷图像，并结合泊松图像融合技术将简单背景的缺陷图像与基础设施正常服役的图像进行融合，从而产生大量具有真实背景的基础设施缺陷图像，解决了上述问题。
50.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
技术特征：1.一种基于生成对抗网络和图像融合设施缺陷图像生成方法，其特征在于，包括以下步骤：s1：采集基础设施正常服役期间的图像；s2：搜集有限的缺陷图像，包括裂缝、坑槽、漏筋、裸露、滑坡的图像；s3：使用有限的缺陷图像训练生成对抗网络，并利用生成对抗网络生成更多样式的缺陷图像；s4：利用背景图像和缺陷图像建立泊松图像融合的方法；s5：将采集的大量基础设施图像与缺陷图像进行融合，从而生成大量具有缺陷的基础设施表观图像。2.根据权利要求1所述的基于生成对抗网络和图像融合设施缺陷图像生成方法，其特征在于：所述该方法适用于多种基础设施的正常和缺陷图像。3.根据权利要求1所述的基于生成对抗网络和图像融合设施缺陷图像生成方法，其特征在于：所述将有限的缺陷图像结合生成对抗网络技术生成大量的缺陷图像。4.根据权利要求1所述的基于生成对抗网络和图像融合设施缺陷图像生成方法，其特征在于：所述采用泊松图像融合技术将大量正常的基础设施图像与缺陷图像进行融合。5.根据权利要求1所述的基于生成对抗网络和图像融合设施缺陷图像生成方法，其特征在于：所述采用matlab平台搭建交互式的操作流程，实现大规模且操作便捷的图像融合技术流程。6.根据权利要求1-5任一项所述的基于生成对抗网络和图像融合设施缺陷图像生成方法，其特征在于：通过所述采集图像-生成缺陷图像-建立泊松图像融合方法，生成大量基础设施缺陷图像。
技术总结本发明公开了一种基于生成对抗网络和图像融合设施缺陷图像生成方法，S1：采集基础设施正常服役期间的图像；S2：搜集有限的缺陷图像；S3：使用有限的缺陷图像训练生成对抗网络，并利用生成对抗网络生成更多样式的缺陷图像；S4：利用背景图像和缺陷图像建立泊松图像融合的方法；S5：将采集的大量基础设施图像与缺陷图像进行融合，从而生成大量具有缺陷的基础设施表观图像。本发明首先利用生成对抗网络产生大量简单背景的缺陷图像，并结合泊松图像融合技术将简单背景的缺陷图像与基础设施正常服役的图像进行融合，从而产生大量具有真实背景的基础设施缺陷图像。的基础设施缺陷图像。的基础设施缺陷图像。
技术研发人员：王绍迪 马玉宏 腾帅 赵桂峰 李源海 李艳敏
受保护的技术使用者：广州大学
技术研发日：2022.06.09
技术公布日：2022/11/1
