本发明涉及图像识别,具体涉及一种大坝表面图像修复方法、装置、设备及存储介质。
背景技术:
1、目前大坝表面水下图像采集,因为环境等因素,大坝表面会有水草等杂物遮挡,采集的图片不完整不清晰。可以采用对抗神经网络模型gan来处理图像,使其图片修复。
2、gan由两个重要的部分构成:生成器(generator,简写作g)和判别器(discriminator,简写作d)。
3、生成器:通过机器生成数据,目的是尽可能“骗过”判别器,生成的数据记做g(z);
4、判别器:判断数据是真实数据还是「生成器」生成的数据,目的是尽可能找出「生成器」造的“假数据”。它的输入参数是x,x代表数据,输出d(x)代表x为真实数据的概率,如果为1,就代表100%是真实的数据,而输出为0,就代表不可能是真实的数据。
5、g和d构成了一个动态对抗(或博弈过程),随着训练(对抗)的进行,g生成的数据越来越接近真实数据,d鉴别数据的水平越来越高。在理想的状态下,g可以生成足以“以假乱真”的数据;而对于d来说,它难以判定生成器生成的数据究竟是不是真实的,因此d(g(z))=0.5。训练完成后,可以得到一个生成模型g,可以用来生成以假乱真的数据。
6、但是,现有技术中,对抗神经网络模型gan难以收敛,不稳定。生成器和判别器之间需要很好的同步,但是在实际训练中很容易d收敛,g发散。
技术实现思路
1、有鉴于此,本发明提供了一种大坝表面图像修复方法、装置、设备及存储介质,以解决现有技术中,对抗神经网络模型gan难以收敛、不稳定的问题。
2、第一方面,本发明提供了一种大坝表面图像修复方法,该方法包括:
3、获取初始对抗生成网络、随机图像特征向量集和大坝表面的历史图像数据集,初始对抗生成网络包括生成器和判别器;在初始对抗生成网络中添加自注意力机制模块,得到目标对抗生成网络;将随机图像特征向量集经过自注意力机制模块处理,得到目标图像特征向量集;利用目标图像特征向量集和历史图像数据集对生成器和判别器进行迭代对抗训练并生成目标对抗生成网络;获取待修复大坝表面的实测图像数据集,并将实测图像数据集经过目标对抗生成网络处理,得到修复后的大坝表面图像。
4、本发明提供的大坝表面图像修复方法,通过在第一生成对抗网络中添加自注意力机制模块得到第二对抗生成网络,进一步,将自注意力机制模块的输出作为生成器的输入并与判别器进行迭代对抗训练直至生成优化后的目标对抗生成网络,解决了生成对抗网络难以收敛、不稳定的问题。最后,通过优化后的目标生成对抗网络进行大坝表面图像的修复,复原了大坝表面被杂物遮挡的部分,生成了完整的高质量的大坝表面图像,为大坝的维护提供了支持。
5、在一种可选的实施方式中,将随机图像特征向量集经过自注意力机制模块处理,得到目标图像特征向量集,包括:
6、基于随机图像特征向量集,经过自注意力机制模块计算,得到多个注意力权重值;基于多个注意力权重值,在随机图像特征向量集中确定目标图像特征向量集。
7、本发明提供的大坝表面图像修复方法,通过自注意力机制模块可以计算出多个注意力权重值,进而结合该多个注意力权重值可以在随机图像特征向量集中筛选出对应的目标图像特征向量集,为后续目标生成对抗网络的优化训练提供了支持。
8、在一种可选的实施方式中,基于随机图像特征向量集,经过自注意力机制模块计算,得到多个注意力权重值,包括:
9、基于随机图像特征向量集,分别计算多个目标query值、多个目标key值和多个目标value值;根据多个目标query值和多个目标key值,计算多个相似值;对多个相似值进行归一化处理,得到权重系数值;根据多个目标value值和权重系数值,计算多个注意力权重值。
10、本发明提供的大坝表面图像修复方法,通过计算query值、key值和value值可以计算出多个注意力权重值,为后续目标图像特征向量集的筛选提供了支持。
11、在一种可选的实施方式中,基于随机图像特征向量集,分别计算多个目标query值、多个目标key值和多个目标value值,包括:
12、根据随机图像特征向量集、预设第一权重矩阵和预设第二权重矩阵,计算多个目标query值、多个目标key值和多个初始value值;根据多个目标query值和多个目标key值,计算注意力分数值;根据注意力分数值在多个初始value值中确定多个目标value值。
13、在一种可选的实施方式中,利用目标图像特征向量集和历史图像数据集对生成器和判别器进行迭代对抗训练并生成目标对抗生成网络,包括:
14、将目标图像特征向量集输入生成器,得到目标图像数据集;将目标图像数据集和历史图像数据集输入判别器,并与生成器进行对抗训练,直至满足目标函数时,生成目标对抗生成网络。
15、本发明提供的大坝表面图像修复方法,将生成器输出的目标图像数据集和真实的历史图像数据集分别输入判别器并与生成器进行对抗训练,直至满足目标函数时停止训练并生成优化后的目标对抗生成网络,解决了生成对抗网络难以收敛、不稳定的问题,为后续大坝表面图像的修复提供了支持。
16、第二方面,本发明提供了一种大坝表面图像修复装置,该装置包括:
17、获取模块,用于获取初始对抗生成网络、随机图像特征向量集和大坝表面的历史图像数据集,初始对抗生成网络包括生成器和判别器;添加模块,用于在初始对抗生成网络中添加自注意力机制模块,得到目标对抗生成网络;处理模块,用于将随机图像特征向量集经过自注意力机制模块处理,得到目标图像特征向量集;训练模块,用于利用目标图像特征向量集和历史图像数据集对生成器和判别器进行迭代对抗训练并生成目标对抗生成网络;获取与训练模块,用于获取待修复大坝表面的实测图像数据集,并将实测图像数据集经过目标对抗生成网络处理,得到修复后的大坝表面图像。
18、在一种可选的实施方式中,处理模块包括:
19、计算子模块,用于基于随机图像特征向量集,经过自注意力机制模块计算,得到多个注意力权重值;确定子模块,用于基于多个注意力权重值,在随机图像特征向量集中确定目标图像特征向量集。
20、第三方面,本发明提供了一种计算机设备,包括:存储器和处理器,存储器和处理器之间互相通信连接,存储器中存储有计算机指令,处理器通过执行计算机指令,从而执行上述第一方面或其对应的任一实施方式的大坝表面图像修复方法。
21、第四方面,本发明提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的大坝表面图像修复方法。
22、第五方面,本发明提供了一种计算机程序产品,包括计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的大坝表面图像修复方法。
1.一种大坝表面图像修复方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,将所述随机图像特征向量集经过自注意力机制模块处理,得到目标图像特征向量集,包括:
3.根据权利要求2所述的方法,其特征在于,基于所述随机图像特征向量集,经过所述自注意力机制模块计算,得到多个注意力权重值,包括:
4.根据权利要求3所述的方法,其特征在于,基于所述随机图像特征向量集,分别计算多个目标query值、多个目标key值和多个目标value值,包括:
5.根据权利要求1所述的方法,其特征在于,利用所述目标图像特征向量集和所述历史图像数据集对所述生成器和所述判别器进行迭代对抗训练并生成目标对抗生成网络,包括:
6.一种大坝表面图像修复装置,其特征在于,所述装置包括:
7.根据权利要求6所述的装置,其特征在于,所述处理模块包括:
8.一种计算机设备,其特征在于,包括:
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机指令,所述计算机指令用于使计算机执行权利要求1至5中任一项所述的大坝表面图像修复方法。
10.一种计算机程序产品,其特征在于,包括计算机指令,所述计算机指令用于使计算机执行权利要求5中任一项所述的大坝表面图像修复方法。