基于无人机检测的海岸带垃圾识别方法、装置以及设备

专利2023-06-30  123



1.本发明涉及图像检测技术领域,特别涉及是一种基于无人机检测的海岸带垃圾识别方法、装置、设备以及存储介质。


背景技术:

2.海岸线是划分海洋与陆地管理区域的基准线,是人类研究海陆相互作用、用海活动对海岸带的影响以及海岸带综合管理和近岸海域生态系统的重要内容,
3.海岸带作为海陆交汇的区域,同时受到人为活动以及潮汐、海流等自然因素的影响,容易聚集大量的垃圾,这些垃圾严重的影响海岸带的环境,传统的方法是通过人工沿着海岸带一点一点的清理,这样并不能很快、很精确的找到垃圾的位置以及知道垃圾的量,所以往往会浪费大量的人力物力和财力。


技术实现要素:

4.基于此,本发明的目的在于,提供一种基于无人机检测的海岸带垃圾识别方法、装置、设备以及存储介质,通过深度学习方法,根据无人机拍摄的航拍图像以及与所述航拍图像中的垃圾区域相关联的标记数据来构造特征训练数据库,进行海岸带垃圾识别模型的训练,能够快速、精准地对待识别的航拍图像中的垃圾区域进行识别,降低了海岸带垃圾识别的人力成本以及时间成本。
5.第一方面,本技术实施例提供了一种基于无人机检测的海岸带垃圾识别方法,包括以下步骤:
6.获取无人机拍摄的样本区域的样本航拍集以及标记数据集,其中,所述样本航拍集包括若干个样本航拍图像,所述样本航拍图像包括垃圾区域,所述标记数据集包括所述若干个样本航拍图像的垃圾区域的位置参数;
7.将所述样本航拍集以及标记数据集输入至预设的卷积神经网络模型,获得所述卷积神经网络模型输出的特征训练数据库,并将所述特征训练数据库输入待训练的神经网络模型中进行训练,获取海岸带垃圾识别模型;
8.响应于识别指令,所述识别指令包括无人机拍摄的待识别区域的航拍图像,将所述待识别区域的航拍图像输入至所述海岸带垃圾识别模型中,获取所述待识别区域的航拍图像的垃圾区域识别结果;
9.响应于显示指令,获取所述待识别区域的航拍图像对应的电子地图数据,根据所述待识别的航拍图像的垃圾区域识别结果,在所述电子地图数据上进行垃圾区域的框选,获取所述待识别的航拍图像的垃圾识别区域,并对所述垃圾识别区域进行显示以及标注。
10.第二方面,本技术实施例提供了一种基于无人机检测的海岸带垃圾识别装置,包括:
11.获取模块,用于获取无人机拍摄的样本区域的样本航拍集以及标记数据集,其中,所述样本航拍集包括若干个样本航拍图像,所述样本航拍图像包括垃圾区域,所述标记数
据集包括所述若干个样本航拍图像的垃圾区域的位置参数;
12.训练模块,用于将所述样本航拍集以及标记数据集输入至预设的卷积神经网络模型,获得所述卷积神经网络模型输出的特征训练数据库,并将所述特征训练数据库输入待训练的神经网络模型中进行训练,获取海岸带垃圾识别模型;
13.识别模块,用于响应于识别指令,所述识别指令包括无人机拍摄的待识别区域的航拍图像,将所述待识别区域的航拍图像输入至所述海岸带垃圾识别模型中,获取所述待识别区域的航拍图像的垃圾区域识别结果;
14.显示模块,用于响应于显示指令,获取所述待识别区域的航拍图像对应的电子地图数据,根据所述待识别的航拍图像的垃圾区域识别结果,在所述电子地图数据上进行垃圾区域的框选,获取所述待识别的航拍图像的垃圾识别区域,并对所述垃圾识别区域进行显示以及标注。
15.第三方面,本技术实施例提供了一种计算机设备,包括:处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序;所述计算机程序被所述处理器执行时实现如第一方面所述的基于无人机检测的海岸带垃圾识别方法的步骤。
16.第四方面,本技术实施例提供了一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的基于无人机检测的海岸带垃圾识别方法的步骤。
17.在本技术实施例中,提供一种基于无人机检测的海岸带垃圾识别方法、装置、设备以及存储介质,通过深度学习方法,根据无人机拍摄的航拍图像以及与所述航拍图像中的垃圾区域相关联的标记数据来构造特征训练数据库,进行海岸带垃圾识别模型的训练,能够快速、精准地对待识别的航拍图像中的垃圾区域进行识别,降低了海岸带垃圾识别的人力成本以及时间成本。
18.为了更好地理解和实施,下面结合附图详细说明本发明。
附图说明
19.图1为本技术一个实施例提供的基于无人机检测的海岸带垃圾识别方法的流程示意图;
20.图2为本技术另一个实施例提供的基于无人机检测的海岸带垃圾识别方法的流程示意图;
21.图3为本技术一个实施例提供的基于无人机检测的海岸带垃圾识别方法中s2的流程示意图;
22.图4为本技术一个实施例提供的基于无人机检测的海岸带垃圾识别方法中s202的流程示意图;
23.图5为本技术一个实施例提供的基于无人机检测的海岸带垃圾识别方法中s4的流程示意图;
24.图6为本技术一个实施例提供的基于无人机检测的海岸带垃圾识别装置的结构示意图;
25.图7为本技术一个实施例提供的计算机设备的结构示意图。
具体实施方式
26.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
27.在本技术使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
28.应当理解,尽管在本技术可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本技术范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”/“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
29.请参阅图1,图1为本技术一个实施例提供的基于无人机检测的海岸带垃圾识别方法的流程示意图,所述方法包括如下步骤:
30.s1:获取无人机拍摄的样本区域的样本航拍集以及标记数据集。
31.所述基于无人机检测的海岸带垃圾识别方法的执行主体为基于无人机检测的海岸带垃圾识别方法的识别设备(以下简称识别设备),在一个可选的实施例中,所述识别设备可以是一台计算机设备可以是服务器,或是多台计算机设备联合而成的服务器机群。
32.所述样本航拍集包括若干个样本航拍图像,所述样本航拍图像包括垃圾区域,所述标记数据集包括所述若干个样本航拍图像的垃圾区域的位置参数。
33.在本实施例中,识别设备可以通过获取无人机拍摄的海岸带区域的若干个样本航拍图像,作为所述样本区域的样本航拍集,其中,所述样本航拍集包括若干个样本航拍图像,并获取用户输入的若干个样本航拍图像的垃圾区域的位置参数,作为所述标记数据集。
34.请参阅图2,图2为本技术另一个实施例提供的基于无人机检测的海岸带垃圾识别方法的流程示意图,包括步骤s5,所述步骤s5在步骤s2之前,具体如下:
35.s5:对所述样本航拍集中若干个样本航拍图像进行缩放处理,获取若干个缩放处理后的样本航拍图像。
36.由于无人机拍摄的所述样本航拍图像的像素过大,为了提高所述卷积神经网络模型进行特征训练数据库构造的效率以及精准性,在本实施例中,识别设备对所述样本航拍集中若干个样本航拍图像进行缩放处理,获取若干个缩放处理后的样本航拍图像,并获取用户输入的所述若干个缩放处理后的样本航拍图像的垃圾区域的位置参数,作为所述标记数据集。
37.s2:将所述样本航拍集以及标记数据集输入至预设的卷积神经网络模型,获得所述卷积神经网络模型输出的特征训练数据库,并将所述特征训练数据库输入待训练的神经网络模型中进行训练,获取海岸带垃圾识别模型。
38.所述卷积神经网络模型为mask-rcnn(mask region-based convolutional neural network)网络模型,mask-rcnn是一种在有效检测目标的同时输出高质量的实例分
割特征图的卷积神经网络模型,能够应用于实例分割、目标检测、人体关键点检测等方面,
39.在本实施例中,识别设备将所述样本航拍集以及标记数据集输入至预设的卷积神经网络模型,获得所述卷积神经网络模型输出的特征训练数据库,并将所述特征训练数据库输入待训练的神经网络模型中进行训练,获取海岸带垃圾识别模型。
40.所述maskrcnn网络模型包括依次相连的特征提取层、特征区域选取层以及边框裁剪池化层。请参阅图3,图3为本技术一个实施例提供的基于无人机检测的海岸带垃圾识别方法中s2的流程示意图,包括步骤s201~s203,具体如下:
41.s201:将所述样本航拍集以及标记数据集输入所述特征提取层中,根据预设的若干个缩放尺度,对所述各个样本航拍图像的垃圾区域进行缩放处理,获得所述各个样本航拍图像对应的若干个缩放尺度的子样本航拍图像,并获得所述若干个缩放尺度的子样本航拍图像的第一特征图。
42.所述特征提取层为backbone层,backbone采用的是resnet-50或者resnet-101,作为特征提取器来进行特征的提取。
43.由于低层特征往往含有较多的细节信息,例如颜色、轮廓、纹理等等,为了更好地获取特征训练数据库,用以提高训练海岸带垃圾识别模型的精准性,在本实施例中,识别设备预先设置多个缩放尺度,例如1/4、1/8、1/16、1/32、1/64;
44.识别设备将所述样本航拍集以及标记数据集输入所述特征提取层中,根据预设的若干个缩放尺度,对所述各个样本航拍图像的垃圾区域进行缩放处理,获得所述各个样本航拍图像对应的若干个缩放尺度的子样本航拍图像,并对所述各个样本航拍图像对应的若干个缩放尺度的子样本航拍图像进行卷积处理,获得所述若干个缩放尺度的子样本航拍图像的第一特征图。
45.s202:获得所述若干个缩放尺度的子样本航拍图像的第一特征图输入至所述特征区域选取层中,根据预设的边框参数,获得所述若干个缩放尺度的子样本航拍图像的第一特征图中,各个像素点对应的若干个边框,并从所述各个像素点对应的若干个边框中提取若干个目标边框,根据所述若干个目标边框,获取所述若干个缩放尺度的子样本航拍图像的各个像素点对应的若干个目标边框对应的特征图。
46.所述特征区域选取层为rpn(region proposal network)层,用于进行分类任务和回归任务,在本实施例中,识别设备获得所述若干个缩放尺度的子样本航拍图像的第一特征图输入至所述特征区域选取层中,根据预设的边框参数,获得所述若干个缩放尺度的子样本航拍图像的特征图中,各个像素点对应的若干个边框,在一个可选的实施例中,所述边框参数包括边框面积参数以及长宽比参数,识别设备可以通过保持边框面积参数不变,改变所述长宽比参数,从而获取各个像素点对应的若干个不同形状大小的边框,并根据边框对应的第一特征图的区域,判断该边框与垃圾区域的关联程度,从所述各个像素点对应的若干个边框中提取若干个目标边框,根据所述若干个目标边框,将所述目标边框对应的第一特征图的区域,作为所述若干个目标边框对应的特征图,获取所述若干个缩放尺度的子样本航拍图像的各个像素点对应的若干个目标边框对应的特征图。
47.请参阅图4,图4为本技术一个实施例提供的基于无人机检测的海岸带垃圾识别方法中s202的流程示意图,包括步骤s2021~s2022,具体如下:
48.s2021:计算所述各个像素点对应的若干个边框的物体检测概率。
49.由于所述边框对应的第一特征图的区域中可能包括垃圾区域对应的像素点以及非垃圾区域对应的像素点,在本实施例中,识别设备可以通过计算所述若干个缩放尺度的子样本航拍图像的第一特征图中,各个像素点对应的若干个边框对应的第一特征图的区域中垃圾区域对应的像素点的占比,作为所述物体检测概率,用于显示该边框与垃圾区域的关联程度。
50.s2022:根据所述物体检测概率以及预设的检测概率阈值,从所述各个像素点对应的若干个边框中提取若干个目标边框。
51.所述检测概率阈值包括第一检测概率阈值以及第二检测概率阈值,在一个可选的实施例中,所述第一检测概率阈值可以设置为0.7,所述第二检测概率阈值可以设置为0.3.
52.在本实施例中,识别设备将所述若干个缩放尺度的子样本航拍图像的第一特征图中,各个像素点对应的若干个边框对应的物体检测概率,与所述第一检测概率阈值以及第二检测概率阈值进行比较。具体地,当所述物体检测概率大于或等于所述第一检测概率阈值,即体现该边框所对应的第一特征图的区域与垃圾区域的关联程度,将所述边框设置为目标边框,当所述物体检测概率小于或等于所述第一检测概率阈值,即体现该边框所对应的第一特征图的区域与垃圾区域的非关联程度,将所述边框设置为目标边框,从而在所述各个像素点对应的若干个边框中提取若干个目标边框。
53.s203:将所述若干个缩放尺度的子样本航拍图像的各个像素点对应的若干个目标边框对应的特征图输入至所述边框裁剪池化层中,进行裁剪以及池化处理,获取处理后的所述若干个缩放尺度的子样本航拍图像的各个像素点对应的若干个目标边框对应的特征图对应的特征区域,作为所述特征训练数据库。
54.所述边框裁剪池化层为roi align层,所述roi align层通过采用双线性插值方法,对所述若干个缩放尺度的子样本航拍图像的特征图对应的特征区域进行提取,以防止特征区域中的一部分像素点丢失。
55.在本实施例中,识别设备将所述若干个缩放尺度的子样本航拍图像的各个像素点对应的若干个目标边框对应的特征图输入至所述边框裁剪池化层中,进行裁剪以及池化处理,获取处理后的所述若干个缩放尺度的子样本航拍图像的各个像素点对应的若干个目标边框对应的特征图对应的特征区域,作为所述特征训练数据库。
56.s3:响应于识别指令,所述识别指令包括无人机拍摄的待识别区域的航拍图像,将所述待识别区域的航拍图像输入至所述海岸带垃圾识别模型中,获取所述待识别区域的航拍图像的垃圾区域识别结果。
57.所述识别指令是用户发出,识别设备接收的。
58.在本实施例中,识别设备获取用户发送的识别指令,并进行响应,获取所述无人机拍摄的待识别区域的航拍图像,将所述待识别区域的航拍图像输入至所述海岸带垃圾识别模型中,获取所述待识别区域的航拍图像的垃圾区域识别结果。
59.s4:响应于显示指令,获取所述待识别区域的航拍图像对应的电子地图数据,根据所述待识别的航拍图像的垃圾区域识别结果,在所述电子地图数据上进行垃圾区域的框选,获取所述待识别的航拍图像的垃圾识别区域,并对所述垃圾识别区域进行显示以及标注。
60.所述显示指令为用户发出的,识别设备接收的。
61.在本实施例中,识别设备获取用户发送的显示指令,并进行响应,获取所述待识别区域的航拍图像对应的电子地图数据,根据所述待识别的航拍图像的垃圾区域识别结果,在所述电子地图数据上进行垃圾区域的框选,获取所述待识别的航拍图像的垃圾识别区域,并获取所述垃圾识别区域中的目标像素点,围绕该目标像素点进行颜色填充处理,获取颜色填充处理后的垃圾识别区域,返回至识别设备的显示界面中,对所述颜色填充处理后的垃圾识别区域进行显示以及标注。
62.请参阅图5,图5为本技术一个实施例提供的基于无人机检测的海岸带垃圾识别方法中s4的流程示意图,包括步骤s401~s402,具体如下:
63.s401:获取所述待识别的航拍图像的垃圾识别区域的像素面积,根据所述像素面积以及预设的面积计算算法,获取所述待识别的航拍图像的垃圾识别区域的面积参数。
64.在本实施例中,识别设备获取所述待识别的航拍图像的垃圾识别区域的像素面积,根据所述像素面积以及预设的面积换算比例,获取所述待识别的航拍图像的垃圾识别区域的面积参数。
65.s402:根据所述待识别的航拍图像的垃圾识别区域的面积参数,在所述电子地图数据上进行面积参数的显示以及标注。
66.在本实施例中,识别设备根据所述待识别的航拍图像的垃圾识别区域的面积参数,返回至识别设备的显示界面中,在所述电子地图数据上进行面积参数的显示以及标注。
67.请参考图6,图6为本技术一个实施例提供的基于无人机检测的海岸带垃圾识别装置的结构示意图,该装置可以通过软件、硬件或两者的结合实现基于无人机检测的海岸带垃圾识别装置的全部或一部分,该装置6包括:
68.获取模块61,用于获取无人机拍摄的样本区域的样本航拍集以及标记数据集,其中,所述样本航拍集包括若干个样本航拍图像,所述样本航拍图像包括垃圾区域,所述标记数据集包括所述若干个样本航拍图像的垃圾区域的位置参数;
69.训练模块62,用于将所述样本航拍集以及标记数据集输入至预设的卷积神经网络模型,获得所述卷积神经网络模型输出的特征训练数据库,并将所述特征训练数据库输入待训练的神经网络模型中进行训练,获取海岸带垃圾识别模型;
70.识别模块63,用于响应于识别指令,所述识别指令包括无人机拍摄的待识别区域的航拍图像,将所述待识别区域的航拍图像输入至所述海岸带垃圾识别模型中,获取所述待识别区域的航拍图像的垃圾区域识别结果;
71.显示模块64,用于响应于显示指令,获取所述待识别区域的航拍图像对应的电子地图数据,根据所述待识别的航拍图像的垃圾区域识别结果,在所述电子地图数据上进行垃圾区域的框选,获取所述待识别的航拍图像的垃圾识别区域,并对所述垃圾识别区域进行显示以及标注。
72.在本实施例中,通过获取模块,获取无人机拍摄的样本区域的样本航拍集以及标记数据集,其中,所述样本航拍集包括若干个样本航拍图像,所述样本航拍图像包括垃圾区域,所述标记数据集包括所述若干个样本航拍图像的垃圾区域的位置参数;通过训练模块,将所述样本航拍集以及标记数据集输入至预设的卷积神经网络模型,获得所述卷积神经网络模型输出的特征训练数据库,并将所述特征训练数据库输入待训练的神经网络模型中进行训练,获取海岸带垃圾识别模型;通过识别模块,响应于识别指令,所述识别指令包括无
人机拍摄的待识别区域的航拍图像,将所述待识别区域的航拍图像输入至所述海岸带垃圾识别模型中,获取所述待识别区域的航拍图像的垃圾区域识别结果;通过显示模块,响应于显示指令,获取所述待识别区域的航拍图像对应的电子地图数据,根据所述待识别的航拍图像的垃圾区域识别结果,在所述电子地图数据上进行垃圾区域的框选,获取所述待识别的航拍图像的垃圾识别区域,并对所述垃圾识别区域进行显示以及标注。
73.通过深度学习方法,根据无人机拍摄的航拍图像以及与所述航拍图像中的垃圾区域相关联的标记数据来构造特征训练数据库,进行海岸带垃圾识别模型的训练,能够快速、精准地对待识别的航拍图像中的垃圾区域进行识别,降低了海岸带垃圾识别的人力成本以及时间成本。
74.请参考图7,图7为本技术一个实施例提供的计算机设备的结构示意图,计算机设备7包括:处理器71、存储器72以及存储在存储器72上并可在处理器71上运行的计算机程序73;计算机设备可以存储有多条指令,指令适用于由处理器71加载并执行上述图一至图五所示实施例的方法步骤,具体执行过程可以参见图一至图五所示实施例的具体说明,在此不进行赘述。
75.其中,处理器71可以包括一个或多个处理核心。处理器71利用各种接口和线路连接服务器内的各个部分,通过运行或执行存储在存储器72内的指令、程序、代码集或指令集,以及调用存储器72内的数据,执行基于无人机检测的海岸带垃圾识别装置6的各种功能和处理数据,可选的,处理器71可以采用数字信号处理(digital signal processing,dsp)、现场可编程门阵列(field-programmable gate array,fpga)、可编程逻辑阵列(programble logic array,pla)中的至少一个硬件形式来实现。处理器71可集成中央处理器71(central processing unit,cpu)、图像处理器71(graphics processing unit,gpu)和调制解调器等中的一个或几种的组合。其中,cpu主要处理操作系统、用户界面和应用程序等;gpu用于负责触摸显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器71中,单独通过一块芯片进行实现。
76.其中,存储器72可以包括随机存储器72(random access memory,ram),也可以包括只读存储器72(read-only memory)。可选的,该存储器72包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器72可用于存储指令、程序、代码、代码集或指令集。存储器72可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控指令等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器72可选的还可以是至少一个位于远离前述处理器71的存储装置。
77.本技术实施例还提供了一种存储介质,所述存储介质可以存储有多条指令,所述指令适用于由处理器加载并执行上述图一至图五所示实施例的方法步骤,具体执行过程可以参见图一至图五所示实施例的具体说明,在此不进行赘述。
78.所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可
以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
79.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
80.本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束算法。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
81.在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
82.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
83.另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
84.所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。
85.本发明并不局限于上述实施方式,如果对本发明的各种改动或变形不脱离本发明的精神和范围,倘若这些改动和变形属于本发明的权利要求和等同技术范围之内,则本发明也意图包含这些改动和变形。

技术特征:
1.一种基于无人机检测的海岸带垃圾识别方法,其特征在于,包括以下步骤:获取无人机拍摄的样本区域的样本航拍集以及标记数据集,其中,所述样本航拍集包括若干个样本航拍图像,所述样本航拍图像包括垃圾区域,所述标记数据集包括所述若干个样本航拍图像的垃圾区域的位置参数;将所述样本航拍集以及标记数据集输入至预设的卷积神经网络模型,获得所述卷积神经网络模型输出的特征训练数据库,并将所述特征训练数据库输入待训练的神经网络模型中进行训练,获取海岸带垃圾识别模型;响应于识别指令,所述识别指令包括无人机拍摄的待识别区域的航拍图像,将所述待识别区域的航拍图像输入至所述海岸带垃圾识别模型中,获取所述待识别区域的航拍图像的垃圾区域识别结果;响应于显示指令,获取所述待识别区域的航拍图像对应的电子地图数据,根据所述待识别的航拍图像的垃圾区域识别结果,在所述电子地图数据上进行垃圾区域的框选,获取所述待识别的航拍图像的垃圾识别区域,并对所述垃圾识别区域进行显示以及标注。2.根据权利要求1所述的基于无人机检测的海岸带垃圾识别方法,其特征在于,所述将所述样本航拍集以及标记数据集输入至预设的卷积神经网络模型中进行训练,获得海岸带垃圾识别模型之前,包括步骤:对所述样本航拍集中若干个样本航拍图像进行缩放处理,获取若干个缩放处理后的样本航拍图像。3.根据权利要求1所述的基于无人机检测的海岸带垃圾识别方法,其特征在于:所述卷积神经网络模型为maskrcnn网络模型,所述maskrcnn网络模型包括依次相连的特征提取层、特征区域选取层以及边框裁剪池化层。4.根据权利要求3所述的基于无人机检测的海岸带垃圾识别方法,其特征在于,所述将所述样本航拍集以及标记数据集输入至预设的卷积神经网络模型,获得所述卷积神经网络模型输出的特征数据库,包括步骤:将所述样本航拍集以及标记数据集输入所述特征提取层中,根据预设的若干个缩放尺度,对所述各个样本航拍图像的垃圾区域进行缩放处理,获得所述各个样本航拍图像对应的若干个缩放尺度的子样本航拍图像,并获得所述若干个缩放尺度的子样本航拍图像的第一特征图;获得所述若干个缩放尺度的子样本航拍图像的第一特征图输入至所述特征区域选取层中,根据预设的边框参数,获得所述若干个缩放尺度的子样本航拍图像的第一特征图中,各个像素点对应的若干个边框,并从所述各个像素点对应的若干个边框中提取若干个目标边框,根据所述若干个目标边框,获取所述若干个缩放尺度的子样本航拍图像的各个像素点对应的若干个目标边框对应的特征图;将所述若干个缩放尺度的子样本航拍图像的各个像素点对应的若干个目标边框对应的特征图输入至所述边框裁剪池化层中,进行裁剪以及池化处理,获取处理后的所述若干个缩放尺度的子样本航拍图像的各个像素点对应的若干个目标边框对应的特征图对应的特征区域,作为所述特征训练数据库。5.根据权利要求4所述的基于无人机检测的海岸带垃圾识别方法,其特征在于,所述从所述各个像素点对应的若干个边框中提取若干个目标边框,包括步骤:
计算所述各个像素点对应的若干个边框的物体检测概率;根据所述物体检测概率以及预设的检测概率阈值,从所述各个像素点对应的若干个边框中提取若干个目标边框,获取所述若干个目标边框对应的特征图。6.根据权利要求1所述的基于无人机检测的海岸带垃圾识别方法,其特征在于,所述获取垃圾识别区域,并对所述垃圾识别区域进行显示以及标注,还包括步骤:获取所述待识别的航拍图像的垃圾识别区域的像素面积,根据所述像素面积以及预设的面积换算比例,获取所述待识别的航拍图像的垃圾识别区域的面积参数,根据所述待识别的航拍图像的垃圾识别区域的面积参数,在所述电子地图数据上进行面积参数的显示以及标注。7.一种基于无人机检测的海岸带垃圾识别装置,其特征在于,包括:获取模块,用于获取无人机拍摄的样本区域的样本航拍集以及标记数据集,其中,所述样本航拍集包括若干个样本航拍图像,所述样本航拍图像包括垃圾区域,所述标记数据集包括所述若干个样本航拍图像的垃圾区域的位置参数;训练模块,用于将所述样本航拍集以及标记数据集输入至预设的卷积神经网络模型,获得所述卷积神经网络模型输出的特征训练数据库,并将所述特征训练数据库输入待训练的神经网络模型中进行训练,获取海岸带垃圾识别模型;识别模块,用于响应于识别指令,所述识别指令包括无人机拍摄的待识别区域的航拍图像,将所述待识别区域的航拍图像输入至所述海岸带垃圾识别模型中,获取所述待识别区域的航拍图像的垃圾区域识别结果;显示模块,用于响应于显示指令,获取所述待识别区域的航拍图像对应的电子地图数据,根据所述待识别的航拍图像的垃圾区域识别结果,在所述电子地图数据上进行垃圾区域的框选,获取所述待识别的航拍图像的垃圾识别区域,并对所述垃圾识别区域进行显示以及标注。8.一种计算机设备,其特征在于,包括:处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序;所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的基于无人机检测的海岸带垃圾识别方法的步骤。9.一种存储介质,其特征在于:所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于无人机检测的海岸带垃圾识别方法的步骤。

技术总结
本发明涉及图像检测技术领域,特别涉及一种基于无人机检测的海岸带垃圾识别方法,包括:获取无人机拍摄的样本区域的样本航拍集以及标记数据集,将样本航拍集以及标记数据集输入至预设的卷积神经网络模型,获得卷积神经网络模型输出的特征训练数据库,并将特征训练数据库输入待训练的神经网络模型中进行训练,获取海岸带垃圾识别模型;响应于识别指令,识别指令包括无人机拍摄的待识别区域的航拍图像,将待识别区域的航拍图像输入至海岸带垃圾识别模型中,获取待识别区域的航拍图像的垃圾区域识别结果;响应于显示指令,获取待识别区域的航拍图像对应的电子地图数据,根据待识别的航拍图像的垃圾区域识别结果,并对垃圾识别区域进行显示以及标注。域进行显示以及标注。域进行显示以及标注。


技术研发人员:李少瑞 祝振昌 徐南豪 朱琴 蔡宴朋 杨志峰
受保护的技术使用者:广东工业大学
技术研发日:2022.07.20
技术公布日:2022/11/1
转载请注明原文地址: https://tieba.8miu.com/read-3606.html

最新回复(0)