本发明涉及鸟类跟踪技术,尤其涉及一种基于深度学习的变电站鸟类检测跟踪方法、装置及存储介质。
背景技术:
1、电网驱鸟的背景主要源于电力系统面临的鸟类干扰问题。随着电网覆盖范围的扩大,鸟类在电力设施上筑巢、栖息和活动的情况越来越普遍。然而,这种行为容易导致鸟类触碰导线,造成短路、跳闸等事故,不仅危及鸟类的生命安全,还严重影响电网的运行稳定性。此外,鸟类粪便和筑巢材料堆积也会损坏设备。为了解决这一问题,电力部门逐渐采用各种驱鸟措施,如安装驱鸟装置、采用声光驱鸟技术等,以保障电网安全运行,减少因鸟害引发的电力事故。
2、目前行业上的驱鸟设备具备无差别、短时间、无针对性的特性,不能持续对鸟类进行跟踪打击,因此对鸟类的驱散能力较弱,不能长时间有效的维护电网的安全。运动目标的跟踪一直都是机器机视觉研究领域中的难点以及热点问题。在对鸟类识别跟踪过程中,存在很多方面的挑战和难题,比如鸟类存在误检,鸟类存在形变、鸟类飞行速度过快等难题。基于深度学习的目标检测和跟踪算法可以在一定程度上规避这些问题,有效提高了效率和精度。
3、但是,基于深度学习的孪生网络,推理耗时长,实时性比较差。核相关滤波算法在跟踪过程当中目标框是已经设定好的,不具备自适应跟踪目标大小,这个就会导致跟踪器跟踪过程当中目标框漂移,从而导致跟踪失败,跟踪准确率不高。基于neanshift算法的跟踪算法,对快速移动、目标遮挡以及背景较相似的目标场景没有一个很好的解决方案。因此,目前存在的算法在跟踪准确率和跟踪速度上不能兼顾的问题。
技术实现思路
1、针对现有技术存在的问题,本发明的目的是提供一种跟踪准确率和跟踪速度都比较高的基于深度学习的变电站鸟类检测跟踪方法、装置及存储介质。
2、为了实现上述发明目的,本发明提供了如下技术方案:
3、一种基于深度学习的变电站鸟类检测跟踪方法,包括如下步骤:
4、(1)获取变电站附近的实时监控视频,并从监控视频中提取若干帧按照时间顺序排列的视频图像;
5、(2)采用深度学习方法对每个视频图像中的鸟类进行识别,识别出视频图像中的所有鸟实体;
6、(3)对视频图像中识别出的所有鸟实体进行多目标跟踪,即计算每个鸟实体在每个视频图像上的坐标区间;
7、(4)对视频图像中的每个鸟进行单目标跟踪,即根据模板匹配方法判断不同时间的视频图像中识别出的鸟实体是否为同一个鸟,并根据同一个鸟在不同时间的视频图像上的坐标区间,预估鸟未来在视频图像上的飞行距离;
8、(5)根据每个鸟在最近一帧视频图像上的坐标区间,以及最临近变电站设备在最近一帧视频图像上的坐标区间,计算每个鸟的安全距离,其中,安全距离与鸟在视频图像上的坐标区间和最临近变电站设备在视频图像上的坐标区间正相关;
9、(6)若鸟未来在图像视频上的飞行距离超出该鸟的安全距离,则判定当前鸟为驱逐目标鸟,将标出驱逐目标鸟的视频图像发送至告警设备,并向驱逐设备发送驱逐指令,使得驱逐设备向驱逐目标鸟发出驱逐动作;
10、(7)获取驱逐指令发送预设时间段后,驱逐目标鸟在视频图像中的占据的面积,若驱逐前后占据面积减小的部分超出阈值,则判定驱逐成功。
11、进一步的,步骤(1)具体包括:
12、获取变电站附近的监控拍摄的实时监控视频;
13、对监控视频的视频帧进行等间隔采样,将采样得到的若干视频帧按照时间顺序排列,作为按照时间顺序排列的视频图像。
14、进一步的,步骤(2)具体包括:
15、按照三维真实空间和二维图像空间的映射规则,获取视频图像中与预设三维鸟类监控空间范围对应的鸟类监控图像区域;
16、采用基于深度神经网络的鸟类识别模型,对视频图像中的所有鸟实体进行识别,生成鸟类候选识别框,其中,所述鸟类识别模型通过多个含有鸟类的图像和已经标出鸟类识别框的标签图像训练得到;
17、将没有位于鸟类监控图像区域内的候选识别框删除,剩余的候选识别框作为最终识别到的鸟实体的识别框。
18、进一步的,步骤(3)具体包括:
19、建立视频图像上包括x、y两个方向的二维坐标系;
20、在每个视频图像二维坐标系的x、y方向上分别生成若干等间隔的直线,将x、y方向上直线的交点作为定位点;
21、对每个视频图像中每个鸟实体识别框中的鸟的外轮廓进行拟合,得到每个鸟实体的外轮廓;
22、获取每个鸟实体的外轮廓所覆盖的所有定位点,将所有定位点的坐标集合作为当前鸟实体在当前视频图像上的坐标区间。
23、进一步的,步骤(4)具体包括:
24、获取采用深度学习方法识别出的视频图像中的每个鸟实体的识别框;
25、为第一帧视频图像中出现的所有鸟实体分配唯一识别号,将每个鸟实体的识别框内的图像作为对应唯一识别号的模板进行存储;
26、将后续帧的视频图像中识别出的鸟实体的识别框内图像,与存储的所有模板进行匹配,将与模板匹配成功的识别框中的鸟的唯一识别号,标记为与模板一致的唯一识别号;若没有匹配成功,则将该鸟实体的识别框内图像作为新的模板存储;
27、将不同帧的视频图像上唯一标识号一致的鸟实体作为同一个鸟,根据同一个鸟在不同时间的视频图像上的坐标区间,预估鸟未来在图像视频上的飞行距离。
28、进一步的,所述根据同一个鸟在不同时间的视频图像上的坐标区间,预估鸟未来在图像视频上的飞行距离,具体包括:
29、获取同一个鸟在最近的三个相邻帧的视频图像上的坐标区间;
30、根据鸟在三个相邻帧视频图像上的坐标区间,计算鸟从三个相邻帧视频图像中第一帧视频图像时刻移动到第二帧视频图像时刻时移动的第一图像距离d1,以及从第二帧视频图像时刻移动到第三帧视频图像时刻时移动的第二图像距离d2:
31、d1=p1s,
32、d2=p2s,
33、式中,p1表示鸟从第一帧视频图像时刻移动到第二帧视频图像时刻移动的定位点数量,p2表示鸟从第二帧视频图像时刻移动到第三帧视频图像时刻移动的定位点数量,s表示相邻定位点之间的距离;
34、获取最临近变电站设备在三个相邻帧视频图像的坐标区间,计算变电站设备从三个相邻帧视频图像中第一帧视频图像时刻移动到第二帧视频图像时刻时移动的第一图像距离l1,以及从第二帧视频图像时刻移动到第三帧视频图像时刻时移动的第二图像距离l2:
35、l1=q1s,
36、l2=q2s,
37、式中,q1表示最临近变电站设备从第一帧视频图像时刻移动到第二帧视频图像时刻时移动的定位点数量,q2表示最临近变电站设备从第二帧视频图像时刻移动到第三帧视频图像时刻时移动的定位点数量;
38、按照下式计算鸟未来在图像视频上的飞行距离:
39、,
40、式中,b表示鸟未来在图像视频上的飞行距离,β表示换算系数,t表示相邻帧视频图像的时间间隔,当鸟为加速飞行时,的值为负号,减速飞行时的值为正号。
41、进一步的,步骤(5)具体包括:
42、根据当前鸟在最近一帧图像视频上的坐标区间和最临近变电站设备在最近一帧图像视频上的坐标区间,按照下式计算当前鸟的安全距离:
43、l=αn1n2,
44、n1=n1s,
45、n2=n2s,
46、式中,l为当前鸟的安全距离,α为安全距离与形状大小的换算系数,n1为当前鸟在最近一帧图像视频上的形状大小,n2为最临近变电站设备在最近一帧图像视频上的形状大小,s为相邻定位点之间的距离,n1为当前鸟在最近一帧图像视频上的坐标区间中定位点个数,n2为最临近变电站设备在最近一帧图像视频上的坐标区间中定位点个数。
47、进一步的,所述最临近变电站设备在视频图像上的坐标区间通过以下方法得到:
48、采用基于深度神经网络的变电站设备识别模型,对视频图像中的所有变电站设备进行识别,生成变电站设备识别框,其中,所述变电站设备识别模型通过多个含有变电站设备的图像和已经标出变电站设备识别框的标签图像训练得到;
49、对视频图像中每个变电站设备识别框中的变电站设备的外轮廓进行拟合,得到每个变电站设备的外轮廓;
50、计算所有变电站设备外轮廓与当前鸟的外轮廓之间的距离,选取距离最短的变电站设备作为最临近变电站设备;
51、获取最临近变电站设备的外轮廓所覆盖的所有定位点,将所有定位点的坐标集合作为最临近变电站设备在视频图像上的坐标区间。
52、一种计算机装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序以实现上述的方法。
53、一种计算机可读存储介质,其上存储有计算机程序/指令,所述计算机程序/指令在由处理器执行时实现上述方法。
54、本发明与现有技术相比,其有益效果是:本发明采用深度学习方法对鸟类识别,之后先同时对同一视频图像的多个鸟类进行多目标跟踪,再对单个鸟类执行单个目标跟踪,跟踪准确率高、不容易丢失目标。本发明采用实时的视频处理,实时性高,跟踪速度快,可以更快的发现危险鸟类,并进行驱逐。本发明可以应用于各种场景下的目标识别和跟踪,其中包括但不限于电网、农田驱鸟、高空无人机定位以及军工类的目标识别和跟踪。
1.一种基于深度学习的变电站鸟类检测跟踪方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的基于深度学习的变电站鸟类检测跟踪方法,其特征在于,步骤(1)具体包括:
3.根据权利要求1所述的基于深度学习的变电站鸟类检测跟踪方法,其特征在于,步骤(2)具体包括:
4.根据权利要求1所述的基于深度学习的变电站鸟类检测跟踪方法,其特征在于,步骤(3)具体包括:
5.根据权利要求1所述的基于深度学习的变电站鸟类检测跟踪方法,其特征在于,步骤(4)具体包括:
6.根据权利要求5所述的基于深度学习的变电站鸟类检测跟踪方法,其特征在于,所述根据同一个鸟在不同时间的视频图像上的坐标区间,预估鸟未来在图像视频上的飞行距离,具体包括:
7.根据权利要求1所述的基于深度学习的变电站鸟类检测跟踪方法,其特征在于,步骤(5)具体包括:
8.根据权利要求1所述的基于深度学习的变电站鸟类检测跟踪方法,其特征在于,所述最临近变电站设备在视频图像上的坐标区间通过以下方法得到:
9.一种计算机装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于:所述处理器执行所述计算机程序以实现如权利要求1-8中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序/指令,其特征在于,所述计算机程序/指令在由处理器执行时实现权利要求1-8中任一项所述的方法。
