本发明属于复杂场景下无人机回收,具体涉及一种基于视觉算法的无人机回收方法、装置、设备及介质。
背景技术:
1、随着无人机技术的快速发展,无人机在各个领域的应用日益广泛。然而,无人机的自动回收问题一直是制约其进一步应用的重要瓶颈之一。
2、在无人机回收技术的发展过程中,虽然已有多种回收方法被提出并应用,但仍存在一些明显的缺陷和不足,例如部分无人机回收技术仍然需要人工干预或操作,如人工引导无人机降落、手动控制无人机进入回收区域等,增加了操作难度,降低了回收的效率和安全性。
技术实现思路
1、本发明的目的在于提供一种基于视觉算法的无人机回收方法、装置、设备及介质,以解决现有无人机回收技术仍然需要人工干预或操作,操作难度大,回收的效率和安全性低的技术问题。
2、为实现上述目的,本发明采用如下技术方案予以实现:
3、第一方面,本发明提供一种基于视觉算法的无人机回收方法,包括以下步骤:
4、获取无人机飞行时的实时坐标,以及对应的地面降落点坐标;当实时坐标与地面降落点坐标的距离在预设范围内时,确定无人机与地面降落点的相对位置;基于所述相对位置,从地面降落点向上对无人机所在位置区域进行实时拍摄,得到视频图像数据;
5、从所述视频图像数据中识别出无人机,并对无人机进行定位;持续跟踪无人机,并更新无人机的飞行轨迹;其中,当无人机从视频图像数据中消失时,采用轨迹预测算法预测无人机的可能位置,依据可能位置对无人机持续跟踪;
6、依据无人机的飞行轨迹,确定无人机的下降梯度;
7、基于下降梯度和地面降落点坐标,采用路径规划算法规划无人机的最优降落航线。
8、进一步的,基于所述相对位置,从地面降落点向上对无人机所在位置区域进行实时拍摄,得到视频图像数据的步骤中:
9、当相对位置的距离小于或者等于预设范围时,地面降落点处的摄像机开始对无人机所在位置区域进行拍摄;否则,摄像机不工作。
10、进一步的,从所述视频图像数据中识别出无人机,并对无人机进行定位,包括:
11、对视频图像数据进行预处理,得到连续的视频帧数据;
12、将视频帧数据输入yolo算法中的卷积神经网络进行特征提取;
13、基于提取的特征,将视频帧数据划分为若干网格并在每个网格中预测边界框及对应的置信度;
14、基于提取的特征,预测每个边界框的类别概率向量;
15、根据每个边界框的类别概率向量和置信度得分,得到若干预测无人机位置坐标;
16、采用非极大值预测算法处理预测无人机位置坐标,得到最终的无人机位置坐标。
17、进一步的,依据无人机的飞行轨迹,确定无人机的下降梯度,包括:
18、根据无人机的飞行轨迹确定无人机的下降阶段;
19、在下降阶段内选择起点和终点;
20、使用起点和终点的高度数据来计算下降高度,根据位置坐标来计算起点和终点的水平距离,依据下降高度与水平距离计算下降梯度。
21、进一步的,采用路径规划算法规划无人机的最优降落航线的步骤后,无人机依据最优降落航线进行下降;其中,在无人机依据最优降落航线降落时,获取周围环境数据,采用预设的识别模型识别所述周围环境数据;当识别到的障碍物后,基于路径规划算法重新规划航线。
22、进一步的,在无人机依据最优降落航线降落时,获取周围环境数据,采用预设的识别模型识别所述周围环境数据;当识别到的障碍物后,基于路径规划算法重新规划航线,包括:
23、在无人机依据最优降落航线降落时,获取周围环境数据;其中,所述周围环境数据包括:利用无人机搭载的摄像头向无人机航行方向拍摄的第一图像,以及地面降落点向上对无人机所在位置区域拍摄的视频图像数据;
24、分别基于第一图像、视频图像数据,采用预设的识别模型进行障碍物识别,得到第一识别结果和第二识别结果;根据第一识别结果判断无人机航行方向是否存在障碍物,根据第二识别结果识别无人机所在位置区域是否有障碍物;
25、当第一识别结果和第二识别结果中的任一显示有障碍物时,基于路径规划算法重新规划航线。
26、进一步的,基于下降梯度和地面降落点坐标,采用路径规划算法规划无人机的最优降落航线的步骤中,路径规划算法为a*算法或rrt算法。
27、第二方面,本发明提供一种基于视觉算法的无人机回收装置,包括:
28、图像获取模块,用于获取无人机飞行时的实时坐标,以及对应的地面降落点坐标;当实时坐标与地面降落点坐标的距离在预设范围内时,确定无人机与地面降落点的相对位置;基于所述相对位置,从地面降落点向上对无人机所在位置区域进行实时拍摄,得到视频图像数据;
29、无人机识别跟踪模块,用于从所述视频图像数据中识别出无人机,并对无人机进行定位;持续跟踪无人机,并更新无人机的飞行轨迹;其中,当无人机从视频图像数据中消失时,采用轨迹预测算法预测无人机的可能位置,依据可能位置对无人机持续跟踪;
30、下降梯度计算模块,用于依据无人机的飞行轨迹,确定无人机的下降梯度;
31、航线规划模块,用于基于下降梯度和地面降落点坐标,采用路径规划算法规划无人机的最优降落航线。
32、第三方面,本发明提供一种计算机设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述的基于视觉算法的无人机回收方法。
33、第四方面,本发明提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述的基于视觉算法的无人机回收方法。
34、与现有技术相比,本发明至少包括以下有益效果:
35、本发明提供的无人机回收方法,从地面降落点向上对无人机所在位置区域进行实时拍摄,得到视频图像数据;从视频图像数据中识别出无人机,并对无人机进行定位;持续跟踪无人机,并更新无人机的飞行轨迹;其中,当无人机从视频图像数据中消失时,采用轨迹预测算法预测无人机的可能位置,依据可能位置对无人机持续跟踪;依据无人机的飞行轨迹,确定无人机的下降梯度;基于下降梯度和地面降落点坐标,采用路径规划算法规划无人机的最优降落航线。本方案通过视觉算法自动识别和跟踪无人机,减少了人工干预,提高了回收的自动化程度。实时获取无人机的飞行坐标和轨迹,并据此进行路径规划,能够迅速响应无人机的动态变化。通过路径规划和轨迹预测,可以降低无人机在回收过程中的碰撞风险,提高回收的安全性。自动化流程减少了人为错误和延误,提高了回收的效率和准确性。
36、本方案通过引入视觉算法和自动化技术,有效地解决了现有无人机回收技术中的多个关键问题,包括人工干预需求高、操作难度大、回收效率和安全性低等。通过实时获取无人机的飞行数据并进行智能处理,实现了无人机的自动识别和跟踪,以及基于飞行轨迹的路径规划和轨迹预测,从而提高了回收的自动化程度、效率和安全性。
1.一种基于视觉算法的无人机回收方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于视觉算法的无人机回收方法,其特征在于,基于所述相对位置,从地面降落点向上对无人机所在位置区域进行实时拍摄,得到视频图像数据的步骤中:
3.根据权利要求1所述的基于视觉算法的无人机回收方法,其特征在于,从所述视频图像数据中识别出无人机,并对无人机进行定位,包括:
4.根据权利要求1所述的基于视觉算法的无人机回收方法,其特征在于,依据无人机的飞行轨迹,确定无人机的下降梯度,包括:
5.根据权利要求1所述的基于视觉算法的无人机回收方法,其特征在于,采用路径规划算法规划无人机的最优降落航线的步骤后,无人机依据最优降落航线进行下降;其中,在无人机依据最优降落航线降落时,获取周围环境数据,采用预设的识别模型识别所述周围环境数据;当识别到的障碍物后,基于路径规划算法重新规划航线。
6.根据权利要求5所述的基于视觉算法的无人机回收方法,其特征在于,在无人机依据最优降落航线降落时,获取周围环境数据,采用预设的识别模型识别所述周围环境数据;当识别到的障碍物后,基于路径规划算法重新规划航线,包括:
7.根据权利要求1所述的基于视觉算法的无人机回收方法,其特征在于,基于下降梯度和地面降落点坐标,采用路径规划算法规划无人机的最优降落航线的步骤中,路径规划算法为a*算法或rrt算法。
8.一种基于视觉算法的无人机回收装置,其特征在于,包括:
9.一种计算机设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,其特征在于,处理器执行计算机程序时实现权利要求1-7中任一项所述的基于视觉算法的无人机回收方法。
10.一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,其特征在于,计算机程序被处理器执行时实现权利要求1-7中任一项所述的基于视觉算法的无人机回收方法。