本发明属于无人机(unmannedaerial vehicle,uav)无线通信技术及飞行控制领域,涉及地面用户轨迹预测和无人机三维路径规划,尤其是在考虑真实地理环境下预测出用户的轨迹,并在此基础上规划无人机的路径。本发明基于深度学习长短期记忆(longshort term memory,lstm)网络,在用户历史轨迹数据集上进行预测。基于预测出的多个地面用户轨迹,本发明应用强化学习双重深度q网络(double deep q-network,ddqn),考虑相邻时隙间无人机位置的相关性,规划出以总吞吐量最大为优化目标的无人机三维路径,实现了真实地理环境下用户轨迹预测与无人机三维路径规划,为地面用户提供更好的信息速率和信号覆盖服务。
背景技术:
1、近年来,无人机作为一种新型基站开始被广泛的应用于辅助通信的任务中。当地面固定基站(groundbase station,gbs)出现故障时,无人机空中基站(aerial basestation,abs)可以为地面用户(grounduser,gu)提供临时通信服务。同时,无人机空中基站还具有着机动性强、部署灵活、无视地形障碍等特点,有效改善了复杂环境中地面基站信号难以到达的问题,在流量卸载、灾后救援等场景发挥重要作用。目前,已经有很多关于无人机辅助通信的研究。例如,ruikang zhong、xiao liu和haibo mei、kun yang分别在其论文“multi-agent reinforcement learning in noma-aided uav networks for cellularoffloading”和“3d-trajectory and phase-shift design for ris-assisted uavsystems using deep reinforcement learning”中优化无人机的轨迹来为移动的地面用户提供更好的通信服务。然而,这两篇论文分别将用户的移动建模为定向行走模型和随机移动模型,这两种移动模型均未考虑真实的地理环境。受此启发,得到符合真实地理环境的用户轨迹并在此基础上规划无人机的路径具有重要的意义。
2、得益于神经网络的快速发展,众多的神经网络预测方法相继提出,预测用户轨迹的问题得到了很好的解决。例如,chujie wang、lin ma在其论文“exploring trajectoryprediction through machine learning methods”中使用了支持向量回归(supportvector regression,svr)、门控循环单元(gate recurrent unit,gru)、lstm等网络,在用户历史轨迹数据上预测用户轨迹。ya liu、hongwen yang在其论文“mobile usertrajectoryprediction based on machine learning”使用深度学习lstm网络预测用户轨迹,并得到了较为良好的预测结果,证明了深度学习lstm网络在预测用户轨迹上的能力。
3、一些工作也研究了联合用户轨迹预测与无人机三维路径规划的内容。根据回声状态网络(echo state network,esn)得到的地面用户轨迹预测结果,xiao liu,yuanwei liu在“trajectory design and power control for multi-uav assisted wirelessnetworks:a machine learning approach”对无人机进行了路径规划。然而,他们只提供了规划的无人机二维路径,并未提供三维的空间移动路径,并且未考虑无人机能否在一个时隙内到达计算出的下一位置。jinjing wang在“trajectory planning of uav-enableddata uploading for large-scale dynamic networks:a trend prediction basedlearning approach”中利用卷积神经网络(convolutional neuralnetwork,cnn)提取用户运动特征,对用户轨迹进行预测,提出了将用户轨迹预测与无人机路径规划相结合的框架。然而,用户历史移动轨迹是利用高斯-马尔可夫随机模型(gauss-markov random model,gmrm)模拟得出,同时未提供网络预测的表现。在jinji yoon、a-hyun lee的“rendezvous:opportunistic data delivery to mobile users by uavs through targettrajectoryprediction”中,无人机基于用户的预测轨迹规划路径。将收集到的所有用户的轨迹按相似度分成数个簇,将每个簇视为相似的用户轨迹的代表性轨迹。对每一个目移动用户,将其初始的几个位置与数个簇进行匹配,便可以得到预测轨迹,但这种方法得到的是用户未来可能的位置,而不是精确的位置,因此也不合理。
4、综合以上研究现状可得,传统的无人机路径规划方法常将用户移动模型建模为简单的随机移动模型,没有考虑真实的地理环境信息。而基于预测用户轨迹的无人机路径规划的研究,也存在用户位置预测不准确、设计出的无人机轨迹不连续等问题。本发明基于真实地理环境下的用户历史轨迹数据,采用深度学习lstm网络预测用户轨迹,在用户预测轨迹基础上,使用强化学习ddqn网络规划无人机的三维路径,以有效提升总吞吐量。
技术实现思路
1、为解决上述问题,本发明在考虑真实地理环境与相邻时隙间无人机位置相关性的前提下,提出一种真实地理环境下用户轨迹预测与无人机路径规划的方法。在真实地理环境中建立的多个地面用户历史轨迹数据集上,使用深度学习lstm网络预测出多个地面用户的轨迹,基于多个地面用户的预测轨迹,利用强化学习ddqn网络规划一条无人机三维路径并实现系统总吞吐量的优化。
2、本发明的创新点
3、第一,本发明针对现有研究中地面用户轨迹不合理的情况,如不符合实际道路、建筑物、障碍物等,提出了一种真实地理环境下用户轨迹预测与无人机路径规划的方法。该方法以真实地理环境下建立的用户历史轨迹数据作为数据集,利用深度学习lstm网络预测地面用户轨迹,通过分析按时间顺序采样的用户坐标位置数据,预测出符合真实地理环境的地面用户轨迹。
4、第二,本发明在用户预测轨迹基础上,基于深度学习ddqn网络规划无人机的三维路径。考虑的无人机飞行区域范围以及相邻时隙间无人机位置的相关性,规划出一条符合用户群体移动趋势的无人机三维路径。与现有研究相比,本发明所考虑的用户轨迹是合理、符合真实地理环境的,而不是简单的随机移动。同时,不同于现有研究中未考虑无人机能否在一个时隙内到达计算出的下一位置,本发明通过设置一个动态的飞行时隙时长,考虑了相邻时隙间无人机位置的相关性。
5、第三,本发明提出的真实地理环境下用户轨迹预测与无人机路径规划方法的有效性通过实验得到了验证。与现有轨迹预测研究相比,本发明利用的深度学习lstm网络预测用户轨迹方法实现了更低的预测误差,能更精准的预测用户轨迹。进一步的,在用户预测轨迹基础上,考虑相邻时隙间无人机位置的相关性,本发明利用深度学习ddqn网络无人机三维路径规划方法得到了一条连续的、符合用户群体移动趋势的无人机三维路径,并且与其他无人机路径规划方法相比,本发明实现了更高的系统总吞吐量。
1.一种真实地理环境下用户轨迹预测与无人机路径规划方法,其特征在于,包括以下具体步骤:
2.根据权利要求1所述的一种真实地理环境下用户轨迹预测与无人机路径规划方法,其特征在于,用于无人机通信的联合用户轨迹预测与无人机空中基站三维路径规划算法,以真实地理环境下地面用户历史轨迹数据集为基础,利用深度学习长短期记忆(longshort term memory,lstm)网络对多个地面用户轨迹离散位置进行预测,基于所预测的用户移动位置,利用强化学习双重深度q网络(double deep q-network,ddqn)规划无人机的路径,同时考虑相邻时隙间无人机位置的相关性,设置动态的飞行时隙时长,规划出以总吞吐量最大为优化目标的无人机三维路径。
3.根据权利要求1所述的一种真实地理环境下用户轨迹预测与无人机路径规划方法,其特征在于,所述s2中,建立无人机通信网络中无人机和用户间的信息速率,具体包括以下步骤:
4.根据权利要求1所述的一种真实地理环境下用户轨迹预测与无人机路径规划方法,其特征在于,所述s4中,具体按如下步骤进行:
5.根据权利要求1所述的一种真实地理环境下用户轨迹预测与无人机路径规划方法,其特征在于,所述s5中,具体按如下步骤进行:
