1.本发明涉及视觉定位领域，更为具体的，涉及一种用于固定翼无人机着陆阶段的视觉定位方法。
背景技术：2.近年来随着我国航空技术的蓬勃发展，无人驾驶飞机(简称无人机)的制造与应用也获得了长足的进步。
3.无人机是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机，一般分为固定翼无人机与旋翼无人机。与有人驾驶飞机相比，无人机的成本更低，更适合进行一些简单重复性高或是具有较大风险的工作。目前，无人机广泛应用于航拍、农业、植保、微型自拍等领域。
4.近年我国无人机产业发展成绩显著，从技术研发、产品生产、企业布局到市场规模、领域应用和产业细分，都取得了长足发展。预计在未来几年，随着民用无人机的耐久性和使用成本等问题得到根本性的解决，无人机在民用市场的应用将更具多样化。
5.无论是对于有人飞机还是无人机，在一次飞行任务中风险最大的阶段就是降落阶段，对于固定翼无人机尤其如此。当前技术条件下，固定翼无人机在着陆阶段主要是依赖差分gps定位技术为自身提供精确的位置信息，进而完成路径规划和自主着陆。但是差分gps定位技术需要在机场部署价格昂贵的差分信号站，这对于大部分小型机场和民营企业都是一笔较大的开支。
技术实现要素：6.本发明的目的在于克服现有技术的不足，提供一种用于固定翼无人机着陆阶段的视觉定位方法，通过图像中检测出的机场跑道轮廓计算出飞机自身相对于跑道的六自由度位姿或二自由度位置，为无人机的自主着陆提供可靠的定位信息。
7.本发明的目的是通过以下方案实现的：
8.一种用于固定翼无人机着陆阶段的视觉定位方法，包括以下步骤：
9.s1，对固定翼无人机上采集到的视觉图像提取机场跑道轮廓；
10.s2，基于步骤s1提取的机场跑道轮廓，求解出无人机在飞过跑道底线前的六自由度位姿和求解出无人机飞过跑道底线后在机场坐标系下的二自由度位置，从而为无人机的自主着陆提供精确的位置信息。
11.进一步地，在步骤s1中，包括子步骤：检测视觉图像中机场跑道的位置，确定机场跑道区域。
12.进一步地，在确定机场跑道区域后，包括步骤：根据已知跑道区域范围确定跑道的轮廓。
13.进一步地，所述根据跑道区域范围确定跑道的轮廓，包括子步骤：
14.s11，将已知跑道区域的图像从三通道rgb图像转换为单通道灰度图；
15.s12，对转换后的灰度图像进行二值化处理，将属于跑道区域的像素灰度标记为255，不属于跑道区域的像素灰度标记为0；
16.s13，图像二值化完成后，使用canny边缘检测算法检测图像中所有的边缘线，依据这些边缘线在整幅图像中进行轮廓检测；
17.s14，从所有检出的轮廓中选择唯一一个最优的轮廓，它应当满足如下两个条件：a.所包围的区域面积最大；b.轮廓形心在所包围的区域内部；如果所有轮廓都不满足上述两个条件则认为检测失败，否则继续依据最优轮廓上所有的像素点进行最小外包三角形拟合，对拟合出的最小外包三角形依据下式再进行一次判断：
18.||x
t-xd||2《s
max
/4
ꢀꢀꢀ
(1)
19.其中x
t
为最小外包三角形的形心坐标，xd为最优轮廓的形心坐标，s
max
为最优轮廓所包围的区域面积，若上式成立则认为检测成功，否则认为检测失败。
20.进一步地，基于步骤s1提取的机场跑道轮廓在前视相机的图像中呈现为梯形，所述梯形包括：梯形下底的右端点b、梯形下底的中点o、梯形左右两腰的交点c和梯形左腰上任意一点a共四个有效点。
21.进一步地，在步骤s2中，所述求解出无人机在飞过跑道底线前的六自由度位姿，包括子步骤：
22.s21，首先需要建立起机场的坐标系，规定机场坐标系原点为机场下底线中点o，y轴沿机场下底线向左，x轴沿机场跑道中心线指向无穷远处，z轴与xy轴构成右手系指向天空；则设图像中a、b、o、c四点在机场坐标系下的坐标分别为pa(λ,w/2,0)，pb＝(0,-w/2,0)，po＝(0,0,0)，pc＝(inf,0,0)，其中w为跑道宽度，inf代表无穷大的数，a、b、o、c四点在图像中的像素坐标xa(ua,va)、xb(ub,vb)、xo(uo,vo)、xc(uc,vc)，两者之间通过如下相机投影公式建立联系：
[0023][0024]
其中k为相机内参矩阵，通过相机内参标定获得，为图像中某点在机场坐标系下的三维坐标；
[0025]
s21，采用求解p3p问题的方法解算出相机坐标系相对于机场坐标系的平移量t
ca
和姿态矩阵r
ca
。
[0026]
进一步地，在步骤s21中，b、o、c三点用于求解p3p问题最终会得到多个解，用a点的坐标pa(λ,w/2,0)带入每个解进行验证，得到唯一正确解，a点的x轴坐标λ人为给定；
[0027]
无人机机体坐标系相对于相机坐标系的位姿t
bc
和r
bc
通过事先测量相机在无人机上的安装位置与安装角度获得，求得无人机机体坐标系相对于机场坐标系的位姿t
ba
和r
ba
，以及无人机在机场坐标系下的位置p
ba
，如下式：
[0028][0029]
至此，无人机在飞过跑道底线前的六自由度位姿求解完成。
[0030]
进一步地，在步骤s2中，求解出无人机飞过跑道底线后在机场坐标系下的二自由度位置，包括子步骤：
[0031]
飞机跑过跑道底线后，跑道的下底线在图像中已经不可见，a、b分别为跑道左右边线上任意一点，记其像素坐标为xa(ua,va)、xb(ub,vb)，对应的机场跑道坐标系下的三维坐标为pa(xa,w/2,0)、pb(xb,-w/2,0)，xa、xb为不可知量；设相机在机场跑道坐标系下的位置为则得下式：
[0032][0033]
其中da、db为a、b两点在相机坐标系下的深度，同时也是其在相机坐标系下的z轴坐标，令
[0034][0035]
提取式(a)中两个矩阵方程的后两行组成新的方程组，得：
[0036][0037]
由于r
ca r
bc
可由无人机的姿态传感器及起飞前标定给出，所以式(6)中仅da、db为未知量，可求解得：
[0038][0039]
其中即为相机偏离跑道中心线的距离，为相机相对于跑道的高度，最后只需要利用式(3)即求得无人机偏离跑道中心线的距离以及相对于跑道的高度，至此完成无人机在飞过跑道底线后的二自由度位置求解。
[0040]
进一步地，λ＝l/2，l为跑道长度。
[0041]
本发明的有益效果包括：
[0042]
本发明提出一种用于固定翼无人机着陆阶段的视觉定位方法，该方法通过图像中检测出的机场跑道轮廓计算出飞机自身相对于跑道的六自由度位姿或二自由度位置，为无人机的自主着陆提供可靠的定位信息。
附图说明
[0043]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0044]
图1为本发明用于固定翼无人机着陆阶段的视觉定位方法流程图；
[0045]
图2为飞机过跑道底线前机场轮廓示意及坐标系定义示意图；
[0046]
图3为跑道轮廓检测流程图；
[0047]
图4为飞机过跑道底线后机场轮廓示意图。
具体实施方式
[0048]
下面结合附图和实施例对发明进一步说明。本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
[0049]
本发明的技术构思：对有人驾驶飞机而言，即使在没有高精度定位设备的情况下，驾驶员也可以在降落时目视观察跑道并估算自身相对于跑道的位置，从而操纵飞机准确着陆。此类似，无人机上可以通过搭载相机等视觉设备实时检测跑道在图像中的位置，并据此计算出无人机自身相对于跑道的坐标，从而在不依赖差分gps技术的情况下实现精准着陆。
[0050]
如图1所示，对固定翼无人机上采集到的视觉图像，首先应当检测图像中机场跑道的位置并标记其轮廓。跑道的位置检测是一个典型的语义分割问题，因此可以使用专注于语义分割的卷积神经网络模型推断出图像中属于机场跑道的像素区域，本发明实施例方法中使用目前主流的“编码器-解码器”结构的卷积神经网络实现对机场跑道区域的语义分割，其中编码器使用mobilenet，该网络小而高效，非常适合无人机等只能搭载边缘计算设备的平台使用，网络的解码器使用语义分割任务中经典的unet模型。在mobilenet-unet的预训练模型上，使用固定翼无人机在着陆阶段采集的前视相机图像进行迁移训练，训练后的模型能够准确地推理出图像中机场跑道的区域。如图2白色高亮区域所示。
[0051]
检测出机场跑道区域后，还需要根据区域范围确定跑道的轮廓，由已知跑道区域的图像检测跑道轮廓的流程如图3所示。
[0052]
首先将已知跑道区域的图像从三通道rgb图像转换为单通道灰度图像，然后对转换后的灰度图像进行二值化处理，将属于跑道区域的像素灰度标记为255，不属于跑道区域的像素灰度标记为0。图像二值化完成后，使用canny边缘检测算法检测图像中所有的边缘线，进一步依据这些边缘线在整幅图像中进行轮廓检测。由于卷积神经网络推理得到的机场跑道区域不一定是一个规则的梯形，而是会有大量的凹凸不平，甚至是缺失或误检，从而导致检测出大量的错误轮廓，因此有必要从所有检出的轮廓中选择唯一一个最优的轮廓，它应当满足如下两个条件：1.所包围的区域面积最大；2.轮廓形心在所包围的区域内部。
[0053]
如果所有轮廓都不满足上述要求则认为检测失败，否则继续依据最优轮廓上所有的像素点进行最小外包三角形拟合，对拟合出的三角形还需要依据式(1)再进行一次判断，其中x
t
为最小外包三角形的形心坐标，xd为最优轮廓的形心坐标，s
max
为最优轮廓所包围的区域面积，若式(1)成立则认为检测成功，否则认为检测失败。
[0054]
||x
t-xd||2《s
max
/4
ꢀꢀꢀ
(1)
[0055]
如图2所示，机场跑道轮廓在前视相机中的图像中为一个梯形。
[0056]
为了求解出无人机的六自由度位姿，本发明实施例方法需要用到梯形下底的右端点b、梯形下底的中点o、梯形左右两腰的交点c，梯形左腰上任意一点a共四个点，显然上一步检测出的最小外包三角形已经包含了这四点在图像中的位置信息。
[0057]
为了求取无人机相对于机场的六自由度位姿，首先需要建立起机场的坐标系，本发明实施例方法规定机场坐标系原点为机场下底线中点o，y轴沿机场下底线向左，x轴沿机场跑道中心线指向无穷远处，z轴与xy轴构成右手系指向天空。
[0058]
则设图像中a、b、o、c四点在机场坐标系下的坐标分别为pa(λ,w/2,0)，pb＝(0,-w/2,0)，po＝(0,0,0)，pc＝(inf,0,0)，其中w为跑道宽度，在本发明实施例法中视为已知量，inf代表无穷大的数，因为两条平行直线在现实中只会汇交在无穷远点。同时，a、b、o、c四点在图像中的像素坐标xa(ua,va)、xb(ub,vb)、xo(uo,vo)、xc(uc,vc)也精确可知，两者之间可通过相机投影公式(2)建立联系，其中k为相机内参矩阵，可通过相机内参标定获得，为图像中某点在机场坐标系下的三维坐标。
[0059][0060]
在此基础上，可采用求解p3p(perspective-n-points)问题的方法解算出相机坐标系相对于机场坐标系的平移量t
ca
和姿态矩阵r
ca
，p3p方法的流程此处不再详细描述。
[0061]
需要特别说明的一点是，b、o、c三点用于求解p3p问题最终会得到多个解，因此还需要用a点的坐标pa(λ,w/2,0)带入每个解进行验证，得到唯一正确解，a点的x轴坐标λ并不精确已知，但只需给一个大概的值就足够用于验证了，本发明实施例方法中令λ＝l/2，l为跑道长度。
[0062]
由于无人机机体坐标系相对于相机坐标系的位姿t
bc
和r
bc
可通过事先测量相机在无人机上的安装位置与安装角度获得，因此可求得无人机机体坐标系相对于机场坐标系的位姿t
ba
和r
ba
，以及无人机在机场坐标系下的位置p
ba
，如式(3)：
[0063][0064]
至此无人机在飞过跑道底线(图2中ob)前的六自由度位姿求解就已经完成。
[0065]
无人机在飞过跑道底线后，o，b两点的坐标信息将会丢失，因此上述求解六自由度位姿的方法不再适用，为了解决该问题，本发明实施例方法继续提出另一种用于求解无人机在机场坐标系下的二自由度位置的流程。
[0066]
如图4为飞机过跑道底线后的轮廓示意，显然跑道的下底线在图像中已经不可见，a、b分别为跑道左右边线上任意一点，记其像素坐标为xa(ua,va)、xb(ub,vb)，对应的机场跑道坐标系下的三维坐标为pa(xa,w/2,0)、pb(xb,-w/2,0)，xa、xb在本场景下为不可知量。设相机在机场跑道坐标系下的位置为则可得式(4)
[0067][0068]
其中da、db为a、b两点在相机坐标系下的深度，同时也是其在相机坐标系下的z轴坐标，令
[0069][0070]
提取式(4)中两个矩阵方程的后两行组成新的方程组，可得：
[0071][0072]
由于r
ca r
bc
可由无人机的姿态传感器及起飞前标定给出，所以式(6)中仅da、db为未知量，可求解得：
[0073]
[0074]
其中即为相机偏离跑道中心线的距离，为相机相对于跑道的高度，最后只需要利用式(3)即可求得无人机偏离跑道中心线的距离以及相对于跑道的高度。至此完成无人机在飞过跑道底线后的二自由度位置求解。
[0075]
本发明实施例提出了一种用于固定翼无人机着陆阶段的视觉定位方法，该方法通过提取视觉图像中的机场跑道轮廓，实现了无人机在飞过跑道底线前的六自由度定位，以及无人机飞过跑道底线后的二自由度定位，从而为无人机的自主着陆提供精确的位置信息。
[0076]
实施例1
[0077]
一种用于固定翼无人机着陆阶段的视觉定位方法，包括以下步骤：
[0078]
s1，对固定翼无人机上采集到的视觉图像提取机场跑道轮廓；
[0079]
s2，基于步骤s1提取的机场跑道轮廓，求解出无人机在飞过跑道底线前的六自由度位姿和求解出无人机飞过跑道底线后在机场坐标系下的二自由度位置，从而为无人机的自主着陆提供精确的位置信息。
[0080]
实施例2
[0081]
在实施例1的基础上，在步骤s1中，包括子步骤：检测视觉图像中机场跑道的位置，确定机场跑道区域。
[0082]
实施例3
[0083]
在实施例2的基础上，在确定机场跑道区域后，包括步骤：根据已知跑道区域范围确定跑道的轮廓。
[0084]
实施例4
[0085]
在实施例3的基础上，所述根据跑道区域范围确定跑道的轮廓，包括子步骤：
[0086]
s11，将已知跑道区域的图像从三通道rgb图像转换为单通道灰度图；
[0087]
s12，对转换后的灰度图像进行二值化处理，将属于跑道区域的像素灰度标记为255，不属于跑道区域的像素灰度标记为0；
[0088]
s13，图像二值化完成后，使用canny边缘检测算法检测图像中所有的边缘线，依据这些边缘线在整幅图像中进行轮廓检测；
[0089]
s14，从所有检出的轮廓中选择唯一一个最优的轮廓，它应当满足如下两个条件：a.所包围的区域面积最大；b.轮廓形心在所包围的区域内部；如果所有轮廓都不满足上述两个条件则认为检测失败，否则继续依据最优轮廓上所有的像素点进行最小外包三角形拟合，对拟合出的最小外包三角形依据下式再进行一次判断：
[0090]
||x
t-xd||2《s
max
/4
ꢀꢀꢀ
(1)
[0091]
其中x
t
为最小外包三角形的形心坐标，xd为最优轮廓的形心坐标，s
max
为最优轮廓所包围的区域面积，若上式成立则认为检测成功，否则认为检测失败。
[0092]
实施例5
[0093]
在实施例1的基础上，基于步骤s1提取的机场跑道轮廓在前视相机的图像中呈现为梯形，所述梯形包括：梯形下底的右端点b、梯形下底的中点o、梯形左右两腰的交点c和梯形左腰上任意一点a共四个有效点。
[0094]
实施例6
[0095]
在实施例5的基础上，在步骤s2中，所述求解出无人机在飞过跑道底线前的六自由
度位姿，包括子步骤：
[0096]
s21，首先需要建立起机场的坐标系，规定机场坐标系原点为机场下底线中点o，y轴沿机场下底线向左，x轴沿机场跑道中心线指向无穷远处，z轴与xy轴构成右手系指向天空；则设图像中a、b、o、c四点在机场坐标系下的坐标分别为pa(λ,w/2,0)，pb＝(0,-w/2,0)，po＝(0,0,0)，pc＝(inf,0,0)，其中w为跑道宽度，inf代表无穷大的数，a、b、o、c四点在图像中的像素坐标xa(ua,va)、xb(ub,vb)、xo(uo,vo)、xc(uc,vc)，两者之间通过如下相机投影公式建立联系：
[0097][0098]
其中k为相机内参矩阵，通过相机内参标定获得，为图像中某点在机场坐标系下的三维坐标；
[0099]
s21，采用求解p3p问题的方法解算出相机坐标系相对于机场坐标系的平移量t
ca
和姿态矩阵r
ca
。
[0100]
实施例7
[0101]
在实施例6的基础上，在步骤s21中，b、o、c三点用于求解p3p问题最终会得到多个解，用a点的坐标pa(λ,w/2,0)带入每个解进行验证，得到唯一正确解，a点的x轴坐标λ人为给定；
[0102]
无人机机体坐标系相对于相机坐标系的位姿t
bc
和r
bc
通过事先测量相机在无人机上的安装位置与安装角度获得，求得无人机机体坐标系相对于机场坐标系的位姿t
ba
和r
ba
，以及无人机在机场坐标系下的位置p
ba
，如下式：
[0103][0104]
至此，无人机在飞过跑道底线前的六自由度位姿求解完成。
[0105]
实施例8
[0106]
在实施例5的基础上，在步骤s2中，求解出无人机飞过跑道底线后在机场坐标系下的二自由度位置，包括子步骤：
[0107]
飞机跑过跑道底线后，跑道的下底线在图像中已经不可见，a、b分别为跑道左右边线上任意一点，记其像素坐标为xa(ua,va)、xb(ub,vb)，对应的机场跑道坐标系下的三维坐标为pa(xa,w/2,0)、pb(xb,-w/2,0)，xa、xb为不可知量；设相机在机场跑道坐标系下的位置为则得下式：
[0108][0109]
其中da、db为a、b两点在相机坐标系下的深度，同时也是其在相机坐标系下的z轴坐标，令
[0110][0111]
提取式(a)中两个矩阵方程的后两行组成新的方程组，得：
[0112][0113]
由于r
ca r
bc
可由无人机的姿态传感器及起飞前标定给出，所以式(6)中仅da、db为未知量，可求解得：
[0114]
[0115]
其中即为相机偏离跑道中心线的距离，为相机相对于跑道的高度，最后只需要利用式(3)即求得无人机偏离跑道中心线的距离以及相对于跑道的高度，至此完成无人机在飞过跑道底线后的二自由度位置求解。
[0116]
实施例9
[0117]
在实施例7的基础上，λ＝l/2，l为跑道长度。
[0118]
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
[0119]
根据本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。
[0120]
作为另一方面，本技术还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
[0121]
本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。
[0122]
上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。
[0123]
除以上实例以外，本领域技术人员根据上述公开内容获得启示或利用相关领域的知识或技术进行改动获得其他实施例，各个实施例的特征可以互换或替换，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
技术特征：1.一种用于固定翼无人机着陆阶段的视觉定位方法，其特征在于，包括以下步骤：s1，对固定翼无人机上采集到的视觉图像提取机场跑道轮廓；s2，基于步骤s1提取的机场跑道轮廓，求解出无人机在飞过跑道底线前的六自由度位姿和求解出无人机飞过跑道底线后在机场坐标系下的二自由度位置，从而为无人机的自主着陆提供精确的位置信息。2.根据权利要求1所述的用于固定翼无人机着陆阶段的视觉定位方法，其特征在于，在步骤s1中，包括子步骤：检测视觉图像中机场跑道的位置，确定机场跑道区域。3.根据权利要求2所述的用于固定翼无人机着陆阶段的视觉定位方法，其特征在于，在确定机场跑道区域后，包括步骤：根据已知跑道区域范围确定跑道的轮廓。4.根据权利要求3所述的用于固定翼无人机着陆阶段的视觉定位方法，其特征在于，所述根据跑道区域范围确定跑道的轮廓，包括子步骤：s11，将已知跑道区域的图像从三通道rgb图像转换为单通道灰度图；s12，对转换后的灰度图像进行二值化处理，将属于跑道区域的像素灰度标记为255，不属于跑道区域的像素灰度标记为0；s13，图像二值化完成后，使用canny边缘检测算法检测图像中所有的边缘线，依据这些边缘线在整幅图像中进行轮廓检测；s14，从所有检出的轮廓中选择唯一一个最优的轮廓，它应当满足如下两个条件：a.所包围的区域面积最大；b.轮廓形心在所包围的区域内部；如果所有轮廓都不满足上述两个条件则认为检测失败，否则继续依据最优轮廓上所有的像素点进行最小外包三角形拟合，对拟合出的最小外包三角形依据下式再进行一次判断：||x
t-x
d
||2<s
max
/4(1)其中x
t
为最小外包三角形的形心坐标，x
d
为最优轮廓的形心坐标，s
max
为最优轮廓所包围的区域面积，若上式成立则认为检测成功，否则认为检测失败。5.根据权利要求1所述的用于固定翼无人机着陆阶段的视觉定位方法，其特征在于，基于步骤s1提取的机场跑道轮廓在前视相机的图像中呈现为梯形，所述梯形包括：梯形下底的右端点b、梯形下底的中点o、梯形左右两腰的交点c和梯形左腰上任意一点a共四个有效点。6.根据权利要求5所述的用于固定翼无人机着陆阶段的视觉定位方法，其特征在于，在步骤s2中，所述求解出无人机在飞过跑道底线前的六自由度位姿，包括子步骤：s21，首先需要建立起机场的坐标系，规定机场坐标系原点为机场下底线中点o，y轴沿机场下底线向左，x轴沿机场跑道中心线指向无穷远处，z轴与xy轴构成右手系指向天空；则设图像中a、b、o、c四点在机场坐标系下的坐标分别为p
a
(λ,w/2,0)，p
b
＝(0,-w/2,0)，p
o
＝(0,0,0)，p
c
＝(inf,0,0)，其中w为跑道宽度，inf代表无穷大的数，a、b、o、c四点在图像中的像素坐标x
a
(u
a
,v
a
)、x
b
(u
b
,v
b
)、x
o
(u
o
,v
o
)、x
c
(u
c
,v
c
)，两者之间通过如下相机投影公式建立联系：
其中k为相机内参矩阵，通过相机内参标定获得，为图像中某点在机场坐标系下的三维坐标；s21，采用求解p3p问题的方法解算出相机坐标系相对于机场坐标系的平移量t
ca
和姿态矩阵r
ca
。7.根据权利要求6所述的用于固定翼无人机着陆阶段的视觉定位方法，其特征在于，在步骤s21中，b、o、c三点用于求解p3p问题最终会得到多个解，用a点的坐标p
a
(λ,w/2,0)带入每个解进行验证，得到唯一正确解，a点的x轴坐标λ人为给定；无人机机体坐标系相对于相机坐标系的位姿t
bc
和r
bc
通过事先测量相机在无人机上的安装位置与安装角度获得，求得无人机机体坐标系相对于机场坐标系的位姿t
ba
和r
ba
，以及无人机在机场坐标系下的位置p
ba
，如下式：至此，无人机在飞过跑道底线前的六自由度位姿求解完成。8.根据权利要求5所述的用于固定翼无人机着陆阶段的视觉定位方法，其特征在于，在步骤s2中，求解出无人机飞过跑道底线后在机场坐标系下的二自由度位置，包括子步骤：飞机跑过跑道底线后，跑道的下底线在图像中已经不可见，a、b分别为跑道左右边线上任意一点，记其像素坐标为x
a
(u
a
,v
a
)、x
b
(u
b
,v
b
)，对应的机场跑道坐标系下的三维坐标为p
a
(x
a
,w/2,0)、p
b
(x
b
,-w/2,0)，x
a
、x
b
为不可知量；设相机在机场跑道坐标系下的位置为则得下式：
其中d
a
、d
b
为a、b两点在相机坐标系下的深度，同时也是其在相机坐标系下的z轴坐标，令提取式(a)中两个矩阵方程的后两行组成新的方程组，得：由于r
ca r
bc
可由无人机的姿态传感器及起飞前标定给出，所以式(6)中仅d
a
、d
b
为未知量，可求解得：
其中即为相机偏离跑道中心线的距离，为相机相对于跑道的高度，最后只需要利用式(3)即求得无人机偏离跑道中心线的距离以及相对于跑道的高度，至此完成无人机在飞过跑道底线后的二自由度位置求解。9.根据权利要求7所述的用于固定翼无人机着陆阶段的视觉定位方法，其特征在于，λ＝l/2，l为跑道长度。
技术总结本发明公开了一种用于固定翼无人机着陆阶段的视觉定位方法，属于视觉定位技术领域，包括步骤：S1，对固定翼无人机上采集到的视觉图像提取机场跑道轮廓；S2，基于步骤S1提取的机场跑道轮廓，求解出无人机在飞过跑道底线前的六自由度位姿和求解出无人机飞过跑道底线后在机场坐标系下的二自由度位置，从而为无人机的自主着陆提供精确的位置信息。本发明能够通过图像中检测出的机场跑道轮廓计算出飞机自身相对于跑道的六自由度位姿或二自由度位置，为无人机的自主着陆提供可靠的定位信息。为无人机的自主着陆提供可靠的定位信息。为无人机的自主着陆提供可靠的定位信息。
技术研发人员：徐宇 杨坤 王喆 余白玲 王征 张恩玮
受保护的技术使用者：四川腾盾科技有限公司
技术研发日：2022.07.01
技术公布日：2022/11/1
