1.本发明涉及无人机技术领域，尤其涉及一种目标检测定位方法、装置、无人机及存储介质。
背景技术：2.市面上的无人机普遍具有目标检测定位功能，目前主要通过视觉传感器采集图像数据，然后对所述图像数据采用图像匹配等处理算法实现该功能，然而，图像匹配对场景要求较高，可能出现匹配失败的情况，且处理算法复杂。
技术实现要素：3.本发明实施例提供了一种目标检测定位方法、装置、无人机及存储介质，以提高了目标检测定位的准确性，避免使用复杂的处理算法。
4.第一方面，本实施例提供了一种目标检测定位方法，其特征在于，应用于无人机，所述无人机上安装有相机和激光雷达，所述方法包括：
5.获取所述相机和所述激光雷达对目标进行同步采集的图像数据和点云数据；
6.根据所述图像数据和所述点云数据，计算所述目标在所述激光雷达的激光雷达坐标系下的三维位姿信息；
7.根据所述三维位姿信息、所述激光雷达与所述无人机的位姿转换矩阵以及所述无人机的飞行数据，确定所述目标在大地坐标系下的目标位姿信息。
8.第二方面，本实施例提供了一种目标检测定位装置，集成于无人机上，所述无人机上安装有相机和激光雷达，包括：
9.数据采集模块，用于获取所述相机和所述激光雷达对目标进行同步采集的图像数据和点云数据；
10.三维位姿信息确定模块，用于根据所述图像数据和所述点云数据，计算所述目标在所述激光雷达的激光雷达坐标系下的三维位姿信息；
11.目标位姿信息确定模块，用于根据所述三维位姿信息、所述激光雷达与所述无人机的位姿转换矩阵以及所述无人机的飞行数据，确定所述目标在大地坐标系下的目标位姿信息。
12.第三方面，本实施例提供了一种无人机，包括：
13.无人机主体；
14.相机和激光雷达，安装在所述无人机主体上；
15.控制器，与所述相机和激光雷达通信连接，所述控制器包括：
16.一个或多个处理器；
17.存储装置，用于存储一个或多个程序；
18.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例提供的目标检测定位方法。
19.第四方面，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明实施例提供的目标检测定位方法。
20.本发明实施例提供了一种目标检测定位方法、装置、无人机及存储介质，所述方法应用于无人机，所述无人机上安装有相机和激光雷达，该方法包括：获取所述相机和所述激光雷达对目标进行同步采集的图像数据和点云数据；根据所述图像数据和所述点云数据，计算所述目标在所述激光雷达的激光雷达坐标系下的三维位姿信息；根据所述三维位姿信息、所述激光雷达与所述无人机的位姿转换矩阵以及所述无人机的飞行数据，确定所述目标在大地坐标系下的目标位姿信息。上述技术方案，采用激光雷达点云数据与视觉融合的方式，基于图像数据和点云数据确定目标在激光雷达坐标系下的三维位姿信息，将目标在激光雷达坐标系下的三维位姿信息最终转换成目标在大地坐标系的位姿信息。本技术方案降低了对使用场景的要求，提高了目标检测定位的准确性，避免使用复杂的处理算法。
21.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
22.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1为本发明实施例一提供的一种目标检测定位方法的流程示意图；
24.图2为本发明实施例二提供的另一种目标检测定位方法的流程示意图；
25.图3为本发明实施例三提供的一种目标检测定位装置的结构示意图；
26.图4为本发明实施例四提供的一种无人机的结构示意图。
具体实施方式
27.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
28.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“原始”、“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
29.实施例一
30.图1为本发明实施例一提供的一种目标检测定位方法的流程示意图，该方法可适用于基于无人机对目标进行精准检测定位的情况，该方法可以由目标检测定位装置来执行，该目标检测定位装置可以采用硬件和/或软件的形式实现，该装置可配置于无人机中，无人机上安装有相机和激光雷达。
31.目前应用于无人机上的目标检测与目标三维定位主要采用视觉方法，通过图像检测目标，采用双目视觉或单目加无人机高度来推算目标的三维位置。例如，双目视觉存在以下问题：1)不适合用于单调缺乏纹理的场景。因为双目立体视觉法根据视觉特征进行图像匹配，所以对于缺乏视觉特征的场景会出现匹配困难，导致匹配误差较大甚至匹配失败。2)计算复杂度高。该方法是纯视觉的方法，需要逐像素计算匹配；又因为以上各种因素的影响，需要保证匹配结果比较鲁棒，所以算法中会增加大量的错误剔除策略，因而对算法要求较高，想要实现可靠商用难度大，计算量较大。针对现有技术中，图像匹配对场景要求较高，可能出现匹配失败的情况，且处理算法复杂的问题，需要一种目标检测定位方法能够解决上述问题。
32.如图1所示，本实施例一提供的目标检测定位方法具体可以包括以下步骤：
33.s110、获取相机和激光雷达对目标进行同步采集的图像数据和点云数据。
34.其中，相机可以采是任何可产生图像的相机，例如，彩色工业相机。激光雷达可以是任何能产生点云的激光雷达，例如，固态激光雷达ch128x1。相机和激光雷达通过固定装置安装在无人机上，无人机在飞行过程中可以实时通过相机采集环境中的图像数据，并同步通过激光雷达采集点云数据。其中，目标可以理解为想要检测定位的目标对象，例如，目标可以是任意用户需要确定的目标对象，可以根据无人机的用途确定需要检测定位哪些目标。
35.图像数据可以用于识别是否存在目标以及目标在图像中的位置。点云数据可以理解为激光雷达的激光雷达坐标系下的一组向量的集合，扫描资料以点的形式记录，每一个点包含三维坐标，也可能包含颜色信息或反射强度信息等。本实施例中主要使用点云数据中的三维坐标。
36.可以理解的是，本实施例中相机视野所及均可得到图像数据，进而通过以下步骤进行无人机目标的三维定位，相比于现有技术中采用双目视觉方法进行目标检测定位，本实施例测量范围不受基线限制，较大提升了检测范围。
37.s120、根据图像数据和点云数据，计算目标在激光雷达的激光雷达坐标系下的三维位姿信息。
38.可以知道的是，通过相机的成像过程把真实环境中的三维场景投影变换到二维平面，获取图像数据。通过图像数据可以确定图像中是否包含目标，以及目标在图像数据中的位置。
39.本步骤中，通过图像数据确定图像数据中是否包含目标以及目标在图像数据中位置的方式可以是，通过预训练的目标检测模型，输入实时获取的图像数据，即可以框选出目标，可以采用手动框选或自动框选的方式。当无人机需要进行目标检测定位时，首先启动相机，加载预训练的目标检测模型，采集实时图像到预训练的目标检测模型中，就可以框选出图片数据中包括的目标。
40.其中，目标检测模型可以采用深度学习方法，基于图像数据集对预设神经网络进
行训练得到，神经网络可以由系统或相关人员进行预先设置，本步骤不对训练的步骤进行限定。例如，训练预设神经网络得到目标检测模型的步骤可以为：首先采集各种光照环境、各个方位、各个高度的目标图片制作成图像数据集；然后基于图像数据集中的图像数据训练预设的神经网络，并通过测试集对训练完成的检测模型进行评估，根据训练完成的检测模型的检测效果综合筛选出最优的训练完成的检测模型，即可认为是最终使用的目标检测模型，用于检测图像数据中是否包含目标。
41.需要知道的是，通过将图像数据输入至预训练的目标检测模型中，可以框选出图像数据中的目标。进一步检测目标在二维图像数据中的位置信息。在相机实时采集图像数据的同时，激光雷达实时采集点云数据。本实施例中，将激光雷达采集的点云数据映射到二维图像数据中。基于目标的位置信息可以确定位置信息对应区域，将区域内的点云数据作为目标对应的目标点云数据。
42.需要清楚的是，相机的成像过程是真实环境中的三维场景到二维平面的投影变换，这一过程不仅与空间物体的相对方位有关，还和相机的内部结构有关，而相机的内部结构是由相机内参决定的。点云数据映射到二维图像数据的过程可以是：基于点云数据，再根据相机内参矩阵、雷达坐标系到相机坐标系的转换矩阵，将激光雷达坐标系下的坐标信息转换成图像数据中的二维位姿信息。
43.s130、根据三维位姿信息、激光雷达与无人机的位姿转换矩阵以及无人机的飞行数据，确定目标在大地坐标系下的目标位姿信息。
44.其中，三维位姿信息是基于激光雷达坐标系下的坐标信息。本步骤中，坐标转换关系涉及四个坐标系，分别为：激光雷达坐标系、机体坐标系、导航坐标系及大地坐标系。
45.可以理解的是，在已确定出目标在激光雷达的激光雷达坐标系下的三维位姿信息，需要根据激光雷达与无人机的位姿转换矩阵，确定出目标在无人机机体坐标系下的位姿信息。进一步根据目标在无人机机体坐标系下的位姿信息以及飞行数据，确定目标在大地坐标系下的目标位姿信息。示例性的，飞行数据可以包括角度数据、经纬度和高程等，飞行数据可以从飞行控制中心获取。
46.本步骤中，获取目标在所述无人机的机体坐标系下的位姿信息，可结合无人机的角度数据，确定目标在导航坐标系下的位姿信息。再根据目标在导航坐标系下的位姿信息、经纬度和高程，确定目标在大地坐标系下的目标位姿信息。
47.示例性，首先根据目标在激光雷达的激光雷达坐标系下的三维位姿信息，以及事先标定好的激光雷达与无人机的位姿转换矩阵，得到目标在机体坐标系下的位姿信息。然后根据无人机飞行数据，此处无人机飞行数据是指无人机方位角，得到机体坐标系与导航坐标系的旋转矩阵，通过旋转矩阵将无人机的机体坐标系下的位姿信息转换到导航坐标系下得到导航坐标系下的位姿信息，最后根据无人机飞行数据，此处无人机飞行数据是指经度、纬度、高程，与地球长半轴、偏心率得到目标在大地坐标系下的目标位姿信息，目标位姿信息包括经度、纬度、高程。
48.本发明实施例提供了一种目标检测定位方法，该方法应用于无人机，无人机上安装有相机和激光雷达，该方法包括：首先获取相机和激光雷达对目标进行同步采集的图像数据和点云数据；然后根据图像数据和点云数据，计算目标在激光雷达的激光雷达坐标系下的三维位姿信息；最后根据三维位姿信息、激光雷达与无人机的位姿转换矩阵以及无人
机的飞行数据，确定目标在大地坐标系下的目标位姿信息。利用该方法，采用激光雷达点云数据与视觉融合的方式，基于图像数据和点云数据确定目标在激光雷达坐标系下的三维位姿信息，将目标在激光雷达坐标系下的三维位姿信息最终转换成目标在大地坐标系下的位姿信息。本技术方案降低了对使用场景的要求，提高了目标检测定位的准确性，避免使用复杂的处理算法。
49.作为本发明实施例的可选实施例，在上述实施例的基础上，该方法还包括：将目标在大地坐标系下的目标位姿信息上传至服务器。
50.具体的，在确定目标在大地坐标系下的目标位姿信息后，可以将目标在大地坐标系下的目标位姿信息上传至服务器，此步骤不对上传至服务器的方法进行限定。无人机可以根据目标位姿信息，实现对目标进行精准操作，如对目标进行定位跟踪等。
51.本可选实施例，将图像数据与点云数据融合，精准确定出目标在大地坐标系下的位姿信息，并将获得的目标在大地坐标系下的位姿信息上传到服务器，以使无人机能够更精准的对目标进行操作。
52.实施例二
53.图2为本发明实施例二提供的另一种目标检测定位方法的流程示意图，本实施例为上述实施例的进一步优化，在本实施例中，进一步将所述根据所述图像数据和所述点云数据，计算所述目标在所述激光雷达的激光雷达坐标系下的三维位姿信息具体化为：检测所述目标在所述图像数据中的位置信息；根据所述位置信息和所述点云数据，确定所述位置信息对应区域的目标点云数据；根据所述目标点云数据，计算所述目标在所述激光雷达的激光雷达坐标系下的三维位姿信息。
54.同时，进一步将所述根据所述三维位姿信息、所述激光雷达与所述无人机的位姿转换矩阵以及所述无人机的飞行数据，确定所述目标在大地坐标系下的目标位姿信息具体化为：获取预先标定的所述激光雷达与所述无人机的位姿转换矩阵；根据所述三维位姿信息和所述激光雷达与所述无人机的位姿转换矩阵，计算所述目标在所述无人机的机体坐标系下的位姿信息；根据所述目标在所述无人机的机体坐标系下的位姿信息和所述飞行数据，确定所述目标在大地坐标系下的目标位姿信息。
55.如图2所示，本实施例二提供一种目标检测定位方法，具体包括如下步骤：
56.s210、获取相机和激光雷达对目标进行同步采集的图像数据和点云数据。
57.图像数据的采集过程与点云数据的采集过程在上述实施例中已描述，此处不再赘述。
58.s220、检测目标在图像数据中的位置信息。
59.其中，目标在图像数据中的位置信息，可以理解为目标在图像坐标系下的二维坐标。具体的，将相机采集的图像数据输入至预先训练的目标检测模型中，可以框选出目标。基于框选出的目标，可以检测出该目标在图像数据中的位置信息。此处检测目标在图像数据中的位置信息的方法不做具体限制，示例性的，通过像素坐标和图像匹配，得到目标的位置信息。
60.可选地，在检测目标在图像数据中的位置信息之前，还包括：将图像数据输入至预先训练的目标检测模型中，框选目标。
61.其中，目标检测模型为基于图像数据集合、目标测试集对预设神经网络预先得到
的。本实施例中，训练好的目标检测模型可用于对图像数据中目标进行识别。可以理解的是，目标可能不止一种，无人机在目标检测定位时，需要能够识别多种不同的目标，则需要采集不同目标的图像数据，基于各种不同目标的图像数据对神经网络模型训练，以得到能够识别多种不同目标的目标检测模型。
62.本实施例中，可以使用手动框选目标或者自动框选出目标。其中，手动框选目标，可以是根据相机采集的图像数据，人工确定出图像中包含的目标，并通过触控物控制提供图像的界面进行触控操作，以完成目标手动框选。
63.当然，也可以通过图像数据自动框选出图像中的目标，可以是直接在图像中框选标定目标，或者通过像素坐标和图像匹配，得到目标的位置坐标和区域，此处不做具体限制。
64.s230、根据位置信息和点云数据，确定位置信息对应区域的目标点云数据。
65.其中，目标点云数据可以理解为目标对应的点云数据。本步骤中，将激光雷达采集的点云数据先进行滤波处理。通过激光雷达坐标系和图像坐标系的转化关系式，将滤波后的点云数据映射到图像数据中。根据上述步骤确定的目标在图像数据中的位置信息，可以确定目标在图像数据中所占区域，对应区域内的点云数据可以理解为是目标对应的点云数据，记为目标点云数据。
66.作为本发明实施例的可选实施例，在上述实施例的基础上，进一步将根据位置信息和点云数据，确定位置信息对应区域的目标点云数据的步骤优化为：
67.a1)对点云数据进行滤波处理。
68.考虑到在获取点云数据时，由于设备精度、操作者经验、环境因素等带来的影响，以及电磁波衍射特性、被测物体表面性质变化和数据拼接配准操作过程中的影响，点云数据中将不可避免将出现一些噪声点。同时，除了这些测量随机误差产生的噪声点之外，由于收到外界干扰，如视线遮挡、障碍物等因素的影响，点云数据中往往存在些离主体点云较远的离群点。本实施中，为了保证点云数据不包含干扰信息，对采集到的的点云数据先进行滤波处理。
69.本实施例中，基于点云库(point cloud library，pcl)对点云数据进行滤波处理，以解决点云数据密度不规则需要平滑、因为遮挡等问题造成离群点需要去除、大量数据需要进行下采样以及噪音数据需要去除。本实施例中对滤波方式不作具体限制，例如可以是双边滤波、高斯滤波、条件滤波、直通滤波、体素滤波等。具体的，基于pcl库对激光雷达采集到的点云数据进行点云滤波，从而去掉地面点及噪点。
70.b1)将滤波后的点云数据映射到图像数据中。
71.具体的，通过激光雷达坐标系和图像坐标系的转化关系式，可以将将滤波后的点云数据转换为图像坐标系下的位姿信息。可以理解的是，在激光雷达坐标系下的位姿信息为三维位姿信息，在图像坐标系下的位姿信息为二维位姿信息。
72.其中，激光雷达坐标系和图像坐标系的转化关系可以表示为：
[0073][0074]
其中，zc为尺度参数，(u，v)为在图像坐标系下的位姿信息，相机坐标原点与图像坐标系的原点之间的距离f，即焦距，相机内参矩阵为：雷达坐标系到相机坐标系转换矩阵：(xw、yw、zw)为激光雷达坐标系下的三维位姿信息。
[0075]
c1)确定位置信息对应区域的目标点云数据。
[0076]
具体的，在检测出目标在图像数据中的位置信息，可以确定目标在图像数据中的对应区域，在点云数据映射到图像数据后，确定目标对应区域的点云数据为目标对应的点云数据，记为目标点云数据。
[0077]
s240、根据目标点云数据，计算目标在激光雷达的激光雷达坐标系下的三维位姿信息。
[0078]
具体的，对目标点云数据进行计算，可以得到目标在激光雷达坐标系下的三维位姿信息，其中三维位姿信息可以是指目标中心点的位姿信息。
[0079]
s250、获取预先标定的激光雷达与无人机的位姿转换矩阵。
[0080]
其中，激光雷达与无人机的位姿转换矩阵可以表示为：具体的，获取预先标定的激光雷达与无人机的位姿转换矩阵。
[0081]
s260、根据三维位姿信息和激光雷达与无人机的位姿转换矩阵，计算目标在无人机的机体坐标系下的位姿信息。
[0082]
具体的，假设目标在激光雷达的激光雷达坐标系下的位姿信息表示为p0，激光雷达与无人机的位姿转换矩阵可以表示为m0，则目标在无人机的机体坐标系下的位姿信息为：p1＝p0·
m0。
[0083]
s270、根据目标在无人机的机体坐标系下的位姿信息和飞行数据，确定目标在大地坐标系下的目标位姿信息。
[0084]
其中，飞行数据是指角度数据，如俯仰角、横滚角、偏航角，无人机经纬度，高程等。具体的，根据目标在无人机的机体坐标系下的位姿信息和角度数据，可以确定目标在导航坐标系下的位姿信息。进一步，根据目标在导航坐标系下的位姿信息、无人机经纬度和高程，确定目标在大地坐标系下的目标位姿信息。
[0085]
作为本发明实施例的可选实施例，在上述实施例的基础上，飞行数据包括角度数据、经纬度和高程，根据目标在无人机的机体坐标系下的位姿信息和飞行数据，确定目标在大地坐标系下的目标位姿信息的步骤可以表述为：
[0086]
a2)根据角度数据和目标在无人机的机体坐标系下的位姿信息，确定目标在导航
坐标系下的位姿信息。
[0087]
其中，角度数据包括俯仰角、横滚角、偏航角。其中，俯仰角用θ表示、横滚角用ψ表示、偏航角用φ表示，则导航坐标系到无人机的机体坐标系转换矩阵可以表示为：
[0088][0089]
则机体坐标系到导航坐标系的转换矩阵为旋转矩阵可以表示为：r＝dcm
t
。
[0090]
具体的，在已知目标在无人机的机体坐标系下位姿信息的情况下，根据机体坐标系到北东地坐标系的旋转矩阵，就可以确定目标在导航坐标系下的位姿信息。
[0091]
示例性的，假设目标在无人机的机体坐标系下的位姿信息表示为p1，则基于旋转矩阵r＝dcm
t
，可以确定目标在导航坐标系下的位姿信息表示为p2，则p2＝r
·
p1＝dcm
t
·
p1。
[0092]
b2)根据目标在导航坐标系下的位姿信息、经纬度和高程，确定目标在大地坐标系下的目标位姿信息。
[0093]
本实施例中，假设目标在导航坐标系下的位姿信息表示为p2，p2包含三个维度的坐标信息，分别表示为：p2_x、p2_y、p2_z。则基于目标在导航坐标系下的位姿信息、无人机经纬度、高程、地球场半轴、偏心率，确定目标在大地坐标系下的目标位姿信息，目标位姿信息包括目标经度、目标纬度、目标高程。具体的：
[0094]
目标经度可以表示为：机体经度+p2_y
·deast
·
180/π，
[0095]
目标纬度可以表示为：机体纬度+p2_x
·dnorth
·
180/π，
[0096]
目标高程可以表示为：机体高程-p2_z，其中，
[0097][0098]
式中，a表示地球长半轴，e表示偏心率。
[0099]
本发明实施例细化了根据图像数据和点云数据，计算目标在激光雷达的激光雷达坐标系下的三维位姿信息的步骤以及根据三维位姿信息、激光雷达与无人机的位姿转换矩阵以及无人机的飞行数据，确定目标在大地坐标系下的目标位姿信息的步骤。首先检测目标在图像数据中的位置信息；根据位置信息和点云数据，确定目标在激光雷达的激光雷达坐标系下的三维位姿信息；再依次根据三维位姿信息和激光雷达与无人机的位姿转换矩阵、飞行数据，确定目标在大地坐标系下的目标位姿信息。利用上述方法，采用激光雷达点云数据与视觉融合的方式，根据目标在图像中的区域确定目标对应的三维位姿信息，并根据坐标转换关系，将目标物在激光雷达坐标系下的位姿信息最终转换成相对大地坐标系的目标位姿信息。本技术方案降低了对使用场景的要求，提高了目标检测的准确性，避免使用复杂的处理算法，大大提升了无人机军事或民用的实用性。
[0100]
实施例三
[0101]
图3为本发明实施例三提供的一种目标检测定位装置的结构示意图，该方法可适
用于基于无人机对目标进行精准检测定位的情况。该目标检测定位装置可以采用硬件和/或软件的形式实现，可配置于无人机中，无人机上安装有相机和激光雷达。
[0102]
如图3所示，该装置包括：数据采集模块31、三维位姿信息确定模块32和目标位姿信息确定模块33，其中，
[0103]
数据采集模块31，用于获取相机和激光雷达对目标进行同步采集的图像数据和点云数据；
[0104]
三维位姿信息确定模块32，用于根据图像数据和点云数据，计算目标在激光雷达的激光雷达坐标系下的三维位姿信息；
[0105]
目标位姿信息确定模块33，用于根据三维位姿信息、激光雷达与无人机的位姿转换矩阵以及无人机的飞行数据，确定目标在大地坐标系下的目标位姿信息。
[0106]
本发明实施例提供了一种目标检测定位装置，该装置集成于无人机，无人机上安装有相机和激光雷达，该装置中数据采集模块获取相机和激光雷达对目标进行同步采集的图像数据和点云数据；三维位姿信息确定模块根据图像数据和点云数据，计算目标在激光雷达的激光雷达坐标系下的三维位姿信息；目标位姿信息确定模块根据三维位姿信息、激光雷达与无人机的位姿转换矩阵以及无人机的飞行数据，确定目标在大地坐标系下的目标位姿信息。该装置采用激光雷达点云数据与视觉融合的方式，基于图像数据和点云数据确定目标在激光雷达坐标系下的三维位姿信息，将目标在激光雷达坐标系下的三维位姿信息最终转换成目标在大地坐标系下的位姿信息。本技术方案降低了对使用场景的要求，提高了目标检测定位的准确性，避免使用复杂的处理算法。
[0107]
可选地，三维位姿信息确定模块32，包括：
[0108]
位置信息检测单元，用于检测目标在图像数据中的位置信息；
[0109]
目标点云数据确定单元，用于根据位置信息和点云数据，确定位置信息对应区域的目标点云数据；
[0110]
三维位姿信息计算单元，用于根据目标点云数据，计算目标在激光雷达的激光雷达坐标系下的三维位姿信息。
[0111]
可选地，该装置还包括，目标框选模块，用于：
[0112]
将图像数据输入至预先训练的目标检测模型中，框选目标。
[0113]
进一步地，目标点云数据确定单元，具体用于：
[0114]
对点云数据进行滤波处理；
[0115]
将滤波后的点云数据映射到图像数据中；
[0116]
确定位置信息对应区域的目标点云数据。
[0117]
可选地，目标位姿信息确定模块33，包括：
[0118]
转换矩阵获取单元，用于获取预先标定的激光雷达与无人机的位姿转换矩阵；
[0119]
机体坐标系位姿计算单元，用于根据三维位姿信息和激光雷达与无人机的位姿转换矩阵，计算目标在无人机的机体坐标系下的位姿信息；
[0120]
目标位姿信息确定单元，用于根据目标在无人机的机体坐标系下的位姿信息和飞行数据，确定目标在大地坐标系下的目标位姿信息。
[0121]
进一步地，飞行数据包括角度数据、经纬度和高程，根据目标在无人机的机体坐标系下的位姿信息和飞行数据，目标位姿信息确定单元，具体用于：
[0122]
根据角度数据和目标在无人机的机体坐标系下的位姿信息，确定目标在导航坐标系下的位姿信息；
[0123]
根据目标在导航坐标系下的位姿信息、经纬度和高程，确定目标在大地坐标系下的目标位姿信息。
[0124]
可选地，该装置还包括上传模块，用于：
[0125]
将目标在大地坐标系下的目标位姿信息上传至服务器。
[0126]
本发明实施例所提供的目标检测定位装置可执行本发明任意实施例所提供的目标检测定位方法，具备执行方法相应的功能模块和有益效果。
[0127]
实施例四
[0128]
图4为本发明实施例四提供的一种无人机的结构示意图。如图4所示，本发明实施例四提供的无人机包括：无人机主体(图中未示出)；相机2，安装在无人机主体上；激光雷达3，安装在无人机主体上；控制器4，与相机2、激光雷达3通信连接。
[0129]
控制器4包括：一个或多个处理器41和存储装置42；该控制器4中的处理器41可以是一个或多个，图4中以一个处理器41为例；存储装置42用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器41执行，使得所述一个或多个处理器41实现如本发明实施例中任一项所述的目标检测定位方法。
[0130]
控制器4中的处理器41和存储装置42可以通过总线或其他方式连接，图4中以通过总线连接为例。
[0131]
该控制器4中的存储装置42作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例一或二所提供目标检测定位方法对应的程序指令/模块(例如，附图3所示的目标检测定位装置中的模块，包括：数据采集模块31、三维位姿信息确定模块32和目标位姿信息确定模块33)。处理器41通过运行存储在存储装置42中的软件程序、指令以及模块，从而执行控制器4的各种功能应用以及数据处理，即实现上述方法实施例中目标检测定位方法。
[0132]
存储装置42可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据控制器4的使用所创建的数据等。此外，存储装置42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置42可进一步包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0133]
输入装置43可用于接收输入的数字或字符信息，以及产生与控制器4的用户设置以及功能控制有关的键信号输入。输出装置44可包括显示屏等显示设备。
[0134]
并且，当上述控制器4所包括一个或者多个程序被所述一个或者多个处理器41执行时，程序进行如下操作：
[0135]
获取所述相机和所述激光雷达对目标进行同步采集的图像数据和点云数据；
[0136]
根据所述图像数据和所述点云数据，计算所述目标在所述激光雷达的激光雷达坐标系下的三维位姿信息；
[0137]
根据所述三维位姿信息、所述激光雷达与所述无人机的位姿转换矩阵以及所述无人机的飞行数据，确定所述目标在大地坐标系下的目标位姿信息。
[0138]
实施例五
[0139]
本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行目标检测定位方法，该方法包括：
[0140]
获取所述相机和所述激光雷达对目标进行同步采集的图像数据和点云数据；
[0141]
根据所述图像数据和所述点云数据，计算所述目标在所述激光雷达的激光雷达坐标系下的三维位姿信息；
[0142]
根据所述三维位姿信息、所述激光雷达与所述无人机的位姿转换矩阵以及所述无人机的飞行数据，确定所述目标在大地坐标系下的目标位姿信息。
[0143]
可选的，该程序被处理器执行时还可以用于执行本发明任意实施例所提供的目标检测定位方法。
[0144]
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(random access memory，ram)、只读存储器(read only memory，rom)、可擦式可编程只读存储器(erasable programmable read only memory，eprom)、闪存、光纤、便携式cd-rom、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0145]
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0146]
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(radiofrequency，rf)等等，或者上述的任意合适的组合。
[0147]
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、smalltalk、c++，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(lan)或广域网(wan)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0148]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
技术特征：1.一种目标检测定位方法，其特征在于，应用于无人机，所述无人机上安装有相机和激光雷达，所述方法包括：获取所述相机和所述激光雷达对目标进行同步采集的图像数据和点云数据；根据所述图像数据和所述点云数据，计算所述目标在所述激光雷达的激光雷达坐标系下的三维位姿信息；根据所述三维位姿信息、所述激光雷达与所述无人机的位姿转换矩阵以及所述无人机的飞行数据，确定所述目标在大地坐标系下的目标位姿信息。2.根据权利要求1所述的方法，其特征在于，所述根据所述图像数据和所述点云数据，计算所述目标在所述激光雷达的激光雷达坐标系下的三维位姿信息，包括：检测所述目标在所述图像数据中的位置信息；根据所述位置信息和所述点云数据，确定所述位置信息对应区域的目标点云数据；根据所述目标点云数据，计算所述目标在所述激光雷达的激光雷达坐标系下的三维位姿信息。3.根据权利要求2所述的方法，其特征在于，在检测所述目标在所述图像数据中的位置信息之前，还包括：将所述图像数据输入至预先训练的目标检测模型中，框选所述目标。4.根据权利要求2所述的方法，其特征在于，所述根据所述位置信息和所述点云数据，确定所述位置信息对应区域的目标点云数据，包括：对所述点云数据进行滤波处理；将滤波后的所述点云数据映射到所述图像数据中；确定所述位置信息对应区域的目标点云数据。5.根据权利要求1所述的方法，其特征在于，所述根据所述三维位姿信息、所述激光雷达与所述无人机的位姿转换矩阵以及所述无人机的飞行数据，确定所述目标在大地坐标系下的目标位姿信息，包括：获取预先标定的所述激光雷达与所述无人机的位姿转换矩阵；根据所述三维位姿信息和所述激光雷达与所述无人机的位姿转换矩阵，计算所述目标在所述无人机的机体坐标系下的位姿信息；根据所述目标在所述无人机的机体坐标系下的位姿信息和所述飞行数据，确定所述目标在大地坐标系下的目标位姿信息。6.根据权利要求5所述的方法，其特征在于，所述飞行数据包括角度数据、经纬度和高程，所述根据所述目标在所述无人机的机体坐标系下的位姿信息和所述飞行数据，确定所述目标在大地坐标系下的目标位姿信息，包括：根据所述角度数据和所述目标在所述无人机的机体坐标系下的位姿信息，确定所述目标在导航坐标系下的位姿信息；根据所述目标在导航坐标系下的位姿信息、所述经纬度和所述高程，确定所述目标在大地坐标系下的目标位姿信息。7.根据权利要求1-6任一项所述的方法，其特征在于，还包括：将所述目标在大地坐标系下的目标位姿信息上传至服务器。8.一种目标检测定位装置，其特征在于，集成于无人机上，所述无人机上安装有相机和
激光雷达，包括：数据采集模块，用于获取所述相机和所述激光雷达对目标进行同步采集的图像数据和点云数据；三维位姿信息确定模块，用于根据所述图像数据和所述点云数据，计算所述目标在所述激光雷达的激光雷达坐标系下的三维位姿信息；目标位姿信息确定模块，用于根据所述三维位姿信息、所述激光雷达与所述无人机的位姿转换矩阵以及所述无人机的飞行数据，确定所述目标在大地坐标系下的目标位姿信息。9.一种无人机，其特征在于，包括：无人机主体；相机和激光雷达，安装在所述无人机主体上；控制器，与所述相机和激光雷达通信连接，所述控制器包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的目标检测定位方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的目标检测定位方法。
技术总结本发明实施例提供了一种目标检测定位方法、装置、无人机及存储介质，所述方法应用于无人机，所述无人机上安装有相机和激光雷达，该方法包括：获取所述相机和所述激光雷达对目标进行同步采集的图像数据和点云数据；根据所述图像数据和所述点云数据，计算所述目标在所述激光雷达的激光雷达坐标系下的三维位姿信息；根据所述三维位姿信息、所述激光雷达与所述无人机的位姿转换矩阵以及所述无人机的飞行数据，确定所述目标在大地坐标系下的目标位姿信息。利用该方法，基于图像数据和点云数据确定目标在激光雷达坐标系下的位姿信息，最终转换成目标在大地坐标系的位姿信息。本方案降低了场景要求，提高了目标检测的准确性，避免使用复杂的处理算法。复杂的处理算法。复杂的处理算法。
技术研发人员：银江涛 胡小波
受保护的技术使用者：深圳市镭神智能系统有限公司
技术研发日：2022.06.30
技术公布日：2022/11/1
