融合激光雷达/视觉/uwb的火场地图构建方法和系统
技术领域
1.本发明涉及地图构建技术领域，特别是涉及一种融合激光雷达/视觉/uwb的火场地图构建方法和系统。
背景技术：2.城市火灾事故发生时，消防员常需深入火场内部展开灭火搜救，其自身安全极易受到威胁，通常需要借助火场地图对遇险消防员进行定位以为其提供救助。现阶段大部分已有建筑物无法在失火时提前获取室内地图，导致指挥中心无参考地图可用。此外，目前大多数消防员定位系统仅有定位功能，没有地图显示功能，导致身处险情的消防员位置解读受到极大限制，指挥中心与消防员仅靠无线通话难以制定有效的救援方案，易造成消防员伤亡。
3.现有的大多数消防员定位系统主要是对消防员进行定位，没有火场内部地图显示造成对消防员位置解读受限制；个别定位系统所谓有地图也仅仅是通过提前在大量建筑物内布设定位基础设施和构图传感器来采集数据以离线方式提前绘制，因建筑着火具有随机突发性，故上述系统并不能做到真正意义上的地图即时自构建，实用性较差。此外，现有的slam地图自构建系统在应用于火场环境时存在传感器较单一、未加入回环检测优化等局限性，导致构建地图的精度不够高。
4.为解决上述存在的问题，在消防员进入火场救援时均需佩戴某种特定的定位装置，该装置能够即时获取到火场的精准内部地图，一旦消防员自身遭遇险情时，指挥中心就可以根据地图查看遇险消防员的准确位置，并通知邻近消防员对其施以援救，这样可以极大保障消防员的生命安全。
5.消防员佩戴的特定的定位装置主要包括以下几种：第一种是采用超宽带定位技术进行定位的装置，超宽带定位技术具有精度高、抗干扰性好、穿透力强等优点，其具有超高带宽和纳米级的窄脉冲波的同时，可以有效减少多径干扰，非常适合在火场复杂环境对消防员定位。但是其并不具有火场地图显示功能，使得在复杂环境下，依旧存在救援困难的问题。
6.第二种是采用同时定位与地图构建技术进行定位的装置，同时定位与地图构建技术是使用各类传感器收集当前的环境信息，通过不同算法框架构建周围环境地图的技术。其中，使用激光雷达和相机构建地图是两种广泛使用的地图构建方式。激光雷达具有建图实时性好和扫描范围广等优点。而单目相机有价格低廉、体积小、方便携带等优点。但是，这两种传感器也存在如下不足之处：(1)单目相机难以获取到物体的三维信息，受环境中光线的影响较大，激光雷达在运动的过程中，剧烈运动会造成严重的畸变；(2)在室内环境下进行扫描构建地图时，随着扫描次数的增加误差会越来越大，最终导致地图整体出现扭曲的情况。
7.针对上述存在的问题，中国专利cn201610856938.2提供了一种基于uwb室内定位技术与激光雷达的地图构建方法，利用uwb和激光雷达双传感器构建地图，使得地图构建的
精度更精准。中国专利cn201710849238.5提供了一种基于uwb和激光雷达混合定位的行人跟随系统及方法。利用uwb对行人进行初步定位与识别，然后利用激光雷达对行人进行准确的定位和识别，满足复杂环境下对行人的精准定位，具有精度好，稳定性强等特点，然而这两个中国发明专利均侧重点在行人定位，对于实时地图构建的研究并未涉及。中国专利cn202010847107.5提供了一种基于uwb与激光雷达的室内行人跟随与避障方法，利用agv车载uwb模块获取行人坐标信息，利用雷达获取障碍物信息实时上传至上位机，进行避障路径规划，可以实现复杂环境下对行人的实时跟踪，但是无法实时获取到室内地图。中国专利cn202111126574.x提供了一种基于超宽带和激光slam复合导航技术的agv定位系统及方法，利用uwb模块和激光雷达模块装置进行数据融合，改善了因遮挡问题产生的状态累计误差，然而该中国专利由于激光雷达布置在agv车体内，周围环境变化幅度较大时，雷达会失去定位信息。
8.基于此，提供一种火场地图构建方法或系统，以能够在没有室内地图的情况下实现火场二维地图的即时自构建成为本领域亟待解决的一个技术问题。
技术实现要素：9.本发明的目的是提供一种融合激光雷达/视觉/uwb的火场地图构建方法和系统，能够在没有室内地图的情况下实现火场二维地图的及时构建，有效弥补了现有技术对于构建火场内部地图构建的局限性，提高火场内部地图构建的精确性。
10.为实现上述目的，本发明提供了如下方案：
11.一种融合激光雷达/视觉/uwb的火场地图构建方法，包括：
12.获取uwb定位信息、激光雷达信息和视频数据信息；
13.基于所述uwb定位信息，采用连通性融合算法构建火场初始地图；
14.基于所述激光雷达信息，采用icp算法确定激光雷达的位姿信息；
15.基于所述激光雷达的位姿信息构建平面局部地图；
16.提取所述视频数据信息中的关键帧，并基于所述关键帧确定相机的位姿信息；
17.基于所述相机的位姿信息得到三维点云地图，并对所述三维点云地图进行降维处理得到二维点云地图；
18.融合所述火场初始地图、所述平面局部地图和所述二维点云地图得到局部栅格地图；
19.对所述局部栅格地图进行回环检测；
20.对回环检测过程中所述激光雷达的位姿信息进行优化得到全局栅格地图；将所述全局栅格地图作为火场地图。
21.优选地，所述基于所述uwb定位信息，采用连通性融合算法构建火场初始地图，具体包括：
22.搭建uwb定位基站，并获取所述uwb定位基站的位置；
23.基于所述uwb定位基站的位置确定消防员的位置信息；
24.基于所述消防员的位置信息生成消防员的行动轨迹；
25.基于所述消防员的位置信息确定两个消防员间是否属于同一连通区域；
26.当两个消防员属于同一连通区域时，依据这两个消防员的行动轨迹生成开放区
域；所述开放区域为消防员进入探测的区域；
27.当两个消防员不属于同一连通区域时，依据两个消防员的行动轨迹生成灰色区域；所述灰色区域为障碍区域；
28.基于所述开放区域和所述灰色区域生成火场初始地图。
29.优选地，所述基于所述消防员的位置信息确定两个消防员间是否属于同一连通区域，具体包括：
30.以两个消防员所在位置为目标点，获取两个目标点的连通标识；
31.当两个目标点的连通标识相等且两个目标点间的位置距离满足预设距离时，确定两个消防员属于同一连通区域；
32.当两个目标点的连通标识不相等或两个目标点间的位置距离不满足预设距离时，确定两个消防员不属于同一连通区域。
33.优选地，当两个消防员属于同一连通区域时，以这两个消防员的行动轨迹的中轴线为中心横向扩展特定距离后得到开放区域。
34.优选地，所述对所述局部栅格地图进行回环检测，具体包括：
35.提取所述局部栅格地图中的扫描帧；
36.将所述扫描帧与所述激光雷达信息进行匹配得到匹配结果；
37.当所述匹配结果满足预设条件时完成回环检测。
38.优选地，所述对回环检测过程中所述激光雷达的位姿信息进行优化得到全局栅格地图，具体包括：
39.采用gtsam优化库对回环检测过程中所述激光雷达的位姿信息进行优化得到全局栅格地图。
40.根据本发明提供的具体实施例，本发明公开了以下技术效果：
41.本发明提供的融合激光雷达/视觉/uwb的火场地图构建方法，利用uwb定位精准构建火场初始地图，将其和利用激光雷达信息/视频数据信息的自构建地图相互修正，在图优化框架中融合并加入回环检测，能够在没有室内地图的情况下实现火场二维地图的及时构建，有效弥补了现有技术对于构建火场内部地图构建的局限性，提高火场内部地图构建的精确性。
42.对应于上述提供的融合激光雷达/视觉/uwb的火场地图构建方法，本发明还提供了以下实施系统：
43.其中，一种融合激光雷达/视觉/uwb的火场地图构建系统，包括：
44.信息获取模块，用于获取uwb定位信息、激光雷达信息和视频数据信息；
45.第一地图构建模块，用于基于所述uwb定位信息，采用连通性融合算法构建火场初始地图；
46.第一位姿确定模块，用于基于所述激光雷达信息，采用icp算法确定激光雷达的位姿信息；
47.第二地图构建模块，用于基于所述激光雷达的位姿信息构建平面局部地图；
48.第二位姿确定模块，用于提取所述视频数据信息中的关键帧，并基于所述关键帧确定相机的位姿信息；
49.第三地图构建模块，用于基于所述相机的位姿信息得到三维点云地图，并对所述
三维点云地图进行降维处理得到二维点云地图；
50.第四地图构建模块，用于融合所述火场初始地图、所述平面局部地图和所述二维点云地图得到局部栅格地图；
51.回环检测模块，用于对所述局部栅格地图进行回环检测；
52.第五地图构建模块，用于对回环检测过程中所述激光雷达的位姿信息进行优化得到全局栅格地图；将所述全局栅格地图作为火场地图。
53.另一种融合激光雷达/视觉/uwb的火场地图构建系统，包括：
54.无人机，搭载有uwb定位基站和北斗差分接收模块，用于获取uwb定位基站的位置信息；
55.便携式设备，搭载有激光雷达和单目相机，用于获取激光雷达信息和视频数据信息；
56.远程设备，分别与所述无人机和所述便携式设备无线连接，用于根据所述位置信息、所述激光雷达信息和所述视频数据信息，采用本发明上述提供的火场地图构建方法构建火场地图，并显示所述火场地图。
57.应本发明提供的融合激光雷达/视觉/uwb的火场地图构建系统实现的技术效果与上述提供的火场地图构建方法实现的技术效果相同，故在此不再进行赘述。
附图说明
58.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
59.图1为本发明提供的融合激光雷达/视觉/uwb的火场地图构建方法的流程图；
60.图2为本发明提供的其中一种采用融合激光雷达/视觉/uwb的火场地图构建系统的结构示意图；
61.图3为本发明提供的火场定位与地图构建实施架构图；
62.图4为本发明提供的采用融合激光雷达/视觉/uwb的火场地图构建方法实施流程图；
63.图5为本发明提供的连通性融合算法框架图；
64.图6为本发明提供的实验布局场景示意图；
65.图7为本发明提供的传统激光雷达的hector算法构建的地图；
66.图8为本发明提供的采用融合激光雷达/视觉/uwb的火场地图构建方法构建的火场初始地图；
67.图9为本发明提供的采用融合激光雷达/视觉/uwb的火场地图构建方法构建的最终地图。
具体实施方式
68.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
69.本发明的目的是提供一种融合激光雷达/视觉/uwb的火场地图构建方法和系统，能够在没有室内地图的情况下实现火场二维地图的及时构建，有效弥补了现有技术对于构建火场内部地图构建的局限性，提高火场内部地图构建的精确性。
70.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
71.如图1所示，本发明提供的融合激光雷达/视觉/uwb的火场地图构建方法，包括：
72.步骤100：获取uwb定位信息、激光雷达信息和视频数据信息。
73.步骤101：基于uwb定位信息，采用连通性融合算法构建火场初始地图。该步骤的实施过程为：
74.步骤1011：搭建uwb定位基站，并获取uwb定位基站的位置。
75.步骤1012：基于uwb定位基站的位置确定消防员的位置信息。
76.步骤1013：基于消防员的位置信息生成消防员的行动轨迹。
77.步骤1014：基于消防员的位置信息确定两个消防员间是否属于同一连通区域。例如，以两个消防员所在位置为目标点，获取两个目标点的连通标识。当两个目标点的连通标识相等且两个目标点间的位置距离满足预设距离时，确定两个消防员属于同一连通区域。当两个目标点的连通标识不相等或两个目标点间的位置距离不满足预设距离时，确定两个消防员不属于同一连通区域。
78.步骤1015：当两个消防员属于同一连通区域时，以这两个消防员的行动轨迹的中轴线为中心横向扩展特定距离(例如1m)后得到开放区域。开放区域为消防员进入探测的区域。
79.步骤1016：当两个消防员不属于同一连通区域时，依据两个消防员的行动轨迹生成灰色区域。灰色区域为障碍区域。
80.步骤1017：基于开放区域和灰色区域生成火场初始地图。
81.步骤102：基于激光雷达信息，采用icp算法确定激光雷达的位姿信息。
82.步骤103：基于激光雷达的位姿信息构建平面局部地图。
83.步骤104：提取视频数据信息中的关键帧，并基于关键帧确定相机的位姿信息。
84.步骤105：基于相机的位姿信息得到三维点云地图，并对三维点云地图进行降维处理得到二维点云地图。
85.步骤106：融合火场初始地图、平面局部地图和二维点云地图得到局部栅格地图。
86.步骤107：对局部栅格地图进行回环检测。该步骤实施过程为：
87.步骤1071：提取局部栅格地图中的扫描帧。
88.步骤1072：将扫描帧与激光雷达信息进行匹配得到匹配结果。
89.步骤1073：当匹配结果满足预设条件时完成回环检测。或者为了提高地图的精确性，回环检测的次数可以依据实际需要设定。
90.步骤108：对回环检测过程中激光雷达的位姿信息进行优化得到全局栅格地图。将全局栅格地图作为火场地图。例如，采用gtsam优化库对回环检测过程中激光雷达的位姿信息进行优化得到全局栅格地图。
91.对应于上述提供的融合激光雷达/视觉/uwb的火场地图构建方法，本发明还提供了以下实施系统：
92.其中一种融合激光雷达/视觉/uwb的火场地图构建系统，如图2所示，该系统，包括：
93.信息获取模块1，用于获取uwb定位信息、激光雷达信息和视频数据信息。
94.第一地图构建模块2，用于基于uwb定位信息，采用连通性融合算法构建火场初始地图。
95.第一位姿确定模块3，用于基于激光雷达信息，采用icp算法确定激光雷达的位姿信息。
96.第二地图构建模块4，用于基于激光雷达的位姿信息构建平面局部地图。
97.第二位姿确定模块5，用于提取视频数据信息中的关键帧，并基于关键帧确定相机的位姿信息。
98.第三地图构建模块6，用于基于相机的位姿信息得到三维点云地图，并对三维点云地图进行降维处理得到二维点云地图。
99.第四地图构建模块7，用于融合火场初始地图、平面局部地图和二维点云地图得到局部栅格地图。
100.回环检测模块8，用于对局部栅格地图进行回环检测。
101.第五地图构建模块9，用于对回环检测过程中激光雷达的位姿信息进行优化得到全局栅格地图。将全局栅格地图作为火场地图。
102.另一种融合激光雷达/视觉/uwb的火场地图构建系统，包括：
103.无人机，搭载有uwb定位基站和北斗差分接收模块，用于获取uwb定位基站的位置信息。
104.便携式设备，搭载有激光雷达和单目相机，用于获取激光雷达信息和视频数据信息。
105.远程设备，分别与无人机和便携式设备无线连接，用于根据位置信息、激光雷达信息和视频数据信息，采用本发明提供的上述火场地图构建方法构建火场地图，并显示火场地图。
106.下面以如图3所示的实施架构为例，对本发明上述提供的融合激光雷达/视觉/uwb的火场地图构建方法和系统的具体实施过程进行说明，在实际使用过程中，该实施例采用的具体部件不作为本发明所提供技术方案的具体限定。
107.在该实施例中，消防指挥中心即为远程设备。
108.如图4所示，该实施例中，基于如图3所示的实施架构，融合激光雷达/视觉/uwb的火场地图构建方法的实施过程包括：
109.步骤一：搭建uwb定位基站
110.在救援过程中，采用4-6架无人机搭载uwb定位基站和北斗差分接收模块，遥控使其悬停在有利于uwb信号传输的着火建筑物四周，通过北斗卫星定位系统定位处室外uwb基站的位置，再经过坐标转换，得到消防员的相对位置信息。
111.步骤二：采集多传感器数据
112.消防员佩戴的便携式设备集成了激光雷达传感器、单目摄像头和uwb定位标签，分
别获取激光雷达的扫描测距信息、环境信息和距离信息。
113.步骤三：构建火场初始地图
114.消防员从不同入口进入火场，通过uwb定位标签获得所有消防员的行走轨迹信息，采用均值预处理的方法对消防员的定位轨迹进行处理，以缓解定位坐标跳变的问题。为了获得火场初始地图，本发明采用连通性融合算法，该实施例中，基于连通性融合算法将所有消防员标签的定位轨迹中心轴的两侧向外各扩展1米视为开放空间，能进入的空间就视为开放空间，不能进入的视为墙壁和其他障碍物，当多名消防员进入火场时，每个消防员的活动范围越大，他们之间的开放空间就越大，进而获得的火场初始地图就越完善。连通性融合算法的框架如图5所示。
115.连通性融合算法的实施原理为：
116.每个目标节点从t时刻到t+1时刻的位移差值是相对稳定的，用公式表示为：
[0117][0118]
其中，u
th
为位移阈值上限，该实施例中取2.1m，依据成年人的行进速度0.6～2.1m/s设定。(x，y)为消防员的位置坐标。
[0119]
采集所有消防员的室内行走轨迹(每一步的位置点连接构成轨迹)数据，将uwb定位数据处理后，按照时间顺序形成一个室内轨迹，室内轨迹是一个连续的点集包括不同时刻t和不同目标节点i和j的坐标。集合s中的元素i和j相互连通可表示为目标点i和j属于同一个连通区域，c(i)和c(j)表示两个目标的连通标识，d(i,j)表示两个目标点的距离，在所有距离为d的点中将同一连通域内两点之间的连通概率记为p，即有：
[0120]
τ(i,j)＝p(c(i)＝c(j)≠0|d(i,j)＝d)
ꢀꢀ
(2)
[0121]
当不同消防员之间的位置信息满足公式(2)时，认定两个目标点之间是相互连通的。在获得这些定位轨迹后，采用上述连通处理方法，以此类推，获取得到所有消防员间的连通区域。
[0122]
步骤四：构建激光雷达地图
[0123]
利用lidar扫描的数据采用icp算法对消防员位姿进行估计，然后进一步优化。
[0124]
步骤五：构建单目相机点云地图
[0125]
通过单目相机的运动过程获取视频流得到相邻帧间的图像信息并进行关键帧提取，获取到相机的运动。将单目相机得到的三维点云地图通过降维处理投影到二维激光平面上，结合激光雷达的点云数据共同作为雷达数据，进行后续的扫描匹配，来提高消防员位姿估计的精度。
[0126]
然后，融合火场初始地图、激光雷达地图和单目相机点云地图得到局部栅格地图
[0127]
步骤六：回环检测
[0128]
提取所有扫描帧的特征点，进行扫描匹配，完成回环检测，回环检测的目的是为了得到全局一致的轨迹和地图，减少后端优化过程中产生的累计误差，得到与全局一致的栅格地图。
[0129]
步骤七：图优化
[0130]
构建优化图，将优化图输入到gtsam优化库进行计算，得到处理后的优化图，该优
化库对于回环外的位姿不进行优化，只对回环中的位姿进行优化。
[0131]
1.假设源点云和目标点云的集合分别用u＝{u1,u2,...,un}，v＝{v1,v2,...,vn}表示，先计算两个点云集合的重心
[0132]
2.误差函数f(x)为：
[0133][0134]
其中，xi和xj表示顶点i和j的位姿信息，即消防员在不同时刻的位姿。z
ij
是传感器在顶点i和j的之间获取的实际观察值。c表示激光雷达所有约束关系的集合。ω
ij
是约束的信息矩阵。e
ij
(xi,xj,z
ij
)是预测值与测量值之间的差量，即误差函数。此时，图优化问题最终转换为最优解的问题，主要目的是找到满足标准的x
*
使得目标函数f(x)取得最小值。
[0135]
3.通过旋转矩阵r和平移矩阵t构建目标函数e(r,t)，设定一个阈值，并判断e(r,t)是否小于阈值，如果是就判断为闭环，结束本次地图的构建。若否将r和t分别带入源点云u中，得到一组新的点集m，再将m与目标点云v匹配求解出新的r和t，这样反复迭代后趋于收敛，得到最终的最优变换矩阵。
[0136]
对两组点云进行匹配，并通过旋转、平移目标点云v使得目标函数最小：
[0137][0138]
其中，n表示点云中的数目，r和t分别表示两点云之间的旋转矩阵和平移矩阵。
[0139]
4.由于图优化前端通过将消防员不同时刻的位姿以及uwb标签的位置作为顶点，完成前端图的构建，由于前端在构造变换矩阵时就产生了一定的误差，导致后续在建图的过程中图中节点位姿不是全局最优的，需要不断调整顶点和边之间的关系满足全局最优估计的位姿，因此前端构建的图在后端需要进行优化。假设移动消防员的位姿为x，传感器的观测量为z，传感器的预测量为f(x)。图优化后端的原理是采用非线性最小二乘法得到最优的x，使得系统的预测值与观测值之间的误差函数ei(x)最小，进而完成最优位姿估计，用公式表示为：
[0140]ei
(x)＝fi(x)-ziꢀꢀ
(5)
[0141]
基于上述描述，本发明使用激光雷达、单目相机、uwb三种传感器分别采集消防员周围的环境信息、图像信息和消防员的定位轨迹进行地图构建，将uwb数据先进行连通性融合计算得到室内初始地图，再将单目相机得到的三维点云地图投影到激光雷达平面中，多种传感器采集数据，使构建的地图更加精确。
[0142]
并且，针对地图融合，本发明使用图优化算法融合三种传感器的数据信息，添加了回环检测信息使得消防员的位姿信息更加准确，进而得到优化后的室内地图。
[0143]
为了验证本发明的建图性能，在一个包含4个uwb定位基站a0-a3的走廊大环境场景(如图6所示)下进行实验，对实验环境中标识出五处不同的位置，方便进行误差分析。传统激光雷达的hector算法所构建的地图如图7所示，本发明方法所构建的火场初始地图如图8所示，最终构建完成的火场地图如图9所示，通过实验结果对比分析发现，本发明所构建的地图因为有了闭环检测的修正更加精准，障碍物更加清晰，更加真实的反映了环境信息。
[0144]
从表1中的误差结果可以看出，由于单一传感器因素，实验中利用激光雷达传感器
建图的平均误差为0.781m，本发明的误差下降0.551m，相比单独激光雷达建图降低了70.5％。实验结果表明，本发明所提出的建图算法可以得到更精准的地图。
[0145]
表1地图构建精度分析表
[0146][0147]
基于上述描述，一旦建筑物内发生火灾，消防指挥车到达火灾现场后，消防员佩戴便携式设备从不同入口分别进入火灾现场。在救援过程中，可以用4-6架无人机搭载uwb定位基站和北斗差分接收模块，控制无人机使其悬停在有助于uwb信号传输的着火建筑物四周，uwb定位基站和北斗接收模块可满足无人机正常负载范围，通过北斗卫星定位系统先定位出室外uwb基站的位置，再经过坐标转换，获取到消防员的相对位置信息。消防员佩戴的便携式设备集成了激光雷达传感器、单目摄像头和uwb定位标签，分别获取到激光雷达地图、周围环境的图像信息以及所有消防员行走轨迹信息，设计基于局部子地图匹配的闭环检测算法，利用激光雷达的点云数据构建子地图，使用非线性优化将连续的扫描与子地图对齐，进行闭环检测以提高建图的精度，得到最终可供指挥中心参考的地图。当消防员自身遭遇险情时，负责协调调度任务的消防指挥人员可在后台根据地图实时查看消防员的位置和周围环境信息，并及时通知邻近消防员对其施以援救，从而降低消防员的伤亡率。
[0148]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0149]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
技术特征：1.一种融合激光雷达/视觉/uwb的火场地图构建方法，其特征在于，包括：获取uwb定位信息、激光雷达信息和视频数据信息；基于所述uwb定位信息，采用连通性融合算法构建火场初始地图；基于所述激光雷达信息，采用icp算法确定激光雷达的位姿信息；基于所述激光雷达的位姿信息构建平面局部地图；提取所述视频数据信息中的关键帧，并基于所述关键帧确定相机的位姿信息；基于所述相机的位姿信息得到三维点云地图，并对所述三维点云地图进行降维处理得到二维点云地图；融合所述火场初始地图、所述平面局部地图和所述二维点云地图得到局部栅格地图；对所述局部栅格地图进行回环检测；对回环检测过程中所述激光雷达的位姿信息进行优化得到全局栅格地图；将所述全局栅格地图作为火场地图。2.根据权利要求1所述的融合激光雷达/视觉/uwb的火场地图构建方法，其特征在于，所述基于所述uwb定位信息，采用连通性融合算法构建火场初始地图，具体包括：搭建uwb定位基站，并获取所述uwb定位基站的位置；基于所述uwb定位基站的位置确定消防员的位置信息；基于所述消防员的位置信息生成消防员的行动轨迹；基于所述消防员的位置信息确定两个消防员间是否属于同一连通区域；当两个消防员属于同一连通区域时，依据这两个消防员的行动轨迹生成开放区域；所述开放区域为消防员进入探测的区域；当两个消防员不属于同一连通区域时，依据两个消防员的行动轨迹生成灰色区域；所述灰色区域为障碍区域；基于所述开放区域和所述灰色区域生成火场初始地图。3.根据权利要求2所述的融合激光雷达/视觉/uwb的火场地图构建方法，其特征在于，所述基于所述消防员的位置信息确定两个消防员间是否属于同一连通区域，具体包括：以两个消防员所在位置为目标点，获取两个目标点的连通标识；当两个目标点的连通标识相等且两个目标点间的位置距离满足预设距离时，确定两个消防员属于同一连通区域；当两个目标点的连通标识不相等或两个目标点间的位置距离不满足预设距离时，确定两个消防员不属于同一连通区域。4.根据权利要求2所述的融合激光雷达/视觉/uwb的火场地图构建方法，其特征在于，当两个消防员属于同一连通区域时，以这两个消防员的行动轨迹的中轴线为中心横向扩展特定距离后得到开放区域。5.根据权利要求1所述的融合激光雷达/视觉/uwb的火场地图构建方法，其特征在于，所述对所述局部栅格地图进行回环检测，具体包括：提取所述局部栅格地图中的扫描帧；将所述扫描帧与所述激光雷达信息进行匹配得到匹配结果；当所述匹配结果满足预设条件时完成回环检测。6.根据权利要求1所述的融合激光雷达/视觉/uwb的火场地图构建方法，其特征在于，
所述对回环检测过程中所述激光雷达的位姿信息进行优化得到全局栅格地图，具体包括：采用gtsam优化库对回环检测过程中所述激光雷达的位姿信息进行优化得到全局栅格地图。7.一种融合激光雷达/视觉/uwb的火场地图构建系统，其特征在于，包括：信息获取模块，用于获取uwb定位信息、激光雷达信息和视频数据信息；第一地图构建模块，用于基于所述uwb定位信息，采用连通性融合算法构建火场初始地图；第一位姿确定模块，用于基于所述激光雷达信息，采用icp算法确定激光雷达的位姿信息；第二地图构建模块，用于基于所述激光雷达的位姿信息构建平面局部地图；第二位姿确定模块，用于提取所述视频数据信息中的关键帧，并基于所述关键帧确定相机的位姿信息；第三地图构建模块，用于基于所述相机的位姿信息得到三维点云地图，并对所述三维点云地图进行降维处理得到二维点云地图；第四地图构建模块，用于融合所述火场初始地图、所述平面局部地图和所述二维点云地图得到局部栅格地图；回环检测模块，用于对所述局部栅格地图进行回环检测；第五地图构建模块，用于对回环检测过程中所述激光雷达的位姿信息进行优化得到全局栅格地图；将所述全局栅格地图作为火场地图。8.一种融合激光雷达/视觉/uwb的火场地图构建系统，其特征在于，包括：无人机，搭载有uwb定位基站和北斗差分接收模块，用于获取uwb定位基站的位置信息；便携式设备，搭载有激光雷达和单目相机，用于获取激光雷达信息和视频数据信息；远程设备，分别与所述无人机和所述便携式设备无线连接，用于根据所述位置信息、所述激光雷达信息和所述视频数据信息，采用如权利要求1-6任意一项所述的火场地图构建方法构建火场地图，并显示所述火场地图。
技术总结本发明涉及一种融合激光雷达/视觉/UWB的火场地图构建方法和系统。其中，本发明提供的融合激光雷达/视觉/UWB的火场地图构建方法，利用UWB定位精准构建火场初始地图，将其和利用激光雷达信息/视频数据信息的自构建地图相互修正，在图优化框架中融合并加入回环检测，能够在没有室内地图的情况下实现火场二维地图的及时构建，有效弥补了现有技术对于构建火场内部地图构建的局限性，提高火场内部地图构建的精确性。建的精确性。建的精确性。
技术研发人员：杨刚 张凯利 宋永刚 胡金波 杜佳 宋先胜
受保护的技术使用者：西安碧海蓝天电子信息技术有限公司
技术研发日：2022.07.15
技术公布日：2022/11/1
