1.本发明属于自动驾驶技术领域，尤其涉及一种基于全域感知的智慧停车场语义地图构建方法及系统。
背景技术：2.快速增加的汽车保有量导致对停车场地的需求不断提高。中国当前停车位数量缺口较大，而且存在停车场利用率不高的问题，难以满足智能停车需求。从驾驶员角度出发，在车辆密集的停车场或是光线较暗的地下停车场存在较多的视野盲区，加上大量的泊车与取车人员在停车场内穿行，给停车带来了较大的安全隐患。停车场狭小的车位空间与部分车主停车不规范的情况也给驾驶员泊车带来了不小的困难。因此，众多的停车难题也在日益凸显。而随着计算机技术和传感技术的发展，各大科技型公司、初创型公司与传统整车厂、一级供应商等已经展开自动泊车技术的相关研发与落地布局。
3.鉴于现有的停车难，停车不安全以及停车位利用率不高等问题，智慧停车场便应运而生。智慧停车场是为了解决停车难，车位分配不规范等实际问题而提出的。所谓的智慧是指能够对车辆进行实时感知、跟踪及导航，并且能够实时获得停车位占用情况。
4.如今停车场建图方法普遍是基于slam(同时定位与地图构建)的方法，而slam又可以分为激光与视觉两种。常用的激光slam的优点是精度高，可用于进一步的路径规划，缺点是没有语义信息。而视觉slam具有语义信息，却易受光照影响且难以进行路径规划。
技术实现要素：5.本发明的目的在于克服现有技术的缺陷，提出了一种基于全域感知的智慧停车场语义地图构建方法及系统。
6.为了实现上述目的，本发明提出了一种基于全域感知的智慧停车场语义地图构建方法，基于部署在停车场场端的激光雷达与相机实现，所述方法包括：
7.步骤s1)接收相机和激光雷达分别获取的停车场各个区域的rgb图像和点云数据；
8.步骤s2)结合停车位的先验信息，根据rgb图像和点云数据进行停车位检测，得到停车位信息；
9.步骤s3)采用基于相机与激光融合的三维目标检测算法，根据rgb图像和点云数据，得到车辆位置信息和行人位置信息；
10.步骤s4)根据停车位信息和车辆位置信息构建栅格地图；
11.步骤s5)根据停车位信息、车辆位置信息和行人位置信息，采用特征关联算法进行路径规划；
12.步骤s6)根据栅格地图、停车位的先验信息以及停车位信息、车辆跟踪与路径规划信息，构成动态的停车场语义地图。
13.作为上述方法的一种改进，所述步骤s2)的停车位先验信息为点云坐标下每个停车位相对于感知设备之间的相对位置。
14.作为上述方法的一种改进于，所述步骤s2)包括：
15.根据停车位的先验信息以及车位的占用与空闲具有不同空间表示的特征，在白天光照条件满足要求时，根据rgb图像，采用轻量级的二分类网络识别停车位框的占用情况；在夜晚光照条件不满足要求时，基于点云数据的三维目标检测及图像分类结果的融合，识别停车位框的占用情况。
16.作为上述方法的一种改进，所述步骤s3)包括：
17.对相机和激光雷达进行外参标定，对相机进行内参标定；
18.通过标定获得的外参矩阵与内参矩阵，将点云投影为与rgb图像同维度的深度图像，并通过注意力网络机制将两种信息融合，再将结果投影到原始点云中；
19.采用基于相机与激光融合的三维目标检测算法，生成停车场内每台车辆及行人的检测框和朝向；每一个检测框由(x,y,z,l,w,h,yaw)构成，其中(x,y,z)表示该检测框的中心，(l,w,h)表示该检测框的长宽高，yaw表示检测框的朝向角度，从而得到停车场范围内的车辆位置信息和行人位置信息。
20.作为上述方法的一种改进，所述步骤s4)包括：
21.将表征车辆位置信息和行人位置信息的三维检测框转换成二维鸟瞰图，以二维检测框的长宽以及朝向生成栅格地图。
22.作为上述方法的一种改进，所述步骤s5)包括：
23.对二维检测框的输出信息进行相应的多目标跟踪，通过关联上一帧与当前帧的检测结果，为每个检测到的车辆赋予相应的id值；
24.采用基于特征关联的跟踪算法，根据车辆id值实时为进场车辆安排空闲车位，一旦车位占用，相应停车位标记为占用状态，根据停车位信息，栅格地图以及车辆位置信息采用混合a*算法进行路径规划。
25.作为上述方法的一种改进，所述步骤s6)的停车场语义地图包括：停车场区域的整体空间信息、停车位的位置信息及占用情况、停车场区域的车辆行人实时位置信息和车辆的泊车路径信息。
26.作为上述方法的一种改进，所述方法还包括基于ros话题的订阅发布实现信息传递；具体包括：
27.通过基于ros话题的订阅发布实现rgb图像和点云数据、停车位的位置信息及占用情况、车辆位置信息和行人位置信息、栅格地图以及车辆跟踪与路径规划信息的传递。
28.一种基于全域感知的智慧停车场语义地图构建系统，基于部署在停车场场端的激光雷达与相机实现，所述系统包括：数据接收模块、停车位检测模块、车辆行人检测模块、栅格地图构建模块、路径规划模块和语义地图构建模块；其中，
29.所述数据接收模块，用于接收相机和激光雷达分别获取的停车场各个区域的rgb图像和点云数据；
30.所述停车位检测模块，用于结合停车位的先验信息，根据rgb图像和点云数据进行停车位检测，得到停车位信息；
31.所述车辆行人检测模块，用于采用基于相机与激光融合的三维目标检测算法，根据rgb图像和点云数据，得到车辆位置信息和行人位置信息；
32.所述栅格地图构建模块，用于根据停车位信息和车辆位置信息构建栅格地图；
33.所述路径规划模块，用于根据停车位信息、车辆位置信息和行人位置信息，采用特征关联算法进行路径规划；
34.所述语义地图构建模块，用于根据栅格地图、停车位的先验信息以及停车位信息、车辆跟踪与路径规划信息，构成动态的停车场语义地图。
35.作为上述系统的一种改进，所述系统基于ros话题的订阅发布实现信息传递；具体包括：
36.通过基于ros话题的订阅发布实现rgb图像和点云数据、停车位的位置信息及占用情况、车辆位置信息和行人位置信息、栅格地图以及车辆跟踪与路径规划信息的传递。
37.与现有技术相比，本发明的优势在于：
38.1、本发明提出一种基于全域的停车场语义地图，能够基于三维目标检测构建栅格地图，跟踪车辆以及路径规划，同时语义地图还能够提供全天时的停车位的检测，相对传统的slam建图，耗时较少且精度高；
39.2、本发明提出的基于全域感知的停车场语义地图构建方法，利用激光雷达与相机融合进行三维目标检测，能够克服单一传感器的不足，提高检测的精确度；
40.3、关于全天时的停车位检测，本发明采用停车位先验信息与视觉检测互补的方法，克服了夜晚视觉停车位检测的困难，从而实现全天时的车位检测，为停车场语义地图增加停车位信息；
41.4、本发明的方法可以实现停车场的停车位分配、车辆行人三维检测跟踪及泊车路径规划导航等功能；
42.5、采用本发明的方法构建的语义地图方法既能提高检测精度，也能降低成本，且适应不同的环境需求。
附图说明
43.图1是本发明的基于全域感知的语义地图构建的整体示意图；
44.图2是基于全域感知的语义地图构建方法的流程图。
具体实施方式
45.本发明针对现有停车场智能程度的不足，主要提出一种基于全域感知的停车场语义构建方法，实现对车辆的车位分配与泊车导航。通过构建停车场语义地图，实现停车位检测、车辆行人等目标检测、跟踪、路径规划等功能，进而为自动驾驶汽车自主泊车，车位分配提供依据。图1为本发明提出的用于停车场区域下的基于全域感知的语义地图构建的整体示意图。由图1可知，智慧停车场感知系统的硬件部分包括激光雷达、相机和工控机等。
46.为了实现上述功能，本发明的步骤如下：
47.步骤1：停车位检测。基于图像的停车位检测模块能够实时进行车位检测，判断车位是否为占用或空闲状态。本发明采用基于先验停车位图像框与轻量级二分类网络结合与三维目标检测辅助的车位占用空闲分类方法。具体说来，即将停车位在图像中预先设定好，通过二分类网络识别车辆进入相应框中的状态，分为占用与空闲两种，三维目标检测模块检测得到车辆的三维框映射到图像的二维框与车位框求交并比，大于一定阈值识别为占用。将这两种判断信息结合起来，实现对停车位的高精度检测。
48.考虑到相机在夜晚或光照条件不好的情况下检测效果较差，而激光雷达对光线变化不敏感，因此可以融合图像和激光进行鲁棒的车位占用检测。通过使用预先获得的停车位先验信息，加上车位的占用与空闲具有不同的空间表示这一特征，则能够实现快速的车位空闲占用的判断，从而实现全天时的车位检测。
49.步骤2：停车场场端车辆行人三维目标检测。基于场端的检测相对于车端检测而言，具有视野开阔，遮挡少等特点，能够解决车端检测范围小，检测不足的问题。现有的自动驾驶汽车大多装备有相机与激光雷达，使用相机检测物体时，缺少距离信息且易受光照影响。而激光雷达虽然检测距离较远且能捕获位置信息，但是点云的无序和稀疏性又影响检测精度。本发明提出一种激光与相机融合的检测方法，将点云和rgb图像作为输入，数据预处理阶段将点云投影成与rgb图像同维度的深度图像，并通过注意力网络机制将两种信息融合，再将结果投影到原始点云中，进而弥补原始点云语义信息不足这一缺点。该检测方法充分利用了图像丰富的语义信息与点云的空间信息，提高整体检测精度的同时也提高了对小目标的检测精度。通过引入注意力机制将点云转换的距离图像与rgb图像融合，从而实现高精度，全天时的车辆行人三维目标检测。
50.步骤3：栅格地图构建。栅格地图具有构建简单且已保存等特点。通过构建栅格地图将停车场场端的车位信息，车辆行人信息表示出来，为自动驾驶汽车自动泊车提供依据。构建方法采用将三维检测框转换成二维鸟瞰图的形式，以二维检测框的长宽以及朝向生成栅格地图。栅格地图既具有跟踪目标检测可视化，又可以通过栅格地图的自身特性实现进一步的路径规划。
51.步骤4：车辆跟踪及路径规划。三维目标跟踪模块订阅检测框的输出信息进行相应的多目标跟踪，通过关联上一帧与当前帧的检测结果，为每个检测到的车辆赋予相应的id。采用基于特征关联的跟踪算法，相对于坐标相关的跟踪方法而言，能够匹配三维特征相似的检测框，获得更稳定的跟踪效果。根据跟踪模块发布的车辆id值实时为车辆安排空闲车位，一旦车位占用，相应停车位标记为占用状态。根据停车位检测结果，栅格地图以及车辆跟踪信息进行路径规划。
52.路径规划采用混合a*算法，与a*算法不同，混合a*考虑了物体运动的方向，更加适合自动驾驶汽车自主泊车的场景。
53.步骤5：语义地图的构建。通过以上模块获得的停车位的占用状态、车辆的实时位置、栅格地图、车辆的跟踪与路径规划构成停车场的语义地图。语义地图包含了几何和语义信息，即包括了整个停车场区域的整体空间信息，停车位的位置信息及占用情况、停车场区域的车辆行人实时位置信息、车辆的泊车路径信息，能够为车辆泊车提供充足的功能支持。
54.下面结合附图和实施例对本发明的技术方案进行详细的说明。
55.实施例1
56.如图2所示，本发明的实施例1提出了一种基于全域感知的智慧停车场语义地图构建方法，包括步骤如下：
57.步骤1：停车位检测：停车位状态的检测是智慧停车场重要的一部分，通过对停车位检测，能够获得整体车位的信息，能够对出入车辆进行车位分配，大大提高停车效率。车位检测模块实时进行车位检测，判断车位是否为占用或空闲状态，根据跟踪模块发布的车辆id值实时为车辆安排空闲车位，一旦车位占用，相应id则标记为占用状态。考虑到相机在
夜晚检测效果很差，夜晚或光照条件不好的情况下，使用激光雷达判断车位占用情况。本发明提出一种激光与相机融合的检测方法，将点云和rgb图像作为输入，数据预处理阶段将点云投影成与rgb图像同维度的深度图像，并通过注意力网络机制将两种信息融合，再将结果投影到原始点云中，进而弥补原始点云语义信息不足这一缺点。该检测方法充分利用了图像丰富的语义信息与点云的空间信息，提高整体检测精度的同时也提高了对小目标的检测精度。通过引入注意力机制将点云转换的距离图像与rgb图像融合，则能够实现快速的车位空闲占用的判断，从而实现全天时的车位检测。
58.步骤2：停车场场端三维目标检测：为了获得车辆行人的实时位置且生成栅格地图，需要对停车场整体区域进行目标感知。首先进行相机和激光雷达传感器之间的外参标定，以及相机内参的标定。通过标定获得的外参与内参矩阵，即可将激光雷达与相机融合进行三维目标检测。将点云和rgb图像作为输入，数据预处理阶段将点云投影成与rgb图像同维度的深度图像，并通过注意力网络机制将两种信息融合，再将结果投影到原始点云中，进而弥补原始点云语义信息不足这一缺点。该检测方法充分利用了图像丰富的语义信息与点云的空间信息，提高整体检测精度的同时也提高了对小目标的检测精度。通过引入注意力机制将点云转换的距离图像与rgb图像融合，从而实现高精度，全天时的车辆行人三维目标检测。相对于单纯的激光检测而言，对于形状类似的物体，融合检测算法能利用图像的像素信息区分出不同物体，相对于单一的相机检测，更具有空间信息的捕获能力，且能全天时、多角度进行检测。因此，点云与相机融合检测的算法比较适合停车场场景下对于车辆与行人的检测。
59.通过基于相机与激光融合的三维目标检测算法，生成检测目标的检测框和朝向。每一个检测框由(x,y,z,l,w,h,yaw)这七个元素构成，其中(x,y,z)代表检测框的中心，(l,w,h)代表长宽高，yaw代表检测物体的朝向角度。
60.步骤3：栅格地图构建：车辆的路径规划不仅需要获得车辆的实时位置信息，还需要获得停车场区域下的障碍物信息，而停车场区域的障碍物多为移动的车辆。通过获得三维目标检测模块发布的检测框，实时将三维检测框转换成二维鸟瞰图的形式，在此基础上以二维检测框的长宽以及朝向生成动态的栅格地图，能方便停车场区域的车辆进行路径规划。
61.步骤4:车辆跟踪及路径规划：三维目标跟踪模块获得检测框的输出信息进行相应的多目标跟踪，关联上一帧与当前帧的检测结果，为每个检测到的车辆赋予相应的id。采用基于特征关联的跟踪算法，相对于坐标相关的跟踪方法而言，能够匹配三维特征相似的检测框，获得更稳定的跟踪效果。再联合栅格地图模块生成的栅格地图与相应的停车位信息，为泊车车辆提供相应id值的停车位与停车路径。
62.步骤5：语义地图构建：将栅格地图与车位的先验信息以及停车位检测信息、车辆跟踪与路径规划信息统一起来构成动态的停车场语义地图。采用ros的rviz平台进行可视化，这种构建方法结构简单明了，生成的语义地图稳定且易保存，通过使用建立起来的动态停车场语义地图，实现车辆的自主泊车。通过使用本发明提出的语义地图构建方法能够在一定程度上解决现有的停车难，停车混乱等实际问题，解决自主泊车的“最后一公里”问题。
63.本发明提出的基于全域感知的停车场语义地图构建方法，通过感知系统对车辆实时检测，感知系统由激光雷达、相机构成。车辆的实时位置信息可以通过三维目标检测在语
义地图中呈现出来。现有的停车场的感知系统多是基于视觉检测，其容易受到天气和光照的影响，例如在雨天或者是夜晚的条件下，基于图像的检测效果相对白天、晴天大打折扣。而激光雷达具有不受光照的影响，对天气也较为不敏感。利用激光雷达与相机融合进行三维目标检测，能够克服单一传感器的不足，提高检测的精确度。
64.实施例2
65.本发明的实施例2提出了一种基于全域感知的智慧停车场语义地图构建系统，基于部署在停车场场端的激光雷达与相机实现，所述系统包括：数据接收模块、停车位检测模块、车辆行人检测模块、栅格地图构建模块、路径规划模块和语义地图构建模块；具体处理方法同实施例1。其中，
66.所述数据接收模块，用于接收相机和激光雷达分别获取的停车场各个区域的rgb图像和点云数据；
67.所述停车位检测模块，用于结合停车位的先验信息，根据rgb图像和点云数据进行停车位检测，得到停车位信息；
68.所述车辆行人检测模块，用于采用基于相机与激光融合的三维目标检测算法，根据rgb图像和点云数据，得到车辆位置信息和行人位置信息；
69.所述栅格地图构建模块，用于根据停车位信息和车辆位置信息构建栅格地图；
70.所述路径规划模块，用于根据停车位信息、车辆位置信息和行人位置信息，采用特征关联算法进行路径规划；
71.所述语义地图构建模块，用于根据栅格地图、停车位的先验信息以及停车位信息、车辆跟踪与路径规划信息，构成动态的停车场语义地图。
72.各部分模块通过ros话题的订阅发布实现信息传递，即原始传感器发布点云与图像话题，停车位检测模块订阅点云与图像的话题并通过停车位检测模块实时发布车位位置及占用情况的话题，车辆行人检测模块订阅点云与图像话题并发布三维检测框，通过订阅三维检测框话题，栅格地图构建模块发布栅格地图信息，路径规划模块通过订阅车位信息及栅格地图信息发布车辆的规划泊车路径话题，进而构成整体的停车场语义地图。
73.最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
技术特征：1.一种基于全域感知的智慧停车场语义地图构建方法，基于部署在停车场场端的激光雷达与相机实现，所述方法包括：步骤s1)接收相机和激光雷达分别获取的停车场各个区域的rgb图像和点云数据；步骤s2)结合停车位的先验信息，根据rgb图像和点云数据进行停车位检测，得到停车位信息；步骤s3)采用基于相机与激光融合的三维目标检测算法，根据rgb图像和点云数据，得到车辆位置信息和行人位置信息；步骤s4)根据停车位信息和车辆位置信息构建栅格地图；步骤s5)根据停车位信息、车辆位置信息和行人位置信息，采用特征关联算法进行路径规划；步骤s6)根据栅格地图、停车位的先验信息以及停车位信息、车辆跟踪与路径规划信息，构成动态的停车场语义地图。2.根据权利要求1所述的基于全域感知的智慧停车场语义地图构建方法，其特征在于，所述步骤s2)的停车位先验信息为点云坐标下每个停车位相对于感知设备之间的相对位置。3.根据权利要求2所述的基于全域感知的智慧停车场语义地图构建方法，其特征在于，所述步骤s2)包括：根据停车位的先验信息以及车位的占用与空闲具有不同空间表示的特征，在白天光照条件满足要求时，根据rgb图像，采用轻量级的二分类网络识别停车位框的占用情况；在夜晚光照条件不满足要求时，基于点云数据的三维目标检测及图像分类结果的融合，识别停车位框的占用情况。4.根据权利要求1所述的基于全域感知的智慧停车场语义地图构建方法，其特征在于，所述步骤s3)包括：对相机和激光雷达进行外参标定，对相机进行内参标定；通过标定获得的外参矩阵与内参矩阵，将点云投影为与rgb图像同维度的深度图像，并通过注意力网络机制将两种信息融合，再将结果投影到原始点云中；采用基于相机与激光融合的三维目标检测算法，生成停车场内每台车辆及行人的检测框和朝向；每一个检测框由(x,y,z,l,w,h,yaw)构成，其中(x,y,a)表示该检测框的中心，(l,w,h)表示该检测框的长宽高，yaw表示检测框的朝向角度，从而得到停车场范围内的车辆位置信息和行人位置信息。5.根据权利要求4所述的基于全域感知的智慧停车场语义地图构建方法，其特征在于，所述步骤s4)包括：将表征车辆位置信息和行人位置信息的三维检测框转换成二维鸟瞰图，以二维检测框的长宽以及朝向生成栅格地图。6.根据权利要求5所述的基于全域感知的智慧停车场语义地图构建方法，其特征在于，所述步骤s5)包括：对二维检测框的输出信息进行相应的多目标跟踪，通过关联上一帧与当前帧的检测结果，为每个检测到的车辆赋予相应的id值；采用基于特征关联的跟踪算法，根据车辆id值实时为进场车辆安排空闲车位，一旦车
位占用，相应停车位标记为占用状态，根据停车位信息，栅格地图以及车辆位置信息采用混合a*算法进行路径规划。7.根据权利要求5所述的基于全域感知的智慧停车场语义地图构建方法，其特征在于，所述步骤s6)的停车场语义地图包括：停车场区域的整体空间信息、停车位的位置信息及占用情况、停车场区域的车辆行人实时位置信息和车辆的泊车路径信息。8.根据权利要求5所述的基于全域感知的智慧停车场语义地图构建方法，其特征在于，所述方法还包括基于ros话题的订阅发布实现信息传递；具体包括：通过基于ros话题的订阅发布实现rgb图像和点云数据、停车位的位置信息及占用情况、车辆位置信息和行人位置信息、栅格地图以及车辆跟踪与路径规划信息的传递。9.一种基于全域感知的智慧停车场语义地图构建系统，基于部署在停车场场端的激光雷达与相机实现，其特征在于，所述系统包括：数据接收模块、停车位检测模块、车辆行人检测模块、栅格地图构建模块、路径规划模块和语义地图构建模块；其中，所述数据接收模块，用于接收相机和激光雷达分别获取的停车场各个区域的rgb图像和点云数据；所述停车位检测模块，用于结合停车位的先验信息，根据rgb图像和点云数据进行停车位检测，得到停车位信息；所述车辆行人检测模块，用于采用基于相机与激光融合的三维目标检测算法，根据rgb图像和点云数据，得到车辆位置信息和行人位置信息；所述栅格地图构建模块，用于根据停车位信息和车辆位置信息构建栅格地图；所述路径规划模块，用于根据停车位信息、车辆位置信息和行人位置信息，采用特征关联算法进行路径规划；所述语义地图构建模块，用于根据栅格地图、停车位的先验信息以及停车位信息、车辆跟踪与路径规划信息，构成动态的停车场语义地图。10.根据权利要求9所述的基于全域感知的智慧停车场语义地图构建系统，其特征在于，所述系统基于ros话题的订阅发布实现信息传递；具体包括：通过基于ros话题的订阅发布实现rgb图像和点云数据、停车位的位置信息及占用情况、车辆位置信息和行人位置信息、栅格地图以及车辆跟踪与路径规划信息的传递。
技术总结本发明提出了一种基于全域感知的智慧停车场语义地图构建方法及系统，基于部署在停车场场端的激光雷达与相机实现，该方法包括：接收相机和激光雷达分别获取的停车场各个区域的RGB图像和点云数据；结合停车位的先验信息，根据RGB图像和点云数据进行停车位检测，得到停车位信息；采用基于相机与激光融合的三维目标检测算法，根据RGB图像和点云数据，得到车辆位置信息和行人位置信息；根据停车位信息和车辆位置信息构建栅格地图；根据停车位信息、车辆位置信息和行人位置信息，采用特征关联算法进行路径规划；根据栅格地图、停车位的先验信息以及停车位信息、车辆跟踪与路径规划信息，构成动态的停车场语义地图。构成动态的停车场语义地图。构成动态的停车场语义地图。
技术研发人员：李骏 张新钰 王力 陈海峰 谢涛
受保护的技术使用者：清华大学
技术研发日：2022.07.14
技术公布日：2022/11/1
