本发明涉及智能驾驶环境感知相关,具体涉及一种泊车场景下的障碍物融合方法、系统、计算装置及车辆。
背景技术:
1、在智能驾驶环境下,渐渐出现了很多泊车辅助功能,例如:自动泊车辅助系统(auto parking assist,apa)、遥控泊车辅助(remote parking,assist)以及记忆泊车功能(home-zone parking assist,hpa)等。在智能驾驶领域,通过这些汽车辅助功能中的感知设备给后端的规划、决策模块等提供精度高、实时性强的感知信息,特别是障碍物信息,如行人、车辆在周围环境中的位置。
2、在现有技术中,对于障碍物建模,通常采用两种形式:一种是障碍物列表形式,另一种是栅格地图的形式。在不同的场景和规划模块中,所要求的障碍物建模形式不一样。例如hpa中,通过即时定位与地图构建(simultaneous localization and mapping,slam)技术来建立环境地图后,通常会采用障碍物列表形式来描述周围障碍物,并基于卡尔曼滤波框架,进行障碍物的跟踪融合,以便于适应自动绕障等功能。而在apa功能中,常使用栅格地图形式,基于贝叶斯滤波框架,通过多帧滤波模型,来对环境和障碍物进行建模。
3、此外,不同的传感器组合,其前端的感知算法和后端的融合框架,也会存在不同的感知框架。但是在泊车场景的障碍物融合过程中,大多存在运行效率不佳,成本较高,且融合的精度欠缺的不足之处。
技术实现思路
1、本发明所要解决的技术问题在于,提供一种泊车场景下的障碍物融合方法、系统、计算装置及车辆,通过对泊车场景中的障碍物融合的策略进行优化,从而提高融合过程的效率以及准确度。
2、为解决上述技术问题,作为本发明的一方面,提供一种泊车场景下的障碍物融合方法,其至少包括如下步骤:
3、根据车载超声雷达获得车身周围的超声障碍物点信息,基于所述超声障碍物点,生成超声栅格地图,所述超声栅格地图包括多个栅格,每一栅格对应超声分类信息,所述超声分类信息包括:空闲、占用及未知;
4、根据车载的多路鱼眼摄像头获取环视障碍物点信息,基于环视障碍物点,生成环视栅格地图,所述环视栅格地图包括多个栅格,每一栅格对应环视分类信息,所述环视分类信息包括:空闲、预设的各障碍物类型;
5、对所述超声栅格地图和环视栅格地图进行融合处理,形成全局栅格地图,根据对应的超声分类信息和环视分类信息,确定所述全局栅格地图中每一栅格的障碍物分类信息,所述障碍物分类信息包括:空闲、占用和各障碍物类型;
6、在所述全局栅格地图中选择目标泊车车位后,将根据环视障碍物点信息获得的行人信息和输入的车位信息添加到所述全局栅格地图中,所述车位信息至少包括:车位区域信息及可用状态信息。
7、其中,所述基于所述超声障碍物点,生成超声栅格地图,进一步包括:
8、建立局部和全局超声栅格地图,将其全部栅格的被占用的概率值设置统一为初始第一概率值,类别为未知;
9、根据预设置的逆传感器模型,将当前时刻传感器测量的环视障碍物点信息映射到车辆坐标系的局部超声栅格地图中,并确定局部超声栅格地图每一栅格的当前分类及更新概率;
10、根据车辆当前位置信息,将局部超声栅格地图,投影到全局超声栅格地图中;
11、将局部栅格地图和全局地图重合的区域,根据局部超声栅格地图每一栅格的当前分类及更新概率,以及全局超声栅格地图中相应栅格的历史累积概率,对全局栅格地图进行迭代更新,确定全局超声栅格地图中相应栅格的最新累积概率;
12、将每一栅格的最新累积概率与每一超声分类信息对应的判定阈值进行比较,更新全局超声栅格地图中每一栅格的超声分类信息。
13、其中,所述根据预设置的逆传感器模型,将当前时刻传感器测量的超声障碍物点信息映射到以本车位置为原点的局部超声栅格地图中,并确定局部超声栅格地图每一栅格的当前分类及更新概率,具体为:
14、在局部超声栅格地图中,根据超声障碍物点与车辆坐标系统原点的距离值,与当前栅格和障碍物点同一角度的距离值、障碍物点尺寸之间的关系,确定局部超声栅格地图每一栅格的当前分类及更新概率,其中,每一分类对应有一预设置的更新概率。
15、其中,所述将局部栅格地图和全局地图重合的区域,根据局部超声栅格地图每一栅格的当前分类及更新概率,以及全局超声栅格地图中相应栅格的历史累积概率,对全局栅格地图进行迭代更新,确定全局超声栅格地图中相应栅格的最新累积概率;具体为:
16、根据下式求取全局超声栅格地图中相应栅格mi的最新累积概率的对数:
17、l(mi|z1:t,x1:t)=l(mi|zt,xt)+l(mi|z1:t-1,x1:t-1)-l(mi)
18、其中,l(mi|z1:t,x1:t)为栅格mi最新累积概率的对数;l(mi|zt,xt)为栅格mi在当前t时刻在局部栅格地图中的更新概率的对数;l(mi|z1:t-1,x1:t-1)为栅格mi从开始至t-1时刻的历史累积概率的对数;l(mi)为栅格mi的初始第一概率值的对数;
19、根据正式计算获得各栅格的最新累积概率:
20、
21、其中,基于环视障碍物点,生成环视栅格地图,进一步包括:
22、建立局部和全局环视栅格地图,将其全部栅格的被占用的概率值设置统一为初始第二概率值,类别为空闲;
23、确定局部环视栅格地图中感兴趣区域,获取所述感兴趣区域中的环视障碍物点信息,每一环视障碍物点包括:其到车辆坐标系原点的距离值、当前点的障碍物类型;
24、根据预设置的逆传感器模型,将当前时刻所述感兴趣区域中的环视障碍物点信息映射到车辆坐标系的局部环视栅格地图中,并更新局部环视栅格地图每一栅格的当前分类及更新概率;
25、根据车辆当前位置信息,将局部环视栅格地图,投影到全局环视栅格地图中;
26、将局部栅格地图和全局地图重合的区域,根据局部环视栅格地图每一栅格的当前分类及更新概率,以及全局环视栅格地图中相应栅格的历史累积概率,对全局栅格地图进行迭代更新,确定全局环视栅格地图中相应栅格的最新累积概率;
27、将每一栅格的最新累积概率与每一环视分类信息对应的判定阈值进行比较,更新全局环视栅格地图中每一栅格的环视分类信息。
28、其中,所述根据预设置的逆传感器模型,将当前时刻所述感兴趣区域中的环视障碍物点信息映射到车辆坐标系的局部环视栅格地图中,并更新局部环视栅格地图每一栅格的当前分类及更新概率,具体为:
29、在局部环视栅格地图中,根据环视障碍物点的障碍物类型更新局部环视栅格地图中对应栅格的当前分类及更新概率,其中,每一分类对应有一预设置的更新概率。
30、其中,对所述超声栅格地图和环视栅格地图进行融合处理,形成全局栅格地图,根据对应的超声分类信息和环视分类信息,确定所述全局栅格地图中每一栅格的障碍物分类信息,进一步包括:
31、建立全局栅格地图;
32、以下述方式根据超声全局栅格地图中的超声分类信息和环视全局栅格地图中的环视分类信息确定所述全局栅格地图中每一栅格的障碍物分类信息:
33、当一栅格所对应的超声分类信息为占用时,如果其对应的环视分类信息为空闲,则将其障碍物分类信息确定为占用;如果其对应的环视分类信息为一障碍物类型,则将其障碍物分类信息确定为所述障碍物类型;
34、当一栅格所对应的超声分类信息为空闲时,则将其障碍物分类信息直接确定为空闲;
35、当一栅格所对应的超声分类信息为未知时,则将其障碍物分类信息直接确定为当前的环视分类信息。
36、其中,进一步包括:
37、在所述局部环视栅格地图中,对行人类别的障碍点进行聚类,并基于卡尔曼滤波,持续在车辆坐标系中进行跟踪,获得动态行人目标列表。
38、其中,在所述全局栅格地图中选择目标泊车车位后,将根据环视障碍物点信息获得的行人信息和输入的车位信息加入到所述全局栅格地图中,进一步包括:
39、对于可用的车位,在全局栅格地图中对应区域设置类型属性为空闲;如果车位区域中包含挡轮杆,根据挡轮杆的位置,将车位挡轮杆位置到车位尾部的区域设置为占用;
40、遍历所述动态行人目标列表,将选择车位时刻的行人的位置投影到全局栅格地图中,设置类别属性为行人;计算每个行人的历史轨迹,判断在当前全局栅格地图中是否和障碍物有重合,如果有重合,去除重合区域的障碍物区域。
41、其中,进一步包括:
42、将目标车位两侧的障碍物分别拟合成一个平行四边的障碍物区域,平行四边行的角度和车位角度相适应;
43、在判断到目标车位的车位类型为常规尺寸车位时,将目标车位左右两侧的障碍物尺寸以第一比例进行膨胀处理;
44、在车辆前方探测到的障碍物为墙时,将车头前方的路设置为不可通行区域;在车辆前方探测到的障碍物为其他障碍物时,将车辆前的障碍物尺寸以第二比例进行膨胀处理,所述第二比例大于第一比例;
45、在泊车过程,根据实时获得的超声障碍物点信息和环视障碍物点信息,更新当前全局栅格地图。
46、相应地,本发明的另一方面,还提供一种泊车场景下的障碍物融合系统,用于实现前述的方法,其至少包括:
47、超声障碍物点信息获取单元,用于根据车载超声雷达获得车身周围的超声障碍物点信息;
48、超声栅格地图生成单元,用于基于所述超声障碍物点,生成超声栅格地图,所述超声栅格地图包括多个栅格,每一栅格对应超声分类信息,所述超声分类信息包括:空闲、占用及未知;
49、环视障碍物点信息获取单元,用于根据车载的多路鱼眼摄像头获取环视障碍物点信息;
50、环视栅格地图生成单元,用于基于所述环视障碍物点,生成环视栅格地图,所述环视栅格地图包括多个栅格,每一栅格对应环视分类信息,所述环视分类信息包括:空闲、预设的各障碍物类型;
51、全局栅格地图融合单元,用于对所述超声栅格地图和环视栅格地图进行融合处理,形成全局栅格地图,根据对应的超声分类信息和环视分类信息,确定所述全局栅格地图中每一栅格的障碍物分类信息,所述障碍物分类信息包括:空闲、占用和各障碍物类型;
52、更新处理单元,用于在所述全局栅格地图中选择目标泊车车位后,将根据环视障碍物点信息获得的行人信息和输入的车位信息加入到所述全局栅格地图中,所述车位信息至少包括:车位区域信息及可用状态信息。
53、其中,进一步包括:分析处理单元,用于在所述局部环视栅格地图中,对行人类别的障碍点进行聚类,并基于卡尔曼滤波,持续在车辆坐标系中进行跟踪,获得动态行人目标列表。
54、其中,进一步包括:
55、泊车限制处理单元,用于在所述全局栅格地图中选定待泊车的目标车位,对目标车位区域大小进行限制处理,形成用于泊车的全局地图,并在泊车过程中对所述全局地图进行实时更新;
56、所述泊车限制处理单元进一步包括:
57、拟合处理单元,用于将目标车位两侧的障碍物分别拟合成一个平行四边的障碍物区域,平行四边行的角度和车位角度相适应;
58、两侧障碍限制单元,用于在判断到目标车位的车位类型为常规车位时,将目标车位左右两侧的障碍物尺寸以第一比例进行膨胀处理;
59、车前障碍限制单元,用于在车辆前方探测到的障碍物为墙时,将车头前方的路设置为不可通行区域;在车辆前方探测到的障碍物为其他障碍物时,将车辆前的障碍物尺寸以第二比例进行膨胀处理,所述第二比例大于第一比例;
60、更新处理单元,用于在泊车过程,根据实时获得的超声障碍物点信息和环视障碍物点信息,更新当前全局栅格地图。
61、本发明的再一方面,还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如前述的方法的步骤。
62、本发明的又一方面,还提供一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如前述方法的步骤。
63、本发明的另一方面,还提供一种车辆,其上至少设置有自动泊入规划装置,在所述自动泊入规划装置中部署有如前述的泊车场景下的障碍物融合系统。
64、实施本发明实施例,具有如下的有益效果:
65、本发明提供了一种泊车场景下的障碍物融合方法、系统、计算装置及车辆,通过基于超声波雷达的障碍物点构建超声栅格地图,基于环视摄像头提供的语义分割障碍物点,构建环视栅格地图。根据预先设定的障碍物属性融合表,将环视栅格地图和超声栅格地图进行融合。同时,将车位信息和动态行人信息融合到最终障碍物地图中,为规划模块提供可靠的环境地图,提高了障碍物融合的效率以及准确度;
66、在本发明的环视栅格地图的构建过程中,将具体的障碍物类型信息应用于贝叶斯滤波建图过程中,可以提高边缘的准确性,避免现有技术中,一些障碍物边缘信息因环视障碍物点距离值波动而被过滤掉的不足;
67、通过将融合可泊车位信息添加到最终的全局地图中,可以修正车位附近的超声波误报区域。
68、对行人进行单独跟踪,并根据轨迹修正地图障碍物信息,提高了地图中行人区域的准确性。
69、车辆泊入阶段,在选择目标车位后,通过对车位左右两侧区域进行针对性的限制,同时对特殊场景进行优化(如狭窄车位和车辆前方被挡情况),可以提高泊车过程中的安全性。
70、本发明针对中低算力平台,基于超声波雷达和环视摄像头的传感器信息,自动泊车功能对感知需求进行优化,从而提高算法的实用性和运行效率,能适用于国内大多数的泊车场景。
1.一种泊车场景下的障碍物融合方法,其特征在于,至少包括如下步骤:
2.如权利要求1所述的方法,其特征在于,所述基于所述超声障碍物点信息,生成超声栅格地图,进一步包括:
3.如权利要求2所述的方法,其特征在于,所述根据预设置的逆传感器模型,将当前时刻传感器测量的超声障碍物点信息映射到以本车位置为原点的局部超声栅格地图中,并确定局部超声栅格地图每一栅格的当前分类及更新概率,具体为:
4.如权利要求3所述的方法,其特征在于,所述将局部栅格地图和全局地图重合的区域,根据局部超声栅格地图每一栅格的当前分类及更新概率,以及全局超声栅格地图中相应栅格的历史累积概率,对全局栅格地图进行迭代更新,确定全局超声栅格地图中相应栅格的最新累积概率,进一步包括:
5.如权利要求1至4任一项所述的方法,其特征在于,基于环视障碍物点信息,生成环视栅格地图,进一步包括:
6.如权利要求5所述的方法,其特征在于,所述根据预设置的逆传感器模型,将当前时刻所述感兴趣区域中的环视障碍物点信息映射到车辆坐标系的局部环视栅格地图中,并更新局部环视栅格地图每一栅格的当前分类及更新概率,具体为:
7.如权利要求6所述的方法,其特征在于,对所述超声栅格地图和环视栅格地图进行融合处理,形成全局栅格地图,根据对应的超声分类信息和环视分类信息,确定所述全局栅格地图中每一栅格的障碍物分类信息,进一步包括:
8.如权利要求7所述的方法,其特征在于,进一步包括:
9.如权利要求8所述的方法,其特征在于,在所述全局栅格地图中选择目标泊车车位后,将根据环视障碍物点信息获得的行人信息和输入的车位信息加入到所述全局栅格地图中,进一步包括:
10.如权利要求9所述的方法,其特征在于,所述进行泊车区域限制,进一步包括:
11.一种泊车场景下的障碍物融合系统,用于实现如权利要求1至10任一项所述的方法,其特征在于,至少包括:
12.如权利要求11所述的系统,其特征在于,进一步包括:
13.如权利要求11或12所述的系统,其特征在于,进一步包括:
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至11中任一项所述的方法的步骤。
15.一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至10中任一项所述方法的步骤。
16.一种车辆,其上至少设置有自动泊入规划装置,在所述自动泊入规划装置中部署有如权利要求11至13中任一项所述的泊车场景下的障碍物融合系统。