用于多个相机同步触发的方法和装置与流程

专利2026-02-28  12


本申请通常涉及辅助驾驶和自动驾驶控制系统,更具体地,涉及辅助驾驶和自动驾驶控制系统中的多个传感器(例如,相机、雷达)的时间同步。


背景技术:

1、高级辅助驾驶和自动驾驶技术涉及环境感知、规划决策、辅助驾驶等各种功能。高级辅助驾驶和自动驾驶技术需要通过多个传感器(例如,多个摄像头、毫米波雷达、超声波雷达、激光雷达等设备)对周围环境的信息进行感测,将感测数据传送到处理器进行数据处理,用于图像识别、视觉同步定位和三维环境重建、识别障碍物、可行路径等,并依据识别结果来规划路线、制定行驶速度、自动控制行驶等。

2、为了感知环境,期望多个相机同步地采集图像,进行图像识别、实时分析图像,并且将图像分析的结果与雷达感测数据进行融合,有助于提高环境感知能力,以便进行定位、路径规划、无线通讯、对碰撞前和碰撞后的警告、获得近乎实时的路况、盲点警告、提升能见度,从而实现驾驶过程的自动化和安全决策等等。

3、如果多个相机异步地采集图像,或者相机与雷达的时间不同步,则可能无法实现多个传感器的正确融合,尤其是可能会造成自动驾驶控制系统的决策失误,引发事故。

4、现有技术中,为了有助于触发多个相机同步地采集图像,主要有如下两种方法。第一种是软件控制方法,其通过软件来控制多个相机采集图像,通过相机api调用相机并获取图像,并且从操作系统获取api调用时间。这种基于相机api的软触发的缺点是:由于相机触发动作是由软件控制的,软件只知道相机api调用时间,无法估计相机api调用时间与实际触发相机快门的时延,所以无法获取实际触发相机快门拍摄图像的真正时间。第二种方法是硬件控制方法,例如,通过raspberry pi来控制多个相机采集图像,raspberry pi通过翻转电平来控制相机触发电缆,并记录触发相机快门拍摄的时间。其缺点是:raspberry pi本身不是实时操作系统,其记录的图片拍摄时间始终有延迟。

5、因此,期望进一步改善多个相机快门之间的同步,以及相机与雷达的时间同步,从而更好地实现多个传感器的融合,提高自动驾驶系统的操作性能,改善用户体验。


技术实现思路

1、提供下面的简介是为了以简单的形式介绍选择的一些概念,在后面的详细说明中会进一步描述这些概念。该简介不是想要突出所要求保护主题的关键特征或必要特征,也不是想要限制所要求保护主题的范围。

2、根据本申请的一个方面,提供了一种用于时间同步的装置,包括:单片机,被配置为:获得来自基准时钟源的精准时间,校准所述单片机的时钟,同步地触发多个相机采集图像,同时记录触发时间,以及发送所述触发时间;处理器,被配置为:接收来自所述单片机的所述触发时间,接收所述多个相机采集的图像,将所述触发时间与所述多个相机在所述触发时间采集的图像进行关联。

3、根据本申请的一个方面,提供了一种用于时间同步的系统,包括:基准时钟源,被配置为提供精准时间;多个传感器,包括用于采集图像的多个相机;以及根据本申请的上述方面描述的用于时间同步的装置。

4、根据本申请的一个方面,提供了一种时间同步的方法,包括:由单片机接收来自基准时钟源的精准时间以便校准所述单片机的时钟;利用所述单片机同步地触发多个相机采集图像并同时记录触发时间;以及,将所述触发时间与所述多个相机在所述触发时间采集的所述图像进行关联。

5、根据本申请的一个方面,提供了一种用于多个相机同步采集图像的装置,包括:计时器模块,被配置为设置关于时间同步周期的计时器;获得精准时间模块,被配置为从基准时钟源获取精准时间,以便校准所述装置的时钟;相机硬触发模块,被配置为控制单片机的引脚电平周期性地翻转,在所述引脚电平的翻转边沿触发多个相机的快门抓取图像;时间戳记录模块,被配置为根据校准后的所述时钟来记录所述引脚电平的翻转的时间戳;发送模块,被配置为发送所述引脚电平的翻转的时间戳。

6、根据本申请的一个方面,提供了一种用于时间同步的装置,包括:一个或多个处理器;以及存储器,其存储处理器可执行指令,所述处理器可执行指令当被所述一个或多个处理器执行时使得所述一个或多个处理器执行本申请的各个实施例描述的时间同步的方法。

7、根据本申请的一个方面,提供了一种机器可读存储介质,其存储有处理器可执行指令,所述处理器可执行指令当被执行时使得一个或多个处理器执行本申请的各个实施例描述的时间同步的方法。

8、根据本申请的一个方面,提供了一种计算机程序产品,其包括处理器可执行指令,所述处理器可执行指令当被一个或多个处理器执行时使得所述一个或多个处理器执行本申请的各个实施例描述的时间同步的方法。

9、与基于相机api的软触发相比,本申请的方案直接控制相机的快门并且实时获得触发快门拍摄的时间。与基于诸如raspberry pi等非实时操作系统的硬触发相比,本申请采用的单片机(优选地,arduino)是一种实时操作系统,其定时中断反应快,能够始终实时同步地触发相机以确保触发时间戳的准确性。因此,本申请能够实现以精准时钟来同步地触发多个相机采集图像,并且相机与雷达的时间同步,从而更好地实现多个传感器感测结果的正确融合,提高自动驾驶系统的操作性能,改善用户体验,并且成本较低。



技术特征:

1.一种用于时间同步的装置,包括:

2.根据权利要求1所述的装置,其中,所述单片机同步地触发所述多个相机采集图像包括:控制所述单片机的引脚的电平周期性地翻转,在所述电平的翻转边沿同步地触发所述多个相机采集图像。

3.根据权利要求2所述的装置,其中,所述翻转边沿包括上升沿、或下降沿、或两者。

4.根据权利要求1所述的装置,其中,被配置为将所述触发时间与所述多个相机在所述触发时间采集的图像进行关联的所述处理器被进一步配置为:

5.根据权利要求1所述的装置,其中,所述基准时钟源包括卫星时钟、网络时间协议(ntp)服务器、原子钟、天文台时钟以及互联网时钟,所述精准时间包括协调世界时(utc)。

6.根据权利要求1所述的装置,其中,所述单片机包括以下各项中的一项:微控制单元(mcu)、片上系统(soc)、现场可编程门阵列(fpga)、专用集成电路(asic)、arduino。

7.一种用于时间同步的系统,包括:

8.根据权利要求7所述的系统,其中,所述多个传感器还包括多个雷达,所述多个雷达包括毫米波雷达、超声波雷达、激光雷达。

9.根据权利要求8所述的系统,其中,所述多个雷达接收所述精准时间,以校准所述多个雷达的时钟。

10.一种用于时间同步的方法,包括:

11.根据权利要求10所述的方法,其中,所述利用所述单片机同步地触发多个相机采集图像包括:

12.根据权利要求11所述的方法,其中,所述翻转边沿包括上升沿、或下降沿、或两者。

13.根据权利要求10所述的方法,其中,将所述触发时间与所述多个相机在所述触发时间采集的所述图像进行关联包括:

14.根据权利要求10所述的方法,其中,所述基准时钟源包括卫星时钟、网络时间协议(ntp)服务器、原子钟、天文台时钟以及互联网时钟,所述精准时间包括协调世界时(utc)。

15.根据权利要求10所述的方法,其中,所述单片机包括以下各项中的一项:微控制单元(mcu)、片上系统(soc)、现场可编程门阵列(fpga)、专用集成电路(asic)、arduino。

16.根据权利要求10所述的方法,还包括:由多个雷达接收所述精准时间,以校准所述多个雷达的时钟。

17.一种用于多个相机同步采集图像的装置,包括:

18.根据权利要求17所述的装置,其中,所述基准时钟源包括卫星时钟、网络时间协议(ntp)服务器、原子钟、天文台时钟以及互联网时钟,所述精准时间包括协调世界时(utc)。

19.根据权利要求17所述的装置,其中,所述获得精准时间模块被进一步配置为:按照所述计时器的时间同步周期定期地向所述基准时钟源发送所述同步请求,从所述基准时钟源获取精准时间。

20.根据权利要求17所述的装置,其中,所述翻转边沿包括上升沿、或下降沿、或两者。

21.一种用于多个相机同步采集图像的装置,包括:

22.一种机器可读存储介质,其存储有处理器可执行指令,所述处理器可执行指令当被一个或多个处理器执行时使得所述一个或多个处理器执行根据权利要求10到16中任一项所述的方法。

23.一种计算机程序产品,其包括处理器可执行指令,所述处理器可执行指令当被一个或多个处理器执行时使得所述一个或多个处理器执行根据权利要求10到16中任一项所述的方法。


技术总结
本申请涉及一种用于时间同步的装置,包括:单片机,被配置为:获得基准时钟源的精准时间来校准所述单片机的时钟,同步地触发多个相机采集图像,同时记录触发时间,以及发送所述触发时间;处理器,被配置为:接收来自所述单片机的所述触发时间,接收所述多个相机采集的图像,将所述触发时间与所述多个相机在所述触发时间采集的图像进行关联。

技术研发人员:赵泽中,卜宏杰
受保护的技术使用者:罗伯特·博世有限公司
技术研发日:
技术公布日:2024/11/11
转载请注明原文地址: https://tieba.8miu.com/read-20364.html

最新回复(0)