1.本发明涉及一种用于光电吊舱的毫秒级数据同步装置及方法，适用于光电吊舱内的设备时间同步。
背景技术：2.光电吊舱也称为光电转塔，是一种在有人、无人飞行器、车辆或舰艇等多种载体上的视觉稳定硬件系统，通常通过陀螺仪、惯性导航器件等传感器感知视轴位姿变化，并通过伺服电机、音圈快反镜等控制器实现视轴稳定与精确指向，可搭载可见光摄像机、红外热成像仪、激光测距仪、激光雷达、合成孔径雷达等多种光电载荷，实现目标跟踪/识别、拍照取证、精确定位、测速测向、广域搜索、态势感知等多种高精度、智能化功能，在军事侦察、安防巡检、资源勘探等方面具备广泛应用。
3.光电吊舱中采用的传感器按照功能，可分为成像载荷与运动传感器两类。通常从典型信号采集频率方面来看，运动传感器在100hz～1000hz之间，高于成像载荷的25hz～60hz；而从单次采集的数据量来看，运动传感器每周期数据量在几字节到几十字节之间，远低于成像载荷每周期数据量的几百万到几千万字节。信号采集频率的差异造成采集到运动传感器的位姿数据与成像载荷的图像数据间无法严格匹配；而数据量的差异给成像载荷的图像数据采集带来远高于运动传感器的位姿数据的延迟，进而放大不同传感器间数据的时间误差，共同导致从数据中提取的时间与空间测量信息与真实数值之间出现显著差异，在对精度具有较高要求的功能与场景下无法满足使用需求。
技术实现要素：4.本发明要解决的技术问题是：克服现有技术的不足，解决了光电吊舱内不同设备间的高精度时间同步问题。
5.本发明目的通过以下技术方案予以实现：
6.一种用于光电吊舱的毫秒级数据同步装置，包括时钟同步模块、传感器模块、信息处理模块；
7.传感器模块包括外同步触发成像传感器、非成像传感器；
8.时钟同步模块利用卫星导航系统授时秒脉冲修正内建时钟，还用于触发外同步触发成像传感器，并向外同步触发成像传感器发送同步信息；还用于触发非成像传感器，并向非成像传感器发送时间信息，采集非成像传感器的数据并记录采集时间，并将采集的数据和时间发送给信息处理模块；
9.外同步触发成像传感器将采集的数据和同步信息发送给信息处理模块；
10.信息处理模块利用非成像传感器的采集时间和外同步触发成像传感器的同步信息，对外同步触发成像传感器和非成像传感器的数据进行同步。
11.优选的，所述非成像传感器的数据采集频率远高于外同步触发成像传感器的数据采集频率。
12.优选的，所述非成像传感器为运动传感器。
13.优选的，所述外同步触发成像传感器包括可见光摄像机和或红外热成像仪。
14.优选的，所述时钟同步模块，根据外同步触发成像传感器的成像频率定时将天毫秒数据、曝光触发脉冲信号发送至外同步触发成像传感器。
15.优选的，所述时钟同步模块，根据非成像传感器预设的数据采集频率定时将天毫秒数据、数据采集触发脉冲信号发送至非成像传感器。
16.优选的，所述外同步触发成像传感器采用天毫秒数据为同步码。
17.优选的，所述同步码中，还设有校验位，且同步码位于外同步触发成像传感器采集数据结果的固定位置。
18.一种用于光电吊舱的毫秒级数据同步方法，包括：
19.时钟同步模块利用卫星导航系统授时秒脉冲修正内建时钟；
20.时钟同步模块触发外同步触发成像传感器，并向外同步触发成像传感器发送同步信息；
21.时钟同步模块触发非成像传感器，并向非成像传感器发送同步信息；采集非成像传感器的数据并记录采集时间，发送给信息处理模块；
22.外同步触发成像传感器根据触发信号将采集的数据和同步信息发送给信息处理模块；
23.信息处理模块利用非成像传感器的采集时间和外同步触发成像传感器的同步信息，对外同步触发成像传感器和非成像传感器的数据进行同步。
24.优选的，所述时钟同步模块，根据外同步触发成像传感器的成像频率定时将曝光触发脉冲信号，以及该脉冲信号对应的时间同步码发送给外同步触发成像传感器。
25.本发明相比于现有技术具有如下有益效果：
26.(1)本发明提出的高精度毫秒级同步触发方法，把成像载荷与运动传感器进行数据信号采集的时间差异从不可测量约束至毫秒级，有效降低多传感器间信息数据融合误差，充分满足光电吊舱对远距离目标定位、运动目标测速测向等高精度功能的使用需求；
27.(2)本发明不仅在系统内部实现时间同步，同时引入gnss授时秒脉冲，实现系统内部时间基准与全球定位系统的时间同步，可兼容独立运行与联网授时运行环境，有效提高本发明应用的灵活性；
28.(3)本发明中可见光摄像机、红外热成像仪等多种成像载荷采用外同步触发曝光技术，通过本发明系统内部时钟信号以毫秒级精度同时启动图像曝光，消除不同成像载荷对于运动场景与运动目标的成像偏差；
29.(4)本发明提出的天毫秒在图像中的同步码表达方法，兼容支持从有损压缩、无损压缩或非压缩方式保存的图像中提取成像时刻的gnss天毫秒，具备抗扰动、自纠错特点，可实现离线数据毫秒级时间同步，并以此为基础进行高精度数据处理。
附图说明
30.图1为本发明数据同步装置的示例性实施方式组成框图；
31.图2为本发明中可见光图像叠加同步码验证图；
32.图3为本发明中红外图像叠加同步码验证图。
具体实施方式
33.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步详细描述。
34.一种用于光电吊舱的毫秒级数据同步装置及方法(以下简称为“数据同步装置”与“数据同步方法”)，数据同步装置包括时钟同步模块、运动传感器模块、成像载荷模块、信息处理模块。
35.其中，时钟同步模块包含gnss(global navigation satellite system，全球导航卫星系统)授时定位设备，典型如gps接收机、北斗接收机等，还包括时钟信号处理器；运动传感器模块包含位姿传感器(如陀螺仪、加速度计、惯性导航器件等)；成像载荷模块包含用于生成二维图像数据的成像传感器(如可见光摄像机、红外热成像仪等)，硬件设计采用外触发曝光与全局曝光设计；信息处理模块包含图像处理器与控制处理器等。
36.时钟同步模块利用gnss授时秒脉冲修正内建时钟，以毫秒级精度触发成像载荷模块(即外同步触发成像传感器)的外同步曝光，成像载荷模块将曝光时间以满足表1规定的形式叠加在图像数据中输出至信息处理模块；以毫秒级精度触发运动传感器模块(即非成像传感器)的数据采集，运动传感器模块将数据采集时间与传感器数据一同输出至信息处理模块，信息处理模块在线缓存数据队列，提取同步信息并对齐数据以实现在线时钟同步，存储或传输的压缩视频或图像数据同样可提取同步信息并对齐数据以实现离线时钟同步。
37.更具体的：
38.时钟同步模块利用gnss授时秒脉冲修正内建时钟；
39.时钟同步模块以毫秒级精度触发成像载荷模块的外同步曝光，成像载荷模块将曝光时间以满足表1规定的形式叠加在图像数据中输出至信息处理模块；
40.时钟同步模块以毫秒级精度触发运动传感器模块的数据采集，运动传感器模块将数据采集时间与传感器数据一同输出至信息处理模块；
41.信息处理模块在线缓存数据队列，并在进行处理前根据时间信息对齐数据以实现时钟同步。
42.如图1所示，数据同步装置包括时钟同步模块、运动传感器模块、成像载荷模块、信息处理模块。
43.图1中，时钟同步模块包含gnss授时定位设备(如gps接收机、北斗接收机等)与时钟信号处理器；运动传感器模块包含位姿传感器(如陀螺仪、加速度计、惯性导航器件等)；成像载荷模块包含用于生成二维图像数据的成像传感器(如可见光摄像机、红外热成像仪等)，硬件设计采用外触发曝光与全局曝光设计；信息处理模块包含图像处理器与控制处理器等。
44.图1中，关于信号连接关系，双线连接线表示装置接收外部提供的gnss信号，点连接线表示发送至装置外部的运动控制信号，细实线连接线表示时间同步相关的秒脉冲信号、曝光触发信号与同步码数据信号，虚线连接线表示位姿数据信号或位姿数据与同步码的组合数据信号，粗实线连接线表示叠加同步码的图像信号数据。
45.时钟同步模块包含gnss授时定位设备与时钟信号处理器，其中时钟信号处理器内建微秒级时钟源，gnss授时定位设备接收全球卫星导航天授时信号，提供误差为
±
20ns(nano-second，纳秒)、频率为1hz(hertz，赫兹)的秒脉冲信号，定时修正内建时钟源，使其
definition serial digital interface，高清数字分量串行接口)接口采用smpte292m协议，强制将8位数据表示的0～255抑制为16～240)，简单以天毫秒数据代替图像像素数据会造成天毫秒数据无法正常恢复，需对32位天毫秒数据进行预定规则编码以防止数据受损；
56.第三种情况，在图像电信号传输过程存在不同程度电噪声，会对图像信号产生随机扰动，造成位翻转等问题，因此需要额外数据对32位天毫秒数据进行校验，以判断数据是否受损；
57.第四种情况，在图像信号转为数据后，保存时采用的视频、图像编码压缩算法通常为有损压缩，经解码后图像数据与原始数据不同，需采取足够鲁棒的编码规则以加强天毫秒数据的可恢复性。
58.因此在本发明中提出了一种天毫秒在图像中的同步码表达技术，兼容支持从有损压缩、无损压缩或非压缩方式保存的图像中提取成像时刻的gnss天毫秒，具备抗扰动、自纠错特点，可实现离线数据毫秒级时间同步，并以此为基础进行高精度数据处理。设计以下四种约束以保证同步码的可恢复性：
59.第一，以32位天毫秒为基础，新增8位校验，扩展为40位“同步码”，避免无法判别因图像信号不稳定、传输过程电噪声等因素造成的数据受损；
60.第二，“同步码”填充图像右上角重复两行，用于解析时校验，加强数据检验能力；
61.第三，以图像中8位数据空间表达“同步码”中1位，即40位“同步码”采用320位即40个8位像素表达，极大加强数据冗余能力。约定以横向像素数记为w，例如对于1920
×
1080分辨率的、8位像素的图像，横向像素数为1920个，因此w为1920；约定像素序号w-n表示倒数第n+1个像素，例如w-0或w表示倒数第一个像素，w-39表示倒数第四十个像素。约定填充数据规则为，“同步码”中某位为1则用8位均为1的像素数据(即十进制表示的255或十六进制表示的0xff)表达，某位为0则用8位均为0的像素数据(即0)表达，即使图像数据经过有损压缩、噪声影响与接口协议约束，依然可根据像素与中间值的距离实现纠错，见公式(2)；
62.表1
[0063][0064]
b(x)＝0(x《128时)或1(x≥128时)
ꢀꢀꢀꢀꢀꢀꢀ
(2)
[0065]
其中，b为一位，x为叠加在图像数据中的“同步码”中一个8位像素。
[0066]
第四，约定对于8位单通道灰度图像，像素按照“同步码”的对应位填充255或0；约定对于8位三通道rgb图像，像素对应三个通道均按照“同步码”的对应位填充255或0相同值；约定对于8为三通道yuv图像，y分量按照“同步码”的对应位填充255或0，u与v分量均填充128。
[0067]
通过以上四种约束，形成如图2所示可见光图像与图3所示红外图像中同步码的像素数据表达，图2中心部分与图3中心部分均为图像右上角叠加同步码的放大表示。
[0068]
信息处理模块可以对图像数据进行编码压缩用于实时远距离传输或存储，常用的压缩算法包括对于视频的h.264(以标准命名的视频压缩算法或标准，又被称为avc即advanced video coding，高级视频编码)压缩编码以及对于照片的jpeg(joint photographic experts group，联合图像专家组)压缩编码；
[0069]
其中，根据itu(international telecommunication union，国际电信联盟)标准建议书《rec itu-t h.264(06/2019)》，视频压缩h.264算法标准规定允许在nalu(network abstraction layer unit，网络抽象层单元)类型为6即sei(supplemental enhancement information，补充增强信息单元)或22、23即rev(reserved，保留单元)位置叠加自定义段用于存放自定义信息且不会影响商业视频播放软件对于视频文件的播放，因此可保存位姿数据在上述任意nalu(记为“h.264编码约定字段”)，在解码流程前从h.264编码约定字段提取位姿天毫秒，在解码流程后按照表1规定从图像中恢复图像天毫秒，可实现离线图像数据与位姿数据进行毫秒级时间同步，并以此为基础进行高精度数据处理。
[0070]
根据itu标准建议书《rec itu-t t.81(09/92)》，图片压缩jpeg算法标准规定允许在“appn”(reserved for application segments，应用保留段，其中n为非零正整数表示序号)位置叠加自定义段用于存放自定义信息且不会影响图片查看软件对于照片文件的查看，因此可保存位姿数据在“appn”中任意一个字段(记为“jpeg编码约定字段”)，在解码流程前从jpeg编码约定字段提取位姿天毫秒，在解码流程后按照表1规定从图像中恢复图像天毫秒，可实现离线图像数据与位姿数据进行毫秒级时间同步，并以此为基础进行高精度数据处理。
[0071]
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。
[0072]
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。
技术特征：1.一种用于光电吊舱的毫秒级数据同步装置，其特征在于，包括时钟同步模块、传感器模块、信息处理模块；传感器模块包括外同步触发成像传感器、非成像传感器；时钟同步模块利用卫星导航系统授时秒脉冲修正内建时钟，还用于触发外同步触发成像传感器，并向外同步触发成像传感器发送同步信息；还用于触发非成像传感器，并向非成像传感器发送时间信息，采集非成像传感器的数据并记录采集时间，并将采集的数据和时间发送给信息处理模块；外同步触发成像传感器将采集的数据和同步信息发送给信息处理模块；信息处理模块利用非成像传感器的采集时间和外同步触发成像传感器的同步信息，对外同步触发成像传感器和非成像传感器的采集数据进行同步。2.根据权利要求1所述毫秒级数据同步装置，其特征在于，所述非成像传感器的数据采集频率远高于外同步触发成像传感器的数据采集频率。3.根据权利要求1所述毫秒级数据同步装置，其特征在于，所述非成像传感器为运动传感器。4.根据权利要求1所述毫秒级数据同步装置，其特征在于，所述外同步触发成像传感器包括可见光摄像机和或红外热成像仪。5.根据权利要求1至4中任一项所述毫秒级数据同步装置，其特征在于，所述时钟同步模块，根据外同步触发成像传感器的成像频率定时将天毫秒数据、曝光触发脉冲信号发送至外同步触发成像传感器。6.根据权利要求1所述毫秒级数据同步装置，其特征在于，所述时钟同步模块，根据非成像传感器预设的数据采集频率定时将天毫秒数据、数据采集触发脉冲信号发送至非成像传感器。7.根据权利要求5所述毫秒级数据同步装置，其特征在于，所述外同步触发成像传感器采用天毫秒数据为同步码。8.根据权利要求7所述毫秒级数据同步装置，其特征在于，所述同步码中，还设有校验位，且同步码位于外同步触发成像传感器采集数据结果的固定位置。9.一种用于光电吊舱的毫秒级数据同步方法，其特征在于，包括：时钟同步模块利用卫星导航系统授时秒脉冲修正内建时钟；时钟同步模块触发外同步触发成像传感器，并向外同步触发成像传感器发送同步信息；时钟同步模块触发非成像传感器，并向非成像传感器发送同步信息；采集非成像传感器的数据并记录采集时间，发送给信息处理模块；外同步触发成像传感器根据触发信号将采集的数据和同步信息发送给信息处理模块；信息处理模块利用非成像传感器的采集时间和外同步触发成像传感器的同步信息，对外同步触发成像传感器和非成像传感器的数据进行同步。10.根据权利要求9所述的毫秒级数据同步方法，其特征在于，所述时钟同步模块，根据外同步触发成像传感器的成像频率定时将曝光触发脉冲信号，以及该脉冲信号对应的时间同步码发送给外同步触发成像传感器。
技术总结一种用于光电吊舱的毫秒级数据同步装置，包括时钟同步模块、传感器模块、信息处理模块；传感器模块包括外同步触发成像传感器、非成像传感器；时钟同步模块利用卫星导航系统授时秒脉冲修正内建时钟，还用于触发外同步触发成像传感器，并向外同步触发成像传感器发送同步信息；还用于触发非成像传感器，并向非成像传感器发送时间信息，采集非成像传感器的数据并记录采集时间，并将采集的数据和时间发送给信息处理模块；外同步触发成像传感器将采集的数据和同步信息发送给信息处理模块；信息处理模块利用非成像传感器的采集时间和外同步触发成像传感器的同步信息，对外同步触发成像传感器和非成像传感器的数据进行同步。和非成像传感器的数据进行同步。和非成像传感器的数据进行同步。
技术研发人员：景彦哲 贺若飞 刘少鹏 丁伟
受保护的技术使用者：北京航天控制仪器研究所
技术研发日：2022.06.20
技术公布日：2022/11/1
