1.本发明属于低空慢速小型飞行器的识别、追踪技术领域，涉及一种基于华为海思平台的微型图像导引头处理平台。
背景技术：2.在防空领域，低空慢速小型飞行器(简称“低小慢”飞行器)是指在超低空(5-100m)或低空(100～200m)飞行、飞行速度小于200km/h、且不易被发现的小型航空飞行器。以无人机为代表，因成本低、操作简便、购买渠道多样，恐怖分子可能会借此携带炸药、偷拍设备、电磁干扰设备等对重要场合实施恐怖活动。所以对“低小慢”飞行目标的检测和打击已成为重要的一种反恐场景。
3.为防止恐怖分子应用无人机进行恐怖活动，通常需要使用火箭弹(导弹)进行反恐，在使用火箭弹对“低小慢”飞行器打击时，由于制导系统gps精度不够高、目标移动路径的灵活性和复杂性等，往往需要在火箭弹飞行后期给予不间断的与靶定目标坐标偏差参数的修正。这样的修正，目前能做到的箭载设备如：毫米波雷达，但成本高昂，国产化率不高、并且国产精度和距离都有限；搭载摄像头的图像识别系统，有效解决了成本的问题，常见的如：基于树莓派的板载处理平台raspberry+高清摄像头、esp32+高清摄像头、smt32+高清摄像头、openmv视觉处理硬件平台等硬件产品，但他们都有一些不足，如：要么体积过于庞大不方便小型化弹体的集成，典型的：树莓派；esp32、smt32虽然小巧但性能不足，直接影响目标识别效率；openmv虽然勉强能达到性能和体积的要求，但由于是基于国外技术研制——这无疑在反恐这样的重要领域、尤其在国防反恐领域无疑是又增加了一层不确定性，甚至是埋下隐患。
技术实现要素：4.本发明的目的是提供一种基于华为海思平台的微型图像导引头处理平台，该处理平台具备视觉处理精度高、运算性能高、体积小及成本低的特点。
5.本发明所采用的技术方案是，基于华为海思平台的微型图像导引头处理平台，包括封装有opencv视觉处理库的海思芯片组，海思芯片组通过物理连接柱连接摄像头；摄像头包括摄像头芯片和视景镜头。
6.本发明的特点还在于：
7.将海思芯片组输出的h264/h265视频码流转换成opencv平台支持的编码格式rgb。
8.对海思芯片组输出的h264/h265视频码流进行如下处理：
9.裁剪hi_mpp处理流程，从vi_vpss中截取视频流，使用hi_mpi_ive_csc接口直接颜色转换。
10.对海思芯片组的传统通信驱动进行如下修改：
11.(1)去掉系统内核中对串口驱动的引导；(2)去掉系统加载时对串口的控制权加载。
12.摄像头芯片中采用目标追踪算法实现导引头系统目标追踪。
13.本发明的有益效果如下：
14.1.开放性：海思视觉处理平台操作系统基于：linux(none)4.9.37#6smp sat jul 615:13:36cst 2019armv7l gnu/linux系统，它是一套开源的系统。
15.2.软件系统的可扩展性：基于完整的开源linux系统，所以支持了丰富的用户自定义和扩展功能，如：用户可根据实际制导需求编写符合自身环境特点的目标追踪算法；可自定义实现符合实际情况的业务逻辑；可自定义用户手动曝光参数；可调用符合linux系统特性的脚本、命令等。
16.3.硬件系统的可裁剪性：海思视觉处理平台提供了配套开源的硬件集成方案，在实际的使用了，可根据自身的业务需求对硬件集成方案进行裁剪，如：为满足产品的更加轻小可只保留核心的必要处理芯片；在复杂业务的需求下，可以增加如：高清摄像头、串口模块、红外模块、网路模块、扩展存储、gps模块等的应用。
17.4.硬件处理性能的优越性：以常见的海思hi3516-dv300处理平台为例，双核arm cortex-a7@900mhz，32kb i-cache，32kb d-cache，256kb l2；支持neon加速，集成fpu处理单元；支持3d去噪、图像增强、动态对比度增强处理功能；支持视频、图形输出抗闪烁处理。这些高性能的配置完全超越目前市面上其他硬件方案的配置(如：esp32、smt32、openmv等)。
18.4.国产化属性：华为海思作为民族产品的国产化属性，在基于该平台基础之上开发出的图像导引头平台实现了“全国产化自主可控”的完全可控原则。这也是在微型图像导引头领域国产化路线的一次创新和尝试。
附图说明
19.图1是本发明基于华为海思平台的微型图像导引头处理平台的结构示意图；
20.图2是本发明基于华为海思平台的微型图像导引头处理平台的处理流程图；
21.图3是本发明基于华为海思平台的微型图像导引头处理平台目标跟踪的基本流程图。
22.图中，1.海思芯片组，2.连接柱，3.摄像头，4.摄像头芯片，5.视景镜头。
具体实施方式
23.下面结合附图和具体实施方式对本发明进行详细说明。
24.本发明基于华为海思平台的微型图像导引头处理平台，如图1所示，包括海思芯片组1，海思芯片组1通过连接柱2连接摄像头3；摄像头3包括摄像头芯片4和视景镜头5。
25.本发明基于华为海思平台的微型图像导引头处理平台的处理流程为：如图2所示：
26.一、为满足后期导引头功能上对目标识别、图像处理部分的需求，本发明将opencv视觉处理库封装进海思芯片组1，在封装过程中将对外提供的接口尽可能的与opencv原有接口保持一致，这样就可以将原有通用摄像头图像处理平台的代码(如：基于directshow方案摄像头、openmv等)快速移植到海思芯片组1中。这样也大大降低了前期开发及后期维护综合成本。(注：opencv是一个基于apache2.0许可(开源)发行的跨平台计算机视觉和机器学习软件库，也是目前图像处理算法的主流平台，它可以运行在linux、windows、android和
mac os操作系统上。)
27.二、为满足opencv视觉处理库对视频帧处理格式要求，本发明将海思芯片组1输出的h264/h265视频码流转换成opencv平台支持的编码格式rgb(rbg)，同时为满足视频码流环出高性能的要求，对海思芯片组1输出的h264/h265视频码流进行如下处理：
28.裁剪hi_mpp处理流程，从vi_vpss中截取视频流，使用hi_mpi_ive_csc接口直接颜色转换，上述处理过程采用的依据是：
29.a)需要获取的是摄像头3的原始数据(yuv)；
30.b)考虑到vpss已提供的图像处理方法(主要用到：尺寸检验、裁剪等)，能解决从vi直取再加工带来的效率问题；
31.c)从vpss取出的图像帧为yuv420sp，这里面的yuv数据是planar420格式，数据格式为video_frame_info_s，而opencv调用时多为rgb或bgr格式，所以在海思芯片组1使用opencv需要将video_frame_info_s的yuv420sp转为rgb或bgr格式，如使用传统方法将video_frame_info_s的yuv映射出再通过opencv的颜色空间转换，这个色彩空间转换是通过cpu计算的方式软转，即繁琐又非常耗时，640x480的图像就需要耗时20～30ms。
32.由于海思芯片组1提供了ive硬件转换色彩空间，转出来的是bgr格式，和opencv使用的bgr正好匹配，这样使用起来就非常简单和方便，测试640x480的图像转换耗时基本在2ms以内(此处只是测试环境，生产环境整体优化后这个数值还会更高)，仅需考虑memcpy耗时；
33.d)hi_mpi_ive_csc接口(yuvframe2rgb)：此为海思芯片组1给颜色通道转换提供的接口，是基于硬件的转换，支持硬件加速，效率更高。
34.e)视频环出灰度图像。图像灰度化是做图像处理的基础条件，灰度化使得图像数据化，变得可控、可改、可处理。同时减小了数据量。进一步加入算法控制可以达到图像处理的目的。所以对d)中接口转换的同时，修改相应的图像帧算法，这样就能直出灰度图像。虽然放弃了一部分色彩空间的特征的特，但其充分结合其灰度特征和纹理特征，处理速度更快，在实际的跟踪仿真中效果也更好。
35.三、串口通信驱动修改。为满足后期将导引头与箭体飞控系统(或箭体上位机)的数据交互需求，本发明中采用了串口通信模式。
36.海思芯片组1提供了串口通信模块，但默认功能是用来做系统调试使用，如果强行调用，数据链会出现丢包、阻塞、甚至乱码稳定性差等表现，所以在开发和生产模式下，需要夺回系统串口调用的控制权交由用户使用，具体操作为：
37.1.去掉系统内核中对串口驱动的引导，如下：
38.进入：/etc/inittab，屏蔽：respawn:/sbin/getty-l ttys000115200vt100-nroot-i“auto login as root
…”
39.2.去掉系统加载时对串口的控制权加载，修改后如下：
40.shell：setenv bootargs mem＝512m root＝/dev/mtdblock2 rootfstype＝yaffs2rwmtdparts＝hinand:1m(boot),3m(kernel),252m(rootfs)
41.shell：saveenv
42.四、导引头系统目标追踪处理平台的实现。通过上述一～三项技术的支撑，本发明从系统层面对导引头处理平台进行编码实现，具体过程如下：
43.1.目标追踪算法及解决方案
44.基于高清摄像头的末制导技术，归根到底就是机器视觉领域的图像识别。是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，并对质量不佳的图像进行一系列的增强与重建技术手段，从而有效改善图像质量，最终实现对视频帧中处理过后的感性区域目标的持续锁定跟踪的过程。
45.目标跟踪的基本流程如下图3所示，主要分为3个部分：外观建模、搜索部分和模型更新部分。
46.外观建模阶段主要包含两方面的工作：一是通过特征提取对物体外观进行抽象描述，在特征提取阶段所提取的特征不仅需要对运动目标最具代表性特征进行完备描述，基于实时性考虑，通常也需要在计算速度上具备一定优势，所提取的特征可以是单一的颜色纹理、灰度、几何特征也可以是多种特征的组合变换，针对不同的跟踪目标在不同场景下的应用可以灵活采用不同的特征对物体的外观进行建模。二是通过外观模型判断当前的搜索区域与目标的匹配程度，计算置信分数从而确定候选区域是目标区域的可能性，最终达到找到目标的效果。
47.目标跟踪的搜索策略阶段就是在跟踪的过程中，根据当前物体所在位置，找出帧与帧之间可能存在的位置关系，从而在下一帧中得到物体可能所在的候选位置。基本原理就是通过构建运动模型建立约束，得到一组目标位置的可能候选区域，常见的运动模型有滑动窗口、粒子滤波、卡尔曼滤波等。
48.模型更新阶段基于目标在跟踪过程中可能发生的变化，跟踪问题在跟踪过程中需要一个在线更新机制实时更新目标的外观模型用以防止可能发生的漂移现象，常用的方法主要分为逐帧更新、等间隔更新及启发式更新等方法。
49.本发明给出了基于相关滤波的目标跟踪的建议方案。相关滤波的核心是训练一个相关滤波器，当滤波器与目标作卷积运算时，使得目标响应最大，从而实现目标的识别。记g为响应输出，f为输入图像，h为需要训练的滤波器。则可以得到：
50.g＝f
⊙hꢀꢀ
(1)；
51.由于公式(1)中的卷积操作计算量大，对其进行快速傅里叶变化，将其变换到频率域可以有效地减少计算量：
52.g＝f
·h*
ꢀꢀ
(2)；
53.其中：f为傅里叶变化之后的输入图像，g为响应输出，h
*
为频率域训练得到的滤波器。
54.相关滤波的跟踪算法的目标就是要找到滤波器模板。经典的mosse算法对目标样本做仿射变换，得到多个训练样本参与计算，计算模型为:
[0055][0056]gi
第i次的响应输出。
[0057]
在此基础上，csk跟踪算法利用循环矩阵扩大了训练样本的数量，同时，加入了一个正则项防止过拟合。通过正则化最小二乘法进行求解，得到以下公式：
[0058][0059]
f(xi)为原图的像素值，yi为输出图像的像素值，λ＞0为正则化参数，w为原图与输出图像之间的映射向量。
[0060]
在实际的应用中由于飞行目标的尺度不断在变化，所以常规的csk和kcf算法不能很好的处理尺度不断变化的目标。如果采用samf算法，可以很好的适应在实际的飞行中目标尺度不断变化的情况。该算法是采用特征融合的方式进行目标描述，增强模型的形状表达能力，其次是进行目标图像的多尺度估计，提高算法的跟踪精度和成功率。
[0061]
相关滤波在目标跟踪领域算法众多，通过对常用的几种moose、csk、kcf和dsst等相关滤波进行试验对比，在otb50数据集中对各种算法进行测试，试验结果如下表1所示，表1体现了不同滤波对目标跟踪的试验对比结果。
[0062]
表1
[0063]
跟踪算法dp精准度(％)auc(％)跟踪速度(fps)mosse43.157.2102csk4555.286kcf51.353.974dsst65.252.335samf70.454.725.8
[0064]
2.目标坐标移动角速率计算：
[0065]
通过上步中的图像跟踪算法能准确跟踪到“低小慢”飞行器目标，并且能够获得每一帧中目标所在的具体像素坐标位置，有了这些前提，可以通过这样的方式描述目标坐标移动角速率，具体为：
[0066]
如果需要保留的坐标移动角速率输出精度为i(在考虑精度的同时，要防止小数点后移导致的数据溢出问题)；如果当前目标帧的图像宽度为：w，高度为h；假设第一帧目标存在的像素点目标为d1(x1，y1)，第二帧目标存在的像素点目标为d2(x2，y2)；如果配套取景镜头视场角为fov；假设当前目标追踪算法处理的视频流帧率为fps，那么目标坐标移动角速率可以表示为：
[0067]
x轴目标坐标移动角速率＝i*((x2
–
x1)*(fov/2)/(w/2))/fps
[0068]
y轴目标坐标移动角速率＝i*((y2
–
y1)*(fov/2)/(h/2))/fps
[0069]
3.目标坐标移动角速率数据向箭体飞控系统(或上位机)串口的传递：
[0070]
将步骤2计算得到的x轴目标坐标移动角速率记作：x_angular；y轴目标坐标移动角速率记作：y_angular，将向箭体飞控系统串口传递的数据缓冲记作arraydata，那么就有：
[0071]
//对x进行十六进制高、低位转换
[0072]
x_angular_high_8＝(x_angular》》8)&0xff；
[0073]
x_angular_low_8＝x_angular&0xff；
[0074]
//对y进行十六进制高、低位转换
[0075]
y_angular_high_8＝(y_angular》》8)&0xff；
[0076]
y_angular_low_8＝y_angular&0xff；
[0077]
arraydata[]＝arraydata[x_angular_high_8]
[0078]
+arraydata[x_angular_low_8]
[0079]
+arraydata[y_angular_high_8]
[0080]
+arraydata[y_angular_low_8]
[0081]
通过上述过程，本发明完成了基于华为海思平台的微型图像导引头处理平台的整个业务流程和技术方案的理论实现。
技术特征：1.基于华为海思平台的微型图像导引头处理平台，其特征在于：包括封装有opencv视觉处理库的海思芯片组，海思芯片组通过物理连接柱连接摄像头；摄像头包括摄像头芯片和视景镜头。2.根据权利要求1所述的基于华为海思平台的微型图像导引头处理平台，其特征在于：将所述海思芯片组输出的h264/h265视频码流转换成opencv平台支持的编码格式rgb。3.根据权利要求2所述的基于华为海思平台的微型图像导引头处理平台，其特征在于：对所述海思芯片组输出的h264/h265视频码流进行如下处理：裁剪hi_mpp处理流程，从vi_vpss中截取视频流，使用hi_mpi_ive_csc接口直接颜色转换。4.根据权利要求2所述的基于华为海思平台的微型图像导引头处理平台，其特征在于：对所述海思芯片组的传统通信驱动进行如下修改：(1)去掉系统内核中对串口驱动的引导；(2)去掉系统加载时对串口的控制权加载。5.根据权利要求1所述的基于华为海思平台的微型图像导引头处理平台，其特征在于：所述摄像头芯片中采用目标追踪算法实现导引头系统目标追踪。
技术总结本发明公开了一种基于华为海思平台的微型图像导引头处理平台，包括封装有opencv视觉处理库的海思芯片组，海思芯片组通过物理连接柱连接摄像头；摄像头包括摄像头芯片和视景镜头。采用本发明提供的处理平台具备视觉处理精度高、运算性能高、体积小及成本低的特点。体积小及成本低的特点。体积小及成本低的特点。
技术研发人员：王伟 陈昊明 李雷刚
受保护的技术使用者：西安恒宇众科空间技术有限公司
技术研发日：2022.07.11
技术公布日：2022/11/1
