1.本发明属于空间监测领域。
背景技术：2.空间站以其得天独厚的实验环境、条件，成为各种科学实验活动的理想地带，让大量科研人员实现了探索外太空的梦想，发现了多种特殊材料、新型产品；空间站也作为外层空间战场指挥与侦察中心，实现兵器的发射和实验、军队的指挥、协调与联络，构建完备的战术。
3.为了保证空间站的安全及日常观测，空间站需要有摄像机在各个舱内监视。目前大多使用固定机位来对空间站舱内环境进行监测，但对于复杂场景存在死角，且不能对特定区域进行近距离细致观察。使用机器人对空间站环境进行监测是一种有效的方法。由于空间特殊的无重力环境，监测机器人只需要携带提供自身动力的能源。但是监测机器人移动过程中可能受到干扰而改变姿态，甚至导致偏航，因此，空间站中的监测机器人在监测空间舱时，监测不同方位需要调整到不同的姿态，姿态调整既消耗能源，造成了不必要的燃料消耗，降低监测器的工作效率。以上问题需要解决。
技术实现要素：4.本发明目的是为了解决现有空间站中的监测机器人在监测空间舱时，监测不同方位需要调整到不同的姿态，姿态调整消耗能源，造成能源浪费及降低监测效率的问题，本发明提供了一种应用于空间站的基于多目视觉的光学监测系统。
5.应用于空间站的基于多目视觉的光学监测系统，包括多目视觉单元、结构基体、电源模块、图像处理器；结构基体的内部腔体内固定有电源模块和图像处理器；
6.电源模块，用于给多目视觉单元和图像处理器进行供电；
7.多目视觉单元，用于采集不同视角下的多张图像，并将采集的多张图像同步送至图像处理器；
8.图像处理器，用于对多张图像进行预处理，并对预处理后的图像进行拼接，获得空间站舱内的全景图像；
9.多目视觉单元包括多个环视相机和两个前后视相机，且两个前后视相机分别设置在结构基体的上、下底面上，多个环视相机位于同一个平面内、且均匀设置在结构基体的周向。
10.优选的是，所有环视相机的光轴在同一平面内，且相交于一点，且任意相邻的两个环视相机的光轴夹角为α；每个环视相机的水平方向的视场角均为β、垂直方向的视场角为β
′
；
11.所有环视相机的连线形成一个圆，且该圆的圆心为o、半径为r，该圆的圆心与任意相邻两个环视相机间的连线的垂直距离为
12.任意相邻的两个环视相机中的第一个环视相机的位置记为a点，第二个环视相机的位置记为b点，该相邻的两个环视相机间连线的距离
13.当任意相邻两个环视相机的视场重合度为u时，每个环视相机的最小工作距离为r＝d1+d2，以o为圆心、r为半径绘制圆，该圆与任意相邻的两个环视相机的视场重合部分的两条视场线的交点分别为c和d；点d到该相邻的两个环视相机间的连线的垂直距离
14.每个前后视相机的垂直方向的视场角为βq，且该前后视相机相对于所有环视相机的光轴交点的偏移量为γ
′
，且
15.优选的是，图像处理器，用于对多张图像进行预处理，并对预处理后的图像进行拼接，获得空间站舱内的全景信息的实现方式包括如下步骤：
16.s1、图像处理器对每张图像进行预处理，且对每张图像进行预处理的过程为：依次对每张图像进行图像噪声消除、几何校正和直方图均衡，完成预处理；
17.s2、采用图像拼接算法对预处理后的图像进行拼接，获得初始拼接图像；
18.s3、消除初始拼接图像的黑边，从而获得空间站舱内的全景图像。
19.本发明带来的有益效果：
20.本发明所述的应用于空间站的基于多目视觉的光学监测系统能够解决现有监测器使用过程中需要调整自身姿态、消耗额外燃料的问题，本发明无需调姿即可实现对周围空间的全覆盖监测。
21.本发明所述的应用于空间站的基于多目视觉的光学监测系统，结构紧凑，可达范围大，避免了监控死角，采用多目相机获取空间站舱内的全景图像信息，结合自身的姿态的信息，可以在任意姿态下输出空间舱内部的全景监测图像，监测系统可为球形、圆柱形等，移动灵活且无需调整自身的姿态，不需要额外的姿态调整燃料消耗。
22.利用多相机环绕排布的模式，能够避免因使用鱼眼相机造成的过大畸变；利用多目视觉单元采集空间站的舱内环境的图像信息，各个相机的视场存在交叉，能够获取空间站舱内的全景图像，视场范围广。减少图像畸变，使用多张图像进行拼接，由于相邻相机之间拍摄的照片重合区域较大，因此可以在拼接时去除每张照片左右边缘的图像，仅保留中间畸变较小的部分进行拼接，能够减少因相机排布带来的畸变问题。
附图说明
23.图1是本发明所述应用于空间站的基于多目视觉的光学监测系统的结构示意；图1a为光学监测系统的主视图；图1b为光学监测系统的结构基体2的内部腔体的结构示意图；图1c为光学监测系统的三维结构示意图；
24.图2是在光学监测系统俯视方向上，环视相机1-1水平视场范围示意图；
25.图3是在光学监测系统主视方向上，环视相机1-1垂直视场范围示意图；其中，
26.k为前后视相机1-2的竖直方向上视场线与环视相机1-1竖直方向上视场线的交
点，j为一个前后视相机1-2的所处位置，n为点k向直线oa延长线做垂线的交点；m为点j向直线kn做垂线的交点；
27.图4是多个环视相机1-1的视场盲区和视场重合区域示意图。
具体实施方式
28.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
29.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
30.实施例1：
31.具体参见图1和图3说明本实施方式，本实施方式所述的应用于空间站的基于多目视觉的光学监测系统，包括多目视觉单元1、结构基体2、电源模块3、图像处理器4；
32.结构基体2的内部腔体内固定有电源模块3和图像处理器4；
33.电源模块3，用于给多目视觉单元1和图像处理器4进行供电；
34.多目视觉单元1，用于采集不同视角下的多张图像，并将采集的多张图像同步送至图像处理器4；
35.图像处理器4，用于对多张图像进行预处理，并对预处理后的图像进行拼接，获得空间站舱内的全景图像；
36.多目视觉单元1包括多个环视相机1-1和两个前后视相机1-2，且两个前后视相机1-2分别设置在结构基体2的上、下底面上，多个环视相机1-1位于同一个平面内、且均匀设置在结构基体2的周向。
37.本实施方式中，应用于空间站的基于多目视觉的光学监测系统，结构紧凑，可达范围大，避免了监控死角，并在舱内能够实现自主运动，以覆盖整个空间站的所有信息，实现空间站的状态监测，无需调整监测机器人的姿态，减少了燃料的消耗，提高了工作效率。同时相较于人工检查更加灵活快捷；利用多相机环绕排布的模式，能够避免因使用鱼眼相机造成的过大畸变；利用多目视觉单元1集空间站的舱内环境的图像信息，各个相机的视场存在交叉，能够获取空间站舱内的全景图像，视场范围广。
38.进一步的，参见图2和图4，所有环视相机1-1的光轴在同一平面内，且相交于一点，且任意相邻的两个环视相机1-1的光轴夹角为α；每个环视相机1-1的水平方向的视场角均为β、垂直方向的视场角为β
′
；所有环视相机1-1的连线形成一个圆，且该圆的圆心为o、半径为r，该圆的圆心与任意相邻两个环视相机1-1间的连线的垂直距离为
39.任意相邻的两个环视相机1-1中的第一个环视相机1-1的位置记为a点，第二个环视相机1-1的位置记为b点，该相邻的两个环视相机1-1间连线的距离当任意相邻两个环视相机1-1的视场重合度为u时，每个环视相机1-1的最小工作距离为r＝d1+d2，以o为圆心、r为半径绘制圆，该圆与任意相邻的两个环视相机1-1的视场重合部分的两条视
场线的交点分别为c和d；点d到该相邻的两个环视相机1-1间的连线的垂直距离
40.本实施方式中，设定了任意相邻两个环视相机1-1的视场重合度u，在满足视场重合度u的条件下，设置了每个环视相机1-1的最小工作距离为r，且r＝d1+d2，验证r＝d1+d2的过程如下，且参见图2，图2中直线df与直线ab的交点为点f，且df＝d2。
41.图2中cd段为相邻两相机在最小工作距离下都观测到的区域，记u为相邻相机视场重合度，表示在最小工作范围，两个相机重合的角度与相机视场角的比值，其中点g和d分别为点a处的环视相机1-1的视场的左、右边线分别与半径为r的圆的交点，点c和h分别为点b处的环视相机1-1的视场的左、右边线分别与半径为r的圆的交点，则存在：
42.∠cad＝∠cbd＝uβ
ꢀꢀꢀꢀ
公式1；
[0043][0044][0045]
∠adb＝(1-u)β-α
ꢀꢀꢀꢀ
公式4；
[0046]
由正弦定理可以得出：
[0047][0048]
将ab、∠dba、∠adb带入计算公式5可以得出；
[0049][0050]
将ad、∠dab带入公式df＝adsin(∠dab)中，可得
[0051][0052]
由三角函数关系可知：
[0053]
af＝adcos(∠dab)
ꢀꢀꢀꢀ
公式8；
[0054]
将ad和∠dab的表达式代入公式8可得，
[0055][0056]
而
[0057]
通过多次实验与计算发现，当环视相机1-1最小工作距离r≈2r时，ef与oe+df比值
通常较小。例如：比如在u＝0.2,这种满足最小工作距离限制的情况下，在计算最小工作距离r＝od时，若用oe+df来代替，则会产生的相对误差值为
[0058][0059]
此误差值ε在接受范围内，可忽略，故环视相机1-1最小工作距离大约为r＝oe+df＝d1+d2；
[0060]
更进一步的，为保证图像拼接的准确率和成功率，r≥2r，u≥0.2，确保获得空间舱内的全覆盖监测信息，又能够尽可能减少图像畸变。
[0061]
更进一步的，β的取值范围为
[0062]
由于视场重合率u≥0.2，即当u≥0.2，才能保证图像拼接的准确率和成功率，取u＝0.2、r＝2r，代入r＝oe+df＝d1+d2计算公式，可得
[0063][0064]
又由于n
×
a＝360
°
，n为环视相机1-1的个数，考虑到环视相机的选取因素包括两点：包含的内容是否足够多、畸变是否过大，因此，公式12体现为：β若低于则视场过小需大量相机，β若大于则畸变过大，较难处理，所以视场角β一般选定在到之间。
[0065]
更进一步的，环视相机1-1的个数为了使n满足上述条件，其取值一般取4、5或6；
[0066]
更进一步的，参见图3，每个前后视相机1-2的垂直方向的视场角为βq，且该前后视相机1-2相对于所有环视相机1-1的光轴交点的偏移量为γ
′
，且
[0067]
对获得过程的验证为：
[0068]
由图3可知：mn＝γ；
[0069]
[0070]
将km、an和mn代入公式13，可得；
[0071][0072]
对公式14化简得到：
[0073][0074]
为使得前后视相机1-2正常工作，希望jk≤r，可得其中，γ
′
为设计尺寸，根据结构的形状确定，则可由γ
′
、β'、r确定βq。
[0075]
更进一步的，图像处理器4，用于对多张图像进行预处理，并对预处理后的图像进行拼接，获得空间站舱内的全景信息的实现方式包括如下步骤：
[0076]
s1、图像处理器4对每张图像进行预处理，且对每张图像进行预处理的过程为：依次对每张图像进行图像噪声消除、几何校正和直方图均衡，完成预处理；
[0077]
s2、采用图像拼接算法对预处理后的图像进行拼接，获得初始拼接图像；
[0078]
s3、消除初始拼接图像的黑边，从而获得空间站舱内的全景图像。
[0079]
本优选实施方式中，获取的图像经过去黑边的后期处理，能够避免图像黑边对深色空间站景物观测的影响；将姿态信息和全景图像信息结合，无需调整监测系统的姿态，减少了燃料的消耗，提高了工作效率。
[0080]
更进一步的，s2中、采用图像拼接算法对预处理后的图像进行拼接，获得初始拼接图像的实现方式为：
[0081]
s21、对每张预处理后的图像的两侧进行裁剪；应用时，裁剪左右图像两侧各五分之一，保留中间畸变小的五分之三部分，保证后续拼接精度；
[0082]
s22、对裁剪后的多张图像进行图像配准，提取特征点；
[0083]
s23、对裁剪后的多张图像的相应位置的特征点的相似度进行度量及特征点匹配；
[0084]
s24、对步骤s23进行相似度度量及特征点匹配后的图像进行坐标变换及图像对齐后，进行图像融合，获得初始拼接图像。
[0085]
更进一步的，s3中、消除初始拼接图像的黑边的实现方式为：
[0086]
s31、对初始拼接图像进行拷贝，获得副本拼接图像，扫描副本拼接图像的每个像素点，从而获得副本拼接图像中每个像素点的像素值；
[0087]
s32、根据像素值设定阈值，以预设阈值为分界点，把图像副本进行黑白二值化处理，获得二值化后的图像；
[0088]
s33、将二值化后的图像的四周边缘区域作为预裁剪区域，确定预裁剪区域内出现的黑色区域，该黑色区域为黑边；
[0089]
s34、根据黑色区域所处的位置对初始拼接图像的相应位置进行去除，从而完成对黑边的消除。
[0090]
本优选实施方式中，减少图像畸变，使用多张图像进行拼接，由于相邻相机之间拍摄的照片重合区域较大，因此可以在拼接时去除每张照片左右边缘的图像，仅保留中间畸变较小的部分进行拼接，能够减少因相机排布带来的畸变问题。
[0091]
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实
施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。
技术特征：1.应用于空间站的基于多目视觉的光学监测系统，包括多目视觉单元(1)、结构基体(2)、电源模块(3)、图像处理器(4)；其特征在于，结构基体(2)的内部腔体内固定有电源模块(3)和图像处理器(4)；电源模块(3)，用于给多目视觉单元(1)和图像处理器(4)进行供电；多目视觉单元(1)，用于采集不同视角下的多张图像，并将采集的多张图像同步送至图像处理器(4)；图像处理器(4)，用于对多张图像进行预处理，并对预处理后的图像进行拼接，获得空间站舱内的全景图像；多目视觉单元(1)包括多个环视相机(1-1)和两个前后视相机(1-2)，且两个前后视相机(1-2)分别设置在结构基体(2)的上、下底面上，多个环视相机(1-1)位于同一个平面内、且均匀设置在结构基体(2)的周向。2.根据权利要求1所述的应用于空间站的基于多目视觉的光学监测系统，其特征在于，所有环视相机(1-1)的光轴在同一平面内，且相交于一点，且任意相邻的两个环视相机(1-1)的光轴夹角为α；每个环视相机(1-1)的水平方向的视场角均为β、垂直方向的视场角为β
′
；所有环视相机(1-1)的连线形成一个圆，且该圆的圆心为o、半径为r，该圆的圆心与任意相邻两个环视相机(1-1)间的连线的垂直距离为任意相邻的两个环视相机(1-1)中的第一个环视相机(1-1)的位置记为a点，第二个环视相机(1-1)的位置记为b点，该相邻的两个环视相机(1-1)间连线的距离当任意相邻两个环视相机(1-1)的视场重合度为u时，每个环视相机(1-1)的最小工作距离为r＝d1+d2，以o为圆心、r为半径绘制圆，该圆与任意相邻的两个环视相机(1-1)的视场重合部分的两条视场线的交点分别为c和d；点d到该相邻的两个环视相机(1-1)间的连线的垂直距离3.根据权利要求2所述的应用于空间站的基于多目视觉的光学监测系统，其特征在于，r≥2r，u≥0.2。4.根据权利要求2所述的应用于空间站的基于多目视觉的光学监测系统，其特征在于，β的取值范围为5.根据权利要求3所述的应用于空间站的基于多目视觉的光学监测系统，其特征在于，环视相机(1-1)的个数6.根据权利要求2所述的应用于空间站的基于多目视觉的光学监测系统，其特征在于，每个前后视相机(1-2)的垂直方向的视场角为β
q
，且该前后视相机(1-2)相对于所有环视相机(1-1)的光轴交点的偏移量为γ
′
，且
7.根据权利要求1所述的应用于空间站的基于多目视觉的光学监测系统，其特征在于，图像处理器(4)，用于对多张图像进行预处理，并对预处理后的图像进行拼接，获得空间站舱内的全景信息的实现方式包括如下步骤：s1、图像处理器(4)对每张图像进行预处理，且对每张图像进行预处理的过程为：依次对每张图像进行图像噪声消除、几何校正和直方图均衡，完成预处理；s2、采用图像拼接算法对预处理后的图像进行拼接，获得初始拼接图像；s3、消除初始拼接图像的黑边，从而获得空间站舱内的全景图像。8.根据权利要求7所述的应用于空间站的基于多目视觉的光学监测系统，其特征在于，s2中、采用图像拼接算法对预处理后的图像进行拼接，获得初始拼接图像的实现方式为：s21、对每张预处理后的图像的两侧进行裁剪；s22、对裁剪后的多张图像进行图像配准，提取特征点；s23、对裁剪后的多张图像的相应位置的特征点的相似度进行度量及特征点匹配；s24、对步骤s23进行相似度度量及特征点匹配后的图像进行坐标变换及图像对齐后，进行图像融合，获得初始拼接图像。9.根据权利要求7所述的应用于空间站的基于多目视觉的光学监测系统，其特征在于，s3中、消除初始拼接图像的黑边的实现方式为：s31、对初始拼接图像进行拷贝，获得副本拼接图像，扫描副本拼接图像的每个像素点，从而获得副本拼接图像中每个像素点的像素值；s32、根据像素值设定阈值，以预设阈值为分界点，把图像副本进行黑白二值化处理，获得二值化后的图像；s33、将二值化后的图像的四周边缘区域作为预裁剪区域，确定预裁剪区域内出现的黑色区域，该黑色区域为黑边；s34、根据黑色区域所处的位置对初始拼接图像的相应位置进行去除，从而完成对黑边的消除。
技术总结应用于空间站的基于多目视觉的光学监测系统，属于空间监测领域。解决了现有空间站中的监测机器人在监测空间舱时，监测不同方位需要调整到不同的姿态，姿态调整消耗能源，造成能源浪费及降低监测效率的问题。本发明多目视觉单元用于采集不同视角下的多张图像，并将采集的多张图像同步送至图像处理器对多张图像进行预处理，并对预处理后的图像进行拼接，获得空间站舱内的全景图像；多目视觉单元包括多个环视相机和两个前后视相机，且两个前后视相机分别设置在结构基体的上、下底面上，多个环视相机位于同一个平面内、且均匀设置在结构基体的周向。本发明主要监测空间站的舱内全景图像。像。像。
技术研发人员：刘延芳 佘佳宇 勾敬文 白馨彤 张慧天 孙康 周芮 齐乃明
受保护的技术使用者：北京空间飞行器总体设计部
技术研发日：2022.07.25
技术公布日：2022/11/1
