1.本发明涉及成像技术领域，特别涉及一种基于光谱迁移实现彩色增强成像的方法。
背景技术：2.随着社会的发展，极暗环境下彩色成像的视频摄像设备的需求越来越多，需求领域越来越广。从手机拍摄、智能汽车到野外拍摄、安全监控，再到各种大型工程项目，极暗环境下彩色成像设备都能发挥重大作用。
3.现今普通监控设备在夜间低照度的环境条件下几乎不能实现有效监控，而有些场景不能或不适合大面积架设光源，这就造成了普通摄像机在低照度环境下不起作用。
4.红外摄像机虽然能在夜间拍摄，但仍存在一定的不足。红外摄像机不能良好地反应周围环境情况；同时图像色彩单一，通常为黑白或红蓝色，不能反映景物本身的色彩。红外摄像机由于其成像原理及制造工艺，其清晰度不高，不能满足高清观看的要求。
技术实现要素：5.为了解决背景技术提出的技术问题，本发明提供一种基于光谱迁移实现彩色增强成像的方法，针对现阶段夜间低照度条件下视频监控存在的问题提供了一个新的解决手段，可有效提升各种低照度环境下摄像机的彩色摄像的效果，实现超低照度下的全彩成像。通过全新的技术理论，以及借用近红外波段和/或紫外波段的成像光谱能量，对成像光谱能量按本发明的方法迁移，提升夜间成像的信噪比，大幅提升全彩色成像效果，实现成像更加清晰可见的效果。
6.为了达到上述目的，本发明采用以下技术方案实现：
7.一种基于光谱迁移实现彩色增强成像的方法，包括如下步骤：
8.步骤1：通过包括紫外和/或近红外光谱的可见光成像镜头收集包括紫外和/或近红外和可见光强度成像信息；
9.步骤2：通过能够接收包括紫外和/或近红外和可见光成像强度信息的cmos类图像传感器采集多光谱图像信息r、g、b，r、g、b为原始rgb图像信息，在工程上，rgb 图像信息的r、g、b近似于xyz颜色空间中的x、y、z；
10.步骤3：计算紫外和/或近红外颜色通道成像强度：紫外光的强度in
uv
和/或近红外光的强度in
nir
；
11.从xyz颜色空间提取可见光信息x
vl
，y
vl
，z
vl
；z
vl
即原始xyz颜色空间信息xo， yo，zo；
12.步骤4：通过hsain颜色空间和(x，y，z)的互相转换模型计算出可见光的每个像素点的h
vl
、sa
vl
、in
vl
；h
vl
、sa
vl
、in
vl
分别为hsain颜色空间的色调、饱和度和强度值；
13.步骤5：通过inn＝in
out
＝lut(in
in
)＝lut(in
vl
+in
uv
+in
nir
)或 inn＝in
out
＝lut(in
in
)＝lut(in
vl
+in
uv
)或inn＝in
out
＝lut(in
in
)＝lut(in
vl
+in
nir
)，
14.san＝sa
out
＝lut(sa
in
)＝lut(sa
vl
)，hn＝h
vl
，计算出输出颜色数据hn、san、inn；
15.其中：inn为新的hsain颜色空间的光强度值，san为新的hsain颜色空间的饱和度值， hn为新的hsain颜色空间的色调值；
16.lut是色彩计算领域的运算函数，含义是每个色彩信息经过lut的“重新定位”之后，能得到一个新的色彩信息；
17.in
out
为强度输出；sa
out
为饱和度输出；
18.in
in
为强度输入；sa
in
为饱和度输入；
19.in
vl
为可见光的强度；
20.h
vl
为可见光色调值；
21.sa
vl
为可见光饱和度值；
22.步骤6：通过hsain颜色空间和(x，y，z)的互相转换模型，将新的hsain颜色空间的颜色数据hn、san、inn转变成新的xyz颜色空间的xn，yn，zn值。
23.进一步地，所述的紫外和/或近红外颜色通道成像强度in
uv
和/或in
nir
如下：
24.紫外光及近红外光不具备色调及彩量，其色调值h和彩量cl值均为0，即：h＝0，cl＝0，利用光强度in＝gl+cl，得出紫外光和近红外光的光强度等于其灰量gl值，即：
25.in
uv
＝gl
uv
，in
nir
＝gl
nir
26.gl
uv
为紫外光的灰量值；
27.gl
nir
为近红外光的灰量值。
28.进一步地，饱和度输入值sa
in
和光强度输入值in
in
的计算如下：
29.sa
in
＝sa
vl
＝cl
vl
/in
vl
；
30.in
in
＝in
vl
+in
uv
+in
nir
；
31.cl
vl
为可见光的彩量值。
32.进一步地，所述的步骤5中，lut的运算为：
33.根据输入设备和输出设备的色域、图像的颜色分布范围和显色意图确定等色调面下的强度映射关系和饱和度映射关系；
34.根据强度映射关系和饱和度映射关系进行图像的输入设备侧颜色数据in
in
、sa
in
到输出设备侧颜色数据in
out
、sa
out
的映射，得到输出设备侧hsain格式颜色数据san、inn。
35.与现有技术相比，本发明的有益效果是：
36.本发明提供一种基于光谱迁移实现彩色增强成像的方法，针对现阶段夜间低照度条件下视频监控存在的问题提供了一个新的解决手段，可有效提升各种低照度环境下摄像机的彩色摄像的效果，实现超低照度下的全彩成像。通过全新的技术理论，以及借用近红外波段和/或紫外波段的成像光谱能量，对成像光谱能量按本发明的方法迁移，提升夜间成像的信噪比，大幅提升全彩色成像效果，实现成像更加清晰可见的效果。
附图说明
37.图1是本发明的一种基于光谱迁移实现彩色增强成像的方法流程图；
38.图2是本发明的强度映射关系图；
39.图3是本发明的饱和度映射关系图；
40.图4为夜晚低照度环境下普通拍摄效果图；
41.图5是夜晚低照度环境下采用本发明方法的拍摄效果图。
具体实施方式
42.以下结合附图对本发明提供的具体实施方式进行详细说明。
43.如图1所示，本发明的一种基于光谱迁移实现彩色增强成像的方法，包括如下步骤：
44.步骤1：通过包括紫外和/或近红外光谱的可见光成像镜头收集包括紫外和/或近红外和可见光强度成像信息；
45.步骤2：通过能够接收包括紫外和/或近红外和可见光成像强度信息的cmos类图像传感器采集多光谱图像信息r、g、b，r、g、b为原始rgb图像信息，在工程上，rgb 图像信息的r、g、b近似于xyz颜色空间中的x、y、z；
46.步骤3：计算紫外和/或近红外颜色通道成像强度：紫外光的强度in
uv
和/或近红外光的强度in
nir
；
47.从xyz颜色空间提取可见光信息x
vl
，y
vl
，z
vl
；x
vl
、y
vl
、z
vl
即原始xyz颜色空间信息xo，yo，zo；
48.步骤4：通过hsain颜色空间和(x，y，z)的互相转换模型计算出可见光的每个像素点的h
vl
、sa
vl
、in
vl
；h
vl
、sa
vl
、in
vl
分别为hsain颜色空间的色调、饱和度和强度值；
49.步骤5：通过inn＝in
out
＝lut(in
in
)＝lut(in
vl
+in
uv
+in
nir
)或 inn＝in
out
＝lut(in
in
)＝lut(in
vl
+in
uv
)或inn＝in
out
＝lut(in
in
)＝lut(in
vl
+in
nir
)，
50.san＝sa
out
＝lut(sa
in
)＝lut(sa
vl
)，hn＝h
vl
，计算出输出颜色数据hn、san、inn；
51.其中：inn为新的hsain颜色空间的光强度值，san为新的hsain颜色空间的饱和度值， hn为新的hsain颜色空间的色调值；
52.lut是色彩计算领域的运算函数，含义是每个色彩信息经过lut的“重新定位”之后，能得到一个新的色彩信息；
53.in
out
为强度输出；sa
out
为饱和度输出；
54.in
in
为强度输入；sa
in
为饱和度输入；
55.in
vl
为可见光的强度；
56.h
vl
为可见光色调值；
57.sa
vl
为可见光饱和度值；
58.步骤6：通过hsain颜色空间和(x，y，z)的互相转换模型，将新的hsain颜色空间的颜色数据hn、san、inn转变成新的xyz颜色空间的xn，yn，zn值。
59.进一步地，所述的紫外和/或近红外颜色通道成像强度in
uv
和/或in
nir
如下：
60.紫外光及近红外光不具备色调及彩量，其色调值h和彩量cl值均为0，即：h＝0，cl＝0，利用光强度in＝gl+cl，得出紫外光和近红外光的光强度等于其灰量gl值，即：
61.in
uv
＝gl
uv
，in
nir
＝gl
nir
62.gl
uv
为紫外光的灰量值；
63.gl
nir
为近红外光的灰量值。
64.紫外光的光强度in
uv
即灰量值gl
uv
和近红外光的光强度in
nir
即灰量值gl
nir
通过现有技术的一种或者几种联合图像传感器采集到或者以现有技术的算法推演得到。
65.进一步地，饱和度输入值sa
in
和光强度输入值in
in
的计算如下：
66.sa
in
＝sa
vl
＝cl
vl
/in
vl
；
67.in
in
＝in
vl
+in
uv
+in
nir
；
68.cl
vl
为可见光的彩量值。
69.进一步地，所述的步骤5中，lut的运算为：
70.根据输入设备和输出设备的色域、图像的颜色分布范围和显色意图确定等色调面下的强度映射关系和饱和度映射关系；
71.根据强度映射关系和饱和度映射关系进行图像的输入设备侧颜色数据in
in
、sa
in
到输出设备侧颜色数据in
out
、sa
out
的映射，得到输出设备侧hsain格式颜色数据san、inn。
72.映射关系见图2-3的映射图。
73.上述描述中，变量及下角标的释义如下：
74.uv：紫外光；
75.nir：近红外光；
76.vl：可见光；
77.n：一个系统运算后产生的新函数；
78.o：一个系统运算前输入的旧函数；
79.in：一个系统运算中输入的函数；
80.out：一个系统运算中输出的函数。
81.见图4-5，依据计算出的新的图像色彩数据将图像增强，实现夜晚低照度环境下视频影像的采集。
82.具体实施例1：成像镜头及cmos图像传感器
83.可见光，即人眼可感知的光波，其波长约在780nm～400nm之间。高于和低于这个区间的光波我们人眼不能感知到。波长高于780nm且低于微波的光波为红外光，红外光分为近红外线、中红外线和远红外线。波长低于400nm且高于x光的光波为紫外光。
84.所述的步骤1中，本发明的成像镜头采用经过镀膜处理的摄像机镜头，实现近红外波段和/或紫外波段成像能量采集；实现紫外线、近红外线、可见光共焦。
85.所述的步骤2中，本发明采用可以接收紫外、近红外、可见光波段，实现多光谱图像数据采集的cmos图像传感器。
86.紫外光、近红外光及可见光都具有成像光强线性叠加性。摄像机在低照度环境中采集光信号(包含紫外光、近红外光和可见光)，其单色光信号强度约为可见光中单色光信号的11.5倍(紫外光强度1.5倍+近红外光强度9倍+单色光强度1倍)。
87.本发明采用的摄像机只采集紫外光、可见光和近红外光有如下原因：
88.1)物体对紫外光、可见光和近红外光的反射光强度和照射光的强度成正比，即在一定的吸收率下，照射光强度越高，反射光强度越高，反之亦然。
89.2)镜头玻璃对紫外光、可见光及近红外线的兼容性较高。能同时透过紫外光、可见光和近红外光的镜头玻璃易获得。
90.3)需要选择合适的宽谱透过率的光学玻璃和改变镜头镀膜光谱，即可获取包括紫外光、可见光及近红外光光谱的成像信息。
91.4)需要获取紫外、近红外光成像信号，和可见光光谱cmos成像信号，用于彩色增强算法。
92.具体实施例2：hsain颜色空间模型
93.颜色空间是描述人眼对颜色的感知规律的数学表达。
94.1、hsain颜色空间，其与xyz颜色空间的关系
95.1)hsain颜色空间
96.hsain颜色空间，包括色调h，饱和度sa，强度in。
97.2)hsain颜色空间与xyz颜色空间的关系
98.工程上近似(r，g，b)＝(x，y，z)
99.3)hsain颜色空间相关参数的定义
100.无色调的色光称作灰色，用下面定义的灰量描述，有色调时称作彩色，彩色用下面定义的彩量描述。
101.灰量gray level(gl)：定义为灰色色光的色光亮度刺激值。灰量的有效范围为0
‑‑‑ꢀ
白光饱和值。
102.彩量矢量chromatic level定义为单一色调下纯彩色色光亮度的刺激值，是一个矢量。彩量矢量包含彩量刺激值(彩量矢量的模cl，简称彩量)和彩量色调(方向，简称色调h)双重正交信息。彩量刺激值的有效范围为0
‑‑‑
彩色光饱和值。
103.色调h(hue)：人眼对色光的颜色属性的视觉感受的刺激值。是彩量矢量的一个分量，色调用矢量的极角或者色调角来描述，色调角的范围为[0,360
°
)。
[0104]
色光强度的刺激值in(intensity)：色光的灰量刺激值和彩量刺激值之和。in＝gl+cl。
[0105]
饱和度sa(saturation)：色光的彩量刺激值占色光强度刺激值的比例。sa＝cl/in。
[0106]
2、xyz颜色空间(x,y,z)值转换成hsaln颜色空间值。
[0107]
根据如下公式获取的hsain格式颜色数据中的色调h。
[0108][0109]
其中，x，y，z为xyz格式颜色数据，即为在xyz颜色空间的颜色数据的三刺激值，分别表示xyz颜色空间的x、y、z坐标轴上的数值。
[0110]
根据如下公式并基于所述xyz格式颜色数据来获取hsain格式颜色数据中的饱和度sa和强度in，即通过x，y，z值来得到sa和in值。
[0111]
gl＝km[min(x,y,z)]
p
+a,in＝km[max(x,y,z)]q+b,cl＝in-gl,
[0112]km
,km为正实数，in≥gl≥0,a≥0,b≥0，p,q是非零实数。
[0113]
或者
[0114]
gl＝km[min(x,y,z)]
p
+a,cl＝in-gl,
[0115]
km，km为正实数，km》km,in≥gl≥0,a≥0，b≥0,p,q是非零实数。
[0116]
或者
[0117]
gl＝kmmin(x,y,z)
p
+a,cl＝in-gl, [0118]
km，km为正实数，km》km，in≥gl≥0，a≥0，b≥0，p，q是非零实数。
[0119]
或者
[0120]
gl＝kmmin(x,y,z)
p
+a,in＝gl+cl,
[0121]
km，km为正实数，in≥gl≥0，a≥0，b≥0，p，m为非零实数。
[0122]
或者
[0123]
gl＝kmmin(x,y,z)r+a,cl＝in-gl,
[0124]
km，km为正实数，km》km》0，in≥gl≥0，a≥0，b≥0，p，q，r为非零实数。
[0125]
或者
[0126]
gl＝kmmin(x,y,z)r+a,in＝gl+cl, [0127]
km，km为正实数，in≥gl≥0，a≥0，b≥0，p，q，r为非零实数。
[0128]
3、hsaln颜色空间值转换成xyz颜色空间(x,y,z)值
[0129]
如输入设备侧的hsain格式颜色数据中的饱和度sa和强度in是根据如下公式获取：
[0130]
gl＝km[min(x,y,z)]p+a,in＝km[max(x,y,z)]q+b,cl＝in-gl,
[0131]km
，km为正实数，in≥gl≥0，a≥0，b≥0，p，q是非零实数。
[0132]
则根据如下公式获取输出设备侧的xyz格式颜色数据：
[0133][0134]
或者，如输入设备侧的hsain格式颜色数据中的饱和度sa和强度in是根据如下公式获取：
[0135]
gl＝km[min(x,y,z)]
p
+a,cl＝in-gl,
[0136]
km，km为正实数，km》km，in≥gl≥0，a≥0，b≥0，p，q是非零实数。
[0137]
则根据如下公式获取输出设备侧的xyz格式颜色数据：
[0138]0°
≤h《120
°
时
[0139][0140]
120
°
≤h《240
°
时
[0141][0142][0143][0144]
240
°
≤h《360
°
时
[0145][0146][0147]
[0148]
或者，如输入设备侧的hsain格式颜色数据中的饱和度sa和强度in是根据如下公式获取：
[0149]
gl＝kmmin(x,y,z)
p
+a,cl＝in-gl, [0150]
km，km为正实数，km》km,in≥gl≥0，a≥0，b≥0，p，q是非零实数。
[0151]
则根据如下公式获取输出设备侧的xyz格式颜色数据：
[0152][0153]
或者，如输入设备侧的hsain格式颜色数据中的饱和度sa和强度in是根据如下公式获取：
[0154]
gl＝kmmin(x,y,z)
p
+a,in＝gl+cl,
[0155]
km，km为正实数，in≥gl≥0，a≥0，b≥0，p，m为非零实数。
[0156]
则根据如下公式获取输出设备侧的xyz格式颜色数据：
[0157]
[
·
]是对
·
的取整算符，h∈[0
°
,360
°
)，h＝0,1,2
[0158]
如果h＝0
[0159][0160]
如果h＝1
[0161][0162]
如果h＝2
[0163][0164]
或者，如输入设备侧的hsain格式颜色数据中的饱和度sa和强度in是根据如下公式获取，
[0165]
gl＝kmmin(x,y,z)r+a,cl＝in-gl,
[0166]
km，km为正实数，km》km》0，in≥gl≥0，a≥0，b≥0，p，q，r为非零实数。
[0167]
则根据如下公式获取输出设备侧的xyz格式颜色数据：
[0168]
[
·
]是对
·
的取整算符，h∈[0
°
,360
°
)，h＝0,1,2
[0169]
如果h＝0
[0170][0171][0172][0173]
依据具体的p，q，r值得出由in，sa，h，p，q，r表示的x、y值，x》z≥0,y》z ≥0，z取符合物理实际情况的值。
[0174]
如果h＝1
[0175][0176][0177]
依据具体的p,q,r值得出由in,sa,h,p,q,r表示的x,y值,x》z≥0,y》z≥0,z取符合物理实际情况的值。
[0178]
如果h＝2
[0179]
[0180][0181][0182]
依据具体的p,q,r值得出由in，sa，h，p，q，r表示的x,y值，x》z≥0,y》z≥0， z取符合物理实际情况的值。
[0183]
或者，如输入设备侧的hsain格式颜色数据中的饱和度sa和强度in是根据如下公式获取：
[0184]
gl＝kmmin(x,y,z)r+a,in＝gl+cl, [0185]
km，km为正实数，in≥gl≥0，a≥0，b≥0，p,q,r为非零实数。
[0186]
则根据如下公式获取输出设备侧的xyz格式颜色数据：
[0187]
[
·
]是对
·
的取整算符，h∈[0
°
,360
°
)，h＝0,1,2
[0188]
如果h＝0
[0189][0190]
如果h＝1
[0191][0192]
如果h＝2
[0193][0194]
以上公式中未标明释义的变量均为公知常识的变量。
[0195]
以上实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于上述的实施例。上述实施例中所用方法如无特别说明均为常规方法。
技术特征：1.一种基于光谱迁移实现彩色增强成像的方法，其特征在于，包括如下步骤：步骤1：通过包括紫外和/或近红外光谱的可见光成像镜头收集包括紫外和/或近红外和可见光强度成像信息；步骤2：通过能够接收包括紫外和/或近红外和可见光成像强度信息的cmos类图像传感器采集多光谱图像信息r、g、b，r、g、b为原始rgb图像信息，在工程上，rgb图像信息的r、g、b近似于xyz颜色空间中的x、y、z；步骤3：计算紫外和/或近红外颜色通道成像强度：紫外光的强度in
uv
和/或近红外光的强度in
nir
；从xyz颜色空间提取可见光信息x
vl
，y
vl
，z
vl
；x
vl
、y
vl
、z
vl
即原始xyz颜色空间信息x
o
，y
o
，z
o
；步骤4：通过hsain颜色空间和xyz颜色空间的互相转换模型计算出可见光的每个像素点的h
vl
、sa
vl
、in
vl
；h
vl
、sa
vl
、in
vl
分别为可见光在hsain颜色空间的色调、饱和度和强度值；步骤5：通过in
n
＝in
out
＝lut(in
in
)＝lut(in
vl
+in
uv
+in
nir
)或in
n
＝in
out
＝lut(in
in
)＝lut(in
vl
+in
uv
)或in
n
＝in
out
＝lut(in
in
)＝lut(in
vl
+in
nir
)，sa
n
＝sa
out
＝lut(sa
in
)＝lut(sa
vl
)，h
n
＝h
vl
，计算出输出颜色数据h
n
、sa
n
、in
n
；其中：in
n
为新的hsain颜色空间的光强度值，sa
n
为新的hsain颜色空间的饱和度值，h
n
为新的hsain颜色空间的色调值；lut是色彩计算领域的运算函数，含义是每个色彩信息经过lut的“重新定位”之后，能得到一个新的色彩信息；in
out
为强度输出；sa
out
为饱和度输出；in
in
为强度输入；sa
in
为饱和度输入；in
vl
为可见光的强度；h
vl
为可见光色调值；sa
vl
为可见光饱和度值；步骤6：通过hsain颜色空间和(x，y，z)的互相转换模型，将新的hsain颜色空间的颜色数据h
n
、sa
n
、in
n
转变成新的xyz颜色空间的x
n
，y
n
，z
n
值。2.根据权利要求1所述的一种基于光谱迁移实现彩色增强成像的方法，其特征在于，所述的紫外和/或近红外颜色通道成像强度in
uv
和/或in
nir
如下：紫外光及近红外光不具备色调及彩量，其色调值h和彩量cl值均为0，即：h＝0，cl＝0，利用光强度in＝gl+cl，得出紫外光和近红外光的光强度等于其灰量gl值，即：in
uv
＝gl
uv
，in
nir
＝gl
nir
gl
uv
为紫外光的灰量值；gl
nir
为近红外光的灰量值。3.根据权利要求1所述的一种基于光谱迁移实现彩色增强成像的方法，其特征在于，饱和度输入值sa
in
和光强度输入值in
in
的计算如下：sa
in
＝sa
vl
＝cl
vl
/in
vl
；in
in
＝in
vl
+in
uv
+in
nir
；cl
vl
为可见光的彩量值。4.根据权利要求1所述的一种基于光谱迁移实现彩色增强成像的方法，其特征在于，所
述的步骤5中，lut的运算为：根据输入设备和输出设备的色域、图像的颜色分布范围和显色意图确定等色调面下的强度映射关系和饱和度映射关系；根据强度映射关系和饱和度映射关系进行图像的输入设备侧颜色数据in
in
、sa
in
到输出设备侧颜色数据in
out
、sa
out
的映射，得到输出设备侧hsain格式颜色数据sa
n
、in
n
。
技术总结本发明提供一种基于光谱迁移实现彩色增强成像的方法，通过包括紫外和/或近红外光谱的可见光成像镜头收集包括紫外和/或近红外和可见光强度成像信息；计算出每个像素点紫外和/或近红外颜色通道成像强度In
技术研发人员：金虹辛 贾飞 贾伟
受保护的技术使用者：小元感知（北京）科技有限公司
技术研发日：2022.05.26
技术公布日：2022/11/1
