1.本技术涉及图像处理技术，尤其涉及一种图像降噪方法、装置及电子设备。
背景技术：2.成像装置中使用的滤色器大多数都是能透过红/绿/蓝/黄/白色等特定波长的阵列，其中比较常见的有rggb、ryyb、hexw等阵列。阵列数据经过颜色插值(color interpolation或demosaicing)处理之后，会得到全分辨率的rgb、ryb、rgbw等图像数据。
3.由于原始的阵列数据是带有很强噪声的，经过颜色插值之后噪声仍然会保留下来，特别是全分辨率的r、g、b通道上的彩色噪声较大。相关技术中直接对r、g、b通道去除彩色噪声，降彩噪效果十分有限。
技术实现要素：4.本技术提供一种图像降噪方法、装置及电子设备，提高了降彩噪效果。
5.第一方面，本技术实施例提供一种图像降噪方法，包括：
6.获取全分辨率的第一图像数据；
7.确定所述第一图像数据对应的低分辨率的第一色差数据，所述第一色差数据用于表征亮度和颜色的色差；
8.对所述第一色差数据进行降噪处理，得到第二色差数据；
9.对所述第二色差数据进行分辨率恢复和色差恢复，得到全分辨率的第二图像数据。
10.在一种实施方式中，所述对所述第一色差数据进行降噪处理，包括：
11.按照所述第一色差数据中各像素点对应的降噪系数，对所述第一色差数据中各像素点分别进行滤波。
12.在一种实施方式中，还包括：
13.根据所述第一图像数据对应的低分辨率的第三图像数据确定所述各像素点对应的降噪系数，所述第三图像数据的分辨率与所述第一色差数据相同。
14.在一种实施方式中，所述根据所述第一图像数据对应的第三图像数据确定所述各像素点对应的降噪系数，包括：
15.根据所述第三图像数据中的亮度数据，确定所述第三图像数据中的过曝区域；
16.根据所述过曝区域确定所述各像素点对应的降噪系数。
17.在一种实施方式中，所述根据所述第一图像数据对应的第三图像数据确定所述各像素点对应的降噪系数，包括：
18.确定所述第三图像数据中各像素点的梯度；
19.根据所述各像素点的梯度确定所述各像素点对应的降噪系数。
20.在一种实施方式中，所述确定所述第一图像数据对应的第三图像数据中各像素点的梯度，包括：
21.根据所述第三图像数据中各像素点对应的窗口中的颜色数据确定亮度梯度，并根据所述窗口中的颜色色差确定色度梯度；
22.根据所述亮度梯度和所述色度梯度确定各像素点的梯度。
23.在一种实施方式中，所述根据所述第一图像数据对应的第三图像数据确定所述各像素点对应的降噪系数，包括：
24.确定所述第三图像数据中各像素点的局部连续梯度和，以及各像素点对应的窗口中的颜色色差，所述局部连续梯度和包括水平梯度和，和/或，竖直梯度和；
25.根据所述局部连续梯度和以及所述颜色色差，确定所述第三图像数据的高频纹理梯度图；
26.根据所述高频纹理梯度图确定所述各像素点对应的降噪系数。
27.在一种实施方式中，所述根据所述局部连续梯度和以及所述颜色色差，确定所述第三图像数据的高频纹理梯度图，包括：
28.若所述像素点对应的窗口中的颜色色差的最大值和最小值的差值小于预设阈值，则将所述像素点的局部连续梯度和的值置为零，并将更新后的各像素点的局部连续梯度和确定为所述第三图像数据的高频纹理梯度图。
29.在一种实施方式中，所述确定所述第一图像数据对应的低分辨率的第一色差数据，包括：
30.根据所述第一图像数据中各像素点的亮度数据和颜色数据之间的差异，确定所述第一图像数据对应的全分辨率的第三色差数据；
31.对所述第三色差数据进行下采样，得到所述第一色差数据。
32.在一种实施方式中，所述对所述第二色差数据进行分辨率恢复和色差恢复，得到全分辨率的第二图像数据，包括：
33.对所述第二色差数据进行上采样，得到全分辨率的第四色差数据；
34.根据所述第一图像数据中的亮度数据，确定所述第四色差数据中各像素点对应的颜色数据，以得到与所述第四色差数据对应的所述第二图像数据。
35.在一种实施方式中，所述确定所述第一图像数据对应的低分辨率的第一色差数据，包括：
36.对所述第一图像数据进行下采样，得到低分辨率的第三图像数据；
37.根据所述第三图像数据中的亮度数据和颜色数据之间的差异，确定所述第一色差数据。
38.在一种实施方式中，所述对所述第二色差数据进行分辨率恢复和色差恢复，得到全分辨率的第二图像数据，包括：
39.根据所述第三图像数据中的亮度数据，确定所述第二色差数据中各像素点对应的颜色数据，以得到与所述第二色差数据对应的低分辨率的第四图像数据；
40.对所述第四图像数据进行上采样，得到所述第二图像数据。
41.在一种实施方式中，所述确定所述第一图像数据对应的低分辨率的第一色差数据之前，所述方法还包括：
42.对所述第一图像数据进行噪声归一化处理；
43.还包括：
44.对所述第二图像数据进行噪声逆归一化处理。
45.第二方面，本技术提供一种图像降噪装置，包括：
46.获取模块，用于获取全分辨率的第一图像数据；
47.第一确定模块，用于确定所述第一图像数据对应的低分辨率的第一色差数据，所述第一色差数据用于表征亮度和颜色的色差；
48.降噪模块，用于对所述第一色差数据进行降噪处理，得到第二色差数据；
49.恢复模块，用于对所述第二色差数据进行分辨率恢复和色差恢复，得到全分辨率的第二图像数据。
50.在一种实施方式中，所述降噪模块用于：
51.按照所述第一色差数据中各像素点对应的降噪系数，对所述第一色差数据中各像素点分别进行滤波。
52.在一种实施方式中，还包括：
53.第二确定模块，用于根据所述第一图像数据对应的低分辨率的第三图像数据确定所述各像素点对应的降噪系数，所述第三图像数据的分辨率与所述第一色差数据相同。
54.在一种实施方式中，所述第二确定模块用于：
55.根据所述第三图像数据中的亮度数据，确定所述第三图像数据中的过曝区域；
56.根据所述过曝区域确定所述各像素点对应的降噪系数。
57.在一种实施方式中，所述第二确定模块用于：
58.确定所述第三图像数据中各像素点的梯度；
59.根据所述各像素点的梯度确定所述各像素点对应的降噪系数。
60.在一种实施方式中，所述第二确定模块用于：
61.根据所述第三图像数据中各像素点对应的窗口中的颜色数据确定亮度梯度，并根据所述窗口中的颜色色差确定色度梯度；
62.根据所述亮度梯度和所述色度梯度确定各像素点的梯度。
63.在一种实施方式中，所述第二确定模块用于：
64.确定所述第三图像数据中各像素点的局部连续梯度和，以及各像素点对应的窗口中的颜色色差，所述局部连续梯度和包括水平梯度和，和/或，竖直梯度和；
65.根据所述局部连续梯度和以及所述颜色色差，确定所述第三图像数据的高频纹理梯度图；
66.根据所述高频纹理梯度图确定所述各像素点对应的降噪系数。
67.在一种实施方式中，所述第二确定模块用于：
68.若所述像素点对应的窗口中的颜色色差的最大值和最小值的差值小于预设阈值，则将所述像素点的局部连续梯度和的值置为零，并将更新后的各像素点的局部连续梯度和确定为所述第三图像数据的高频纹理梯度图。
69.在一种实施方式中，所述第一确定模块用于：
70.根据所述第一图像数据中各像素点的亮度数据和颜色数据之间的差异，确定所述第一图像数据对应的全分辨率的第三色差数据；
71.对所述第三色差数据进行下采样，得到所述第一色差数据。
72.在一种实施方式中，所述恢复模块用于：
73.对所述第二色差数据进行上采样，得到全分辨率的第四色差数据；
74.根据所述第一图像数据中的亮度数据，确定所述第四色差数据中各像素点对应的颜色数据，以得到与所述第四色差数据对应的所述第二图像数据。
75.在一种实施方式中，所述第一确定模块用于：
76.对所述第一图像数据进行下采样，得到低分辨率的第三图像数据；
77.根据所述第三图像数据中的亮度数据和颜色数据之间的差异，确定所述第一色差数据。
78.在一种实施方式中，所述恢复模块用于：
79.根据所述第三图像数据中的亮度数据，确定所述第二色差数据中各像素点对应的颜色数据，以得到与所述第二色差数据对应的低分辨率的第四图像数据；
80.对所述第四图像数据进行上采样，得到所述第二图像数据。
81.在一种实施方式中，还包括：
82.归一化模块，用于对所述第一图像数据进行噪声归一化处理；
83.还包括：
84.逆归一化模块，用于对所述第二图像数据进行噪声逆归一化处理。
85.第三方面，本技术提供一种电子设备，包括存储器和处理器，所述存储器和处理器连接；
86.所述存储器用于存储计算机程序；
87.所述处理器用于在所述计算机程序被执行时，实现如第一方面所述的方法。
88.第四方面，本技术提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面所述的方法。
89.第五方面，本技术提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法。
90.本技术提供一种图像降噪方法、装置及电子设备，在低分辨率的色差数据上进行降噪，利用亮度的信息对颜色数据上的彩色噪声进行去除，可以有效地保留亮度细节，避免亮度信息被过度平滑，利用低分辨率数据可以有效地去除低频彩噪，同时降低后续的运算成本以及计算时间，提高降彩噪效果。
附图说明
91.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
92.图1为本技术实施例提供的一种图像降噪方法的流程示意图；
93.图2为本技术实施例提供的一种噪声归一化前后的方差示意图；
94.图3为本技术实施例提供的一种水平梯度和示意图；
95.图4为本技术实施例提供的一种竖直梯度和示意图；
96.图5为本技术实施例提供的一种滤波方向示意图；
97.图6为本技术实施例提供的一种图像降噪装置的结构示意图；
98.图7为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
99.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
100.考虑图像中的彩色噪声在经过颜色插值之后会倾向于低频，且直接对r、 g、b通道去除彩色噪声的效果十分有限，本技术实施例中提出，基于全分辨率的图像数据得到相对应的低分辨率的色差信息，在低分辨率的色差信息上进行降噪，利用亮度的信息对颜色数据上的彩色噪声进行去除，可以有效地保留亮度细节，同时可以有效地去除低频彩噪，提高彩色噪声降噪效果。
101.下面，将通过具体的实施例对本技术提供的图像降噪方法进行详细地说明。可以理解的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
102.图1为本技术实施例提供的一种图像降噪方法的流程示意图。如图1中所示，该方法包括：
103.s101、获取全分辨率的第一图像数据。
104.第一图像数据是对成像装置的阵列数据进行颜色插值后得到的全分辨率图像数据。本技术实施例中对于成像装置的阵列模式并不限定，例如rggb 阵列、ryyb阵列、rgbw阵列、hex-w阵列等均可。第一图像数据可以是全分辨率的rgb数据、ryb数据、rgbw数据等，还可以包括将上述全分辨率的图像数据进行格式转换后的数据，例如第一图像数据可以包括全分辨率的rgb数据以及将rgb数据进行格式转换得到的yuv数据。
105.s102、确定第一图像数据对应的低分辨率的第一色差数据，第一色差数据用于表征亮度和颜色的色差。
106.第一图像数据中包括了每个像素点的亮度数据和颜色数据，示例的，第一图像数据为rgbw数据，亮度数据为w，颜色数据为r、g、b，示例的，第一图像数据为rgb数据，颜色数据为r、g、b，亮度数据可以是将rgb 数据转换为yuv数据后的y。第一色差数据是亮度和颜色之间的色差，示例的，第一图像数据为rgbw数据，第一色差数据为d1＝w-r，d2＝w-g， d3＝w-b。
107.第一色差数据的分辨率低于第一图像数据，可选的，根据第一图像数据中各像素点的亮度数据和颜色数据之间的差异，确定第一图像数据对应的全分辨率的第三色差数据；对第三色差数据进行下采样，得到第一色差数据。也就是，先对第一图像数据中的各像素点计算色差数据，从而得到全分辨率的第三色差数据，再对第三色差数据进行下采样，得到低分辨率的第一色差数据。
108.可选的，对第一图像数据进行下采样，得到低分辨率的第三图像数据；根据第三图像数据中的亮度数据和颜色数据之间的差异，确定第一色差数据。以第一图像数据为全分辨率的rgbw数据为例，第三图像数据是对全分辨率的rgbw数据进行下采用后得到的低分辨率的rgbw数据。也就是，先对第一图像数据进行下采样，得到低分辨率的第三图像数据，再
对第三图像数据中的各像素点计算色差数据，得到低分辨率的第一色差数据。对第一图像数据或第三色差数据进行下采样时可以是进行一层下采样或多层下采样，以得到多分辨率信息，下采样的方法可以是拉普拉斯金字塔、下拨分解等，本技术实施例对此并不限定。
109.s103、对第一色差数据进行降噪处理，得到第二色差数据。
110.本步骤中基于第一色差数据，也就是各像素点的亮度和颜色之间的色差信息进行彩色噪声降噪，在进行降噪时可以采用一种或多种滤波方法，本技术实施例对滤波方法并不限定。
111.可选的，按照第一色差数据中各像素点对应的降噪系数，对第一色差数据中各像素点分别进行滤波。各像素点对应的降噪系数可以不同，从而可以实现对不同区域进行不同程度的降噪，在保证降噪效果的同时，保留图像细节。
112.s104、对第二色差数据进行分辨率恢复和色差恢复，得到全分辨率的第二图像数据。
113.在对第一色差数据进行降噪完成后，需要对得到的第二色差数据进行分辨率恢复和色差恢复，以将其恢复为全分辨率的第二图像数据，第二图像数据也就是将第一图像数据进行降噪后得到的图像数据。
114.可选的，若在步骤s102中是先计算得到全分辨率的第三色差数据，再对第三色差数据进行下采样得到第一色差数据，则本步骤中相应的，先对第二色差数据进行上采样，得到全分辨率的第四色差数据；再根据第一图像数据中的亮度数据，确定第四色差数据中各像素点对应的颜色数据，以得到与第四色差数据对应的第二图像数据。也就是，先对第二色差数据进行上采样，得到全分辨率的第四色差数据，再利用第一图像数据中的亮度数据对第四色差数据进行色差恢复，得到第二图像数据。
115.可选的，若在步骤s102中是先对第一图像数据进行下采样，得到低分辨率的第三图像数据，再对第三图像数据计算得到第一色差数据，则本步骤中，根据第三图像数据中的亮度数据，确定第二色差数据中各像素点对应的颜色数据，以得到与第二色差数据对应的低分辨率的第四图像数据；对第四图像数据进行上采样，得到第二图像数据。也就是，先根据第三图像数据中的亮度数据对第二色差数据进行颜色恢复，得到第四图像数据，再对第四图像数据进行分辨率恢复，得到第二图像数据。
116.本步骤中上采样的方法与步骤s102中下采样的方法相对应，例如，步骤 s102中的下采样采用小波分解，则本步骤中的上采样采用小波重建。色差恢复的方法也与步骤s102中计算色差的方法相对应，例如第一色差数据是采用亮度数据减去颜色数据，则在色差恢复时需要采用亮度数据再减去降噪后的色差数据，以得到恢复的颜色数据，亮度数据以及恢复的颜色数据就构成了去除彩色噪声的第二图像数据。
117.本技术实施例中基于全分辨率的图像数据，确定相对应的低分辨率的亮度与颜色之间的色差数据，在低分辨率的色差数据上进行降噪，利用亮度的信息对颜色数据上的彩色噪声进行去除，可以有效地保留亮度细节，避免平滑亮度信息，利用低分辨率数据可以有效地去除低频彩噪，同时降低后续的运算成本以及计算时间，提高降彩噪效果。
118.在上述实施例的基础上，考虑到第一图像数据中的彩色噪声可能是不均匀的，这也会导致直接进行降噪的效果不好，例如当噪声水平不一致时，想要将噪声水平大的区域的噪声去除，难免会造成其他噪声水平低的区域的细节被平滑掉，反之亦然。为此，本技术
实施例中，可选的，在s101中获取第一图像数据之后，对第一图像数据进行噪声归一化处理，也就是上述实施例中步骤s102及之后的步骤均是在进行了噪声归一化处理后的第一图像数据上进行的。
119.本技术实施例中对噪声归一化的方法并不限定，例如可以通过方差稳定变换(variance-stabilizing transformation，vst)进行噪声归一化，或者也可以通过逐像素点除以噪声标准差实现。
120.以泊松高斯噪声为例，可以通过vst进行噪声归一化。当噪声服从泊松高斯分布时，可以表达为以下公式：
[0121][0122]
其中，x为噪声数据，在本技术实施例中即为第一图像数据，x
*
为无噪数据，为泊松分布，代表高斯分布，a、b分别为噪声分布的相关系数。
[0123]
通过vst变换，不均匀的噪声分布会被归一化为统一方差的均匀高斯分布。vst变换公式为：
[0124][0125]
如图2为示例的噪声归一化前后的方差统计图。其中，曲线1代表归一化噪声前不同区域噪声方差统计，曲线2代表归一化噪声后不同区域噪声方差统计，纵坐标代表噪声方差大小，横坐标代表数据中不同区域。由图2可以看出，经过噪声归一化后，噪声分布由非均匀变得均匀化。而噪声归一化对于整体降噪而言，可以有效地降低降噪难度、复杂度，同时能够保证兼顾不同区域的噪声去除和细节保留。
[0126]
在对第一图像数据进行噪声归一化后，即可执行s102确定第一图像数据对应的第一色差数据。
[0127]
在s103对第一色差数据进行降噪之前，可选的，根据第一图像数据对应的低分辨率的第三图像数据确定各像素点对应的降噪系数，第三图像数据的分辨率与第一色差数据相同。
[0128]
其中，第三图像数据是对第一图像数据进行下采样得到的，若s102中先根据第一图像数据确定第三色差数据，则之后对第一图像数据和第三色差数据均进行下采样，以分别得到对应的第三图像数据和第一色差数据。在对第一色差数据进行降噪之前先确定其中各像素点的降噪系数，通过降噪系数确定滤波时的滤波系数，从而确定降噪强度。
[0129]
可选的，可以通过不同方法有针对性地确定不同区域的降噪系数，例如针对过曝区域，边缘区域，高频纹理区域分别设置降噪系数，可以有效提高这些区域的降噪效果。以下分别进行说明。
[0130]
可选的，针对过曝区域的处理方法如下：根据第三图像数据中的亮度数据，确定第三图像数据中的过曝区域；根据过曝区域确定各像素点对应的降噪系数。
[0131]
可选的，遍历第三图像数据的各像素点，通过像素点的亮度数据，例如 w，判断当前像素点的w像素值是否大于阈值，例如第三图像数据的像素值在0-1之间，阈值为0.98，若
像素点的w像素值大于阈值则认为该像素点为过曝点，针对过曝点位置记录标志位1，非过曝点位置记录标志位0，生成过曝区域掩模，对于过曝区域掩模中标志为1的像素点设置相应的降噪系数，示例的，将降噪系数设置为小于1，以降低过曝区域降噪力度，将非过曝区域的降噪系数设置为1，以对非过曝区域正常降噪，从而避免过曝区域被过渡平滑，使得过曝区域的细节信息保留更多。
[0132]
可选的，针对边缘区域的处理方法如下：确定第三图像数据中各像素点的梯度；根据各像素点的梯度确定各像素点对应的降噪系数。
[0133]
通过确定各像素点的梯度来确定边缘区域，进而确定相应的降噪系数。可选的，根据第三图像数据中各像素点对应的窗口中的颜色数据确定亮度梯度，并根据窗口中的颜色色差确定色度梯度；根据亮度梯度和色度梯度确定各像素点的梯度。
[0134]
示例的，采用极值法计算梯度：
[0135]
e＝max
i∈win
x
i-min
j∈win
xjꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0136]
上述公式表示采用窗口win中的最大值与最小值的差作为点的梯度e。而在本技术实施例中，对于第三图像数据中的像素点，根据该像素点对应的窗口中各像素点的r、g、b颜色数据分别计算梯度er、eg、eb，再将其中的最大值作为该像素点的亮度梯度e
le
＝max(er,eg,eb)。
[0137]
同样的方法，根据该像素点对应的窗口中各像素点的颜色色差(r-g)、 (g-b)、(b-r)，分别计算梯度e
r-g
,e
g-b
,e
b-r
，再将其中的最大值作为该像素点的色度梯度r
ce
＝max(e
r-g
,e
g-b
,e
b-r
)，最终得到该像素点的梯度 e
final
＝e
le
×ece
。
[0138]
基于各像素点的梯度可以确定出第三图像数据中的边缘区域，梯度值较大的区域为边缘区域，梯度值较小的区域为平坦区域，不同的梯度值对应不同的降噪系数(梯度值与降噪系数之间的映射关系可以预先建立)，根据梯度值为各像素点设置相应的降噪系数，以完成对于不同区域的针对性降噪。示例的，对于梯度值较大的像素点可以通过设置降噪系数来降低其降噪力度，例如可以将其降噪系数设置为小于1的值，从而能够对边缘部分进行有效的彩色降噪，同时避免边缘彩色溢出等情况发生。
[0139]
可选的，针对高频纹理区域的处理方法如下：确定第三图像数据中各像素点的局部连续梯度和，以及各像素点对应的窗口中的颜色色差，局部连续梯度和包括水平梯度和，和/或，竖直梯度和；根据局部连续梯度和以及颜色色差，确定第三图像数据的高频纹理梯度图；根据高频纹理梯度图确定各像素点对应的降噪系数。
[0140]
通过计算像素点的连续梯度和的方法检测高频纹理区域并进行针对性处理。可选的，水平梯度和如图3所示，其中虚线框为水平梯度和对应的滑动窗口，窗口大小可以根据需要进行设置，窗口内的水平梯度和sh＝|w2
‑ꢀ
w1|+|w3-w2|+|w4-w3|，窗口滑动遍历所有像素，每个像素点的水平梯度和gh是滑过该像素点的所有窗口的水平梯度和sh的累加值。
[0141]
可选的，竖直梯度和如图4所示，其中虚线框为竖直梯度和对应的窗口，窗口大小可以根据需要进行设置，窗口内的竖直梯度和sv＝|w21-w11|+ |w22-w12|+|w23-w13|+|w24-w14|，窗口滑动遍历所有像素，每个像素点的竖直梯度和gv是滑过该像素点的所有窗口的竖直梯度和sv的累加值。
[0142]
每个像素点的局部连续梯度和g可以是水平梯度和和竖直梯度和的累加，即g＝gh+gv，可选的，可以将每个像素点的局部连续梯度和限制在0-1之间。
[0143]
针对每个像素点，计算像素点对应的窗口中各像素点的颜色色差，若像素点对应的窗口中的颜色色差的最大值和最小值的差值小于预设阈值，则将像素点的局部连续梯度和的值置为零，并将更新后的各像素点的局部连续梯度和确定为第三图像数据的高频纹理梯度图。
[0144]
例如对于各像素点对应的窗口中的各像素点计算颜色色差(r-g)、(g-b)，若(r-g)中的最大值和最小值的差值小于预设阈值，且(g-b)中的最大值和最小值的差值小于预设阈值，则认为该窗口为同色区域，则将该像素点的局部连续梯度和的值置为零。通过以上方法得到最终的高频纹理梯度图，然后根据梯度图映射得到降噪系数，从而达到对于高频纹理区域的针对性降噪。其中，对于高频纹理梯度图中局部连续梯度和为零的像素点，可以通过降噪系数相应提高降噪力度，例如可以将降噪系数设置为大于1的值，从而去除高频纹理间的彩噪，使得降噪的同时保留纹理的色彩信息。
[0145]
上述方法中，针对过曝区域，边缘区域，高频纹理区域降噪，分别采用不同方法确定各像素点的降噪系数，在实际应用过程中，可以采用其中一项或多项来确定各像素点的降噪系数，各方法得到的降噪系数互不影响，可以共同用于确定后续降噪过程中的滤波系数。
[0146]
此外，通过上述确定降噪系数的过程可以看出，在确定降噪系数的过程中并不会采用第一色差数据进行计算，因此，对第一图像数据进行下采样，得到低分辨率的第三图像数据后，根据第三图像数据确定降噪系数的过程，与根据第三图像数据确定第一色差数据的过程，两者之间互不影响，本技术实施例中对其执行过程的先后顺序并不限定，或者两者也可以并行执行。此外，上述确定降噪系数的过程也可以在下采样之前进行，也就是基于第一图像数据确定各像素点的降噪系数，之后再对确定出的降噪系数进行下采样即可。
[0147]
以下继续对s103中对第一色差数据进行降噪处理的过程进行说明。
[0148]
可选的，降噪过程可以包括无限脉冲响应(infinite impulse response，iir) 滤波和有限脉冲响应滤波(finite impulse response，fir)两部分。其中，iir 滤波方法具有计算成本小、快速、可以有效去除低频彩噪的优点，fir滤波则能够去除复杂纹理区域的噪声。
[0149]
iir滤波公式如下：
[0150]
y[n]＝x[n]+α*y[n-1]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0151]
其中，x[n]是噪声数据，即第一色差数据，y[n]是输出的降噪数据，α是 iir滤波参数，与前述的降噪系数相关，n为像素点位置，n为当前像素点， n-1代表前一像素点。
[0152]
根据上述公式，对于第一色差数据分别进行逐行的从左到右的水平方向iir滤波、再进行逐行的从右到左的水平方向iir滤波。同理，在竖直方向以及正负对角线方向也分别进行iir滤波。这样，如图5所示，分别在八个方向上进行iir滤波。
[0153]
此外，在完成每一个方向上iir滤波后，需要进行一次归一化操作。可以通过对等尺寸的全“1”数据进行同样的iir滤波操作获得归一化系数，最终归一化后的输出为：
[0154][0155]
其中，iir[x]表示对像素点x[n]进行iir滤波，iir[1]表示对“1”进行同样的iir滤波。
[0156]
在完成八个方向的iir滤波后，再继续进行fir滤波。可选的，可以采用简化版的fir滤波，例如采用简化版的非局部均值滤波(non-local means， nlm)，以降低计算成本，减少运算时间。原始nlm公式如下所示：
[0157][0158]
其中b(p,rs)代表中心点为p，半径为rs的搜索窗口。是两个像素点p和q之间的相似度，h为滤波参数，与前述的降噪系数相关。是中心点位于p，半径为rk的窗口n(p,rk)内的像素值向量，是中心点位于q，半径为rk的窗口n(q,rk)内的像素值向量。
[0159]
本技术实施例将，搜索窗口b(p,rs)限制在单行数据内，并进行固定步长 (大于1)的滑动，对于窗口n(p,rk)，n(q,rk)也限制在单行内，此外对于nlm 进行积分图加速，以实现对nlm的简化加速。
[0160]
需要说明的是，上述仅以iir滤波和fir滤波为例进行说明，但并不仅限于此，本技术实施例中对滤波方法并不限定。
[0161]
在对第一色差数据进行降噪得到第二色差数据后，即可执行s104对第二色差数据进行分辨率恢复和色差恢复，得到全分辨率的第二图像数据。
[0162]
此外，可选的，若在前述步骤中对第一图像数据进行了噪声归一化处理，则在得到第二图像数据后，还需要对第二图像数据进行噪声逆归一化处理，以恢复原始信息分布。噪声逆归一化处理是前述的噪声归一化处理的逆操作，例如，若前述采用vst进行噪声归一化处理，则此处进行逆vst：
[0163][0164]
其中，y为第二图像数据，a,b为前述的噪声分布的相关系数。
[0165]
通过噪声归一化和逆噪声归一化处理，使得本技术实施例提供的方法不仅适用于均匀噪声数据，也能适用于非均匀噪声数据。
[0166]
还需要说明的是，本技术实施例中在对第一图像数据或第三色差数据进行下采样时，可以进行多层下采样，相应的，在进行分辨率恢复时需要进行多层上采样。此外，对于第一色差数据可以在每层分辨率下均进行降噪处理，提高降噪效果。
[0167]
图6为本技术实施例提供的一种图像合成装置的结构示意图，如图4所示，图像降噪装置600：
[0168]
获取模块601，用于获取全分辨率的第一图像数据；
[0169]
第一确定模块602，用于确定第一图像数据对应的低分辨率的第一色差数据，第一色差数据用于表征亮度和颜色的色差；
[0170]
降噪模块603，用于对第一色差数据进行降噪处理，得到第二色差数据；
[0171]
恢复模块604，用于对第二色差数据进行分辨率恢复和色差恢复，得到全分辨率的第二图像数据。
[0172]
在一种实施方式中，降噪模块603用于：
[0173]
按照第一色差数据中各像素点对应的降噪系数，对第一色差数据中各像素点分别进行滤波。
[0174]
在一种实施方式中，还包括：
[0175]
第二确定模块，用于根据第一图像数据对应的低分辨率的第三图像数据确定各像素点对应的降噪系数，第三图像数据的分辨率与第一色差数据相同。
[0176]
在一种实施方式中，第二确定模块用于：
[0177]
根据第三图像数据中的亮度数据，确定第三图像数据中的过曝区域；
[0178]
根据过曝区域确定各像素点对应的降噪系数。
[0179]
在一种实施方式中，第二确定模块用于：
[0180]
确定第三图像数据中各像素点的梯度；
[0181]
根据各像素点的梯度确定各像素点对应的降噪系数。
[0182]
在一种实施方式中，第二确定模块用于：
[0183]
根据第三图像数据中各像素点对应的窗口中的颜色数据确定亮度梯度，并根据窗口中的颜色色差确定色度梯度；
[0184]
根据亮度梯度和色度梯度确定各像素点的梯度。
[0185]
在一种实施方式中，第二确定模块用于：
[0186]
确定第三图像数据中各像素点的局部连续梯度和，以及各像素点对应的窗口中的颜色色差，局部连续梯度和包括水平梯度和，和/或，竖直梯度和；
[0187]
根据局部连续梯度和以及颜色色差，确定第三图像数据的高频纹理梯度图；
[0188]
根据高频纹理梯度图确定各像素点对应的降噪系数。
[0189]
在一种实施方式中，第二确定模块用于：
[0190]
若像素点对应的窗口中的颜色色差的最大值和最小值的差值小于预设阈值，则将像素点的局部连续梯度和的值置为零，并将更新后的各像素点的局部连续梯度和确定为第三图像数据的高频纹理梯度图。
[0191]
在一种实施方式中，第一确定模块602用于：
[0192]
根据第一图像数据中各像素点的亮度数据和颜色数据之间的差异，确定第一图像数据对应的全分辨率的第三色差数据；
[0193]
对第三色差数据进行下采样，得到第一色差数据。
[0194]
在一种实施方式中，恢复模块604用于：
[0195]
对第二色差数据进行上采样，得到全分辨率的第四色差数据；
[0196]
根据第一图像数据中的亮度数据，确定第四色差数据中各像素点对应的颜色数据，以得到与第四色差数据对应的第二图像数据。
[0197]
在一种实施方式中，第一确定模块602用于：
[0198]
对第一图像数据进行下采样，得到低分辨率的第三图像数据；
[0199]
根据第三图像数据中的亮度数据和颜色数据之间的差异，确定第一色差数据。
[0200]
在一种实施方式中，恢复模块604用于：
[0201]
根据第三图像数据中的亮度数据，确定第二色差数据中各像素点对应的颜色数据，以得到与第二色差数据对应的低分辨率的第四图像数据；
[0202]
对第四图像数据进行上采样，得到第二图像数据。
[0203]
在一种实施方式中，还包括：
[0204]
归一化模块，用于对第一图像数据进行噪声归一化处理；
[0205]
还包括：
[0206]
逆归一化模块，用于对第二图像数据进行噪声逆归一化处理。
[0207]
本技术实施例的图像合成装置可用于实现上述方法实施例中的图像降噪方法，其实现原理和计算效果类似，此处不再赘述。
[0208]
图7为本技术实施例提供的一种电子设备的结构示意图。如图7所示，电子设备700包括存储器701和处理器702，存储器701和处理器702可以通过总线703连接。
[0209]
存储器701用于存储计算机程序。
[0210]
处理器702用于在计算机程序被执行时，实现上述方法实施例中的图像降噪方法。
[0211]
本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述方法实施例中的图像降噪方法。
[0212]
本技术实施例还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述方法实施例中的图像降噪方法。
[0213]
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0214]
最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。
技术特征：1.一种图像降噪方法，其特征在于，包括：获取全分辨率的第一图像数据；确定所述第一图像数据对应的低分辨率的第一色差数据，所述第一色差数据用于表征亮度和颜色的色差；对所述第一色差数据进行降噪处理，得到第二色差数据；对所述第二色差数据进行分辨率恢复和色差恢复，得到全分辨率的第二图像数据。2.根据权利要求1所述的方法，其特征在于，所述对所述第一色差数据进行降噪处理，包括：按照所述第一色差数据中各像素点对应的降噪系数，对所述第一色差数据中各像素点分别进行滤波。3.根据权利要求2所述的方法，其特征在于，还包括：根据所述第一图像数据对应的低分辨率的第三图像数据确定所述各像素点对应的降噪系数，所述第三图像数据的分辨率与所述第一色差数据相同。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一图像数据对应的第三图像数据确定所述各像素点对应的降噪系数，包括：根据所述第三图像数据中的亮度数据，确定所述第三图像数据中的过曝区域；根据所述过曝区域确定所述各像素点对应的降噪系数。5.根据权利要求3所述的方法，其特征在于，所述根据所述第一图像数据对应的第三图像数据确定所述各像素点对应的降噪系数，包括：确定所述第三图像数据中各像素点的梯度；根据所述各像素点的梯度确定所述各像素点对应的降噪系数。6.根据权利要求5所述的方法，其特征在于，所述确定所述第一图像数据对应的第三图像数据中各像素点的梯度，包括：根据所述第三图像数据中各像素点对应的窗口中的颜色数据确定亮度梯度，并根据所述窗口中的颜色色差确定色度梯度；根据所述亮度梯度和所述色度梯度确定各像素点的梯度。7.根据权利要求3所述的方法，其特征在于，所述根据所述第一图像数据对应的第三图像数据确定所述各像素点对应的降噪系数，包括：确定所述第三图像数据中各像素点的局部连续梯度和，以及各像素点对应的窗口中的颜色色差，所述局部连续梯度和包括水平梯度和，和/或，竖直梯度和；根据所述局部连续梯度和以及所述颜色色差，确定所述第三图像数据的高频纹理梯度图；根据所述高频纹理梯度图确定所述各像素点对应的降噪系数。8.根据权利要求7所述的方法，其特征在于，所述根据所述局部连续梯度和以及所述颜色色差，确定所述第三图像数据的高频纹理梯度图，包括：若所述像素点对应的窗口中的颜色色差的最大值和最小值的差值小于预设阈值，则将所述像素点的局部连续梯度和的值置为零，并将更新后的各像素点的局部连续梯度和确定为所述第三图像数据的高频纹理梯度图。9.根据权利要求1-8任一项所述的方法，其特征在于，所述确定所述第一图像数据对应
的低分辨率的第一色差数据，包括：根据所述第一图像数据中各像素点的亮度数据和颜色数据之间的差异，确定所述第一图像数据对应的全分辨率的第三色差数据；对所述第三色差数据进行下采样，得到所述第一色差数据。10.根据权利要求9所述的方法，其特征在于，所述对所述第二色差数据进行分辨率恢复和色差恢复，得到全分辨率的第二图像数据，包括：对所述第二色差数据进行上采样，得到全分辨率的第四色差数据；根据所述第一图像数据中的亮度数据，确定所述第四色差数据中各像素点对应的颜色数据，以得到与所述第四色差数据对应的所述第二图像数据。11.根据权利要求1-8任一项所述的方法，其特征在于，所述确定所述第一图像数据对应的低分辨率的第一色差数据，包括：对所述第一图像数据进行下采样，得到低分辨率的第三图像数据；根据所述第三图像数据中的亮度数据和颜色数据之间的差异，确定所述第一色差数据。12.根据权利要求11所述的方法，其特征在于，所述对所述第二色差数据进行分辨率恢复和色差恢复，得到全分辨率的第二图像数据，包括：根据所述第三图像数据中的亮度数据，确定所述第二色差数据中各像素点对应的颜色数据，以得到与所述第二色差数据对应的低分辨率的第四图像数据；对所述第四图像数据进行上采样，得到所述第二图像数据。13.根据权利要求1-8任一项所述的方法，其特征在于，所述确定所述第一图像数据对应的低分辨率的第一色差数据之前，所述方法还包括：对所述第一图像数据进行噪声归一化处理；所述方法还包括：对所述第二图像数据进行噪声逆归一化处理。14.一种图像降噪装置，其特征在于，包括：获取模块，用于获取全分辨率的第一图像数据；第一确定模块，用于确定所述第一图像数据对应的低分辨率的第一色差数据，所述第一色差数据用于表征亮度和颜色的色差；降噪模块，用于对所述第一色差数据进行降噪处理，得到第二色差数据；恢复模块，用于对所述第二色差数据进行分辨率恢复和色差恢复，得到全分辨率的第二图像数据。15.一种电子设备，其特征在于，包括存储器和处理器，所述存储器和处理器连接；所述存储器用于存储计算机程序；所述处理器用于在所述计算机程序被执行时，实现如权利要求1-13任一项所述的方法。16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如上述权利要求1-13中任一项所述的方法。17.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-13中任一项所述的方法。
技术总结本申请提供一种图像降噪方法、装置及电子设备，该方法包括：获取全分辨率的第一图像数据；确定第一图像数据对应的低分辨率的第一色差数据，第一色差数据用于表征亮度和颜色的色差；对第一色差数据进行降噪处理，得到第二色差数据；对第二色差数据进行分辨率恢复和色差恢复，得到全分辨率的第二图像数据，从而提高了降彩噪的效果。了降彩噪的效果。了降彩噪的效果。
技术研发人员：索斐
受保护的技术使用者：深圳市汇顶科技股份有限公司
技术研发日：2022.07.07
技术公布日：2022/11/1
