本发明涉及图像分析及机器学习技术,特别涉及一种图像分析方法及图像分析系统。
背景技术:
1、图像分析是从图像中提取有意义的信息,其涉及物件检测(object detection)、物件识别(object recognition)及距离(或深度)估计(distance/depth estimation)等任务。目前,这些任务通常由相应的机器学习模型实现。然而,在某些特殊情况下,例如在低可见度的场景所拍摄到的图像可能会影响模型的性能,因此实务上需要搭配图像增强(imageenhancement)的手段来改善图像质量以提高模型性能。
2、传统的图像增强算法,诸如直方图均衡化(histogram equalization)、伽马校正(gamma correction)等,是对全图进行亮度增强。但以夜间场景而言,拍摄到的图像普遍亮度不足,整体像素值偏低,故增强后难以保证图像的细节信息。此外,夜间场景常有车灯、路灯等光源干扰,易导致图像噪声的放大而出现光源过度曝光的情况,终究不利于图像分析模型的性能。
3、此外,也存在某些算法,诸如最大熵阈值分割(maximum entropy thresholdsegmentation),是通过区分图像的亮区和暗区,然后再针对亮区和暗区分别使用不同的函数来增强其亮度。然而,这种方法存在一些缺陷。首先,增强后的图像可能出现不平滑的情况,特别是在邻近阈值的情况下。其次,函数的参数通常是基于人类经验设定的,这可能导致增强后的图像不一定能适应图像分析模型执行特定任务的需求。
4、还有一些深度学习的方法,是对图像进行特征提取,基于提取出的特征决定滤波器的参数,再使用该滤波器对全图进行无差别增强。然而,这种作法也无法保证滤波器的参数主动适应图像分析模型,且和前述传统图像增强算法一样,易导致图像噪声的放大而出现光源过度曝光的情况,不利于图像分析模型的性能。
5、有鉴于上述技术挑战,需要一种图像分析系统,其中使用的图像增强模型能够实现像素级别(pixel-wise)的增强并且主动适应图像分析模型。
技术实现思路
1、本公开的实施例提供一种图像分析系统,其包含存储单元及处理单元。处理单元从该存储单元载入程序,以执行图像增强模块及图像分析模块。图像增强模块涉及将原始图像输入预先训练的掩码提取模型,取得掩码提取模型所输出相应于原始图像的多个掩码(masks),及使用掩码对原始图像进行一序列图像增强操作而取得增强图像。图像分析模块涉及将增强图像输入预先训练的图像分析模型,取得图像分析模型输出的推论结果。掩码提取模型及图像分析模型使用同一损失函数训练。
2、本公开的实施例更提供一种图像分析系统,其包含彼此耦接的图像增强电路及图像分析电路。图像增强电路设置以将原始图像输入预先训练的掩码提取模型,取得掩码提取模型所输出相应于原始图像的多个掩码,及使用掩码对原始图像进行一序列图像增强操作而取得增强图像。图像分析电路设置以将增强图像输入预先训练的图像分析模型,取得图像分析模型输出的推论结果。掩码提取模型及图像分析模型使用同一损失函数训练。
3、本公开的实施例更提供一种图像分析方法,其包含将原始图像输入预先训练的掩码提取模型,取得掩码提取模型所输出相应于原始图像的多个掩码(masks)。该方法还包含使用掩码对原始图像进行一序列图像增强操作而取得增强图像。该方法还包含将增强图像输入预先训练的图像分析模型,取得图像分析模型输出的推论结果。掩码提取模型及图像分析模型使用同一损失函数训练。
1.一种图像分析系统,包括存储单元及处理单元,其中该处理单元从该存储单元载入程序,以执行:
2.如权利要求1所述的图像分析系统,该处理单元还执行:
3.如权利要求1所述的图像分析系统,其中所述图像增强操作包括去噪操作;以及
4.如权利要求1所述的图像分析系统,其中所述图像增强操作包括对比度调整操作;以及
5.如权利要求1所述的图像分析系统,其中所述图像增强操作包括亮度调整操作;以及
6.如权利要求1所述的图像分析系统,其中所述图像增强操作包括锐化操作;以及
7.如权利要求1所述的图像分析系统,其中所述掩码包括第一掩码、第二掩码、第三掩码及第四掩码,所述图像增强操作包括去噪操作、对比度调整操作、亮度调整操作及锐化操作;以及
8.如权利要求1所述的图像分析系统,其中该原始图像的信噪比低于指定信噪比阈值;
9.一种图像分析系统,包括:
10.如权利要求9所述的图像分析系统,其中所述图像增强操作包括去噪操作;以及
11.如权利要求9所述的图像分析系统,其中所述图像增强操作包括对比度调整操作;以及
12.如权利要求9所述的图像分析系统,其中所述图像增强操作包括亮度调整操作;以及
13.如权利要求9所述的图像分析系统,其中所述图像增强操作包括锐化操作;以及
14.如权利要求9所述的图像分析系统,其中所述掩码包括第一掩码、第二掩码、第三掩码及第四掩码,所述图像增强操作包括去噪操作、对比度调整操作、亮度调整操作及锐化操作;以及
15.一种图像分析方法,由图像分析系统所执行,该方法包括:
16.如权利要求15所述的图像分析方法,还包括:
17.如权利要求15所述的图像分析方法,其中所述图像增强操作包括去噪操作;以及
18.如权利要求15所述的图像分析方法,其中所述图像增强操作包括对比度调整操作;以及
19.如权利要求15所述的图像分析方法,其中所述图像增强操作包括亮度调整操作;以及
20.如权利要求15所述的图像分析方法,其中所述图像增强操作包括锐化操作;以及
21.如权利要求15所述的图像分析方法,其中所述掩码包括第一掩码、第二掩码、第三掩码及第四掩码,所述图像增强操作包括去噪操作、对比度调整操作、亮度调整操作及锐化操作,且使用所述掩码对该原始图像进行所述图像增强操作而取得该增强图像的步骤还包括: