一种基于监控场景下的城市道路去雾算法的制作方法

专利2024-02-19  103



1.本发明涉及图像处理的技术领域,尤其涉及一种基于监控场景下的城市道路去雾算法。


背景技术:

2.在大多数智能系统,如:航海、航空、交通监控、车载导航、自动驾驶、城市交通系统等领域需要较为清晰的户外图像进行信息提取,而在下雾恶劣天气下,由于粒子的散射作用导致成像传感器采集的图像信息严重降质,雾天拍摄的图像存在细节模糊、对比度低、色彩失真等问题,限制了计算机视觉领域的发展。为解决此类问题图像去雾算法应运而生。
3.目前去雾算法主要有传统算法和深度学习算法两种。传统去雾方法是基于先验知识,主要是大气退化模型的先验,进行去雾处理,代表性算法有主要有何凯明等人提出的暗通道先验算法,这种算法实现简单,也不需要额外的参数,但是其处理速度慢、天空区域过曝、处后的图像色彩变暗、去雾效果不稳定等缺点也较为明显;而深度学习去雾算法主要可以分为两类,第一类仍然是于大气退化模型,利用神经网络对模型中的参数进行估计,早期的方法大多数是基于这种思想。第二类则是利用输入的有雾图像,直接输出去雾后的图像,即深度学习中常说的end2end,相对于传统算法,在公开数据集上表现效果较好,能够在在去雾的同时突出图片细节并增强图片质量,但是在变换场景,或者室内室外的情况下,模型去雾效果仍然会出现去雾不彻底,不稳定的情况。
4.目前基于深度学习去雾算法虽然在部分公开去雾数据上表现良好,但是在实际使用中仍然存在去雾不彻底、去雾后不清晰,颜色失真等问题,其主要包括数据问题,跨域问题,以及模型优化问题。其中关于数据问题,由于当前关于去雾真实数据较少,且同时获取图像有雾和无雾数据较为困难,而针对深度学习的方法数据是关键之一,因此缺少多种类型的雾天图片数据输入作为数据统计,模型无法学习到更好的去雾特征参数;而针对跨域问题,不同天气不同地点不同相机拍摄的雾天数据具有不同的特征,目前的去雾算法无法通过在一个数据域上效果较好,迁移到多个场景仍然表现良好。针对模型优化问题,直接的端到端模型,即输入有雾照片直接输出没有雾气的照片,实际去雾效果并不稳定,模型整体泛化能力效果不理想。


技术实现要素:

5.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
6.鉴于上述现有技术中存在的问题,提出了本发明。
7.因此,本发明目的是提供一种基于监控场景下的城市道路去雾算法,其为了解决现有技术中去雾效果不彻底,去雾颜色效果失真问题。
8.为解决上述技术问题,本发明提供如下技术方案:一种基于监控场景下的城市道
路去雾算法,包括以下步骤:
9.步骤一:增加数据规模大小提升模型泛化能力,将目前开源数据中的关于去雾数据进行整合;
10.步骤二:从实际监控的视频场景中,选择不同时间段和天气下的雾天和非雾天数据,制作一批测试集,作为实际场景下的数据测试;
11.步骤三:采用pytorch作为训练框架,修改构建主干网络,其中主干网络(backbone)结合两个性能优秀的模型结构修改而成;
12.步骤四:通过训练框架训练时,添加5个多维度的损失函数进行协同训练,损失函数包括:暗通道损失、亮通道损失、平滑平均绝对误差损失、不遗忘学习损失、对比度自适应直方均衡化损失,损失函数是在训练过程中辅助模型学习更具有泛化性的特征,在测试过程不需要该函数,训练结束后进行网络输出,得到去雾后的图像图片;
13.步骤五:整理实际视频场景测试集,数据测试流程整合到训练代码中;
14.步骤六:共训练100轮,5轮测试保存一次,计算测试指标,峰值信噪比(peak signal-to-noise ratio,psnr)与基于亮度、对比度和结构三个方面进行衡量的相似性评价指标(structrual similarity index metric,ssim)。
15.作为本发明所述一种基于监控场景下的城市道路去雾算法的一种优选方案,其中:所述测试指标峰值信噪比psnr的具体方法为:
16.(1)给定一个大小为m*n的干净图像i和噪声图像k;
17.(2)计算该干净图像i和噪声图像k的均方误差mse;
18.(3)通过均方误差mse得出测试指标峰值信噪比psnr。
19.作为本发明所述一种基于监控场景下的城市道路去雾算法的一种优选方案,其中:所述均方误差的计算公式为,
20.所述测试指标峰值信噪比的计算公式为,
21.其中,m、n表示图片的长宽,maxi表示图像最大像素值,i为未压缩的原始图像,k是i经过压缩后的图像,i,j表示图像像素位置。
22.作为本发明所述一种基于监控场景下的城市道路去雾算法的一种优选方案,其中:所述相似性评价指标ssim的表达公式如下:
[0023][0024]
其中x表示图像1,y表示图像2,u
x
是图像x的均值,uy是图像y的均值,是x的方差,是y的方差,σ
xy
是xy的协方差,c1=(k1l)2,c2=(k2l)2,k1=0.001,k2=0.03,l为像素值的范围。
[0025]
作为本发明所述一种基于监控场景下的城市道路去雾算法的一种优选方案,其中:所述步骤六过程中,保存测试图片中前5张图片去雾效果,并从数值上客观评价,以及图片去雾效果主观评价对模型进行评估。
[0026]
作为本发明所述一种基于监控场景下的城市道路去雾算法的一种优选方案,其中:所述步骤三过程中,主干网络包括:整图特征融合网络、r分支网络、g分支网络、b分支网络、特征融合网络,所述步骤四过程中,网络输出的过程为:将有雾图片输入到主干网络,由整图特征融合网络学习图片的整体特征,网络r分支网络、g分支网络、b分支网络分别学习图片的局部细节特征,通过特征融合网络将学习到的局部特征和整体特征进行融合,从而输出三个结果:透射图、大气光和去雾图像,并在多维度的损失函数协同训练下,指导网络学习符合物理散射模型的网络参数,最终在测试或实际运用中输出去雾图像的结果。
[0027]
本发明的有益效果:
[0028]
1、本发明针对目前去雾模型数据不足的难点,首先从数量上扩大训练样本多样性,整合目前开源去雾的室内和室外的数据,以及搜集最新网络数据作为测试评估模型;针对去雾效果不彻底,去雾颜色效果失真问题,添加多维损失函数辅助训练,优化去雾效果;
[0029]
2、本发明针对跨域问题去雾效果不理想,训练过程添加不遗忘学习,提升模型跨域性能,综合最新的去雾网络,帮助优化模型参数,提升去雾性能,保证模型去效果的同时,提升了模型运行速度。
附图说明
[0030]
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。其中:
[0031]
图1为本发明提出的一种基于监控场景下的城市道路去雾算法的流程示意图。
[0032]
图2为本发明提出的一种基于监控场景下的城市道路去雾算法训练网络的整体结构示意图。
具体实施方式
[0033]
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合说明书附图对本发明的具体实施方式做详细的说明。
[0034]
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
[0035]
实施例1
[0036]
参照图1-2,为本发明的一个实施例,提供了一种基于监控场景下的城市道路去雾算法,包括以下步骤:
[0037]
步骤一:增加数据规模大小提升模型泛化能力,将目前开源数据中的关于去雾数据进行整合;
[0038]
步骤二:从实际监控的视频场景中,选择不同时间段和天气下的雾天和非雾天数据,制作一批测试集,作为实际场景下的数据测试;
[0039]
步骤三:采用pytorch(一种开源的python机器学习库,用于神经网络大规模计算)作为训练框架,修改构建主干网络,主干网络包括:整图特征融合网络、r分支网络、g分支网
络、b分支网络、特征融合网络,其中主干网络(backbone)结合两个性能优秀的模型结构修改而成;
[0040]
步骤四:通过训练框架训练时,添加5个多维度的损失函数进行协同训练,损失函数包括:暗通道损失(dark channel prior,dcp loss)、亮通道损失(bright channel prior,bcp loss)、平滑平均绝对误差损失(smooth l1 loss)、不遗忘学习损失(wf loss)、对比度自适应直方均衡化损失(contrast limited adaptive histogram equalization,clahe loss),损失函数是在训练过程中辅助模型学习更具有泛化性的特征,在测试过程不需要该函数,训练结束后进行网络输出,得到去雾后的图像图片;
[0041]
步骤五:整理实际视频场景测试集,数据测试流程整合到训练代码中;
[0042]
步骤六:共训练100轮,5轮测试保存一次,计算测试指标,峰值信噪比(peak signal-to-noise ratio,psnr)与基于亮度、对比度和结构三个方面进行衡量的相似性评价指标(structrual similarity index metric,ssim),保存测试图片中前5张图片去雾效果,并从数值上客观评价,以及图片去雾效果主观评价对模型进行评估,所述测试指标峰值信噪比psnr的具体方法为:
[0043]
(1)给定一个大小为m*n的干净图像i和噪声图像k;
[0044]
(2)计算该干净图像i和噪声图像k的均方误差mse;
[0045]
(3)通过均方误差mse得出测试指标峰值信噪比psnr
[0046]
其中,所述均方误差的计算公式为,
[0047]
所述测试指标峰值信噪比的计算公式为,
[0048]
其中,m、n表示图片的长宽,maxi表示图像最大像素值,i为未压缩的原始图像,k是i经过压缩后的图像,i,j表示图像像素位置,此外所述相似性评价指标ssim的表达公式如下:
[0049][0050]
其中x表示图像1,y表示图像2,u
x
是图像x的均值,uy是图像y的均值,是x的方差,是y的方差,σ
xy
是xy的协方差,c1=(k1l)2,c2=(k2l)2,k1=0.001,k2=0.03,l为像素值的范围
[0051]
现针对步骤四过程中5个多维度的损失函数进行详细说明:适时加入暗通道先验损失函数dark channel prior(dcp)loss.该损失函数是传统算法中效果比较好的有效去雾算法,将它作为一个损失函数加入到模型训练过程中,可以有效的提升模型去雾性能,减少去雾不稳定不彻底的问题,同时使用smooth l1损失函数,保证图片去雾之后和原图基本一致,不会失真;在雾天的场景中由于雾霾在空气中中散射,如果在加上下雨阴天,光照强度较日常情况下低很多,在该场景下保存的图片会导致去雾后的图片存在过暗或看不清的问题,并且单纯的dcp损失去雾后后图片也会出现过暗问题,因此训练过程中,在dcp损失基础上同步添加bcploss(bright channel prior),能够在去雾的同时增强图片的亮度,综合
提升模型的性能;针对数据域不同导致模型性能下降严重的问题,在训练过程中加入不遗忘学习损失函数wf损失,该损失函数可以帮助模型在新数据域上学习而不遗忘之前学习数据的特征,具体说来,保证学习新的任务过程中保证原有数据性能,即模型参数不能变化太多,但是在新数据训练过程中必然会出现参数变化较大的情况,因此非遗忘学习的本质就是用原数据训练的模型对新数据打上标签,当做原来的数据,和新数据一起训练,达到兼容多个数据域的效果;针对天空区域去雾后容易出现伪影问题,可在训练过程中加入对比度自适应直方均衡化损失clahe(contrast limited adaptive histogram equalization),柔和了去雾图片的对比度,提升了图片的清晰度。
[0052]
此外步骤四的网络输出的过程为:将有雾图片输入到主干网络,由整图特征融合网络学习图片的整体特征,网络r分支网络、g分支网络、b分支网络分别学习图片的局部细节特征,通过特征融合网络将学习到的局部特征和整体特征进行融合,从而输出三个结果:透射图、大气光和去雾图像,并在多维度的损失函数协同训练下,指导网络学习符合物理散射模型的网络参数,最终在测试或实际运用中输出去雾图像的结果。
[0053]
本发明针对目前去雾模型数据不足的难点,首先从数量上扩大训练样本多样性,整合目前开源去雾的室内和室外的数据,以及搜集最新网络数据作为测试评估模型;针对去雾效果不彻底,去雾颜色效果失真问题,添加多维损失函数辅助训练,优化去雾效果,针对跨域问题去雾效果不理想,训练过程添加不遗忘学习,提升模型跨域性能,综合最新的去雾网络,帮助优化模型参数,提升去雾性能,保证模型去效果的同时,提升了模型运行速度。
[0054]
应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。

技术特征:
1.一种基于监控场景下的城市道路去雾算法,其特征在于,包括以下步骤:步骤一:增加数据规模大小提升模型泛化能力,将目前开源数据中的关于去雾数据进行整合;步骤二:从实际监控的视频场景中,选择不同时间段和天气下的雾天和非雾天数据,制作一批测试集,作为实际场景下的数据测试;步骤三:采用pytorch作为训练框架,修改构建主干网络,其中主干网络结合两个性能优秀的模型结构修改而成;步骤四:通过训练框架训练时,添加5个多维度的损失函数进行协同训练,损失函数包括:暗通道损失、亮通道损失、平滑平均绝对误差损失、不遗忘学习损失、对比度自适应直方均衡化损失,损失函数是在训练过程中辅助模型学习更具有泛化性的特征,在测试过程不需要该函数,训练结束后进行网络输出,得到去雾后的图像图片;步骤五:整理实际视频场景测试集,数据测试流程整合到训练代码中;步骤六:共训练100轮,5轮测试保存一次,计算测试指标,峰值信噪比与基于亮度、对比度和结构三个方面进行衡量的相似性评价指标。2.根据权利要求1所述的一种基于监控场景下的城市道路去雾算法,其特征在于:所述测试指标峰值信噪比psnr的具体方法为:(1)给定一个大小为m*n的干净图像i和噪声图像k;(2)计算该干净图像i和噪声图像k的均方误差mse;(3)通过均方误差mse得出测试指标峰值信噪比psnr。3.根据权利要求2所述的一种基于监控场景下的城市道路去雾算法,其特征在于:所述均方误差的计算公式为,所述测试指标峰值信噪比的计算公式为,其中,m、n表示图片的长宽,max
i
表示图像最大像素值,i为未压缩的原始图像,k是i经过压缩后的图像,i,j表示图像像素位置。4.根据权利要求1所述的一种基于监控场景下的城市道路去雾算法,其特征在于:所述相似性评价指标ssim的表达公式如下:其中x表示图像1,y表示图像2,u
x
是图像x的均值,u
y
是图像y的均值,是x的方差,是y的方差,σ
xy
是xy的协方差,c1=(k1l)2,c2=(k2l)2,k1=0.001,k2=0.03,l为像素值的范围。5.根据权利要求1所述的一种基于监控场景下的城市道路去雾算法,其特征在于:所述步骤六过程中,保存测试图片中前5张图片去雾效果,并从数值上客观评价,以及图片去雾效果主观评价对模型进行评估。6.根据权利要求1所述的一种基于监控场景下的城市道路去雾算法,其特征在于:所述步骤三过程中,主干网络包括:整图特征融合网络、r分支网络、g分支网络、b分支网络、特征
融合网络,所述步骤四过程中,网络输出的过程为:将有雾图片输入到主干网络,由整图特征融合网络学习图片的整体特征,网络r分支网络、g分支网络、b分支网络分别学习图片的局部细节特征,通过特征融合网络将学习到的局部特征和整体特征进行融合,从而输出三个结果:透射图、大气光和去雾图像,并在多维度的损失函数协同训练下,指导网络学习符合物理散射模型的网络参数,最终在测试或实际运用中输出去雾图像的结果。

技术总结
本发明公开了一种基于监控场景下的城市道路去雾算法,其特征在于,包括以下步骤:增加数据规模大小提升模型泛化能力,将目前开源数据中的关于去雾数据进行整合;从实际监控的视频场景中,选择不同时间段和天气下的雾天和非雾天数据,制作一批测试集,作为实际场景下的数据测试;采用pytorch作为训练框架,修改构建主干网络;通过训练框架训练时,添加5个多维度的损失函数进行协同训练。本发明针对目前去雾模型数据不足的难点,首先从数量上扩大训练样本多样性,整合目前开源去雾的室内和室外的数据,以及搜集最新网络数据作为测试评估模型;针对去雾效果不彻底,去雾颜色效果失真问题,添加多维损失函数辅助训练,优化去雾效果。优化去雾效果。优化去雾效果。


技术研发人员:施远银
受保护的技术使用者:南京博雅集智智能技术有限公司
技术研发日:2022.05.16
技术公布日:2022/11/1
转载请注明原文地址: https://tieba.8miu.com/read-6873.html

最新回复(0)