本发明涉及目标检测，一种基于dfllod-net的低照度叠加雾天气下的目标检测方法。该方法通过构建exdark-fog数据集，利用条件自适应模块在低照度有雾天气条件下动态调整低照度增强模块、去雾增强模块、去噪增强模块的权重，以及注意力目标检测模块，实现在低光照和雾天气条件下的高效目标识别，显著提升了检测精度和鲁棒性。
背景技术：
1、现有的低照度或有雾图像数据集大多单独存在，缺乏同时包含低照度和雾霾环境的综合数据集。现有的图像处理方法在处理低照度或有雾图像时，往往忽略了图像中复杂的环境因素，导致生成的图像质量不高，无法有效用于训练深度学习模型。本发明通过结合深度估计网络和大气散射模型，合成了低照度有雾图像数据集exdark-fog，克服了单一环境条件的数据集局限性，为后续的图像处理和目标检测提供了更为真实的数据基础。
2、尽管传统的去雾和低照度增强方法在一定程度上改善了图像质量，但它们通常依赖于物理模型或简单的图像处理技术，未能充分利用图像的多尺度信息和注意力机制。这导致在复杂场景下，现有模型常常出现细节丢失、噪声增强等问题，特别是在低照度和雾天条件下。此外，现有方法往往将图像增强和目标检测视为两个独立的阶段，这种分离式处理流程可能导致图像增强步骤无法完全适应目标检测的需求，影响整体性能。为了克服这些挑战，本发明提出了dfllod-net网络，一种集成了多个创新模块的深度学习模型，专门针对低照度有雾天气条件下的目标检测任务。dfllod-net网络的设计包括：低照度增强模块lem，提升图像在低光照条件下的亮度和对比度，同时保留细节。去雾增强模块frem，有效去除雾气对图像清晰度的不利影响，恢复图像的清晰度。去噪增强模块dem，减少图像噪声，增强图像质量，提升亮度和对比度。条件自适应模块cam，根据图像的光照和雾密度条件动态调整特征提取过程，通过深层特征分析和全连接层生成条件编码，智能激活后续处理模块。注意力目标检测模块aodm，结合了sppfelan和注意力增强卷积块aecb。dfllod-net网络实现了从图像预处理到目标检测的端到端优化，通过联合优化图像处理和检测模型的参数，实现更加协调一致的性能提升。
3、通过这些创新设计，dfllod-net网络不仅提高了在低照度和雾天条件下的目标检测准确性，而且增强了模型对于复杂环境的泛化能力，为低照度和恶劣天气条件下的图像处理和目标检测提供了一种有效的解决方案。
技术实现思路
1、本发明提供了一种基于dfllod-net的低照度叠加雾天气下的目标检测方法，专为低照度和雾天条件设计，基于dfllod-net网络构建。该方法针对传统技术在复杂视觉环境下的局限性，提供了一种有效的解决方案。通过构建exdark-fog数据集，结合深度估计与大气散射模型，模拟真实低照度和雾天条件。本方法创新性地设计了dfllod-net网络集成了低照度增强lem、去雾增强frem、去噪增强dem三个增强模块，以及条件自适应模块cam，这些模块协同工作，动态调整以适应不同的光照和雾密度条件。特别地，网络中的注意力目标检测模块aodm结合了sppfelan和注意力增强卷积块aecb，进一步提升了检测精度。通过端到端的训练策略，dfllod-net网络显著提高了在低照度叠加雾天气条件下的目标检测性能。
2、本发明包括以下主要步骤：
3、(1)构建低照度有雾图像数据集exdark-fog，包括下述步骤：
4、(1.1))基于公开的exdark数据集包含7363张图像，覆盖了12个不同的目标类别，这些图像均在多种低照度条件下拍摄；
5、(1.2)利用monodepth2网络对exdark数据集中的每张图像进行深度估计，生成深度图；结合深度图和雾浓度系数生成传输；
6、(1.3))应用大气散射模型，合成有雾图像；
7、(1.4)经过合成得到exdark-fog图像数据集的所有图像尺寸统一调整为640x640x3像素，exdark-fog数据集划分为训练集、测试集和验证集，比例分别为3/4、1/8和1/8。
8、(2)低照度增强模块(low-light enhancement module，lem)的设计，如图2所示，包括下述步骤：
9、(2.1)首先将exdark-fog数据集中的低照度有雾图像以及它们的自注意力特征输入到编码模块(encoding module)，如图2所示。该模块由三个低照度自适应编码块(low-light adaptive encoding block，laeb)组成，如图3所示。每个laeb利用一系列卷积层，包括1×1、3×3和5×5的卷积核，后接gelu激活函数，以及1×1卷积核进行通道混合。此外，每个laeb还包含一个下采样模块downsample，该模块采用步长为2的3×3卷积核和relu激活函数来降低特征图的空间尺寸。
10、(2.2)在encoding module的处理后，特征数据接着被送入潜空间采样模块(latent space sampling module,lssm)，如图2所示。在这个模块中，首先应用统计计算算子对特征进行分析，从中计算得到均值μ和方差σ。利用这些统计数，生成采样特征样本z。
11、(2.3)在潜空间采样模块lssm成功获取特征样本后，这些样本与通过自注意力机制提取的特征相结合。结合后的特征随后被送入解码模块
12、(decoding module)，如图2所示。解码模块由三个低照度自适应解码块(low-light adaptive decoding block，ladb)组成，如图3所示，每个ladb内部配备有3×3卷积核用于特征细化，gelu激活函数引入非线性，以及3×3反卷积核配合上采样层，逐步恢复图像的高分辨率。
13、(2.4)将decoding module的输出通过与输入进行相加，得到增强后的特征图。
14、(3)去雾增强模块(fog removal enhancement modu1e，frem)的设计，如图4所示，包括下述步骤：
15、(3.1)将exdark-fog低照度有雾的图像送入去雾增强模块frem，首先该模块由两个卷积层组成，每个卷积层使用3×3卷积核，步长为1，从而提取图像的初步特征。
16、(3.2)将(3.1)初步提取的特征送入多尺度特征提取模块(multi-scalefeatures)msf，如图4所示。该模块由三个连续的多尺度特征提取单元(multi-scalefeature unit)msfu组成，如图5所示，每个单元包含四个并行分支，分别通过不同尺寸的卷积核提取不同尺度的特征，并通过concat、relu激活函数增强模型对图像多尺度信息的捕捉能力。
17、(3.3)在(3.2)的msf模块完成多尺度特征提取之后，紧接着引入了csa(channeland spatial attention)注意力模块，如图6所示。该csa模块设计为两个并行的分支：通道注意力(ca)分支和空间注意力(sa)分支。ca分支采用全局池化操作后接全连接层，以此生成反映不同通道重要性的通道注意力图。而sa分支则通过1×1卷积来捕获全局上下文信息，并进一步通过全局平均池化和全局最大池化来生成空间注意力图。
18、(3.4)在csa注意力模块处理完毕后，网络结构继续进行两个阶段的跳跃连接，如图4所示。首先，利用1×1卷积核对特征通道进行降维或升维处理，确保不同层级产生的输出特征图在维度上能够兼容。随后，通过3×3卷积核进一步实现通道匹配，并将这些特征图相加以融合，从而在不同层级之间整合信息，增强整体的特征表示能力。
19、(4)设计去噪增强模块(denoising enhancement module，dem)，如图7所示，包括下述步骤：
20、(4.1)将exdark-fog低照度有雾天气条件的图像送入到去噪增强模块dem，首先经过一个cbr，再分为两个分支进行去噪增强：第一个分支先1×1再引入了全连接层和sigmoid激活函数来生成注意力图。然后，通过1×1卷积层调整通道数，以便与第二个分支的特征图进行融合。
21、(4.2)第二个分支首先通过1×1卷积层调整通道数，以适应后续处理需求。然后，通过3×3卷积层和步长为2的下采样降低特征图的空间维度，同时开始去噪过程。接下来，特征图经过两次3×3卷积层，步长为1并使用填充为1，将下采样层的输出与卷积块的输出逐通道、逐像素相加。此结构重复三次，深化特征提取和去噪过程。最后一次循环后，通过3×3反卷积层和步长为2进行上采样，恢复特征图的空间尺寸，同时确保去噪效果在所有尺度上保持一致。
22、(4.3)两个分支提取到的特征在通道维度上进行concat合并，并通过一个3×3卷积层以及随后的1×1卷积层进一步整合特征，确保最终输出的特征图在去噪的同时，丰富了图像的信息并增强了表达能力。
23、(5)条件自适应模块(conditional adaptive module，cam)的设计，如图1所示，包括下述步骤：
24、(5.1)首先，接收exdark-fog低照度有雾天气条件的图像输入。图像首先通过一个初步特征提取层，使用3×3卷积核和步长1进行卷积。
25、(5.2)将(5.1)特征进入深层特征分析，由三个卷积层conv1、conv2、conv3级联构成，分别具有3×3、5×5和7×7卷积核，步长为1、2和2。每个卷积层后接批量归一化和leakyrelu激活函数，以深入分析图像特征。
26、(5.3)将(5.2)深层特征分析的输出通过3×3平均池化层降维，并通过1×1卷积进行特征压缩。
27、(5.4)降维后的特征随后被送入一个全连接层生成条件编码，该编码量化表示图像的光照和雾密度等条件。经过全连接和softmax函数生成得到w1、w2、w3权重向量，确保权重和为1。
28、(5.5)权重向量与lem、frem和dem模块输出进行相乘再相加，再经过1×1卷积，调整成通道数为3。
29、(6)注意力目标检测模块(attention-based object detection module，aodm)的设计，如图1所示，包括下述步骤：
30、(6.1)将(5.5)输出的特征图送入到aodm目标检测模块中，该模块首先经过四个cbs模块进行特征提取，随后通过c2f模块，获得的初步特征表示为c1；c1进一步经过下采样scdown和c2f模块，得到的结果表示为c2；c2继续通过下采样scdown、c2f以及sppfelan模块进行处理，得到的结果表示为c3；sppfelan模块结构，如图8所示，用于增强特征提取能力。
31、(6.2)将(6.1)中的c3经过上采样与c2进行特征拼接，随后通过c2f模块，其结果表示为c4；c4继续通过上采样与c1进行特征融合，其结果表示为c5，实现了不同分辨率特征的有效整合；接着，c5再通过cbs进行处理，并与c4进行拼接操作，将拼接后的结果再通过c2f模块，其结果表示为c6；最终，c6通过下采样scdown后与c3进行拼接，结果表示为c7；这一过程不仅实现了跨尺度特征的融合，也优化了特征的层次结构。
32、(6.3)将(6.2)中的c5、c6、c7分别进入送入注意力机制增强卷积模块(attention-enhanced convolution block)aecb模块，如图9所示。该模块是一种结合了卷积操作和注意力机制，用于捕获图像的局部特征和全局上下文信息。
33、(6.4)经过aecb模块处理的特征随后送入检测头进行目标检测。
34、(7)对整个dfllod-net的低照度叠加雾天气下的目标检测网络的测试，包括下述步骤：
35、(7.1))将exdark-fog数据集送入到dfllod-net的低照度增强模块lem、去雾增强模块frem和去噪增强模块dem中进行增强处理；
36、(7.2)利用条件自适应模块cam根据图像的光照和雾密度条件动态调整(7.1)模块的权重，以优化图像增强效果；
37、(7.3)将(7.2)得到的增强后的图像送入注意力目标检测模块aodm中进行特征提取和目标检测；
38、(7.4)将检测到的结果可视化。
39、本技术方案解决的是在目标检测中，由于低照度叠加雾天气下成像对比度低、细节模糊、光照不均等因素导致的检测效果较差问题。首先，本技术通过构建exdark-fog数据集，合成低照度和有雾环境的图像，增强了模型对复杂环境的泛化能力；其次，利用设计的条件自适应模块cam，动态调节低照度增强模块lem、去雾增强模块frem和去噪增强模块dem这三个模块的权重，有效提取特征；分别提升了图像在低照度有雾环境下的清晰度和亮度对比度，改善了图像质量。最后，将经过增强处理的图像送入注意力目标检测模块aodm进行检测，实现了在低照度与雾叠加环境下的高效目标检测，并通过端到端训练，显著提高了检测的准确性和鲁棒性。
1.一种基于dfllod-net的低照度叠加雾天气下的目标检测方法，其特征包括以下方法步骤：
