1.本发明涉及计算机安防领域，尤其涉及一种火焰烟雾识别模型训练方法、火焰烟雾识别方法、装置及存储介质。
背景技术：2.在燃气场站，火灾的防范极为重要，过去在生产中火灾往往行成规模后才被发现，因此每一次火灾都会造成极大的损失。为此，需要通过将高清摄像头实时拍摄的视频，并通过视频分析技术中的截帧技术进行拆帧转换为图像，对该图像进行分析确认烟雾是否存在，是否会造成火灾，从而提高对火灾的监测防范，目前最常见的火焰烟雾识别方法是三通道合成法，即将三个波段分别赋予红、绿、蓝通道来产生真彩色或假彩色图,通过真彩色图或假彩色图来识别烟雾。当然，几个波段的组合也可以赋予一个通道来产生辨识图像，以识别烟雾，比如，christopherandchou(1997)利用avhrr数据的波段1和波段4的归一化比值赋予绿色通道，通过绿色通道产生辨识图像。然而上述方法仅仅提供了火灾烟雾的基本信息，而针对燃气场站进行烟雾自动识别存在速度慢的问题，进而导致因预警不及时而发生火灾。
3.因此，目前在燃气场站的火灾防范中，存在对火焰和烟雾的识别速度慢，导致预警不及时而发生火灾的问题。
技术实现要素：4.本发明实施例提供一种火焰烟雾识别模型训练方法、火焰烟雾识别方法、装置和存储介质，以通过提高对烟雾和火焰的识别速度，确保预警的及时性。
5.为了解决上述技术问题，本技术实施例提供一种火焰烟雾识别模型训练方法，包括：
6.基于目标检测算法，构建初始化火焰烟雾识别模型，其中，所述初始化火焰烟雾识别模型包括主干网络和火焰烟雾识别网络；
7.获取训练图像集合，并将所述训练图像集合输入所述初始化火焰烟雾识别模型中，其中，所述训练图像集合包括训练图像，每一个所述训练图像对应一个标签信息；
8.基于所述主干网络，对任一个所述训练图像进行特征提取，并基于所述火焰烟雾识别网络对提取到的图像特征进行火焰烟雾识别，得到所述训练图像对应的识别结果；
9.针对每一个所述训练图像，将所述训练图像的标签信息和所述训练图像的识别结果进行比对，得到所述训练图像的比对结果；
10.在所述比对结果不满足预设训练条件时，则对所述初始化火焰烟雾识别模型进行参数调整，并返回所述获取训练图像集合，并将所述训练图像集合输入所述初始化火焰烟雾识别模型中的步骤继续训练，直到所述比对结果满足预设训练条件，得到火焰烟雾识别模型。
11.为了解决上述技术问题，本技术实施例提供一种火焰烟雾识别方法，包括：
12.对监测区域进行图像采集，得到待识别图像；
13.将所述待识别图像输入到火焰烟雾识别模型中进行火焰烟雾识别，得到识别结果，其中，所述火焰烟雾识别模型为通过如权利要求1至3任一项所述的火焰烟雾识别模型训练方法训练得到的模型；
14.当所述识别结果为所述待识别图像存在火焰和/或所述待识别图像存在烟雾时，则对所述待识别图像进行预警识别，得到预警结果，其中，当所述预警结果为需要预警时，则触发预设报警机制。
15.为了解决上述技术问题，本技术实施例还提供一种火焰烟雾识别模型训练装置，包括：
16.初始化火焰烟雾识别模型构建模块，用于基于目标检测算法，构建初始化火焰烟雾识别模型，其中，所述初始化火焰烟雾识别模型包括主干网络和火焰烟雾识别网络；
17.输入模块，用于获取训练图像集合，并将所述训练图像集合输入所述初始化火焰烟雾识别模型中，其中，所述训练图像集合包括训练图像，每一个所述训练图像对应一个标签信息；
18.火焰烟雾识别模块，用于基于所述主干网络，对任一个所述训练图像进行特征提取，并基于所述火焰烟雾识别网络对提取到的图像特征进行火焰烟雾识别，得到所述训练图像对应的识别结果；
19.比对模块，用于针对每一个所述训练图像，将所述训练图像的标签信息和所述训练图像的识别结果进行比对，得到所述训练图像的比对结果；
20.火焰烟雾识别模型获取模块，用于在所述比对结果不满足预设训练条件时，则对所述初始化火焰烟雾识别模型进行参数调整，并返回所述获取训练图像集合，并将所述训练图像集合输入所述初始化火焰烟雾识别模型中的步骤继续训练，直到所述比对结果满足预设训练条件，得到火焰烟雾识别模型。
21.为了解决上述技术问题，本技术实施例还提供一种火焰烟雾识别装置，包括：
22.待识别图像获取模块，用于对监测区域进行图像采集，得到待识别图像；
23.识别结果获取模块，用于将所述待识别图像输入到火焰烟雾识别模型中进行火焰烟雾识别，得到识别结果，其中，所述火焰烟雾识别模型为通过如权利要求1至3任一项所述的火焰烟雾识别模型训练方法训练得到的模型；
24.预警模块，用于当所述识别结果为所述待识别图像存在火焰和/或所述待识别图像存在烟雾时，则对所述待识别图像进行预警识别，得到预警结果，其中，当所述预警结果为需要预警时，则触发预设报警机制。
25.为了解决上述技术问题，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述火焰烟雾识别模型训练方法和/或火焰烟雾识别方法的步骤。
26.本发明实施例提供的火焰烟雾识别模型训练方法、火焰烟雾识别方法、装置及存储介质，通过对监测区域进行图像采集，得到待识别图像；将所述待识别图像输入到火焰烟雾识别模型中进行火焰烟雾识别，得到识别结果，其中，所述火焰烟雾识别模型为通过火焰烟雾识别模型训练方法训练得到的模型；当所述识别结果为所述待识别图像存在火焰和/或所述待识别图像存在烟雾时，则对所述待识别图像进行预警识别，得到预警结果，其中，
当所述预警结果为需要预警时，则触发预设报警机制。通过火焰烟雾识别模型训练方法训练得到的模型实现对监测区域的火焰烟雾识别的速度和准确性，通过提高对烟雾和火焰的识别速度，确保预警的及时性。
附图说明
27.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
28.图1是本技术的火焰烟雾识别模型训练方法的一个实施例的流程图；
29.图2是本技术的主干网络的一结构图；
30.图3是本技术的火焰烟雾识别方法的一个实施例的流程图；
31.图4是本技术中火焰烟雾区域和工作区域的一示例图；
32.图5是根据本技术的火焰烟雾识别模型训练装置的一个实施例的结构示意图；
33.图6是根据本技术的火焰烟雾识别装置的一个实施例的结构示意图。
具体实施方式
34.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术；本技术的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本技术的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
35.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
36.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
37.请参阅图1，如图1所示，图1示出本发明实施例提供的一种火焰烟雾识别模型训练方法，其具体包括如下步骤s101至步骤s105：
38.s101、基于目标检测算法，构建初始化火焰烟雾识别模型，其中，初始化火焰烟雾识别模型包括主干网络和火焰烟雾识别网络。
39.在步骤s101中，上述目标检测算法是用于检测火焰和烟雾的算法，该目标检测算法包括但不限于yolo目标检测算法和r-cnn目标检测算法，yolo目标检测算法包括但不限于yolov3目标检测算法、yolov4目标检测算法。
40.其中，r-cnn目标检测算法是指通过faster r-cnn算法构建区域候选网络生成候
选区域，候选区域由锚框组成；将多个部件感知模块加入至区域候选网络中，获取目标训练图像中每一候选区域的特征信息，生成特征图；基于预定义的卷积层的卷积核，将特征图输入到卷积神经网络中至少一个卷积层进行卷积计算，归一化输出候选区域尺寸特征；基于候选区域的尺寸特征，获得多个锚框，输入到区域候选网络进行融合，获得多个融合特征；提取多个融合特征中的最大特征值，输出火焰烟雾特征。
41.yolov4是一种在实时检测中精度和速度都优于现有目标检测算法的优质目标检测算法，yolov4在主干网络特征提取方面采用了cspdarknet53，在其中引入了大量的残差网络块使得网络的抗过拟合能力更强；在图像特征提取方面,yolov4引入了spp(spatial pyramid pooling，空间金字塔池化)和pannet网络(路径聚合网络)以此来增加图像的特征提取量，反复提取特征并且获得了更大的感受野；yolov4采用一种自正则的非单调神经激活函数以允许更好的信息深入神经网络，从而得到更好的准确性和泛化。
42.优选地，本技术实施例采用yolov4目标检测算法，构建初始化火焰烟雾识别模型。
43.上述主干网络是指用于提取待识别图像的特征的网络，上述火焰烟雾识别网络是指用于对该待识别图像进行火焰烟雾识别的网络。
44.通过yolov4目标检测算法，构建初始化火焰烟雾识别模型，在主干网络中引入了大量的残差网络块使得网络的抗过拟合能力更强，在图像特征提取方面,采用火焰烟雾识别网络提高对对监测区域的火焰烟雾识别的速度和准确性，通过提高对火焰和烟雾的识别速度，确保预警的及时性。
45.s102、获取训练图像集合，并将训练图像集合输入初始化火焰烟雾识别模型中，其中，训练图像集合包括训练图像，每一个训练图像对应一个标签信息。
46.在步骤s102中，上述标签信息是指训练图像是否包含火焰烟雾。具体地，上述标签信息为训练图像为火焰烟雾图像、训练图像为无火焰有烟雾图像、训练图像为有火焰无烟雾图像、训练图像为无火焰无烟雾图像。
47.具体可以通过多种方式获取训练图像。例如，可以从摄像头拍摄视频的连续帧图像中获取存在烟雾或不存在烟雾或存在火焰或不存在火焰的多张图像，也可以是从预先存储的图像中获取存在烟雾或不存在烟雾或存在火焰或不存在火焰的多张图像，也可以是网络中搜索获取存在烟雾或不存在烟雾或存在火焰或不存在火焰的多张图像，此处不做具体限制。
48.s103、基于主干网络，对任一个训练图像进行特征提取，并基于火焰烟雾识别网络对提取到的图像特征进行火焰烟雾识别，得到训练图像对应的识别结果。
49.在步骤s103中，上述主干网络是指用于提取待识别图像的特征的网络。
50.下面以一实施例对主干网络的结构进行解释说明，如图2所示，图2为主干网络的结构图，主干网络包括part1和part2两个分支，其中，part1为主干网络的主干部分，part2为主干网络的支路部分，part1堆叠的残差块res(x)block，part2相当于一个残差边，经过少量处理直接连接到最后，因此实现对网络优化中的重复梯度信息进行剔除，减少了推理过程的计算量，提高了对训练图像进行特征提取的效率。
51.上述火焰烟雾识别网络是指基于火焰烟雾识别算法对烟雾和火焰进行识别并定位的算法。实现上述火焰烟雾识别算法是通过本方案采用的目标检测算法。以本技术实施例采用的yolov4目标检测算法为例，通过yolov4目标检测算法对图像特征进行提取后判定
是否存在烟雾以及是否存在火焰，若存在火焰和/或烟雾，则对火焰和/或烟雾的位置进行判定并用检测框对火焰和/或烟雾进行定位。
52.通过主干网络和火焰烟雾识别网络对训练图像进行训练，得到该初始化火焰烟雾识别模型的识别结果，以便于根据识别结果对初始化火焰烟雾识别模型进行调整，通过提高对火焰和烟雾的识别速度，确保预警的及时性。
53.s104、针对每一个训练图像，将训练图像的标签信息和训练图像的识别结果进行比对，得到训练图像的比对结果。
54.在步骤s104中，上述比对结果是指训练图像的标签信息和训练图像的识别结果是否一致。例如，当训练图像的标签信息和训练图像的识别结果同时为存在烟雾和火焰，则比对结果为两个结果一致；当训练图像的标注结果和训练图像的识别结果一个存在烟雾和火焰，一个不存在烟雾和火焰时，则对比结果为两个结果不一致。
55.此处需要说明的是，针对每一个训练图像，得到一个比对结果。训练图像的个数与比对结果的个数相同。
56.通过将训练图像的标签信息和训练图像的识别结果进行比对，得到训练图像的比对结果，根据比对结果可对该初始化火焰烟雾识别模型进行调整，通过提高对烟雾和火焰的识别速度，确保预警的及时性。
57.s105、在比对结果不满足预设训练条件时，则对初始化火焰烟雾识别模型进行参数调整，并返回获取训练图像集合，并将训练图像集合输入初始化火焰烟雾识别模型中的步骤继续训练，直到比对结果满足预设训练条件，得到火焰烟雾识别模型。
58.在步骤s105中，上述预设训练条件是指该模型训练结束的条件。
59.该预设训练条件可以根据具体实际情况进行调整，例如，采用loss损失函数判定模型训练是否结束、采用mish激活函数判定模型训练是否结束。
60.应用损失函数时，其具体是：根据比对结果，计算损失值。在损失值未达到预设损失值时，则对初始化火焰烟雾识别模型进行参数调整，并返回获取训练图像集合，并将训练图像集合输入初始化火焰烟雾识别模型中的步骤继续训练。在损失值达到预设损失值时，将得到的模型作为火焰烟雾识别模型。
61.优选地，本技术采用mish激活函数判定模型训练是否结束。应理解，mish激活函数通过对负值趋向于0部分设置光滑的梯度流，火焰烟雾区域的像素值变化缓慢而循循渐进的，因而使用光滑的梯度流使得火焰烟雾区域图像的信息能够更好的深入神经网络，相对于原来硬零边界得到了更好的准确性和泛化性。
62.通过训练得到的火焰烟雾识别模型，提高对烟雾和火焰的识别速度，确保预警的及时性。
63.在步骤s102中，可选地，获取训练图像集合包括：
64.获取训练图像，并将标签信息为存在火焰和/或烟雾的训练图像作为待拼接图像集合。
65.基于数据增强方式，从待拼接图像集合依次选取出四张待拼接图像进行拼接，得到拼接图像。
66.将拼接图像和训练图像加入训练图像集合中。
67.其中，上述数据增强方式为mosaic数据增强方式。
68.采用mosaic数据增强方式，利用四张图片进行拼接。mosaic数据增强能够将四张火焰烟雾图像进行拼接，每一张火焰烟雾图像都有其对应的定位框，将四张火焰烟雾图像拼接之后可以获得一张拼接图像，该拼接图像也为火焰烟雾图像，同时也获得该拼接图像对应的定位框。
69.将该拼接图像传入到初始化火焰烟雾识别模型中去学习，该初始化火焰烟雾识别模型能够一次性提取到四张火焰烟雾图像的知识，同时，该初始化火焰烟雾识别模型能够获得更多的监测区域的背景特征，确保了在燃气站下快速识别火焰和烟雾，提高对烟雾和火焰的识别速度，确保预警的及时性。
70.请参阅图3，图3示出本发明实施例提供的一种火焰烟雾识别方法，以该方法应用在图1中的火焰烟雾识别模型训练方法为例进行说明，详述如下：
71.s201、对监测区域进行图像采集，得到待识别图像。
72.s202、将待识别图像输入到火焰烟雾识别模型中进行火焰烟雾识别，得到识别结果，其中，火焰烟雾识别模型为通过如权利要求1至3任一项的火焰烟雾识别模型训练方法训练得到的模型。
73.s203、当识别结果为待识别图像存在火焰和/或待识别图像存在烟雾时，则对待识别图像进行预警识别，得到预警结果，其中，当预警结果为需要预警时，则触发预设报警机制。
74.在步骤s201中，具体可以通过多种方式获取待识别图像。例如，可以从摄像头拍摄视频的连续帧图像中获取待识别图像，也可以是从预先存储的图像中获取待识别图像，此处不做具体限制。
75.优选地，本技术通过高清摄像头海康威视ds-7732n-k4 32路高清网络视频存储nvr监控录像机烟雾和火焰的图像进行检测和捕捉，自动实现预警。
76.在步骤s203中，上述预警识别是指该待识别图像存在烟雾或者火焰的地方是否存在火灾危险。
77.上述预设报警机制包括但不限于声音报警、灯光报警等。上述报警信号可根据实际情况具体调整。
78.在本实施例中，通过火焰烟雾识别模型训练方法训练得到的模型实现对监测区域的火焰烟雾识别的速度和准确性，通过提高对烟雾和火焰的识别速度，确保预警的及时性。
79.在本技术的一些实施例中，步骤s203进一步包括：
80.s2031、当识别结果为待识别图像存在火焰和/或待识别图像存在烟雾时，则对待识别图像进行区域识别，得到火焰烟雾区域和工作区域。
81.s2032、对火焰烟雾区域和工作区域进行重合区域计算，得到重合区域面积比值。
82.s2033、当重合区域面积大于预设面积时，则触发预设报警机制。
83.在步骤s2031中，其具体是，当识别结果为待识别图像存在烟雾和/或存在火焰时，则对待识别图像进行特征提取，得到图像特征。对图像特征进行火焰烟雾定位，得到火焰烟雾定位点，对图像特征进行工作区域定位，得到工作区域定位点。基于火焰烟雾定位点确定火焰烟雾区域，并基于工作区域定位点，确定工作区域。
84.在步骤s2032中，以图4所示，图中的area1是指火焰烟雾区域，图中的area2是指工作区域，图中的area是指火焰烟雾区域和工作区域的重合区域，对火焰烟雾区域和工作区
域进行重合区域计算，得到重合区域面积比值的具体过程包括：确定火焰烟雾区域任一对角线从上到下的两个顶点的坐标为(x11，y11)、(x12，y12)，工作区域对角线从上到下的两个顶点的坐标为(x21，y21)、(x22，y22)其中，火焰烟雾区域的对角线与火焰烟雾区域的对角线平行。当x12》x21或者y12《y21时，则说明火焰烟雾区域与工作区域无公共区域，即确定重合区域面积比值为0。否则，则基于所有顶点坐标，对火焰烟雾区域和工作区域进行重合区域计算，得到重合区域面积比值。在图4中，可通过iou＝area/(area1+area2-area)计算得到重合区域面积比值，其中iou是指火焰烟雾区域和工作区域的交并比值。
85.在本实施例中，通过对待识别图像进行区域识别，并对识别得到的火焰烟雾区域和工作区域进行重合区域计算，得到重合区域面积比值。基于重合区域面积比值，快速确定是否预警，再提高对监测区域的火焰烟雾识别的速度和准确性的同时，通过提高对烟雾和火焰的识别速度，确保预警的及时性。
86.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
87.图5示出与上述实施例火焰烟雾识别模型训练方法一一对应的火焰烟雾识别模型训练装置的原理框图。如图5所示，该火焰烟雾识别模型训练装置包括初始化火焰烟雾识别模型构建模块31、输入模块32、火焰烟雾识别模块33、比对模块34和火焰烟雾识别模型获取模块35。各功能模块详细说明如下：
88.初始化火焰烟雾识别模型构建模块31，用于基于目标检测算法，构建初始化火焰烟雾识别模型，其中，初始化火焰烟雾识别模型包括主干网络和火焰烟雾识别网络。
89.输入模块32，用于获取训练图像集合，并将训练图像集合输入初始化火焰烟雾识别模型中，其中，训练图像集合包括训练图像，每一个训练图像对应一个标签信息。
90.火焰烟雾识别模块33，用于基于主干网络，对任一个训练图像进行特征提取，并基于火焰烟雾识别网络对提取到的图像特征进行火焰烟雾识别，得到训练图像对应的识别结果。
91.比对模块34，用于针对每一个训练图像，将训练图像的标签信息和训练图像的识别结果进行比对，得到训练图像的比对结果。
92.火焰烟雾识别模型获取模块35，用于在比对结果不满足预设训练条件时，则对初始化火焰烟雾识别模型进行参数调整，并返回获取训练图像集合，并将训练图像集合输入初始化火焰烟雾识别模型中的步骤继续训练，直到比对结果满足预设训练条件，得到火焰烟雾识别模型。
93.可选地，输入模块32包括：
94.待拼接图像集合获取单元，用于获取训练图像，并将标签信息为存在烟雾和/或存在火焰的训练图像作为待拼接图像集合。
95.拼接单元，用于基于数据增强方式，从待拼接图像集合依次选取出四张待拼接图像进行拼接，得到拼接图像。
96.训练图像集合获取单元，用于将拼接图像和训练图像加入训练图像集合中。
97.可选地，火焰烟雾识别模型获取模块35包括：
98.损失值获取单元，用于根据比对结果，计算损失值。
99.循环单元，用于在损失值未达到预设损失值时，则对初始化火焰烟雾识别模型进行参数调整，并返回获取训练图像集合，并将训练图像集合输入初始化火焰烟雾模型中的步骤继续训练。
100.火焰烟雾识别模型获取单元，用于在损失值达到预设损失值时，将得到的模型作为火焰烟雾识别模型。
101.关于火焰烟雾识别模型训练装置的具体限定可以参见上文中对于火焰烟雾识别模型训练方法的限定，在此不再赘述。上述火焰烟雾识别模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
102.图6示出与上述实施例火焰烟雾识别方法一一对应的火焰烟雾识别装置的原理框图。如图6所示，该火焰烟雾识别装置包括待识别图像获取模块41、识别结果获取模块42和预警模块43。各功能模块详细说明如下：
103.待识别图像获取模块41，用于对监测区域进行图像采集，得到待识别图像。
104.识别结果获取模块42，用于将待识别图像输入到火焰烟雾识别模型中进行火焰烟雾识别，得到识别结果，其中，火焰烟雾识别模型为通过如权利要求1至3任一项的火焰烟雾识别模型训练方法训练得到的模型。
105.预警模块43，用于当识别结果为待识别图像存在火焰和/或待识别图像存在烟雾时，则对待识别图像进行预警识别，得到预警结果，其中，当预警结果为需要预警时，则触发预设报警机制。
106.可选地，预警模块43进一步包括：
107.区域识别单元，用于当识别结果为待识别图像存在火焰和/或待识别图像存在烟雾时，则对待识别图像进行区域识别，得到火焰烟雾区域和工作区域。
108.重合区域面积比值获取单元，用于对火焰烟雾区域和工作区域进行重合区域计算，得到重合区域面积比值。
109.预警单元，用于当重合区域面积大于预设面积时，则触发预设报警机制。
110.可选地，区域识别单元进一步包括：
111.特征提取单元，用于当识别结果为待识别图像存在火焰和/或待识别图像存在烟雾时，则对待识别图像进行特征提取，得到图像特征。
112.定位点获取单元，用于对图像特征进行火焰烟雾定位，得到火焰烟雾定位点，对图像特征进行工作区域定位，得到工作区域定位点。
113.区域确定单元，用于基于火焰烟雾定位点确定火焰烟雾区域，并基于工作区域定位点，确定工作区域。
114.可选地，重合区域面积比值获取单元进一步包括：
115.坐标确定单元，用于确定火焰烟雾区域任一对角线从上到下的两个顶点的坐标为(x11，y11)、(x12，y12)，工作区域对角线从上到下的两个顶点的坐标为(x21，y21)、(x22，y22)其中，火焰烟雾区域的对角线与火焰烟雾区域的对角线平行。
116.第一重合区域面积比值获取单元，用于当x12》x21或者y12《y21时，则确定重合区域面积比值为0。
117.第二重合区域面积比值获取单元，用于否则，则基于所有顶点坐标，对火焰烟雾区域和工作区域进行重合区域计算，得到重合区域面积比值。
118.关于火焰烟雾识别装置的具体限定可以参见上文中对于火焰烟雾识别方法的限定，在此不再赘述。上述火焰烟雾识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
119.本技术还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的火焰烟雾识别模型训练方法和火焰烟雾识别方法的步骤。
120.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
121.显然，以上所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例，附图中给出了本技术的较佳实施例，但并不限制本技术的专利范围。本技术可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本技术的公开内容的理解更加透彻全面。尽管参照前述实施例对本技术进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本技术说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本技术专利保护范围之内。
技术特征：1.一种火焰烟雾识别模型训练方法，其特征在于，所述火焰烟雾识别模型训练方法包括：基于目标检测算法，构建初始化火焰烟雾识别模型，其中，所述初始化火焰烟雾识别模型包括主干网络和火焰烟雾识别网络；获取训练图像集合，并将所述训练图像集合输入所述初始化火焰烟雾识别模型中，其中，所述训练图像集合包括训练图像，每一个所述训练图像对应一个标签信息；基于所述主干网络，对任一个所述训练图像进行特征提取，并基于所述火焰烟雾识别网络对提取到的图像特征进行火焰烟雾识别，得到所述训练图像对应的识别结果；针对每一个所述训练图像，将所述训练图像的标签信息和所述训练图像的识别结果进行比对，得到所述训练图像的比对结果；在所述比对结果不满足预设训练条件时，则对所述初始化火焰烟雾识别模型进行参数调整，并返回所述获取训练图像集合，并将所述训练图像集合输入所述初始化火焰烟雾识别模型中的步骤继续训练，直到所述比对结果满足预设训练条件，得到火焰烟雾识别模型。2.如权利要求1所述的火焰烟雾识别模型训练方法，其特征在于，所述获取训练图像集合包括：获取训练图像，并将标签信息为存在烟雾和/或存在火焰的所述训练图像作为待拼接图像集合；基于数据增强方式，从所述待拼接图像集合依次选取出四张所述待拼接图像进行拼接，得到拼接图像；将所述拼接图像和所述训练图像加入训练图像集合中。3.如权利要求1所述的火焰烟雾识别模型训练方法，其特征在于，所述在所述比对结果不满足预设训练条件时，则对所述初始化火焰烟雾识别模型进行参数调整，并返回所述获取训练图像集合，并将所述训练图像集合输入所述初始化火焰烟雾识别模型中的步骤继续训练，直到所述比对结果满足预设训练条件，得到火焰烟雾识别模型的步骤包括：根据所述比对结果，计算损失值；在所述损失值未达到预设损失值时，则对所述初始化火焰烟雾识别模型进行参数调整，并返回所述获取训练图像集合，并将所述训练图像集合输入所述初始化火焰烟雾识别模型中的步骤继续训练；在所述损失值达到所述预设损失值时，将得到的模型作为所述火焰烟雾识别模型。4.一种火焰烟雾识别方法，其特征在于，所述火焰烟雾识别方法包括：对监测区域进行图像采集，得到待识别图像；将所述待识别图像输入到火焰烟雾识别模型中进行火焰烟雾识别，得到识别结果，其中，所述火焰烟雾识别模型为通过如权利要求1至3任一项所述的火焰烟雾识别模型训练方法训练得到的模型；当所述识别结果为所述待识别图像存在火焰和/或所述待识别图像存在烟雾时，则对所述待识别图像进行预警识别，得到预警结果，其中，当所述预警结果为需要预警时，则触发预设报警机制。5.如权利要求4所述的火焰烟雾识别方法，其特征在于，所述当所述识别结果为所述待识别图像存在火焰和/或所述待识别图像存在烟雾时，则对所述待识别图像进行预警识别，
得到预警结果，其中，当所述预警结果为需要预警时，则触发预设报警机制的步骤包括：当所述识别结果为所述待识别图像存在火焰和/或所述待识别图像存在烟雾时，则对所述待识别图像进行区域识别，得到火焰烟雾区域和工作区域；对所述火焰烟雾区域和所述工作区域进行重合区域计算，得到重合区域面积比值；当所述重合区域面积大于预设面积时，则触发预设报警机制。6.如权利要求5所述的火焰烟雾识别方法，其特征在于，所述当所述识别结果为所述待识别图像存在火焰和/或所述待识别图像存在烟雾时，则对所述待识别图像进行区域识别，得到火焰烟雾区域和工作区域包括：当所述识别结果为所述待识别图像存在火焰和/或所述待识别图像存在烟雾时，则对所述待识别图像进行特征提取，得到图像特征；对所述图像特征进行火焰烟雾定位，得到火焰烟雾定位点，对所述图像特征进行工作区域定位，得到工作区域定位点；基于所述火焰烟雾定位点确定火焰烟雾区域，并基于所述工作区域定位点，确定工作区域。7.如权利要求1所述的火焰烟雾识别方法，其特征在于，所述对所述火焰烟雾区域和所述工作区域进行重合区域计算，得到重合区域面积比值的步骤包括：确定所述火焰烟雾区域任一对角线从上到下的两个顶点的坐标为(x11，y11)、(x12，y12)，所述工作区域对角线从上到下的两个顶点的坐标为(x21，y21)、(x22，y22)其中，所述火焰烟雾区域的对角线与所述火焰烟雾区域的对角线平行；当x12>x21或者y12<y21时，则确定重合区域面积比值为0；否则，则基于所有所述顶点坐标，对所述火焰烟雾区域和所述工作区域进行重合区域计算，得到重合区域面积比值。8.一种火焰烟雾识别模型训练装置，其特征在于，所述火焰烟雾识别模型训练装置包括：初始化火焰烟雾识别模型构建模块，用于基于目标检测算法，构建初始化火焰烟雾识别模型，其中，所述初始化火焰烟雾识别模型包括主干网络和火焰烟雾识别网络；输入模块，用于获取训练图像集合，并将所述训练图像集合输入所述初始化火焰烟雾识别模型中，其中，所述训练图像集合包括训练图像，每一个所述训练图像对应一个标签信息；火焰烟雾识别模块，用于基于所述主干网络，对任一个所述训练图像进行特征提取，并基于所述火焰烟雾识别网络对提取到的图像特征进行火焰烟雾识别，得到所述训练图像对应的识别结果；比对模块，用于针对每一个所述训练图像，将所述训练图像的标签信息和所述训练图像的识别结果进行比对，得到所述训练图像的比对结果；火焰烟雾识别模型获取模块，用于在所述比对结果不满足预设训练条件时，则对所述初始化火焰烟雾识别模型进行参数调整，并返回所述获取训练图像集合，并将所述训练图像集合输入所述初始化火焰烟雾识别模型中的步骤继续训练，直到所述比对结果满足预设训练条件，得到火焰烟雾识别模型。9.一种火焰烟雾识别装置，其特征在于，所述火焰烟雾识别装置包括：
待识别图像获取模块，用于对监测区域进行图像采集，得到待识别图像；识别结果获取模块，用于将所述待识别图像输入到火焰烟雾识别模型中进行火焰烟雾识别，得到识别结果，其中，所述火焰烟雾识别模型为通过如权利要求1至3任一项所述的火焰烟雾识别模型训练方法训练得到的模型；预警模块，用于当所述识别结果为所述待识别图像存在火焰和/或所述待识别图像存在烟雾时，则对所述待识别图像进行预警识别，得到预警结果，其中，当所述预警结果为需要预警时，则触发预设报警机制。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的火焰烟雾识别模型训练方法和/或如权利要求4至7任一项所述的火焰烟雾识别方法。
技术总结本发明涉及计算机安防领域，公开了一种火焰烟雾识别模型训练方法、火焰烟雾识别方法、装置及存储介质，所述火焰烟雾识别方法包括：对监测区域进行图像采集，得到待识别图像；将所述待识别图像输入到火焰烟雾识别模型中进行火焰烟雾识别，得到识别结果，其中，所述火焰烟雾识别模型为通过火焰烟雾识别模型训练方法训练得到的模型；当所述识别结果为所述待识别图像存在火焰和/或所述待识别图像存在烟雾时，则对所述待识别图像进行预警识别，得到预警结果，其中，当所述预警结果为需要预警时，则触发预设报警机制，采用本发明通过提高对烟雾和火焰的识别速度，确保预警的及时性。确保预警的及时性。确保预警的及时性。
技术研发人员：刘宝刚
受保护的技术使用者：深圳市莱达四维信息科技有限公司
技术研发日：2022.07.19
技术公布日：2022/11/1
