本发明涉及火焰监控，具体涉及基于工业视觉技术的火焰智能监控系统及方法。
背景技术：
1、工业视觉技术是指利用计算机视觉技术和图像处理技术，对工业生产过程中的视觉信息进行获取、处理和分析的一门技术，它主要通过摄像头或传感器获取实时图像或视频流，然后利用各种图像处理算法和机器学习方法，对这些图像进行分析和解释。
2、传统系统通常依赖人工巡检或者简单的传感器报警，这种方式容易出现漏报或者误报，因为人工巡检可能不及时或者不精准，传感器的灵敏度和准确性也相对较低，而且传统系统的火焰识别通常依赖于简单的烟雾或者热敏感元件，对于火焰的识别能力有限，容易受到环境因素的干扰，如烟雾、光线变化等，导致误报或者漏报的情况，且传统系统往往缺乏对监控视频的深度分析和处理能力，无法进行像素级别的分析或者多特征融合的火焰识别和评估，因此在复杂环境或者多目标场景中表现较差，并且传统系统通常无法有效地记录和分析历史监控视频，因此对于事后的火灾分析和安全改进支持有限。
技术实现思路
1、本发明目的是针对背景技术中存在的问题，提出基于工业视觉技术的火焰智能监控系统及方法。
2、本发明的技术方案：基于工业视觉技术的火焰智能监控系统，包括火焰定位单元、目标复检单元、火焰评估单元、异常警报单元和可视化单元，还包括：
3、视频监控单元，所述视频监控单元用于对目标区域进行视频监控，以得到所述目标区域内的实时监控视频，并将所述目标区域内的实时监控视频传输至关键帧提取单元和目标检测单元；
4、关键帧提取单元，所述关键帧提取单元对视频监控单元传输的所述目标区域内的实时监控视频进行接收，并通过关键帧提取方法对所述目标区域内的实时监控视频进行关键帧提取，以得到所述实时监控视频所对应的多个关键帧，并将所述实时监控视频所对应的多个关键帧传输至目标复检单元；
5、目标检测单元，所述目标检测单元对视频监控单元传输的所述目标区域内的实时监控视频进行接收，并获取所述目标区域内的实时监控视频的最新帧，并通过已训练好的目标检测模型对所述最新帧进行目标检测，以确定所述最新帧是否存在目标火焰，若存在目标火焰，则检测所述最新帧中所述目标火焰的目标框位置和目标的类别，并将存在目标火焰的所述最新帧传输至火焰评估单元，且将所述最新帧中所述目标火焰的目标框位置和目标的类别传输至异常警报单元和可视化单元，并获取存在目标火焰的实时监控视频，并对所述实时监控视频进行历史记录，以得到历史监控视频，并将所述历史监控视频传输至火焰定位单元。
6、优选的，所述火焰评估单元对目标检测单元传输的存在目标火焰的所述最新帧进行接收，并通过边缘检测算法对存在目标火焰的所述最新帧进行边缘检测，以得到目标火焰图像，并对所述目标火焰图像进行特征提取，以得到所述目标火焰图像的图像特征集，所述图像特征集包括颜色特征、纹理特征、形状特征和小波能量特征，将所述图像特征集进行多特征融合，以得到所述目标火焰图像的融合特征，并通过已训练好的支持向量机对所述目标火焰图像的融合特征和所述图像特征集进行分类，以得到所述目标火焰所对应的火焰等级，将所述目标火焰所对应的火焰等级传输至异常警报单元和可视化单元。
7、优选的，所述目标复检单元对关键帧提取单元传输的所述实时监控视频所对应的多个关键帧进行接收，并通过已训练好的目标检测模型对多个关键帧进行目标检测，以确定所述多个关键帧是否存在目标火焰，若存在目标火焰，则检测所述多个关键帧中所述目标火焰的目标框位置和目标的类别，且将所述多个关键帧中所述目标火焰的目标框位置和目标的类别传输至异常警报单元和可视化单元。
8、优选的，所述火焰定位单元对目标检测单元传输的所述历史监控视频进行接收，并通过已训练好的火焰检测模型检测所述历史监控视频中包含目标火焰的视频段，以得到所述视频段的时间边界，并将所述视频段的时间边界传输至可视化单元。
9、优选的，所述异常警报单元对目标检测单元传输的所述最新帧中所述目标火焰的目标框位置和目标的类别、火焰评估单元传输的所述目标火焰所对应的火焰等级和目标复检单元传输的所述多个关键帧中所述目标火焰的目标框位置和目标的类别进行接收，并基于所述最新帧中所述目标火焰的目标框位置和目标的类别、所述多个关键帧中所述目标火焰的目标框位置和目标的类别和所述目标火焰所对应的火焰等级生成相应的异常警报信号，并基于所述异常警报信号通过报警设备进行异常报警。
10、优选的，所述可视化单元对目标检测单元传输的所述最新帧中所述目标火焰的目标框位置和目标的类别、火焰评估单元传输的所述目标火焰所对应的火焰等级、目标复检单元传输的所述多个关键帧中所述目标火焰的目标框位置和目标的类别和火焰定位单元传输的所述视频段的时间边界进行接收，并将所述最新帧中所述目标火焰、多个关键帧中所述目标火焰和所述目标火焰所对应的火焰等级进行显示，并基于所述视频段的时间边界对所述历史监控视频进行定位，以得到所述历史监控视频中包含目标火焰的视频段，并将所述历史监控视频中包含目标火焰的视频段进行显示。
11、优选的，所述关键帧提取方法，包括以下步骤：
12、a1、将所述目标区域内的实时监控视频划分成多个连续的视频帧，对所述实时监控视频内所有相邻的所述视频帧的互信息量进行计算；
13、a2、构建预设尺寸的滑动窗口，在所述滑动窗口内比较各个所述视频帧的互信息量，判断当前比较的所述视频帧的互信息量是否为所述滑动窗口内所述视频帧的互信息量的最小值，若为最小值，则将所述滑动窗口向右移动，否则，则执行步骤a3；
14、a3、计算所述滑动窗口的局部自适应阈值，所述局部自适应阈值计算公式如下：
15、
16、其中，ui表示均值，σi表示标准差，ti表示局部自适应阈值，it,t+1表示互信息量，γ表示预设参数，2n+1表示滑动窗口的大小，t表示视频帧的序号；
17、a4、将当前比较的所述视频帧的互信息量与所述局部自适应阈值进行比对，若小于所述局部自适应阈值，则表明当前比较的所述视频帧为突变帧，并将所述滑动窗口右移，直至当前比较的所述视频帧的互信息量不小于所述局部自适应阈值，从而得到渐变结束帧，并将所述突变帧和渐变结束帧作为关键帧。
18、优选的，对所述目标火焰图像进行特征提取，以得到所述目标火焰图像的图像特征集，包括以下步骤：
19、b1、对所述目标火焰图像进行颜色特征提取，以得到所述目标火焰图像的颜色特征，所述颜色特征提取公式如下：
20、
21、其中，v、s和h分别表示色调、饱和度和亮度，r、g和b表示目标火焰图像的rgb值；
22、b2、对所述目标火焰图像进行纹理特征提取，以得到所述目标火焰图像的纹理特征，所述纹理特征提取公式如下：
23、
24、其中，lbx(xc,yc)表示纹理特征，m表示像素点数，gi表示相邻像素的灰度值，gc表示中心灰度值，(xc,yc)表示中心像素，表示符号函数，且
25、b3、对所述目标火焰图像进行形状特征提取，以得到所述目标火焰图像的形状特征，所述形状特征提取公式如下：
26、
27、其中，g(x,y)表示像素点(x,y)处的梯度幅值，α(x,y)表示像素点(x,y)处的梯度方向，gx(x,y)和gy(x,y)分别表示像素点(x,y)在x和y方向上的梯度幅值，且h(x,y)表示像素点(x,y)处的像素值；
28、b4、对所述目标火焰图像进行小波能量特征提取，以得到所述目标火焰图像的小波能量特征，所述小波能量特征提取公式如下：
29、
30、其中，e表示小波能量特征，m和n分别表示频道系数矩阵的大小，x(m,n)表示频道系数矩阵中位于m行n列处的值；
31、b5、将所述颜色特征、所述纹理特征、所述形状特征和所述小波能量特征进行组合，以得到所述目标火焰图像的图像特征集。
32、优选的，将所述图像特征集进行多特征融合，以得到所述目标火焰图像的融合特征，包括以下步骤：
33、c1、对所述图像特征集进行分块识别，并基于分块特征维数对特征块进行选择，以得到多维样本特征，所述特征块选择公式如下：
34、
35、其中，r(c)、r(s)、r(e)和r(t)分别表示颜色、形状、小波能量和纹理终选特征块识别率，r(ci)、r(sj)、r(eu)和r(tk)分别表示颜色、形状、小波能量和纹理特征块的识别率，d(t)和d(t)分别表示纹理备选和终选特征块维度，τ表示特征块容忍度；
36、c2、通过主成分析方法从所述多维样本特征中提取最优主分量，所述最优主分量提取要求公式如下：
37、
38、其中，c(yo)、r(yo)和v(yo)分别表示主分量的贡献率、识别率和上升速度，t表示主分量的贡献率的阈值，η表示容忍度，r(ys)和r(yr)表示前s个和前r个主分量的识别率；
39、c3、计算所述颜色、形状、小波能量和纹理最优主分量的权重，所述最优主分量的权重公式如下：
40、
41、其中，ωθ表示颜色、形状、小波能量和纹理最优主分量的权重，表示颜色、形状、小波能量和纹理主分量的识别率；
42、c4、基于所述颜色、形状、小波能量和纹理最优主分量的权重将所述颜色、形状、小波能量和纹理特征进行加权平均，以得到所述目标火焰图像的融合特征。
43、优选的，所述火焰检测模型包括特征提取模块、第一预测模块和第二预测模块，所述特征提取模块采用三维卷积神经网络提取所述历史监控视频的时空特征，所述第一预测模块用于对所述历史监控视频的时间边界进行粗预测，以得到粗时间边界，所述第二预测模块用于对第一预测模块粗预测的粗时间边界内的视频段的时间边界进行细预测，所述第一预测模块通过全连接层将所述时空特征fl划分为定位特征和分类特征并通过两个时序卷积层对所述定位特征和所述分类特征中每个时间步进行预测，对于第i个时间步，生成视频段实例的粗时间边界和分类分数并通过时间尺度放缩模块将所述粗时间边界转换为真粗时间边界所述第二预测模块通过全连接层将所述定位特征划分为起始特征和终止特征基于所述真粗时间边界分别提取两段控制区域通过边界池化模块在所述两段控制区域内寻找起始特征最大值和终止特征最大值将所述起始特征最大值和所述终止特征最大值相拼接，以得到复合特征，通过时序卷积层对所述复合特征进行降维，以得到特征序列，基于所述特征序列预测视频段的时间边界的偏移量，基于所述时间边界的偏移量和所述真粗时间边界获取细时间边界。
44、优选的，所述真粗时间边界计算公式如下：
45、
46、其中，i表示总步长中终止特征第i个时间步，l表示历史监控视频中第l个视频段；
47、所述起始特征和终止特征计算公式如下：
48、
49、其中，σ表示relu激活函数，gn表示批归一化操作，conv表示卷积层；
50、所述控制区域计算公式如下：
51、
52、其中，σ表示relu激活函数，gn表示批归一化操作，conv表示卷积层。
53、本发明的技术方案：基于工业视觉技术的火焰智能监控方法，其适用于所述的基于工业视觉技术的火焰智能监控系统，其特征在于，包括以下步骤：
54、s1、实时监控目标区域，获取实时监控视频，并从实时监控视频中提取关键帧；
55、s2、使用训练好的目标检测模型分析最新的监控帧，检测是否存在火焰，并定位火焰的位置和类别；
56、s3、对检测到的火焰图像进行边缘检测和特征提取，以得到图像特征集，将图像特征集进行融合，以得到融合特征，通过已训练好的支持向量机对融合特征和图像特征集进行分类，确定火焰的等级；
57、s4、对多个关键帧进行再次目标检测，检测是否存在火焰，并定位火焰的位置和类别；
58、s5、分析历史监控视频，检测其中包含火焰的视频段，并标记其时间边界；
59、s6、基于检测到的火焰和火焰的等级生成相应的异常警报信号，并将监测到的火焰位置、类别和历史视频段进行可视化展示。
60、与现有技术相比，本发明的上述技术方案具有如下有益的技术效果：
61、1、本发明通过视频监控单元实时获取目标区域内的监控视频，并通过目标检测单元和关键帧提取单元快速识别和定位火焰，这种实时性能使得系统能够及时响应火灾事件，有助于减少火灾可能造成的损失和危害，通过火焰评估单元利用边缘检测算法和支持向量机对目标火焰图像进行特征提取和分类，可以有效区分火焰的类型和火焰等级，这种分类有助于对火灾情况进行准确的评估和处理，提高了应对火灾的决策效率。
62、2、本发明通过异常警报单元基于目标检测结果和火焰评估的等级信息生成异常报警信号，通过报警设备实现及时的警报通知，这种功能能够在火灾初期即时发现并响应，有助于快速采取紧急措施，减少火灾带来的损失和风险，通过可视化单元结合火焰定位单元的时间边界信息，对历史监控视频进行定位和显示，能够回溯火灾事件的发生和发展过程，这种功能不仅有助于事后事故分析和责任追踪，也能为未来的火灾预防和安全管理提供宝贵的经验和数据支持。
1.基于工业视觉技术的火焰智能监控系统，包括火焰定位单元(4)、目标复检单元(5)、火焰评估单元(6)、异常警报单元(7)和可视化单元(8)，其特征在于：
2.根据权利要求1所述的基于工业视觉技术的火焰智能监控系统，其特征在于：所述火焰评估单元(6)对目标检测单元(3)传输的存在目标火焰的所述最新帧进行接收，并通过边缘检测算法对存在目标火焰的所述最新帧进行边缘检测，以得到目标火焰图像，并对所述目标火焰图像进行特征提取，以得到所述目标火焰图像的图像特征集，所述图像特征集包括颜色特征、纹理特征、形状特征和小波能量特征，将所述图像特征集进行多特征融合，以得到所述目标火焰图像的融合特征，并通过已训练好的支持向量机对所述目标火焰图像的融合特征和所述图像特征集进行分类，以得到所述目标火焰所对应的火焰等级，将所述目标火焰所对应的火焰等级传输至异常警报单元(7)和可视化单元(8)；
3.根据权利要求2所述的基于工业视觉技术的火焰智能监控系统，其特征在于：所述火焰定位单元(4)对目标检测单元(3)传输的所述历史监控视频进行接收，并通过已训练好的火焰检测模型检测所述历史监控视频中包含目标火焰的视频段，以得到所述视频段的时间边界，并将所述视频段的时间边界传输至可视化单元(8)；
4.根据权利要求3所述的基于工业视觉技术的火焰智能监控系统，其特征在于：所述可视化单元(8)对目标检测单元(3)传输的所述最新帧中所述目标火焰的目标框位置和目标的类别、火焰评估单元(6)传输的所述目标火焰所对应的火焰等级、目标复检单元(5)传输的所述多个关键帧中所述目标火焰的目标框位置和目标的类别和火焰定位单元(4)传输的所述视频段的时间边界进行接收，并将所述最新帧中所述目标火焰、多个关键帧中所述目标火焰和所述目标火焰所对应的火焰等级进行显示，并基于所述视频段的时间边界对所述历史监控视频进行定位，以得到所述历史监控视频中包含目标火焰的视频段，并将所述历史监控视频中包含目标火焰的视频段进行显示。
5.根据权利要求1所述的基于工业视觉技术的火焰智能监控系统，其特征在于：所述关键帧提取方法，包括以下步骤：
6.根据权利要求2所述的基于工业视觉技术的火焰智能监控系统，其特征在于：对所述目标火焰图像进行特征提取，以得到所述目标火焰图像的图像特征集，包括以下步骤：
7.根据权利要求2所述的基于工业视觉技术的火焰智能监控系统，其特征在于：将所述图像特征集进行多特征融合，以得到所述目标火焰图像的融合特征，包括以下步骤：
8.根据权利要求3所述的基于工业视觉技术的火焰智能监控系统，其特征在于：所述火焰检测模型包括特征提取模块、第一预测模块和第二预测模块，所述特征提取模块采用三维卷积神经网络提取所述历史监控视频的时空特征，所述第一预测模块用于对所述历史监控视频的时间边界进行粗预测，以得到粗时间边界，所述第二预测模块用于对第一预测模块粗预测的粗时间边界内的视频段的时间边界进行细预测，所述第一预测模块通过全连接层将所述时空特征fl划分为定位特征和分类特征并通过两个时序卷积层对所述定位特征和所述分类特征中每个时间步进行预测，对于第i个时间步，生成视频段实例的粗时间边界和分类分数并通过时间尺度放缩模块将所述粗时间边界转换为真粗时间边界所述第二预测模块通过全连接层将所述定位特征划分为起始特征和终止特征基于所述真粗时间边界分别提取两段控制区域通过边界池化模块在所述两段控制区域内寻找起始特征最大值和终止特征最大值将所述起始特征最大值和所述终止特征最大值相拼接，以得到复合特征，通过时序卷积层对所述复合特征进行降维，以得到特征序列，基于所述特征序列预测视频段的时间边界的偏移量，基于所述时间边界的偏移量和所述真粗时间边界获取细时间边界。
9.根据权利要求8所述的基于工业视觉技术的火焰智能监控系统，其特征在于：所述真粗时间边界计算公式如下：
10.基于工业视觉技术的火焰智能监控方法，其适用于权利要求1-9任意一项所述的基于工业视觉技术的火焰智能监控系统，其特征在于，包括以下步骤：
