1.本发明涉及高炉炼铁技术领域，具体提供一种高炉风口的异常状态评估方法、装置及存储介质。
背景技术：2.热风炉系统将鼓风加热到1100-1200摄氏度，煤粉喷吹系统将煤粉从高炉风口喷入高炉。铁矿石、焦炭、煤粉、氧气等多种原材料在高炉内发生化学反应冶炼出生铁。这一过程中，需要实时监控风口煤粉喷出状态，避免出现断煤、风口煤粉磨小套、风口渣皮堆积等问题。
3.随着风口成像设备的出现，可将风口成像摄像机的实时视频通过网络传输到显示屏进行显示。但是，还存在下述问题：第一、风口数量多，海量的实时视频数据靠有限的人眼观察，不能满足时间连续性和画面细节捕捉的高要求；第二、即使操作工及时观察到了问题，也需要凭借一定的经验才能做出判断。因此，对于高炉风口的异常状态检测效率较低且检测精度较差，难以及时发现高炉风口存在的异常。
4.相应地，本领域需要一种新的高炉风口的异常状态评估方案来解决上述问题。
技术实现要素：5.为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决现有的高炉风口的异常状态主要由人工检测导致检测效率和检测精度较差的技术问题。本发明提供了一种高炉风口的异常状态评估方法、装置及存储介质。
6.在第一方面，本发明提供一种高炉风口的异常状态评估方法，所述方法包括：获取高炉风口的视频帧图像；对所述视频帧图像进行检测，得到风口位置和风口缺陷类别；基于所述风口位置确定高炉铁水温度；基于所述风口缺陷类别和高炉铁水温度评估高炉风口的异常状态。
7.在一个实施方式中，对所述视频帧图像进行检测，得到风口位置和风口缺陷类别，包括：利用风口缺陷检测模型对所述视频帧图像进行检测，得到风口位置和风口缺陷类别。
8.在一个实施方式中，基于所述风口位置确定高炉铁水温度，包括：基于所述风口位置从所述视频帧图像中获取风口图像；基于所述风口图像获取风口亮度；基于所述风口亮度获得高炉铁水温度。
9.在一个实施方式中，基于所述风口图像获取风口亮度，包括：将所述风口图像转换为yuv图像；基于所述yuv图像的明亮度确定风口亮度；和/或
10.基于所述风口亮度获得高炉铁水温度，包括：基于所述风口亮度与高炉铁水温度之间的对应关系获得所述高炉铁水温度。
11.在一个实施方式中，基于所述风口缺陷类别和高炉铁水温度评估高炉风口的异常状态，包括：对预设时间段内的风口缺陷类别进行组合，得到风口缺陷类别序列；基于所述高炉铁水温度获取预设时间段内的高炉铁水温度曲线；在所述风口缺陷类别序列和高炉铁
水温度曲线中的至少一个满足预设条件时，则确定所述高炉风口存在异常状态。
12.在一个实施方式中，所述风口缺陷类别包括断煤、风口煤粉磨小套和风口渣皮堆积中的至少一种；所述方法还包括：在确定所述高炉风口存在异常状态的情况下，且所述风口缺陷类别为断煤和风口煤粉磨小套中的任意一种时，对用户进行预警提示；和/或
13.在确定所述高炉风口存在异常状态的情况下，且所述风口缺陷类别为风口渣皮堆积时，对用户进行报警提示。
14.在一个实施方式中，所述风口缺陷检测模型为yolov4单阶段检测模型。
15.在第二方面，本发明提供一种高炉风口的异常状态评估装置，所述装置包括：
16.获取模块，被配置为获取高炉风口的视频帧图像；
17.检测模块，被配置为对所述视频帧图像进行检测，得到风口位置和风口缺陷类别；
18.确定模块，被配置为基于所述风口位置确定高炉铁水温度；
19.评估模块，被配置为基于所述风口缺陷类别和高炉铁水温度评估高炉风口的异常状态。
20.在第三方面，提供一种电子设备，该电子设备包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行前述任一项所述的高炉风口的异常状态评估方法。
21.在第四方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行前述任一项所述的高炉风口的异常状态评估方法。
22.本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
23.本发明提出了一种高炉风口的异常状态评估方法，首先获取高炉风口的视频帧图像，接着对视频帧图像进行检测，得到风口位置和风口缺陷类别，其次基于风口位置确定高炉铁水温度，最后基于风口缺陷类别和高炉铁水温度评估高炉风口的异常状态。如此，实现了高炉风口的异常状态的自动化评估，提高了高炉风口异常状态的检测效率和检测精度。
附图说明
24.参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。此外，图中类似的数字用以表示类似的部件，其中：
25.图1是根据本发明的一个实施例的高炉风口的异常状态评估方法的主要步骤流程示意图；
26.图2是根据本发明的一个实施例的确定高炉铁水温度的流程示意图；
27.图3是根据本发明的一个实施例的异常状态报警的流程示意图；
28.图4是根据本发明的一个实施例的高炉风口的异常状态评估方法的完整流程示意图；
29.图5是根据本发明的另一个实施例的风口缺陷类别检测示意图；
30.图6是根据本发明的一个实施例的高炉风口的异常状态评估装置的主要结构框图示意图。
31.附图标记列表：
32.11：获取模块；12：检测模块；13：确定模块；14：评估模块。
具体实施方式
33.下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
34.在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“a和/或b”表示所有可能的a与b的组合，比如只是a、只是b或者a和b。术语“至少一个a或b”或者“a和b中的至少一个”含义与“a和/或b”类似，可以包括只是a、只是b或者a和b。单数形式的术语“一个”、“这个”也可以包含复数形式。
35.目前，风口成像摄像机的实时视频可以通过网络传输到显示屏进行显示。但是，还存在下述问题：第一、风口数量多，海量的实时视频数据靠有限的人眼观察，不能满足时间连续性和画面细节捕捉的高要求；第二、即使操作工及时观察到了问题，也需要凭借一定的经验才能做出判断。因此，对于高炉风口的异常状态检测效率较低且检测精度较差，难以及时发现高炉风口存在的异常。
36.为此，本技术提出了一种高炉风口的异常状态评估方法、装置及存储介质，首先获取高炉风口的视频帧图像，接着对视频帧图像进行检测，得到风口位置和风口缺陷类别，其次基于风口位置确定高炉铁水温度，最后基于风口缺陷类别和高炉铁水温度评估高炉风口的异常状态。如此，实现了高炉风口的异常状态的自动化评估，提高了高炉风口异常状态的检测效率和检测精度。
37.参阅附图1，图1是根据本发明的一个实施例的高炉风口的异常状态评估方法的主要步骤流程示意图。
38.如图1所示，本发明实施例中的高炉风口的异常状态评估方法主要包括下列步骤s101-步骤s104。
39.步骤s101：获取高炉风口的视频帧图像。
40.视频智能管控平台实时存储高炉风口的监控视频。因此，可以从所述视频智能管控平台中获取预设时间段内的高炉风口的视频流，注意，这里的预设时间可以是用户所关注的时间段。接着对所述视频流进行解码，得到高炉风口的视频帧图像。
41.具体地，利用ffmpeg解析器对所述视频流进行音视分离，再利用视频解码器引擎nvdec进行解码操作，从而实现对视频流的解码。
42.在一些具体实施方式中，还可以从解码后的视频流中抽取关键帧图像，以此作为视频帧图像。
43.视频中的1秒对应n帧，常见的n＝25，由于相邻帧图像的差异较小，因此可以从解码后的视频流中抽取多帧图像进行检测。具体是对视频流解码后，设置跳帧频率，以实现每隔n帧抽取一帧图像，以此作为图像帧进行检测。
44.示例性地，视频是25帧/秒，跳帧频率为25，即1秒钟抽取一张图像进行风口位置和风口缺陷类别的检测。
45.步骤s102：对视频帧图像进行检测，得到风口位置和风口缺陷类别。
46.在一个具体实施方式中，对视频帧图像进行检测，得到风口位置和风口缺陷类别，包括：利用风口缺陷检测模型对视频帧图像进行检测，得到风口位置和风口缺陷类别。
47.风口缺陷检测模型可以是r-cnn、金字塔特征提取网络或者yolo系列网络的至少一种，但不限于此。也可以是其它能够实现风口位置和风口缺陷类别检测的深度学习网络。
48.在一个具体实施方式中，所述风口缺陷检测模型为yolov4单阶段检测模型。
49.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，以yolov4单阶段检测模型作为风口缺陷检测模型的示例，对视频帧图像检测进行详细说明。本领域技术人员应当理解的是，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明所描述的视频帧图像检测使用yolov4单阶段检测模型作为风口缺陷检测模型。
50.具体在对yolov4单阶段检测模型进行训练之前，先对单帧的视频帧图像的风口缺陷类别进行标注。在模型训练时，利用这些标注好的视频帧图像进行监督训练。具体来说，yolov4单阶段检测模型能够输出风口位置(左上角横坐标x，左上角纵坐标y，检测框宽度w，检测框高度h)和风口异常类别。
51.风口缺陷类别包括断煤、风口煤粉磨小套和风口渣皮堆积中的至少一种。
52.步骤s103：基于风口位置确定高炉铁水温度。
53.在一个具体实施方式中，基于风口位置确定高炉铁水温度，包括：首先基于风口位置从视频帧图像中获取风口图像，接着基于风口图像获取风口亮度，最后基于风口亮度获得高炉铁水温度。
54.基于前述步骤s102获得的风口位置是由矩形框的左上角坐标和右下角坐标表示的位置坐标，基于此风口位置坐标，可以从相应的视频帧图像中抠出风口图像，进而基于该风口图像获取风口亮度。
55.在一个具体实施方式中，基于风口图像获取风口亮度，包括：将风口图像转换为yuv图像；基于yuv图像的明亮度确定风口亮度。
56.具体来说，风口图像是rgb图像，可以先通过常用的转换方法将其转换为yuv图像，接着统计风口光亮处y通道(明亮度)平均值，并将该平均值作为风口亮度。
57.在一个具体实施方式中，基于风口亮度获得高炉铁水温度，包括：基于风口亮度与高炉铁水温度之间的对应关系获得高炉铁水温度。
58.具体来说，可以预先获取预设风口亮度与高炉铁水温度之间的对应关系，这种对应关系是线性回归模型。线性回归模型可以是诸如预设风口亮度越大、高炉铁水温度越高这样的线性关系。因此，在得到风口亮度后，可以进一步依据线性回归模型获得高炉铁水温度。
59.示例性地，如图2所示，预先已经获取到高炉在各个时段的铁水温度记录表，根据表中记录的时段，找到预设时段的风口状态视频，截取风口图像，对当前时段风口亮度进行评估。这样，利用相同时间下获取到的铁水温度和风口亮度，建立风口亮度和预设风口亮度与高炉铁水温度之间的线性回归模型。
60.步骤s104：基于风口缺陷类别和高炉铁水温度评估高炉风口的异常状态。
61.具体是结合连续多帧图像的风口缺陷类别和高炉铁水温度，利用滑动窗口，在窗口内分析当前时段的风口异常状态。
62.由于高炉内高温、气流等原因，风口相机实时画面变动大，连续两帧图像差距大。而对风口异常状况的判断，通常是要根据一段时间内风口状态持续情况来判断的。例如，若极短时间内风口出现了短暂异常，不认为是有效异常，不需要告警。因此，选择滑动窗口的方式，对一段时间内风口状态平滑处理，更合理地分析风口状态。
63.在一个具体实施方式中，基于风口缺陷类别和高炉铁水温度评估高炉风口的异常状态，包括：首先对预设时间段内的风口缺陷类别进行组合，得到风口缺陷类别序列；接着基于高炉铁水温度获取预设时间段内的高炉铁水温度曲线；最后在风口缺陷类别序列和高炉铁水温度曲线中的至少一个满足预设条件时，则确定高炉风口存在异常状态。
64.示例性地，可以获取用户关注的当前半小时内的风口缺陷类别和高炉铁水温度曲线。具体如图3所示，将当前半小时内获取的多帧图像对应的风口缺陷类别按照时间序列进行组合，得到风口缺陷类别序列。接着判断半小时的风口煤粉磨小套的出现次数是否大于预设次数，若是，则确定高炉风口存在异常状态。
65.另外，还可以根据高炉铁水温度曲线来判断当前半小时内的高炉铁水温度是否超过预设温度，当超过预设温度时，则确定高炉风口存在异常状态。高炉铁水温度超过预设温度时，用户还可以对高炉铁水温度进行调节。
66.基于上述步骤s101-步骤s104，首先获取高炉风口的视频帧图像，接着对视频帧图像进行检测，得到风口位置和风口缺陷类别，其次基于风口位置确定高炉铁水温度，最后基于风口缺陷类别和高炉铁水温度评估高炉风口的异常状态。如此，实现了高炉风口的异常状态的自动化评估，提高了高炉风口异常状态的检测效率和检测精度。
67.在一个具体实施方式中，风口缺陷类别包括断煤、风口煤粉磨小套和风口渣皮堆积中的至少一种；所述方法还包括：
68.在确定高炉风口存在异常状态的情况下，且风口缺陷类别为断煤和风口煤粉磨小套中的任意一种时，对用户进行预警提示；和/或
69.在确定高炉风口存在异常状态的情况下，且风口缺陷类别为风口渣皮堆积时，对用户进行报警提示。
70.具体是在识别高炉风口存在断煤或风口煤粉磨小套时，则对用户进行预警提示。例如，可以发送诸如“当前时间段内高炉风口存在断煤或风口煤粉磨小套”的预警信息。
71.具体在确定高炉风口存在风口渣皮堆积时，对用户进行报警提示。例如，可以发送“当前时间段内高炉风口存在风口渣皮堆积”的报警信息。
72.如此，在确定高炉风口存在异常状态的情况下，向用户发送预警信息或者报警信息，以使得用户及时知晓高炉风口的当前状况。
73.对于本技术的完整实现步骤，具体如图4所示。对于获取到的视频流，首先可以抓取关键帧图像，对于每一个关键帧图像，利用风口缺陷检测模型获取风口位置和风口缺陷类别。
74.接着利用风口位置抠图得到风口图像，并根据风口图像得到高炉铁水温度。
75.其次，获取预设时间段内的风口缺陷类别序列和高炉铁水温度曲线，从而进行风口异常预警或者报警评估。
76.如此，实现了高炉风口的异常状态的自动化评估，提高了检测效率。另外，对于风口缺陷类别和风口位置的检测通过网络模型来实现，有利于提高检测精度。
77.在另一个实施方式中，除了使用前述实施例的方式对单帧图像进行检测之外，如图5所示，还可以使用诸如c3d的视频分析算法，直接对时序范围的连续帧图像(即小段视频)进行分析，得到风口缺陷类别。
78.需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本发明的保护范围之内。
79.进一步，本发明还提供了一种高炉风口的异常状态评估装置。
80.参阅附图6，图6是根据本发明的一个实施例的高炉风口的异常状态评估装置的主要结构框图。
81.如图6所示，本发明实施例中的高炉风口的异常状态评估装置主要包括获取模块11、检测模块12、确定模块13和评估模块14。在一些实施例中，获取模块11、检测模块12、确定模块13和评估模块14中的一个或多个可以合并在一起成为一个模块。
82.在一些实施例中获取模块11可以被配置为获取高炉风口的视频帧图像。
83.检测模块12可以被配置为对视频帧图像进行检测，得到风口位置和风口缺陷类别。
84.确定模块13可以被配置为基于风口位置确定高炉铁水温度；
85.评估模块14可以被配置为基于风口缺陷类别和高炉铁水温度评估高炉风口的异常状态。
86.一个实施方式中，具体实现功能的描述可以参见步骤s101-步骤s104所述。
87.上述高炉风口的异常状态评估装置以用于执行图1所示的高炉风口的异常状态评估方法实施例，两者的技术原理、所解决的技术问题及产生的技术效果相似，本技术领域技术人员可以清楚地了解到，为了描述的方便和简洁，高炉风口的异常状态评估装置的具体工作过程及有关说明，可以参考高炉风口的异常状态评估方法的实施例所描述的内容，此处不再赘述。
88.本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
89.进一步，本发明还提供了一种电子设备。在根据本发明的一个电子设备实施例中，电子设备包括处理器和存储装置，存储装置可以被配置成存储执行上述方法实施例的高炉
风口的异常状态评估方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的高炉风口的异常状态评估方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。
90.进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的高炉风口的异常状态评估方法的程序，该程序可以由处理器加载并运行以实现上述高炉风口的异常状态评估方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
91.进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。
92.本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。
93.至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
技术特征：1.一种高炉风口的异常状态评估方法，其特征在于，所述方法包括：获取高炉风口的视频帧图像；对所述视频帧图像进行检测，得到风口位置和风口缺陷类别；基于所述风口位置确定高炉铁水温度；基于所述风口缺陷类别和高炉铁水温度评估高炉风口的异常状态。2.根据权利要求1所述的异常状态评估方法，其特征在于，对所述视频帧图像进行检测，得到风口位置和风口缺陷类别，包括：利用风口缺陷检测模型对所述视频帧图像进行检测，得到风口位置和风口缺陷类别。3.根据权利要求1所述的异常状态评估方法，其特征在于，基于所述风口位置确定高炉铁水温度，包括：基于所述风口位置从所述视频帧图像中获取风口图像；基于所述风口图像获取风口亮度；基于所述风口亮度获得高炉铁水温度。4.根据权利要求3所述的异常状态评估方法，其特征在于，基于所述风口图像获取风口亮度，包括：将所述风口图像转换为yuv图像；基于所述yuv图像的明亮度确定风口亮度；和/或基于所述风口亮度获得高炉铁水温度，包括：基于所述风口亮度与高炉铁水温度之间的对应关系获得所述高炉铁水温度。5.根据权利要求1所述的异常状态评估方法，其特征在于，基于所述风口缺陷类别和高炉铁水温度评估高炉风口的异常状态，包括：对预设时间段内的风口缺陷类别进行组合，得到风口缺陷类别序列；基于所述高炉铁水温度获取预设时间段内的高炉铁水温度曲线；在所述风口缺陷类别序列和高炉铁水温度曲线中的至少一个满足预设条件时，则确定所述高炉风口存在异常状态。6.根据权利要求1所述的异常状态评估方法，其特征在于，所述风口缺陷类别包括断煤、风口煤粉磨小套和风口渣皮堆积中的至少一种；所述方法还包括：在确定所述高炉风口存在异常状态的情况下，且所述风口缺陷类别为断煤和风口煤粉磨小套中的任意一种时，对用户进行预警提示；和/或在确定所述高炉风口存在异常状态的情况下，且所述风口缺陷类别为风口渣皮堆积时，对用户进行报警提示。7.根据权利要求2所述的异常状态评估方法，其特征在于，所述风口缺陷检测模型为yolov4单阶段检测模型。8.一种高炉风口的异常状态评估装置，其特征在于，所述装置包括：获取模块，被配置为获取高炉风口的视频帧图像；检测模块，被配置为对所述视频帧图像进行检测，得到风口位置和风口缺陷类别；确定模块，被配置为基于所述风口位置确定高炉铁水温度；评估模块，被配置为基于所述风口缺陷类别和高炉铁水温度评估高炉风口的异常状态。9.一种电子设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特
征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至7中任一项所述的高炉风口的异常状态评估方法。10.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至7中任一项所述的高炉风口的异常状态评估方法。
技术总结本发明涉及高炉炼铁技术领域，具体提供一种高炉风口的异常状态评估方法、装置及存储介质，旨在解决现有的高炉风口的异常主要由人工检测导致检测效率和检测精度较差的技术问题。为此目的，本发明的高炉风口的异常状态评估方法包括：获取高炉风口的视频帧图像；对视频帧图像进行检测，得到风口位置和风口缺陷类别；基于风口位置确定高炉铁水温度；基于风口缺陷类别和高炉铁水温度评估高炉风口的异常状态。如此，提高了高炉风口异常的检测效率和检测精度。度。度。
技术研发人员：周依梦
受保护的技术使用者：重庆中科云从科技有限公司
技术研发日：2022.06.24
技术公布日：2022/11/1
