1.本发明涉及目标检测及煤矿开采领域，尤其涉及一种掘进机截割头落地保护检测的方法及装置。
背景技术：2.煤矿巷道掘进生产过程中，截割作业完成后，要求对掘进机进行断电闭锁，且掘进机截割头尽可能落地、并安装保护罩，防止后续作业过程中工人因截割头出现受伤事故。通常煤矿生产中，安排专门人员进行巡查监督，这种方式人为主观影响较大、且需要投入人力成本，不够便捷。
技术实现要素：3.为克服相关技术中存在的问题，本发明提供一种掘进机截割头落地保护检测的方法及装置，能够基于机器视觉技术，自动进行掘进机截割头落地识别、安装保护罩识别，取代人员检查监督方式，杜绝人为主观影响、减少人力成本投入、提升生产效率。
4.根据本发明实施例的第一方面，提供一种掘进机截割头落地保护检测的方法，包括：
5.获取掘进机机头区域图像；
6.利用目标检测模型识别图像中的截割头和保护罩，得到截割头区域坐标和保护罩区域坐标；
7.判断所述截割头区域坐标和保护罩区域坐标的重叠率是否超过预设值，若否则发出报警提示。
8.进一步，在获取掘进机机头区域图像之前，该方法还包括：
9.判断掘进机是否处于停机闭锁状态，若是则执行获取掘进机机头区域图像的步骤，否则不执行。
10.进一步，该方法还包括：
11.若在识别到截割头之后的设定时间内未识别到保护罩，则发出报警提示。
12.进一步，利用目标检测模型识别到图像中的保护罩，得到保护罩区域坐标，具体包括：
13.在预设时长内利用目标检测模型检测保护罩，得到多个保护罩区域坐标；
14.根据所述多个保护罩区域坐标判断保护罩是否不再移动，若是则记录当前的保护罩区域坐标作为最终的保护罩区域坐标。
15.进一步，所述根据所述多个保护罩区域坐标判断保护罩是否不再移动，具体包括：
16.若相邻时间点获得的保护罩区域坐标之间的重叠率均超过预设阈值，或，相邻时间点获得的保护罩区域坐标中心点的距离均在预设值范围内，则判断保护罩不再移动。
17.根据本发明实施例的第二方面，提供一种掘进机截割头落地保护检测的装置，包括：
18.图像获取模块，用于获取掘进机机头区域图像；
19.目标检测模块，用于利用目标检测模型识别图像中的截割头和保护罩，得到截割头区域坐标和保护罩区域坐标；
20.报警判断模块，用于判断所述截割头区域坐标和保护罩区域坐标的重叠率是否超过预设值，若否则发出报警提示。
21.进一步，该装置还包括：
22.停机状态判断模块，用于判断掘进机是否处于停机闭锁状态；
23.所述图像获取模块，用于若所述停机状态判断模块判断掘进机处于停机闭锁状态时，获取掘进机机头区域图像。
24.进一步，所述报警判断模块，用于若在识别到截割头之后的设定时间内未识别到保护罩，则发出报警提示。
25.进一步，所述目标检测模块，具体包括：
26.保护罩检测单元，用于在预设时长内利用目标检测模型检测保护罩，得到多个保护罩区域坐标；
27.移动判断单元，用于根据所述多个保护罩区域坐标判断保护罩是否不再移动；
28.坐标记录单元，用于若所述移动判断单元判断保护罩不再移动，则记录当前的保护罩区域坐标作为最终的保护罩区域坐标。
29.进一步，所述移动判断单元，具体用于：
30.若相邻时间点获得的保护罩区域坐标之间的重叠率均超过预设阈值，或，相邻时间点获得的保护罩区域坐标中心点的距离均在预设值范围内，则判断保护罩不再移动。
31.根据本发明实施例的第三方面，提供一种终端设备，包括：
32.处理器；以及
33.存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
34.根据本发明实施例的第四方面，提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
35.本发明的实施例提供的技术方案可以包括以下有益效果：
36.通过目标检测模型算法识别掘进机截割头与保护罩，并结合识别坐标计算规则，准确判断掘进机停机后是否有效及时地进行了截割头落地保护操作，若发现工人未执行截割头落地保护操作，及时发现并报警提示，减少人工检查监督环节，保证安全生产，避免安全事故发生。
37.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
38.通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。
39.图1是根据本发明一示例性实施例示出的一种掘进机截割头落地保护检测的方法的流程示意图；
40.图2是信息处理设备拓扑图；
41.图3是本发明一示例性实施例示出的一种掘进机截割头落地保护检测方法的识别判断逻辑；
42.图4是根据本发明示例性实施例示出的一种掘进机截割头落地保护检测的装置的结构框图；
43.图5是根据本发明一示例性实施例示出的一种计算设备的结构示意图。
具体实施方式
44.下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。
45.在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
46.应当理解，尽管在本发明可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
47.本发明的主体思路是：在掘进机机头合适位置安装矿用摄像头，要求能够清晰观察到掘进机悬臂及截割头，且掘进机悬臂向下偏移、截割头落地时也能够观察到，将视频图像实时传输到gpu服务器，进行图像识别分析，利用目标检测模型识别图像中的截割头及保护罩，结合截割头和保护罩的坐标位置，判断是否进行了掘进机截割头落地保护操作。
48.相应的信息处理设备拓扑图如图2所示，矿用摄像机采集图像数据后，通过井下交换机、地面交换机、防火墙网络，进入流媒体服务器，流媒体服务器对图像数据进行切片处理，再将切片图像传输到gpu服务器，gpu服务器对图像进行模型运算，得出模型识别结果，最终将识别结果传输到应用服务器，应用服务器根据不同的识别结果，进行逻辑处理，判断是否发送井下报警广播指令。如果下发广播指令，广播信息或经过防火墙、地面交换机、井下交换机网络，下发到矿用广播设备，进行广播告警。
49.以下结合附图详细描述本发明实施例的技术方案。
50.图1是根据本发明一示例性实施例示出的一种掘进机截割头落地保护检测的方法的流程示意图。
51.参见图1，该方法包括：
52.110、获取掘进机机头区域图像；
53.120、利用目标检测模型识别图像中的截割头和保护罩，得到截割头区域坐标和保护罩区域坐标；
54.130、判断所述截割头区域坐标和保护罩区域坐标的重叠率是否超过预设值，若否则发出报警提示。
55.可选地，在该实施例中，在步骤110之前，该方法还包括：
56.100、判断掘进机是否处于停机闭锁状态，若是则执行步骤110，否则不执行。
57.可选地，在该实施例中，该方法还包括：
58.140、若在识别到截割头之后的设定时间内未识别到保护罩，则发出报警提示。
59.可选地，在该实施例中，步骤120中利用目标检测模型识别到图像中的保护罩，得到保护罩区域坐标，具体包括：
60.1201、在预设时长内利用目标检测模型检测保护罩，得到多个保护罩区域坐标；
61.1202、根据所述多个保护罩区域坐标判断保护罩是否不再移动，若是则记录当前的保护罩区域坐标作为最终的保护罩区域坐标。
62.可选地，在该实施例中，步骤1202中根据所述多个保护罩区域坐标判断保护罩是否不再移动，具体包括：
63.若相邻时间点获得的保护罩区域坐标之间的重叠率均超过预设阈值，或，相邻时间点获得的保护罩区域坐标中心点的距离均在预设值范围内，则判断保护罩不再移动。
64.下面以一个具体实例对本发明实施例进行具体说明，如图3所示，该方法具体的识别判断逻辑如下：
65.1.程序接入掘进机停机闭锁信号，持续监控停机闭锁信号是否触发；
66.2.判断掘进机停机闭锁信号是否为停机闭锁状态，当掘进机处于停机闭锁状态时，说明掘进机割煤结束，开始了其他作业内容，此时需要进行截割头落地保护操作，程序开始监控作业人员是否执行了截割头落地保护操作，执行第3步；如果未触发停机闭锁信号，则不作处理；
67.3.程序接入视频监控图像，流媒体服务器对图像进行每一帧的切图，并输入gpu服务器，gpu服务器进行图像识别处理(具体处理过程请参见设备拓扑图)；
68.4.通过目标识别模型，进行截割头对象的识别处理，检测到截割头后，记录截割头对象的矩形区域坐标；
69.5.监测一定时间内(例如3分钟)，是否能够识别到保护罩对象，如果能识别到，则执行第6步；如果不能识别到，则执行第9步；
70.6.检测到保护罩后，且保护罩对象坐标数据趋于稳定，不再发生移动。具体判断保护罩对象是否不再移动的方法是：间隔2s不断纪录保护罩坐标数据，并且判断当前这次坐标数据与上一次坐标数据区域重合度是否达到预设值90％，如果达到，计时30s，30s内坐标数据重合度始终保持在90％以上，则该坐标值就是最终的保护罩坐标数据(也可以通过判断识别对象这一次中心点坐标与上一次中心点坐标移动距离是否在预设值范围内，如果在预设值范围内，计时30s，30s内坐标移动距离始终保持在预设值范围内，则该中心点坐标对应的区域坐标就是最终的保护罩坐标数据)。
71.记录保护罩对象区域坐标；
72.7.计算截割头区域坐标与保护罩区域坐标的重叠率；
73.8.判断截割头区域坐标与保护罩区域坐标的重叠率，如果重叠率超过预设值，则判定截割头落地保护操作执行完成，流程结束；如果重叠率未超过预设值，则判定截割头落地保护操作不规范，执行第9步；
74.9.输出未执行截割头落地保护操作或操作不合规，记录违规行为、广播报警，流程结束；
75.图4是根据本发明示例性实施例示出的一种掘进机截割头落地保护检测的装置的结构框图。
76.参见图4，该系统包括：
77.图像获取模块，用于获取掘进机机头区域图像；
78.目标检测模块，用于利用目标检测模型识别图像中的截割头和保护罩，得到截割头区域坐标和保护罩区域坐标；
79.报警判断模块，用于判断所述截割头区域坐标和保护罩区域坐标的重叠率是否超过预设值，若否则发出报警提示。
80.可选地，在该实施例中，该装置还包括：
81.停机状态判断模块，用于判断掘进机是否处于停机闭锁状态；
82.所述图像获取模块，用于若所述停机状态判断模块判断掘进机处于停机闭锁状态时，获取掘进机机头区域图像。
83.可选地，在该实施例中，所述报警判断模块，用于若在识别到截割头之后的设定时间内未识别到保护罩，则发出报警提示。
84.可选地，在该实施例中，所述目标检测模块，具体包括：
85.保护罩检测单元，用于在预设时长内利用目标检测模型检测保护罩，得到多个保护罩区域坐标；
86.移动判断单元，用于根据所述多个保护罩区域坐标判断保护罩是否不再移动；
87.坐标记录单元，用于若所述移动判断单元判断保护罩不再移动，则记录当前的保护罩区域坐标作为最终的保护罩区域坐标。
88.可选地，在该实施例中，所述移动判断单元，具体用于：
89.若相邻时间点获得的保护罩区域坐标之间的重叠率均超过预设阈值，或，相邻时间点获得的保护罩区域坐标中心点的距离均在预设值范围内，则判断保护罩不再移动。
90.关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
91.图5是根据本发明一示例性实施例示出的一种计算设备的结构示意图。
92.参见图5，计算设备500包括存储器510和处理器520。
93.处理器520可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
94.存储器510可以包括各种类型的存储单元，例如系统内存、只读存储器(rom)，和永
久存储装置。其中，rom可以存储处理器520或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器510可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(dram，sram，sdram，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器510可以包括可读和/或写的可移除的存储设备，例如激光唱片(cd)、只读数字多功能光盘(例如dvd-rom，双层dvd-rom)、只读蓝光光盘、超密度光盘、闪存卡(例如sd卡、min sd卡、micro-sd卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
95.存储器510上存储有可执行代码，当可执行代码被处理器520处理时，可以使处理器520执行上文述及的方法中的部分或全部。
96.上文中已经参考附图详细描述了本发明的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本发明所必须的。另外，可以理解，本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本发明实施例装置中的模块可以根据实际需要进行合并、划分和删减。
97.此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中部分或全部步骤的计算机程序代码指令。
98.或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤的部分或全部。
99.本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
100.附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
101.以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨
在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
技术特征：1.一种掘进机截割头落地保护检测的方法，其特征在于，包括：获取掘进机机头区域图像；利用目标检测模型识别图像中的截割头和保护罩，得到截割头区域坐标和保护罩区域坐标；判断所述截割头区域坐标和保护罩区域坐标的重叠率是否超过预设值，若否则发出报警提示。2.根据权利要求1所述的方法，其特征在于，在获取掘进机机头区域图像之前，还包括：判断掘进机是否处于停机闭锁状态，若是则执行获取掘进机机头区域图像的步骤，否则不执行。3.根据权利要求1所述的方法，其特征在于，还包括：若在识别到截割头之后的设定时间内未识别到保护罩，则发出报警提示。4.根据权利要求1-3任一项所述的方法，其特征在于，利用目标检测模型识别到图像中的保护罩，得到保护罩区域坐标，具体包括：在预设时长内利用目标检测模型检测保护罩，得到多个保护罩区域坐标；根据所述多个保护罩区域坐标判断保护罩是否不再移动，若是则记录当前的保护罩区域坐标作为最终的保护罩区域坐标。5.根据权利要求4所述的方法，其特征在于，所述根据所述多个保护罩区域坐标判断保护罩是否不再移动，具体包括：若相邻时间点获得的保护罩区域坐标之间的重叠率均超过预设阈值，或，相邻时间点获得的保护罩区域坐标中心点的距离均在预设值范围内，则判断保护罩不再移动。6.一种掘进机截割头落地保护检测的装置，其特征在于，包括：图像获取模块，用于获取掘进机机头区域图像；目标检测模块，用于利用目标检测模型识别图像中的截割头和保护罩，得到截割头区域坐标和保护罩区域坐标；报警判断模块，用于判断所述截割头区域坐标和保护罩区域坐标的重叠率是否超过预设值，若否则发出报警提示。7.根据权利要求6所述的装置，其特征在于，所述目标检测模块，具体包括：保护罩检测单元，用于在预设时长内利用目标检测模型检测保护罩，得到多个保护罩区域坐标；移动判断单元，用于根据所述多个保护罩区域坐标判断保护罩是否不再移动；坐标记录单元，用于若所述移动判断单元判断保护罩不再移动，则记录当前的保护罩区域坐标作为最终的保护罩区域坐标。8.根据权利要求7所述的装置，其特征在于，所述移动判断单元，具体用于：若相邻时间点获得的保护罩区域坐标之间的重叠率均超过预设阈值，或，相邻时间点获得的保护罩区域坐标中心点的距离均在预设值范围内，则判断保护罩不再移动。9.一种终端设备，其特征在于，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-5中任一项所述的方法。
10.一种非暂时性机器可读存储介质，其上存储有可执行代码，其特征在于，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-5中任一项所述的方法。
技术总结本发明是关于一种掘进机截割头落地保护检测的方法及装置。该方法包括：获取掘进机机头区域图像；利用目标检测模型识别图像中的截割头和保护罩，得到截割头区域坐标和保护罩区域坐标；判断所述截割头区域坐标和保护罩区域坐标的重叠率是否超过预设值，若否则发出报警提示。本发明提供的方案，通过目标检测模型算法识别掘进机截割头与保护罩，并结合识别坐标计算规则，准确判断掘进机停机后是否有效及时地进行了截割头落地保护操作，若发现工人未执行截割头落地保护操作，及时发现并报警提示，减少人工检查监督环节，保证安全生产，避免安全事故发生。全事故发生。全事故发生。
技术研发人员：周佳宇 龚大立 赵存会 朱晓宁 李园园 吴喆峰 任兴刚 白慧杰
受保护的技术使用者：精英数智科技股份有限公司
技术研发日：2022.06.24
技术公布日：2022/11/1
