本技术涉及违建巡查，尤其涉及一种基于深度学习的违建巡查方法、系统、设备及介质。
背景技术：
1、目前对于土地资源的监测措施较少，很难及时发现违规建筑的情况。相关技术中，存在人工巡查的方式对违规建筑进行巡查，即通过人工到实地进行巡逻或通过无人机等获取相应的图像，再通过人工进行判断。但是，在实际应用中发现，这些方案需要消耗较高的人工成本，并且人工判断容易出现误判的情况，影响了违建巡查的效率。综上，相关技术中存在的技术问题有待得到改善。
技术实现思路
1、本技术实施例的主要目的在于提出一种基于深度学习的违建巡查方法、系统、设备及介质，能够提高违建巡查的效率。
2、为实现上述目的，本技术实施例的一方面提出了一种基于深度学习的违建巡查方法，所述方法包括：
3、获取违建巡查视频；
4、将所述违建巡查视频发送至服务端，通过所述服务端对所述违建巡查视频进行视频流检测处理，得到检测图像；
5、将所述检测图像发送至客户端，通过所述客户端对所述检测图像进行图像识别处理，得到违建图像；
6、将所述违建图像输入视觉语言模型进行违建分析处理，得到违建巡查结果。
7、在一些实施例中，所述通过所述服务端对所述违建巡查视频进行视频流检测处理，得到检测图像，包括以下步骤：
8、通过所述服务端进行请求监听处理，获取得到所述违建巡查视频；
9、将初始化的第一图像识别模型加载至流分析框架中，通过所述流分析框架对所述违建巡查视频进行推流中断检测处理，得到中断结果；
10、根据所述中断结果通过所述第一图像识别模型对所述违建巡查视频进行多任务图像识别处理，得到检测图像。
11、在一些实施例中，所述根据所述中断结果通过所述第一图像识别模型对所述违建巡查视频进行多任务图像识别处理，得到检测图像，包括以下步骤：
12、当所述中断结果为视频流中断时，通过辅助服务对所述流分析框架进行算法服务重启处理，得到重启后的算法服务；
13、通过所述算法服务对所述违建巡查视频进行推理告警处理，得到告警信息；
14、根据所述告警信息对所述违建巡查视频进行图像截取处理，得到告警图像；
15、通过所述第一图像识别模型对所述告警图像进行告警分析处理，得到检测图像。
16、在一些实施例中，所述通过所述客户端对所述检测图像进行图像识别处理，得到违建图像，包括以下步骤：
17、根据所述客户端的环境对多个神经网络进行训练和测试处理，从所述多个神经网络中选取得到第二图像识别模型；
18、将所述第二图像识别模型部署在所述客户端，通过所述客户端启用所述第二图像识别模型对所述检测图像进行图像识别处理，得到违建图像。
19、在一些实施例中，所述将所述违建图像输入视觉语言模型进行违建分析处理，得到违建巡查结果，包括以下步骤：
20、获取输入问题，将所述违建图像输入至所述视觉语言模型；
21、根据所述输入问题对所述视觉语言模型进行多轮对话处理，得到对话内容；
22、根据所述对话内容对所述违建图像进行检测分析处理，得到违建巡查结果。
23、在一些实施例中，在所述将所述违建图像输入视觉语言模型进行违建分析处理之前，所述方法还包括预先训练所述视觉语言模型，具体包括以下步骤：
24、获取训练图像；
25、对所述训练图像进行描述生成处理，得到文本描述；
26、将所述训练图像和所述文本描述确定为训练数据；
27、通过所述视觉语言模型对所述训练数据进行任务生成处理，得到生成结果；
28、根据所述生成结果对所述视觉语言模型进行参数调整处理，得到训练完成的所述视觉语言模型。
29、在一些实施例中，所述获取违建巡查视频，包括以下步骤：
30、获取巡查区域；
31、根据所述巡查区域部署无人机巡查路线；
32、根据所述无人机巡查路线通过无人机拍摄得到违建巡查视频。
33、为实现上述目的，本技术实施例的另一方面提出了一种基于深度学习的违建巡查系统，所述系统包括：
34、第一模块，用于获取违建巡查视频；
35、第二模块，用于将所述违建巡查视频发送至服务端，通过所述服务端对所述违建巡查视频进行视频流检测处理，得到检测图像；
36、第三模块，用于将所述检测图像发送至客户端，通过所述客户端对所述检测图像进行图像识别处理，得到违建图像；
37、第四模块，用于将所述违建图像输入视觉语言模型进行违建分析处理，得到违建巡查结果。
38、在一些实施例中，所述第一模块，用于获取违建巡查视频，包括：
39、第一单元，用于获取巡查区域；
40、第二单元，用于根据所述巡查区域部署无人机巡查路线；
41、第三单元，用于根据所述无人机巡查路线通过无人机拍摄得到违建巡查视频。
42、在一些实施例中，所述第二模块，用于将所述违建巡查视频发送至服务端，通过所述服务端对所述违建巡查视频进行视频流检测处理，得到检测图像，包括：
43、第四单元，用于通过所述服务端进行请求监听处理，获取得到所述违建巡查视频；
44、第五单元，用于将初始化的第一图像识别模型加载至流分析框架中，通过所述流分析框架对所述违建巡查视频进行推流中断检测处理，得到中断结果；
45、第六单元，用于根据所述中断结果通过所述第一图像识别模型对所述违建巡查视频进行多任务图像识别处理，得到检测图像。
46、在一些实施例中，所述第六单元，用于根据所述中断结果通过所述第一图像识别模型对所述违建巡查视频进行多任务图像识别处理，得到检测图像，包括：
47、第一子单元，用于当所述中断结果为视频流中断时，通过辅助服务对所述流分析框架进行算法服务重启处理，得到重启后的算法服务；
48、第二子单元，用于通过所述算法服务对所述违建巡查视频进行推理告警处理，得到告警信息；
49、第三子单元，用于根据所述告警信息对所述违建巡查视频进行图像截取处理，得到告警图像；
50、第四子单元，用于通过所述第一图像识别模型对所述告警图像进行告警分析处理，得到检测图像。
51、在一些实施例中，所述第三模块，用于将所述检测图像发送至客户端，通过所述客户端对所述检测图像进行图像识别处理，得到违建图像，包括：
52、第七单元，用于根据所述客户端的环境对多个神经网络进行训练和测试处理，从所述多个神经网络中选取得到第二图像识别模型；
53、第八单元，用于将所述第二图像识别模型部署在所述客户端，通过所述客户端启用所述第二图像识别模型对所述检测图像进行图像识别处理，得到违建图像。
54、在一些实施例中，所述第四模块，用于将所述违建图像输入视觉语言模型进行违建分析处理，得到违建巡查结果，包括：
55、第九单元，用于获取输入问题，将所述违建图像输入至所述视觉语言模型；
56、第十单元，用于根据所述输入问题对所述视觉语言模型进行多轮对话处理，得到对话内容；
57、第十一单元，用于根据所述对话内容对所述违建图像进行检测分析处理，得到违建巡查结果。
58、在一些实施例中，在所述第四模块，用于将所述违建图像输入视觉语言模型进行违建分析处理之前，所述系统还包括第五模块，用于预先训练所述视觉语言模型，具体包括：
59、第十二单元，用于获取训练图像；
60、第十三单元，用于对所述训练图像进行描述生成处理，得到文本描述；
61、第十四单元，用于将所述训练图像和所述文本描述确定为训练数据；
62、第十五单元，用于通过所述视觉语言模型对所述训练数据进行任务生成处理，得到生成结果；
63、第十六单元，用于根据所述生成结果对所述视觉语言模型进行参数调整处理，得到训练完成的所述视觉语言模型。
64、为实现上述目的，本技术实施例的另一方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现前面所述的方法。
65、为实现上述目的，本技术实施例的另一方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前面所述的方法。
66、本技术实施例至少包括以下有益效果：本技术提供一种基于深度学习的违建巡查方法、系统、设备及介质,该方案通过获取违建巡查视频；将违建巡查视频发送至服务端，通过服务端对违建巡查视频进行视频流检测处理，得到检测图像；将检测图像发送至客户端，通过客户端对检测图像进行图像识别处理，得到违建图像；将违建图像输入视觉语言模型进行违建分析处理，得到违建巡查结果。本技术实施例通过服务端对视频流进行实时检测，将检测得到的图像发送至客户端进行二次识别，并通过视觉语言模型进行违建分析，能够缓解人工成本较高的问题，减低了出现误判的概率，有利于提高违建巡查的准确率和效率。
1.一种基于深度学习的违建巡查方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述通过所述服务端对所述违建巡查视频进行视频流检测处理，得到检测图像，包括以下步骤：
3.根据权利要求2所述的方法，其特征在于，所述根据所述中断结果通过所述第一图像识别模型对所述违建巡查视频进行多任务图像识别处理，得到检测图像，包括以下步骤：
4.根据权利要求1所述的方法，其特征在于，所述通过所述客户端对所述检测图像进行图像识别处理，得到违建图像，包括以下步骤：
5.根据权利要求1所述的方法，其特征在于，所述将所述违建图像输入视觉语言模型进行违建分析处理，得到违建巡查结果，包括以下步骤：
6.根据权利要求5所述的方法，其特征在于，在所述将所述违建图像输入视觉语言模型进行违建分析处理之前，所述方法还包括预先训练所述视觉语言模型，具体包括以下步骤：
7.根据权利要求1至6任一项所述的方法，其特征在于，所述获取违建巡查视频，包括以下步骤：
8.一种基于深度学习的违建巡查系统，其特征在于，所述系统包括：
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。
