1.本发明涉及机器人技术领域，尤其涉及一种基于巡逻机器人的异常行为检测方法、装置、介质及设备。
背景技术：2.在一些特定场景中，必须对场景内的人员行为进行异常监测，以避免出现人生安全问题。比如指定场所内目标人员在房间内可能会出现诸如攀爬围栏、上吊和打架等异常行为。
3.现有技术主要使用固定摄像头拍房间进行图像分析的方式实现对异常行为的检测。该方案通过使用固定的摄像头拍摄对应的指定房间，获取对应的视频流信息；然后通过一系列的深度学习的方案对视频流进行分析，从而判断目标人员是否产生了异常行为。然而单摄像头的覆盖场景十分有限，如果要覆盖场所所有房间，则整体摄像头的成本非常高，且异常检测能力还有待提高。
4.现有技术也通过使用简单巡逻或者作业型机器人对场所进行管理的方式进行异常行为检测。和第一种方案不同的是该方案是通过机器人巡检的方式对每个房间进行巡逻，完成每日的站岗和一些简单物件的送递任务。其缺点就是机器人的功能过于单一，智能化、自动化程度不高，需要管理人员进行辅助配合视觉分析判断是否出现异常，耗费一定程度的管理工作人员的精力与时间。
技术实现要素：5.本发明实施例提供了一种基于巡逻机器人的异常行为检测方法、装置、介质及设备，以解决现有指定场景的异常行为检测存在的智能化和自动化程度低、准确度不高、耗费人力的问题。
6.一种基于巡逻机器人的异常行为检测方法，所述方法包括：
7.获取指定场景的视频流信息，所述视频流信息由巡逻机器人在指定场景巡逻并采集得到；
8.遍历所述视频流信息中的每一帧图像信息，采用深度学习的方式对所述图像信息进行人体检测，得到人体对应的行为特征信息；
9.采用深度学习的方式对所述图像信息进行指定物品检测，得到指定物品特征信息；
10.融合所述行为特征信息和指定物品特征信息进行异常行为分析，获取所述视频流信息中的异常行为信息。
11.可选地，所述采用深度学习的方式对所述图像信息进行人体检测，得到人体对应的行为特征信息包括：
12.采用深度学习模型yolov5和基于热力图的从上到下的方法对所述图像信息分别进行人体检测和人体关键节点检测，得到每个人体的包围盒和人体关键节点及其位置信
息；
13.将所述图像信息和人体关键节点及其位置信息输入预设的第一特征编码网络，得到人体对应的行为特征信息；
14.所述行为特征信息为根据人体关键节点的连接关系反映出的动作或行为信息。
15.可选地，所述采用深度学习的方式对所述图像信息进行指定物品检测，得到指定物品特征信息包括：
16.采用深度学习模型yolov5对所述图像信息进行指定物品检测，得到指定物品及其位置信息；
17.将所述图像信息以及指定物品的位置信息输入预设的第二特征编码网络，得到指定物品特征信息。
18.可选地，所述融合所述行为特征信息和指定物品特征信息进行异常行为分析，获取所述视频流信息中的异常行为信息包括：
19.基于预设的3dcnn时序分类网络，根据所述行为特征信息和指定物品特征信息，获取特征异常分值；
20.基于预设的bp神经网络，根据所述行为特征信息和指定物品特征信息，获取异常危险物品及其逻辑位置异常分值；
21.根据所述特征异常分值和逻辑位置异常分值确定所述视频流信息中的异常行为信息。
22.可选地，所述基于预设的3dcnn时序分类网络，根据所述行为特征信息和指定物品特征信息，获取特征异常分值包括：
23.对于每一帧图像信息，融合所述行为特征信息和指定物品特征信息，得到所述图像信息的融合特征；
24.将每m帧的图像信息的融合特征作为输入参数，输入至预设的3dcnn时序分类网络；
25.获取所述3dcnn时序分类网络输出的异常行为信息及其特征异常分值。
26.可选地，所述基于预设的bp神经网络，根据所述行为特征信息和指定物品特征信息，获取异常危险物品及其逻辑位置异常分值包括：
27.选取左手、右手和/或颈部作为目标位置；
28.对于每一帧图像信息，根据所述行为特征信息和指定物品特征信息，获取目标位置与指定物品之间的像素距离；
29.以每n秒内所有帧图像信息的像素距离作为输入参数，输入至预设的bp 神经网络；
30.获取所述bp神经网络输出的异常危险物品及其逻辑位置异常分值。
31.可选地，所述根据所述特征异常分值和逻辑位置异常分值确定所述视频流信息中的异常行为信息包括：
32.分别获取所述特征异常分值和逻辑位置异常分值对应的权重信息；
33.根据所述特征异常分值及其对应的权重信息、逻辑位置异常分值及其对应的权重信息，计算综合分值；
34.当所述综合分值大于或等于预设的异常阈值时，确定所述视频流信息中存在异常
行为信息，且所述异常行为信息为所述3dcnn时序分类网络输出的异常行为信息。
35.一种基于巡逻机器人的异常行为检测装置，所述装置包括：
36.获取模块，用于获取指定场景的视频流信息，所述视频流信息由巡逻机器人在指定场景巡逻并采集得到；
37.人体检测模块，用于遍历所述视频流信息中的每一帧图像信息，采用深度学习的方式对所述图像信息进行人体检测，得到人体对应的行为特征信息；
38.物品检测模块，用于采用深度学习的方式对所述图像信息进行指定物品检测，得到指定物品特征信息；
39.异常分析模块，用于融合所述行为特征信息和指定物品特征信息进行异常行为分析，获取所述视频流信息中的异常行为信息。
40.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于巡逻机器人的异常行为检测方法。
41.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于巡逻机器人的异常行为检测方法。
42.本发明实施例使用巡逻机器人覆盖所有监测范围，有效地减少了设备成本；通过获取指定场景的视频流信息，所述视频流信息由巡逻机器人在指定场景巡逻并采集得到；遍历所述视频流信息中的每一帧图像信息，采用深度学习的方式对所述图像信息进行人体检测，得到人体对应的行为特征信息；采用深度学习的方式对所述图像信息进行指定物品检测，得到指定物品特征信息；融合所述行为特征信息和指定物品特征信息进行异常行为分析，获取所述视频流信息中的异常行为信息；从而实现了对指定场景中的异常行为检测，通过人体检测和指定物品检测等多模态融合方案，提高了异常行为检测的准确度和鲁棒性，提高了智能化和自动化程度，全过程无需人员辅助，有效地节约了人力成本。
附图说明
43.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
44.图1是本发明一实施例提供的巡逻机器人的巡检示意图；
45.图2是本发明一实施例提供的基于巡逻机器人的异常行为检测方法；
46.图3是本发明一实施例提供的基于巡逻机器人的异常行为检测装置的示意图；
47.图4是本发明一实施例中计算机设备的一示意图。
具体实施方式
48.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
49.本发明实施例基于巡检机器人不断来回巡检指定场所，并通过位于机器人头部的摄像头抓拍图像，收集视频流信息，从而分析是否出现人员异常行为的现象。图1为本发明实施例提供的巡逻机器人的巡检示意图。其中，黑色斜线矩形框表示房间，黑色圆点表示巡逻机器人的位置，黑色圆点上的短箭头表示巡逻机器人上的摄像头朝向，长箭头直线表示巡逻机器人的巡检轨迹。
50.本发明实施例通过获取指定场景的视频流信息，所述视频流信息由巡逻机器人在指定场景巡逻并采集得到；遍历所述视频流信息中的每一帧图像信息，采用深度学习的方式对所述图像信息进行人体检测，得到人体对应的行为特征信息；采用深度学习的方式对所述图像信息进行指定物品检测，得到指定物品特征信息；融合所述行为特征信息和指定物品特征信息进行异常行为分析，获取所述视频流信息中的异常行为信息；从而实现了对指定场景中的异常行为检测，通过人体检测和指定物品检测等多模态融合方案，提高了异常行为检测的准确度和鲁棒性，提高了智能化和自动化程度，全过程无需人员辅助，有效地节约了人力成本。
51.以下对本发明实施例提供的基于巡逻机器人的异常行为检测方法进行详细的描述。图2为本发明实施例提供的基于巡逻机器人的异常行为检测方法。如图2所示，所述基于巡逻机器人的异常行为检测方法包括：
52.在步骤s101中，获取指定场景的视频流信息，所述视频流信息由巡逻机器人在指定场景巡逻并采集得到。
53.如图1所示，巡逻机器人的巡逻路线是固定的，巡逻机器人上的摄像头拍摄角度正对房间，从而使得所拍摄到的视频流信息基本都是房间正面的情景，这为后续检测分析提供了很大的便利。
54.对于通过摄像头拍摄得到的视频流信息，本发明实施例通过深度学习的处理手段对所述视频流信息中的每一帧图像信息进行分析处理，判断房间内是否发生人员异常行为，分析流程可分为以下三个环节：人体关键点定位、指定物品定位、融合分析。以下对每一个环节进行详述。
55.在步骤s102中，遍历所述视频流信息中的每一帧图像信息，采用深度学习的方式对所述图像信息进行人体检测，得到人体对应的行为特征信息。
56.在这里，本发明实施例通过对图像信息进行人体检测，得到关键节点定位，然后基于关键节点定位获取行为特征信息。可选地，所述步骤s102还包括：
57.在步骤s1021中，采用深度学习模型yolov5和基于热力图的从上到下的方法对所述图像信息分别进行人体检测和人体关键节点检测，得到每个人体的包围盒和人体关键节点及其位置信息。
58.在这里，所述人体关键节点是指人体对应关节的节点，包括但不限于手肘、肩膀、膝盖、腰部、颈椎、左手、右手、左脚、右脚。本发明实施例通过热力图的方法对视频中的每一帧图像信息进行人体检测和对应的关键节点定位。
59.在步骤s1022中，将所述图像信息和人体关键节点及其位置信息输入预设的第一特征编码网络，得到人体对应的行为特征信息。
60.在这里，所述行为特征信息为根据人体关键节点的连接关系反映出的动作或行为信息。本发明实施例通过预设的神经网络获取每帧图像信息对应人体关键点位置以及关键
点的连接关系。通过将图像信息和人体关键节点及其位置信息输入预设的第一特征编码网络autoencoder，进行一系列卷积计算，抽取特征，得到512维度的向量表示，即所述行为特征信息，以便后续融合处理。其中，不同的人体姿态和行为，对应的行为特征信息均不一样。
61.在步骤s103中，采用深度学习的方式对所述图像信息进行指定物品检测，得到指定物品特征信息。
62.在这里，所述指定物品检测是指对潜在危险物品检测，包括但不限于衣服、毛巾等织布物体，箱子、盒子等可用于垫脚或打架的盒状物体，牙刷、笔等棍状物。可选地，所述步骤s103包括：
63.在步骤s1031中，采用深度学习模型yolov5对所述图像信息进行指定物品检测，得到指定物品及其位置信息。
64.在步骤s1032中，将所述图像信息以及指定物品的位置信息输入预设的第二特征编码网络，得到指定物品特征信息。
65.在这里，与人体对应的行为特征信息相似的做法，本发明实施例将图像信息以及指定物品的位置信息送入第二特征编码网络autoencoder中抽取特征，得到512维度的向量表示，即所述指定物品特征信息，以便后续融合处理。所述指定物品特征信息是指潜在危险物品的特征信息。
66.应当理解，所述第一特征编码网络用于人体特征提取，所述第二特征编码网络用于指定物品特征提取，两者的网络参数不相同，提取的特征信息不相同。
67.在步骤s104中，融合所述行为特征信息和指定物品特征信息进行异常行为分析，获取所述视频流信息中的异常行为信息。
68.在通过步骤s102得到行为特征信息和通过步骤s103得到指定物品特征信息后，本发明实施例将上述两步骤中的行为特征信息和指定物品特征信息进行收集和融合分析，判断视频流信息中是否存在异常行为信息。可选地，所述步骤s104还包括：
69.在步骤s1041中，基于预设的3dcnn时序分类网络，根据所述行为特征信息和指定物品特征信息，获取特征异常分值。
70.在这里，本发明实施例首先基于3dcnn时序分类网络进行特征异常分析，得到特征异常分值。所述特征异常分值为用于判断视频帧信息是否存在异常行为的分数。其中，所述特征异常分值为0-1之间的数值，越接近1表示视频帧信息中越有可能出现异常行为，反之则越不可能。
71.可选地，作为本发明的一个优选示例，所述步骤s1041还包括：
72.在步骤s411中，对于每一帧图像信息，融合所述行为特征信息和指定物品特征信息，得到所述图像信息的融合特征。
73.可选地，如前所述，所述行为特征信息和指定物品特征信息分别为512 维特征向量，本发明实施例将所述行为特征信息和指定物品特征信息前后连接得到一个1024维的融合特征。
74.在步骤s412中，将每m帧的图像信息的融合特征作为输入参数，输入至预设的3dcnn时序分类网络。
75.在这里，本发明实施例以每3秒为一个采集窗口，以均匀跳帧式采集32 帧图像信息的1024维的融合特征，作为所述3dcnn时序分类网络的一个输入样本。
76.由于本发明实施例中的输入参数已经是特征信息，而不是原始图像，因此本发明实施例中所述的3dcnn时序分类网络与现有3dcnn不同，只使用了现有3dcnn后续的全连接层，由3dcnn后续的全连接层和lstm网络结构构成。采用预先收集到的正样本数据和负样本数据，对所述3dcnn时序分类网络进行训练，并以标注标签的样本数据作为监督信息，使用普通的交叉熵损失函数进行模型的监督训练，从而得到可判断视频帧信息是否存在异常行为的时序分析模型。
77.在步骤s413中，获取所述3dcnn时序分类网络输出的异常行为信息及其特征异常分值。
78.经过所述3dcnn时序分析网络，将输出一个用于判断视频帧信息是否存在异常行为的分数，即所述特征异常分值。
79.为了提高异常行为检测的稳定性和精度，本发明实施例还提供了对潜在危险物品的逻辑位置异常分析。当用户要发生异常行为时，对于一些潜在危险物品，比如毛巾、比如箱子，其摆放的位置通常偏离常规使用位置，本发明实施例通过检测潜在危险物品的异常位置，来辅助判断是否出现异常行为。
80.在步骤s1042中，基于预设的bp神经网络，根据所述行为特征信息和指定物品特征信息，获取异常危险物品及其逻辑位置异常分值。
81.在这里，本发明实施例基于bp神经网络进行逻辑位置异常分析，得到逻辑位置异常分值。所述逻辑位置异常分值为用于判断视频帧信息是否存在异常危险物品的分数，在这里，本发明实施例默认摆放位置与常规位置发生较大偏差的潜在危险物品作为异常危险物品。其中，所述逻辑位置异常分值为 0-1之间的数值，越接近1表示视频帧信息中越有可能出现异常危险物品，反之则越不可能。
82.可选地，作为本发明的一个优选示例，所述步骤s1042还包括：
83.在步骤s421中，选取左手、右手和/或颈部作为目标位置。
84.在这里，本发明实施例根据常识经验判断，选取手部和/或颈部，作为目标位置，手部分别包括左手和右手。
85.在步骤s422中，对于每一帧图像信息，根据所述行为特征信息和指定物品特征信息，获取目标位置与指定物品之间的像素距离。
86.同样地，本发明实施例以每3秒为一个采集窗口，获取采集窗口内所有帧的行为特征信息和指定物品特征信息，根据所述行为特征信息获取手部和颈部，分别求出指定物品与左手、指定物品与右手、指定物品与颈部之间的像素距离。
87.在步骤s423中，以每n秒内所有帧图像信息的像素距离作为输入参数，输入至预设的bp神经网络。
88.可选地，作为本发明的一个优选示例，所述n秒优选为3秒，以与3dcnn 时序分类网络的输入参数对应。假设3秒内共有180帧图像信息，那么通过步骤s423可以得到180*3个像素距离，组合该180*3个像素距离，作为预设的bp神经网络的输入参数。
89.在步骤s424中，获取所述bp神经网络输出的异常危险物品及其逻辑位置异常分值。
90.在这里，所述bp神经网络的结构与现有bp神经网络相同，此处不再赘述。同样地，采用预先收集到的正样本数据和负样本数据，对所述bp神经网络进行训练，并以标注标签
的样本数据作为监督信息，使用普通的交叉熵损失函数进行模型的监督训练，从而得到可判断视频帧信息是否存在异常危险物品及其位置的分类模型。
91.经过所述bp神经网络，将输出一个用于判断视频帧信息是否存在物品异常位置的分数，即所述逻辑位置异常分值。
92.本发明实施例进一步结合所述特征异常分值和逻辑位置异常分值进行综合异常分析，以进一步提高异常行为检测的鲁棒性和准确度。
93.在步骤s1043中，根据所述特征异常分值和逻辑位置异常分值确定所述视频流信息中的异常行为信息。
94.可选地，当所述图像信息中既存在人体又存在指定物品时，则通过上述步骤将得到特征异常分值和逻辑位置异常分值，本发明实施例根据两者的加权分值来确定视频帧信息中是否出现异常行为。所述步骤s1043还包括：
95.在步骤s431中，分别获取所述特征异常分值和逻辑位置异常分值对应的权重信息。
96.在步骤s432中，根据所述特征异常分值及其对应的权重信息、逻辑位置异常分值及其对应的权重信息，计算综合分值。
97.在步骤s433中，当所述综合分值大于或等于预设的异常阈值时，确定所述视频流信息中存在异常行为信息，且所述异常行为信息为所述3dcnn时序分类网络输出的异常行为信息。
98.示例性地，假设预设的异常阈值设置为0.5，所述特征异常分值和逻辑位置异常分值分别记为s1、s2，权重信息分别为0.5，那么计算综合分值为s ＝0.5*s1+0.5*s2。如果s大于或等于0.5，那么认为视频帧信息中出现了异常行为，需要对后台控制系统进行报警，否则认为视频帧信息是正常的。
99.可选地，当所述图像信息中只存在人体时，则通过上述步骤将得到特征异常分值，本发明实施例以所述特征异常分值作为综合分值，此时预设的异常阈值设置为0.6。若所述特征异常分值大于或等于0.6，那么认为视频帧信息中出现了异常行为，否则认为视频帧信息是正常的。
100.综上所述，本发明提供的基于巡逻机器人的异常行为检测方法，相比于固定摄像头的方式，不仅降低了摄像头成本，而且扩大了检测覆盖范围；进一步地，本发明使用深度学习方式检测出人体特征信息和指定物品特征信息，并进行多模态的融合分析，大大提升了异常行为检测的准确度和鲁棒性，智能化和自动化程度进一步提高，全过程无需人员辅助，有效地节约了人力成本。
101.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
102.在一实施例中，本发明还提供一种基于巡逻机器人的异常行为检测装置，该基于巡逻机器人的异常行为检测装置与上述实施例中基于巡逻机器人的异常行为检测方法一一对应。如图3所示，该基于巡逻机器人的异常行为检测装置包括获取模块31、人体检测模块32、物品检测模块33、异常分析模块 34。各功能模块详细说明如下：
103.获取模块31，用于获取指定场景的视频流信息，所述视频流信息由巡逻机器人在
指定场景巡逻并采集得到；
104.人体检测模块32，用于遍历所述视频流信息中的每一帧图像信息，采用深度学习的方式对所述图像信息进行人体检测，得到人体对应的行为特征信息；
105.物品检测模块33，用于采用深度学习的方式对所述图像信息进行指定物品检测，得到指定物品特征信息；
106.异常分析模块34，用于融合所述行为特征信息和指定物品特征信息进行异常行为分析，获取所述视频流信息中的异常行为信息。
107.可选地，所述人体检测模块32包括：
108.人体检测单元，用于采用深度学习模型yolov5和基于热力图的从上到下的方法对所述图像信息分别进行人体检测和人体关键节点检测，得到每个人体的包围盒和人体关键节点及其位置信息；
109.人体特征提取单元，用于将所述图像信息和人体关键节点及其位置信息输入预设的第一特征编码网络，得到人体对应的行为特征信息；
110.所述行为特征信息为根据人体关键节点的连接关系反映出的动作或行为信息。
111.可选地，所述物品检测模块33包括：
112.物品检测单元，用于采用深度学习模型yolov5对所述图像信息进行指定物品检测，得到指定物品及其位置信息；
113.物品特征提取单元，用于将所述图像信息以及指定物品的位置信息输入预设的第二特征编码网络，得到指定物品特征信息。
114.可选地，所述异常分析模块34包括：
115.第一获取单元，用于基于预设的3dcnn时序分类网络，根据所述行为特征信息和指定物品特征信息，获取特征异常分值；
116.第二获取单元，用于基于预设的bp神经网络，根据所述行为特征信息和指定物品特征信息，获取异常危险物品及其逻辑位置异常分值；
117.异常分析单元，用于根据所述特征异常分值和逻辑位置异常分值确定所述视频流信息中的异常行为信息。
118.可选地，所述第一获取单元包括：
119.融合子单元，用于对于每一帧图像信息，融合所述行为特征信息和指定物品特征信息，得到所述图像信息的融合特征；
120.第一输入子单元，用于将每m帧的图像信息的融合特征作为输入参数，输入至预设的3dcnn时序分类网络；
121.第一获取子单元，用于获取所述3dcnn时序分类网络输出的异常行为信息及其特征异常分值。
122.可选地，所述第二获取单元包括：
123.选取子单元，用于选取左手、右手和/或颈部作为目标位置；
124.距离获取子单元，用于对于每一帧图像信息，根据所述行为特征信息和指定物品特征信息，获取目标位置与指定物品之间的像素距离；
125.第二输入子单元，用于以每n秒内所有帧图像信息的像素距离作为输入参数，输入至预设的bp神经网络；
126.第二获取子单元，用于获取所述bp神经网络输出的异常危险物品及其逻辑位置异常分值。
127.可选地，所述异常分析单元包括：
128.权重获取子单元，用于分别获取所述特征异常分值和逻辑位置异常分值对应的权重信息；
129.计算子单元，用于根据所述特征异常分值及其对应的权重信息、逻辑位置异常分值及其对应的权重信息，计算综合分值；
130.异常行为确定子单元，用于当所述综合分值大于或等于预设的异常阈值时，确定所述视频流信息中存在异常行为信息，且所述异常行为信息为所述 3dcnn时序分类网络输出的异常行为信息。
131.关于基于巡逻机器人的异常行为检测装置的具体限定可以参见上文中对于基于巡逻机器人的异常行为检测方法的限定，在此不再赘述。上述基于巡逻机器人的异常行为检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于存储器中，以便于处理器调用执行以上各个模块对应的操作。
132.在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于巡逻机器人的异常行为检测方法。
133.在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
134.获取指定场景的视频流信息，所述视频流信息由巡逻机器人在指定场景巡逻并采集得到；
135.遍历所述视频流信息中的每一帧图像信息，采用深度学习的方式对所述图像信息进行人体检测，得到人体对应的行为特征信息；
136.采用深度学习的方式对所述图像信息进行指定物品检测，得到指定物品特征信息；
137.融合所述行为特征信息和指定物品特征信息进行异常行为分析，获取所述视频流信息中的异常行为信息。
138.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，
诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram (rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram (rdram)等。
139.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
140.以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
技术特征：1.一种基于巡逻机器人的异常行为检测方法，其特征在于，所述方法包括：获取指定场景的视频流信息，所述视频流信息由巡逻机器人在指定场景巡逻并采集得到；遍历所述视频流信息中的每一帧图像信息，采用深度学习的方式对所述图像信息进行人体检测，得到人体对应的行为特征信息；采用深度学习的方式对所述图像信息进行指定物品检测，得到指定物品特征信息；融合所述行为特征信息和指定物品特征信息进行异常行为分析，获取所述视频流信息中的异常行为信息。2.如权利要求1所述的基于巡逻机器人的异常行为检测方法，其特征在于，所述采用深度学习的方式对所述图像信息进行人体检测，得到人体对应的行为特征信息包括：采用深度学习模型yolov5和基于热力图的从上到下的方法对所述图像信息分别进行人体检测和人体关键节点检测，得到每个人体的包围盒和人体关键节点及其位置信息；将所述图像信息和人体关键节点及其位置信息输入预设的第一特征编码网络，得到人体对应的行为特征信息；所述行为特征信息为根据人体关键节点的连接关系反映出的动作或行为信息。3.如权利要求2所述的基于巡逻机器人的异常行为检测方法，其特征在于，所述采用深度学习的方式对所述图像信息进行指定物品检测，得到指定物品特征信息包括：采用深度学习模型yolov5对所述图像信息进行指定物品检测，得到指定物品及其位置信息；将所述图像信息以及指定物品的位置信息输入预设的第二特征编码网络，得到指定物品特征信息。4.如权利要求1至3任一项所述的基于巡逻机器人的异常行为检测方法，其特征在于，所述融合所述行为特征信息和指定物品特征信息进行异常行为分析，获取所述视频流信息中的异常行为信息包括：基于预设的3dcnn时序分类网络，根据所述行为特征信息和指定物品特征信息，获取特征异常分值；基于预设的bp神经网络，根据所述行为特征信息和指定物品特征信息，获取异常危险物品及其逻辑位置异常分值；根据所述特征异常分值和逻辑位置异常分值确定所述视频流信息中的异常行为信息。5.如权利要求4所述的基于巡逻机器人的异常行为检测方法，其特征在于，所述基于预设的3dcnn时序分类网络，根据所述行为特征信息和指定物品特征信息，获取特征异常分值包括：对于每一帧图像信息，融合所述行为特征信息和指定物品特征信息，得到所述图像信息的融合特征；将每m帧的图像信息的融合特征作为输入参数，输入至预设的3dcnn时序分类网络；获取所述3dcnn时序分类网络输出的异常行为信息及其特征异常分值。6.如权利要求4所述的基于巡逻机器人的异常行为检测方法，其特征在于，所述基于预设的bp神经网络，根据所述行为特征信息和指定物品特征信息，获取异常危险物品及其逻辑位置异常分值包括：
选取左手、右手和/或颈部作为目标位置；对于每一帧图像信息，根据所述行为特征信息和指定物品特征信息，获取目标位置与指定物品之间的像素距离；以每n秒内所有帧图像信息的像素距离作为输入参数，输入至预设的bp神经网络；获取所述bp神经网络输出的异常危险物品及其逻辑位置异常分值。7.如权利要求4所述的基于巡逻机器人的异常行为检测方法，其特征在于，所述根据所述特征异常分值和逻辑位置异常分值确定所述视频流信息中的异常行为信息包括：分别获取所述特征异常分值和逻辑位置异常分值对应的权重信息；根据所述特征异常分值及其对应的权重信息、逻辑位置异常分值及其对应的权重信息，计算综合分值；当所述综合分值大于或等于预设的异常阈值时，确定所述视频流信息中存在异常行为信息，且所述异常行为信息为所述3dcnn时序分类网络输出的异常行为信息。8.一种基于巡逻机器人的异常行为检测装置，其特征在于，所述装置包括：获取模块，用于获取指定场景的视频流信息，所述视频流信息由巡逻机器人在指定场景巡逻并采集得到；人体检测模块，用于遍历所述视频流信息中的每一帧图像信息，采用深度学习的方式对所述图像信息进行人体检测，得到人体对应的行为特征信息；物品检测模块，用于采用深度学习的方式对所述图像信息进行指定物品检测，得到指定物品特征信息；异常分析模块，用于融合所述行为特征信息和指定物品特征信息进行异常行为分析，获取所述视频流信息中的异常行为信息。9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于巡逻机器人的异常行为检测方法。10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于巡逻机器人的异常行为检测方法。
技术总结本发明公开了一种基于巡逻机器人的异常行为检测方法，包括：获取指定场景的视频流信息，所述视频流信息由巡逻机器人在指定场景巡逻并采集得到；遍历所述视频流信息中的每一帧图像信息，采用深度学习的方式对所述图像信息进行人体检测，得到人体对应的行为特征信息；采用深度学习的方式对所述图像信息进行指定物品检测，得到指定物品特征信息；融合所述行为特征信息和指定物品特征信息进行异常行为分析，获取所述视频流信息中的异常行为信息。本发明解决了现有指定场景的异常行为检测存在的智能化和自动化程度低、准确度不高、耗费人力的问题。人力的问题。人力的问题。
技术研发人员：刘振轩 柏林 刘彪 舒海燕 沈创芸 祝涛剑 王恒华 方映峰
受保护的技术使用者：广州高新兴机器人有限公司
技术研发日：2022.07.25
技术公布日：2022/11/1
