1.本发明属于公共安全技术领域，具体涉及一种基于视频的涌潮危险区域人员的危机状态预测方法。
背景技术：2.天下壮丽江河是大自然壮丽的景观，观赏的人络绎不绝。然而，在人们在观赏壮丽景观时，由于浪潮移动方向以及移动速度的不确定性，也给观赏者带来了潮水袭人等安全隐患。潮水袭人等安全隐患出现的原因是岸边观潮人员没有重视涌潮袭人的安全隐患，没有充分了解涌潮的特性以及涌潮环境的复杂多变，没有充分防范意识，难以较早的观测出危机区域并提前预警，同时目前在预警方式上仍然采用老旧的定期巡逻预警在时效上具有严重的滞后性，如果发生潮涌现象，发现不及时会容易造成较多的人员伤亡。
技术实现要素：3.本发明实施例的目的是提供一种基于视频的涌潮危险区域人员的危机状态预测方法，能够解决现有技术中预警不够及时，容易造成人员伤亡的技术问题。
4.为了解决上述技术问题，本发明是这样实现的：
5.本发明实施例提供了一种基于视频的涌潮危险区域人员的危机状态预测方法，包括：
6.s101：在涌潮危险区域部署摄像头，通过摄像头实时采集涌潮危险区域的视频数据；
7.s102：对视频数据进行分帧处理，获取潮头数据集、岸边人员数据集和落水人员数据集；
8.s103：搭建危机状态预测模型，危机状态预测模型包括潮头检测子模型、岸边人员检测子模块和落水人员检测子模型；
9.s104：采用归一化方法对潮头数据集、岸边人员数据集和落水人员数据集中的图像进行预处理，得到图像格式相同、命名有序的图像，并将图像归一化为416
×
416大小；
10.s105：将预处理后的图像输入至危机状态预测模型，检查涌潮危险区域的潮头、岸边人员和落水人员；
11.s106：在检测到涌潮危险区域中存在落水人员的情况下，直接向救援人员发出报警；
12.s107：计算涌潮危险区域中的岸边人员的危险系数，在检测到岸边人员的危险系数超过阈值的情况下，通过部署在岸边的喇叭，发出预警，通知周围人员注意安全。
13.在本发明实施例中，通过摄像头实时采集涌潮危险区域的视频数据，根据视频数据分析涌潮危险区域中是否存在落水人员，在检测到涌潮危险区域中存在落水人员的情况下，直接向救援人员发出报警，同时，计算涌潮危险区域中的岸边人员的危险系数，在检测到岸边人员的危险系数超过阈值的情况下，通过部署在岸边的喇叭，发出预警，通知周围人
员注意安全。可以做到及时预警，在发生落水时及时救助，大大避免人员伤亡情况发生。
附图说明
14.图1是本发明实施例提供的一种基于视频的涌潮危险区域人员的危机状态预测方法的流程示意图。
15.本发明目的的实现、功能特点及优点将结合实施例、参照附图做进一步说明。
具体实施方式
16.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
17.下面结合附图，通过具体的实施例及其应用场景对本发明实施例提供的基于视频的涌潮危险区域人员的危机状态预测方法进行详细地说明。
18.实施例一
19.参照图1，示出了本发明实施例提供的一种基于视频的涌潮危险区域人员的危机状态预测方法的流程示意图。
20.本发明实施例提供的一种基于视频的涌潮危险区域人员的危机状态预测方法，包括：
21.s101：在涌潮危险区域部署摄像头，通过摄像头实时采集涌潮危险区域的视频数据。
22.可选地，可以设置多个不同拍摄角度的摄像头组成监测网，无死角地实时监测涌潮危险区域。
23.s102：对视频数据进行分帧处理，获取潮头数据集、岸边人员数据集和落水人员数据集。
24.具体地，从视频数据中按帧挑选出分别包含潮头、岸边人员和落水人员的图像，以组成潮头数据集、岸边人员数据集和落水人员数据集。
25.s103：搭建危机状态预测模型，危机状态预测模型包括潮头检测子模型、岸边人员检测子模块和落水人员检测子模型。
26.其中，潮头检测子模型用于检测图像中的潮头，岸边人员检测子模块用于检测图像中的岸边人员，落水人员检测子模型用于检测图像中的落水人员。
27.其中，危机状态预测模型采用yolo v4网络模型。
28.s104：采用归一化方法对潮头数据集、岸边人员数据集和落水人员数据集中的图像进行预处理，得到图像格式相同、命名有序的图像，并将图像归一化为416
×
416大小。
29.s105：将预处理后的图像输入至危机状态预测模型，检查涌潮危险区域的潮头、岸边人员和落水人员。
30.s106：在检测到涌潮危险区域中存在落水人员的情况下，直接向救援人员发出报警。用于提醒救援人员立即采取救助行动。
31.s107：计算涌潮危险区域中的岸边人员的危险系数，在检测到岸边人员的危险系
数超过阈值的情况下，通过部署在岸边的喇叭，发出预警，通知周围人员注意安全。
32.在一种可能的实施方式中，s107具体包括子步骤s1071至s1075：
33.s1071：在涌潮危险区域放置一根标尺，通过摄像头获取视频图像，从中找到目标标尺，通过图像分析处理计算出图像中标尺的高度sh，进而获得比例尺a：
[0034][0035]
其中，th为实际标尺高度，sh为图像视频中的标尺高度。
[0036]
s1072：获取图像中岸边人员高度和潮头高度，并计算岸边人员实际高度和潮头实际高度；
[0037]
pt＝a
×
pd
ꢀꢀꢀ
公式2
[0038]
其中，pt为目标的实际高度，pd表示图像中目标的高度。
[0039]
s1073：根据岸边人员的实际高度设置身高系数h；若身高小于1.2m，则认为该岸边人员为幼儿，抵御危险的能力最低，设置其身高系数h为2；若身高大于等于1.2m且小于1.5m，则认为该岸边人员为儿童，抵御危险的能力较弱，设置其身高系数h为1.5；若身高大于等于1.5m，则认为该岸边人员为成年人，抵御风险的能力较强，设置其身高系数h为1：
[0040][0041]
s1074：采用预测框中心点的坐标作为涌头的坐标以及岸边人员的坐标，根据摄像头所在的位置和像素尺寸，利用单目视觉测距获得当前潮水到岸边的距离以及获取岸边人员到岸边的距离。
[0042]
进一步地，s1074具体包括步骤s1074a至s1074e：
[0043]
s1074a：选取目标识别框的中心点为参考点，其坐标记为(x,y)，获得潮头和岸边人员在视频图像上的预测框，预测框左上角坐标信息为(x
min
,y
min
)、预测框右下角坐标信息为(x
max
,y
max
)，计算目标识别框的中心点坐标：
[0044]
x＝(x
min
+x
max
)/2,y＝(y
min
+y
max
)/2
ꢀꢀꢀ
公式5
[0045]
s1074b：通过halcon的标定助手获取摄像头参数：摄像头的高度h；目标坐标中心对应的实际坐标点与摄像头在纵轴上的距离o3m；镜头中心点的图像坐标o1为(u
center
,v
center
)；测量像素点的图像坐标p1为(u,0)、测量像素点的图像坐标q1为(u,v)；像素点的实际长度x
pix
，实际宽度y
pix
；摄像头的焦距f；
[0046]
根据上方的水平线与地面平行、两直线平行内错角相等原则，通过公式6计算α角，通过公式7计算γ角：
[0047][0048][0049]
其中，o1p1表示镜头中心点到测量像素点的图像坐标p1的距离。
[0050]
s1074c：根据两条平行线，内错角相等，进一步推导出：
[0051]
∠β＝∠α-∠γ
ꢀꢀꢀ
公式8
[0052]
s1074d：通过公式9计算被测物体在纵轴上的距离y：
[0053][0054]
s1074e：通过公式10计算镜头点o2到测量像素点的图像坐标p1的距离o2p1，通过公式11计算镜头点o2到岸边真实点p的距离o2p为：
[0055][0056][0057]
由得：
[0058][0059]
其中，q表示目标的真实点，pq表示p到q点的距离，p1q1表示p1到q1点的距离；
[0060]
通过公式13计算目标到岸边的距离hm：
[0061][0062]
s1075：获取预设距离范围内的所有岸边人员，根据岸边人员的身高系数h，岸边人员的高度hr，岸边人员离潮水的距离hl、潮头到岸时间tc和岸边人员离岸距离hmr，通过公式4计算预设距离范围内所有岸边人员的危险系数：
[0063]
w＝h
×
(hr
×
hl
×
tc
×
hmr)
ꢀꢀꢀ
公式4
[0064]
其中，w表示岸边人员的危险系数。
[0065]
进一步地，预设距离范围为潮头到达岸边后在水平方向上的最大位移距离范围lxman，s1075具体包括s1075a和s1075b：
[0066]
s1075a：根据前后帧的潮头位置和时间，计算潮头的速度为vc、潮头到按时间为tc。
[0067]
s1075b：由于潮头拍打岸边后，潮头速度从原来的vc降低到(vc-va)，根据抛物运动公式、重力公式以及水平的速度，可计算潮头到达岸边后在水平方向上的最大位移距离lxman。
[0068]
在一种可能的实施方式中，s103之后，还包括：
[0069]
s108：采用归一化方法对潮头数据集、岸边人员数据集和落水人员数据集中的图像进行预处理，得到图像格式相同、命名有序的图像，并将图像归一化为416
×
416大小，以得到潮头训练集、岸边人员训练集和落水人员训练集。
[0070]
其中，潮头训练集包括潮头标注tide，岸边人员训练集包括岸边人员标注abperson，落水人员训练集包括落水人员标注szperson。
[0071]
s109：将潮头训练集、岸边人员训练集和落水人员训练集输入至危机状态预测模型，以进行模型训练。
[0072]
在一种可能的实施方式中，s109具体包括：
[0073]
s1091：经过4
×
t+1
×
t+g
×
t个1
×
1的卷积核输出经过卷积后的预测结果，其中，g表示预测目标的类别数为，t表示预设边界框的数量，4
×
t表示预测目标边界框的偏移量，1
×
t表示预测目标边界框内包含目标的概率，g
×
t表示预测这t个预设边界框对应g个目标类别的概率。
[0074]
s1092：将潮头、岸边人员和落水人员的目标检测结果与真实数据标注相比较，计算出综合定位损失、置信度损失、分类损失的损失函数。
[0075]
s1093：在损失函数值达到或者小于阈值的情况下，结束训练；否则，更新模型参数后继续训练。
[0076]
在本发明实施例中，通过摄像头实时采集涌潮危险区域的视频数据，根据视频数据分析涌潮危险区域中是否存在落水人员，在检测到涌潮危险区域中存在落水人员的情况下，直接向救援人员发出报警，同时，计算涌潮危险区域中的岸边人员的危险系数，在检测到岸边人员的危险系数超过阈值的情况下，通过部署在岸边的喇叭，发出预警，通知周围人员注意安全。可以做到及时预警，在发生落水时及时救助，大大避免人员伤亡情况发生。
[0077]
以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所
[0078]
作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。
技术特征：1.一种基于视频的涌潮危险区域人员的危机状态预测方法，其特征在于，包括：s101：在涌潮危险区域部署摄像头，通过所述摄像头实时采集涌潮危险区域的视频数据；s102：对所述视频数据进行分帧处理，获取潮头数据集、岸边人员数据集和落水人员数据集；s103：搭建危机状态预测模型，所述危机状态预测模型包括潮头检测子模型、岸边人员检测子模块和落水人员检测子模型；s104：采用归一化方法对所述潮头数据集、所述岸边人员数据集和所述落水人员数据集中的图像进行预处理，得到图像格式相同、命名有序的图像，并将图像归一化为416
×
416大小；s105：将预处理后的图像输入至所述危机状态预测模型，检查涌潮危险区域的潮头、岸边人员和落水人员；s106：在检测到涌潮危险区域中存在落水人员的情况下，直接向救援人员发出报警；s107：计算涌潮危险区域中的岸边人员的危险系数，在检测到岸边人员的危险系数超过阈值的情况下，通过部署在岸边的喇叭，发出预警，通知周围人员注意安全。2.根据权利要求1所述的危机状态预测方法，其特征在于，所述危机状态预测模型采用yolo v4网络模型。3.根据权利要求1所述的危机状态预测方法，其特征在于，所述s103之后，还包括：s108：采用归一化方法对所述潮头数据集、所述岸边人员数据集和所述落水人员数据集中的图像进行预处理，得到图像格式相同、命名有序的图像，并将图像归一化为416
×
416大小，以得到潮头训练集、岸边人员训练集和落水人员训练集；其中，所述潮头训练集包括潮头标注tide，所述岸边人员训练集包括岸边人员标注abperson，所述落水人员训练集包括落水人员标注szperson；s109：将所述潮头训练集、所述岸边人员训练集和所述落水人员训练集输入至所述危机状态预测模型，以进行模型训练。4.根据权利要求3所述的危机状态预测方法，其特征在于，所述s109具体包括：s1091：经过4
×
t+1
×
t+g
×
t个1
×
1的卷积核输出经过卷积后的预测结果，其中，g表示预测目标的类别数为，t表示预设边界框的数量，4
×
t表示预测目标边界框的偏移量，1
×
t表示预测目标边界框内包含目标的概率，g
×
t表示预测这t个预设边界框对应g个目标类别的概率；s1092：将潮头、岸边人员和落水人员的目标检测结果与真实数据标注相比较，计算出综合定位损失、置信度损失、分类损失的损失函数；s1093：在损失函数值达到或者小于阈值的情况下，结束训练；否则，更新模型参数后继续训练。5.根据权利要求1所述的危机状态预测方法，其特征在于，所述s107具体包括：s1071：在涌潮危险区域放置一根标尺，通过摄像头获取视频图像，从中找到目标标尺，通过图像分析处理计算出图像中标尺的高度sh，进而获得比例尺a：
其中，th为实际标尺高度，sh为图像视频中的标尺高度；s1072：获取图像中岸边人员高度和潮头高度，并计算岸边人员实际高度和潮头实际高度；pt＝a
×
pd公式2其中，pt为目标的实际高度，pd表示图像中目标的高度；s1073：根据岸边人员的实际高度设置身高系数h；若身高小于1.2m，则认为该岸边人员为幼儿，抵御危险的能力最低，设置其身高系数h为2；若身高大于等于1.2m且小于1.5m，则认为该岸边人员为儿童，抵御危险的能力较弱，设置其身高系数h为1.5；若身高大于等于1.5m，则认为该岸边人员为成年人，抵御风险的能力较强，设置其身高系数h为1：s1074：采用预测框中心点的坐标作为涌头的坐标以及岸边人员的坐标，根据摄像头所在的位置和像素尺寸，利用单目视觉测距获得当前潮水到岸边的距离以及获取岸边人员到岸边的距离；s1075：获取预设距离范围内的所有岸边人员，根据岸边人员的身高系数h，岸边人员的高度hr，岸边人员离潮水的距离hl、潮头到岸时间tc和岸边人员离岸距离hmr，通过公式4计算预设距离范围内所有岸边人员的危险系数：w＝h
×
(hr
×
hl
×
tc
×
hmr)公式4其中，w表示岸边人员的危险系数。6.根据权利要求5所述的危机状态预测方法，其特征在于，所述s1074具体包括：s1074a：选取目标识别框的中心点为参考点，其坐标记为(x,y)，获得潮头和岸边人员在视频图像上的预测框，预测框左上角坐标信息为(x
min
,y
min
)、预测框右下角坐标信息为(x
max
,y
max
)，计算目标识别框的中心点坐标：x＝(x
min
+x
max
)/2,y＝(y
min
+y
max
)/2公式5s1074b：通过halcon的标定助手获取摄像头参数：摄像头的高度h；目标坐标中心对应的实际坐标点与摄像头在纵轴上的距离o3m；镜头中心点的图像坐标o1为(u
center
,v
center
)；测量像素点的图像坐标p1为(u,0)、测量像素点的图像坐标q1为(u,v)；像素点的实际长度x
pix
，实际宽度y
pix
；摄像头的焦距f；根据上方的水平线与地面平行、两直线平行内错角相等原则，通过公式6计算α角，通过公式7计算γ角：公式7计算γ角：其中，o1p1表示镜头中心点到测量像素点的图像坐标p1的距离；s1074c：根据两条平行线，内错角相等，进一步推导出：∠β＝∠α-∠γ公式8
s1074d：通过公式9计算被测物体在纵轴上的距离y：s1074e：通过公式10计算镜头点o2到测量像素点的图像坐标p1的距离o2p1，通过公式11计算镜头点o2到岸边真实点p的距离o2p为：p为：由得：其中，q表示目标的真实点，pq表示p到q点的距离，p1q1表示p1到q1点的距离；通过公式13计算目标到岸边的距离hm：7.根据权利要求5所述的危机状态预测方法，其特征在于，所述预设距离范围为潮头到达岸边后在水平方向上的最大位移距离范围lxman，所述s1075具体包括：s1075a：根据前后帧的潮头位置和时间，计算潮头的速度为vc、潮头到按时间为tc；s1075b：由于潮头拍打岸边后，潮头速度从原来的vc降低到(vc-va)，根据抛物运动公式、重力公式以及水平的速度，可计算潮头到达岸边后在水平方向上的最大位移距离lxman。
技术总结本发明公开了一种基于视频的涌潮危险区域人员的危机状态预测方法，属于公共安全技术领域，方法包括：通过摄像头实时采集涌潮危险区域的视频数据；对视频数据进行分帧处理，获取潮头数据集、岸边人员数据集和落水人员数据集；搭建危机状态预测模型；采用归一化方法对潮头数据集、岸边人员数据集和落水人员数据集中的图像进行预处理；将预处理后的图像输入至危机状态预测模型，检查涌潮危险区域的潮头、岸边人员和落水人员；在检测到涌潮危险区域中存在落水人员的情况下，直接向救援人员发出报警；在检测到岸边人员的危险系数超过阈值的情况下，通过部署在岸边的喇叭，发出预警，通知周围人员注意安全。围人员注意安全。围人员注意安全。
技术研发人员：吕晓雯 陈友荣 赵克华 缪克雷 张旭东 刘半藤
受保护的技术使用者：浙江树人学院
技术研发日：2022.07.22
技术公布日：2022/11/1
