一种基于改进ssd模型的自动扶梯乘客姿态异常检测方法
技术领域
1.本发明属于计算机视觉识别技术领域，具体涉及一种基于改进ssd模型的自动扶梯乘客姿态异常检测方法。
背景技术：2.自动扶梯是一种启动频繁、长期带负荷运行的机电设备，属于涉及人身安全和高风险的重型特种设备[1]。在过去的二十年里，随着社会经济的快速发展和政府基础设施建设的不断加强，对自动扶梯的需求越发强烈，自动扶梯数量也在不断增加。到2020年底，我国特种设备总量已达到164841万台，其中电梯(含自动扶梯)78655万台[2]。越来越多的自动扶梯安装在地铁、机场、火车站、商场等公共场所，它的出现给人们的日常生活带来了极大的便利。然而，由于活动部件不可避免地与乘客接触，因此自动扶梯的使用不存在小的安全隐患。自动扶梯事故的频繁发生也引起了公众对自动扶梯产品安全的极大关注。
[0003]
乘客在自动扶梯上跌倒是最常见的事故类型[3]。跌倒的风险是不可预测的，但如果采取相应的措施，可以及时发现甚至避免跌倒。通过对国内近年来发生的100起自动扶梯事故的数据收集和整理，结果表明，各类事故的主观原因包括乘客做出危险行为[4]。因此，成功地检测出乘客的危险行为，并对危险行为进行相应的制动，可以大大降低安全事故发生的概率和事故造成的二次伤害。然而，传统的自动扶梯检测系统技术仅限于检测自动扶梯的机械运行状态，如梳齿板检测[5]、扶手带速度异常检测[6]等；在自动扶梯正常运行时，并没有检测乘客的姿势，比如危险的姿势，比如人摔倒。因此，随着自动扶梯在日常生活中的应用越来越广泛，迫切需要实现一种实时检测自动扶梯乘客异常姿势的算法。针对传统自动扶梯检测这一现状，本发明决定研究一种基于深度学习的人体姿势异常检测算法。
[0004]
随着图像处理技术在现实生活中的广泛应用，特别是近年来，深度学习方法在计算机视觉领域的应用越来越广泛。与传统的检测方法相比，深度学习方法具有两个显著的优点：准确性和实时性，而深度学习方法更适合复杂多变的场景。基于图像处理和深度学习的目标异常检测系统将在未来的安全援助和医疗保健系统中发挥非常重要的作用。
[0005]
目前，基于深度学习模型的目标检测算法主要分为两类：一类是两阶段检测算法。基于候选区域的目标检测和识别算法(fast-r-cnn[7]，fast-r-cnn[8])需要首先生成区域建议，然后生成候选区域分类(通常在位置上进行细化)。该算法最大的缺点是分段检测方法检测速度慢，不能满足实时性要求。另一种是单级检测算法，代表性算法是yolo[9]和ssd[10]。这种算法不需要生成候选区域，而是直接生成目标的类别概率和位置坐标。在高精度的条件下，可以在一定程度上提高检测速度，满足实时性要求。yolo将对象检测问题视为回归问题。通过卷积神经网络结构，可以直接从输入图像中生成位置坐标和类别概率。虽然简化了过程，但降低了检测精度(尤其是较小的目标识别)。ssd主要由几个多尺度特征块和一个基本网络块组成，其算法是一种直接预测目标类别和包围盒的多目标检测算法。对于不同大小的目标检测，传统的方法是将图像转换成不同大小(图像金字塔)，然后分别检测，最后合成结果(nms)。ssd算法通过使用不同卷积层的特征映射，也可以达到相同的效果。
[0006]
目前，大多数现有研究倾向于关注事后统计，这反映了自动扶梯设计和使用中的缺陷。因此，急需改进这些缺陷，以减少与自动扶梯相关的伤害的影响。然而，很少有研究关注正在发生和即将发生的伤害因素。
技术实现要素：[0007]
本发明的目的在于提供一种基于改进ssd模型的自动扶梯乘客姿态异常检测方法，能够准确、实时地识别扶梯乘客的危险姿势；该发明可以控制自动扶梯系统，及时制定相应的安全防护措施，提高自动扶梯运行的安全性能。
[0008]
为实现上述目的，本发明的技术方案是：一种基于改进ssd模型的自动扶梯乘客姿态异常检测方法，该方法将改进的单镜头检测器ssd算法，用于自动扶梯乘客姿势异常检测；将ssd 网络的vgg16网络采用mobilenetv2网络取代；同时，引入并集上的距离交集diou损失函数。
[0009]
相较于现有技术，本发明具有以下有益效果：本发明将深度学习技术引入自动扶梯乘客姿态异常检测领域，提出了一种基于改进ssd模型的自动扶梯乘客姿态异常检测方法。同时，引入了并集上的距离交集(diou)损失函数。综合考虑iou的特点和giou的缺点，本发明决定设计diou直接回归两个盒子中心点之间的欧氏距离，以加速收敛。实验结果表明，改进的ssd 扶梯乘客姿势异常检测算法能够准确、实时地识别扶梯乘客的危险姿势。具体创新点如下：
[0010]
(1)将mobilenetv2引入ssd模型，使得模型结构更简单，检测速度更快。
[0011]
(2)改进了ssd原有的损耗函数，采用diou损耗函数来降低损耗值，并进一步优化实验结果。
附图说明
[0012]
图1为本发明方法流程图。
[0013]
图2为本发明算法的网络结构。
[0014]
图3为mobilenet v2模型架构。
[0015]
图4为优化后的ssd网络模型。
[0016]
图5为总体系统框架图。
具体实施方式
[0017]
下面结合附图，对本发明的技术方案进行具体说明。
[0018]
如图1所示，本发明一种基于改进ssd模型的自动扶梯乘客姿态异常检测方法，提出了一种改进的单镜头检测器(ssd)算法，用于自动扶梯乘客姿势异常检测。首先，ssd网络的vgg16 网络部分将被mobilenetv2网络取代，这使得模型结构更简单，检测速度更快。同时，引入了并集上的距离交集(diou)损失函数。根据iou的特点，考虑到giou的缺点，diou直接回归两个盒子中心点之间的欧氏距离，以加速收敛。
[0019]
以下为本发明具体实施过程。
[0020]
1、ssd算法模型
[0021]
liu等人在eccv2016
[10]
上提出了ssd算法模型，这是一种多尺度目标检测模型和
单次多帧检测模型，该算法采用简单的“端到端”训练，进一步提高了速度和精度之间的权衡，即使输入图像的分辨率较低，也能保证检测的准确性。它以其简单、快速的特点得到了广泛的应用。
[0022]
1)ssd网络
[0023]
ssd网络由前端和后端组成，前端是一个vgg16网络，它贯穿到conv5_3层，后端是一个不同大小的功能层网络。ssd算法采用六种不同的特征层来检测不同尺度的目标，即conv4_3、conv7、conv8_2、conv9_2、conv10_2、conv11_2，对应的大小为38
×
38
×
512、19
×
19
×
1024、 10
×
10
×
512、5
×5×
256、3
×3×
256、1
×1×
256，ssd网络结构如图2所示。ssd算法使用特征金字塔结构进行检测，其中，浅特征层更适合检测小目标，深特征层更适合检测大目标。最后，将多尺度特征层的组合作为分类和回归的基础，进行回归计算和非最大值抑制，并输出最终结果。
[0024]
2)损失函数
[0025]
ssd目标损失函数是定位损失(loc)和置信度损失(conf)的加权和。当训练模型时，本发明使用两个损失函数。一个用于测试正向预测边界框偏移的损失，另一个用于预测边界框类别的损失。ssd的损失函数表示如下：
[0026][0027]
其中c代表类别置信度的预测值，l代表先验框对应边界框的位置预测值，g代表地面真值框的位置参数，n代表匹配默认框的数量，α是权重参数，x为指示器参数；
[0028]
定位损失的计算公式为：
[0029][0030]
其中用作指示器，指示第i个先验边界框和第j个地面真值框是否在k类上匹配。由于的存在，仅对正样本计算位置误差。需要注意的是，地面真值框的位置参数g应编码为(偏移量)，为预测框，其公式如下：
[0031][0032][0033][0034][0035]
cx和cy表示预测边界框的坐标，w和h表示预测边界框的大小；分别表示地面真实框与边界框中心偏移量(cx,cy)和其宽度w、高度h的偏移量，表示地面真实框编码值，表示大小比例因子；
[0036]
位置丢失采用先验包围盒l参数与地面真值盒g参数之间的smooth l1丢失；smoothl1损失函数的公式如下：
[0037][0038]
置信度损失的计算公式为：
[0039][0040]
表示预测框i与真实框j关于类别p匹配，p的概率越高，损失越小。表示预测框没有物体，预测为背景的概率越高，损失越小。表示类别p的第i个边界框的置信度，其计算公式如下:
[0041][0042]
exp(x)函数的返回值为e的x次方，e是自然对数的底(约等于2.718281828459045
…
)。
[0043]
由于smooth l1损失函数没有考虑坐标之间的相关性，因此采用diou损失函数替换 smoothl1损失函数，diou损失函数公式如下：
[0044][0045]
其中b是预测框，b
gt
是地面真值框。b和b
gt
表示b和b
gt
的中心点，ρ是欧几里得距离，c是覆盖两个边界框的最小包围盒的对角线长度。
[0046]
2、优化模型
[0047]
1)mobilenetv2
[0048]
作为一种轻量级网络，mobilenetv2[11]引入了深度可分离卷积和反向残差块，用线性激活函数替换反向残差网络结构中的最后一个relu6，来解决低维relu6操作导致的信息丢失问题 [11]。mobilenetv2的架构如图3所示。
[0049]
传统的ssd算法采用多尺度特征映射进行目标检测，提取多尺度特征，大大提高检测精度，但实时性仍然较差。ssd 80％的前馈时间花在主干上，即vgg16网络上，如果使用更快的主干，速度可以进一步提高。因此，本发明在mobilenetv2网络中引入了反向残差块和深度可分离卷积，大大减少了计算量，提高了检测速度。在考虑模型大小的同时，对延迟进行了优化。因此，本发明用mobilenetv2网络取代ssd网络中的vgg16网络部分，使模型结构更简单，检测速度更快。优化后的ssd网络模型如图4所示。
[0050]
3)diou损失函数
[0051]
smooth l1作为目标检测回归loss的缺点：
[0052]
将bbox四个点分别求loss然后相加，并没有考虑坐标之间的相关性，bbox的4个部分应该是作为一个整体讨论。
[0053]
把cx、cy、w、h独立看待，4个部分产生不同的loss会回归出不同的预测框，但是如果4 个部分的总体loss相同，多个检测帧可能具有相同的损失。
[0054]
针对上述缺点，提出了iou损失
[12]
，即欠条损失回归由四个点组成的整体边界框。但是，如果两个盒子不相交，那么iou的丢失并不能反映出两个盒子之间的距离，当它相交时，也不能准确反映出两个盒子之间的重叠程度。本发明提出的giou损失
[13]
基于iou损失
特性引入最小外接凸对象，解决了预测盒与地真盒不相交时损失值为0的问题，也存在一些不足，如在某些情况下退化为iou，两个方框相交时水平和垂直方向收敛缓慢等。而diou损失
[14]
在基于iou 损失特性的基础上考虑到giou损失的缺点，直接回归两个boxes中心点的欧式距离，加速收敛。因此，本发明采用diou
[14]
损失函数替换smoothl1损失函数。公式如下：
[0055][0056]
其中b是预测框，b
gt
是地面真值框。b和b
gt
表示b和b
gt
的中心点，ρ是欧几里得距离，c是覆盖两个盒子的最小包围盒的对角线长度。
[0057]
3、整体系统框架
[0058]
本发明研究了基于改进ssd模型的自动扶梯乘客姿态异常检测，为了检测视频中的各种乘客身体姿势，提出了优化的ssd算法作为框架。整个扶梯乘客姿势异常检测系统的实现思路如下：首先，将待检测的视频输入检测系统，从不同的扶梯监控视频序列中提取视频帧，形成一个数据集，并对数据集进行手动标记，记录位置和大小信息。其次，将标记后的数据集输入优化后的ssd网络进行训练，直到网络收敛，得到能够检测目标的ssd权重模型。第三，将从不同特征地图中获得的边界框进行组合，通过nms(非最大值抑制)方法抑制某些重叠或错误的边界框，并生成最终的边界框集(即检测结果)。最后，输出检测到的扶梯上的乘客姿势，判断乘客是否处于危险状态，使扶梯及时采取相应的安全防护措施。本发明提出的方法的总体框架如图5所示。
[0059]
4、实施例
[0060]
1、设置
[0061]
数据集描述
[0062]
因为关于乘客在自动扶梯上摔倒的公开监测视频很少，也没有相应的公开数据集。因此，本发明在解决数据集收集方面做了以下实际工作：
[0063]
a)与监管部门负责人沟通，获得了在超市自动扶梯监控背景下拍摄视频的许可；
[0064]
b)对拍摄的自动扶梯视频进行取景，然后，对乘客在自动扶梯上的相应姿态(包括站立、方正、弯曲和跌倒)进行标注，从而得到训练数据集。
[0065]
1)模型参数设置
[0066]
网络模型的训练参数设置如表1所示。
[0067]
表1
[0068][0069]
2)实验评估指标
[0070]
召回率和精确度被用作评估网络模型性能的指标。召回用于评估模型找到所有阳性样本的能力，而精度用于评估模型检测的准确性。
[0071]
探测器有四个预测结果。真阳性(tp)：最初为阳性样本，归类为阳性样本。真阴性(tn)：最初是阴性样本，分类为阴性样本，通常表示分类错误。假阳性(fp)：最初，阴性样本
被归类为阳性样本，通常称为假警报。假阴性(fn)：最初，阳性样本被归类为阴性样本，通常称为遗漏。基于上述四个参数，评估指标召回率和精确度的公式可以表示为(11)(12)：
[0072][0073][0074]
2、实验结果
[0075]
每种模型的实验结果总结见表2。
[0076]
表2各模型实验结果对比
[0077][0078]
实验结果表明，速度较快的两阶段算法fasterr-cnn虽然精度较高，但实时性较差，不适合实时监控。本发明提出的方法简化了骨干网络，优化了损耗函数。与ssd相比，虽然精度和召回率略有降低，但帧速率和模型尺寸都得到了很大程度的优化。在真实的扶梯监控场景中，可以更好地发挥实时检测功能。
[0079]
本发明的模型在确保了自动扶梯乘客姿态检测准确性保持不变的同时，大大提高了检测速度。
[0080]
5、总结
[0081]
本发明提出了一种基于改进ssd模型的自动扶梯乘客异常姿势检测方法。首先，在ssd算法中引入了轻量级mobilenetv2网络，确保检测的准确性，提高检测速度，减少参数数量，简化骨干网络。其次，在损耗函数中引入diou损耗函数，进一步优化实验结果。实验结果表明，本发明提出的方法不仅保证了乘客姿态异常检测的准确性，而且提高了乘客姿态异常检测的实时性。
[0082]
[1]unitednations,departmentofeconomicandsocialaffairs,populationdivision.worldpopulationageing2020highlights:livingarrangementsofolderpersons[r].2020.
[0083]
[2]none.circularofthestateadministrationofmarketsupervisiononthesafetystatusofnationalspecialequipmentin2020[j]westernspecialequipment,2021(2):4
[0084]
[3]beardspj,frostg,healeyn,etal.anewhumanfactorsincidenttaxonomyformembersofthepublic(hfit-mp):aninvestigationofescalatorincidents[j].safetyscience,2022,147:105597.
[0085]
[4]tuchunlei,lixiangdong,sunmin,etalescalatorriskanalysisbasedonaccidentandfaultstatistics[j]chinaspecialequipmentsafety,2016(8):18-21
[0086]
[5]mah,liz,wangz,etal.researchonmeasuringdeviceandquantifiableriskassessmentmethodbasedonfmeaofescalatorbrake[j]
.advancesinmechanicalengineering,2021,13(3):16878140211001963.
[0087]
[6]kwonys,copelandgs,parkng.amultibodydynamicmodelforescalatorhandrailsystemsanditsapplicationtodynamiccharacteristics[j].multibodysystemdynamics,2005,13(2):253-266.
[0088]
[7]girshickr.fastr-cnn[c]//proceedingsoftheieeeinternationalconferenceoncomputervision.2015:1440-1448.
[0089]
[8]rens,hek,girshickr,etal.fasterr-cnn:towardsreal-timeobjectdetectionwithregionproposalnetworks[j].advancesinneuralinformationprocessingsystems,2015,28.
[0090]
[9]redmonj,divvalas,girshickr,etal.youonlylookonce:unified,real-timeobjectdetection[c]//proceedingsoftheieeeconferenceoncomputervisionandpatternrecognition.2016:779-788.
[0091]
[10]liuw,anguelovd,erhand,etal.ssd:singleshotmultiboxdetector[c]//europeanconferenceoncomputervision.springer,cham,2016:21-37.
[0092]
[11]zhengd,xiangqunl,xux.vehicleandpedestriandetectionnetworkbasedonlightweightssd[j].journalofnanjingnormaluniversity(naturalscienceedition),2019,42(1):73-81.
[0093]
[12]yuj,jiangy,wangz,etal.unitbox:anadvancedobjectdetectionnetwork[c]//proceedingsofthe24thacminternationalconferenceonmultimedia.2016:516-520.
[0094]
[13]rezatofighih,tsoin,gwakjy,etal.generalizedintersectionoverunion:ametricandalossforboundingboxregression[c]//proceedingsoftheieee/cvfconferenceoncomputervisionandpatternrecognition.2019:658-666.
[0095]
[14]zhengz,wangp,liuw,etal.distance-iouloss:fasterandbetterlearningforboundingboxregression[c]//proceedingsoftheaaaiconferenceonartificialintelligence.2020,34(07):12993-13000.。
[0096]
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
技术特征：1.一种基于改进ssd模型的自动扶梯乘客姿态异常检测方法，其特征在于，该方法将改进的单镜头检测器ssd算法，用于自动扶梯乘客姿势异常检测；将ssd网络的vgg16网络采用mobilenetv2网络取代；同时，引入并集上的距离交集diou损失函数。2.根据权利要求1所述的一种基于改进ssd模型的自动扶梯乘客姿态异常检测方法，其特征在于，所述ssd网络由前端和后端组成，前端为vgg16网络，后端为不同大小的功能层网络，将前端的vgg16网络采用mobilenetv2网络替代，在mobilenetv2网络中引入深度可分离卷积和反向残差块，并用线性激活函数替换反向残差块网络结构中的最后一个relu6。3.根据权利要求1所述的一种基于改进ssd模型的自动扶梯乘客姿态异常检测方法，其特征在于，ssd算法采用六种不同的特征层来检测不同尺度的目标，即conv4_3、conv7、conv8_2、conv9_2、conv10_2、conv11_2，对应的大小为38
×
38
×
512、19
×
19
×
1024、10
×
10
×
512、5
×5×
256、3
×3×
256、1
×1×
256；ssd算法使用特征金字塔结构进行检测，其中，浅特征层检测小目标，深特征层检测大目标；最后，将多尺度特征层的组合作为分类和回归的基础，进行回归计算和非最大值抑制，并输出最终结果。4.根据权利要求1所述的一种基于改进ssd模型的自动扶梯乘客姿态异常检测方法，其特征在于，ssd算法的目标损失函数是定位损失loc和置信度损失conf的加权和；当训练模型时，一个用于测试正向预测边界框偏移的损失，另一个用于预测边界框类别的损失；ssd算法的损失函数表示如下：其中c代表类别置信度的预测值，l代表先验框对应边界框的位置预测值，g代表地面真值框的位置参数，n代表匹配默认框的数量，α是权重参数，x为指示器参数；定位损失的计算公式为：其中用作指示器，指示第i个先验边界框和第j个地面真值框是否在k类上匹配；由于的存在，仅对正样本计算位置误差；其中，地面真值框的g应编码为偏移地面真值框的g应编码为偏移为预测框编码值，其公式如下：其公式如下：其公式如下：其公式如下：cx和cy表示预测边界框的坐标，w和h表示预测边界框的大小；分别表示地面真实框与边界框中心偏移量(cx,cy)和其宽度w、高度h的偏移量，表示地面真实框编码值，表示大小比例因子；位置丢失采用先验边界框l参数与地面真值框g参数之间的smooth
l1
丢失；smooth
l1
损失
函数的公式如下：置信度损失的计算公式为：置信度损失的计算公式为：表示预测框i与真实框j关于类别p匹配，p的概率越高，损失越小；表示预测框没有物体，预测为背景的概率越高，损失越小；表示类别p的第i个边界框的置信度，其计算公式如下：exp(x)函数的返回值为e的x次方，e是自然对数的底；由于smooth
l1
损失函数没有考虑坐标之间的相关性，因此采用diou损失函数替换smooth
l1
损失函数，diou损失函数公式如下：其中b是预测框，b
gt
是地面真值框；b和b
gt
分别表示b和b
gt
的中心点，ρ是欧几里得距离，c是覆盖两个边界框的最小包围盒的对角线长度。5.根据权利要求1至4任一所述的一种基于改进ssd模型的自动扶梯乘客姿态异常检测方法，其特征在于，该方法应用于扶梯乘客姿势异常检测系统，具体实现如下：首先，将待检测的视频输入检测系统，从不同的扶梯监控视频序列中提取视频帧，形成一个数据集，并对数据集进行手动标记，记录位置和大小信息；其次，将标记后的数据集输入优化后的ssd网络进行训练，直到网络收敛，得到能够检测目标的ssd网络；第三，将从不同特征地图中获得的边界框进行组合，通过非最大值抑制nms方法抑制重叠或错误的边界框，并生成最终的边界框集即检测结果；最后，输出检测到的扶梯上的乘客姿势，判断乘客是否处于危险状态，使扶梯及时采取相应的安全防护措施。
技术总结本发明涉及一种基于改进SSD模型的自动扶梯乘客姿态异常检测方法。该方法将改进的单镜头检测器（SSD）算法，用于自动扶梯乘客姿势异常检测。首先，SSD网络的VGG16网络部分被Mobilenetv2网络取代，这使得模型结构更简单，检测速度更快。同时，引入了并集上的距离交集（DIoU）损失函数。根据IoU的特点，考虑到GIoU的缺点，DIoU直接回归两个盒子中心点之间的欧氏距离，以加速收敛。实验结果表明，改进的SSD扶梯乘客姿势异常检测算法能够准确、实时地识别扶梯乘客的危险姿势，以便制定相应的安全防护措施，提高自动扶梯运行的安全性能。提高自动扶梯运行的安全性能。
技术研发人员：李佐勇 陈健 许腾 叶伟华 郑祥盘
受保护的技术使用者：闽江学院
技术研发日：2022.07.18
技术公布日：2022/11/1
