驾驶行为识别方法、装置及存储介质与流程

专利2023-03-03  117



1.本技术实施例涉及计算机技术领域,具体涉及一种驾驶行为识别方法、装置及存储介质,其中,存储介质包括计算机可读存储介质。


背景技术:

2.驾驶行为的好坏对司乘人员和道路行人的安全具有重要影响,不端驾驶行为或者危险驾驶行为极易造成相关人员生命和财产的损失,司机不端驾驶行为包括疲劳驾驶、分心驾驶、突发生理疾病等。
3.随着计算机技术的快速发展,通过计算机技术对驾驶行为的识别得到了实现,目前,主要通过对驾驶人驾驶过程中的录像分析来得到驾驶人的驾驶行为,但是,由于录像的数据量较大,对录像的分析致使流量成本较高。


技术实现要素:

4.本技术实施例提供一种驾驶行为识别方法、装置及存储介质,可以实现对驾驶行为的识别,并控制流量成本。
5.第一方面,本技术实施例提供了一种驾驶行为识别方法,包括:
6.获取驾驶人在行车过程中的驾驶图像;
7.将所述驾驶图像输入行为分析模型,得到所述驾驶人的初步行为分析结果;
8.若所述初步行为分析结果描述所述驾驶人驾驶行为异常,则获取至少两张对应所述驾驶图像的参考驾驶图像;
9.根据至少两张所述参考驾驶图像,通过所述行为分析模型确定所述驾驶人的驾驶行为结果。
10.其中,在本技术的一些实施例中,所述根据至少两张所述参考驾驶图像,通过所述行为分析模型确定所述驾驶人的驾驶行为结果,包括:
11.将至少两张所述参考驾驶图像分别输入所述行为分析模型,得到每张所述参考驾驶图像对应的参考行为分析结果;
12.根据若干所述参考行为分析结果确定所述驾驶人的驾驶行为结果。
13.其中,在本技术的一些实施例中,所述将至少两张所述参考驾驶图像分别输入所述行为分析模型,得到每张所述参考驾驶图像对应的参考行为分析结果,包括:
14.针对每张参考驾驶图像,按照如下方式处理:
15.当所述参考驾驶图像包括人脸时,将所述参考驾驶图像输入所述行为分析模型,得到所述驾驶人的参考行为分析结果;
16.当所述参考驾驶图像中不包含人脸时,将所述参考驾驶图像作为待分配驾驶图像,并根据所述待分配驾驶图像的采集时间,从所述至少两张参考驾驶图像中选取与所述待分配驾驶图像相邻的相邻参考驾驶图像,根据所述相邻参考驾驶图像的参考行为分析结果确定所述待分配驾驶图像的参考行为分析结果。
17.其中,在本技术的一些实施例中,各所述参考行为分析结果包括危险驾驶概率值,所述根据若干所述参考行为分析结果确定所述驾驶人的驾驶行为结果,包括:
18.对若干所述危险驾驶概率值进行加权求和,得到加权求和结果值;
19.根据所述加权求和结果值确定所述驾驶人的驾驶行为结果。
20.其中,在本技术的一些实施例中,所述根据所述加权求和结果值确定所述驾驶人的驾驶行为结果,包括:
21.当所述加权求和结果值大于或者等于预设阈值时,将危险驾驶作为所述驾驶人的驾驶行为结果;
22.当所述加权求和结果值小于预设阈值时,将安全驾驶作为所述驾驶人的驾驶行为结果。
23.其中,在本技术的一些实施例中,各所述参考行为分析结果包括危险驾驶概率值,所述根据若干所述参考行为分析结果确定所述驾驶人的驾驶行为结果,包括:
24.对若干所述危险驾驶概率值进行由大到小的排序;
25.从所述排序中选取靠前的预设数量个危险驾驶概率值,得到若干参考危险驾驶概率值;
26.计算所述若干参考危险驾驶概率值的平均数,得到平均危险驾驶概率值;
27.根据所述平均危险驾驶概率值确定所述驾驶人的驾驶行为结果。
28.其中,在本技术的一些实施例中,所述行为分析模型包括面部特征提取模块、头部姿态特征提取模块和行为分类模块,所述将所述驾驶图像输入行为分析模型,得到所述驾驶人的初步行为分析结果,包括:
29.将所述驾驶图像输入所述面部特征提取模块,得到所述驾驶人的面部特征;
30.将所述驾驶图像输入所述头部姿态特征提取模块,得到所述驾驶人的头部姿态特征;
31.将所述面部特征和所述头部姿态特征进行融合,得到驾驶行为特征;
32.将所述驾驶行为特征输入所述行为分类模块,得到所述驾驶人的初步行为分析结果。
33.其中,在本技术的一些实施例中,所述面部特征包括眼部特征、嘴巴特征或眉毛特征中的至少一种,所述头部姿态特征包括头部俯仰角特征、偏航角特征或翻滚角特征中的至少一种。
34.其中,在本技术的一些实施例中,所述若所述初步行为分析结果描述所述驾驶人驾驶行为异常,则获取至少两张对应所述驾驶图像的参考驾驶图像,包括:
35.若所述初步行为分析结果描述所述驾驶人驾驶行为异常,则根据所述驾驶图像的采集时间点获取参考驾驶视频;
36.从所述参考驾驶视频中选取至少两张参考驾驶图像。
37.其中,在本技术的一些实施例中,所述从所述参考驾驶视频中选取至少两张参考驾驶图像,其中,所述参考驾驶图像通过以下任一方法获得,包括:
38.将所述参考驾驶视频中的每一帧视频图像分别作为参考驾驶图像;
39.或者,根据所述参考驾驶视频中相邻两帧视频图像的相似度,对所述参考驾驶视频对应的视频图像进行过滤,将所述过滤后的视频图像作为参考驾驶图像;
40.或者,根据预设时长间隔从所述参考驾驶视频中抽取视频图像;
41.将所述抽取的视频图像作为参考驾驶图像。
42.第二方面,本技术实施例还提供了一种驾驶行为识别装置,包括:
43.初步获取模块,用于获取驾驶人在行车过程中的驾驶图像;
44.初步确定模块,用于将所述驾驶图像输入行为分析模型,得到所述驾驶人的初步行为分析结果;
45.再次获取模块,用于若所述初步行为分析结果描述所述驾驶人驾驶行为异常,则获取至少两张对应所述驾驶图像的参考驾驶图像;
46.行为确定模块,用于根据至少两张所述参考驾驶图像,通过所述行为分析模型确定所述驾驶人的驾驶行为结果。
47.第三方面,本技术实施例还提供了一种电子设备,电子设备包括存储器、处理器及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述的驾驶行为识别方法中的步骤。
48.第四方面,本技术实施例还提供了一种存储介质,存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述的驾驶行为识别方法中的步骤。
49.本技术实施例通过获取驾驶人在行车过程中的驾驶图像,将驾驶图像输入到行为分析模型,得到驾驶人的初步行为分析结果,并在初步行为分析结果描述驾驶人驾驶行为异常时,获取至少两张对应驾驶图像的参考驾驶图像,根据至少两张参考驾驶图像,通过行为分析模型确定驾驶人的驾驶行为结果。其中,通过模型对驾驶人驾驶图像的分析,可以提升驾驶人驾驶行为的分析效率。其中,通过在单张图像分析结果表明驾驶人驾驶行为异常后对多张参考驾驶图像的采集和分析,可实现先基于单张图像分析驾驶行为,然后在满足特定条件后再对多张图像进行采集和分析,有效的控制分析的数据量,降低流量成本,例如,当初步行为分析结果表明驾驶人非异常驾驶时,则不需要采集相应的多张驾驶图像,同时也不需要对该多张驾驶图像进行分析。
附图说明
50.为了更清楚地说明本技术中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
51.图1是本技术实施例提供的驾驶行为识别方法的场景示意图;
52.图2是本技术实施例提供的驾驶行为识别方法的流程示意图;
53.图3是本技术实施例提供的行为分析模型的网络架构图;
54.图4是本技术实施例提供的驾驶行为识别方法的另一流程示意图;
55.图5是本技术实施例提供的驾驶行为识别装置的结构示意图;
56.图6是本技术实施例提供的驾驶行为识别装置的另一结构示意图;
57.图7是本技术实施例提供的电子设备的结构示意图。
具体实施方式
58.下面将结合本技术中的附图,对本技术中的技术方案进行清楚、完整地描述,显
然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
59.本技术实施例提供一种驾驶行为识别方法、装置及存储介质。具体地,本技术实施例提供适用于电子设备的驾驶行为识别装置,其中,电子设备包括终端或者服务器等设备,其中,终端可以为相机、摄像头或者手机等具备图像采集能力的设备,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(cdn,content delivery network)、以及大数据和人工智能平台等基础云计算服务的云服务器,服务器可以通过有线或无线通信方式进行直接或间接地连接。
60.本技术实施例可以单独由终端设备执行驾驶行为识别方法,或者是单独由服务器执行驾驶行为识别方法,或者是终端设备和服务器共同执行驾驶行为识别方法,请参阅图1,以终端设备和服务器共同执行驾驶行为识别方法为例,其中,在终端设备和服务器的基础上也可以增加其他设备来辅助完成驾驶行为识别方法,在此对其他设备的类型不做限定;终端设备与服务器之间通过网络连接,比如,通过有线或无线网络连接等,具体执行过程如下:
61.终端设备10启动图像采集功能,对驾驶人在行车过程中的驾驶图像进行采集,当采集到驾驶人的驾驶图像后,将驾驶图像发送给服务器11,由服务器11根据驾驶图像对驾驶人的驾驶行为进行分析。
62.服务器11在接收并获取到终端设备10发送过来的驾驶人的驾驶图像后,将驾驶图像输入到行为分析模型,得到驾驶人的初步行为分析结果,若初步行为分析结果描述驾驶人驾驶行为异常,则向终端设备10发送需进一步进行分析的需求反馈,终端设备10在接收到服务器11的需求反馈后,根据驾驶图像获取多张参考驾驶图像,并将多张参考驾驶图像返回给服务器11。
63.服务器11在接收到终端设备10返回的多张参考驾驶图像后,根据多张参考驾驶图像,通过行为分析模型对驾驶人的驾驶行为进行进一步确认,得到驾驶人的驾驶行为结果。
64.其中,在本技术实施例中,由于多张参考驾驶图像是在单张驾驶图像的初步行为分析结果描述该驾驶人驾驶行为异常后采集的,因此,采集多张参考驾驶图像的目的在于进一步分析驾驶人在单张驾驶图像所在时间点附近的驾驶行为,因此,多张参考驾驶图像与驾驶图像的采集时间接近。
65.其中,在本技术实施例中,行为分析模型是基于训练样本组进行预先训练得到的,为提升模型分析的准确性,可以相应的提升模型训练时训练样本组中样本图像的数量。
66.其中,本技术实施例通过获取驾驶人在行车过程中的驾驶图像,将驾驶图像输入到行为分析模型,得到驾驶人的初步行为分析结果,并在初步行为分析结果描述驾驶人驾驶行为异常时,获取至少两张对应驾驶图像的参考驾驶图像,根据至少两张参考驾驶图像,通过行为分析模型确定驾驶人的驾驶行为结果。其中,通过模型对驾驶人驾驶图像的分析,可以提升驾驶人驾驶行为的分析效率。其中,通过在单张图像分析结果表明驾驶人驾驶行为异常后对多张参考驾驶图像的采集和分析,可实现先基于单张图像分析驾驶行为,然后在满足特定条件后再对多张图像进行采集和分析,有效的控制分析的数据量,降低流量成
本,例如,当初步行为分析结果表明驾驶人非异常驾驶时,则不需要采集相应的多张驾驶图像,同时也不需要对该多张驾驶图像进行分析。
67.以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优先顺序的限定。
68.请参阅图2,图2为本技术实施例提供的驾驶行为识别方法的流程示意图。该驾驶行为识别方法的具体流程可以如下:
69.101、获取驾驶人在行车过程中的驾驶图像。
70.其中,在本技术实施例中,驾驶图像是对驾驶人在驾车过程中的形体进行拍摄得到的图像,其中,在本技术实施例中,由于主要根据驾驶人的面部特点和头部特点分析驾驶人的驾驶行为,因此,驾驶图像应主要是针对驾驶人面部和头部进行拍摄后得到的,例如,将图像采集设备的采集区域对准驾驶人在行驶过程中的面部区域和头部区域,实现对驾驶人面部和头部的图像采集。
71.其中,为了及时获取驾驶人的驾驶行为,在本技术实施例中,可以实时的获取驾驶人在行车过程中的驾驶图像,根据实时获取的驾驶图像,对驾驶人的驾驶行为进行实时分析。
72.102、将所述驾驶图像输入行为分析模型,得到所述驾驶人的初步行为分析结果。
73.其中,在本技术实施例中,行为分析模型是预先基于训练样本组进行训练得到的,例如,行为分析模型可以是基于yolo-v5模型训练得到的,其中,训练样本组包括样本图像以及样本图像所对应的标签。
74.其中,在本技术实施例中,行为分析模型可以基于回归的方式分析得到驾驶人的驾驶行为,例如,样本图像的标签是样本图像中驾驶行为的一个驾驶行为得分,通过样本图像和样本图像对应的驾驶行为得分对模型进行训练,基于训练后的行为分析模型回归拟合出当前输入到模型中的驾驶图像对应的驾驶行为得分,得到初步行为分析结果。
75.其中,在本技术实施例中,行为分析模型也可以是基于直接分类的方式分析得到驾驶人的驾驶行为类型,例如,样本图像的标签是样本图像中驾驶行为的一个驾驶行为类型,通过样本图像和样本图像对应的驾驶行为类型对模型进行训练,基于训练后的行为分析模型识别当前输入到模型中的驾驶图像的类型。
76.其中,在本技术实施例中,初步行为分析结果是基于驾驶人在驾驶过程中的单张驾驶图像分析得到的,单张驾驶图像的分析效率高于多张驾驶图像,因此,根据单张驾驶图像可快速获取到驾驶人的初步行为分析结果。
77.其中,在本技术实施例中,初步行为分析结果是驾驶人的驾驶行为的初步分析结果,其中,该初步行为分析结果包括对驾驶人驾驶行为的打分或者危险驾驶等相关的分值或者数值,例如,初步行为分析结果可以包括驾驶人的危险驾驶概率值等。其中,危险驾驶概率值用于反映驾驶人危险驾驶的概率,当危险驾驶概率值较高时,则说明该驾驶人存在危险驾驶的可能性较高,当危险驾驶概率值较低时,则说明该驾驶人存在危险驾驶的可能性较低。
78.其中,在本技术实施例中,行为分析模型可以是多个网络模块的组合,基于多个网络模块的处理实现基于驾驶图像对驾驶人的驾驶行为进行分析,其中,在本技术实施例中,还可以根据模型分析过程中所处理的内容的不同将模型划分为多个网络模块,基于各个网
络模块的执行处理,实现行为分析模型中各个环节的处理,即,可选的,在本技术的一些实施例中,行为分析模型包括面部特征提取模块、头部姿态特征提取模块和行为分类模块,步骤“将所述驾驶图像输入行为分析模型,得到所述驾驶人的初步行为分析结果”,包括:
79.将所述驾驶图像输入所述面部特征提取模块,得到所述驾驶人的面部特征;
80.将所述驾驶图像输入所述头部姿态特征提取模块,得到所述驾驶人的头部姿态特征;
81.将所述面部特征和所述头部姿态特征进行融合,得到驾驶行为特征;
82.将所述驾驶行为特征输入所述行为分类模块,得到所述驾驶人的初步行为分析结果。
83.其中,在本技术实施例中,面部特征提取模块用于提取出驾驶图像中驾驶人的面部特征,头部姿态特征提取模块用于提取出驾驶图像中驾驶人的头部姿态特征,其中,通过对驾驶图像中驾驶人面部特征和头部姿态特征的提取,便于根据面部特征和头部姿态特征对驾驶人的驾驶行为进行分析,实现根据图像并通过行为分析模型识别分析出驾驶人的驾驶行为。
84.其中,在本技术实施例中,面部特征提取模块可以包括一个卷积网络,基于该卷积网络从驾驶图像中提取得到驾驶人的面部特征。其中,在本技术实施例中,头部姿态特征模块可以包括一个卷积网络,基于该卷积网络从驾驶图像中提取得到驾驶人的头部姿态特征。
85.其中,在本技术实施例中,分类模块用于根据提取的特征分析驾驶人的驾驶行为,其中,在本技术实施例中,分类模块包括多层感知机网络,通过对驾驶人面部特征和头部姿态特征的融合,得到融合后的驾驶行为特征,通过将驾驶行为特征输入到多层感知机网络,可以利用多层感知机网络分析得到驾驶人的驾驶行为分析结果。
86.其中,请参阅图3,图3是本技术实施例提供的行为分析模型的网络架构图,其中,该行为分析模型包括面部特征提取模块111、头部姿态特征提取模块112和分类模块113,其中,面部特征提取模块111和头部姿态特征提取模块112分别用于接收输入的驾驶图像,并对驾驶图像进行特征提取,以及输出驾驶图像中驾驶人的相关特征,而分类模块113用于接收面部特征提取模块111和头部姿态特征提取模块112输出的相关特征,并基于该相关特征分析驾驶人的驾驶行为,因此,在本技术实施例中,分类模块113分别连接面部特征提取模块111的输出和头部姿态特征提取模块112的输出,进而构成行为分析模型的整体架构。
87.其中,在本技术实施例中,由于驾驶人的面部和头部不容易被遮挡,因此,驾驶人的面部特征和头部姿态特征可以作为驾驶人驾驶行为分析的理想特征,其中,在本技术实施例中,面部特征包括驾驶人的眼部特征、嘴巴特征或者眉毛特征中的至少一种,头部姿态特征包括驾驶人的头部的俯仰角特征、偏航角特征或者翻滚角特征中的至少一种。
88.其中,在本技术实施例中,还可以根据分析精度的需求,适量的丰富提取的特征的类型,增加模型分析的广度,提升分析结果的精确度。其中,在本技术实施例中,针对提取的其他类型的特征,可以通过增加卷积网络的方式来实现,例如,在行为分析模型中增加一个卷积网络,用于对相应特征的提取,比如,通过新增的卷积网络提取得到驾驶人的手部特征等,将手部特征融合到分类模块的分析过程中,提升驾驶人驾驶行为分析的准确性。
89.103、若所述初步行为分析结果描述所述驾驶人驾驶行为异常,则获取至少两张对
应所述驾驶图像的参考驾驶图像。
90.其中,在本技术实施例中,由于多张参考驾驶图像采集的目的在于进一步分析驾驶人在单张驾驶图像所在时间点附近的驾驶行为,因此,参考驾驶图像是与驾驶图像的采集时间接近的图像,通过对采集时间接近的多张参考驾驶图像的采集,可通过多张参考驾驶图像进一步分析得到驾驶人在当前时间段的驾驶行为。
91.其中,在本技术实施例中,参考驾驶图像的采集方式与单张驾驶图像的采集方式相同,均可以通过图像采集设备对驾驶人在驾驶过程中的形体进行拍摄后得到。其中,基于采集时间接近的需求,可以根据单张驾驶图像对应的采集时间,获取采集时间接近的、对应的多张参考驾驶图像,例如,在通过图像采集设备对驾驶人的驾驶过程进行录像时,基于采集时间接近的需求,可以从录像中选取与单张驾驶图像的采集时间接近的多张驾驶图像,并将该多张驾驶图像分别作为参考驾驶图像,得到多张参考驾驶图像。
92.其中,由于单张驾驶图像的分析结果较为片面,因此,当单张驾驶图像的分析结果表明驾驶人驾驶行为异常时,则可以通过对多张驾驶图像(例如,采集时间点接近的多张参考驾驶图像)的分析来进一步确认驾驶人的驾驶行为。
93.其中,在本技术实施例中,当单张驾驶图像分析结果表面驾驶人驾驶行为异常时,则表明该驾驶人可能存在驾驶行为异常的情况,因此,通过相应的多张驾驶图像的获取,可以实现对驾驶人驾驶行为的进一步分析。相反,当单张驾驶图像的分析结果表面驾驶人驾驶行为正常时,则表明该驾驶人驾驶行为基本正常,因此,不需要再进行相应的多张参考驾驶图像的采集,可减少驾驶图像的采集数量,降低驾驶图像传输过程中的流量成本,同时,在减少驾驶图像的采集后,也可相应的减少模型所需处理的图像的数量,降低模型的处理时间和任务量,降低性能损耗。
94.其中,在本技术实施例中,可以选取与驾驶图像的采集时间接近的一段驾驶视频,从驾驶视频中选取多张参考驾驶图像,即,可选的,在本技术实施例中,步骤“若所述初步行为分析结果描述所述驾驶人驾驶行为异常,则获取至少两张对应所述驾驶图像的参考驾驶图像”,包括:
95.若所述初步行为分析结果描述所述驾驶人驾驶行为异常,则根据所述驾驶图像的采集时间点获取参考驾驶视频;
96.从所述参考驾驶视频中选取至少两张参考驾驶图像。
97.其中,在本技术实施例中,参考驾驶视频可以是驾驶图像的采集时间点之前的一段时间对应的视频,也可以是驾驶图像的采集时间点之后的一段时间对应的视频,还可以是包含驾驶图像的一段视频,即,参考驾驶视频的采集时间可以是在驾驶图像的采集时间点之前、之后或者前后各一段时间对应的视频。
98.其中,通过采集与驾驶图像采集时间点接近的参考驾驶视频,可以根据参考驾驶视频中的视频图像对驾驶人在当前时间段的驾驶行为进行分析。其中,在本技术实施例中,为了提升驾驶行为分析的准确性,可以从驾驶视频中尽可能多的选取视频图像作为参考驾驶图像。
99.其中,在本技术实施例中,为了提升驾驶行为分析的准确性,还可以将驾驶视频中的每一帧视频图像均作为参考驾驶图像,即,可选的,在本技术的一些实施例中,步骤“从所述参考驾驶视频中选取至少两张参考驾驶图像”,包括:
100.将所述参考驾驶视频中的每一帧视频图像分别作为参考驾驶图像。
101.其中,通过将参考驾驶视频中的每一帧视频图像均作为参考驾驶图像,可提升驾驶人驾驶行为分析的准确性。其中,在此种情况下,对驾驶人驾驶行为的进一步分析可以理解为对驾驶人驾驶过程中驾驶视频的分析,通过对驾驶视频的分析,相较于对单张驾驶图像的分析,可提升分析结果的准确性,适用于对驾驶人驾驶行为的进一步分析。
102.其中,由于驾驶视频中视频图像帧数较多,而较多的视频图像会提升模型处理的复杂度,影响驾驶行为分析的效率,因此,在本技术实施例中,还可以根据视频图像中相邻视频图像的相似度对相似的视频图像进行过滤,以降低模型所需处理的视频图像的数量,提升驾驶人驾驶行为的分析效率,即,可选的,在本技术的一些实施例中,步骤“从所述参考驾驶视频中选取至少两张参考驾驶图像”,包括:
103.根据所述参考驾驶视频中相邻两帧视频图像的相似度,对所述参考驾驶视频对应的视频图像进行过滤;
104.将所述过滤后的视频图像作为参考驾驶图像。
105.其中,通过相邻视频图像的相似度对视频图像过滤,可对相邻视频图像中相似度较高的图像进行过滤,降低模型所需处理的图像的数量,以及降低模型重复处理的次数,提升驾驶人加会行为分析结果的产出效率。
106.其中,为了提升参考驾驶图像采集方式的多样性,在本技术实施例中,还可以根据时间间隔从驾驶视频中抽取视频图像,将该抽取的视频图像作为参考驾驶图像,即,可选的,在本技术的一些实施例中,步骤“从所述参考驾驶视频中选取至少两张参考驾驶图像”,包括:
107.根据预设时长间隔从所述参考驾驶视频中抽取视频图像;
108.将所述抽取的视频图像作为参考驾驶图像。
109.其中,根据时长间隔对视频图像的抽取,可在一定程度上降低出现重复图像的可能性,以及增加各个视频图像的采集时间的差值,减少模型处理过程中的数据冗余,提升驾驶人驾驶行为的分析效率。
110.104、根据至少两张所述参考驾驶图像,通过所述行为分析模型确定所述驾驶人的驾驶行为结果。
111.其中,通过采集驾驶人的多张参考驾驶图像,可以根据多张参考驾驶图像对驾驶人的驾驶行为进行进一步分析,其中,基于多张参考驾驶图像的分析结果相较于单张驾驶图像的分析结果具备更高的准确性,因此,可达到驾驶行为进一步确认的效果。
112.其中,在本技术实施例中,驾驶行为结果包括危险驾驶或者正常驾驶。
113.其中,在本技术实施例中,在根据多张参考驾驶图像并通过行为分析模型确定驾驶人的驾驶行为结果时,可以将各个参考驾驶图像分别输入到行为分析模型中,得到每个参考驾驶图像的参考行为分析结果,并根据多个参考驾驶图像对应的参考行为分析结果综合确定驾驶人的驾驶行为结果,即,可选的,在本技术的一些实施例中,步骤“根据至少两张所述参考驾驶图像,通过所述行为分析模型确定所述驾驶人的驾驶行为结果”,包括:
114.将至少两张所述参考驾驶图像分别输入所述行为分析模型,得到每张所述参考驾驶图像对应的参考行为分析结果;
115.根据若干所述参考行为分析结果确定所述驾驶人的驾驶行为结果。
116.其中,参考行为分析结果与初步行为分析结果均是通过单个驾驶图像,并利用行为分析模型得到的分析结果。其中,通过多个参考视频图像的参考行为分析结果,可综合确定驾驶人的驾驶行为结果。
117.其中,在本技术实施例中,由于图像采集设备仅能对采集区域内的图像进行采集,且通常相对固定的设置在车身内,因此,当驾驶人离开驾驶位、侧身、低头或者仰头时,则难以采集到包含驾驶人面部或者头部的驾驶图像,当驾驶图像中未采集到驾驶人的面部或者头部时,则不能根据驾驶人的面部特征和头部姿态特征对驾驶人的驾驶行为进行分析,因此,不能得到该驾驶图像对应的参考行为分析结果,因此,在本技术实施例中,针对不包含驾驶人的人脸的参考驾驶图像,可以通过采集时间点相邻的、且包含人脸的其他参考驾驶图像的参考行为分析结果来确定该未包含人脸的参考驾驶图像的参考行为分析结果,即,可选的,在本技术的一些实施例中,步骤“将至少两张所述参考驾驶图像分别输入所述行为分析模型,得到每张所述参考驾驶图像对应的参考行为分析结果”,包括:
118.针对每张参考驾驶图像,按照如下方式处理:
119.当所述参考驾驶图像包括人脸时,将所述参考驾驶图像输入所述行为分析模型,得到所述驾驶人的参考行为分析结果;
120.当所述参考驾驶图像中不包含人脸时,将该参考驾驶图像作为待分配驾驶图像,并根据该待分配驾驶图像的采集时间,从所述至少两张参考驾驶图像中选取与所述待分配驾驶图像相邻的其他参考驾驶图像,并根据选取的相邻参考驾驶图像的参考行为分析结果确定所述待分配驾驶图像的参考行为分析结果。
121.其中,当参考驾驶图像中包含人脸时,则可以通过驾驶人面部特征和头部姿态特征的提取来分析驾驶人的参考行为分析结果,当参考驾驶图像中不包含人脸时,则可以根据相邻的、包含人脸的其他参考驾驶图像的参考行为分析结果来填充该未包含人脸的参考驾驶图像的参考行为分析结果。
122.其中,在本技术实施例中,可以对多个相邻参考驾驶图像的参考行为分析结果进行加权求和或者直接求平均的方式来得到该未包含人脸的待分配驾驶图像的参考行为分析结果。
123.其中,在本技术实施例中,行为分析模型可以是基于回归的模型,而回归模型的输出可以是一个具体的数值,因此,在本技术实施例中,每个参考视频图像在通过行为分析模型分析后,还可以得到该参考视频图像对应的驾驶行为值,例如,该驾驶行为值可以是驾驶人的危险驾驶概率值,因此,在本技术实施例中,可以通过各个驾驶行为值的加权求和,得到驾驶人整体的驾驶行为结果,即,可选的,在本技术的一些实施例中,各参考行为分析结果包括危险驾驶概率值,步骤“根据若干所述参考行为分析结果确定所述驾驶人的驾驶行为结果”包括:
124.对若干所述危险驾驶概率值进行加权求和,得到加权求和结果值;
125.根据所述加权求和结果值确定所述驾驶人的驾驶行为结果。
126.其中,危险驾驶概率值反映的是参考驾驶图像中驾驶人的危险驾驶概率情况,由于每张参考驾驶图像对应一个参考行为分析结果,而每个参考行为分析结果对应包括一个危险驾驶概率值,因此,可以得到每张参考驾驶图像分别对应的危险驾驶概率值,通过得到每张参考驾驶图像对应的危险驾驶概率值,可通过加权求和的方式,得到驾驶人整体的危
险驾驶概率值,进而根据整体的危险驾驶概率值得到驾驶人的驾驶行为结果。
127.其中,在本技术实施例中,驾驶人的驾驶行为结果可以包括危险驾驶或者安全驾驶等,而不同驾驶行为结果可以根据相应的阈值来区分,即,可选的,在本技术的一些实施例中,步骤“根据所述加权求和结果值确定所述驾驶人的驾驶行为结果”,包括:
128.当所述加权求和结果值大于或者等于预设阈值时,将危险驾驶作为所述驾驶人的驾驶行为结果;
129.当所述加权求和结果值小于预设阈值时,将安全驾驶作为所述驾驶人的驾驶行为结果。
130.其中,预设阈值可以根据实际需要或者相关经验参数进行预配置,当各个危险驾驶概率值的加权求和结果值大于或者等于该预设阈值后,则可以认定该驾驶人的驾驶行为结果为危险驾驶,当各个危险驾驶概率值的加权求和结果值小于该预设阈值后,则可以认定该驾驶人的驾驶行为结果为安全驾驶或者正常驾驶。
131.其中,在本技术实施例中,在根据多个参考行为分析结果确定驾驶人的驾驶行为结果时,还可以从多个参考行为分析结果中选取一部分能够反映整体驾驶情况的参考行为分析结果来确定驾驶人的驾驶行为结果,即,可选的,在本技术的一些实施例中,各参考行为分析结果包括危险驾驶概率值,步骤“根据若干所述参考行为分析结果确定所述驾驶人的驾驶行为结果”,包括:
132.对若干所述危险驾驶概率值进行由大到小的排序;
133.从所述排序中选取靠前的预设数量个危险驾驶概率值,得到若干参考危险驾驶概率值;
134.计算所述若干参考危险驾驶概率值的平均数,得到平均危险驾驶概率值;
135.根据所述平均危险驾驶概率值确定所述驾驶人的驾驶行为结果。
136.其中,通过对危险驾驶概率值的大小排序,并根据排序结果,从中选取前几个数值较大的危险驾驶概率值,可以快速的得到驾驶人的驾驶行为结果,例如,通过对选取的多个危险驾驶概率值进行加权求和或者求平均,可以快速的得到驾驶人的整体危险驾驶概率值,然后,基于该整体危险驾驶概率值得到驾驶人的整体驾驶行为结果。
137.其中,虽然整个驾驶过程是漫长的,但是,只要有少量的参考驾驶图像反映该驾驶人危险驾驶时,则可以认定该驾驶人在驾驶过程中出现了危险驾驶,应当认定驾驶人的驾驶行为结果为危险驾驶,因此,少量的数值较大的危险驾驶概率值,即可反映出驾驶人的整体驾驶情况。
138.其中,本技术实施例通过获取驾驶人在行车过程中的驾驶图像,将驾驶图像输入到行为分析模型,得到驾驶人的初步行为分析结果,并在初步行为分析结果描述驾驶人驾驶行为异常时,获取至少两张对应驾驶图像的参考驾驶图像,根据至少两张参考驾驶图像,通过行为分析模型确定驾驶人的驾驶行为结果。其中,通过模型对驾驶人驾驶图像的分析,可以提升驾驶人驾驶行为的分析效率。其中,通过在单张图像分析结果表明驾驶人驾驶行为异常后对多张参考驾驶图像的采集和分析,可实现先基于单张图像分析驾驶行为,然后在满足特定条件后再对多张图像进行采集和分析,有效的控制分析的数据量,降低流量成本,例如,当初步行为分析结果表明驾驶人非异常驾驶时,则不需要采集相应的多张驾驶图像,同时也不需要对该多张驾驶图像进行分。
139.请参阅图4,图4是本技术实施例提供的驾驶行为识别方法的另一流程示意图,其中,该驾驶行为识别方法具体包括:
140.201、获取驾驶人在驾驶过程中的驾驶图像;
141.202、根据驾驶图像,通过行为分析模型得到驾驶图像中驾驶人的初步行为分析结果;
142.203、当初步行为分析结果描述驾驶人驾驶行为异常时,根据驾驶图像的采集时间点获取参考驾驶视频;
143.204、对参考驾驶视频进行解帧,得到若干帧视频图像;
144.205、从视频图像中选取若干张参考驾驶图像;
145.206、分别将若干张参考驾驶图像输入到行为分析模型中,得到每个参考驾驶图像的参考行为分析结果;
146.207、对各个参考行为分析结果对应的危险驾驶概率值进行加权求和,得到整体危险驾驶概率值;
147.208、当整体危险驾驶概率值大于或者等于预设阈值时,则将危险驾驶作为驾驶人的驾驶行为结果,当整体危险驾驶概率值小于预设阈值时,则将安全驾驶作为驾驶人的驾驶行为结果。
148.其中,通过在单张图像分析结果表明驾驶人驾驶行为异常后对多张参考驾驶图像的采集和分析,可实现先基于单张图像分析驾驶行为,然后在满足特定条件后再对多张图像进行采集和分析,有效的控制分析的数据量,降低流量成本,例如,当初步行为分析结果表明驾驶人非异常驾驶时,则不需要采集相应的多张驾驶图像,同时也不需要对该多张驾驶图像进行分析。
149.其中,在本技术实施例中,针对驾驶人在驾驶过程中的单张驾驶图像的分析,可以通过设置于第一服务器中的行为分析模型来完成,针对驾驶人在驾驶过程中的驾驶视频或者多张参考驾驶图像的分析,可以通过设置于第二服务器中的行为分析模型来完成。其中,通过不同服务器中的行为分析模型,得到驾驶人不同深度的行为分析结果。其中,在本技术实施例中,当通过驾驶视频或者多张驾驶图像分析出驾驶人驾驶行为异常时,则可以将驾驶人的驾驶视频推送给相关的审核人员,由审核人员进行人工复核,提升识别结果的准确性。
150.为便于更好的实施本技术的驾驶行为识别方法,本技术还提供一种基于上述驾驶行为识别方法的驾驶行为识别装置。其中名词的含义与上述驾驶行为识别方法中相同,具体实现细节可以参考方法实施例中的说明。
151.请参阅图5,图5为本技术实施例提供的驾驶行为识别装置的结构示意图,具体可以包括:
152.初步获取模块301,用于获取驾驶人在行车过程中的驾驶图像;
153.初步确定模块302,用于将所述驾驶图像输入行为分析模型,得到所述驾驶人的初步行为分析结果;
154.再次获取模块303,用于若所述初步行为分析结果描述所述驾驶人驾驶行为异常,则获取至少两张对应所述驾驶图像的参考驾驶图像;
155.行为确定模块304,用于根据至少两张所述参考驾驶图像,通过所述行为分析模型
确定所述驾驶人的驾驶行为结果。
156.其中,在本技术的一些实施例中,行为确定模块304包括:
157.获取单元,用于将至少两张所述参考驾驶图像分别输入所述行为分析模型,得到每张所述参考驾驶图像对应的参考行为分析结果;
158.确定单元,用于根据若干所述参考行为分析结果确定所述驾驶人的驾驶行为结果。
159.其中,在本技术的一些实施例中,获取单元包括:
160.第一获取子单元,用于针对每张参考驾驶图像,当所述参考驾驶图像包括人脸时,将所述参考驾驶图像输入所述行为分析模型,得到所述驾驶人的参考行为分析结果;
161.第二获取子单元,用于当所述参考驾驶图像中不包含人脸时,将所述参考驾驶图像作为待分配驾驶图像,并根据所述待分配驾驶图像的采集时间,从所述至少两张参考驾驶图像中选取与所述参待分配驾驶图像相邻的相邻参考驾驶图像,并根据所述相邻参考驾驶图像的参考行为分析结果确定所述待分配驾驶图像的参考行为分析结果。
162.其中,在本技术的一些实施例中,各参考行为分析结果包括危险驾驶概率值,确定单元包括:
163.求和子单元,用于对若干所述危险驾驶概率值进行加权求和,得到加权求和结果值;
164.第一确定子单元,用于根据所述加权求和结果值确定所述驾驶人的驾驶行为结果。
165.其中,在本技术的一些实施例中,确定子单元具体用于:
166.当所述加权求和结果值大于或者等于预设阈值时,将危险驾驶作为所述驾驶人的驾驶行为结果;
167.当所述加权求和结果值小于预设阈值时,将安全驾驶作为所述驾驶人的驾驶行为结果。
168.其中,在本技术的一些实施例中,各参考行为分析结果包括危险驾驶概率值,确定单元;
169.排序子单元,用于对若干所述危险驾驶概率值进行由大到小的排序;
170.第一选取子单元,用于从所述排序中选取靠前的预设数量个危险驾驶概率值,得到若干参考危险驾驶概率值;
171.计算子单元,用于计算所述若干参考危险驾驶概率值的平均数,得到平均危险驾驶概率值;
172.第二确定子单元,用于根据所述平均危险驾驶概率值确定所述驾驶人的驾驶行为结果。
173.其中,在本技术的一些实施例中,行为分析模型包括面部特征提取模块、头部姿态特征提取模块和行为分类模块,初步确定模块302包括:
174.第一处理单元,用于将所述驾驶图像输入所述面部特征提取模块,得到所述驾驶人的面部特征;
175.第二处理单元,用于将所述驾驶图像输入所述头部姿态特征提取模块,得到所述驾驶人的头部姿态特征;
176.融合单元,用于将所述面部特征和所述头部姿态特征进行融合,得到驾驶行为特征;
177.第三处理单元,用于将所述驾驶行为特征输入所述行为分类模块,得到所述驾驶人的初步行为分析结果。
178.其中,在本技术的一些实施例中,面部特征包括眼部特征、嘴巴特征或眉毛特征中的至少一种,所述头部姿态特征包括头部俯仰角特征、偏航角特征或翻滚角特征中的至少一种。
179.其中,在本技术的一些实施例中,再次获取模块303包括:
180.视频获取单元,用于若所述初步行为分析结果描述所述驾驶人驾驶行为异常,则根据所述驾驶图像的采集时间点获取参考驾驶视频;
181.选取单元,用于从所述参考驾驶视频中选取至少两张参考驾驶图像。
182.其中,在本技术的一些实施例中,选取单元包括:
183.第二选取子单元,用于将所述参考驾驶视频中的每一帧视频图像分别作为参考驾驶图像。
184.其中,在本技术的一些实施例中,选取单元包括:
185.过滤子单元,用于根据所述参考驾驶视频中相邻两帧视频图像的相似度,对所述参考驾驶视频对应的视频图像进行过滤;
186.第三选取子单元,用于将所述过滤后的视频图像作为参考驾驶图像。
187.其中,在本技术的一些实施例中,选取单元包括:
188.抽取子单元,用于根据预设时长间隔从所述参考驾驶视频中抽取视频图像;
189.第二选取子单元,用于将所述抽取的视频图像作为参考驾驶图像。
190.本技术实施例由初步获取模块301获取驾驶人在行车过程中的驾驶图像,接着,由初步确定模块302将所述驾驶图像输入行为分析模型,得到所述驾驶人的初步行为分析结果,随后,由再次获取模块303在所述初步行为分析结果描述所述驾驶人驾驶行为异常,获取至少两张对应所述驾驶图像的参考驾驶图像,然后,由行为确定模块304根据至少两张所述参考驾驶图像,通过所述行为分析模型确定所述驾驶人的驾驶行为结果。
191.本技术实施例通过获取驾驶人在行车过程中的驾驶图像,将驾驶图像输入到行为分析模型,得到驾驶人的初步行为分析结果,并在初步行为分析结果描述驾驶人驾驶行为异常时,获取至少两张对应驾驶图像的参考驾驶图像,根据至少两张参考驾驶图像,通过行为分析模型确定驾驶人的驾驶行为结果。其中,通过模型对驾驶人驾驶图像的分析,可以提升驾驶人驾驶行为的分析效率。其中,通过在单张图像分析结果表明驾驶人驾驶行为异常后对多张参考驾驶图像的采集和分析,可实现先基于单张图像分析驾驶行为,然后在满足特定条件后再对多张图像进行采集和分析,有效的控制分析的数据量,降低流量成本,例如,当初步行为分析结果表明驾驶人非异常驾驶时,则不需要采集相应的多张驾驶图像,同时也不需要对该多张驾驶图像进行分析。
192.请参阅图6,图6为本技术实施例提供的驾驶行为识别装置的另一结构示意图,具体可以包括:
193.视频接收模块311,用于接收驾驶人在驾驶过程中的驾驶视频;
194.视频解帧模块312,用于对驾驶视频进行解帧,得到若干帧视频图像;
195.图像分析模块313,包括模型处理单元和行为确定单元,其中,模型处理单元用于对包含人脸的视频图像进行分析,得到该视频图像中驾驶人的危险驾驶概率值,行为确定单元用于对不包含人脸的视频图像,将该视频图像相邻的其他视频图像的危险驾驶概率值的平均值作为该视频图像的危险驾驶概率值;
196.整体概率拟合模块314,用于对各个危险驾驶概率值进行加权求和,得到驾驶视频中驾驶人的整体危险驾驶概率值;
197.驾驶结果判断模块315,用于将驾驶人的整体危险驾驶概率值与预设阈值进行比较,当整体危险驾驶概率值大于或者等于预设阈值时,将危险驾驶作为驾驶人的驾驶行为结果,即存在高危行为;当整体危险驾驶概率值小于预设阈值时,将安全驾驶作为驾驶人的驾驶行为结果,即不存在高危行为。
198.其中,通过对视频的解帧,使得驾驶视频的识别转换为对驾驶视频中各帧视频图形的识别处理,其中,通过对视频图像中包含人脸或者不包含人脸的视频图像的分别处理,使得每个视频图像都可以对应一个危险驾驶概率值,便于对整体危险驾驶概率值的计算。
199.其中,在本技术实施例中,针对不包含人脸的视频图像的行为分析,也可以直接将该视频图像进行过滤,即在加权求和中,将不包含人脸的视频图像进行过滤,仅对剩余视频图像的危险驾驶行为概率值进行加权求和。
200.此外,本技术还提供一种电子设备,如图7所示,其示出了本技术所涉及的电子设备的结构示意图,具体来讲:
201.该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图7中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
202.处理器401是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
203.存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
204.电子设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测
电路、电源转换器或者逆变器、电源状态指示器等任意组件。
205.该电子设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
206.尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现本技术所提供的任一种驾驶行为识别方法中的步骤。
207.本技术实施例通过获取驾驶人在行车过程中的驾驶图像,将驾驶图像输入到行为分析模型,得到驾驶人的初步行为分析结果,并在初步行为分析结果描述驾驶人驾驶行为异常时,获取至少两张对应驾驶图像的参考驾驶图像,根据至少两张参考驾驶图像,通过行为分析模型确定驾驶人的驾驶行为结果。其中,通过模型对驾驶人驾驶图像的分析,可以提升驾驶人驾驶行为的分析效率。其中,通过在单张图像分析结果表明驾驶人驾驶行为异常后对多张参考驾驶图像的采集和分析,可实现先基于单张图像分析驾驶行为,然后在满足特定条件后再对多张图像进行采集和分析,有效的控制分析的数据量,降低流量成本,例如,当初步行为分析结果表明驾驶人非异常驾驶时,则不需要采集相应的多张驾驶图像,同时也不需要对该多张驾驶图像进行分析。
208.本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一存储介质中,并由处理器进行加载和执行。
209.为此,本技术提供一种存储介质,该存储介质包括计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序能够被处理器进行加载,以执行本技术所提供的任一种驾驶行为识别方法中的步骤。
210.其中,该计算机可读存储介质可以包括:只读存储器(rom,read only memory)、随机存取记忆体(ram,random access memory)、磁盘或光盘等。
211.由于该计算机可读存储介质中所存储的指令,可以执行本技术所提供的任一种数据处理中的步骤,因此,可以实现本技术所提供的任一种驾驶行为识别方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
212.以上对本技术所提供的一种驾驶行为识别方法、装置及存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本发明的限制。

技术特征:
1.一种驾驶行为识别方法,其特征在于,包括:获取驾驶人在行车过程中的驾驶图像;将所述驾驶图像输入行为分析模型,得到所述驾驶人的初步行为分析结果;若所述初步行为分析结果描述所述驾驶人驾驶行为异常,则获取至少两张对应所述驾驶图像的参考驾驶图像;根据至少两张所述参考驾驶图像,通过所述行为分析模型确定所述驾驶人的驾驶行为结果。2.根据权利要求1所述的方法,其特征在于,所述根据至少两张所述参考驾驶图像,通过所述行为分析模型确定所述驾驶人的驾驶行为结果,包括:将至少两张所述参考驾驶图像分别输入所述行为分析模型,得到每张所述参考驾驶图像对应的参考行为分析结果;根据若干所述参考行为分析结果确定所述驾驶人的驾驶行为结果。3.根据权利要求2所述的方法,其特征在于,所述将至少两张所述参考驾驶图像分别输入所述行为分析模型,得到每张所述参考驾驶图像对应的参考行为分析结果,包括:针对每张参考驾驶图像,按照如下方式处理:当所述参考驾驶图像包括人脸时,将所述参考驾驶图像输入所述行为分析模型,得到所述驾驶人的参考行为分析结果;当所述参考驾驶图像中不包含人脸时,将所述参考驾驶图像作为待分配驾驶图像,并根据所述待分配驾驶图像的采集时间,从所述至少两张参考驾驶图像中选取与所述待分配驾驶图像相邻的相邻参考驾驶图像,根据所述相邻参考驾驶图像的参考行为分析结果确定所述待分配驾驶图像的参考行为分析结果。4.根据权利要求2所述的方法,其特征在于,各所述参考行为分析结果包括危险驾驶概率值,所述根据若干所述参考行为分析结果确定所述驾驶人的驾驶行为结果,包括:对若干所述危险驾驶概率值进行加权求和,得到加权求和结果值;根据所述加权求和结果值确定所述驾驶人的驾驶行为结果。5.根据权利要求4所述的方法,其特征在于,所述根据所述加权求和结果值确定所述驾驶人的驾驶行为结果,包括:当所述加权求和结果值大于或者等于预设阈值时,将危险驾驶作为所述驾驶人的驾驶行为结果;当所述加权求和结果值小于预设阈值时,将安全驾驶作为所述驾驶人的驾驶行为结果。6.根据权利要求2所述的方法,其特征在于,各所述参考行为分析结果包括危险驾驶概率值,所述根据若干所述参考行为分析结果确定所述驾驶人的驾驶行为结果,包括:对若干所述危险驾驶概率值进行由大到小的排序;从所述排序中选取靠前的预设数量个危险驾驶概率值,得到若干参考危险驾驶概率值;计算所述若干参考危险驾驶概率值的平均数,得到平均危险驾驶概率值;根据所述平均危险驾驶概率值确定所述驾驶人的驾驶行为结果。7.根据权利要求1所述的方法,其特征在于,所述行为分析模型包括面部特征提取模
块、头部姿态特征提取模块和行为分类模块,所述将所述驾驶图像输入行为分析模型,得到所述驾驶人的初步行为分析结果,包括:将所述驾驶图像输入所述面部特征提取模块,得到所述驾驶人的面部特征;将所述驾驶图像输入所述头部姿态特征提取模块,得到所述驾驶人的头部姿态特征;将所述面部特征和所述头部姿态特征进行融合,得到驾驶行为特征;将所述驾驶行为特征输入所述行为分类模块,得到所述驾驶人的初步行为分析结果。8.根据权利要求7所述的方法,其特征在于,所述面部特征包括眼部特征、嘴巴特征或眉毛特征中的至少一种,所述头部姿态特征包括头部俯仰角特征、偏航角特征或翻滚角特征中的至少一种。9.根据权利要求1所述的方法,其特征在于,所述若所述初步行为分析结果描述所述驾驶人驾驶行为异常,则获取至少两张对应所述驾驶图像的参考驾驶图像,包括:若所述初步行为分析结果描述所述驾驶人驾驶行为异常,则根据所述驾驶图像的采集时间点获取参考驾驶视频;从所述参考驾驶视频中选取至少两张参考驾驶图像。10.根据权利要求9所述的方法,其特征在于,所述从所述参考驾驶视频中选取至少两张参考驾驶图像,其中,所述参考驾驶图像通过以下任一方法获得,包括:将所述参考驾驶视频中的每一帧视频图像分别作为参考驾驶图像;或者,根据所述参考驾驶视频中相邻两帧视频图像的相似度,对所述参考驾驶视频对应的视频图像进行过滤,将所述过滤后的视频图像作为参考驾驶图像;或者,根据预设时长间隔从所述参考驾驶视频中抽取视频图像;将所述抽取的视频图像作为参考驾驶图像。11.一种驾驶行为识别装置,其特征在于,包括:初步获取模块,用于获取驾驶人在行车过程中的驾驶图像;初步确定模块,用于将所述驾驶图像输入行为分析模型,得到所述驾驶人的初步行为分析结果;再次获取模块,用于若所述初步行为分析结果描述所述驾驶人驾驶行为异常,则获取至少两张对应所述驾驶图像的参考驾驶图像;行为确定模块,用于根据至少两张所述参考驾驶图像,通过所述行为分析模型确定所述驾驶人的驾驶行为结果。12.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-10任一项所述驾驶行为识别方法的步骤。

技术总结
本申请实施例公开了一种驾驶行为识别方法、装置及存储介质,该方法包括:获取驾驶人在行车过程中的驾驶图像;将驾驶图像输入行为分析模型,得到驾驶人的初步行为分析结果;若初步行为分析结果描述驾驶人驾驶行为异常,则获取至少两张对应驾驶图像的参考驾驶图像;根据至少两张参考驾驶图像,通过行为分析模型确定驾驶人的驾驶行为结果。通过模型对驾驶人驾驶图像的分析,可以提升驾驶人驾驶行为的分析效率。通过在单张图像分析结果表明驾驶人驾驶行为异常后对多张参考驾驶图像的采集和分析,可实现先基于单张图像分析驾驶行为,然后在满足特定条件后再对多张图像进行采集和分析,有效的控制分析的数据量,降低流量成本。降低流量成本。降低流量成本。


技术研发人员:武庆雄
受保护的技术使用者:丰图科技(深圳)有限公司
技术研发日:2022.07.21
技术公布日:2022/11/1
转载请注明原文地址: https://tieba.8miu.com/read-1631.html

最新回复(0)