1.本发明涉及车辆定损技术领域，具体涉及一种基于深度学习的车辆视频定损系统的关键帧提取方法。
背景技术：2.车辆视频定损系统：是一个通过智能手机通讯来达到快速处理理赔案件业务的系统，工作流程通常是查勘人员使用手机接收派工任务之后发起视频请求，公司视频中心后台人员接收请求之后打开视频与查勘人员进行视频通讯，了解现场情况，语音通讯，现场拍照，与客户协商维修事宜，从而完成理赔案件定损结论。
3.关键帧：视频流是由视频帧组成的，冗余信息非常多，存储成本高，在车辆视频定损问题中，业务人员通常只对视频中的关键信息感兴趣，即视频中的车辆哪些外观部件在何处位置发生了何种类型的损伤，因此有必要从视频流中提取出上述关键帧图片。
4.2012年以来，深度学习在计算机视觉领域取得非常大的进步。相比传统使用色彩、hog等低级视觉特征的图片识别方法；深度神经网络能学得更多高级的、抽象的特征，这使得深度神经网络的性能远远超越传统方法。
5.2014年以来，深度学习开始在物体检测，语义分割，实例分割等计算机视觉领域取得突出进展，涌现出yolo，faster rcnn，mask rcnn，deeplab等一系列方法，在特定任务的识别准确率上已经接近或超越了人类识别的水平，而在识别速度和处理数据的规模程度上早已远远超越人类。
6.将深度学习应用于在车辆外观部件损伤检测识别的工作比较少，2016年左右开始有人尝试。但是受限于难以获取数据、早期深度学习模型训练难度大等问题，这个领域一直进展比较慢，目前也还没有一个可以落地使用的系统或方法。
7.汽车外观损伤查勘，在汽车业务中比较常见，例如汽车保险理赔环节，当投保人出现交通事故时，通常都需要做定损查勘来确认汽车损伤，包括外观部件损伤和内部配件损伤，定损查勘过程中都要做现场拍照提交系统做案件定损证据，供查阅和储存。由于理赔人员队伍参差不齐，过多拍摄会导致信息冗余，存储成本上升；过少拍摄又往往导致信息缺失，理赔依据不够充分，需要二次联系客户补拍，这是传统业务拍照方式的痛点。
8.同时，现有专利cn110086866a公开了一种基于远程视频定损系统的建立方法，该专利主要是涉及整个视频定损的采集，通讯建立，人员管理等的定损系统平台，定损过程主要靠人，并无智能技术嵌入其中。现有专利cn105049817a公开了一种车辆远程查勘定损系统。该专利主要涉及硬件功能实现，并无智能技术相关；现有专利cn110287768a公开了一种图像智能识别车辆定损系统，该专利主要是介绍当视频或图像上传到服务器后的智能定损过程，而未探讨如何上传一个合格高效的视频或图像序列。
9.现有的定损现场拍照过程存在以下问题：
10.1.公司视频中心后台人员日常工作任务繁重，有时候通常要联线多个现场，导致部分理赔案件有时会遗漏一些现场图片，需要过些时间后联系客户再补拍现场照片，影响
客户体验。
11.2.公司视频中心后台人员虽然经过一定时间的培训，但案件拍照质量依旧参差不齐，个体差异较大，因此手动现场拍照方式不利于未来理赔标准化和规范化，不利于保险公司科学降低运营成本，同时也不利于大数据技术对理赔案件的价值信息挖掘；
12.3.无论是现有的定损现场拍照还是视频定损时后台人员的截图，提交的图片数量因人而异，因此提交的图片序列中肯定是存在冗余信息的，也不利于节约数据存储成本。
技术实现要素：13.针对现有技术中存在的上述问题，本发明提供一种基于深度学习的车辆视频定损系统的关键帧提取方法，其用于辅助智能视频定损系统，提供车辆损伤关键图像信息提取功能。
14.本发明公开了一种基于深度学习的车辆视频定损系统的关键帧提取方法，包括：
15.获取定损视频；
16.从所述定损视频中间隔n帧均匀采样视频普通帧序列；
17.对所述普通帧序列进行车辆特征属性识别；其中，所述车辆特征属性包括车辆内容是否模糊、车辆距离属性以及车辆大方位和小方位属性；
18.基于所述车辆距离属性确定视频中的“远中”跳变位置和“中近”跳变位置；
19.从“远中”跳变位置向前搜索车辆大方位属性识别概率高于第一阈值且最邻近“远中”跳变位置的普通帧，作为“远”关键帧图像；
20.从“中近”跳变位置向前至“远中”跳变位置之间搜索车辆小方位属性识别概率高于第二阈值且最邻近“中近”跳变位置的普通帧，作为“中”关键帧图像；
21.从“中近”跳变位置向后的普通帧进行相似性去重，获取多张“近”关键帧图像。
22.作为本发明的进一步改进，所述车辆特征属性的识别方法包括：
23.对所述普通帧序列进行过滤，删除车辆内容模糊的普通帧图片；
24.对过滤后的剩余普通帧序列进行车辆距离属性识别；其中，所述车辆距离属性包括“方位可辨别”、“部件可辨别”和“部件不可辨别”；
25.对识别成“方位可辨别”的普通帧图片进行车辆大方位属性识别；其中，所述大方位属性包括“前后左右”四个方位；
26.对识别成“部件可辨别”的普通帧图片进行车辆小方位属性识别；其中，所述小方位属性包括“前或后，左前或右后，右前或左后，左中或右中”四个小方位。
27.作为本发明的进一步改进，
28.所述“远中”跳变位置为前4帧至少存在2帧及以上是方位可辨别，后4帧至少存在2帧及以上是部件可辨别或部件不可辨别；
29.所述“中近”跳变位置为前4帧至少存在2帧及以上是方位可辨别或部件可辨别，后4帧至少存在2帧及以上是部件不可辨别。
30.作为本发明的进一步改进，所述第一阈值和第二阈值为0.9。
31.作为本发明的进一步改进，所述相似性去重为：将相似度高于第三阈值的图片进行去重过滤。
32.作为本发明的进一步改进，所述第三阈值为0.8。
33.与现有技术相比，本发明的有益效果为：
34.1.本发明基于深度学习算法实现车辆图片属性特征识别，包括车辆损伤相对车辆所处的大概位置、采集设备到车辆损伤的远近距离和车辆内容是否严重模糊，特征分析准确率高；
35.2.本发明可降低视频定损采集过程中的现场情况遗漏率和误抓拍率，相比人工拍照更可靠，同时关键帧提取标准更容易统一，使得理赔案件现场图片更加标准和规范，便于进一步的数据挖掘；
36.3.本发明可在一定程度上降低后台人员定损采集环节的工作时间占用率，使得后台人员能够将更多的精力投入到其它方面。
附图说明
37.图1为本发明一种实施例公开的基于深度学习的车辆视频定损系统的关键帧提取方法的流程图；
38.图2为本发明一种实施例公开的车辆特征属性识别的流程图；
39.图3为本发明一种实施例公开的车辆距离属性的类别示例图。
具体实施方式
40.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.下面结合附图对本发明做进一步的详细描述：
42.如图1所示，本发明提供一种基于深度学习的车辆视频定损系统的关键帧提取方法，其着重研究探讨如何辅助视频定损系统获得一个视频案件采集后的合格且高效图像序列，不仅仅便于案件标准规范化存储，而且人工或机器可阅读性强；该关键帧提取方法，包括：
43.步骤1、获取定损视频；
44.步骤2、从定损视频中间隔n帧均匀采样视频普通帧序列；具体的，
45.假设定损视频的帧率是30fps，n＝10，视频的总时间长度是10s，因此均匀采样的普通帧图片序列有30张图片。
46.步骤3、对普通帧序列进行车辆特征属性识别；其中，
47.车辆特征属性包括车辆内容是否模糊、车辆距离属性以及车辆大方位和小方位属性；
48.如图2所示，车辆特征属性的识别方法包括：
49.步骤31、对普通帧序列进行过滤，删除车辆内容模糊(即无法人眼识别出车辆的方位、部分等车辆特征)的普通帧图片，使得通过的图片是图像视觉人眼可以辨别的；
50.步骤32、对过滤后的剩余普通帧序列进行车辆距离属性识别；其中，车辆距离属性包括“方位可辨别”、“部件可辨别”和“部件不可辨别”，如图3所示；
51.步骤33、对识别成“方位可辨别”的普通帧图片进行车辆大方位属性识别；其中，大
方位属性包括“前后左右”四个方位；
52.步骤34、对识别成“部件可辨别”的普通帧图片进行车辆小方位属性识别；其中，小方位属性包括“前或后，左前或右后，右前或左后，左中或右中”四个小方位；
53.进一步，车辆特征属性识别的算法，如：vgg，resnet，googlenet，inceptionv3，nasnet。
54.步骤4、基于车辆距离属性确定视频中的“远中”跳变位置和“中近”跳变位置；其中，
55.远中”跳变位置为前4帧至少存在2帧及以上是方位可辨别，后4帧至少存在2帧及以上是部件可辨别或部件不可辨别；
[0056]“中近”跳变位置为前4帧至少存在2帧及以上是方位可辨别或部件可辨别，后4帧至少存在2帧及以上是部件不可辨别；
[0057]
在从远到近采集过程中这两处跳变点通常都存在，且“远中”跳变位置发生时间要早于“中近”跳变位置。
[0058]
步骤5、从“远中”跳变位置向前搜索车辆大方位属性识别概率高于第一阈值且最邻近“远中”跳变位置的普通帧，作为“远”关键帧图像；其中，
[0059]
该步骤选择“方位可辨别”图片，第一阈值优选为0.9。
[0060]
步骤6、从“中近”跳变位置向前至“远中”跳变位置之间搜索车辆小方位属性识别概率高于第二阈值且最邻近“中近”跳变位置的普通帧，作为“中”关键帧图像；其中，
[0061]
该步骤选择“部件可辨别”图片，第二阈值优选为0.9。
[0062]
步骤7、从“中近”跳变位置向后的普通帧进行相似性去重，获取多张“近”关键帧图像；其中，
[0063]
相似性去重为：将相似度高于第三阈值的图片进行去重过滤，图像内容相似性评估方法可以采用直方图相似性比较方法；第三阈值优选为0.8。
[0064]
步骤8、将获取的“远”关键帧图像、“中”关键帧图像、“近”关键帧图像统一成“远中近近
···”图片序列。
[0065]
本发明的优点为：
[0066]
1.本发明基于深度学习算法实现车辆图片属性特征识别，包括车辆损伤相对车辆所处的大概位置、采集设备到车辆损伤的远近距离和车辆内容是否严重模糊，特征分析准确率高；
[0067]
2.本发明可降低视频定损采集过程中的现场情况遗漏率和误抓拍率，相比人工拍照更可靠，同时关键帧提取标准更容易统一，使得理赔案件现场图片更加标准和规范，便于进一步的数据挖掘；
[0068]
3.本发明可在一定程度上降低后台人员定损采集环节的工作时间占用率，使得后台人员能够将更多的精力投入到其它方面。
[0069]
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
技术特征：1.一种基于深度学习的车辆视频定损系统的关键帧提取方法，其特征在于，包括：获取定损视频；从所述定损视频中间隔n帧均匀采样视频普通帧序列；对所述普通帧序列进行车辆特征属性识别；其中，所述车辆特征属性包括车辆内容是否模糊、车辆距离属性以及车辆大方位和小方位属性；基于所述车辆距离属性确定视频中的“远中”跳变位置和“中近”跳变位置；从“远中”跳变位置向前搜索车辆大方位属性识别概率高于第一阈值且最邻近“远中”跳变位置的普通帧，作为“远”关键帧图像；从“中近”跳变位置向前至“远中”跳变位置之间搜索车辆小方位属性识别概率高于第二阈值且最邻近“中近”跳变位置的普通帧，作为“中”关键帧图像；从“中近”跳变位置向后的普通帧进行相似性去重，获取多张“近”关键帧图像。2.如权利要求1所述的关键帧提取方法，其特征在于，所述车辆特征属性的识别方法包括：对所述普通帧序列进行过滤，删除车辆内容模糊的普通帧图片；对过滤后的剩余普通帧序列进行车辆距离属性识别；其中，所述车辆距离属性包括“方位可辨别”、“部件可辨别”和“部件不可辨别”；对识别成“方位可辨别”的普通帧图片进行车辆大方位属性识别；其中，所述大方位属性包括“前后左右”四个方位；对识别成“部件可辨别”的普通帧图片进行车辆小方位属性识别；其中，所述小方位属性包括“前或后，左前或右后，右前或左后，左中或右中”四个小方位。3.如权利要求2所述的关键帧提取方法，其特征在于，所述“远中”跳变位置为前4帧至少存在2帧及以上是方位可辨别，后4帧至少存在2帧及以上是部件可辨别或部件不可辨别；所述“中近”跳变位置为前4帧至少存在2帧及以上是方位可辨别或部件可辨别，后4帧至少存在2帧及以上是部件不可辨别。4.如权利要求1所述的关键帧提取方法，其特征在于，所述第一阈值和第二阈值为0.9。5.如权利要求1所述的关键帧提取方法，其特征在于，所述相似性去重为：将相似度高于第三阈值的图片进行去重过滤。6.如权利要求1所述的关键帧提取方法，其特征在于，所述第三阈值为0.8。
技术总结本发明公开了一种基于深度学习的车辆视频定损系统的关键帧提取方法，包括：从定损视频中间隔n帧均匀采样视频普通帧序列，对普通帧序列进行车辆特征属性识别，基于车辆特征属性中的车辆距离属性确定视频中的“远中”跳变位置和“中近”跳变位置；从“远中”跳变位置向前搜索“远”关键帧图像，从“中近”跳变位置向前搜索“中”关键帧图像，从“中近”跳变位置向后的普通帧进行相似性去重，获取多张“近”关键帧图像。本发明基于深度学习算法实现车辆图片属性特征识别，能获取极高的准确率；同时，关键帧图片序列逻辑性强，信息关键有序，采集后的数据规范性好，人工或机器可阅读性强。人工或机器可阅读性强。人工或机器可阅读性强。
技术研发人员：丛建亭 侯进 黄贤俊
受保护的技术使用者：深源恒际科技有限公司
技术研发日：2022.06.29
技术公布日：2022/11/1
