一种基于大数据平台的智能识别方法和系统
【技术领域】
1.本发明属于大数据领域，尤其涉及一种基于大数据平台的智能识别方法和系统。
背景技术：2.随着计算机、图像采集设备、语音采集设备、无线传输技术的飞速发展，视频已经成为日常生活中接触最多的流媒体形式。而医疗、安全、健康等和居民生活环境密切相关的领域也和这些技术发生了越来越紧密的联系。例如：随着我国医疗领域的开放和经济的发展，医疗服务业的竞争日趋激烈，患者对医疗服务的要求不断提高，通过基于大数据的视频显然能够提升医疗服务的水平，并进一步的提高患者满意度，成为持续改进医疗服务质量的重要依据。
3.设置在城市中，医院中的监控摄像头可以捕获不同场景的监控视频。视频监控以其直观、准确、及时和信息内容丰富而广泛应用于许多场合。这些视频信息构成了大量的有用信息，关于这些信息如何挖掘的技术其实也是相对成熟的，因为图像、视频处理技术已经发展了几十年了。例如：利用在医院同一个患者的在不同阶段的信息，就医乃至后续的随访/回访等数据，充分的利用数据就是从传统的场景式、应用式建设方法论转变到平台化/能力化建设策略。但是，随着大数据时代的到来，这些技术就显得有些失灵了，从一个图像一个视频中发现有用信息可行的技术对于成千上万的视频来说就变得无从下手，也就是说，虽然我们有获取海量信息的能力，虽然我们有单独对每个视频进行处理的能力，但是我们缺乏与海量数据对应的发现和审核能力，很多时候还是需要人海战术，这显然是一种“返璞归真”的做法。那么，针对大数据平台中的海量数据，如何进行智能识别，理解内容发下目标，进而对海量的数据内容做初步的筛查，提高海量数据识别的准确率和效率，是急需解决的问题。
技术实现要素：4.为了解决现有技术中的上述问题，本发明提出了一种基于大数据平台的智能识别方法和系统，所述方法包含：
5.步骤s1：确定待识别对象中的关键区域序列及其典型特征；
6.步骤s2：计算关键区域序列中每个关键区域之间关系特征，并用关系向量表征关系特征；
7.步骤s3：依次读取待识别视频中的视频帧，当一个或者多个视频帧可能包含待识别目标而需要进一步识别时，进入步骤s4，否则继续依次读取待识别视频中的视频帧；
8.步骤s4：对待识别视频中的当前窗口长度内的视频帧进行图像识别。
9.进一步的，所述步骤s1具体为：基于包含待识别对象的有效图像定位待识别对象中的关键区域序列。
10.进一步的，所述关键区域是封闭区域。
11.进一步的，所述典型特征为基于颜色特征和灰度特征提取的。
12.进一步的，所述关键区域序列中包括一个或多个关键区域；序列中的关键区域具有先后顺序。
13.一种基于大数据平台的智能识别系统，所述系统包含：
14.关键区域序列确定模块：确定待识别对象中的关键区域序列及其典型特征；
15.关系特征模块：计算关键区域序列中每个关键区域之间关系特征，并用关系向量表征关系特征；
16.粗粒度识别模块：依次读取待识别视频中的视频帧，当一个或者多个视频帧可能包含待识别目标而需要进一步识别时，调用细粒度识别模块，否则继续调用粗粒度识别模块；
17.细粒度识别模块：对待识别视频中的当前窗口长度内的视频帧进行图像识别。
18.进一步的，所述关键区域序列中包括一个或多个关键区域；序列中的关键区域具有先后顺序。
19.一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述的基于大数据平台的智能识别方法。
20.一种计算机可读存储介质，包括程序，当其在计算机上运行时，使得计算机执行所述的基于大数据平台的智能识别方法。
21.一种执行设备，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现所述的基于大数据平台的智能识别方法。
22.本发明的有益效果包括：
23.(1)基于关键区域序列构建典型特征以及关系特征，这两个特征的计算复杂度低而表示性强，通过典型特征和关系特征的先后比较，实现了快速的粗粒度识别；(2)基于动态窗口读取视频信息，从一个较小范围根据典型特征变化情况动态观察视频信息的变化情况，基于变化情况调整观察尺度，降低大数据识别开销，提高识别效率。
【附图说明】
24.此处所说明的附图是用来提供对本发明的进一步理解，构成本技术的一部分，但并不构成对本发明的不当限定，在附图中：
25.图1为本发明的基于大数据平台的智能识别方法示意图。
【具体实施方式】
26.下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定通过
27.如附图1所示，本发明提出一种基于大数据平台的智能识别方法，所述方法包括如下步骤：
28.步骤s1：确定待识别对象中的关键区域序列及其典型特征；具体为：基于包含待识别对象的有效图像定位待识别对象中的关键区域序列；所述典型特征为基于颜色特征和灰度特征提取的；
29.优选的：所述关键区域序列中包括一个或多个关键区域；序列中的关键区域具有
先后顺序；这种先后顺序关系是根据其出现在待识别对象中的位置来确定的；关键区域中像素值具有一致性，从而呈现较为稳定的特征，关键区域之间一些关系也是相对稳定的；这些关键区域不是固定的，而是根据随着图像特点的改变而改变；例如：人脸部五官的位置是相对稳定的，虽然会随着人脸拍摄位置的不同而有变化，但是其基本位置仍旧是保持不变的；
30.优选的：所述关键区域是封闭区域；
31.优选的：只有当图像中包含关于待识别对象的有效信息时，该图像才是有效图像；当然有效图像可以设置为多个，在后续进行相似性比较时，可以使得视频帧和这些有效图像中的特征依次作比较，当有一者符合相似性要求时则确定两者是相似的；
32.优选的：当所述待识别对象是三维对象时，所述待识别对象中包含多组关键区域；其中：每组关键区域中包含一个或者多个关键区域；
33.所述步骤s1具体包括如下步骤：
34.步骤s11：对待识别目标的灰度值作阈值截取，选择灰度值位于第一灰度范围且面积大于第一面积阈值或者灰度值位于第二范围区间且面积大于第二面积阈值的区域作为关键区域，并将其灰度值均值作为对应的第一典型特征；关键区域按照顺序构成关键区域序列；灰度值的计算相对于颜色特征的计算更为简单，因此支持更加复杂的后续计算和计算数量；
35.优选的：所述待识别目标中包括待识别对象；
36.其中：第一灰度范围、第二范围区间、第一面积阈值、第二面积阈值为预设值且和待识别对象相关；
37.优选的：第一面积阈值小于第二面积阈值；第一灰度范围是灰度值的数值范围，例如：250-255；第二范围区间是灰度等级可允许的变化区间；例如：第二范围区间是5个灰度等级；
38.可替换的：对待识别目标的灰度值作聚类以及灰度值范围判断以得到关键区域；
39.可替换的：通过人工标记的方式定位待识别对象中的关键区域序列，提取其中每个关键区域的灰度值均值作为第一典型特征；灰度值和颜色特征之间有着直接的关联关系，通过灰度值或者人工标记能够快速的为后续待识别视频信息做快速广泛的计算；人工标记和对待识别视频采用上述定位和计算方法配合的方式能够提高识别精度；
40.当然，可以通过限定第一灰度范围、第二范围区间来适应不同的待识别对象；
41.步骤s12：选择步骤s11中关键区域序列中颜色值差异在第三颜色范围内的关键区域构成关键区域序列，并将颜色特征值均值作为第二典型特征；此时相当于在步骤s11的基础上对关键区域做进一步的筛选；
42.可替换的：所述步骤s12，具体为：计算关键区域序列中每个关键区域的颜色特征值均值作为第二典型特征；此时直接在步骤s11所确定关键区域的基础上计算第二典型特征；
43.可替换的：所述步骤s12，具体为：确定待识别目标中颜色值差异在预设范围内的像素点构成的封闭区域作为关键区域，并将颜色值均值作为第二典型特征；此时：关键区域中的颜色值是相对一致的；颜色特征是图像检索中应用最为广泛的视觉特征。颜色特征无需进行大量计算；因此，基于颜色特征来提取典型特征能够从根本上降低后续筛选的计算
量；颜色特征因为复杂度很低在这里被作为用于粗粒度筛选的首选典型特征；当灰度和颜色只是不同的关键区域序列时，可以作关键区域的合并、取交集等操作进行融合；并针对融合的结果计算第一典型特征和第二典型特征；
44.所述将颜色值均值作为第二典型特征，具体为：分别提取每个关键区域的rgb三个分量的平均值构成的三元组作为该关键区域的第二典型特征；
45.步骤s2：计算关键区域序列中每个关键区域之间关系特征，并用关系向量表征关系特征；
46.所述步骤s2包括如下步骤：
47.步骤s21：基于第一典型特征计算关键区域序列的第一关系向量c1s＝[c1si]；所述第一关系向量中的每个元素用于指示对应关键区域的第一典型特征和相邻关键区域的第一典型特征之间的大小关系；这里的相邻是向后相邻或者循环相邻，向后相邻时向量元素的个数等于关键区域个数值；循环相邻时，向量元素的个数等于关键区域个数值-1；
[0048]
步骤s22：基于第二典型特征计算关键区域序列的第二关系向量c2s＝[c2si]；所述第二关系向量中的每个元素用于指示对应关键区域的第二典型特征和相邻关键区域的第二典型特征之间的大小关系；
[0049]
优选的：所述第二典型特征的特征值为rgb方式表示的颜色值；
[0050]
优选的：所述第二典型特征的特征值为rgb方式表示的颜色特征中一个元素颜色的颜色值，例如：r值；
[0051]
步骤s23：计算关键区域序列中每个关键区域和相邻关键区域之间的面积关系作为第三关系向量c3s＝[c3si]；
[0052]
步骤s24：计算关键区域序列中每个关键区域和相邻关键区域之间的位置关系作为第四关系向量c4s＝[c4si]；
[0053]
优选的：位置关系为上下位置关系；也就是通过0和1来表示这种关系，0表示上，而1表示下；
[0054]
也可以设置更加复杂的位置关系，那么需要多元数值来表示这种关系，此时在第三距离d3的计算时不能简单的用减来表示差异，可替换的用多元数值之间的差异来表示这种关系，例如欧式距离来表示这种差异的大小；
[0055]
优选的：所述关系向量还包括用于指示每个关键区域的最大梯度变化方向、每个关键区域和相邻关键区域连线长度比例关系等；上述4个特征能够保证基本的识别稳定性；增加关系的数量能够提高筛选的稳定性，使得本发明的智能识别方法能够适应更多的待识别对象；
[0056]
优选的：所述关键区域和相邻关键区域之间的连线为两个区域中心点、最高点之间的连线；
[0057]
步骤s3：依次读取待识别视频中的视频帧，当一个或者多个视频帧可能包含待识别目标而需要进一步识别时，进入步骤s4，否则继续依次读取待识别视频中的视频帧；
[0058]
所述步骤s3包括如下步骤：
[0059]
步骤s31：初始化读取参数；具体为：设置读取窗口长度和当前读取位置为初始值；
[0060]
例如：设置窗口长度为8，当前读取位置为待识别视频起始位置；
[0061]
步骤s32：读取窗口长度的视频帧并确定复合视频帧；设置当前读取位置为当前读
取位置加窗口长度；此时获取的视频帧的个数等于窗口长度，其中：所述复合视频帧体现其窗口长度内所有视频帧的复合特征；
[0062]
所述确定复合视频帧，具体为：随机选择一个视频帧作为复合视频帧；
[0063]
可替换的：所述确定复合视频帧，具体位置：保留窗口长度内视频帧中对应像素值相同的部分，而删除不相同的部分以构成复合视频帧；删除的方式为将像素值设置为默认值；例如：将默认值设置为白色或黑色；
[0064]
优选的：保留这些视频帧中对应像素值接近的部分，而删除不相同的部分以构成复合视频帧；相同部分的像素值设置为均值；删除的方式为将像素值设置为默认值；例如：将默认值设置为白色；
[0065]
优选的：求取窗口长度内视频帧中像素对应颜色特征和灰度特征的平均值作为复合视频帧像素值；其中：所述像素值为颜色特征值和灰度值；
[0066]
步骤s33：确定复合视频帧中的的关键区域序列及其典型特征；计算的方法同步骤s1；也就是，对复合视频帧的灰度值作阈值截取，选择灰度值位于第一灰度范围且面积大于第一面积阈值或者灰度值位于第二范围区间且面积大于第二面积阈值的区域作为关键区域，并将其灰度值均值作为对应的第一典型特征；关键区域按照顺序构成关键区域序列；将关键区域序列中每个关键区域的颜色特征值均值作为第二典型特征；
[0067]
步骤s34：计算复合视频帧中关键区域序列中每个关键区域之间关系特征，并用关系向量表征关系特征；确定的方法同步骤s2；
[0068]
优选的：所述步骤s34，具体为：基于第一典型特征计算关键区域序列的第一关系向量c1s＝[c1si]；基于第二典型特征计算关键区域序列的第二关系向量c2s＝[c2si]；计算关键区域序列中每个关键区域和相邻关键区域之间的面积关系作为第三关系向量c3s＝[c3si]；计算关键区域序列中每个关键区域和相邻关键区域之间的位置关系作为第四关系向量c4s＝[c4si]；
[0069]
步骤s35：基于关键区域序列及其典型特征、关系特征确定复合视频帧是否和待识别目标相似，如果不相似，则增加或者保持窗口长度并返回步骤s32，如果疑似，则减少窗口长度并返回步骤s32，如果相似，则进入步骤s4；
[0070]
优选的：在保持较长时间后增加窗口长度；当然窗口长度的增加并不是无限制增加；
[0071]
可替换的：将典型特征和关系特征输入神经网络模型以确定是否和待识别目标相似；
[0072]
优选的：所述神经网络模型为前反馈神经网络模型；
[0073]
优选的：所述神经网络模型为bp神经网络模型；
[0074]
所述基于关键区域序列及其典型特征、关系特征确定复合视频帧是否和待识别目标相似，具体为：
[0075]
步骤s35e1：计算复合视频帧和待识别目标的关键区域序列及其第一典型特征之间的第一距离、第二典型特征之间的第二距离；当所述第一距离和第二距离均大于第一预设值时，确定两者不相似，本步骤结束，则增加或者保持窗口长度并返回步骤s32；否则，进入下一步骤；
[0076]
优选的：所述第一距离和第二距离是欧式距离；
[0077]
优选的：为第一典型特征和第二典型特征设置不同的第一预设值；
[0078]
步骤s35e2：计算复合视频帧和待识别目标的关键区域序列中向量特征之间的第三距离；当所述第三距离小于第二预设值时，确定两者相似，本步骤结束，否则，进入下一步骤；其中：第三距离d3用于指示两者之间的差异程度；
[0079]
优选的：采用下式计算第三距离d3；
[0080][0081]
其中：i＝1～n＝1；n是关键区域的个数；c1si，c2si，c3si，c4si分别是待识别目标的第一、二、三、四关系向量中的第i个元素；fc1si，fc2si，fc3si，fc4si分别是复合视频帧的第一、二、三、四关系向量中的第i个元素；
[0082]
步骤s35e3：确定两者疑似，则减少窗口长度并返回步骤s32；
[0083]
步骤s4：对待识别视频中的当前窗口内的视频帧进行图像识别；
[0084]
所述进行图像识别，具体为：将当前窗口内的视频帧反馈给用户以作图像识别；
[0085]
所述进行图像识别，具体为：将当前窗口内的视频帧以及待识别视频信息均反馈给用户以作进一步图像识别；上述进一步图像识别为采用现有技术中的图像待识别目标识别方法；
[0086]
可替换的：所述步骤s4，具体为：将待识别视频信息中当前窗口内以及当前窗口的相邻窗口内视频帧进行标注，对标注后的视频帧作进一步图像识别；
[0087]
优选的：所述经过标注的目标视频信息远小于待识别视频信息；
[0088]
基于相同的发明构思，本发明还提供了一种基于大数据平台的智能识别系统，所述系统包括：
[0089]
关键区域序列确定模块：确定待识别对象中的关键区域序列及其典型特征；
[0090]
关系特征模块：计算关键区域序列中每个关键区域之间关系特征，并用关系向量表征关系特征；
[0091]
粗粒度识别模块：依次读取待识别视频中的视频帧，当一个或者多个视频帧可能包含待识别目标而需要进一步识别时，调用细粒度识别模块，否则继续调用粗粒度识别模块；
[0092]
细粒度识别模块：对待识别视频中的当前窗口长度内的视频帧进行图像识别。
[0093]
术语“数据处理装置”、“数据处理系统”、“用户设备”或“计算设备”包涵用于处理数据的所有种类的装置、设备和机器，举例包括可编程处理器、计算机、片上系统、或者上述中的多个或其组合。所述装置能够包括专用逻辑电路，例如fpga(现场可编程门阵列)或asic(专用集成电路)。除了硬件，所述装置还可以包括代码，创建用于所述计算机程序的执行环境，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行环境、虚拟机或上述一个或多个的组合的代码。该装置和执行环境可以实现各种不同计算模型基础设施，诸如web服务、分布式计算、和网格计算基础设施。
[0094]
计算机程序(也被称为程序、软件、软件应用、脚本或代码)能够以编程语言的任何形式来撰写，包括汇编或解释语言、说明或过程性语言，且其可以以任何形式部署，包括作为单机程序或者作为模块、组件、子例程、对象或适于在计算环境中使用的其他单元。计算
机程序可以但不必与文件系统中的文件相对应。程序能够存储在保持其他程序或数据(例如存储在标记语言文档中的一个或多个脚本)的文件的一部分中，在专用于所述程序的单个文件中，或者在多个协同文件中(例如，存储一个或多个模块、子例程或代码部分的文件)。计算机程序可以部署为在一个计算机上或位于一个站点或跨多个站点分布且由通信网络互连的多个计算机上执行。
[0095]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0096]
本发明是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0097]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0098]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0099]
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
技术特征：1.一种基于大数据平台的智能识别方法，其特征在于，包括：步骤s1：确定待识别对象中的关键区域序列及其典型特征；步骤s2：计算关键区域序列中每个关键区域之间关系特征，并用关系向量表征关系特征；步骤s3：依次读取待识别视频中的视频帧，当一个或者多个视频帧可能包含待识别目标而需要进一步识别时，进入步骤s4，否则继续依次读取待识别视频中的视频帧；步骤s4：对待识别视频中的当前窗口长度内的视频帧进行图像识别。2.根据权利要求1所述的基于大数据平台的智能识别方法，其特征在于，所述步骤s1具体为：基于包含待识别对象的有效图像定位待识别对象中的关键区域序列。3.根据权利要求2所述的基于大数据平台的智能识别方法，其特征在于，所述关键区域是封闭区域。4.根据权利要求3所述的基于大数据平台的智能识别方法，其特征在于，所述典型特征为基于颜色特征和灰度特征提取的。5.根据权利要求4所述的基于大数据平台的智能识别方法，其特征在于，所述关键区域序列中包括一个或多个关键区域；序列中的关键区域具有先后顺序。6.一种基于大数据平台的智能识别系统，其特征在于，所述系统包含：关键区域序列确定模块：确定待识别对象中的关键区域序列及其典型特征；关系特征模块：计算关键区域序列中每个关键区域之间关系特征，并用关系向量表征关系特征；粗粒度识别模块：依次读取待识别视频中的视频帧，当一个或者多个视频帧可能包含待识别目标而需要进一步识别时，调用细粒度识别模块，否则继续调用粗粒度识别模块；细粒度识别模块：对待识别视频中的当前窗口长度内的视频帧进行图像识别。7.根据权利要求6所述的基于大数据平台的智能识别系统，其特征在于，所述关键区域序列中包括一个或多个关键区域；序列中的关键区域具有先后顺序。8.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1-5中任一项所述的基于大数据平台的智能识别方法。9.一种计算机可读存储介质，其特征在于，包括程序，当其在计算机上运行时，使得计算机执行如权利要求1-5中任一项所述的基于大数据平台的智能识别方法。10.一种执行设备，其特征在于，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现如权利要求1-5中任一项所述的基于大数据平台的智能识别方法。
技术总结本发明涉及一种基于大数据平台的智能识别方法和系统，所述方法包括:步骤S1：确定待识别对象中的关键区域序列及其典型特征；步骤S2：计算关键区域序列中每个关键区域之间关系特征，并用关系向量表征关系特征；步骤S3：依次读取待识别视频中的视频帧，当一个或者多个视频帧可能包含待识别目标而需要进一步识别时，进入步骤S4，否则继续依次读取待识别视频中的视频帧；步骤S4：对待识别视频中的当前窗口长度内的视频帧进行图像识别。本发明识别开销小，识别效率高。识别效率高。识别效率高。
技术研发人员：郜勇 王浩 程川 胡艳珂 赵雪飞 张强
受保护的技术使用者：华中科技大学同济医学院附属协和医院
技术研发日：2022.07.22
技术公布日：2022/11/1
