1.本发明涉及车辆网技术领域,具体涉及一种车辆网分频数据合并的方法及系统。
背景技术:2.随着5g(第五代移动通信技术)移动互联网技术的飞速发展,车辆大部分已装载车内网、车载移动互联网、车际网,通过汽车收集处理并共享大量信息,实现车与人相连,车与车相连,车与路相连,车与云平台之间的连接,从而实现智能动态信息服务、车辆智能化控制和智能交通管理。
3.在车联网服务中,车辆终端会不断上传车辆在任何状态下的车辆数据,其中包含gps(global positioning system,全球定位系统)数据、can(controller area network,控制器域网)数据、tbox(车联网系统)数据等。各类型数据会根据不同的车辆情况、不同的设备、不同的使用环境等情形按照不同的赫兹频率上传。对于上传的数据,在具体的分析过程中,通常需要把不同类型、不同上传频率的数据,放在一起对同一时刻的数据进行分析显示,这样便需要先将数据进行合并。但车辆在不同的环境下,移动网络信号存在差异,会导致数据延迟上传,小概率还会丢失部分数据,由此可见,当前亟需一种较好车辆数据合并策略。
技术实现要素:4.针对现有技术中存在的缺陷,本发明的目的在于提供一种车辆网分频数据合并的方法及系统,能有效减少数据丢失导致的数据精确度问题。
5.为达到以上目的,本发明提供的一种车辆网分频数据合并的方法,具体包括以下步骤:
6.确定需进行合并的数据的数据类型范围和时间范围,并确定数据合并参考频率;
7.基于数据产生时间先后对数据进行排序,并分批次取出数据,以数据合并参考频率为周期,对取出的每批数据按照周期进行划分;
8.将每个周期中产生时间最早的数据作为合并参考数据,将周期内的数据合并到合并参考数据中并生成合并结果;
9.记录每个周期内的数据类型、每种频率数据对应最新数据的原始数据和每种频率数据的合并数量。
10.在上述技术方案的基础上,所述将每个周期中产生时间最早的数据作为合并参考数据,将周期内的数据合并到合并参考数据中并生成合并结果,其中,在进行新一周期的数据合并时:
11.判断进行合并的当前周期中是否存在数据缺失:
12.若是,则根据缺失数据的类型和频率,从上一周期记录的每种频率数据对应最新数据的原始数据中找到对应数据,并当数据的时间差满足时间阈值时,将找到的数据合并至当前周期中;
13.若否,则不作处理。
14.在上述技术方案的基础上,
15.当满足mtttime≥|latestdatatime-rmdtime|时,则数据的时间差满足时间阈值,反之,则不满足;
16.其中,mtttime表示时间阈值,latestdatatime表示从上一周期记录的每种频率数据的最新数据中找到的数据,rmdtime表示当前周期中合并参考数据的产生时间。
17.在上述技术方案的基础上,当未从上一周期记录的每种频率数据对应最新数据的原始数据中找到对应数据,或者找到的数据的时间差不满足时间阈值时,则将进行合并的当前周期的数据缺失部分置为空。
18.在上述技术方案的基础上,
19.当将取出的一批数据按照周期合并完成后,将该批数据的最后一个周期的合并结果记为latestmr;
20.当取出新一批的数据进行合并时,判断当前批数据的第一条数据是否与上一批数据的latestmr位于同一周期内,若是,则将latestmr作为当前批数据中第一个周期的合并参考数据,若否,则将当前批数据中第一个周期中产生时间最早的数据作为合并参考数据。
21.在上述技术方案的基础上,
22.当满足t≤|headdatatime-latestmrtime|时,当前批数据的第一条数据与上一批数据的latestmr位于同一周期内,反之,则当前批数据的第一条数据不与上一批数据的latestmr位于同一周期内;
23.其中,headdatatime表示当前批数据的第一条数据的产生时间,latestmrtime表示上一批数据的最后一个周期的合并结果时间,t表示时间,计算方式为t=1/f*1000,f表示数据的频率。
24.在上述技术方案的基础上,所述基于数据产生时间先后对数据进行排序,并分批次取出数据,具体为:
25.基于数据产生时间先后对数据进行排序,然后按照数据产生时间的先后顺序分批次取出数据,且每个批次的数据数量相同。
26.在上述技术方案的基础上,当确定需进行合并的数据的数据类型范围和时间范围之后,还包括:
27.根据确定的范围,从数据仓库中查询得到该范围内的数据总量,并判断数据总量是否为0,若是,则表明没有满足该范围的数据,进行通知提醒,若否,则记录数据总量。
28.在上述技术方案的基础上,
29.当所有批次的数据均合并完成后,将合并结果输出至数据仓库,且在数据合并过程中,可实时查询数据合并进度;
30.所述数据合并进度的计算公式为:
31.a=mergenum/totalnum*100%
32.其中,a表示数据合并进度,mergenum表示已合并数据量,totalnum表示数据总量。
33.本发明提供的一种车辆网分频数据合并的系统,包括:
34.确定模块,其用于确定需进行合并的数据的数据类型范围和时间范围,并确定数据合并参考频率;
35.划分模块,其用于基于数据产生时间先后对数据进行排序,并分批次取出数据,以数据合并参考频率为周期,对取出的每批数据按照周期进行划分;
36.合并模块,其用于将每个周期中产生时间最早的数据作为合并参考数据,将周期内的数据合并到合并参考数据中并生成合并结果;
37.记录模块,其用于记录每个周期内的数据类型、每种频率数据的最新数据和每种频率数据的合并数量。
38.与现有技术相比,本发明的优点在于:基于车载终端上传的车辆数据,每条数据包含对应的类型、上传频率大小和产生时间的特点,首先确定合并参考频率,参与合并的数据以合并参考频率为依据,在相同时间范围的数据合并到参考频率数据中去,保证每段数据尽量能够合并,本发明的数据合并方法逻辑简单,合并效果好,能有效减少数据丢失导致的数据精确度问题。
附图说明
39.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
40.图1为本发明实施例中一种车辆网分频数据合并的方法的流程图。
具体实施方式
41.本发明实施例提供一种车辆网分频数据合并的方法,基于车载终端上传的车辆数据,每条数据包含对应的类型、上传频率大小和产生时间的特点,首先确定合并参考频率,参与合并的数据以合并参考频率为依据,在相同时间范围的数据合并到参考频率数据中去,保证每段数据尽量能够合并,本发明的数据合并方法逻辑简单,合并效果好,能有效减少数据丢失导致的数据精确度问题。本发明实施例相应地还提供了一种车辆网分频数据合并的系统。
42.为使本技术实施例的目的、技术方案和优点更加清楚,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本技术的一部分实施例,而不是全部的实施例。
43.参见图1所示,本发明实施例提供一种车辆网分频数据合并的方法,具体包括以下步骤:
44.s1:确定需进行合并的数据的数据类型范围和时间范围,并确定数据合并参考频率;
45.需要说明的是,本发明的车辆网分频数据合并方法可采用相关合并装置进行。在实际的应用过程中,将合并装置嵌入到用户提交的任务当中,且支持自动插拔,合并装置根据任务参数自动解析,生成需进行合并的数据的数据类型范围和时间范围,同时确定数据合并参考频率。当确定需进行合并的数据的数据类型范围和时间范围之后,根据确定的范围,从数据仓库中查询得到该范围内的数据总量,并判断数据总量是否为0,若是,则表明没有满足该范围的数据,进行通知提醒,若否,则记录数据总量。
46.s2:基于数据产生时间先后对数据进行排序,并分批次取出数据,以数据合并参考频率为周期,对取出的每批数据按照周期进行划分;
47.本发明实施例中,基于数据产生时间先后对数据进行排序,并分批次取出数据,具体为:基于数据产生时间先后对数据进行排序,然后按照数据产生时间的先后顺序分批次取出数据,且每个批次的数据数量相同,具体的数量根据设备硬件配置动态设置。
48.s3:将每个周期中产生时间最早的数据作为合并参考数据,将周期内的数据合并到合并参考数据中并生成合并结果;
49.s4:记录每个周期内的数据类型、每种频率数据对应最新数据的原始数据和每种频率数据的合并数量。
50.例如,在进行第一批次数据合并时,将该批次数据中产生时间最早的数据作为合并参考数据,然后以数据合并参考频率为周期,从合并参考数据的产生时间开始,将一个周期范围内的数据合并到合并参考数据中并生成合并结果,然后记录该周期内的数据类型、每种频率数据的最新数据和每种频率数据的合并数量,则第一个周期合并结束,开始下一个周期的合并,将下一个周期中产生时间最早的数据作为合并参考数据,依次类推。在进行数据合并的过程中,相同的数据会用最新值覆盖旧的数值。
51.数据合并公式为:
52.mr=rmd+md
53.其中,mr表示合并结果,rmd表示合并参考数据,md表示周期内的数据。
54.本发明实施例中,将每个周期中产生时间最早的数据作为合并参考数据,将周期内的数据合并到合并参考数据中并生成合并结果,其中,在进行新一周期的数据合并时:
55.判断进行合并的当前周期中是否存在数据缺失:
56.若是,则根据缺失数据的类型和频率,从上一周期记录的每种频率数据对应最新数据的原始数据中找到对应数据,并当数据的时间差满足时间阈值时,将找到的数据合并至当前周期中;
57.若否,则不作处理。
58.即在进行新一个周期的数据合并时,将该周期内产生时间最早的数据(即该周期的第一条数据)作为合并参考数据,然后将周期内的数据合并到合并参考数据中并生成合并结果,如果在合并的过程中有部分数据未找到,则根据缺失数据的类型和频率,从上一周期记录的每种频率数据的最新数据中找到对应数据,并当数据的时间差满足时间阈值时,将找到的数据合并至当前周期中。
59.本发明实施例中,当满足mtttime≥|latestdatatime-rmdtime|时,则数据的时间差满足时间阈值,反之,则不满足;
60.其中,mtttime表示时间阈值,latestdatatime表示从上一周期记录的每种频率数据的最新数据中找到的数据,rmdtime表示当前周期中合并参考数据的产生时间。。
61.本发明实施例中,当未从上一周期记录的每种频率数据对应最新数据的原始数据中找到对应数据,或者找到的数据的时间差不满足时间阈值时,则将进行合并的当前周期的数据缺失部分置为空。
62.本发明实施例中,当将取出的一批数据按照周期合并完成后,将该批数据的最后一个周期的合并结果记为latestmr;
63.当取出新一批的数据进行合并时,判断当前批数据的第一条数据是否与上一批数据的latestmr位于同一周期内,若是,则将latestmr作为当前批数据中第一个周期的合并参考数据,若否,则将当前批数据中第一个周期中产生时间最早的数据作为合并参考数据。
64.按照上述数据合并逻辑,当合并完每一批次所有的数据,直到当前批次内的最后一个周期时,需要记录合并结果latestmr,因此在具体批次数据获取过程中,是按照数据的条数进行的,有可能当前周期内还有部分数据在下一个批次的数据内,所以需要记录下latestmr。
65.在进行新批次的数据合并前,需要判断当前批数据的第一条数据是否与上一批数据的latestmr位于同一周期内,判断逻辑根据两条数据的时间差来进行,若是,则将latestmr作为当前批数据中第一个周期的合并参考数据,若否,则将当前批数据中第一个周期中产生时间最早的数据作为合并参考数据。
66.本发明实施例中,当满足t≤|headdatatime-latestmrtime|时,当前批数据的第一条数据与上一批数据的latestmr位于同一周期内,反之,则当前批数据的第一条数据不与上一批数据的latestmr位于同一周期内;
67.其中,headdatatime表示当前批数据的第一条数据的产生时间,latestmrtime表示上一批数据的最后一个周期的合并结果时间,t表示时间,计算方式为t=1/f*1000,f表示数据的频率,单位为毫秒。
68.本发明实施例中,当所有批次的数据均合并完成后,将合并结果输出至数据仓库,且在数据合并过程中,可实时查询数据合并进度;
69.所述数据合并进度的计算公式为:
70.a=mergenum/totalnum*100%
71.其中,a表示数据合并进度,mergenum表示已合并数据量,totalnum表示数据总量。
72.即当所有批次的数据均合并完成后,可以根据指定的输出方式,将合并结果输出到常用的组件中,例如kafka、hdfs、hive、mysql、es、redis、mongodb等数据仓库。
73.本发明中,数据合并参考频率rmf根据相关需求动态获取,每条数据的上传频率frequency,合并时间阈值mtt,每条数据产生时间time,合并参考数据rmd,被合并数据md,合并结果mr;合并数据根据不同的频率、不同的信号类型可能会有多条。鉴于三种或三种以上频率和信号类型的数据合并逻辑,与两种频率和信号类型的数据合并的逻辑完全相同,则以两种数据合并为例,假定参与合并的两种数据分别为gps数据和can数据,上传频率分别为10hz和1hz,拼接顺序是先确定数据合并参考频率rmf,然后将合并数据合并到参考合并频率数据上,得到合并结果mr,期间还要考虑各种数据延迟丢失,以及上传频率不是严格按照要求规定频率上传的问题。
74.以下结合一实例对本发明的车辆网分频数据合并的方法进行具体说明。
75.s101:用户提交任务,用户可以将任务提交到专门的合并装置中,且合并装置可内嵌到其它服务中。鉴于三种或三种以上频率和信号类型的数据合并逻辑,与两种频率和信号类型的数据合并的逻辑完全相同,本实例以两种数据类型为例进行介绍,假定用户指定的合并数据为gps数据gpsdata和can数据candata,上传频率分别为10hz和1hz,确定的数据合并参考频率为1hz。
76.s102:合并装置根据动态解析出需要合并gpsdata和candata数据,根据解析出的
提交,按照每个批次一万条数据的标准,到数据仓库中按照时间升序排序分批次取出数据;
77.s103:对于每个批次的gpsdata数据和candata数据进行合并,然后将合并结果输出到用户指定的地方。
78.对于数据合并的过程,具体为:
79.s201:合并装置根据数据合并参考频率1hz为参照,创建时间为1秒的合并周期;
80.s202:先合并第一个批次数据中第一个周期的数据,找到该批次的第一条数据为合并参考数据,然后将该周期内的gpsdata和candata合并到合并参考数据中,生成合并结果。记录下第一个周期最新的gpsdata和candata的原始数据,作为下一个周期合并有缺失时的替补;
81.s203:合并下一个周期的数据,先取该周期内的第一条数据作为合并参考数据,然后将该周期内的gpsdata和candata合并到合并参考数据中,生成合并结果。该周期合并完后,将合并的数据种类和频率跟合并要求进行比较,如果发现有数据缺失,到上一个周期最新的gpsdata和candata数据对应的原始数据中去查找,找到对应的数据,跟当前合并结果时间进行比较,如果小于或等于时间阈值,则将其合并到合并参考数据中,否则该类型信号作置空处理。
82.s204:判断当前批次的数据是否已全部合并完成,若否,则转到s203,若是,则转到s205;
83.s205:当前批次的数据完成,该批数据的最后一个周期的合并结果记为latestmr,供下一个批次第一个周期合并时判断使用;
84.s206:在合并下一个批次的第一个周期数据时,判断当前批数据的第一条数据是否与上一批数据的latestmr位于同一周期内,若是,则将latestmr作为当前批数据中第一个周期的合并参考数据,若否,则将当前批数据中第一个周期中产生时间最早的数据作为合并参考数据;
85.s207:判断所有批次数据是否合并完成,若否,则转至s203,若是,则将合并结果输出到用户指定的地方。
86.对于数据合并进度的查询,具体步骤为:
87.s301:用户提交数据合并进度查询请求,数据合并进度查询请求中包含待查询批次id;
88.s302:根据待查询批次id,查询得到该批次的数据总量和已合并数据量;
89.s303:根据mergenum/totalnum*100%进行计算,得到数据合并进度,将结果输出给用户。
90.本发明的车辆网分频数据合并的系统,基于车载终端上传的车辆数据,每条数据包含对应的类型、上传频率大小和产生时间的特点,首先确定合并参考频率,参与合并的数据以合并参考频率为依据,在相同时间范围的数据合并到参考频率数据中去,保证每段数据尽量能够合并,本发明的数据合并方法逻辑简单,合并效果好,能有效减少数据丢失导致的数据精确度问题。同时,还可以实时查询合并进度,简洁明了,可以提供不同频率不同类型的数据,针对同一时刻的分析需求,且本发明可行性和可靠性高,适用范围广。
91.在一种可能的实施方式中,本发明实施例还提供一种可读存储介质,可读存储介质位于plc(programmable logic controller,可编程逻辑控制器)控制器中,可读存储介
质上存储有计算机程序,该程序被处理器执行时实现以下所述车辆网分频数据合并的方法的步骤:
92.确定需进行合并的数据的数据类型范围和时间范围,并确定数据合并参考频率;
93.基于数据产生时间先后对数据进行排序,并分批次取出数据,以数据合并参考频率为周期,对取出的每批数据按照周期进行划分;
94.将每个周期中产生时间最早的数据作为合并参考数据,将周期内的数据合并到合并参考数据中并生成合并结果;
95.记录每个周期内的数据类型、每种频率数据对应最新数据的原始数据和每种频率数据的合并数量。
96.存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于:电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
97.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、rf等等,或者上述的任意合适的组合。
98.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如java、smalltalk、c++,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络,包括局域网(lan)或广域网(wan),连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
99.本发明实施例提供的一种车辆网分频数据合并的系统,包括确定模块、划分模块、合并模块和记录模块。
100.确定模块用于确定需进行合并的数据的数据类型范围和时间范围,并确定数据合并参考频率;划分模块用于基于数据产生时间先后对数据进行排序,并分批次取出数据,以数据合并参考频率为周期,对取出的每批数据按照周期进行划分;合并模块用于将每个周期中产生时间最早的数据作为合并参考数据,将周期内的数据合并到合并参考数据中并生成合并结果;记录模块用于记录每个周期内的数据类型、每种频率数据对应最新数据的原
始数据和每种频率数据的合并数量。
101.以上所述仅是本技术的具体实施方式,使本领域技术人员能够理解或实现本技术。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下,在其它实施例中实现。因此,本技术将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
102.本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
技术特征:1.一种车辆网分频数据合并的方法,其特征在于,具体包括以下步骤:确定需进行合并的数据的数据类型范围和时间范围,并确定数据合并参考频率;基于数据产生时间先后对数据进行排序,并分批次取出数据,以数据合并参考频率为周期,对取出的每批数据按照周期进行划分;将每个周期中产生时间最早的数据作为合并参考数据,将周期内的数据合并到合并参考数据中并生成合并结果;记录每个周期内的数据类型、每种频率数据对应最新数据的原始数据和每种频率数据的合并数量。2.如权利要求1所述的一种车辆网分频数据合并的方法,其特征在于,所述将每个周期中产生时间最早的数据作为合并参考数据,将周期内的数据合并到合并参考数据中并生成合并结果,其中,在进行新一周期的数据合并时:判断进行合并的当前周期中是否存在数据缺失:若是,则根据缺失数据的类型和频率,从上一周期记录的每种频率数据对应最新数据的原始数据中找到对应数据,并当数据的时间差满足时间阈值时,将找到的数据合并至当前周期中;若否,则不作处理。3.如权利要求2所述的一种车辆网分频数据合并的方法,其特征在于:当满足mtttime≥|latestdatatime-rmdtime|时,则数据的时间差满足时间阈值,反之,则不满足;其中,mtttime表示时间阈值,latestdatatime表示从上一周期记录的每种频率数据的最新数据中找到的数据,rmdtime表示当前周期中合并参考数据的产生时间。4.如权利要求2所述的一种车辆网分频数据合并的方法,其特征在于:当未从上一周期记录的每种频率数据对应最新数据的原始数据中找到对应数据,或者找到的数据的时间差不满足时间阈值时,则将进行合并的当前周期的数据缺失部分置为空。5.如权利要求1所述的一种车辆网分频数据合并的方法,其特征在于:当将取出的一批数据按照周期合并完成后,将该批数据的最后一个周期的合并结果记为latestmr;当取出新一批的数据进行合并时,判断当前批数据的第一条数据是否与上一批数据的latestmr位于同一周期内,若是,则将latestmr作为当前批数据中第一个周期的合并参考数据,若否,则将当前批数据中第一个周期中产生时间最早的数据作为合并参考数据。6.如权利要求5所述的一种车辆网分频数据合并的方法,其特征在于:当满足t≤|headdatatime-latestmrtime|时,当前批数据的第一条数据与上一批数据的latestmr位于同一周期内,反之,则当前批数据的第一条数据不与上一批数据的latestmr位于同一周期内;其中,headdatatime表示当前批数据的第一条数据的产生时间,latestmrtime表示上一批数据的最后一个周期的合并结果时间,t表示时间,计算方式为t=1/f*1000,f表示数据的频率。7.如权利要求1所述的一种车辆网分频数据合并的方法,其特征在于,所述基于数据产生时间先后对数据进行排序,并分批次取出数据,具体为:
基于数据产生时间先后对数据进行排序,然后按照数据产生时间的先后顺序分批次取出数据,且每个批次的数据数量相同。8.如权利要求1所述的一种车辆网分频数据合并的方法,其特征在于,当确定需进行合并的数据的数据类型范围和时间范围之后,还包括:根据确定的范围,从数据仓库中查询得到该范围内的数据总量,并判断数据总量是否为0,若是,则表明没有满足该范围的数据,进行通知提醒,若否,则记录数据总量。9.如权利要求8所述的一种车辆网分频数据合并的方法,其特征在于:当所有批次的数据均合并完成后,将合并结果输出至数据仓库,且在数据合并过程中,可实时查询数据合并进度;所述数据合并进度的计算公式为:a=mergenum/totalnum*100%其中,a表示数据合并进度,mergenum表示已合并数据量,totalnum表示数据总量。10.一种车辆网分频数据合并的系统,其特征在于,包括:确定模块,其用于确定需进行合并的数据的数据类型范围和时间范围,并确定数据合并参考频率;划分模块,其用于基于数据产生时间先后对数据进行排序,并分批次取出数据,以数据合并参考频率为周期,对取出的每批数据按照周期进行划分;合并模块,其用于将每个周期中产生时间最早的数据作为合并参考数据,将周期内的数据合并到合并参考数据中并生成合并结果;记录模块,其用于记录每个周期内的数据类型、每种频率数据的最新数据和每种频率数据的合并数量。
技术总结本发明公开了一种车辆网分频数据合并的方法及系统,涉及车辆网技术领域,该方法包括确定需进行合并的数据的数据类型范围和时间范围,并确定数据合并参考频率;基于数据产生时间先后对数据进行排序,并分批次取出数据,以数据合并参考频率为周期,对取出的每批数据按照周期进行划分;将每个周期中产生时间最早的数据作为合并参考数据,将周期内的数据合并到合并参考数据中并生成合并结果;记录每个周期内的数据类型、每种频率数据对应最新数据的原始数据和每种频率数据的合并数量。本发明能有效减少数据丢失导致的数据精确度问题。有效减少数据丢失导致的数据精确度问题。有效减少数据丢失导致的数据精确度问题。
技术研发人员:代陶 曹东 李晓聪
受保护的技术使用者:南斗六星系统集成有限公司
技术研发日:2022.06.30
技术公布日:2022/11/1