一种大数据后台数据处理方法及系统与流程

专利2023-01-20  150



1.本发明涉及后台数据库技术领域,具体涉及一种大数据后台数据处理方法及系统。


背景技术:

2.后台数据库是用于处理数据的基站,可以是虚拟的网络储存空间,也可以是储存硬盘,通过后台数据库对数据进行接收与发送,最终完成数据的传递,使上下级用户达到数据共通的目的。
3.但是,后台数据库使用时,大都通过密钥进行登录访问,这种静态的密钥安全性较低,易被攻击破译,同时对于后台数据库在进行数据调取时,因长期累积的较大数据而造成调取数据过程缓慢,导致使用体验不佳。


技术实现要素:

4.解决的技术问题
5.针对现有技术所存在的上述缺点,本发明提供了一种大数据后台数据处理方法及系统,解决了后台数据库使用时,大都通过密钥进行登录访问,这种静态的密钥安全性较低,易被攻击破译,同时对于后台数据库在进行数据调取时,因长期累积的较大数据而造成调取数据过程缓慢,导致使用体验不佳的问题。
6.技术方案
7.为实现以上目的,本发明通过以下技术方案予以实现:
8.第一方面,一种大数据后台数据处理方法,包括以下步骤:
9.step1:获取目标数据类型及特征,设置数据接受队列优先级,根据后台数据储存空间进行适应性分配;
10.step2:后台数据库为网盘,分析网盘运营终端安全性,设置网盘随机滚动密钥用于登录网盘,设置手势识别;
11.step3:设置后台数据独立接收传输通道,对独立通道设置对接口令;
12.step4:匹配对接口令,确定对接目标信息是否正确;
13.step5:后台数据库为硬盘,分析后台所用网络属性,根据后台所用网络ip对使用网络进行地址溯源;
14.step6:对溯源到的后台所用网络地址进行风险评估,在确认无风险后等待数据输入;
15.step7:限制后台所用网络登录ip数量,估算目标数据传输时间,参考估算得出的目标数据传输数据对已登录ip进行网速管理;
16.step8:当步骤step4判定结果为正确;当步骤step7完成后,根据目标数据类型、特征将数据进行分类,分析后台储存网盘/硬盘各盘可用量,设置储存目录,设置后置盘,设置后置盘接收程序,将目标数据储存至相应目录的储存网盘/硬盘中。
17.更进一步地,所述步骤step2中手势识别包括人脸识别,并在人脸识别过程中进行动态捕捉,通过动态捕捉数据进行活体判定,判定结果为活体后获取登录网盘的随机滚动密钥。
18.更进一步地,所述步骤step7中限制后台所用网络连接ip数量限制以当前连接为准,不接受新请求的连接,对已连接ip的网络限制根据已连接ip用途进行基础网络限速。
19.第二方面,一种大数据后台数据处理方法中提及的后置盘接收程序,包括以下步骤:
20.s1:分析后台储存数据内容打开频率,分析后台储存数据内容储存时间;
21.s2:设置自启周期,当自启周期结束后后置盘自主运行;
22.s3:设置不活跃数据判定标准,将休眠数据文件转存至后置盘中储存。
23.更进一步地,所述后置盘为储存硬盘,所述步骤s2中,自启周期根据数据储存至后台数据库的频率进行设置。
24.更进一步地,所述步骤s3中数据不活跃判定标准为一个月未使用,不活跃数据为休眠数据文件,后置盘中储存的休眠数据文件设置有队列,其中最先储存的休眠数据文件设置为队列排头。
25.第三方面,一种大数据后台数据处理系统,包括:
26.后台终端(1),是后台数据库的控制端,用于发出指令接收指令执行结果反馈;
27.分析模块(2),用于分析后台数据库接收数据的属性及特征;
28.选择模块(3),由后台终端(1)主控,以分析模块(2)中接收数据的属性、特征为执行标准,将接收数据分别储存至后台数据库中各位置;
29.环境检测模块(4),用于检测后台数据库接收数据所用网络的安全性;
30.传输模块(5),用于建立传输通道,供后台数据库接收传输数据;
31.评估模块(6),用于评估当前后台数据库中所有数据的活跃度;
32.转存模块(7),由评估模块(6)中对数据的活跃度评估结果选择转存目标,将转存目标储存至后置盘中;
33.转化模块(8),用于将目标数据转换为同一文件格式;
34.还原模块(9),用户将后台数据库及后台数据库中后置盘中储存文件进行还原转化。
35.更进一步地,所述选择模块(3)中包括打包模块(31),用于将数据在通过选择模块(3)选择储存位置前进行分类、选择性压缩打包。
36.更进一步地,所述传输模块(5)包括监测单元(51),用于监控、测算数据传输至后台数据库中这一过程的实时速率。
37.更进一步地,所述转化模块(8)中统一转换格式由后台终端(1)选择性设置,所述转化模块(8)根据目标数据大小选择使用,选择使用标准由后台终端(1)设定,所述还原模块(9)同步转化模块(8)执行还原命令。
38.有益效果
39.采用本发明提供的技术方案,与已知的公有技术相比,具有如下有益效果:
40.1、本发明为后台数据库提供了一种数据处理的方法,该方法能够通过实时动态密钥的方式提升了当网络云盘作为后台数据库时的安全性,其次对于硬盘作为后台数据库
时,能够对后台数据库所用网络进行检测,从而保证数据的收发安全性。
41.2、本发明通过后置盘的增设能够保证活跃的数据前置,不常使用的数据进行分离储存,从而增大了后台数据库的运算空间,进而提升了后台数据库在收发处理数据时的效率。
42.3、本发明为后台数据库提供了一种收发数据过程的转化方式,通过该方式能够将所有数据在传输时转化为同一格式的数据文件在进行传输,从而达到提升后台数据库在进行收发数据时的速率的目的,且因传输数据格式的同一,数据传输的过程更加稳定,故障、错乱率低。
附图说明
43.为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
44.图1为一种大数据后台数据处理方法的流程示意图;
45.图2为一种大数据后台数据处理方法中后置盘接收程序的流程示意图;
46.图3为一种大数据后台数据处理系统的结构示意图;
47.图中的标号分别代表:1、后台终端;2、分析模块;3、选择模块;31、打包模块4、环境检测模块;5、传输模块;51、监测单元6、评估模块;7、转存模块;8、转化模块;9、还原模块。
具体实施方式
48.为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
49.下面结合实施例对本发明作进一步的描述。
50.实施例1
51.本实施例的一种大数据后台数据处理方法及系统,如图1所示,包括以下步骤:
52.step1:获取目标数据类型及特征,设置数据接受队列优先级,根据后台数据储存空间进行适应性分配;
53.step2:后台数据库为网盘,分析网盘运营终端安全性,设置网盘随机滚动密钥用于登录网盘,设置手势识别;
54.step3:设置后台数据独立接收传输通道,对独立通道设置对接口令;
55.step4:匹配对接口令,确定对接目标信息是否正确;
56.step5:后台数据库为硬盘,分析后台所用网络属性,根据后台所用网络ip对使用网络进行地址溯源;
57.step6:对溯源到的后台所用网络地址进行风险评估,在确认无风险后等待数据输入;
58.step7:限制后台所用网络登录ip数量,估算目标数据传输时间,参考估算得出的
目标数据传输数据对已登录ip进行网速管理;
59.step8:当步骤step4判定结果为正确;当步骤step7完成后,根据目标数据类型、特征将数据进行分类,分析后台储存网盘/硬盘各盘可用量,设置储存目录,设置后置盘,设置后置盘接收程序,将目标数据储存至相应目录的储存网盘/硬盘中。
60.如图1所示,所述步骤step2中手势识别包括人脸识别,并在人脸识别过程中进行动态捕捉,通过动态捕捉数据进行活体判定,判定结果为活体后获取登录网盘的随机滚动密钥。
61.通过该设置能够为后台数据库在随机滚动密钥的保护下进一步提供了安全的密钥获取方式,且在使用时方便快捷。
62.如图1所示,所述步骤step7中限制后台所用网络连接ip数量限制以当前连接为准,不接受新请求的连接,对已连接ip的网络限制根据已连接ip用途进行基础网络限速。
63.通过该设置为后台数据库在进行数据收发的过程提供了较为稳定的网络传输速率保障,保证了数据的收发过程能够稳定且快速的进行。
64.实施例2
65.如图2所示,一种大数据后台数据处理方法中提及的后置盘接收程序,包括以下步骤:
66.s1:分析后台储存数据内容打开频率,分析后台储存数据内容储存时间;
67.s2:设置自启周期,当自启周期结束后后置盘自主运行;
68.s3:设置不活跃数据判定标准,将休眠数据文件转存至后置盘中储存。
69.如图2所示,所述后置盘为储存硬盘,所述步骤s2中,自启周期根据数据储存至后台数据库的频率进行设置。
70.通过该设置为后台数据库提供了用于不常使用数据的储存空间,从而使得后台数据库中尝试用数据的调用过程更加快速流畅,大大增强后台数据库对数据处理的能力。
71.如图2所示,所述步骤s3中数据不活跃判定标准为一个月未使用,不活跃数据为休眠数据文件,后置盘中储存的休眠数据文件设置有队列,其中最先储存的休眠数据文件设置为队列排头。
72.通过该设置,进一步的为处于后置盘中储存的休眠数据提供了队列,以此来保证当后置盘中数据需要被调用时,最有可能被调用的数据处于后置盘前列,从而达到便于找寻调取的目的。
73.实施例3
74.在具体实施层面,本发明提供一种大数据后台数据处理系统,如图3所示,包括:
75.后台终端(1),是后台数据库的控制端,用于发出指令接收指令执行结果反馈;
76.分析模块(2),用于分析后台数据库接收数据的属性及特征;
77.选择模块(3),由后台终端(1)主控,以分析模块(2)中接收数据的属性、特征为执行标准,将接收数据分别储存至后台数据库中各位置;
78.环境检测模块(4),用于检测后台数据库接收数据所用网络的安全性;
79.传输模块(5),用于建立传输通道,供后台数据库接收传输数据;
80.评估模块(6),用于评估当前后台数据库中所有数据的活跃度;
81.转存模块(7),由评估模块(6)中对数据的活跃度评估结果选择转存目标,将转存
目标储存至后置盘中;
82.转化模块(8),用于将目标数据转换为同一文件格式;
83.还原模块(9),用户将后台数据库及后台数据库中后置盘中储存文件进行还原转化。
84.在本身实施例使用时,通过后台终端(1)发出执行命令使得分析模块(2)运行对后台数据库接收数据的属性及特征进行分析,随后通过选择模块(3)确定后台数据库接收数据即将储存至后台数据库中位置,在此之前,通过环境检测模块(4)对后台数据库所用网络进行安全监测,确保传输数据的通道安全,通过传输模块(5)对接收数据开始传输;
85.另外,对于后台数据库中储存的数据,评估模块(6)会对后台数据库中的所有数据进行活跃度检测,将不活跃或从未调取过的文件列为休眠数据,经过转存模块(7)传递至后置盘中进行储存,同步的可使用转化模块(8)对即将储存至后置盘中的数据进行转化,使其所有成为用以格式的数据在进行传输,在完成传输后在使用还原模块(9)对新载入后置盘中的数据进行还原储存;
86.同时转化模块(8)与还原模块(9)也可运用于后台数据库接收数据时所使用。
87.如图3所示,所述选择模块(3)中包括打包模块(31),用于将数据在通过选择模块(3)选择储存位置前进行分类、选择性压缩打包。
88.通过打包模块(31)的设置能够有效的对后台数据库所要收发的数据进行整体打包,进而带来一定的整理效果,使得后台数据库的收发数据过程更加的有序。
89.如图3所示,所述传输模块(5)包括监测单元(51),用于监控、测算数据传输至后台数据库中这一过程的实时速率。
90.通过监测模块(51)的设置能够对后台数据库在接收数据的这一过程中的网速进行实时监测,从而借此能够一定程度对数据传输所用网络的安全性进行预测、判断。
91.如图3所示,所述转化模块(8)中统一转换格式由后台终端(1)选择性设置,所述转化模块(8)根据目标数据大小选择使用,选择使用标准由后台终端(1)设定,所述还原模块(9)同步转化模块(8)执行还原命令。
92.通过上述限定,为转化模块(8)在对后台数据库接收数据时提供了明确的数据转化依据目标,同时转化模块(8)及还原模块(9)可根据使用需求选择性使用,以便于处理后台数据库在收发处理大量数据的情况。
93.综上而言本发明为后台数据库提供了一种数据处理的方法,该方法能够通过实时动态密钥的方式提升了当网络云盘作为后台数据库时的安全性,其次对于硬盘作为后台数据库时,能够对后台数据库所用网络进行检测,从而保证数据的收发安全性。
94.且本发明通过后置盘的增设能够保证活跃的数据前置,不常使用的数据进行分离储存,从而增大了后台数据库的运算空间,进而提升了后台数据库在收发处理数据时的效率。
95.并且本发明为后台数据库提供了一种收发数据过程的转化方式,通过该方式能够将所有数据在传输时转化为同一格式的数据文件在进行传输,从而达到提升后台数据库在进行收发数据时的速率的目的,且因传输数据格式的同一,数据传输的过程更加稳定,故障、错乱率低。
96.以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例
对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征:
1.一种大数据后台数据处理方法,其特征在于,包括以下步骤:step1:获取目标数据类型及特征,设置数据接受队列优先级,根据后台数据储存空间进行适应性分配;step2:后台数据库为网盘,分析网盘运营终端安全性,设置网盘随机滚动密钥用于登录网盘,设置手势识别;step3:设置后台数据独立接收传输通道,对独立通道设置对接口令;step4:匹配对接口令,确定对接目标信息是否正确;step5:后台数据库为硬盘,分析后台所用网络属性,根据后台所用网络ip对使用网络进行地址溯源;step6:对溯源到的后台所用网络地址进行风险评估,在确认无风险后等待数据输入;step7:限制后台所用网络登录ip数量,估算目标数据传输时间,参考估算得出的目标数据传输数据对已登录ip进行网速管理;step8:当步骤step4判定结果为正确;当步骤step7完成后,根据目标数据类型、特征将数据进行分类,分析后台储存网盘/硬盘各盘可用量,设置储存目录,设置后置盘,设置后置盘接收程序,将目标数据储存至相应目录的储存网盘/硬盘中。2.根据权利要求1所述的一种大数据后台数据处理方法,其特征在于,所述步骤step2中手势识别包括人脸识别,并在人脸识别过程中进行动态捕捉,通过动态捕捉数据进行活体判定,判定结果为活体后获取登录网盘的随机滚动密钥。3.根据权利要求1所述的一种大数据后台数据处理方法,其特征在于,所述步骤step7中限制后台所用网络连接ip数量限制以当前连接为准,不接受新请求的连接,对已连接ip的网络限制根据已连接ip用途进行基础网络限速。4.根据权利要求1所述的一种大数据后台数据处理方法中提及的后置盘接收程序,其特征在于,包括以下步骤:s1:分析后台储存数据内容打开频率,分析后台储存数据内容储存时间;s2:设置自启周期,当自启周期结束后后置盘自主运行;s3:设置不活跃数据判定标准,将休眠数据文件转存至后置盘中储存。5.根据权利要求4所述的一种大数据后台数据处理方法中后置盘接收程序,其特征在于,所述后置盘为储存硬盘,所述步骤s2中,自启周期根据数据储存至后台数据库的频率进行设置。6.根据权利要求4所述的一种大数据后台数据处理方法中后置盘接收程序,所述步骤s3中数据不活跃判定标准为一个月未使用,不活跃数据为休眠数据文件,后置盘中储存的休眠数据文件设置有队列,其中最先储存的休眠数据文件设置为队列排头。7.一种大数据后台数据处理及系统,所述系统是对权利要求1-3所述的大数据后台数据处理方法的实施系统,其特征在于,包括:后台终端(1),是后台数据库的控制端,用于发出指令接收指令执行结果反馈;分析模块(2),用于分析后台数据库接收数据的属性及特征;选择模块(3),由后台终端(1)主控,以分析模块(2)中接收数据的属性、特征为执行标准,将接收数据分别储存至后台数据库中各位置;环境检测模块(4),用于检测后台数据库接收数据所用网络的安全性;
传输模块(5),用于建立传输通道,供后台数据库接收传输数据;评估模块(6),用于评估当前后台数据库中所有数据的活跃度;转存模块(7),由评估模块(6)中对数据的活跃度评估结果选择转存目标,将转存目标储存至后置盘中;转化模块(8),用于将目标数据转换为同一文件格式;还原模块(9),用户将后台数据库及后台数据库中后置盘中储存文件进行还原转化。8.根据权利要求7所述的一种大数据后台数据处理系统,其特征在于,所述选择模块(3)中包括打包模块(31),用于将数据在通过选择模块(3)选择储存位置前进行分类、选择性压缩打包。9.根据权利要求7所述的一种大数据后台数据处理系统,其特征在于,所述传输模块(5)包括监测单元(51),用于监控、测算数据传输至后台数据库中这一过程的实时速率。10.根据权利要求7所述的一种大数据后台数据处理系统,其特征在于,所述转化模块(8)中统一转换格式由后台终端(1)选择性设置,所述转化模块(8)根据目标数据大小选择使用,选择使用标准由后台终端(1)设定,所述还原模块(9)同步转化模块(8)执行还原命令。

技术总结
本发明涉及后台数据库技术领域,具体涉及一种大数据后台数据处理方法及系统,包括以下步骤:Step1:获取目标数据类型及特征,设置数据接受队列优先级,根据后台数据储存空间进行适应性分配;Step2:后台数据库为网盘,分析网盘运营终端安全性,设置网盘随机滚动密钥用于登录网盘,设置手势识别;Step3:设置后台数据独立接收传输通道,对独立通道设置对接口令;Step4:匹配对接口令,确定对接目标信息是否正确;本发明为后台数据库提供了一种数据处理的方法,该方法能够通过实时动态密钥的方式提升了当网络云盘作为后台数据库时的安全性,其次对于硬盘作为后台数据库时,能够对后台数据库所用网络进行检测,从而保证数据的收发安全性。性。性。


技术研发人员:余洋
受保护的技术使用者:杭州猎火传媒科技有限公司
技术研发日:2022.06.13
技术公布日:2022/11/1
转载请注明原文地址: https://tieba.8miu.com/read-251.html

最新回复(0)