1.本发明涉及数据备份与恢复技术领域,具体而言,涉及一种基于远程存储实现快速备份与恢复的数仓方法及系统。
背景技术:2.随着时代的发展,信息的储存方式越来越多样化;而现有的技术,对于数据的储存,采用数据仓库对其内的数据备份连接到数据仓库服务器进行数据的导出作备份文件存储,并且备份数据的存储是在本地单台服务器上,存在数据丢失及数据泄密的风险。且恢复时对备份文件作导入实现数据的还原,需要在服务器维护过旧备份数据,操作也过于繁琐。由此需要一种基于远程存储实现快速备份与恢复的数仓方法及系统。
技术实现要素:3.本发明的目的在于提供一种基于远程存储实现快速备份与恢复的数仓方法,其能够保证数据储存安全,提高备份和恢复数据的操作便捷性。
4.本发明的实施例是这样实现的:
5.第一方面,本技术实施例提供一种基于远程存储实现快速备份与恢复的数仓方法,其包括预设智能设备、与智能设备连接的数仓以及与数仓连接的云服务器;利用智能设备部署管理服务,将本地已经处理完毕的目标数据,根据预设的定时任务调度向数仓发送;数仓在收到目标数据后进入向云服务器备份的初始程序;检查目标数据是否处理完毕,若没有处理完毕,则向智能设备发送信号,令智能设备继续对目标数据进行处理,直至处理完毕;若数据处理完毕,检测云服务器是否已有备份;若有备份,则结束备份操作;若没有备份,则利用预设的过滤表对过滤表上记录的端口进行拦截;而后将目标数据上传至云服务器进行备份;智能设备通过云服务器进行数据恢复。
6.在本发明的一些实施例中,智能设备通过云服务器进行数据恢复的步骤包括:查询云服务器是否含有需要恢复的数据,若有,则对需要恢复的数据进行下载;反之,则直接结束恢复。
7.在本发明的一些实施例中,还包括用于对云服务器内的数据进行查询的前端;前端与云服务器连接的前端,前端与云服务器内的数据类目实时同步。
8.在本发明的一些实施例中,前端采用网页为载体。
9.在本发明的一些实施例中,云服务器还包括按预设时间对备份数据进行定时清理。
10.在本发明的一些实施例中,智能设备通过云服务器进行数据恢复后的步骤还包括:设置恢复权限,当获取恢复权限后,非授权的智能设备进行数据恢复。
11.在本发明的一些实施例中,云服务器采用oss对象储存服务器。
12.第二方面,本技术实施例提供一种基于远程存储实现快速备份与恢复的数仓系统,其包括预设模块,用于预设智能设备、与智能设备连接的数仓以及与数仓连接的云服务
器;数据储存模块,用于利用智能设备部署管理服务,将本地已经处理完毕的目标数据,根据预设的定时任务调度向数仓发送;备份启动模块,用于数仓在收到目标数据后进入向云服务器备份的初始程序;初始检测模块,用于检查目标数据是否处理完毕,若没有处理完毕,则向智能设备发送信号,令智能设备继续对目标数据进行处理,直至处理完毕;若数据处理完毕,检测云服务器是否已有备份;过滤模块,用于若有备份,则结束备份操作;若没有备份,则利用预设的过滤表对过滤表上记录的端口进行拦截;而后将目标数据上传至云服务器进行备份;数据恢复模块,用于智能设备通过云服务器进行数据恢复。
13.第三方面,本技术实施例提供一种电子设备,包括至少一个处理器、至少一个存储器和数据总线;其中:处理器与存储器通过数据总线完成相互间的通信;存储器存储有可被处理器执行的程序指令,处理器调用程序指令以执行一种基于远程存储实现快速备份与恢复的数仓方法。
14.第四方面,本技术实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现一种基于远程存储实现快速备份与恢复的数仓方法。
15.相对于现有技术,本发明的实施例至少具有如下优点或有益效果:
16.针对本地服务器备份数据的存储是在本地单台服务器上,存在数据丢失及数据泄密的风险的问题,本设计采用基于远程文件存储的方式,利用云服务器(即oss对象储存服务器)进行文件储存,并且设置定时任务调度管理,实现数据定时的备份。由此使得本地服务器出现问题造成数据损坏时,可以由云服务器上的备份数据进行恢复,从而保证数据储存安全,提高备份和恢复数据的操作便捷性。
附图说明
17.为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
18.图1为本发明中一种基于远程存储实现快速备份与恢复的数仓方法的流程图;
19.图2为本发明中数据备份的程序框图;
20.图3为本发明中数据恢复的程序框图;
21.图4为本发明中一种基于远程存储实现快速备份与恢复的数仓系统的结构示意图;
22.图5为本发明中一种电子设备的结构示意图。
23.图标:1、预设模块;2、数据储存模块;3、备份启动模块;4、初始检测模块;5、过滤模块;6、数据恢复模块;7、处理器;8、存储器;9、数据总线。
具体实施方式
24.为使本技术实施例的目的、技术方案和优点更加清楚,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
25.因此,以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围,而是仅仅表示本技术的选定实施例。基于本技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
26.应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
27.需要说明的是,在本文中,诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
28.在本技术的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本技术中的具体含义。
29.下面结合附图,对本技术的一些实施方式作详细说明。在不冲突的情况下,下述的各个实施例及实施例中的各个特征可以相互组合。
30.实施例1
31.请参阅图1、图2和图3,为本技术实施例提供的一种基于远程存储实现快速备份与恢复的数仓方法,针对本地服务器备份数据的存储是在本地单台服务器上,存在数据丢失及数据泄密的风险的问题,本设计采用基于远程文件存储的方式,利用云服务器(即oss对象储存服务器)进行文件储存,并且设置定时任务调度管理,实现数据定时的备份。由此使得本地服务器出现问题造成数据损坏时,可以由云服务器上的备份数据进行恢复,从而保证数据储存安全,提高备份和恢复数据的操作便捷性。
32.s1:预设智能设备、与智能设备连接的数仓以及与数仓连接的云服务器;
33.智能设备可以是电脑等等或其他智能设备,其目的在于用于进行本地数据处理,同时与数仓(数据仓库)进行数据交换,云服务器则是进行远程备份和恢复,采用oss对象储存服务器。
34.s2:利用智能设备部署管理服务,将本地已经处理完毕的目标数据,根据预设的定时任务调度向数仓发送;
35.对于管理服务的部署,旨在利用智能设备进行数据处理方式的设定,而具体数据中数值加减等处理方式,则由用户自定义设置。而本设计部署管理服务用于对数据处理完毕后,将数据发送至数仓,同时设置定时任务,从而使得在定时前时间点以前处理完的数据,发送至数仓进行储存。
36.s3:数仓在收到目标数据后进入向云服务器备份的初始程序;
37.s4:检查目标数据是否处理完毕,若没有处理完毕,则向智能设备发送信号,令智能设备继续对目标数据进行处理,直至处理完毕;若数据处理完毕,检测云服务器是否已有备份;
38.对于数据备份前,需要检测数据是否处理完毕,例如表格等等,因为对未处理完的数据进行备份,会使得未处理完的数据无法与原数据匹配,由此进行判断。
39.s5:若有备份,则结束备份操作;若没有备份,则利用预设的过滤表对过滤表上记录的端口进行拦截;而后将目标数据上传至云服务器进行备份;
40.另外对于云服务器内的已经备份过的数据,再进行重复备份,会浪费时间浪费资源,由此对已有备份数据进行检索和判断,同时为了进一步增加安全性,设置端口过滤表,用于阻挡非授权端口上传的数据,从而阻止外部病毒的进入。也可以设置备份数据过滤表,过滤筛选需要的数据进行备份。
41.s6:智能设备通过云服务器进行数据恢复。
42.而对于云服务器,其直接可以进行远程下载需要的数据,从而提高备份和恢复数据的操作便捷性。其具体实施方式如下:
43.请参阅图3,智能设备通过云服务器进行数据恢复的步骤包括:查询云服务器是否含有需要恢复的数据,若有,则对需要恢复的数据进行下载;反之,则直接结束恢复。
44.在本发明的一些实施例中,还包括用于对云服务器内的数据进行查询的前端;前端与云服务器连接的前端,前端与云服务器内的数据类目实时同步。
45.云服务器采用oss对象储存服务器,则对于前端来说,其主要作用是为了给用户提供oss查看服务,由此用户可以直接从前端对云服务器进行查看,提高了便捷性。其中前端优选采用网页为载体。
46.在本发明的一些实施例中,云服务器还包括按预设时间对备份数据进行定时清理。定时清理,则是避免备份数据量过多过大,减轻服务器的负担,例如可以逐步清理预设时间(一年)前的数据。
47.在本发明的一些实施例中,智能设备通过云服务器进行数据恢复后的步骤还包括:设置恢复权限,当获取恢复权限后,非授权的智能设备进行数据恢复。
48.这方式旨在对外观设备进行远程数据恢复或下载,从而提高了用户的便捷性。
49.实施例2
50.请参阅图4,为本发明提供的一种基于远程存储实现快速备份与恢复的数仓系统,包括预设模块1,用于预设智能设备、与智能设备连接的数仓以及与数仓连接的云服务器;数据储存模块2,用于利用智能设备部署管理服务,将本地已经处理完毕的目标数据,根据预设的定时任务调度向数仓发送;备份启动模块3,用于数仓在收到目标数据后进入向云服务器备份的初始程序;初始检测模块4,用于检查目标数据是否处理完毕,若没有处理完毕,则向智能设备发送信号,令智能设备继续对目标数据进行处理,直至处理完毕;若数据处理完毕,检测云服务器是否已有备份;过滤模块5,用于若有备份,则结束备份操作;若没有备份,则利用预设的过滤表对过滤表上记录的端口进行拦截;而后将目标数据上传至云服务器进行备份;数据恢复模块6,用于智能设备通过云服务器进行数据恢复。
51.实施例3
52.请参阅图5,为本发明提供的一种电子设备,包括至少一个处理器7、至少一个存储器8和数据总线9;其中:处理器7与存储器8通过数据总线9完成相互间的通信;存储器8存储有可被处理器7执行的程序指令,处理器7调用程序指令以执行一种基于远程存储实现快速备份与恢复的数仓方法。例如实现:
53.预设智能设备、与智能设备连接的数仓以及与数仓连接的云服务器;利用智能设备部署管理服务,将本地已经处理完毕的目标数据,根据预设的定时任务调度向数仓发送;数仓在收到目标数据后进入向云服务器备份的初始程序;检查目标数据是否处理完毕,若没有处理完毕,则向智能设备发送信号,令智能设备继续对目标数据进行处理,直至处理完毕;若数据处理完毕,检测云服务器是否已有备份;若有备份,则结束备份操作;若没有备份,则利用预设的过滤表对过滤表上记录的端口进行拦截;而后将目标数据上传至云服务器进行备份;智能设备通过云服务器进行数据恢复。
54.实施例4
55.本发明提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器7执行时实现一种基于远程存储实现快速备份与恢复的数仓方法。例如实现:
56.预设智能设备、与智能设备连接的数仓以及与数仓连接的云服务器;利用智能设备部署管理服务,将本地已经处理完毕的目标数据,根据预设的定时任务调度向数仓发送;数仓在收到目标数据后进入向云服务器备份的初始程序;检查目标数据是否处理完毕,若没有处理完毕,则向智能设备发送信号,令智能设备继续对目标数据进行处理,直至处理完毕;若数据处理完毕,检测云服务器是否已有备份;若有备份,则结束备份操作;若没有备份,则利用预设的过滤表对过滤表上记录的端口进行拦截;而后将目标数据上传至云服务器进行备份;智能设备通过云服务器进行数据恢复。
57.其中,存储器8可以是但不限于,随机存取存储器(randomaccess memory,ram),只读存储器(read only memory,rom),可编程只读存储器(programmable read-only memory,prom),可擦除只读存储器(erasable programmable read-only memory,eprom),电可擦除只读存储器(electric erasable programmable read-only memory,eeprom)等。
58.处理器7可以是一种集成电路芯片,具有信号处理能力。该处理器7可以是通用处理器,包括中央处理器(central processing unit,cpu)、网络处理器(network processor,np)等;还可以是数字信号处理器(digital signal processing,dsp)、专用集成电路(appl ication specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
59.在本技术所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块的一部分,所述模块的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
60.另外,在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
61.以上所述仅为本技术的优选实施例而已,并不用于限制本技术,对于本领域的技术人员来说,本技术可以有各种更改和变化。凡在本技术的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本技术的保护范围之内。
62.对于本领域技术人员而言,显然本技术不限于上述示范性实施例的细节,而且在不背离本技术的精神或基本特征的情况下,能够以其它的具体形式实现本技术。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本技术的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本技术内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
技术特征:1.一种基于远程存储实现快速备份与恢复的数仓方法,其特征在于,包括:预设智能设备、与所述智能设备连接的数仓以及与所述数仓连接的云服务器;利用智能设备部署管理服务,将本地已经处理完毕的目标数据,根据预设的定时任务调度向数仓发送;所述数仓在收到目标数据后进入向云服务器备份的初始程序;检查目标数据是否处理完毕,若没有处理完毕,则向智能设备发送信号,令所述智能设备继续对所述目标数据进行处理,直至处理完毕;若数据处理完毕,检测所述云服务器是否已有备份;若有备份,则结束备份操作;若没有备份,则利用预设的过滤表对所述过滤表上记录的端口进行拦截;而后将所述目标数据上传至云服务器进行备份;所述智能设备通过云服务器进行数据恢复。2.如权利要求1所述的一种基于远程存储实现快速备份与恢复的数仓方法,其特征在于,所述智能设备通过云服务器进行数据恢复的步骤包括:查询云服务器是否含有需要恢复的数据,若有,则对需要恢复的数据进行下载;反之,则直接结束恢复。3.如权利要求1所述的一种基于远程存储实现快速备份与恢复的数仓方法,其特征在于,还包括用于对所述云服务器内的数据进行查询的前端;所述前端与所述云服务器连接的前端,所述前端与所述云服务器内的数据类目实时同步。4.如权利要求3所述的一种基于远程存储实现快速备份与恢复的数仓方法,其特征在于,所述前端采用网页为载体。5.如权利要求1所述的一种基于远程存储实现快速备份与恢复的数仓方法,其特征在于,所述云服务器还包括按预设时间对备份数据进行定时清理。6.如权利要求1所述的一种基于远程存储实现快速备份与恢复的数仓方法,其特征在于,所述智能设备通过云服务器进行数据恢复后的步骤还包括:设置恢复权限,当获取恢复权限后,非授权的智能设备进行数据恢复。7.如权利要求1所述的一种基于远程存储实现快速备份与恢复的数仓方法,其特征在于,所述云服务器采用oss对象储存服务器。8.一种基于远程存储实现快速备份与恢复的数仓系统,其特征在于,包括:预设模块,用于预设智能设备、与所述智能设备连接的数仓以及与所述数仓连接的云服务器;数据储存模块,用于利用智能设备部署管理服务,将本地已经处理完毕的目标数据,根据预设的定时任务调度向数仓发送;备份启动模块,用于所述数仓在收到目标数据后进入向云服务器备份的初始程序;初始检测模块,用于检查目标数据是否处理完毕,若没有处理完毕,则向智能设备发送信号,令所述智能设备继续对所述目标数据进行处理,直至处理完毕;若数据处理完毕,检测所述云服务器是否已有备份;过滤模块,用于若有备份,则结束备份操作;若没有备份,则利用预设的过滤表对所述过滤表上记录的端口进行拦截;而后将所述目标数据上传至云服务器进行备份;数据恢复模块,用于所述智能设备通过云服务器进行数据恢复。
9.一种电子设备,其特征在于,包括至少一个处理器、至少一个存储器和数据总线;其中:所述处理器与所述存储器通过所述数据总线完成相互间的通信;所述存储器存储有被所述处理器执行的程序指令,所述处理器调用所述程序指令以执行如权利要求1-7任一项所述的方法。10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
技术总结本发明提出了一种基于远程存储实现快速备份与恢复的数仓方法及系统,涉及数据备份与恢复技术领域。利用智能设备部署管理服务,将本地已经处理完毕的目标数据,根据定时任务调度向数仓发送;数仓在收到目标数据后进入向云服务器备份的初始程序;检查目标数据是否处理完毕,若没有处理完毕,则向智能设备发送信号,令智能设备继续对目标数据进行处理,直至处理完毕;若数据处理完毕,检测云服务器是否已有备份;若有备份,则结束备份操作;若没有备份,则利用预设的过滤表对过滤表上记录的端口进行拦截;而后将目标数据上传至云服务器进行备份;智能设备通过云服务器进行数据恢复。其能够保证数据储存安全,提高备份和恢复数据的操作便捷性。作便捷性。作便捷性。
技术研发人员:唐湘峰 林经职 欧阳禄萍 徐正彬
受保护的技术使用者:知学云(北京)科技股份有限公司
技术研发日:2022.06.09
技术公布日:2022/11/1