智能化数据归档方法、装置、计算机设备及可读存储介质与流程

专利2023-01-20  244



1.本技术涉及计算机数据处理技术领域,具体涉及一种智能化数据归档方法、装置、计算机设备及可读存储介质。


背景技术:

2.随着网络的快速发展,其后端数据库存储的数据和占据的磁盘空间也越来越大,为了保证线上业务的正常运行,需要及时地对历史数据进行清理,以释放数据库的存储空间。尤其的,在金融系统中,表的数据量每日巨增,如果任表数据无限量的增加而不做减少的话会导致系统查询越来越慢,从而严重影响系统的访问速度,影响客户体验。
3.现有的数据归档方法主要存在以下缺点:无法对存量数据进行归档,且当出现不支持归档的表类型时,不能实现全库自动归档;此外,缺乏性能监控,不能实现自动的表增加或删除操作,影响数据库的灵活性、数据归档的效率以及用户体验。
4.因此,如何实现智能化数据归档,提高系统访问速度、以及数据归档的效率,是当前计算机数据处理技术领域亟需解决的技术问题。


技术实现要素:

5.本技术提供一种智能化数据归档方法、装置、计算机设备及可读存储介质,旨在解决如何实现智能化数据归档,提高系统访问速度、以及数据归档的效率的技术问题。
6.一方面,本技术提供一种智能化数据归档方法,所述方法包括:
7.获取信用卡系统中信用卡作业表的数据量预算参数;
8.若所述数据量预算参数符合预设要求,则获取所述信用卡作业表的作业参数;
9.将所述作业参数录入预设的作业配置表中,得到目标作业配置表;
10.定期扫描所述目标作业配置表中的作业配置数据,所述作业配置数据包括作业表的名称、归档时间区间、数据库的名称以及状态;
11.基于所述作业配置数据,确定所述信用卡作业表对应的增量数据;
12.将所述增量数据进行数据归档。
13.在本技术一种可能的实现方式中,所述基于所述作业配置数据,确定所述信用卡作业表对应的增量数据,包括:
14.基于所述作业配置数据中的作业表的名称、数据库的名称,访问所述信用卡作业表;
15.获取符合归档时间区间的所述信用卡作业表对应的增量数据。
16.在本技术一种可能的实现方式中,所述将所述增量数据进行数据归档,包括:
17.将所述增量数据转换为预设格式类型的文件,得到目标文件;
18.将所述目标文件进行归档。
19.在本技术一种可能的实现方式中,在将所述增量数据转换为预设格式类型的文件,得到目标文件之后,所述方法还包括:
20.生成归档请求信息;
21.并将所述归档请求信息发送至用于进行归档作业的目标设备,以启动归档作业。
22.在本技术一种可能的实现方式中,所述方法还包括:
23.若要对新的数据库进行归档,则将该数据库的数据源信息添加到归档系统,其中,所述数据库的数据源信息包括所述数据库的ip、用户名、密码、表名以及数据库类型;
24.以及/或者若不需要再对某个数据库进行归档,则从归档系统删除该数据库的数据源信息。
25.在本技术一种可能的实现方式中,在将所述增量数据进行数据归档之后,所述方法还包括:
26.检测所述增量数据是否数据归档成功;
27.若检测所述增量数据进行数据归档失败,则分析导致归档失败的故障参数;
28.基于所述故障参数,生成故障解决策略,以调节所述故障参数;
29.重新将所述增量数据进行数据归档。
30.在本技术一种可能的实现方式中,所述方法还包括:
31.接收用户发送的数据查询请求;
32.响应于所述查询请求,从预设的存储系统获取与所述查询请求对应的查询数据;
33.将所述查询数据反馈至所述用户。
34.另一方面,本技术提供一种智能化数据归档装置,所述装置包括:
35.第一获取单元,用于获取信用卡系统中信用卡作业表的数据量预算参数;
36.第二获取单元,用于若所述数据量预算参数符合预设要求,则获取所述信用卡作业表的作业参数;
37.第一录入单元,用于将所述作业参数录入预设的作业配置表中,得到目标作业配置表;
38.第一扫描单元,用于定期扫描所述目标作业配置表中的作业配置数据,所述作业配置数据包括作业表的名称、归档时间区间、数据库的名称以及状态;
39.第一确定单元,用于基于所述作业配置数据,确定所述信用卡作业表对应的增量数据;
40.第一数据归档单元,用于将所述增量数据进行数据归档。
41.在本技术一种可能的实现方式中,所述第一确定单元,具体用于:
42.基于所述作业配置数据中的作业表的名称、数据库的名称,访问所述信用卡作业表;
43.获取符合归档时间区间的所述信用卡作业表对应的增量数据。
44.在本技术一种可能的实现方式中,所述第一数据归档单元,具体用于:
45.将所述增量数据转换为预设格式类型的文件,得到目标文件;
46.将所述目标文件进行归档。
47.在本技术一种可能的实现方式中,在将所述增量数据转换为预设格式类型的文件,得到目标文件之后,所述装置还用于:
48.生成归档请求信息;
49.并将所述归档请求信息发送至用于进行归档作业的目标设备,以启动归档作业。
50.在本技术一种可能的实现方式中,所述装置还用于:
51.若要对新的数据库进行归档,则将该数据库的数据源信息添加到归档系统,其中,所述数据库的数据源信息包括所述数据库的ip、用户名、密码、表名以及数据库类型;
52.以及/或者若不需要再对某个数据库进行归档,则从归档系统删除该数据库的数据源信息。
53.在本技术一种可能的实现方式中,在将所述增量数据进行数据归档之后,所述装置还用于:
54.检测所述增量数据是否数据归档成功;
55.若检测所述增量数据进行数据归档失败,则分析导致归档失败的故障参数;
56.基于所述故障参数,生成故障解决策略,以调节所述故障参数;
57.重新将所述增量数据进行数据归档。
58.在本技术一种可能的实现方式中,所述装置还包括:
59.接收用户发送的数据查询请求;
60.响应于所述查询请求,从预设的存储系统获取与所述查询请求对应的查询数据;
61.将所述查询数据反馈至所述用户。
62.另一方面,本技术还提供一种计算机设备,所述计算机设备包括:
63.一个或多个处理器;
64.存储器;以及
65.一个或多个应用程序,其中所述一个或多个应用程序被存储于所述存储器中,并配置为由所述处理器执行以实现所述的智能化数据归档方法。
66.另一方面,本技术还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行所述的智能化数据归档方法中的步骤。
67.本技术实施例通过获取信用卡系统中信用卡作业表的数据量预算参数;若所述数据量预算参数符合预设要求,则获取所述信用卡作业表的作业参数;将所述作业参数录入预设的作业配置表中,得到目标作业配置表;定期扫描所述目标作业配置表中的作业配置数据,所述作业配置数据包括作业表的名称、归档时间区间、数据库的名称以及状态;基于所述作业配置数据,确定所述信用卡作业表对应的增量数据;将所述增量数据进行数据归档。本技术实施例通过先对信用卡系统中信用卡作业表的数据量预算参数进行预测,然后,针对符合预设要求的信用卡作业表制作对应的目标作业配置表,并定期扫描所述目标作业配置表中的作业配置数据,以对信用卡作业表对应的增量数据斤进行数据归档,从而实现对信用卡系统中的表数据智能化数据归档,降低其表数据量,提升系统访问速度,同时减少数据备份的人工成本,提升数据归档的效率。
附图说明
68.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
69.图1是本技术实施例提供的智能化数据归档系统的场景示意图;
70.图2是本技术实施例中提供的智能化数据归档方法的一个实施例流程示意图;
71.图3是本技术实施例中提供的针对新的数据库是否归档进行处理的一个实施例流程示意图;
72.图4是本技术实施例中提供的针对归档失败后重新将增量数据进行数据归档的一个实施例流程示意图;
73.图5是本技术实施例中提供的响应用户查询请求的一个实施例流程示意图;
74.图6是本技术实施例中提供的智能化数据归档装置的一个实施例结构示意图;
75.图7是本技术实施例中提供的计算机设备的一个实施例结构示意图。
具体实施方式
76.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
77.在本技术的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本技术和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本技术的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本技术的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
78.在本技术中,“示例性”一词用来表示“用作例子、例证或说明”。本技术中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本技术,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本技术。在其它实例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本技术的描述变得晦涩。因此,本技术并非旨在限于所示的实施例,而是与符合本技术所公开的原理和特征的最广范围相一致。
79.本技术实施例提供一种智能化数据归档方法、装置、计算机设备及可读存储介质,以下分别进行详细说明。
80.如图1所示,图1是本技术实施例提供的智能化数据归档系统的场景示意图,该智能化数据归档系统可以包括计算机设备100,计算机设备100中集成有智能化数据归档装置,如图1中的计算机设备100。
81.本技术实施例中计算机设备100主要用于获取信用卡系统中信用卡作业表的数据量预算参数;若所述数据量预算参数符合预设要求,则获取所述信用卡作业表的作业参数;将所述作业参数录入预设的作业配置表中,得到目标作业配置表;定期扫描所述目标作业配置表中的作业配置数据,所述作业配置数据包括作业表的名称、归档时间区间、数据库的名称以及状态;基于所述作业配置数据,确定所述信用卡作业表对应的增量数据;将所述增
量数据进行数据归档。
82.本技术实施例中,该计算机设备100可以为终端或者服务器,当计算机设备100为服务器时,可以是是独立的服务器,也可以是服务器组成的服务器网络或服务器集群,例如,本技术实施例中所描述的计算机设备100,其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器以构建的云服务器。其中,云服务器由基于云计算(cloud computing)的大量计算机或网络服务器以构建。
83.可以理解的是,本技术实施例中计算机设备100为终端时,所使用的终端可以是既包括接收和发射硬件的设备,即具有能够在双向通信链路上,执行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。具体的计算机设备100具体可以是台式终端或移动终端,计算机设备100具体还可以是手机、平板电脑、笔记本电脑、医疗辅助仪器等中的一种。
84.本领域技术人员可以理解,图1中示出的应用环境,仅仅是与本技术方案一种应用场景,并不以构建对本技术方案应用场景的限定,其他的应用环境还可以包括比图1中所示更多或更少的计算机设备,例如图1中仅示出1个计算机设备,可以理解的,该智能化数据归档系统还可以包括一个或多个其他计算机设备,具体此处不作限定。
85.本领域技术人员可以理解,图1中示出的应用环境,仅仅是与本技术方案一种应用场景,并不以构建对本技术方案应用场景的限定,其他的应用环境还可以包括比图1中所示更多或更少的计算机设备,例如图1中仅示出1个计算机设备,可以理解的,该智能化数据归档系统还可以包括一个或多个其他计算机设备,具体此处不作限定。
86.另外,如图1所示,该智能化数据归档系统还可以包括存储器200,用于存储数据,如存储信用卡系统中信用卡作业表和智能化数据归档数据,例如智能化数据归档系统运行时的智能化数据归档数据。
87.需要说明的是,图1所示的智能化数据归档系统的场景示意图仅仅是一个示例,本技术实施例描述的智能化数据归档系统以及场景是为了更加清楚的说明本技术实施例的技术方案,并不构成对于本技术实施例提供的技术方案的限定,本领域普通技术人员可知,随着智能化数据归档系统的演变和新业务场景的出现,本技术实施例提供的技术方案对于类似的技术问题,同样适用。
88.接下来,介绍本技术实施例提供的智能化数据归档方法。
89.本申实施例智能化数据归档方法的实施例中以智能化数据归档装置作为执行主体,为了简化与便于描述,后续方法实施例中将省略该执行主体,该智能化数据归档装置应用于计算机设备,该方法包括:获取信用卡系统中信用卡作业表的数据量预算参数;若所述数据量预算参数符合预设要求,则获取所述信用卡作业表的作业参数;将所述作业参数录入预设的作业配置表中,得到目标作业配置表;定期扫描所述目标作业配置表中的作业配置数据,所述作业配置数据包括作业表的名称、归档时间区间、数据库的名称以及状态;基于所述作业配置数据,确定所述信用卡作业表对应的增量数据;将所述增量数据进行数据归档。
90.请参阅图2至图7,图2为本技术实施例中提供的智能化数据归档方法的一个实施例流程示意图,该智能化数据归档方法包括:
91.201、获取信用卡系统中信用卡作业表的数据量预算参数;
92.本技术实施例中信用卡作业表是在关系数据库中的数据库表,数据库表是一系列二维数组的集合,用来代表和储存数据对象之间的关系。它由纵向的列和横向的行组成;例如一个有关用户信息的名为user的表中,每个列包含的是所有用户的某个特定类型的信息,比如“姓氏”,而每行则包含了某个特定用户的所有信息:姓、名、消费记录等等。对于特定的数据库表,列的数目一般事先固定,各列之间可以由列名来识别。而行的数目可以随时、动态变化,每行通常都可以根据某个(或某几个)列中的数据来识别,称为候选键。
93.信用卡作业表的数据量预算参数是对信用卡作业表在未来的预设时间段内所产生的数据量进行预测的参数,需要说说明的是,信用卡作业表可以包括多种信用业务类型的作业表,该多种信用卡业务类型的作业表所产生的数据量之间存在很大差异。
94.202、若数据量预算参数符合预设要求,则获取信用卡作业表的作业参数;
95.本技术实施例中,该预设要求是数据量预算参数需要大于预设的阈值,即信用卡作业表的数据量预算值要超过一定量,才具有进行数据归档的需求。信用卡作业表的作业参数包括与信用卡作业表相关的一些信息,如作业表的名称(简称表名)、对应数据库的名称以及作业表的状态。
96.203、将作业参数录入预设的作业配置表中,得到目标作业配置表;
97.本技术实施例中,目标作业配置表除了包括信用卡作业表的作业参数,还可包括归档的时间范围,该归档的时间范围可定义按日、周、月或年时间归档。
98.204、定期扫描目标作业配置表中的作业配置数据,作业配置数据包括作业表的名称、归档时间区间、数据库的名称以及状态;
99.其中,定期扫描所述目标作业配置表中的作业配置数据,可以理解为,同时设计一个批量捞取目标作业配置表的作业配置数据的定时任务,例如,每半天或者日终时间扫描一次,可以把目标作业配置表中的作业配置数据提取出来。
100.205、基于作业配置数据,确定信用卡作业表对应的增量数据;
101.信用卡作业表对应的增量数据是对应的数据仓库中新增加的数据。
102.在本技术的一些实施例中,所述基于所述作业配置数据,确定所述信用卡作业表对应的增量数据,包括:基于所述作业配置数据中的作业表的名称、数据库的名称,访问所述信用卡作业表;获取符合归档时间区间的所述信用卡作业表对应的增量数据。其中,归档时间区间是需要进行归档的时间段,上文中提及到归档的时间范围可以定义按日、周、月或年时间归档,例如,假设按照日进行归档,那么在日终时间进行扫描时,则按照日进行归档的信用卡作业表即是符合归档时间区间的。
103.206、将增量数据进行数据归档。
104.在本技术的一些实施例中,所述将所述增量数据进行数据归档,包括:将所述增量数据转换为预设格式类型的文件,得到目标文件;将所述目标文件进行归档。具体的,该预设格式类型可以是json格式的文件形式。
105.本技术实施例通过获取信用卡系统中信用卡作业表的数据量预算参数;若所述数据量预算参数符合预设要求,则获取所述信用卡作业表的作业参数;将所述作业参数录入预设的作业配置表中,得到目标作业配置表;定期扫描所述目标作业配置表中的作业配置数据,所述作业配置数据包括作业表的名称、归档时间区间、数据库的名称以及状态;基于
所述作业配置数据,确定所述信用卡作业表对应的增量数据;将所述增量数据进行数据归档。本技术实施例通过先对信用卡系统中信用卡作业表的数据量预算参数进行预测,然后,针对符合预设要求的信用卡作业表制作对应的目标作业配置表,并定期扫描所述目标作业配置表中的作业配置数据,以对信用卡作业表对应的增量数据斤进行数据归档,从而实现对信用卡系统中的表数据智能化数据归档,降低其表数据量,提升系统访问速度,同时减少数据备份的人工成本,提升数据归档的效率。
106.在本技术的一些实施例中,在将所述增量数据转换为预设格式类型的文件,得到目标文件之后,所述方法还包括:生成归档请求信息;并将所述归档请求信息发送至用于进行归档作业的目标设备,以启动归档作业。
107.本技术实施例所公开的方案,通过生成归档请求信息;并将所述归档请求信息发送至用于进行归档作业的目标设备,以实现智能化归档作业,提高数据归档效率。
108.在本技术的一些实施例中,如图3所示,所述方法还包括:
109.301、若要对新的数据库进行归档,则将该数据库的数据源信息添加到归档系统;
110.其中,所述数据库的数据源信息包括所述数据库的ip、用户名、密码、表名以及数据库类型;
111.302、以及/或者若不需要再对某个数据库进行归档,则从归档系统删除该数据库的数据源信息。
112.本技术实施例公开的方案,通过针对新的数据库是否归档进行判断,若要对新的数据库进行归档,则将该数据库的数据源信息添加到归档系统,若不需要再对某个数据库进行归档,则从归档系统删除该数据库的数据源信息,可以方便地添加、删除需要归档的原数据库和目标数据库,使智能化数据归档系统可以提供通用的归档服务。
113.在本技术的一些实施例中,如图4所示,在将所述增量数据进行数据归档之后,所述方法还包括:
114.401、检测增量数据是否数据归档成功;
115.402、若检测增量数据进行数据归档失败,则分析导致归档失败的故障参数;
116.403、基于故障参数,生成故障解决策略,以调节所述故障参数;
117.在本技术的一些实施例中,基于所述故障参数,生成故障解决策略,以调节所述故障参数,可以通过对故障参数进行分析,并将故障参数与其正常参数进行比较,以生成故障解决策略,并采用该故障解决策略调节故障参数。
118.404、重新将增量数据进行数据归档。
119.本技术实施例所公开的方案,通过检测所述增量数据是否数据归档成功,然后针对归档失败的情况进行自动检修和重新归档,提高了归档的准确性,实现了智能化数据归档。
120.在本技术的一些实施例中,如图5所示,所述方法还包括:
121.501、接收用户发送的数据查询请求;
122.502、响应于查询请求,从预设的存储系统获取与查询请求对应的查询数据;
123.该预设的存储系统中包括有对应的数据库。
124.503、将查询数据反馈至所述用户。
125.本技术实施例所公开的方案,通过上述智能化归档方法,降低了系统中的数据量,
以提高对用户的数据查询请求的处理效率,提高用户访问速度。
126.为了更好实施本技术实施例中智能化数据归档方法,在智能化数据归档方法基础之上,本技术实施例中还提供一种智能化数据归档装置,如图6所示,所述智能化数据归档装置600包括:
127.第一获取单元601,用于获取信用卡系统中信用卡作业表的数据量预算参数;
128.第二获取单元602,用于若所述数据量预算参数符合预设要求,则获取所述信用卡作业表的作业参数;
129.第一录入单元603,用于将所述作业参数录入预设的作业配置表中,得到目标作业配置表;
130.第一扫描单元604,用于定期扫描所述目标作业配置表中的作业配置数据,所述作业配置数据包括作业表的名称、归档时间区间、数据库的名称以及状态;
131.第一确定单元605,用于基于所述作业配置数据,确定所述信用卡作业表对应的增量数据;
132.第一数据归档单元606,用于将所述增量数据进行数据归档。
133.在本技术的一些实施例中,所述第一确定单元605,具体用于:
134.基于所述作业配置数据中的作业表的名称、数据库的名称,访问所述信用卡作业表;
135.获取符合归档时间区间的所述信用卡作业表对应的增量数据。
136.在本技术的一些实施例中,所述第一数据归档单元606,具体用于:
137.将所述增量数据转换为预设格式类型的文件,得到目标文件;
138.将所述目标文件进行归档。
139.在本技术的一些实施例中,在将所述增量数据转换为预设格式类型的文件,得到目标文件之后,所述装置还用于:
140.生成归档请求信息;
141.并将所述归档请求信息发送至用于进行归档作业的目标设备,以启动归档作业。
142.在本技术的一些实施例中,所述装置还用于:
143.若要对新的数据库进行归档,则将该数据库的数据源信息添加到归档系统,其中,所述数据库的数据源信息包括所述数据库的ip、用户名、密码、表名以及数据库类型;
144.以及/或者若不需要再对某个数据库进行归档,则从归档系统删除该数据库的数据源信息。
145.在本技术的一些实施例中,在将所述增量数据进行数据归档之后,所述装置还用于:
146.检测所述增量数据是否数据归档成功;
147.若检测所述增量数据进行数据归档失败,则分析导致归档失败的故障参数;
148.基于所述故障参数,生成故障解决策略,以调节所述故障参数;
149.重新将所述增量数据进行数据归档。
150.在本技术的一些实施例中,所述装置还包括:
151.接收用户发送的数据查询请求;
152.响应于所述查询请求,从预设的存储系统获取与所述查询请求对应的查询数据;
153.将所述查询数据反馈至所述用户。
154.本技术实施例通过第一获取单元601,用于获取信用卡系统中信用卡作业表的数据量预算参数;第二获取单元602,用于若所述数据量预算参数符合预设要求,则获取所述信用卡作业表的作业参数;第一录入单元603,用于将所述作业参数录入预设的作业配置表中,得到目标作业配置表;第一扫描单元604,用于定期扫描所述目标作业配置表中的作业配置数据,所述作业配置数据包括作业表的名称、归档时间区间、数据库的名称以及状态;第一确定单元605,用于基于所述作业配置数据,确定所述信用卡作业表对应的增量数据;第一数据归档单元606,用于将所述增量数据进行数据归档。本技术实施例通过先对信用卡系统中信用卡作业表的数据量预算参数进行预测,然后,针对符合预设要求的信用卡作业表制作对应的目标作业配置表,并定期扫描所述目标作业配置表中的作业配置数据,以对信用卡作业表对应的增量数据斤进行数据归档,从而实现对信用卡系统中的表数据智能化数据归档,降低其表数据量,提升系统访问速度,同时减少数据备份的人工成本,提升数据归档的效率。
155.除了上述介绍用于智能化数据归档方法与装置之外,本技术实施例还提供一种计算机设备,其集成了本技术实施例所提供的任一种智能化数据归档装置,所述计算机设备包括:
156.一个或多个处理器;
157.存储器;以及
158.一个或多个应用程序,其中所述一个或多个应用程序被存储于所述存储器中,并配置为由所述处理器执行上述智能化数据归档方法实施例中任一实施例中所述的任一方法的操作。
159.本技术实施例还提供一种计算机设备,其集成了本技术实施例所提供的任一种智能化数据归档装置。如图7所示,其示出了本技术实施例所涉及的计算机设备的结构示意图,具体来讲:
160.该计算机设备可以包括一个或者一个以上处理核心的处理器701、一个或一个以上计算机可读存储介质的存储单元702、电源703和输入单元704等部件。本领域技术人员可以理解,图7中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
161.处理器701是该计算机设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储单元702内的软件程序和/或模块,以及调用存储在存储单元702的数据,执行计算机设备的各种功能和处理数据,从而对计算机设备进行整体监控。可选的,处理器701可包括一个或多个处理核心;优选的,处理器701可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器701中。
162.存储单元702可用于存储软件程序以及模块,处理器701通过运行存储在存储单元702的软件程序以及模块,从而执行各种功能应用以及数据处理。存储单元702可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所
创建的数据等。此外,存储单元702可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储单元702还可以包括存储器控制器,以提供处理器701对存储单元702的访问。
163.计算机设备还包括给各个部件供电的电源703,优选的,电源703可以通过电源管理系统与处理器701逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源703还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
164.该计算机设备还可包括输入单元704,该输入单元704可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
165.尽管未示出,计算机设备还可以包括显示单元等,在此不再赘述。具体在本技术实施例中,计算机设备中的处理器701会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储单元702中,并由处理器701来运行存储在存储单元702中的应用程序,从而实现各种功能,如下:
166.获取信用卡系统中信用卡作业表的数据量预算参数;若所述数据量预算参数符合预设要求,则获取所述信用卡作业表的作业参数;将所述作业参数录入预设的作业配置表中,得到目标作业配置表;定期扫描所述目标作业配置表中的作业配置数据,所述作业配置数据包括作业表的名称、归档时间区间、数据库的名称以及状态;基于所述作业配置数据,确定所述信用卡作业表对应的增量数据;将所述增量数据进行数据归档。
167.本技术实施例通过获取信用卡系统中信用卡作业表的数据量预算参数;若所述数据量预算参数符合预设要求,则获取所述信用卡作业表的作业参数;将所述作业参数录入预设的作业配置表中,得到目标作业配置表;定期扫描所述目标作业配置表中的作业配置数据,所述作业配置数据包括作业表的名称、归档时间区间、数据库的名称以及状态;基于所述作业配置数据,确定所述信用卡作业表对应的增量数据;将所述增量数据进行数据归档。本技术实施例通过先对信用卡系统中信用卡作业表的数据量预算参数进行预测,然后,针对符合预设要求的信用卡作业表制作对应的目标作业配置表,并定期扫描所述目标作业配置表中的作业配置数据,以对信用卡作业表对应的增量数据斤进行数据归档,从而实现对信用卡系统中的表数据智能化数据归档,降低其表数据量,提升系统访问速度,同时减少数据备份的人工成本,提升数据归档的效率。
168.为此,本技术实施例提供一种计算机可读存储介质,该计算机可读存储介质可以包括:只读存储器(rom,read only memory)、随机存取记忆体(ram,random access memory)、磁盘或光盘等。该计算机可读存储介质中存储有多条指令,该指令能够被处理器进行加载,以执行本技术实施例所提供的任一种智能化数据归档方法中的步骤。例如,该指令可以执行如下步骤:
169.获取信用卡系统中信用卡作业表的数据量预算参数;若所述数据量预算参数符合预设要求,则获取所述信用卡作业表的作业参数;将所述作业参数录入预设的作业配置表中,得到目标作业配置表;定期扫描所述目标作业配置表中的作业配置数据,所述作业配置数据包括作业表的名称、归档时间区间、数据库的名称以及状态;基于所述作业配置数据,确定所述信用卡作业表对应的增量数据;将所述增量数据进行数据归档。
170.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
171.以上对本技术实施例所提供的一种智能化数据归档方法、装置、计算机设备及可读存储介质进行了详细介绍,本文中应用了具体个例对本技术的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本技术的方法及其核心思想;同时,对于本领域的技术人员,依据本技术的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本技术的限制。

技术特征:
1.一种智能化数据归档方法,其特征在于,所述方法包括:获取信用卡系统中信用卡作业表的数据量预算参数;若所述数据量预算参数符合预设要求,则获取所述信用卡作业表的作业参数;将所述作业参数录入预设的作业配置表中,得到目标作业配置表;定期扫描所述目标作业配置表中的作业配置数据,所述作业配置数据包括作业表的名称、归档时间区间、数据库的名称以及状态;基于所述作业配置数据,确定所述信用卡作业表对应的增量数据;将所述增量数据进行数据归档。2.根据权利要求1所述的智能化数据归档方法,其特征在于,所述基于所述作业配置数据,确定所述信用卡作业表对应的增量数据,包括:基于所述作业配置数据中的作业表的名称、数据库的名称,访问所述信用卡作业表;获取符合归档时间区间的所述信用卡作业表对应的增量数据。3.根据权利要求1所述的智能化数据归档方法,其特征在于,所述将所述增量数据进行数据归档,包括:将所述增量数据转换为预设格式类型的文件,得到目标文件;将所述目标文件进行归档。4.根据权利要求3所述的智能化数据归档方法,其特征在于,在将所述增量数据转换为预设格式类型的文件,得到目标文件之后,所述方法还包括:生成归档请求信息;并将所述归档请求信息发送至用于进行归档作业的目标设备,以启动归档作业。5.根据权利要求1所述的智能化数据归档方法,其特征在于,所述方法还包括:若要对新的数据库进行归档,则将该数据库的数据源信息添加到归档系统,其中,所述数据库的数据源信息包括所述数据库的ip、用户名、密码、表名以及数据库类型;以及/或者若不需要再对某个数据库进行归档,则从归档系统删除该数据库的数据源信息。6.根据权利要求1所述的智能化数据归档方法,其特征在于,在将所述增量数据进行数据归档之后,所述方法还包括:检测所述增量数据是否数据归档成功;若检测所述增量数据进行数据归档失败,则分析导致归档失败的故障参数;基于所述故障参数,生成故障解决策略,以调节所述故障参数;重新将所述增量数据进行数据归档。7.根据权利要求1所述的智能化数据归档方法,其特征在于,所述方法还包括:接收用户发送的数据查询请求;响应于所述查询请求,从预设的存储系统获取与所述查询请求对应的查询数据;将所述查询数据反馈至所述用户。8.一种智能化数据归档装置,其特征在于,所述装置包括:第一获取单元,用于获取信用卡系统中信用卡作业表的数据量预算参数;第二获取单元,用于若所述数据量预算参数符合预设要求,则获取所述信用卡作业表的作业参数;
第一录入单元,用于将所述作业参数录入预设的作业配置表中,得到目标作业配置表;第一扫描单元,用于定期扫描所述目标作业配置表中的作业配置数据,所述作业配置数据包括作业表的名称、归档时间区间、数据库的名称以及状态;第一确定单元,用于基于所述作业配置数据,确定所述信用卡作业表对应的增量数据;第一数据归档单元,用于将所述增量数据进行数据归档。9.一种计算机设备,其特征在于,所述计算机设备包括:一个或多个处理器;存储器;以及一个或多个应用程序,其中所述一个或多个应用程序被存储于所述存储器中,并配置为由所述处理器执行以实现权利要求1至7中任一项所述的智能化数据归档方法。10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行权利要求1至7任一项所述的智能化数据归档方法中的步骤。

技术总结
本申请提供一种智能化数据归档方法、装置、计算机设备及可读存储介质,该方法包括获取信用卡系统中信用卡作业表的数据量预算参数;若所述数据量预算参数符合预设要求,则获取所述信用卡作业表的作业参数;将所述作业参数录入预设的作业配置表中,得到目标作业配置表;定期扫描所述目标作业配置表中的作业配置数据,所述作业配置数据包括作业表的名称、归档时间区间、数据库的名称以及状态;基于所述作业配置数据,确定所述信用卡作业表对应的增量数据;将所述增量数据进行数据归档。本申请实施例实现对信用卡系统中的表数据智能化数据归档,降低其表数据量,提升系统访问速度,同时减少数据备份的人工成本,提升数据归档的效率。率。率。


技术研发人员:易旺
受保护的技术使用者:平安银行股份有限公司
技术研发日:2022.07.22
技术公布日:2022/11/1
转载请注明原文地址: https://tieba.8miu.com/read-262.html

最新回复(0)