1.本技术涉及数据资产管理的技术领域,尤其是涉及一种分布式数据资产目录汇聚方法及系统。
背景技术:2.目前,大型企业通常有多层次组织体系,一般体现为中心平台和多个边侧平台,在中心平台和边侧平台均建立了各种信息系统,沉淀了大量数据资产。
3.为了便于对这些数据资产进行管理,各个边侧平台均配置有本地数据目录,并已经进行了边侧平台的数据资产挂接,也即元数据挂接。
4.但由于边侧平台众多,导致本地数据目录众多,在需要了解边侧平台的数据资产时,需要逐个调用每个数据目录进行查看,不利于中心平台管理所有边侧平台的数据资产,同时,若边侧平台的元数据存在误差,更会加重整个集团的数据目录管理负担。
技术实现要素:5.为了便于中心平台管理边侧平台的数据目录,提高集团内部数据资产的管理效率,本技术提供一种分布式数据资产目录汇聚方法及系统。
6.第一方面,本技术提供一种分布式数据资产目录汇聚方法,采用如下的技术方案:一种分布式数据资产目录汇聚方法,包括以下步骤:当所有边侧平台配置有统一的本地数据目录时,基于中心平台拉取所述边侧平台的本地数据目录,所述本地数据目录包括目录节点以及与所述目录节点对应挂接的元数据;对所述元数据进行稽核,得到稽核结果;基于所述稽核结果对所述本地数据目录进行维护确认,获取目标版本的实际目录;基于所述目标版本的实际目录得到跨域数据资产目录。
7.通过采用上述技术方案,边侧平台只需要将本地的元数据与本地数据目录中的目录节点挂接好,中心平台即可拉取所有边侧平台的本地数据目录,获取到各个边侧平台的目录节点以及挂接的元数据,比较方便;对边侧平台的元数据进行稽核,确定边侧平台的元数据是否准确有效,根据稽核通过的元数据对本地数据目录进行维护确认,能够保证目标版本的实际目录中的所有元数据是准确有效的;通过目标版本的实际目录可以在中心平台处得到整合了所有边侧平台的本地数据目录的跨域数据资产目录,便于中心平台对边侧平台的数据资产进行统一管理,进一步提高了企业数据资产的管理效率。
8.可选的,所述基于中心平台拉取所述边侧平台的本地数据目录包括以下步骤:基于中心平台获取汇聚参数;基于所述汇聚参数以及预设的协同机制拉取所述目录节点以及与所述目录节点对应挂接的元数据;
所述汇聚参数包括汇聚周期参数、汇聚模式参数、汇聚测试参数以及失败重试参数。
9.通过采用上述技术方案,保证了中心平台拉取边侧平台的本地数据目录过程的规范性。
10.可选的,所述基于所述汇聚参数以及预设的协同机制拉取所述目录节点以及与所述目录节点对应挂接的元数据之后,还包括以下步骤:将所述元数据保存至数据缓冲区;将所述元数据标注为待稽核状态。
11.通过采用上述技术方案,便于识别和筛选未进行稽核的元数据。
12.可选的,所述对所述元数据进行稽核,得到稽核结果包括以下步骤:对处于待稽核状态的所述元数据进行稽核并分类;获取第一元数据,所述第一元数据为稽核通过的元数据,将所述第一元数据标注为稽核通过状态;获取第二元数据,所述第二元数据为稽核未通过的元数据,将所述第二元数据标注为稽核未通过状态。
13.通过采用上述技术方案,便于区分稽核未通过和稽核通过的数据。
14.可选的,所述基于所述稽核结果对所述本地数据目录进行维护确认,获取目标版本的实际目录包括以下步骤:基于所述第一元数据对所述本地数据目录进行维护确认,得到维护结果;基于所述维护结果得到第一版本的实际目录。
15.通过采用上述技术方案,筛选掉稽核未通过的元数据,能够保证第一版本的实际目录中的元数据都是准确有效的。
16.可选的,所述基于所述稽核结果对所述本地数据目录进行维护确认,获取目标版本的实际目录还包括以下步骤:对所述第二元数据进行修改,得到稽核通过的第三元数据,并将第三元数据标注为稽核通过状态;基于所述第一元数据与所述第三元数据对所述第一版本的实际目录进行更新,得到第二版本的实际目录。
17.通过采用上述技术方案,针对稽核未通过的元数据进行编辑修改,以获取实际目录的更新版本。
18.可选的,所述得到第一版本的实际目录之后,还包括以下步骤:对所述第一元数据进行修改,得到稽核通过的第四元数据;基于所述第四元数据对所述第一版本的实际目录进行更新,得到第三版本的实际目录。
19.通过采用上述技术方案,可以根据需求修改任意的元数据,以形成实际目录的更新版本,便于获取目标版本的实际目录。
20.可选的,所述基于所述目标版本的实际目录得到跨域数据资产目录包括以下步骤:发布目标版本的实际目录,将所述目标版本的实际目录作为跨域数据资产目录;
将所述目标版本的实际目录对应挂接的元数据拷贝至数据访问区,以供访问浏览和获取。
21.通过采用上述技术方案,使得跨域数据资产目录对应的元数据为准确有效的,同时便于用户访问浏览和获取。
22.第二方面,本技术还提供一种分布式数据资产目录汇聚系统,采用如下的技术方案:一种分布式数据资产目录汇聚系统,包括:拉取模块,所述拉取模块用于当所有边侧平台配置有统一的数据目录时,基于中心平台拉取所述边侧平台的本地数据目录,所述本地数据目录包括原始目录以及与所述原始目录对应挂接的元数据;稽核模块,所述稽核模块用于对所述元数据进行稽核,得到稽核结果;维护模块,所述维护模块用于基于所述稽核结果对所述原始目录进行维护确认,获取目标版本的实际目录;输出模块,所述输出模块用于基于所述目标版本的实际目录得到跨域数据资产目录。
23.通过采用上述技术方案,边侧平台只需要将本地的元数据与本地数据目录中的目录节点挂接好,中心平台即可通过拉取模块拉取所有边侧平台的本地数据目录,并获取到各个边侧平台的目录节点以及挂接的元数据,比较方便;稽核模块对边侧平台的元数据进行稽核,确定边侧平台的元数据是否准确有效,维护模块根据稽核通过的元数据对本地数据目录进行维护确认,能够保证目标版本的实际目录中的所有元数据是准确有效的;输出模块通过目标版本的实际目录在中心平台处输出整合了所有边侧平台的本地数据目录的跨域数据资产目录,便于中心平台对边侧平台的数据资产进行统一管理,进一步提高了企业数据资产的管理效率。
24.第三方面,本技术提供一种计算机可读存储介质,采用如下的技术方案:一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器加载并执行时,采用了上述的一种分布式数据资产目录汇聚方法。
25.通过采用上述技术方案,通过将上述的一种分布式数据资产目录汇聚方法生成计算机程序,并存储于计算机可读存储介质中,以被处理器加载并执行,通过计算机可读存储介质,方便计算机程序的可读及存储。
附图说明
26.图1是本技术实施例一种分布式数据资产目录汇聚方法的整体流程示意图。
27.图2是本技术实施例一种分布式数据资产目录汇聚方法中步骤s201-步骤s202的流程示意图。
28.图3是本技术实施例一种分布式数据资产目录汇聚方法中步骤s301-步骤s302的流程示意图。
29.图4是本技术实施例一种分布式数据资产目录汇聚方法中步骤s401-步骤s403的流程示意图。
30.图5是本技术实施例一种分布式数据资产目录汇聚方法中步骤s501-步骤s502的
流程示意图。
31.图6是本技术实施例一种分布式数据资产目录汇聚方法中步骤s601-步骤s602的流程示意图。
32.图7是本技术实施例一种分布式数据资产目录汇聚方法中步骤s701-步骤s702的流程示意图。
33.图8是本技术实施例一种分布式数据资产目录汇聚方法中步骤s801-步骤s802的流程示意图。
具体实施方式
34.以下结合附图对本技术作进一步详细说明。
35.本技术实施例公开一种分布式数据资产目录汇聚方法,参照图1,包括以下步骤:s101、当所有边侧平台配置有统一的本地数据目录时,基于中心平台拉取边侧平台的本地数据目录,本地数据目录包括目录节点以及与目录节点对应挂接的元数据;s102、对元数据进行稽核,得到稽核结果;s103、基于稽核结果对原始目录进行维护确认,获取目标版本的实际目录;s104、基于目标版本的实际目录得到跨域数据资产目录。
36.对边侧平台的本地数据目录进行汇聚,形成中心平台侧的整体跨域数据资产目录,首要前提是所有边侧平台都需要配置统一的本地数据目录。当所有边侧平台均配置有统一的本地数据目录时,中心平台侧的目录汇聚调度通过预设的协同机制从边侧平台拉取本地数据目录,在本实施例中,本地数据目录包括目录节点以及与目录节点对应挂接的元数据,目录节点表示边侧平台的基本目录架构,元数据是指与目录节点挂接的目录实例,也即原始的数据资产。
37.中心平台在拉取边侧平台的本地数据目录之后,需要对元数据的准确性以及真实性进行稽核,并基于稽核通过的元数据来对获取的本地数据目录进行确认,形成目标版本的实际目录,在此实际目录中,展示的所有元数据都是准确有效的,将此实际目录进行公布,并作为跨域数据资产目录,以供用户查询浏览。同时,在跨域数据资产管理目录中,至少应当体现所有边侧平台,即目录中包括各个边侧平台节点,每个边侧平台节点下体现的是该边侧节点名下的数据资产。
38.s101,通过中心平台拉取边侧平台的本地数据目录,参照图2,具体包括以下步骤:s201、基于中心平台获取汇聚参数;s202、基于汇聚参数以及预设的协同机制拉取目录节点以及与目录节点对应挂接的元数据。
39.在中心平台侧进行目录汇聚设置,并配置汇聚参数,在本实施例中,汇聚参数包括汇聚周期参数、汇聚模式参数、汇聚测试参数以及失败重试参数等,其中,汇聚周期参数用于确定中心平台拉取本地数据目录的间隔周期;汇聚模式参数用于确定中心平台拉取的具体模式;汇聚测试参数用于对汇聚途径进行测试,得到是否拉取成功的反馈信息;失败重试参数用于在中心平台拉取某个边侧平台的本地数据目录失败时,触发中心平台的重试机制,再次拉取边侧平台的本地数据目录。另外,本实施例中,预设的协同机制可以是企业内网,规定了中心平台与边侧平台进行通讯的通讯模式以及通讯协议,通过该协同机制,可以
使得中心平台与边侧平台进行较为保密、安全的通讯。
40.具体地,在中心平台拉取失败时,中心平台会接收到拉取失败的反馈信息,也即失败重试参数,中心平台基于反馈信息自动尝试再次拉取边侧平台的本地数据目录。若再次拉取仍然失败,则发出报警信息,提示中心平台侧的工作人员,检查故障,并以手动方式进行拉取,直至拉取成功。
41.在中心平台拉取边侧平台的本地数据目录之后,参照图3,还包括以下步骤:s301、将元数据保存至数据缓冲区;s302、将元数据标注为待稽核状态。
42.中心平台拉取的元数据需要进行稽核,确定元数据的真实性、完整性以及准确性,因此,在拉取元数据之后,将元数据保存在数据缓冲区,数据缓冲区的作用是保存所有元数据,方便后续查询和修改。同时,将新拉取的元数据在数据缓冲区内标注为待稽核状态,从而便于识别和筛选未进行稽核的元数据。
43.s102,在获取到元数据之后,对元数据进行稽核,得到稽核结果,参照图4,具体包括以下步骤:s401、对处于待稽核状态的元数据进行稽核并分类;s402、获取第一元数据,第一元数据为稽核通过的元数据,将第一元数据标注为稽核通过状态;s403、获取第二元数据,第二元数据为稽核未通过的元数据,将第二元数据标注为稽核未通过状态。
44.在本实施例中,元数据的稽核可以通过人工审核来进行,具体可以是中心平台侧的管理人员来进行,也可以是边侧平台的管理人员来进行,无论是中心平台管理员还是边侧平台管理员,都需要与对方及时沟通,保证元数据稽核的准确性。
45.在稽核完成后,将稽核通过的元数据作为第一元数据,并标注为稽核通过,将稽核未通过的元数据作为第二元数据,并标注为稽核未通过。这样做的目的是为了将稽核通过和稽核未通过的数据区分开,只有稽核通过的元数据才能保留在最终形成的数据资产目录中。
46.s103,根据元数据的稽核结果来对本地数据目录进行确认,从而得到目标版本的实际目录,实际目录可以根据编辑或者修改需求生成多种版本,参照图5,具体包括以下步骤:s501、基于第一元数据对本地数据目录进行维护确认,得到维护结果;s502、基于维护结果得到第一版本的实际目录。
47.由上述可知,第一元数据为稽核通过的元数据,获取与第一元数据对应的目录节点,根据第一元数据对本地数据目录进行维护确认,确保第一元数据与对应的目录节点挂接无误,形成第一版本的实际目录,在第一版本的实际目录中,展示的是所有稽核通过的元数据以及元数据所挂接的目录节点。
48.当然,根据需要,可以将第一版本的实际目录作为最终的跨域数据资产目录,也可以在数据缓冲区内对第二元数据进行编辑修改,使其同样满足稽核要求,继而对第一版本的实际目录进行更新,参照图6,具体包括以下步骤:s601、对第二元数据进行修改,得到稽核通过的第三元数据,并将第三元数据标注
为稽核通过状态;s602、基于第一元数据与第三元数据对第一版本的实际目录进行更新,得到第二版本的实际目录。
49.具体地,通过中心平台和边侧平台的管理人员进行确认和补充,对第二元数据进行编辑修改,得到稽核通过的第三元数据,并将第三元数据标注为稽核通过状态,此时可以将第三元数据以及与第三元数据对应的目录节点添加进行第一版本的实际目录中,对第一版本的实际目录进行更新、维护和确认,得到第二版本的实际目录。若第一版本的实际目录已经发布,则第二版本的实际目录为待发布状态,如需要发布第二版本的实际目录,则可以将第二版本的实际目录作为新版本进行发布,覆盖掉第一版本的实际目录,也即实际目录不同版本的更新迭代。
50.当然,也可以对已经稽核通过的第一元数据进行编辑和修改,参照图7,对第一元数据进行编辑修改后,具体包括以下步骤:s701、对第一元数据进行修改,得到稽核通过的第四元数据;s702、基于第四元数据对第一版本的实际目录进行更新,得到第三版本的实际目录。
51.在实际使用时,可能需要对第一元数据进行再次编辑和修改,当对第一元数据进行修改,得到稽核通过的第四元数据后,可以根据第四元数据对第一版本的实际目录进行更新,将第四元数据替换掉原第一元数据,从而实现元数据的更新迭代。之后将第四元数据以及与第四元数据对应的目录节点进行维护和确认,生成第三版本的实际目录。
52.在本实施例中,还可以存在其他任何更新后的版本,例如对第一元数据或者第三元数据的编辑修改,这样做的目的是方便后续对元数据的变化或者目录节点的变化及时作出反应,能够生成目标版本的实际目录,此处的目标版本可以理解为所需要的最新版本的实际目录。
53.s104,在获取到目标版本的实际目录后,将目标版本的实际目录作为跨域数据资产目录,参照图8,具体包括:s801、发布目标版本的实际目录,将目标版本的实际目录作为跨域数据资产目录;s802、将目标版本的实际目录对应挂接的目标元数据拷贝至数据访问区,以供访问浏览和获取。
54.若已经获取到目标版本的实际目录,即最新版本的实际目录,则将目标版本的实际目录进行发布,并将其作为向用户展示使用的跨域数据资产目录。另外,获取到已经发布的实际目录中所有目录节点所关联的元数据,在数据缓冲区内修改标注为已发布状态,并拷贝至跨域数据资产目录对应的数据访问区,以供用户查询、浏览和获取。
55.对于中心平台新拉取的本地数据目录中的新元数据,同样保存在数据缓冲区内,并标注为未稽核状态,等待需要发布新版本的时候进行稽核、编辑或修改等操作,具体步骤与上述类似,故在此不再赘述。
56.本技术实施例一种分布式数据资产目录汇聚方法的实施原理为:边侧平台只需要将本地的元数据与本地数据目录中的目录节点挂接好,中心平台即可拉取所有边侧平台的本地数据目录,获取到各个边侧平台的目录节点以及挂接的元数据,比较方便;对边侧平台的元数据进行稽核,确定边侧平台的元数据是否准确有效,根据稽核通过的元数据对本地
数据目录进行维护确认,能够保证目标版本的实际目录中的所有元数据是准确有效的;通过目标版本的实际目录可以在中心平台处得到整合了所有边侧平台的本地数据目录的跨域数据资产目录,便于中心平台对边侧平台的数据资产进行统一管理,进一步提高了企业数据资产的管理效率。
57.本技术实施例还公开一种分布式数据资产目录汇聚系统,该系统在执行程序时,采用了上述的分布式数据资产目录汇聚方法,具体包括:拉取模块,用于当所有边侧平台配置有统一的数据目录时,基于中心平台拉取边侧平台的本地数据目录,本地数据目录包括原始目录以及与原始目录对应挂接的元数据;稽核模块,用于对元数据进行稽核,得到稽核结果;维护模块,用于基于稽核结果对原始目录进行维护确认,获取目标版本的实际目录;输出模块,用于基于目标版本的实际目录得到跨域数据资产目录。
58.本技术实施例一种分布式数据资产目录汇聚系统的实施原理为:边侧平台只需要将本地的元数据与本地数据目录中的目录节点挂接好,中心平台即可通过拉取模块拉取所有边侧平台的本地数据目录,并获取到各个边侧平台的目录节点以及挂接的元数据,比较方便;稽核模块对边侧平台的元数据进行稽核,确定边侧平台的元数据是否准确有效,维护模块根据稽核通过的元数据对本地数据目录进行维护确认,能够保证目标版本的实际目录中的所有元数据是准确有效的;输出模块通过目标版本的实际目录在中心平台处输出整合了所有边侧平台的本地数据目录的跨域数据资产目录,便于中心平台对边侧平台的数据资产进行统一管理,进一步提高了企业数据资产的管理效率。
59.本技术实施例还公开一种计算机可读存储介质,并且,计算机可读存储介质存储有计算机程序,其中,计算机程序被处理器执行时,采用了上述实施例中的一种分布式数据资产目录汇聚方法。
60.其中,计算机程序可以存储于计算机可读介质中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间件形式等,计算机可读介质包括能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom)、随机存取存储器(ram)、电载波信号、电信信号以及软件分发介质等,需要说明的是,计算机可读介质包括但不限于上述元器件。
61.其中,通过本计算机可读存储介质,将上述实施例中的一种分布式数据资产目录汇聚方法存储于计算机可读存储介质中,并且,被加载并执行于处理器上,以方便上述方法的存储及应用。
62.以上均为本技术的较佳实施例,并非依此限制本技术的保护范围,故:凡依本技术的结构、形状、原理所做的等效变化,均应涵盖于本技术的保护范围之内。
技术特征:1.一种分布式数据资产目录汇聚方法,其特征在于,包括以下步骤:当所有边侧平台配置有统一的本地数据目录时,基于中心平台拉取所述边侧平台的本地数据目录,所述本地数据目录包括目录节点以及与所述目录节点对应挂接的元数据;对所述元数据进行稽核,得到稽核结果;基于所述稽核结果对所述本地数据目录进行维护确认,获取目标版本的实际目录;基于所述目标版本的实际目录得到跨域数据资产目录。2.根据权利要求1所述的一种分布式数据资产目录汇聚方法,其特征在于,所述基于中心平台拉取所述边侧平台的本地数据目录包括以下步骤:基于中心平台获取汇聚参数;基于所述汇聚参数以及预设的协同机制拉取所述目录节点以及与所述目录节点对应挂接的元数据;所述汇聚参数包括汇聚周期参数、汇聚模式参数、汇聚测试参数以及失败重试参数。3.根据权利要求2所述的一种分布式数据资产目录汇聚方法,其特征在于,所述基于所述汇聚参数以及预设的协同机制拉取所述目录节点以及与所述目录节点对应挂接的元数据之后,还包括以下步骤:将所述元数据保存至数据缓冲区;将所述元数据标注为待稽核状态。4.根据权利要求3所述的一种分布式数据资产目录汇聚方法,其特征在于,所述对所述元数据进行稽核,得到稽核结果包括以下步骤:对处于待稽核状态的所述元数据进行稽核并分类;获取第一元数据,所述第一元数据为稽核通过的元数据,将所述第一元数据标注为稽核通过状态;获取第二元数据,所述第二元数据为稽核未通过的元数据,将所述第二元数据标注为稽核未通过状态。5.根据权利要求4所述的一种分布式数据资产目录汇聚方法,其特征在于,所述基于所述稽核结果对所述本地数据目录进行维护确认,获取目标版本的实际目录包括以下步骤:基于所述第一元数据对所述本地数据目录进行维护确认,得到维护结果;基于所述维护结果得到第一版本的实际目录。6.根据权利要求5所述的一种分布式数据资产目录汇聚方法,其特征在于,所述基于所述稽核结果对所述本地数据目录进行维护确认,获取目标版本的实际目录还包括以下步骤:对所述第二元数据进行修改,得到稽核通过的第三元数据,并将第三元数据标注为稽核通过状态;基于所述第一元数据与所述第三元数据对所述第一版本的实际目录进行更新,得到第二版本的实际目录。7.根据权利要求5所述的一种分布式数据资产目录汇聚方法,其特征在于,所述得到第一版本的实际目录之后,还包括以下步骤:对所述第一元数据进行修改,得到稽核通过的第四元数据;基于所述第四元数据对所述第一版本的实际目录进行更新,得到第三版本的实际目
录。8.根据权利要求1所述的一种分布式数据资产目录汇聚方法,其特征在于,所述基于所述目标版本的实际目录得到跨域数据资产目录包括以下步骤:发布目标版本的实际目录,将所述目标版本的实际目录作为跨域数据资产目录;将所述目标版本的实际目录对应挂接的元数据拷贝至数据访问区,以供访问浏览和获取。9.一种分布式数据资产目录汇聚系统,其特征在于,包括:拉取模块,所述拉取模块用于当所有边侧平台配置有统一的数据目录时,基于中心平台拉取所述边侧平台的本地数据目录,所述本地数据目录包括原始目录以及与所述原始目录对应挂接的元数据;稽核模块,所述稽核模块用于对所述元数据进行稽核,得到稽核结果;维护模块,所述维护模块用于基于所述稽核结果对所述原始目录进行维护确认,获取目标版本的实际目录;输出模块,所述输出模块用于基于所述目标版本的实际目录得到跨域数据资产目录。10.一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其特征在于,所述计算机程序被处理器加载并执行时,采用了权利要求1-8中任一项所述的方法。
技术总结本申请涉及一种分布式数据资产目录汇聚方法及系统,属于数据资产管理的技术领域,其方法包括以下步骤:当所有边侧平台配置有统一的本地数据目录时,基于中心平台拉取所述边侧平台的本地数据目录,所述本地数据目录包括目录节点以及与所述目录节点对应挂接的元数据(此文中元数据即为数据资产);对所述元数据进行稽核,得到稽核结果;基于所述稽核结果对所述本地数据目录进行维护确认,获取目标版本的实际目录;基于所述目标版本的实际目录得到跨域数据资产目录。本申请具有便于中心平台管理边侧平台的数据目录,提高集团内部数据资产管理效率的效果。理效率的效果。理效率的效果。
技术研发人员:周志荣 马禹
受保护的技术使用者:北京东华博泰科技有限公司
技术研发日:2022.07.18
技术公布日:2022/11/1