1.本发明属于资产盘点技术领域，具体涉及一种数据资产盘点方法。
背景技术：2.目前，公司在运业务系统繁多，但数据管理工作尚处于起步探索阶段，存在数据家底不清、数据质量不高、共享使用困难、应用价值不显著等问题，数据治理体系和技术支撑保障尚未建立，一定程度制约了公司数据价值的利用。
技术实现要素：3.本发明的目的在于提供一种数据资产盘点方法，以解决现有的公司在运业务系统繁多，一定程度上制约了公司数据价值利用的问题。
4.为实现上述目的，本发明提供如下技术方案：一种数据资产盘点方法，包括对源端系统的数据资产进行盘点：按照系统级、表级和字段级进行盘点，通过梳理数据库表和字段的描述信息，对于缺少的数据库表和字段信息，补充其准确的描述信息，形成数据资源目录；
5.对接入到数据中台各层的元数据进行盘点：按照业务系统或者资产目录进行分类管理，所述数据中台各层包括贴源层、近源层、共享层和分析层。
6.作为本发明一种数据资产盘点方法优选地，所述的对源端系统的数据资产进行盘点包括：
7.获取所述源端系统的数据库表结构，梳理数据库表和字段的准确描述信息；
8.对具备包括临时表、备份表、日志表和系统表的特征表进行粗筛，形成初级数据库表目录清单；
9.经确认后，形成二级数据库表目录清单；
10.对所述二级数据库表目录清单中包括核心业务数据表缺失字段描述的信息进行补齐；
11.核查缺失信息补充情况，形成数据资源盘点清单；
12.录入或导入所述数据资源盘点清单，进行归档管理。
13.作为本发明一种数据资产盘点方法优选地，所述的对源端系统的数据资产进行盘点还包括：
14.梳理数据资源目录与有效业务表对应关系，将所述有效业务表挂接至所述数据资源目录的末级目录，形成系统数据资产目录清单；
15.当无法挂接时，增加数据资源目录，将无法挂接的数据资源挂接到对应的数据资源目录上；
16.将所述系统数据资产目录清单维护至系统纳管。
17.作为本发明一种数据资产盘点方法优选地，所述的对源端系统的数据资产进行盘点还包括：
18.梳理系统数据共享情况，形成系统数据共享负面清单，所述共享情况包括表和字段级程度的共享、有条件共享和不予共享；
19.将所述系统数据共享负面清单维护至系统纳管。
20.作为本发明一种数据资产盘点方法优选地，所述的对源端系统的数据资产进行盘点还包括：
21.梳理系统接口信息，形成系统接口清单；
22.审核确认梳理结果，并将所述系统接口清单维护至系统纳管。
23.作为本发明一种数据资产盘点方法优选地，所述共享层的元数据按照模型主题域进行分类管理。
24.作为本发明一种数据资产盘点方法优选地，所述分析层的元数据，按照业务场景进行分类管理。
25.作为本发明一种数据资产盘点方法优选地，将所述数据资源盘点清单以及系统数据共享负面清单上传至云端。
26.作为本发明一种数据资产盘点方法优选地，对所述数据资源盘点清单以及系统数据共享负面清单进行质检，对质检员身份设定校验机制，记录质检人员登入次数、下载次数、修改内容。
27.作为本发明一种数据资产盘点方法优选地，设置数据质量稽查规则，形成数据治理问题库；
28.通过将问题库中的规则配置应用到相应表和字段，使校验规则生效。
29.作为本发明一种数据资产盘点方法优选地，自动分析数据中台近源层到共享层的落模脚本，实现数据血缘关系的自动获取。
30.作为本发明一种数据资产盘点方法优选地，通过线上手动维护或导入数据实现溯源成果归集。
31.本发明与现有技术相比，具有以下有益效果：本发明通过资产盘点摸清各层数据及血缘关系，便于掌握数据资产现状，消除数据重复存储，有效提升数据中台的数据质量及价值，有效支撑“数据一个源”的落地，为辅助数据管理制度的落地提供有力的支撑手段。
附图说明
32.图1为本发明的流程图；
33.图2为本发明的其中一个实施例的流程图；
34.图3为本发明的又一个实施例的流程图；
35.图4为本发明的另一个实施例的流程图；
36.图5为本发明的再一个实施例的流程图。
具体实施方式
37.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.请参阅图1所示，图1为本发明的流程图，本发明提供如下技术方案：一种数据资产盘点方法，包括s100对源端系统的数据资产进行盘点：按照系统级、表级和字段级进行盘点，通过梳理数据库表和字段的描述信息，对于缺少的数据库表和字段信息，补充其准确的描述信息，形成数据资源目录；
39.s200对接入到数据中台各层的元数据进行盘点：按照业务系统或者资产目录进行分类管理，所述数据中台各层包括贴源层、近源层、共享层和分析层。
40.本实施例中，按照系统级、表级和字段级三级进行盘点，通过梳理数据库表和字段的描述信息，对于缺少的数据库表和字段信息，补充其准确的描述信息，形成专业数据资源目录，针对已接入到数据中台各层的元数据进行数据盘点，主要涉及贴源层、近源层、共享层、分析层，按照业务系统或者资产目录进行分类管理；其中共享层元数据，按照模型主题域进行分类管理；分析层元数据，按照业务场景进行分类管理。
41.数据资产管理的切入点是对数据家当进行盘点，主要包含46套源端系统及数据中台各层数据资产，形成数据资产目录，为业务应用和数据共享应用夯实基础；通过对数据盘点成果进行质量校核，加强从源头发现盘点出的数据质量问题，提升盘点成果的质量，通过资产盘点摸清各层数据及血缘关系，为后期数据共享提供依据，持续释放数据价值；借助数据资产盘点成果，缩短业务应用开发的数据分析人员的数据获取时间，提升数据获取效率，数据资产管理工作能持续、健康地为数据资产管理体系服务。
42.请参阅图1所示，图2为本发明的其中一个实施例的流程图，具体地，所述的对源端系统的数据资产进行盘点包括：
43.s110获取所述源端系统的数据库表结构，梳理数据库表和字段的准确描述信息；
44.s111对具备包括临时表、备份表、日志表和系统表的特征表进行粗筛，形成初级数据库表目录清单；
45.s112经确认后，形成二级数据库表目录清单；
46.s113对所述二级数据库表目录清单中包括核心业务数据表缺失字段描述的信息进行补齐；
47.s114核查缺失信息补充情况，形成数据资源盘点清单；
48.s115录入或导入所述数据资源盘点清单，进行归档管理。
49.请参阅图3所示，图3为本发明的又一个实施例的流程图；具体地，所述的对源端系统的数据资产进行盘点还包括：
50.s120梳理数据资源目录与有效业务表对应关系，将所述有效业务表挂接至所述数据资源目录的末级目录，形成系统数据资产目录清单；
51.s121当无法挂接时，增加数据资源目录，将无法挂接的数据资源挂接到对应的数据资源目录上；
52.s122将所述系统数据资产目录清单维护至系统纳管。
53.本实施例中，梳理数据目录与有效业务表对应关系，以末级数据目录为基础，开展数据目录与数据表间对应关系梳理,将有效业务表挂接至数据目录的末级目录，要求梳理的数据目录与数据表间对应关系完整、准确。一般情况下：同一个目录下可以挂接多张数据表，同一个表也可以支撑多个不同的数据目录，数据目录与数据表之间存在多对多(n:n)的关系。针对已梳理出来的有效业务表，应该全部挂接到对应的数据目录上，不允许存在无法
挂接的情况；若确实存在无法挂接的情况，可以通过调整(增加)数据目录方式，将数据资源挂接到对应数据目录上。最终盘点完成后形成系统数据资产目录清单，并将结果数据维护至系统纳管。
54.请参阅图4所示，图4为本发明的另一个实施例的流程图；具体地，所述的对源端系统的数据资产进行盘点还包括：
55.s130梳理系统数据共享情况，形成系统数据共享负面清单，所述共享情况包括表和字段级程度的共享、有条件共享和不予共享；
56.s131将所述系统数据共享负面清单维护至系统纳管。
57.本实施例中，基于源端数据资产盘点的指标体系及方法研究，通过对源端系统进行数据盘点，根据不同业务系统的业务功能情况及数据共享情况，梳理系统有效表及负面清单，形成源端系统数据资产目录，为业务应用和数据共享应用夯实基础。
58.请参阅图5所示，图5为本发明的再一个实施例的流程图；具体地，所述的对源端系统的数据资产进行盘点还包括：
59.s140梳理系统接口信息，形成系统接口清单；
60.s141审核确认梳理结果，并将所述系统接口清单维护至系统纳管。
61.值得说明的是，基于数据中台数据资产盘点的指标体系及方法研究，通过对数据中台各层进行数据盘点，按照业务系统、模型主题域、业务场景等分类方式，形成数据中台数据资产目录，为业务应用和数据共享应用夯实基础。
62.具体地，所述共享层的元数据按照模型主题域进行分类管理。针对加工到数据中台共享层的数据进行溯源与盘点，共享层包括标准模型及扩展模型，标准模型按照国网主题域进行盘点，扩展模型按照主题域及业务的方式进行分类管理，其中针对扩展的表如能对应主题域，则按照主题域的方式进行管理，业务上的扩展或融合按照业务分类的方式进行管理。
63.具体地，所述分析层的元数据，按照业务场景进行分类管理。针对加工到数据中台分析层的数据进行盘点，分析层主要按照业务主题分类管理的方式开展。
64.本实施例中，针对接入到数据中台各层的元数据进行盘点，主要涉及贴源层、近源层、共享层、分析层，按照业务系统或者资产目录进行分类管理；其中共享层元数据，按照模型主题域进行分类管理；分析层元数据，按照业务场景进行分类管理。
65.具体地，将所述数据资源盘点清单以及系统数据共享负面清单上传至云端。
66.本实施例中，通过将数据资源盘点清单以及系统数据共享负面清单上传至云端，保证数据存储的安全性，防止数据丢失。
67.具体地，对所述数据资源盘点清单以及系统数据共享负面清单进行质检，对质检员身份设定校验机制，记录质检人员登入次数、下载次数、修改内容。
68.本实施例中，通过对所述数据资源盘点清单以及系统数据共享负面清单进行质检，并对质检员身份设定校验机制，督促质检员质检，提高质检员质检效率，进一步提高数据准确性，为制定更好的数据策略、搭建更强的数据信任、实现更智能的数据应用打下坚实基础。
69.具体地，设置数据质量稽查规则，形成数据治理问题库；
70.通过将问题库中的规则配置应用到相应表和字段，使校验规则生效。
71.本实施例中，基于数据盘点分析与应用的指标体系及方法研究，开展数据质量问题的监控，制定相对完善的数据质量稽核规则，形成数据治理问题库，通过将规则库中的规则配置应用到相应表和字段，使校验规则生效。校验主要通过规则自动生成校核脚本语句，从而实现数据的在线校核，推动业务数据质量的规范管控。
72.具体地，自动分析数据中台近源层到共享层的落模脚本，实现数据血缘关系的自动获取。
73.具体地，通过线上手动维护或导入数据实现溯源成果归集。
74.本实施例中，通过对数据中台近源层到共享层落模脚本的自动分析，从而实现血缘关系的自动获取。或者通过线上手动维护或导入的方式，按需实现溯源成果归集。为数据共享提供有效支撑及高效数据获取效率。
75.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
技术特征：1.一种数据资产盘点方法，其特征在于，包括对源端系统的数据资产进行盘点：按照系统级、表级和字段级进行盘点，通过梳理数据库表和字段的描述信息，对于缺少的数据库表和字段信息，补充其准确的描述信息，形成数据资源目录；对接入到数据中台各层的元数据进行盘点：按照业务系统或者资产目录进行分类管理，所述数据中台各层包括贴源层、近源层、共享层和分析层。2.根据权利要求1所述的一种数据资产盘点方法，其特征在于，所述的对源端系统的数据资产进行盘点包括：获取所述源端系统的数据库表结构，梳理数据库表和字段的准确描述信息；对具备包括临时表、备份表、日志表和系统表的特征表进行粗筛，形成初级数据库表目录清单；经确认后，形成二级数据库表目录清单；对所述二级数据库表目录清单中包括核心业务数据表缺失字段描述的信息进行补齐；核查缺失信息补充情况，形成数据资源盘点清单；录入或导入所述数据资源盘点清单，进行归档管理。3.根据权利要求1或2所述的一种数据资产盘点方法，其特征在于，所述的对源端系统的数据资产进行盘点还包括：梳理数据资源目录与有效业务表对应关系，将所述有效业务表挂接至所述数据资源目录的末级目录，形成系统数据资产目录清单；当无法挂接时，增加数据资源目录，将无法挂接的数据资源挂接到对应的数据资源目录上；将所述系统数据资产目录清单维护至系统纳管。4.根据权利要求3所述的一种数据资产盘点方法，其特征在于，所述的对源端系统的数据资产进行盘点还包括：梳理系统数据共享情况，形成系统数据共享负面清单，所述共享情况包括表和字段级程度的共享、有条件共享和不予共享；将所述系统数据共享负面清单维护至系统纳管。5.根据权利要求4所述的一种数据资产盘点方法，其特征在于，所述的对源端系统的数据资产进行盘点还包括：梳理系统接口信息，形成系统接口清单；审核确认梳理结果，并将所述系统接口清单维护至系统纳管。6.根据权利要求1所述的一种数据资产盘点方法，其特征在于：所述共享层的元数据按照模型主题域进行分类管理。7.根据权利要求1或6所述的一种数据资产盘点方法，其特征在于：所述分析层的元数据，按照业务场景进行分类管理。8.根据权利要求4所述的一种数据资产盘点方法，其特征在于：将所述数据资源盘点清单以及系统数据共享负面清单上传至云端。9.根据权利要求4所述的一种数据资产盘点方法，其特征在于：对所述数据资源盘点清单以及系统数据共享负面清单进行质检，对质检员身份设定校验机制，记录质检人员登入次数、下载次数、修改内容。
10.根据权利要求1所述的一种数据资产盘点方法，其特征在于，包括步骤：设置数据质量稽查规则，形成数据治理问题库；通过将问题库中的规则配置应用到相应表和字段，使校验规则生效。11.根据权利要求1所述的一种数据资产盘点方法，其特征在于，包括步骤：自动分析数据中台近源层到共享层的落模脚本，实现数据血缘关系的自动获取。12.根据权利要求1所述的一种数据资产盘点方法，其特征在于，包括步骤：通过线上手动维护或导入数据实现溯源成果归集。
技术总结本发明属于资产盘点技术领域，公开了一种数据资产盘点方法，包括对源端系统的数据资产进行盘点：按照系统级、表级和字段级进行盘点，通过梳理数据库表和字段的描述信息，对于缺少的数据库表和字段信息，补充其准确的描述信息，形成数据资源目录；对接入到数据中台各层的元数据进行盘点：按照业务系统或者资产目录进行分类管理，所述数据中台各层包括贴源层、近源层、共享层和分析层。本发明通过资产盘点摸清各层数据及血缘关系，便于掌握数据资产现状，消除数据重复存储，有效提升数据中台的数据质量及价值，有效支撑“数据一个源”的落地，为辅助数据管理制度的落地提供有力的支撑手段。段。段。
技术研发人员：余腾龙 褚红亮 方铭 梁良 王璠 胡潇 胡兵 严浩然 齐俊 钱昊
受保护的技术使用者：国网江西省电力有限公司信息通信分公司
技术研发日：2022.06.23
技术公布日：2022/11/1
