本发明属于,具体是一种数据校验方法、存储介质及电子设备。
背景技术:
1、随着市场竞争的越来越激烈,信息化建设不断的深入发展,全行业逐步开展了数据中台项目的建设。明确了统一标准、统一平台、统一数据库、统一网络目标,逐步实现系统集成、资源整合、信息共享的信息化建设总体要求,既对企业级数据中台建设提出了迫切的要求,也为企业数据中心建设奠定了坚实的基础。在此过程中,由于业务人员的输入问题、流程缺陷问题、模型建设问题、代码bug问题等造成的数据质量问题,一直是各大企业想要解决的一大问题。
2、数据是组织最具价值的资产之一。企业的数据质量与业务绩效之间存在着直接联系,高质量的数据可以使企业保持竞争力并在经济动荡时期立于不败之地。有了普遍深入的数据质量,企业在任何时候都可以信任满足所有需求的所有数据。多种主客观原因造成当前企业市场数据质量存在较大问题,这些问题在企业进行数据集成时必须得到解决。对于数据质量造成问题的解决方案,都需要专业人员定位、溯源、分析、联系各系统负责人、研究解决方案、到最后实施。现有方案存在对人员要求高,解决问题时间长,问题复发率高,统计问题详情困难,大大降低客户满意度。
技术实现思路
1、鉴于上述问题,提出了本发明以便提供克服上述问题或者至少部分地解决上述问题的一种数据校验方法、存储介质及电子设备。
2、为实现上述目的,本发明采用了如下技术方案:
3、在本申请的第一方面,提供一种数据校验方法,所述方法包括:
4、创建校验对象配置表和元素配置表;
5、把需要校验的表名配置到校验对象配置表;
6、把需要校验的字段配置到元素配置表,并填写配置项;
7、配置定时任务,定时调用校验程序,校验程序根据元素配置表中的校验类型所对应的校验规则对校验对象配置表中的对象进行校验;
8、校验后输出校验记录统计表和校验日志表。
9、可选的,所述校验对象配置表的字段包括表格名称、表格主键和关联条件。
10、可选的,所述元素配置表的字段包括对象名称、校验类型、校验字段、唯一值字段、码值描述字段、同比字段、环比字段、季度比字段、上年末字段、上月末字段、上季末字段、计算规则字段、比较规则字段和比较符号。
11、可选的,所述校验记录统计表用于统计数据质量和汇总信息,所述校验记录统计表的字段包括校验日期、对象名称、校验规则数、校验字段个数、校验总记录数和异常记录数。
12、可选的,所述校验日志表用于精准定位数据问题,所述校验日志表的字段包括校验日期、对象名称、校验类型、校验字段和主键id。
13、可选的,校验程序根据元素配置表中的校验类型所对应的校验规则对校验对象配置表中的对象进行校验包括:
14、如果校验类型为非空校验,则计算输入字段名称为空的数据量,数据量为0则校验通过,数据量大于0则校验不通过,分别生成非空校验的校验记录统计表和校验日志表;
15、如果校验类型为比较类校验,则查询校验对象配置表中的客户在保信息表,查询条件用元素配置表中的校验字段与比较规则字段做比较,运算符用元素配置表中的比较符号字段,如果数据量为0,则校验通过,如果数据量大于0,说明校验不通过,把统计信息分别写入校验记录统计表和校验日志表。
16、可选的,校验后输出校验记录统计表和校验日志表后通过邮件的方式将校验记录统计表和校验日志表发送给负责人。
17、在本申请的第二方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器加载并执行时,采用了第一方面中任一项所述的方法。
18、在本申请的第三方面提供了一种电子设备,包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序,所述处理器加载并执行计算机程序时,采用了第一方面中任一项所述的方法。
19、综上所述,由于采用了上述技术方案,本发明的有益效果是:
20、1.本发明的数据校验方法省去定位、溯源、分析、联系各系统负责人的步骤,解决了对人员要求高,解决问题时间长,问题复发率高的问题。
21、2.本发明的数据校验方法生成的结果可以看到具体的问题数据、数据来源以及相关统计信息,不需要对业务系统非常精通就可以根据生成的统计信息分析出问题原因;便于最后给出解决方案并实施解决。
1.一种数据校验方法,其特征在于,所述方法包括:
2.如权利要求1所述的一种数据校验方法,其特征在于,所述校验对象配置表的字段包括表格名称、表格主键和关联条件。
3.如权利要求1所述的一种数据校验方法,其特征在于,所述元素配置表的字段包括对象名称、校验类型、校验字段、唯一值字段、码值描述字段、同比字段、环比字段、季度比字段、上年末字段、上月末字段、上季末字段、计算规则字段、比较规则字段和比较符号。
4.如权利要求1所述的一种数据校验方法,其特征在于,所述校验记录统计表用于统计数据质量和汇总信息,所述校验记录统计表的字段包括校验日期、对象名称、校验规则数、校验字段个数、校验总记录数和异常记录数。
5.如权利要求1所述的一种数据校验方法,其特征在于,所述校验日志表用于精准定位数据问题,所述校验日志表的字段包括校验日期、对象名称、校验类型、校验字段和主键id。
6.如权利要求1所述的一种数据校验方法,其特征在于,校验程序根据元素配置表中的校验类型所对应的校验规则对校验对象配置表中的对象进行校验包括:
7.如权利要求1所述的一种数据校验方法,其特征在于,校验后输出校验记录统计表和校验日志表后通过邮件的方式将校验记录统计表和校验日志表发送给负责人。
8.一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其特征在于,所述计算机程序被处理器加载并执行时,采用了权利要求1-7中任一项所述的方法。
9.一种电子设备,包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序,其特征在于,所述处理器加载并执行计算机程序时,采用了权利要求1-7中任一项所述的方法。
