本发明涉及数据驱动处理,具体为基于标准数字化的数据驱动处理方法及装置。
背景技术:
1、随着互联网技术的发展,产生了大量的结构化和非结构化数据,通过数据的驱动处理,会自动化清洗数据,以节省人力处理成本,并通过实时的响应处理变化,能够提高数据的利用质量,同时数据通过标准数字化的流程,可以确保数据维持在同一层次,以此提高数据的利用效率。
2、例如公告号为cn117807102b的发明专利,公告了一种数据驱动的数据库更新方法及系统,涉及数据集处理和应用技术领域。方法包括:为各个数据源配置镜像端口,并建立镜像端口与边缘服务器之间的通信链接;各个数据源进行数据驱动报文,将第一报文数据上报至后台服务器,并存储至数据库,获得各个数据源的报文数据集;通过镜像端口,将更新数据驱动生成的第二报文数据上报至部署于边缘服务器的数据中心;数据中心预先部署的ai数据变化检测模型,对第二报文数据进行数据驱动变化检测,判断其与第一报文数据是否存在数据驱动变化,若是,则将第一报文数据替换为新的数据驱动第二报文数据,更新数据库。能够提高数据驱动时的数据库更新效率。
3、例如公告号为cn106503217b的发明专利,公告了基于业务驱动的数据交互装置及方法,数据交互装置包括:信息预置处理模块接收外部录入数据,在向用户推荐的发布/订阅模型不适用于外部录入数据的情况下,校验外部录入数据是否符合预置数据录入规则;在向用户推荐的发布/订阅模型适用于外部录入数据的情况下,校验外部录入数据是否符合预置数据录入规则,暂存外部录入数据;单据翻译模块将外部录入数据中的公共字段信息翻译成数据交互装置能够识别的编码数据;数据过滤模块对翻译后的编码数据进行过滤;转换策略模块将过滤后的编码数据分配给不同领域的拓展接口,实现数据交互,能够达到不同系统之间的数据交互,减少开发难度,提高数据交互的效率,提升系统的稳定性。
4、结合上述技术方案发现,目前数据驱动的技术方案中,多数情况下是直接对采集的数据进行驱动处理,同时由于驱动处理的方式较为单一化,会使得驱动处理的结果偏离于标准范围,导致驱动处理结果的准确性不高,降低了数据的利用效率。
技术实现思路
1、针对现有技术的不足,本发明提供了基于标准数字化的数据驱动处理方法及装置,能够有效解决上述背景技术中涉及的问题。
2、为实现以上目的,本发明通过以下技术方案予以实现:本发明第一方面提供了基于标准数字化的数据驱动处理方法,包括:步骤一、通过数据采集设备进行数据采集,提取出初始采集数据,进行标准数字化的预处理操作,将预处理后的初始采集数据记为可分析数据,并存储于临时存储仓中;步骤二、通过各类取证设备对临时存储仓中的可分析数据进行数据分类,得到各类取证数据,由此分析各类取证数据的取证设备影响值;步骤三、将各类取证数据的取证设备影响值,与数据驱动库中预设的取证设备影响界定值进行比对,统计取证设备影响值大于预设的取证设备影响界定值对应的各类取证数据,并对各类取证数据进行驱动优化提示。
3、作为进一步的方法,所述进行标准数字化的预处理操作,将预处理后的初始采集数据记为可分析数据,具体是通过数据采集设备中的数据处理单元,对初始采集数据进行标准数字化的预处理操作;所述标准数字化的预处理操作,具体包括对初始采集数据进行标准格式化,由此得到标准格式化后的初始采集数据,记为标准数字化的初始采集数据;对标准数字化的初始采集数据进行预处理操作,其中预处理操作包括去除重复项、填充缺失值、纠正错误项,最终得到预处理后的标准数字化的初始采集数据,记为可分析数据。
4、作为进一步的方法,所述存储于临时存储仓,具体过程为:
5、数据采集设备通过无线通信模块发送可分析数据,同时临时存储仓通过无线通信模块接收可分析数据,并将可分析数据存储于临时存储仓中。
6、作为进一步的方法,所述各类取证设备对临时存储仓中的可分析数据进行数据分类,得到各类取证数据,具体是各类取证设备通过无线通信模块连接于临时存储仓,并基于各类取证设备的数据分类单元,对临时存储仓中的可分析数据进行数据分类,将数据分类后的可分析数据同步通过无线通信模块存储于各类取证设备,由此得到各类取证设备中数据分类后的可分析数据,记为各类取证数据。
7、作为进一步的方法,所述各类取证数据的取证设备影响值,具体公式为:
8、
9、式中,fcg为第g类取证数据的取证设备影响值,tqg为第g类取证设备的第一取证设备影响指数,gf1为数据驱动库中预设的第一取证设备影响指数的权重因子,daig为第g类取证设备的第二取证设备影响指数,gf2为数据驱动库中预设的第二取证设备影响指数的权重因子,e为自然常数,g为各类取证数据的编号,g=1,2,3,...,r,r为取证数据的类别总数。
10、作为进一步的方法,所述对各类取证数据进行驱动优化提示,具体过程为:
11、将各类取证数据的取证设备影响值,与数据驱动库中预设的取证设备影响界定值进行比对,若某类取证数据的取证设备影响值大于预设的取证设备影响界定值,则将该类取证数据记为需优化提示数据,由此统计取证设备影响值大于预设的取证设备影响界定值对应的各类取证数据,记为各类需优化提示数据,并对各类需优化提示数据进行驱动优化提示。
12、本发明第二方面提供了基于标准数字化的数据驱动处理方法的装置,包括:数据采集设备、无线通信模块、数据发布渠道、临时存储仓、取证设备;所述数据采集设备,用于通过数据采集设备中的数据采集模块调用无线通信模块,采集数据发布渠道内的发布数据集,记为初始采集数据;所述临时存储仓,用于通过无线通信模块接收数据采集设备中预处理操作后的初始采集数据,记为可分析数据;所述取证设备,用于通过无线通信模块连接于临时存储仓,并基于取证设备的数据分类单元,对临时存储仓中的可分析数据进行数据分类,同时分类后的数据存储于取证设备。
13、相对于现有技术,本发明的实施例至少具有如下优点或有益效果:
14、(1)本发明通过提供基于标准数字化的数据驱动处理方法及装置,首先对初始采集数据进行自动化的预处理操作,可以节省人力处理成本,并对预处理后的初始采集数据进行数据分类,通过实时的数据分类响应处理,可以得到更精准的各类取证数据,分析各类取证数据的取证设备影响值,由此对所述取证数据进行驱动优化提示,最终能够提高数据驱动处理的准确性。
15、(2)本发明通过数据采集设备进行数据采集,提取出初始采集数据,进行标准数字化的预处理操作,可以确保数据维持在同一层次,将预处理后的初始采集数据记为可分析数据,并存储于临时存储仓中,能够提高数据的存储利用效率。
16、(3)本发明通过各类取证设备对临时存储仓中的可分析数据进行数据分类,即通过数据驱动处理方式的多样化,得到各类取证数据,由此分析各类取证数据的取证设备影响值,并与数据驱动库中预设的取证设备影响界定值进行比对,可以为后续对所述取证数据进行驱动优化提示提供参考性的数据依据,最终提高数据的利用质量。
1.基于标准数字化的数据驱动处理方法,其特征在于,包括:
2.根据权利要求1所述基于标准数字化的数据驱动处理方法,其特征在于:所述数据采集设备进行数据采集,提取出初始采集数据,具体过程为:
3.根据权利要求2所述基于标准数字化的数据驱动处理方法,其特征在于:所述进行标准数字化的预处理操作,将预处理后的初始采集数据记为可分析数据,具体是通过数据采集设备中的数据处理单元,对初始采集数据进行标准数字化的预处理操作;
4.根据权利要求1所述基于标准数字化的数据驱动处理方法,其特征在于:所述存储于临时存储仓,具体过程为:
5.根据权利要求1所述基于标准数字化的数据驱动处理方法,其特征在于:所述各类取证设备对临时存储仓中的可分析数据进行数据分类,得到各类取证数据,具体是各类取证设备通过无线通信模块连接于临时存储仓,并基于各类取证设备的数据分类单元,对临时存储仓中的可分析数据进行数据分类,将数据分类后的可分析数据同步通过无线通信模块存储于各类取证设备,由此得到各类取证设备中数据分类后的可分析数据,记为各类取证数据。
6.根据权利要求1所述基于标准数字化的数据驱动处理方法,其特征在于:所述各类取证数据的取证设备影响值,具体数据获取处理过程为:
7.根据权利要求6所述基于标准数字化的数据驱动处理方法,其特征在于:所述分析各类取证数据的取证设备影响值,具体分析过程为:
8.根据权利要求7所述基于标准数字化的数据驱动处理方法,其特征在于:所述各类取证数据的取证设备影响值,具体公式为:
9.根据权利要求1所述基于标准数字化的数据驱动处理方法,其特征在于:所述对各类取证数据进行驱动优化提示,具体过程为:
10.一种应用如权利要求1-9中任意一项基于标准数字化的数据驱动处理方法的装置,其特征在于:包括:数据采集设备、无线通信模块、数据发布渠道、临时存储仓、取证设备;