本申请实施例涉及数据处理,尤其涉及一种多源异构数据处理方法及装置。
背景技术:
1、随着新型电力系统的发展,光伏、风电等可再生能源在电力系统中的比例增大,对电力系统物理性质带来改变的同时,也使得电力系统数据呈现异构化、复杂化。同时,各种外部系统接入会产生海量的数据,并呈现出多样性、多来源和不确定性特点。多来源、异构化、复杂化的各类数据对新型电力系统的数据处理带来了巨大压力,直接影响着新型电力系统的发展。
技术实现思路
1、有鉴于此,本申请实施例的目的在于提出一种多源异构数据处理方法及装置。
2、基于上述目的,本申请实施例提供了一种多源异构数据处理方法,包括:
3、获取新型电力系统的多源数据;
4、对所述多源数据进行降噪处理,得到降噪后的多源数据;
5、对所述降噪后的多源数据进行标准化处理,得到标准化的多源数据;
6、利用预设的融合方法对所述标准化的多源数据进行融合处理,得到融合后的多源数据。
7、可选的,所述对多源数据进行降噪处理,得到降噪后的多源数据,包括:
8、对所述多源数据中的任意一项原始数据进行小波变换,得到该原始数据对应的各层小波系数;
9、根据各层小波系数,确定各层对应的小波系数峰值比;
10、根据各层的小波系数峰值比和各层的数据长度,确定各层对应的峰和比调节因子;
11、根据各层的峰和比调节因子、噪声估值、原始数据总长度和能量调节因子,确定各层对应的阈值;其中,所述能量调节因子是根据各层的能量值确定的,所述能量值是根据小波系数和相应层的数据长度确定的;
12、根据各层的阈值对相应层的小波系数进行降噪处理,得到去除噪声后的各层的小波系数;
13、基于去除噪声后的各层的小波系数,重构降噪后的原始数据。
14、可选的,确定所述能量调节因子的方法包括:
15、根据各层的小波系数和相应层的数据长度,确定各层对应的能量值;
16、根据各层的能量值,确定能量极值对应的临界分解层;
17、对于小于所述临界分解层的层,将所述能量调节因子设置为第一能量调节因子,对于大于等于所述临界分解层的层,将所述能量调节因子设置为第二能量调节因子,且所述第二能量调节因子大于第一能量调节因子。
18、可选的,根据各层的峰和比调节因子、噪声估值、原始数据总长度和能量调节因子,确定各层对应的阈值,方法为:
19、
20、其中,λj为第j层的阈值,<为噪声估值,n为原始数据总长度,r为能量调节因子,fj为第j层的峰和比调节因子。
21、可选的,所述第一能量调节因子的取值范围为-0.5-0.3,所述第二能量调节因子的取值范围为0.1-0.3。
22、可选的,对所述降噪后的多源数据进行标准化处理,得到标准化的多源数据,包括:
23、对所述降噪后的多源数据进行yeo-johnson变换,得到变换后的多源数据;
24、对所述变换后的多源数据进行标准分数处理,得到标准预处理后的多源数据;
25、对所述标准预处理后的多源数据进行量级统一化处理,得到量级统一的多源数据;
26、对所述量级统一的多源数据进行时间一致性处理,得到时间一致的多源数据。
27、可选的,利用预设的融合方法对所述标准化的多源数据进行融合处理,包括:
28、利用ds推理方法对所述标准化的多源数据进行融合处理。
29、可选的,所述获取新型电力系统的多源数据,包括:
30、根据预设的目标需求,获取对应的目标多源数据;
31、所述得到融合后的多源数据为:得到融合后的目标多源数据。
32、可选的,所述方法还包括:
33、基于所述融合后的目标多源数据,利用预设的预测模型,确定与所述目标需求对应的预测结果。
34、本申请实施例还提供一种多源异构数据处理装置,包括:
35、获取模块,用于获取新型电力系统的多源数据;
36、降噪模块,用于对多源数据进行降噪处理,得到降噪后的多源数据;
37、标准化模块,用于对所述降噪后的多源数据进行标准化处理,得到标准化的多源数据;
38、融合模块,用于利用预设的融合方法对所述标准化的多源数据进行融合处理,得到融合后的多源数据。
39、从上面所述可以看出,本申请实施例提供的多源异构数据处理方法及装置,获取新型电力系统的多源数据,对多源数据进行降噪处理,得到降噪后的多源数据,对降噪后的多源数据进行标准化处理,得到标准化的多源数据,利用预设的融合方法对标准化的多源数据进行融合处理,得到融合后的多源数据。本申请能够提高融合数据的准确性和可靠性,满足新型电力需求的不同应用。
1.一种多源异构数据处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述对多源数据进行降噪处理,得到降噪后的多源数据,包括:
3.根据权利要求2所述的方法,其特征在于,确定所述能量调节因子的方法包括:
4.根据权利要求3所述的方法,其特征在于,根据各层的峰和比调节因子、噪声估值、原始数据总长度和能量调节因子,确定各层对应的阈值,方法为:
5.根据权利要求3或4所述的方法,其特征在于,所述第一能量调节因子的取值范围为-0.5-0.3,所述第二能量调节因子的取值范围为0.1-0.3。
6.根据权利要求1所述的方法,其特征在于,对所述降噪后的多源数据进行标准化处理,得到标准化的多源数据,包括:
7.根据权利要求1所述的方法,其特征在于,利用预设的融合方法对所述标准化的多源数据进行融合处理,包括:
8.根据权利要求1所述的方法,其特征在于,所述获取新型电力系统的多源数据,包括:
9.根据权利要求8所述的方法,其特征在于,还包括:
10.一种多源异构数据处理装置,其特征在于,包括: