本申请涉及数据处理,尤其涉及一种基于流域梯级调度系统的时序数据缺失补全方法及系统。
背景技术:
1、水情数据是流域水资源配置管理的基础,梯级水电站之间的区间流量是电站发电、防洪调度决策的关键依据。现有技术中采用传感器的方式来检测流域或者设置多个检测点从而检测梯级流域的水情数据,水情数据中关键数据为水位、水量数据。但现有的水情数据检测方式较为单一,无法保证水位数据的完备性和可靠性,再加上在一些情况下,传感器因为自身故障或者其他环境因素也会带来采集数据的异常。
2、因此为了保证数据的完备性和可靠性,需要对水情数据的异常值进行检测和校正等方面的处理。对于数据的异常值处理,其难点在于,数据汇聚处理等过程较为复杂,容易造成数据错误,且在处理过程中还可能进一步造成数据缺失。
技术实现思路
1、本申请实施例提供一种基于流域梯级调度系统的时序数据缺失补全方法及系统,用以结合流域的监控数据,在不改动现有的硬件条件的情况下,实现对水情时序数据的补全,提高监测数据的完备性和可靠性。
2、本申请实施例提出一种基于流域梯级调度系统的时序数据缺失补全方法,包括如下步骤:
3、按照时间关系顺序获取梯级流域各子流域的水量监测数据;以及,获取各子流域坝前的流域视频监测数据;
4、检测所述水量监测数据中的异常数据,并确定所述异常数据的异常时间区间,其中所述异常时间区间至少覆盖异常的数据值时间以及前后指定时长的正常数据时间;
5、从对应的流域视频监测数据中截取所确定的异常时间区间的图像数据;
6、基于所截取的图像数据,利用预先训练的水域局部图生成模型,生成与检测点区域关联的多张局部图像;
7、根据多张所述局部图像,确定检测点区域的水量模拟数据;
8、根据所述水量模拟数据中的最值对所述异常时间区间的异常数据进行补全。
9、可选的,检测所述水量监测数据中的异常数据,并确定所述异常数据的异常时间区间包括:
10、判断所述水量监测数据中的空缺数据;以及,检测所述水量监测数据中数据波动在预设数据波动区间之外的数据,将空缺数据以及在预设数据波动区间之外的数据作为异常数据;
11、确定所述异常数据的异常时间区间包括:
12、在所述空缺数据位置以及预设数据波动区间之外的数据位置,根据所述指定时长确定数据截取点;
13、在所述数据截取点位置的水量监测数据异常的情况下,基于所述空缺数据位置以及预设数据波动区间之外的数据位置以所述指定时长为窗口,进行滑动,直至截取的异常时间区间所需的正常数据时间。
14、可选的,从对应的流域视频监测数据中截取所确定的异常时间区间的图像数据包括:
15、根据所述异常时间区间,确定相应的流域视频监测数据中的视频段;
16、将所述视频段分解为数个视频帧,并计算视频帧的清晰度;
17、根据视频帧的清晰度,选取清晰度大于预设阈值的多张图像数据,作为异常时间区间的图像数据。
18、可选的,所述水域局部图生成模型包括文字编码器、图生成器和图解码器;
19、所述文字编码器,用于将选取的图像数据的水情描述文本转换为向量信息,所述向量信息包含有描述文本的语义和上下文信息;
20、所述图生成器,用于根据初始的信息矩阵和文字编码器输出的文本信息矩阵,输出水域图像矩阵表示;
21、所述图解码器,用于接收所述图生成器生成的水域图像矩阵表示,将其解码为图像输出。
22、可选的,预先训练水域局部图生成模型包括:
23、获取正常历史流域视频监测数据中的图像数据构建训练集;
24、利用u-net对所述训练集中的图像数据进行分割,并确定分割后的图像中包含河道边界的多个子图像;
25、根据正常的水量监测数据,建立与多个所述子图像之间的水量映射关系;
26、为符合映射的子图像添加相应的水量标记,以及,将相应的子图像作为用于图生成的局部区域;
27、利用所述局部区域,以及所述训练集中的图像数据,训练所述水域局部图生成模型,并在训练过程中利用生成的局部区域的信息矩阵替换初始的信息矩阵作为输入来执行训练。
28、可选的,基于所截取的图像数据,利用预先训练的水域局部图生成模型,生成与检测点区域关联的多张局部图像包括:
29、利用预先训练的水域局部图生成模型,以在所截取的图像数据的河道边界的多个位置生成局部图像。
30、可选的,根据多张所述局部图像,确定检测点区域的水量模拟数据包括:
31、将截取的图像数据以及生成局部图像后的图像数据进行灰度处理;
32、提灰度处理后的图像数据中各局部区域对应的河道边界;
33、计算任一组所提取河道边界的匹配度,并将匹配度高于预设阈值的河道边界对应的局部区域,作为与检测点区域关联的局部图像;
34、根据所建立的水量映射关系,基于各关联的局部图像,确定检测点区域的水量模拟数据。
35、可选的,根据所述水量模拟数据中的最值对所述异常时间区间的异常数据进行补全包括:
36、根据所述水量映射关系,将各关联的局部图像对应的水量最大值作为所述异常时间区间的补全数据,以进行补全。
37、本申请实施例还提出一种基于流域梯级调度系统的时序数据缺失补全系统,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如前述的基于流域梯级调度系统的时序数据缺失补全方法的步骤。
38、本申请的时序数据缺失补全方法结合流域的监控数据,在不改动现有的硬件条件的情况下,充分利用监测数据,且无需特定的标识即可实现对水情时序数据的补全,提高监测数据的完备性和可靠性。
39、上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
1.一种基于流域梯级调度系统的时序数据缺失补全方法,其特征在于,包括如下步骤:
2.如权利要求1所述的基于流域梯级调度系统的时序数据缺失补全方法,其特征在于,检测所述水量监测数据中的异常数据,并确定所述异常数据的异常时间区间包括:
3.如权利要求2所述的基于流域梯级调度系统的时序数据缺失补全方法,其特征在于,从对应的流域视频监测数据中截取所确定的异常时间区间的图像数据包括:
4.如权利要求1所述的基于流域梯级调度系统的时序数据缺失补全方法,其特征在于,所述水域局部图生成模型包括文字编码器、图生成器和图解码器;
5.如权利要求4所述的基于流域梯级调度系统的时序数据缺失补全方法,其特征在于,预先训练水域局部图生成模型包括:
6.如权利要求5所述的基于流域梯级调度系统的时序数据缺失补全方法,其特征在于,基于所截取的图像数据,利用预先训练的水域局部图生成模型,生成与检测点区域关联的多张局部图像包括:
7.如权利要求6所述的基于流域梯级调度系统的时序数据缺失补全方法,其特征在于,根据多张所述局部图像,确定检测点区域的水量模拟数据包括:
8.如权利要求7所述的基于流域梯级调度系统的时序数据缺失补全方法,其特征在于,根据所述水量模拟数据中的最值对所述异常时间区间的异常数据进行补全包括:
9.一种基于流域梯级调度系统的时序数据缺失补全系统,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的基于流域梯级调度系统的时序数据缺失补全方法的步骤。
