1.本发明涉及水情测报数据传输技术领域，尤其涉及一种基于水情测报系的统海量外部数据交换及解析系统。
背景技术：2.水情测报系统普遍需要接入海量外部气象、水文数据以此来丰富系统数据内容，现有技术中，气象数据下载解析程序放置在公网接入服务器上，通过双向网闸，同步ftp下采集的格点原始文件、气象局文档数据、气象局预报图等内容。web服务器收到ftp下的格点原始文件后，通过计划任务，将格点原始文件推送给解析服务器，解析服务器解析数据后，再通过web服务器上的计划任务从解析服务器获取解析后的格点文件进行展示。
3.现有技术的缺点在于：气象局格点数据流较大，推送至web服务器时，延迟时间长，通过解析服务器解析后，再抓取到web服务器进行存储展示，时差较大，甚至存在丢数的情况，数据流程冗余。并且ftp程序配置了在气象局ftp备份的功能，导致由于流量的限制，数据下载速度较慢，实时性较差。获取数据方法基本存在数据在传输以及解析过程中在服务器之间打环的问题，极大的增加的服务器荷载，同时数据传输实时性、解析的准确率低，因此，存在改进空间。
技术实现要素：4.本发明的目的是要提供一种基于水情测报系的统海量外部数据交换及解析系统。
5.为达到上述目的，本发明是按照以下技术方案实施的：
6.本发明基于水情测报系的统海量外部数据交换及解析系统包括web服务器、解析服务器、第一公网接入服务器、第二公网接入服务器、气象局系统和水文局系统，所述水文局系统的数据传输端通过公网与所述第一公网接入服务器连接，所述气象局系统的数据输出端分别与所述第一公网接入服务器和所述第二公网接入服务器的数据输入端连接，所述第一公网接入服务器的数据输出端通过双向网闸与所述web服务器的数据输入端连接，所述第二公网接入服务器的数据输出端通过双向网闸与所述解析服务器的数据输入端连接，所述解析服务器的数据输出端与所述web服务器的数据输入端连接。
7.本发明所述基于水情测报系的统海量外部数据交换及解析系统的解析方法：将气象局系统的程序功能一分为二，一部分执行数据下载入库工作，另一部分执行格点数据的下载工作，数据下载入库为：直接通过公网接入服务器和双向网闸传输至web服务器，格点数据下载：通过双向网闸的文件同步功能将格点数据直接放置在解析服务器上，由解析服务器完成数据解析工作后，web服务器执行抓取工作。
8.本发明的有益效果是：
9.本发明是一种基于水情测报系的统海量外部数据交换及解析系统，与现有技术相比，本发明通过考虑数据量大小、数据传输方式、数据解析方式、数据传输速度、网络安全等条件，实现了基于水情测报系统海量外部数据交换方式及解析的应用模式，对快速获取外
部数据、解析外部数据、展示外部数据提供有利的帮助，通过优化网络结构，采用双向同时传输同时解析的方法，解决了数据打环问题，提高解析的准确率和数据传输实时性，具有推广应用的价值。
附图说明
10.图1是本发明的数据流程图。
具体实施方式
11.下面结合附图以及具体实施例对本发明作进一步描述，在此发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。
12.如图1所示：本发明基于水情测报系的统海量外部数据交换及解析系统包括web服务器、解析服务器、第一公网接入服务器、第二公网接入服务器、气象局系统和水文局系统，所述水文局系统的数据传输端通过公网与所述第一公网接入服务器连接，所述气象局系统的数据输出端分别与所述第一公网接入服务器和所述第二公网接入服务器的数据输入端连接，所述第一公网接入服务器的数据输出端通过双向网闸与所述web服务器的数据输入端连接，所述第二公网接入服务器的数据输出端通过双向网闸与所述解析服务器的数据输入端连接，所述解析服务器的数据输出端与所述web服务器的数据输入端连接。
13.考虑到格点数据在web服务器和解析服务器之间打环，存在数据延迟的问题，优化结果是通过双向网闸文件同步功能将格点数据直接放置在解析服务器上，解析服务器完成数据解析工作后，由web服务器执行抓取工作，取消了格点数据在web服务器和解析服务器打环。
14.但是由于原先的气象数据解析程序是一体化的，考虑到新的需求，将程序功能一分为二，一部分执行数据下载入库工作，另一部分执行格点数据的下载工作。从气象局的ftp下载数据时，直接删除已下载成功的，保证了数据下载的快速性。
15.本发明所述基于水情测报系的统海量外部数据交换及解析系统的解析方法：将气象局系统的程序功能一分为二，一部分执行数据下载入库工作，另一部分执行格点数据的下载工作，数据下载入库为：直接通过公网接入服务器和双向网闸传输至web服务器，格点数据下载：通过双向网闸的文件同步功能将格点数据直接放置在解析服务器上，由解析服务器完成数据解析工作后，web服务器执行抓取工作。
16.运行格点解析程序一段时间后发现，由于气象局的ftp存在白名单的连接数限制，导致原有解析及下载的程序拆分后，同时发送下载请求时，可能存在数据还未写完整就被断开的问题，然后重新下载的时候又把已下载的文件叠加上去了，导致数据解析失败。
17.并且重新运行格点数据解析时，由于丢失的数据量较大，补传时数据解析会卡死解析服务器，导致数据下载解析失败。
18.本次改造后出现的断点续传问题，优化了数据重连的功能，优化了跳过错误数据解析的功能。解析数据功能能够正确的跳过错误的数据并且重新下载新的文件。运行一段时间，未再出现前期的数据卡死及数据丢失问题。
19.本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。
技术特征：1.一种基于水情测报系的统海量外部数据交换及解析系统，其特征在于：包括web服务器、解析服务器、第一公网接入服务器、第二公网接入服务器、气象局系统和水文局系统，所述水文局系统的数据传输端通过公网与所述第一公网接入服务器连接，所述气象局系统的数据输出端分别与所述第一公网接入服务器和所述第二公网接入服务器的数据输入端连接，所述第一公网接入服务器的数据输出端通过双向网闸与所述web服务器的数据输入端连接，所述第二公网接入服务器的数据输出端通过双向网闸与所述解析服务器的数据输入端连接，所述解析服务器的数据输出端与所述web服务器的数据输入端连接。2.一种如权利要求1所述基于水情测报系的统海量外部数据交换及解析系统的解析方法，其特征在于：将气象局系统的程序功能一分为二，一部分执行数据下载入库工作，另一部分执行格点数据的下载工作，数据下载入库为：直接通过公网接入服务器和双向网闸传输至web服务器，格点数据下载：通过双向网闸的文件同步功能将格点数据直接放置在解析服务器上，由解析服务器完成数据解析工作后，web服务器执行抓取工作。
技术总结本发明公开了一种基于水情测报系的统海量外部数据交换及解析系统，本发明通过考虑数据量大小、数据传输方式、数据解析方式、数据传输速度、网络安全等条件，实现了基于水情测报系统海量外部数据交换方式及解析的应用模式，对快速获取外部数据、解析外部数据、展示外部数据提供有利的帮助，通过优化网络结构，采用双向同时传输同时解析的方法，解决了数据打环问题，提高解析的准确率和数据传输实时性，具有推广应用的价值。有推广应用的价值。有推广应用的价值。
技术研发人员：左仁文 雷双舟 徐永全 梁猛 冯杰
受保护的技术使用者：四川华能涪江水电有限责任公司
技术研发日：2022.06.24
技术公布日：2022/11/1
