一种数据处理系统的制作方法

专利2025-01-22  26



1.本技术涉及生态环境管理技术领域,尤其涉及一种数据处理系统。


背景技术:

2.生态环境与人类的发展息息相关,对生态环境进行动态监测以及可视化展示,对生态环境的治理具有非常重要的作用。目前,虽然数字孪生和建筑信息模型在构建三维数字空间上的应用日益广泛,但是在生态数据领域的应用还比较欠缺。同时,在使用数字孪生和建筑信息模型进行大范围建模时,大量的建模操作使得建模周期比较长,对于模型渲染也有很高的要求。因此,研发一种基于生态环境实时监测和动态展示的数据处理系统,是生态环境管理领域中急需解决的关键问题。


技术实现要素:

3.本技术实施例提供一种数据处理系统,可以实现对生态环境的实时监测,对获取的生态数据进行动态展示,提高生态环境的管理和治理工作的效率。
4.本技术实施例的技术方案是这样实现的:第一方面,本技术实施例提供一种数据处理系统,包括:基础数据层、生态块数据层、应用层和展示层;所述基础数据层,用于基于至少两种渠道获取针对同一生态环境的全生命周期的数据,并将所获取的数据发送至所述生态块数据层;所述生态块数据层,用于对所述基础数据层所获取的数据进行第一处理,得到基于数据类型分类的至少两个数据库;以及对各所述数据库的数据进行实时监控;所述应用层,用于对所述数据库中的数据进行第二处理,并对经第二处理后的数据进行渲染;所述展示层,用于对所述应用层的数据进行可视化展示。
5.在上述方案中,所述应用层,具体用于获取生态环境对应的三维模型;基于获取所述三维模型的相机的角度和可视范围,确定需要渲染的对象;对所述需要渲染的对象进行渲染。
6.在上述方案中,所述应用层,还用于对所述数据库中的数据进行第二处理,并对经第二处理后的数据进行渲染,基于获取所述三维模型的相机的角度确定渲染精度。
7.在上述方案中,所述应用层,具体用于执行下述至少一项:基于用户的可视范围,确定第一区域对应的渲染精度为第一精度,确定第二区域对应的渲染精度为第二精度,所述第一精度大于第二精度;基于所述相机的角度和所述相机的可视范围,确定第三区域对应的渲染精度为第三精度,确定所述第三区域对应的渲染范围为第三范围,确定第四区域对应的渲染精度为第四精度,确定所述第四区域对应的渲染范围为第四范围;所述第三精度大于所述第四精度,所述第三范围小于所述第四范围。
8.在上述方案中,所述应用层,具体用于:对所述三维模型对应的物理信息进行逻辑处理,得到逻辑处理结果;基于所述逻辑处理结果,预加载所述生态环境对应的多媒体信息;响应于针对所述多媒体信息的点击事件,播放所述多媒体信息。
9.在上述方案中,所述应用层,具体用于基于所述三维模型的物理信息对应的模型名称、模型类型、模型位置、模型贴图和模型方向中的至少一项加载三维模型,对所述三维模型进行修改。
10.在上述方案中,所述至少两个数据包括下述中的至少两项:用于存储水环境信息的数据库、用于存储被治理的生态治理环境信息的数据库、用于存储科研项目信息的数据库、用于存储设备信息的数据库、用于存储科研成果信息的数据库和用于存储生态环境监测数据的数据库。
11.在上述方案中,所述基础数据层,用于基于监测设备的设备数据、项目相关的视频数据、科研相关的科研数据、物联网设备对生态环境实时的监测数据中至少两种获取针对同一生态环境的全生命周期的数据。
12.在上述方案中,所述生态块数据层,用于将所述各所述数据库的数据在多个服务器上进行分布式存储。
13.本技术实施例提供的数据处理系统包括基础数据层、生态块数据层、应用层和展示层;所述基础数据层,用于基于至少两种渠道获取针对同一生态环境的全生命周期的数据,并将所获取的数据发送至所述生态块数据层;所述生态块数据层,用于对所述基础数据层所获取的数据进行第一处理,得到基于数据类型分类的至少两个数据库;以及对各所述数据库的数据进行实时监控;所述应用层,用于对所述数据库中的数据进行第二处理,并对经第二处理后的数据进行渲染;所述展示层,用于对所述应用层的数据进行可视化展示。本技术提供的数据处理系统,可以获取生态环境全生命周期的数据,实时地监测生态环境指标,对获取的生态数据进行动态展示,提高对生态环境的管理和生态环境治理的效率。
附图说明
14.附图用于更好地理解本方案,不构成对本技术的限定。其中:图1是本技术实施例提供的数据处理系统的示意图;图2是本技术实施例提供的数据处理系统的系统结构图;图3是本技术实施例提供的白洋淀整体三维场景展示的示意图;图4是本技术实施例提供的图像渲染引擎的结构图;图5是本技术实施例提供的渲染白洋淀模型的示意图;图6是本技术实施例提供的数据处理引擎示意图。
15.图中标号说明:100、数据处理系统;101、基础数据层;102、生态块数据层;103、应用层;104、展示层;201、数据汇聚子系统;202、数据库管理子系统;203、生态库;204、数据共享交换子系统;205、数据可视化子系统;206、课题成果知识化管理子系统;207、生态数据示范系统。
具体实施方式
16.为了使本技术的目的、技术方案和优点更加清楚,下面将结合附图对本技术作进一步地详细描述,所描述的实施例不应视为对本技术的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本技术保护的范围。
17.在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,
ꢀ“
一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
18.在以下的描述中,所涉及的术语“第一\第二”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
19.除非另有定义,本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的,不是旨在限制本技术。
20.将介绍本技术实施例提供的一种数据处理系统,参见图1,图1是本技术实施例提供的数据处理系统的示意图,下面将结合图1示出的数据处理系统的示意图,并结合图2-图5进行说明。
21.在一些实施例中,数据处理系统100由基础数据层101、生态块数据层102、应用层103以及展示层104组成。
22.在一些实施例中,本技术实施例提供的数据处理系统的系统结构图如图2所示。在图2中,基础数据层101内置有数据汇聚子系统201,生态块数据层102内置有数据库管理子系统202、生态库203和数据共享交换子系统204,应用层103内置有数据可视化子系统205和课题成果知识化管理子系统206,展示层104内置有生态数据示范系统207。其中,基础数据层201用于基于至少两种渠道获取针对同一生态环境的全生命周期的数据,并将获取的数据初步处理为结构化数据后发送至生态块数据层102;生态块数据层102用于对基础数据层101所获取的数据进行进一步处理,得到基于数据类型分类的至少两个数据库,按照数据类型存入对应的数据库,以及对各数据库的数据进行实时监控;应用层103读取数据库中的数据进行再次处理,并对处理之后的数据进行渲染,传输给展示层104,展示层104用于对应用层103处理完毕的数据进行可视化展示。
23.在一些实施例中,基础数据层101接入的同一生态环境的全生命周期的数据可以是数据处理系统在各个时间段接收的同一个生态环境的数据,数据来源可以为:设备数据、视频数据、科研数据、监测数据以及其他报告文档、图片数据等,数据类型可以包括结构化数据、半结构化数据和非结构化数据。
24.其中,设备数据可以是监测设备的设备数据,如设备所处的地理位置,设备厂商信息等;视频数据可以是项目相关的视频数据,如项目上产生的宣传视频、工艺视频、监控视频等;科研数据可以是科研相关的科研数据,如论文、软著、专利、报告等;监测数据可以是物联网设备对生态环境实时的监测数据,如水质情况等的数据。
25.在一些实施例中,数据汇聚子系统201是本数据处理系统对生态环境数据的统一汇聚接入口。通过本子系统提供的api(application programming interface,应用程序接口)、sdk(software development kit,软件开发工具包)、etl(extract-transform-load,
抽取-转换-加载)等方法将上述的设备数据、视频数据、科研数据、监测数据等统一汇聚接入,经过初步处理后,归集到数据处理系统,为本系统实现数据治理、融合、分析和可视化展示提供数据支撑。
26.其中,数据汇聚子系统201针对不同数据来源类型采用不同的接入方法,主要分为离线数据采集和实时数据采集两种方法。
27.以白洋淀区域为例,在数据汇聚子系统201汇聚接入的数据中,涉及的离线数据主要是与白洋淀水系相关的已建信息化系统的数据、由科研院校针对生态环境的课题科研项目研究过程及成果数据等;在线数据主要是物联网监测设备对生态环境实时的监测数据,数据汇聚子系统201将汇入的上述数据进行初步筛选,选出数据处理系统需要的数据,并将不同来源、不同类型的白洋淀生态水资源数据统一处理为结构化数据,将处理完成的结构化数据传输至生态块数据层。
28.在一些应用场景中,为满足iot(internet of things,物联网)数据等实时数据同步性及一致性要求较高的诉求,所有的实时数据通过子系统的etl采集工具转发至消息中间件kafka(一种高吞吐量的分布式发布订阅消息系统),转发过程一方面使数据不对外暴露,另一方面可以做初步的数据校验筛选、流量统计控制、数据映射、过滤等功能。实时数据采集既要满足应用系统和可视化子系统的数据调用的实时性要求,又要实现实时数据通过kafka等组件将数据存储到生态库203,为后续数据分析挖掘提供数据支撑。
29.在一些实施例中,生态块数据层102可以包括数据库管理子系统202、生态库203和数据共享交换子系统204。
30.在一些实施例中,数据库管理子系统202用于将基础数据层101初步处理完成的数据,进行进一步处理,将不同数据按照数据类型存入生态库203中相应的数据库中,使所有数据库中的数据采用统一的格式化管理。数据库管理子系统202可以通过对数据全生命周期、全链路透明化管控,实现数据资源整合、信息共享,全数据治理的全流程的实时监控。
31.在一些实施例中,数据库管理子系统202的功能模块可以包括:元数据管理、数据标准、数据目录、数据质量、数据安全管理、数据共享、数据分析。
32.其中,元数据管理可以包括将数据库管理子系统202接收到的原始数据进行存储管理。
33.数据标准用于定义数据字段、数据类型等操作,通过建模工具对模型实体、属性、关系的设计,提供对数据模型的标准化管理。
34.数据目录用于按照数据的不同类型进行数据划分,例如将视频数据、生态环境数据、项目数据存储于各自相应的类别目录下。
35.数据质量可以包括建立有效的数据质量监控机制、问题评估与处理流程,用于对错传、漏传、重传的数据进行检测,对错传的数据进行修正,对漏传的数据进行补充传送,对重传的数据进行去重,将完整无误的数据进行存储。
36.数据安全管理用于实现数据传送以及访问的安全性,可以通过加密形式进行数据传输,保证数据在传输过程中的安全;设置数据访问的权限,特定数据只有在特定权限下才能被访问。
37.数据共享用于实现数据的共享,使不同的项目工程可以共享相同的数据。
38.数据分析用于实现分布式数据处理和任务跳读,高校完成数据的融合。
39.在一些实施例中,数据库管理子系统202以元数据为驱动,构建完整的数据管理和数据服务体系,帮助生态数据统一数据口径、分析数据关系,通过数据标准增强数据的定义与使用的一致性,减少数据转换频率,保证数据的质量,提高数据处理效率,实现对覆盖数据归集、采集、交换、加工、清洗、分析挖掘的全流程的统一资源管理的全生命周期的数据质量管理。通过免编程、可视化的流程编排管理工具,实现全数据流程端到端流程的可视化配置、实时监控、管理与审计,充分整合数据流转的监控关键点,实现精确指向、分析监控、快速锁定。
40.数据库管理子系统202可以通过第三方的数据平台处理。
41.在一些实施例中,生态库203用于实现对数据的存储功能。生态库203可以包括监测设备库、科研数据库、生态监测库、水环境主体、生态治理主体以及课题成果主体。
42.其中,监测设备库用来存储设备信息,其中,设备信息可以为设备名称、厂家信息、设备位置等信息;科研数据库用来存储科研成果信息的数据;生态监测库用来存储生态环境监测数据;水环境主体用来存储河流、河道、湿地、湖泊等水生态环境信息;生态治理主体用来存储被治理的生态环境信息,可以是正在被治理的河道、湿地、湖泊等;课题成果主体用来存储科研课题、科研项目等的信息等。
43.在一些实施例中,生态库203可以将上述数据库中的数据在多个服务器上进行分布式存储。数据传输均需通过单独的服务器进行密钥验证,再通过单独的服务器进行数据获取,在完成数据输出后,服务器内数据可以及时清除,有效的保证了数据库的数据安全。
44.在一些实施例中,数据共享交换子系统204将数据平台中与系统相关的数据通过api网关统一对外输出,api网关对输出的数据实现全生命周期管理,实现数据安全可控的对外数据输出。
45.在一些实施例中,数据共享交换子系统204具备跨系统、跨层级交互的数据共享交换能力。数据共享交换子系统204可以基于可视化展现的数据需求,实现将数据平台中与本系统相关的数据通过api网关统一对外输出,api网关可对输出的数据实现全生命周期管理,实现数据安全可控的对外数据输出。
46.在一些实施例中,基于三维可视化引擎对数据诉求,数据处理系统可以通过数据服务接口统一在数据共享交换子系统204的api网关上进行注册、维护、发布等操作。api网关统一向可视化子系统授权,同时,api网关可获取和监控数据可视化子系统授权信息和数据服务使用情况,并提供api请求管理、监控告警等功能,保障api服务的安全与稳定。
47.在一些实施例中,应用层103可以包括数据可视化子系统205和课题成果知识化管理子系统206。
48.在一些实施例中,数据可视化子系统205可以包括二维可视化和三维可视化。应用层103用于将从生态块数据层103获取的数据,进一步将数据处理成二维可视化或者三维可视化需要的数据格式。
49.其中,二维可视化基于二维的折线图、柱状图以及饼状图为生态环境数据提供可视化,可以用于展示生态环境的发展趋势,例如水质情况,例如总磷、总氮等化学元素的数据以及河流流速、下雨流量等生态数据的变化情况;也可以用于对生态环境项目或者课题成果的研究情况的统计等;三维可视化基于三维可视化引擎为生态环境数据提供可视化,可以用于生态环境整体三维场景展示。
50.在一些实施例中,三维可视化引擎可以包括图像渲染引擎和数据处理引擎。
51.其中,图像渲染引擎能够高效完成渲染工作,提升三维视图的高性能渲染能力和展示流畅度,实现白洋淀水域整体态势感知。
52.以白洋淀区域为例,白洋淀整体三维场景展示的过程如图3所示,图3是本技术实施例提供的白洋淀整体三维场景展示的示意图。图像渲染引擎通过数据与gis(geographic information system,地理信息系统)三维地图的结合实现图像渲染。可以白洋淀生态数据的白洋淀三维模型301接入到gis三维地图上,通过threejs(javascript 3d library,使用javascript来渲染三维效果的库)加载三维模型,将threejs加载的三维模型叠加在三维地图302上,进行三维渲染303;白洋淀生态监测数据304经过数据处理305以及进一步数据分析306后的生态数据与三维渲染303之后的数据共同实现白洋淀生态数据展示307。
53.为实现较大文件的处理,解决加载大文件容易造成卡顿的问题,在进行加载时,可以加将较大的obj(一种3d模型文件格式)转换成gltf(graphics language transmission format,图形语言传输格式)文件格式,然后将gltf文件拆分成若干子文件,之后采用压缩方式,再对gltf子文件进行压缩,将各压缩的gltf子文件作为数据组,依次加载到在三维地图上,从而能够实现大文件的加载效果,有效的提升实用性,并能够解决大文件加载容易造成卡顿等问题。
54.如图4所示,图4是本技术实施例提供的图像渲染引擎的结构图。图像渲染引擎401可以包括3个部分,分别为渲染组件402,逻辑处理组件406,视频组件408。各个组件之间采用轻耦合架构,将系统逻辑性有效分隔开来,降低耦合性,增强系统健壮性和可维护性。
55.在一些实施例中,渲染组件402用于模型管理403、贴图管理404和上色管理405。
56.以白洋淀区域为例,渲染组件主要目的在于对获取的白洋淀模型进行基础的渲染,管理模型的变化,对模型进行贴图上色,根据场景的光源信息进行场景切换,动态生成阴影效果,使白洋淀模型呈现不同的光照、颜色效果。
57.在一些实施例中,逻辑处理组件406用于逻辑操作407。逻辑操作可以包括模型加载、模型修改和更新。
58.在一些实施例中,逻辑处理组件406可以基于三维模型的物理信息对应的模型名称、模型类型、模型位置、模型贴图、模型方向中至少一项或全部的物理信息,在渲染的时候加载新的三维模型,以及通过修改模型物理信息达到模型修改和更新的效果。其中,在渲染的时候加载新的模型时,只需要将新的模型文件和模型的物理信息加入渲染引擎,将新的模型的物理信息进行逻辑处理再通过渲染组件402渲染新的模型即可。
59.在一些实施例中,视频组件408用于视频播放409。
60.以白洋淀为例,视频组件408可以用来管理白洋淀的视频信息,视频信息可以包括视频名称、视频流地址、视频地理位置等信息。其中,视频信息为视频流格式。可以在初始化白洋淀模型时,将视频信息进行预加载,在模型上渲染出视频的地理位置,再通过监听视频组件的点击事件,当监听到用户发生点击时,进行视频流的播放。
61.在一些实施例中,为了保证模型加载流畅,图像渲染引擎401首先需要使用可见场景渲染进行场景裁剪。根据模型的相机角度和可视范围来判断瓦片是否渲染,删除掉可视角度下不可见的瓦片,只渲染可见的瓦片数据,通过这种方法来降低渲染的数据和提高渲染效率。例如,在渲染白洋淀模型时,可以依据相机角度来判断哪些场景会渲染并绘制在场
景中。
62.为进行更好的进行说明,如图5所示,图5是本技术实施例提供的渲染白洋淀模型的示意图,其中

为相机的角度,



分别代表可视范围的近平面与远平面,
④⑤⑥
则为场景中的物体,其中

表示物体完全在可视范围内,

表示物体部分在可视范围内,

则表示物体不在可视范围内。在进行模型渲染时,只有
④⑤
会进行渲染流程,而

则不会被渲染。
63.可见场景渲染实现原理,是将物体的点与六面体求交集,如果有交集则说 明物体在或者部分在可视范围内,没有交集则说明不在可视范围内。假设物体 是一个长方体,对于物体的任意一点(x,y,z)都满足min_x《x《max_x, min_y《y《max_y,min_z《z《max_z,即为点与六面体的空间关系,判断点 与六面体每个面的空间位置关系。根据平面方程ax+by+cz+d=0,其中 (a,b,c)是平面的法向量,d为一个常数,通过a,b,c,d四个参数 可以确定三维空间中唯一的一个平面。通过ax+by+cz+d的值可以判断点 与平面的位置关系。
64.若,则点在平面的内部。
65.若,则点在平面的外部。
66.若,则点在平面的上部。
67.根据该原理则可以判断物体上的点是否在可视范围内。对于不在可视范围内的物体不渲染,在可视范围内的物体进行渲染,提高三维可视化的渲染效率。
68.可见精度渲染技术取决于对模型的渲染精度要求。基于用户的可视范围,对于用户可视范围内关注的区域确定为第一区域,确定第一区域对应的渲染精度为第一精度,对于用户可视范围内关注不到的区域确定为第二区域,确定第二区域对应的渲染精度为第二精度,其中,第一精度大于第二精度,将第一区域进行高精度的渲染,将第二区域进行低精度的渲染。同样的,对于相机视角的角度和相机的可视范围来说,将距离近的区域确定为第三区域,确定第三区域对应的渲染精度为第三精度,将距离远的区域确定为第四区域,确定第四区域对应的渲染精度为第四精度,其中,第三精度大于第四精度,第三范围小于第四范围。将第三区域提高渲染精度,降低渲染范围;将第四区域降低渲染精度,提高渲染范围。也可以自定义一些特定区域,可以将一些用户自认为重要的特定区域进行高精度的渲染,将用户认为不重要的区域进行低精度的渲染。
69.下面介绍图6示出的本技术实施例提供的数据处理引擎的示意图。数据处理引擎600可以包括数据清洗引擎子系统601、数据索引引擎子系统602、数据库引擎子系统603。经过数据处理引擎600处理的数据能够直接呈现在可视化展示系统中,提升可视化展示性能与可视化展示效果。
70.数据清洗引擎子系统601可以通过缺失值处理、异常值处理、去重处理、噪音数据处理等方式将数据统一化,再通过聚合、回归对数据进行处理融合。
71.作为示例,数据清洗引擎子系统在完成缺失值处理后,进行异常值的处理过程为:将缺失值处理后的数据作为数据组,如,从中选择一个数据作为节
点,其中1+《t《n-m,m为检测幅度,优选为4,将节点的前后m各m个数据提取出来,组成新的子数据组,共2m+1个数据,对该子数据组求平均值t,将该平均值与节点的数据进行对比,获得差值,将该差值的绝对值与节点的数据作为对比,得到,若,则确定不为异常值,否则为异常值,其中为常数,在一些实施例中,优选为0.01,进而实现对于异常值的清除效果。该异常处理方式,能够将相连数据作为数据组,通过对数据的增幅占比验证,实现进行对异常值的验证,使得数据能够更佳真实的反应实际情况,提升了数据的可靠性,在完成异常值处理后,再进行噪音数据处理等,然后将多个数据源中的数据结合存放在一个一致的数据存储中,形成统一的标准化输出。
72.在一些实施例中,数据索引引擎子系统602用于建立索引,可以提升数据处理性能,提高数据的处理能力。
73.在一些实施例中,数据库引擎子系统603用于控制访问权限并快速处理事务,实现处理系统大量数据的要求。
74.在一些实施例中,课题成果知识化管理子系统206用于对论文、报告以及专利的管理。
75.以白洋淀区域为例,课题成果知识化管理子系统206将生态环境监测数据的相关课题的成果数据采用统一的格式化管理。作为示例,课题成果知识化管理子系统206可以与单独服务器进行连接,避免因直接连接而容易造成数据丢失的问题,所有数据传输均通过单独的服务器进行秘钥验证,再通过单独的服务器进行数据获取,并在完成数据输出后,能够及时的进行服务器内数据的清除,有效的保证课题成果知识化管理子系统206的安全,改变直接传输的方式。
76.在一些实施例中,展示层104可以包括生态数据示范系统207,生态数据示范系统207用于将生态环境监测指标数据进行可视化展示。
77.生态数据示范系统207可以包括态势感知、生态环境监测、实时监控、生态环境治理和课题成果管理等方面。
78.以白洋淀区域为例,生态数据示范系统207采用最新发展的三维立体网格可视化技术完成白洋淀的数字化呈现,实现白洋淀生态数据的数据采集与汇聚、课题成果的知识化管理、科研指标的统计分析、数字化成果的可视化展示功能。
79.其中,态势感知可以通过白洋淀的生态数据的变化趋势,展示白洋淀的生态环境的状态;生态环境监测可以展示监测设备接收的生态环境的数据变化情况以及地理位置;实时监控可以展示监控视频的文件流;生态环境治理可以通过gis三维地图与热成像等技术展示水治理动画,通过时空索引与热成像技术结合展示整个白洋淀生态环境治理的过程;课题成果管理可以展示课题成果的文档、会议纪要、ppt(microsoft office powerpoint,演示文稿)、视频文件等资料。
80.在一些实施例中,数据处理系统整体采用前后端分离架构,后端提供分布式
restfull(representational state transfer,具象状态传输)接口,通过oauth2(open authorization2,开放授权协议)保护资源接口,服务器操作系统选用linux(linux内核基础上开发的操作系统)系统,动态可视化缓存数据库采用postgresql(对象-关系型数据库系统)数据库和mysql(structured query language,结构化查询语言)数据库。可以基于生态环境数据,采用最新发展的三维立体网格可视化技术完成生态环境的数字化呈现,实现生态数据的数据采集与汇聚、课题成果的知识化管理、科研指标的统计分析、数字化成果的可视化展示功能。
81.以白洋淀为例,本数据处理系统可以实现白洋淀三维可视化模型渲染、物联网实时感知、项目案例及数据平台、生态环境智慧分析、课题成果的知识化管理、实时视频监控等功能。其中白洋淀三维可视化模型渲染旨在接入白洋淀的三维模型及各课题项目的三维模型,呈现白洋淀流域的三维全貌,实现白洋淀生态环境的数据监测分析与呈现。物联网实时感知通过接入物联网实时生态监测数据,进行实时动态的数据呈现和历史数据索引,实现白洋淀生态环境的物联感知。项目案例及数据平台对白洋淀生态环境治理的各个项目进行综合呈现,汇聚各个项目的监测及成果数据,实现一系统多项目的管理方式,从宏观上管理和治理白洋淀生态环境。生态环境智慧分析对白洋淀生态环境治理的成果和研究数据进行时空变化展示,实现白洋淀水治理的技术手段展示和分析。课题成果的知识化管理对白洋淀生态环境研究与治理相关的课题成果进行知识化管理呈现。实时视频监控通过接入白洋淀生态环境的实时监控数据,实现对监测区域的全天候动态监测。
82.结合白洋淀生态治理的实际需求,开展数字白洋淀生态数据应用系统的研究,通过采集生态环境监测设备的感知数据、构建白洋淀全域三维模型和项目bim模型(building information modeling,建筑信息化模型),对白洋淀全域及其项目bim模型进行全方位可视化呈现,形成对白洋淀环境监测和生态治理的数字化管理、bim应用管理和白洋淀课题成果管理。
83.有益效果:(1)本发明提供的数据处理系统实现了对生态环境全生命周期的数据的监测与管理,能够对获取的数据进行源数据清洗、处理、融合,将无序数据有序化,逐步实现数据资源整合、信息共享,全数据治理的全流程的实时监控,有效解决数据资源不可知、数据质量不可控、数据关系不可联、数据脉络不清晰的痛点问题。
84.(2)本发明提供的数据处理系统通过生态环境数据与gis三维地图的结合,通过多维度分析整合生态环境相关环境参数,全局把控白洋淀整体环境参数,智能化动态展示生态环境、生态环境项目和生态环境数据。
85.(3)本发明通过实时地监测生态环境指标,可以提高对生态环境的管理和生态环境治理的效率。
86.应理解,在本技术的各种实施例中,各实施过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本技术实施例的实施过程构成任何限定。
87.以上,仅为本技术的实施例而已,并非用于限定本技术的保护范围。凡在本技术的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本技术的保护范围之内。

技术特征:
1.一种数据处理系统,其特征在于,所述数据处理系统包括:基础数据层、生态块数据层、应用层和展示层;所述基础数据层,用于基于至少两种渠道获取针对同一生态环境的全生命周期的数据,并将所获取的数据发送至所述生态块数据层;所述生态块数据层,用于对所述基础数据层所获取的数据进行第一处理,得到基于数据类型分类的至少两个数据库;以及对各所述数据库的数据进行实时监控;所述应用层,用于对所述数据库中的数据进行第二处理,并对经第二处理后的数据进行渲染;所述展示层,用于对所述应用层的数据进行可视化展示。2.根据权利要求1所述的数据处理系统,其特征在于,所述应用层,具体用于获取生态环境对应的三维模型;基于获取所述三维模型的相机的角度和可视范围,确定需要渲染的对象;对所述需要渲染的对象进行渲染。3.根据权利要求1所述的数据处理系统,其特征在于,所述应用层,还用于对所述数据库中的数据进行第二处理,并对经第二处理后的数据进行渲染,基于获取所述三维模型的相机的角度确定渲染精度。4.根据权利按要求3所述的方法,其特征在于,所述应用层,具体用于执行下述至少一项:基于用户的可视范围,确定第一区域对应的渲染精度为第一精度,确定第二区域对应的渲染精度为第二精度,所述第一精度大于第二精度;基于所述相机的角度和所述相机的可视范围,确定第三区域对应的渲染精度为第三精度,确定所述第三区域对应的渲染范围为第三范围,确定第四区域对应的渲染精度为第四精度,确定所述第四区域对应的渲染范围为第四范围;所述第三精度大于所述第四精度,所述第三范围小于所述第四范围。5.根据权利要求2所述的方法,其特征在于,所述应用层,具体用于:对所述三维模型对应的物理信息进行逻辑处理,得到逻辑处理结果;基于所述逻辑处理结果,预加载所述生态环境对应的多媒体信息;响应于针对所述多媒体信息的点击事件,播放所述多媒体信息。6.根据权利要求5所述的方法,其特征在于,所述应用层,具体用于基于所述三维模型的物理信息对应的模型名称、模型类型、模型位置、模型贴图和模型方向中的至少一项加载三维模型,对所述三维模型进行修改。7.根据权利要求1所述的数据处理系统,其特征在于,所述至少两个数据库包括下述中的至少两项:用于存储水环境信息的数据库、用于存储被治理的生态治理环境信息的数据库、用于存储科研项目信息的数据库、用于存储设备信息的数据库、用于存储科研成果信息的数据库和用于存储生态环境监测数据的数据库。8.根据权利要求1所述的数据处理系统,其特征在于,所述基础数据层,用于基于监测设备的设备数据、项目相关的视频数据、科研相关的科研数据、物联网设备对生态环境实时的监测数据中至少两种获取针对同一生态环境的全生命周期的数据。
9.根据权利要求1所述的数据处理系统,其特征在于,所述生态块数据层,用于将所述各所述数据库的数据在多个服务器上进行分布式存储。

技术总结
本申请提供了一种数据处理系统;所述系统包括:基础数据层、生态块数据层、应用层和展示层;所述基础数据层,用于基于至少两种渠道获取针对同一生态环境的数据,并将所获取的数据发送至所述生态块数据层;所述生态块数据层,用于对所述基础数据层所获取的数据进行第一处理,得到基于数据类型分类的至少两个数据库;以及对各所述数据库的数据进行实时监控;所述应用层,用于对所述数据库中的数据进行第二处理,并对经第二处理后的数据进行渲染。本申请提供的数据处理系统,可以实时地监测生态环境指标,对获取的生态数据进行动态展示,提高对生态环境的管理和生态环境治理的效率。高对生态环境的管理和生态环境治理的效率。高对生态环境的管理和生态环境治理的效率。


技术研发人员:赵龙军 崔丹丹
受保护的技术使用者:中国雄安集团数字城市科技有限公司
技术研发日:2022.06.16
技术公布日:2022/11/1
转载请注明原文地址: https://tieba.8miu.com/read-11631.html

最新回复(0)