本技术属于大数据采集与处理，尤其涉及一种基于hudi的数据采集处理系统、方法、电子设备及介质。
背景技术：
1、
2、当前政务大数据处理系统通常采用lambda架构构建，以hadoop+hive的离线采集和离线数据仓库为主，结合spark等技术实现流批处理。但是，随着数据量的持续增加和实时业务需求越来越多，同时，业务数据伴随着经常的数据修改和新增等，当前框架难以满足系统对海量数据的实时计算处理。例如，数据处理和查询效率低下，对于新增/修改的数据不能实时有效地实现数据同步。而且，当前数据处理系统通常分为离线数仓和实时数仓两条数据链路，而这两个链路通常由两个开发团队进行开发和运维，这样的系统架构难以保障数据的一致性，且架构复杂、链路长，消耗的资源。
技术实现思路
1、为克服相关技术中存在的问题，本技术实施例提供了一种基于hudi的数据采集处理系统、方法、电子设备及介质，以优化数据处理系统的链路，提高数据处理的时效性和资源的利用效率。
2、本技术是通过如下技术方案实现的：
3、第一方面，本技术实施例提供了一种基于hudi的数据采集处理系统，包括数据采集模块、湖仓一体处理模块和数据应用模块；
4、所述数据采集模块，用于采集多个业务数据库中的业务数据，并将所述业务数据增量同步至所述湖仓一体处理模块中；其中，所述业务数据包括离线数据和实时数据；
5、所述湖仓一体处理模块，用于对所述离线数据和所述实时数据进行统一存储和处理，得到应用指标数据；
6、所述数据应用模块，用于根据用户指令对所述湖仓一体处理模块中的所述应用指标数据进行关联查询。
7、结合第一方面，在一些实施例中，所述湖仓一体处理模块具体用于：
8、通过flinksql对所述离线数据和所述实时数据进行预处理，并构建维度表和事实表；对所述维度表和所述事实表进行聚合关联，构建数据宽表集；基于不同的预设指标、预设维度和所述数据宽表集，构建指标数据表，得到不同数据集市的应用指标数据。
9、结合第一方面，在一些实施例中，所述湖仓一体处理模块包括hudi表；所述数据采集模块具体用于：
10、通过flinkcdc实时捕获所述多个业务数据库的binlog日志，对各个业务数据库的变更数据进行实时采集，并统一存储至所述hudi表中。
11、结合第一方面，在一些实施例中，所述湖仓一体处理模块包括hudi表；所述数据采集模块还用于：
12、对于第一业务场景，采用merge on read策略，将所述业务数据写入hudi表中；其中，所述第一业务场景为对数据库的写入请求量大于读取请求量的业务场景；
13、对于第二业务场景，采用copy on write策略，将所述业务数据写入所述hudi表中；其中，所述第二业务场景为对数据库的写入请求量小于读取请求量的业务场景。
14、结合第一方面，在一些实施例中，所述湖仓一体处理模块，还用于基于预设的周期性的savepoint，对hudi表的元数据信息进行存储；当访问所述savepoint时，基于所述元数据信息映射到所述hudi表对应的真实的数据文件。
15、结合第一方面，在一些实施例中，所述湖仓一体处理模块，还用于在访问快照视图时，通过所述savepoint中预设的过滤器，对误差数据进行过滤；其中，所述误差数据为处理时间和事件时间不是相同日期的数据。
16、结合第一方面，在一些实施例中，所述数据应用模块包括数据科学应用单元、可视化大屏单元、报表单元和数据分析单元；所述用户指令包括第一指令、第二指令、第三指令和第四指令；所述湖仓一体处理模块包括多个异构数据源，所述多个异构数据源包括hdfs、hudi、hbase、elasticsearch、doris；
17、所述数据科学应用单元，用于根据用户输入的所述第一指令，通过统一sql引擎查询至少一个异构数据源的第一应用指标数据，并通过统一sql接口，将所述第一应用指标数据写入异源数据库；其中，所述异源数据库为所述多个业务数据库之外的其他数据库；
18、所述可视化大屏单元，用于根据所述用户输入的所述第二指令，通过统一sql引擎查询所述湖仓一体处理模块中的第二应用指标数据，并显示所述第二应用指标数据；
19、所述报表单元，用于根据所述用户输入的所述第三指令，通过统一sql引擎查询所述湖仓一体处理模块中的第三应用指标数据，基于所述第三应用指标数据，生成目标报表；
20、所述数据分析单元，用于根据所述用户输入的所述第四指令，通过所述统一sql引擎查询至少一个异构数据源的第四应用指标数据，并通过所述统一sql接口，将所述第四应用指标数据写入所述异源数据库进行数据分析，得到数据分析结果。
21、第二方面，本技术实施例提供了一种基于hudi的数据采集处理方法，包括：
22、采集多个业务数据库中的业务数据，并将所述业务数据增量同步至hudi中；其中，所述业务数据包括离线数据和实时数据；
23、在hudi中对所述离线数据和所述实时数据进行统一存储和处理，得到应用指标数据；
24、根据用户指令对hudi中的所述应用指标数据进行关联查询，并对用户查询的应用指标数据进行可视化展现。
25、第三方面，本技术实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第二方面所述的基于hudi的数据采集处理方法。
26、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第二方面所述的基于hudi的数据采集处理方法。
27、第五方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第二方面所述的基于hudi的数据采集处理方法。
28、本技术实施例与相关技术相比存在的有益效果是：
29、本技术实施例提供一种基于hudi的数据采集处理系统、方法、电子设备及介质，该系统包括数据采集模块、湖仓一体处理模块和数据应用模块；通过数据采集模块，从多个业务数据库中同时采集离线数据和实时数据，并将离线数据和实时数据增量同步至湖仓一体处理模块中；通过湖仓一体处理模块，对离线数据和实时数据进行统一存储和处理，得到应用指标数据；通过数据应用模块，实现根据用户指令直接对湖仓一体处理模块中的应用指标数据的关联查询。该系统的数据采集模块整合了离线采集和实时采集的链路，对各个业务数据库的变动数据进行实时的数据采集，能够提升数据新鲜度；湖仓一体数据处理模块可以对数据进行统一存储及处理，简化了数据处理链路；数据应用模块可以实现湖内异构数据源的关联查询。故上述基于hudi的数据采集处理系统优化了数据处理系统的链路，提高了数据处理的时效性和资源的利用效率。
30、可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
31、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
1.一种基于hudi的数据采集处理系统，其特征在于，包括数据采集模块、湖仓一体处理模块和数据应用模块；
2.如权利要求1所述的基于hudi的数据采集处理系统，其特征在于，所述湖仓一体处理模块具体用于：
3.如权利要求1所述的基于hudi的数据采集处理系统，其特征在于，所述湖仓一体处理模块包括hudi表；所述数据采集模块具体用于：
4.如权利要求1所述的基于hudi的数据采集处理系统，其特征在于，所述湖仓一体处理模块包括hudi表；所述数据采集模块还用于：
5.如权利要求1所述的基于hudi的数据采集处理系统，其特征在于，所述湖仓一体处理模块，还用于基于预设的周期性的savepoint，对hudi表的元数据信息进行存储；当访问所述savepoint时，基于所述元数据信息映射到所述hudi表对应的真实的数据文件。
6.如权利要求1所述的基于hudi的数据采集处理系统，其特征在于，所述湖仓一体处理模块，还用于在访问快照视图时，通过所述savepoint中预设的过滤器，对误差数据进行过滤；其中，所述误差数据为处理时间和事件时间不是相同日期的数据。
7.如权利要求1所述的基于hudi的数据采集处理系统，其特征在于，所述数据应用模块包括数据科学应用单元、可视化大屏单元、报表单元和数据分析单元；所述用户指令包括第一指令、第二指令、第三指令和第四指令；所述湖仓一体处理模块包括多个异构数据源，所述多个异构数据源包括hdfs、hudi、hbase、elasticsearch、doris；
8.一种基于hudi的数据采集处理方法，其特征在于，包括：
9.一种电子设备，包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求8所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求8所述的方法。
