本公开涉及一种数据导出方法、装置、系统、存储介质及计算机程序产品。
背景技术:
1、随着大数据、人工智能等技术的快速发展,互联网上产生了海量数据,数据已经成为当今信息化时代的核心资源之一。为了便于数据的流转,经常需要从数据库中导出数据;例如,将数据库的一部分或全部导出为excel文件等。
2、现有的数据导出技术,通常需要将数据库的数据加载到内存中进行处理,实现数据导出。
3、然而,内存的容量是有限的,如果一次性加载的数据量过大,超过内存的限制时,会导致内存溢出,进而导致程序崩溃或者性能下降。
技术实现思路
1、本公开提供了一种数据导出方法、装置、系统、存储介质及计算机程序产品。
2、根据本公开的一个方面,提供一种数据导出方法,包括:
3、获取用户终端发送的数据导出请求;
4、根据所述数据导出请求执行第一查询操作;
5、拦截所述第一查询操作的入口方法;
6、根据所述入口方法的参数和预设构造规则获取流式查询语句;
7、根据所述数据导出请求设置所述流式查询语句对应的流式查询相关参数;
8、根据所述流式查询语句和流式查询相关参数执行流式查询操作,得到流式查询结果;
9、向所述用户终端发送所述流式查询结果对应的导出数据。
10、根据本公开的至少一个实施方式的数据导出方法,所述拦截所述第一查询操作的入口方法,包括:
11、根据所述数据导出请求判断是否实施流式查询操作;
12、如果实施流式查询操作,拦截所述第一查询操作的入口方法;
13、其中,所述流式查询操作与所述第一查询操作使用的查询策略不同。
14、根据本公开的至少一个实施方式的数据导出方法,所述根据所述数据导出请求判断是否实施流式查询操作,包括:
15、根据所述数据导出请求获取导出数据量和导出页数;
16、获取预设最大并发任务量;
17、判断所述导出数据量是否大于预设第一阈值;
18、如果所述导出数据量大于所述预设第一阈值,比较所述导出页数和所述最大并发任务量的大小关系;
19、如果所述导出页数大于所述最大并发任务量,实施流式查询操作。
20、根据本公开的至少一个实施方式的数据导出方法,所述根据所述数据导出请求判断是否实施流式查询操作,还包括:
21、如果所述导出数据量不大于所述预设第一阈值,获取所述第一查询操作对应的第一查询结果;
22、向所述用户终端发送所述第一查询结果对应的导出数据。
23、根据本公开的至少一个实施方式的数据导出方法,所述根据所述数据导出请求判断是否实施第二查询操作,还包括:
24、如果所述导出页数小于所述最大并发任务量,拦截所述第一查询操作获取的第一查询语句;
25、根据所述数据导出请求将所述第一查询语句转换为分页查询语句;
26、根据所述分页查询语句执行分页查询操作,得到分页查询结果;
27、向所述用户终端发送所述分页查询结果对应的导出数据。
28、根据本公开的至少一个实施方式的数据导出方法,所述根据所述流式查询语句和流式查询相关参数执行流式查询操作,得到流式查询结果,包括:
29、根据所述流式查询语句和流式查询相关参数获取流式数据;
30、判断获取的流式数据是否达到所述数据导出请求对应的导出数据量;
31、如果未达到,对当前流式数据的后续数据执行所述根据所述流式查询语句和流式查询相关参数获取流式数据;
32、如果达到,将获取的流式数据汇总,得到所述流式查询结果。
33、根据本公开的再一方面,提供了一种数据导出装置,包括:
34、存储器,所述存储器存储计算机程序;以及
35、处理器,所述处理器执行所述存储器存储的计算机程序,使得所述处理器执行本公开任一个实施方式的数据导出方法。
36、根据本公开的另一方面,提供了一种数据导出系统,包括:
37、至少一个用户终端和本公开任一个实施方式的数据导出装置;所述至少一个用户终端与所述数据导出装置进行通信连接,执行数据导出过程。
38、根据本公开的又一个方面,提供一种可读存储介质,所述可读存储介质中存储有执行指令,所述执行指令被处理器执行时用于实现本公开任一个实施方式的数据导出方法。
39、根据本公开的另一个方面,提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时至少用于实现本公开任一个实施方式的数据导出方法。
1.一种数据导出方法,其特征在于,包括:
2.根据权利要求1所述的数据导出方法,其特征在于,所述拦截所述第一查询操作的入口方法,包括:
3.根据权利要求2所述的数据导出方法,其特征在于,所述根据所述数据导出请求判断是否实施流式查询操作,包括:
4.根据权利要求3所述的数据导出方法,其特征在于,所述根据所述数据导出请求判断是否实施流式查询操作,还包括:
5.根据权利要求3所述的数据导出方法,其特征在于,所述根据所述数据导出请求判断是否实施第二查询操作,还包括:
6.根据权利要求1至5中任意一项所述的数据导出方法,其特征在于,所述根据所述流式查询语句和流式查询相关参数执行流式查询操作,得到流式查询结果,包括:
7.一种数据导出装置,其特征在于,包括:
8.一种数据导出系统,其特征在于,包括:
9.一种可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时用于实现如权利要求1至6中任一项所述的数据导出方法。
10.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时至少用于实现如权利要求1至6中任一项所述的数据导出方法。