一种数据处理方法、电子设备及计算机可读存储介质与流程

专利2025-12-07  12


本技术涉及数据处理,特别是涉及一种数据处理方法、电子设备及计算机可读存储介质。


背景技术:

1、随着信息技术的发展,数据的处理和分析的需求逐渐增多。在对数据处理和分析时往往需要对数据进行查询,现有的数据查询都是要在存储原始数据的数据库进行,需要资源开销比较大且耗时也比较久,故查询性能较低,因此,亟需一种方式能够提高数据的查询性能。


技术实现思路

1、本技术主要解决的技术问题是提供一种数据处理方法、电子设备及计算机可读存储介质,能够提高数据的查询性能。

2、为解决上述技术问题,本技术采用的一个技术方案是:提供一种数据处理方法,该方法包括:接收对数据库的当前查询请求,其中,数据库包括多个分区,当前查询请求包括至少一个分区条件,各分区条件分别用于从一分区中查询数据;对于各分区条件,从目标缓存空间中查找与分区条件匹配的缓存分区数据,以作为分区条件对应的匹配分区数据,其中,各缓存分区数据单独缓存于目标缓存空间,且各缓存分区数据分别为一分区中与历史查询请求匹配的数据;将查找到的匹配分区数据作为当前查询请求的查询结果。

3、其中,在对于各分区条件,从目标缓存空间中查找与分区条件匹配的缓存分区数据,以作为分区条件对应的匹配分区数据之前,还包括:将当前查询请求拆分为至少一个子请求,每个子请求包含一个分区条件;对于各分区条件,从目标缓存空间中查找与分区条件匹配的缓存分区数据,以作为分区条件对应的匹配分区数据,包括:对于各子请求,从目标缓存空间中查找与子请求匹配的缓存分区数据,以作为子请求中的分区条件对应的匹配分区数据。

4、其中,所述目标缓存空间中缓存有各所述缓存分区数据对应的历史查询请求的历史类型表征值;所述从所述目标缓存空间中查找与所述子请求匹配的缓存分区数据,以作为所述子请求中的分区条件对应的匹配分区数据,包括:确定所述子请求的当前类型表征值;从目标缓存空间缓存的各历史类型表征值中,查找是否存在与所述当前类型表征值一致的匹配历史类型表征值;响应于存在匹配历史类型表征值,从与匹配历史类型表征值对应的各缓存分区数据中,查找与子请求对应的分区条件匹配的缓存分区数据,以作为子请求中的分区条件对应的匹配分区数据。

5、其中,各分区条件是以当前查询请求的查询字段划分的,查询字段至少包括分区字段,确定子请求的当前类型表征值,包括:去除子请求对应的分区字段,并对经去除后的子请求进行非对称加密,得到子请求的加密结果,以作为当前类型表征值;和/或,各历史类型表征值对应的缓存分区数据是以键值对的数据结构进行缓存的,其中,各历史类型表征值分别为第一键,历史类型表征值对应的各缓存分区数据作为第一键对应的第一值。

6、其中,第一值中的各缓存分区数据是以键值对的数据结构进行缓存,其中,在一第一值中,各分区对应的分区信息为第二键,分区对应的缓存分区数据为第二键对应的第二值,分区信息包括分区名称、分区版本号和分区版本的更新时间中的至少一者。

7、其中,该方法还包括:响应于分区条件为未匹配条件,分别从数据库的多个分区中查找出未匹配条件匹配的原始分区数据,以作为未匹配条件对应的匹配分区数据,其中,未匹配条件为目标缓存空间中不存在匹配的缓存分区数据的目标分区条件;将未匹配条件对应的匹配分区数据分别作为新的缓存分区数据,缓存于目标缓存空间。

8、其中,多个分区包括至少一个冷分区和至少一个热分区;目标缓存空间的各缓存分区数据包括冷分区对应的缓存分区数据和第一热分区对应的缓存分区数据;将未匹配条件匹配的匹配分区数据分别作为新的缓存分区数据,缓存于目标缓存空间,包括:响应于匹配分区数据对应的分区为冷分区或者为第一热分区,将匹配分区数据作为新的缓存分区数据,缓存于目标缓存空间,其中,第一热分区为当前不处于更新频繁状态的热分区;在响应于分区条件为未匹配条件,分别从数据库的多个分区中查找出未匹配条件匹配的匹配分区数据之后,还包括:响应于匹配分区数据对应的分区为第二热分区,不缓存匹配分区数据,第二热分区为当前处于更新频繁状态的热分区。

9、其中,多个分区包括至少一个冷分区;该方法还包括:响应于数据库中一冷分区发生数据更新,且冷分区存在对应的缓存分区数据,将发生数据更新的冷分区的缓存分区数据进行更新;从目标缓存空间中查找与分区条件匹配的缓存分区数据,以作为分区条件对应的匹配分区数据,包括:从目标缓存空间中查找与分区条件匹配的缓存分区数据;响应于目标缓存空间中存在与分区条件匹配的缓存分区数据,且分区条件为冷分区对应的第一分区条件,读取第一分区条件匹配的缓存分区数据,作为第一分区条件对应的匹配分区数据。

10、其中,多个分区包括至少一个热分区;该方法还包括:响应于数据库中一热分区发生数据更新,且热分区存在对应的缓存分区数据,对发生数据更新的热分区的缓存分区数据进行不更新处理;从目标缓存空间中查找与分区条件匹配的缓存分区数据,以作为分区条件对应的匹配分区数据,包括:从目标缓存空间中查找与分区条件匹配的缓存分区数据;响应于目标缓存空间中存在与分区条件匹配的缓存分区数据,且分区条件为第一热分区对应的第二分区条件,更新目标缓存空间中与第二分区条件匹配的缓存分区数据后,作为第二分区条件对应的匹配分区数据,其中,第一热分区为当前不处于更新频繁状态的热分区;响应于目标缓存空间中存在与分区条件匹配的缓存分区数据,且分区条件为第二热分区对应的第三分区条件,从数据库的第二热分区中查找出第三分区条件匹配的原始分区数据,以作为第三分区条件对应的匹配分区数据,其中,第二热分区为当前处于更新频繁状态的热分区。

11、其中,多个分区包括至少一个热分区;该方法还包括:响应于数据库中一第一热分区发生数据更新,且第一热分区存在对应的缓存分区数据,对发生数据更新的第一热分区的缓存分区数据进行更新处理,其中,第一热分区为当前不处于更新频繁状态的热分区;响应于数据库中一第二热分区发生数据更新,且第二热分区存在对应的缓存分区数据,删除发生数据更新的第二热分区的缓存分区数据,或者将发生数据更新的第二热分区的缓存分区数据设置为无效状态,其中,无效状态的缓存分区数据将不再被读取,且在下次发生更新的情况下重新恢复为有效状态,第二热分区为当前处于更新频繁状态的热分区;从目标缓存空间中查找与分区条件匹配的缓存分区数据,以作为分区条件对应的匹配分区数据,包括:从目标缓存空间中查找与分区条件匹配的缓存分区数据;响应于目标缓存空间中存在与分区条件匹配的有效的缓存分区数据,且分区条件为热分区对应的第四分区条件,读取第四分区条件匹配的缓存分区数据,作为第四分区条件对应的匹配分区数据;或者,响应于目标缓存空间中存在与分区条件匹配的无效的缓存分区数据,且分区条件为热分区对应的第四分区条件,从数据库的对应的热分区中查找出第四分区条件匹配的原始分区数据,以作为第四分区条件对应的匹配分区数据。

12、其中,处于更新频繁状态的热分区为更新时间间隔小于第一时间段的热分区,或者为最近第二时间段内发生过更新的热分区。

13、其中,该方法还包括:响应于目标缓存空间满足删减条件,删减目标缓存空间中的至少一条缓存分区数据。其中,删减条件包括目标缓存空间的存储量达到目标上限值;和/或,删减目标缓存空间中的至少一条缓存分区数据,包括:按照目标缓存空间中的各缓存分区数据的权重,确定按照目标缓存空间中的各缓存分区数据的删减顺序;按照删减顺序对目标缓存空间中的缓存分区数据进行删减,直至缓存分区数据的删减条数达到目标条数或者目标缓存空间不再满足删减条件。

14、其中,缓存分区数据的权重,是由缓存分区数据对应的历史查询请求在第三时间段内的出现次数确定的。

15、其中,数据库的数据存储在若干硬盘的各分区中,相同类型的查询请求分配到同一硬盘进行处理;和/或,数据库的数据存储在若干硬盘的各分区中,其中,目标缓存空间包括若干硬盘的进程中的缓存空间,其中,历史查询请求分配到的硬盘为请求分配硬盘,历史查询请求对应的缓存分区数据缓存在请求分配硬盘的进程中的缓存空间;和/或,当前查询请求和历史查询请求的路由转发是采用一致性哈希来实现的;和/或,各分区条件是以当前查询请求的查询字段划分的,查询字段至少包括分区字段。

16、为解决上述技术问题,本技术采用的另一个技术方案是:提供一种电子设备,该设备包括存储器和处理器,存储器与处理器耦接,存储器中存储有程序指令,以实现如上述任一项的数据处理方法。

17、为解决上述技术问题,本技术采用的另一个技术方案是:提供一种计算机可读存储介质,其上存储有计算程序,该程序被处理执行实现如上述任一项的数据处理方法。

18、本技术的有益效果是:区别于现有技术的情况,本技术通过将历史查询到的数据库的各分区数据独立缓存在目标缓存空间,以作为不同的缓存分区数据,当接收到当前查询请求时,直接从目标缓存空间中查询匹配的缓存分区数据作为当前查询请求的查询结果,即针对历史查询过的分区数据,可以直接从缓存空间中读取到对应的缓存分区数据,无需重新从数据库中进行查询,故减小了查询资源的开销和查询耗时,进而提升了数据的查询性能。


技术特征:

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,在所述对于各所述分区条件,从所述目标缓存空间中查找与所述分区条件匹配的缓存分区数据,以作为所述分区条件对应的匹配分区数据之前,还包括:

3.根据权利要求2所述的方法,其特征在于,所述目标缓存空间中缓存有各所述缓存分区数据对应的所述历史查询请求的历史类型表征值;

4.根据权利要求3所述的方法,其特征在于,各所述分区条件是以所述当前查询请求的查询字段划分的,所述查询字段至少包括分区字段,所述确定所述子请求的当前类型表征值,包括:

5.根据权利要求4所述的方法,其特征在于,所述第一值中的各所述缓存分区数据是以键值对的数据结构进行缓存,其中,在一所述第一值中,各所述分区对应的分区信息为第二键,所述分区对应的所述缓存分区数据为所述第二键对应的第二值,所述分区信息包括分区名称、分区版本号和分区版本的更新时间中的至少一者。

6.根据权利要求1所述的方法,其特征在于,所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,所述多个分区包括至少一个冷分区和至少一个热分区;所述目标缓存空间的各所述缓存分区数据包括所述冷分区对应的缓存分区数据和第一热分区对应的缓存分区数据;

8.根据权利要求1所述的方法,其特征在于,所述多个分区包括至少一个冷分区;

9.根据权利要求1所述的方法,其特征在于,所述多个分区包括至少一个热分区;

10.根据权利要求1所述的方法,其特征在于,所述多个分区包括至少一个热分区;

11.根据权利要求7或9或10所述的方法,其特征在于,所述处于更新频繁状态的热分区为更新时间间隔小于第一时间段的热分区,或者为最近第二时间段内发生过更新的热分区。

12.根据权利要求1所述的方法,其特征在于,所述方法还包括:

13.根据权利要求12所述的方法,其特征在于,所述删减条件包括所述目标缓存空间的存储量达到目标上限值;

14.根据权利要求13所述的方法,其特征在于,所述缓存分区数据的权重,是由所述缓存分区数据对应的历史查询请求在第三时间段内的出现次数确定的。

15.根据权利要求1所述的方法,其特征在于,所述数据库的数据存储在若干硬盘的各分区中,相同类型的查询请求分配到同一硬盘进行处理;

16.一种电子设备,其特征在于,该设备包括存储器和处理器,所述存储器与所述处理器耦接,存储器中存储有程序指令,以实现如权利要求1至15任一项所述的数据处理方法。

17.一种计算机可读存储介质,其上存储有计算程序,其特征在于,该程序被处理执行实现如权利要求1至15任一项所述的数据处理方法。


技术总结
本申请公开了一种数据处理方法、电子设备及计算机可读存储介质,该方法包括:接收对数据库的当前查询请求,其中,数据库包括多个分区,当前查询请求包括至少一个分区条件,各分区条件分别用于从一分区中查询数据;对于各分区条件,从目标缓存空间中查找与分区条件匹配的缓存分区数据,以作为分区条件对应的匹配分区数据,其中,各缓存分区数据单独缓存于目标缓存空间,且各缓存分区数据分别为一分区中与历史查询请求匹配的数据;将查找到的匹配分区数据作为当前查询请求的查询结果。通过上述方式,本申请减小了查询资源的开销和查询耗时,进而提升了数据的查询性能。

技术研发人员:朱林浩,姜亚芸
受保护的技术使用者:浙江大华技术股份有限公司
技术研发日:
技术公布日:2024/11/11
转载请注明原文地址: https://tieba.8miu.com/read-18101.html

最新回复(0)