数据处理方法、装置、设备、存储介质和程序产品与流程

专利2025-07-15  18


本申请涉及数据存储,尤其涉及数据处理方法、数据处理装置、数据处理设备、存储介质和程序产品。


背景技术:

1、目前,数据库系统中常用的mysql与redis的组合存在较为普遍的数据一致性问题,许多系统采用各种方案来保持mysql与redis的数据一致性和实时同步,比如写穿缓存和缓存旁路模式。然而,现有的技术方案通常只是单向同步或简单的数据覆盖,或者采用定时任务进行定期全量对比,以上方案对数据类型的针对性不强,导致数据同步效率低下。

2、上述内容仅用于辅助理解本申请的技术方案,并不代表承认上述内容是现有技术。


技术实现思路

1、本申请的主要目的在于提供一种数据处理方法、数据处理装置、数据处理设备、存储介质和程序产品,旨在解决数据同步效率低下的技术问题。

2、为实现上述目的,本申请提出一种数据处理方法,所述数据处理方法包括:

3、在客户端发起数据变更请求时,确定响应所述数据变更请求的变更数据为配置数据或业务数据;

4、若所述变更数据为配置数据,则在成功将所述变更数据同步至redis缓存之后,将所述变更数据同步至mysql数据库中;

5、若所述变更数据为业务数据,则将所述业务数据同步至mysql数据库中。

6、在一实施例中,所述数据处理方法还包括:

7、在启动客户端并加载一系列启动数据表时,确定当前待加载数据表保存配置数据或业务数据;

8、若保存配置数据,则在redis缓存中确定是否存在所述待加载数据;在redis缓存中存在所述待加载数据时,从redis缓存中加载所述待加载数据;在redis缓存中不存在所述待加载数据时,从mysql数据库中加载所述待加载数据;

9、若保存业务数据,则从mysql数据库中加载所述待加载数据。

10、在一实施例中,所述数据处理方法还包括:

11、在进行数据一致性检测时,分别从redis缓存和mysql数据库中读取待校验的配置数据表;

12、基于配置数据表的数据记录,对redis缓存和mysql数据库进行数据修复。

13、在一实施例中,所述基于配置数据表的数据记录,对redis缓存和mysql数据库进行数据修复的步骤,包括:

14、比较配置数据表的数据记录中包含的字段信息是否相同;

15、在字段信息不相同时,判断配置数据表的数据记录的版本号是否相同;

16、根据版本号比较结果,在redis缓存和mysql数据库之间进行配置数据表的数据记录的数据修复。

17、在一实施例中,所述根据版本号比较结果,在redis缓存和mysql数据库之间进行配置数据表的数据记录的数据修复的步骤,包括:

18、在版本号相同时,将redis缓存中的数据记录同步为mysql数据库中的数据记录;

19、在版本号不相同时,将redis缓存和mysql数据库版本号较小一侧的数据记录同步为版本号较大一侧的数据记录。

20、在一实施例中,所述比较配置数据表的数据记录中包含的字段信息是否相同的步骤,包括:

21、比较配置数据表的数据记录中的数据修改版本号是否相同;

22、在数据修改版本号相同时,对配置数据表的数据进行标准化处理,并比较标准化处理后的字符哈希值是否相同。

23、此外,为实现上述目的,本申请还提出一种数据处理装置,所述数据处理装置包括:

24、确定模块,用于在客户端发起数据变更请求时,确定响应所述数据变更请求的变更数据为配置数据或业务数据;

25、第一同步模块,用于若所述变更数据为配置数据,则在成功将所述变更数据同步至redis缓存之后,将所述变更数据同步至mysql数据库中;

26、第二同步模块,用于若所述变更数据为业务数据,则将所述业务数据同步至mysql数据库中。

27、此外,为实现上述目的,本申请还提出一种数据处理设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上文所述的数据处理方法的步骤。

28、此外,为实现上述目的,本申请还提出一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上文所述的数据处理方法的步骤。

29、此外,为实现上述目的,本申请还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现如上文所述的数据处理方法的步骤。

30、本申请提出的一个或多个技术方案,至少具有以下技术效果:

31、在本申请中,在客户端发起数据变更请求以启动数据库事务时,根据响应数据变更请求的变更数据的数据类型进行适应性的数据同步,将配置数据转存到redis缓存中,以提高数据访问效率,同时保持配置数据在mysql数据库中的持久性存储,以及将业务数据同步至mysql数据库中,以此针对数据类型进行适应性的数据同步,提高数据同步效率。



技术特征:

1.一种数据处理方法,其特征在于,所述数据处理方法包括:

2.如权利要求1所述的数据处理方法,其特征在于,所述数据处理方法还包括:

3.如权利要求1所述的数据处理方法,其特征在于,所述数据处理方法还包括:

4.如权利要求3所述的数据处理方法,其特征在于,所述基于配置数据表的数据记录,对redis缓存和mysql数据库进行数据修复的步骤,包括:

5.如权利要求4所述的数据处理方法,其特征在于,所述根据版本号比较结果,在redis缓存和mysql数据库之间进行配置数据表的数据记录的数据修复的步骤,包括:

6.如权利要求4所述的数据处理方法,其特征在于,所述比较配置数据表的数据记录中包含的字段信息是否相同的步骤,包括:

7.一种数据处理装置,其特征在于,所述数据处理装置包括:

8.一种数据处理设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如权利要求1至6中任一项所述的数据处理方法的步骤。

9.一种存储介质,其特征在于,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的数据处理方法的步骤。

10.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的数据处理方法的步骤。


技术总结
本申请公开了一种数据处理方法、数据处理装置、数据处理设备、存储介质和程序产品,涉及数据存储技术领域。在本申请中,在客户端发起数据变更请求以启动数据库事务时,根据响应数据变更请求的变更数据的数据类型进行适应性的数据同步,将配置数据转存到Redis缓存中,以提高数据访问效率,同时保持配置数据在MySQL数据库中的持久性存储,以及将业务数据同步至MySQL数据库中,以此针对数据类型进行适应性的数据同步,提高数据同步效率。

技术研发人员:代志涛,杨县委,朱云龙,孙曌华
受保护的技术使用者:季华实验室
技术研发日:
技术公布日:2024/11/11
转载请注明原文地址: https://tieba.8miu.com/read-15901.html

最新回复(0)