数据传输方法、装置及设备与流程

专利2025-05-14  14


本发明涉及分布式数据库,更具体地涉及一种数据传输方法、装置、设备、介质和程序产品。


背景技术:

1、数据库集群通常由多个数据节点组成,每个数据节点分布多个数据分片。在进行数据查询时,数据分片之间需要建立通信通道进行数据传输。

2、相关技术中,往往在接收到数据传输请求时,数据分片与数据分片之间建立传输链接,而在接收到新的数据传输请求时,仍需要在数据分片与数据分片之间建立新的传输链接,随着待传输数据的增多,构建的传输链接随之增加,使得系统的负担过大。


技术实现思路

1、鉴于上述问题,本发明提供了一种数据传输方法、装置、设备、介质和程序产品。

2、根据本发明的第一个方面,提供了一种数据传输方法,包括:获取待传输数据;建立任意两个数据传输节点之间的共享传输链接;调用会话管理器组件,创建与待传输数据对应的数据传输会话,其中,待传输数据与数据传输会话具有一一对应关系,数据传输会话用于接收和发送待传输数据;根据共享传输链接和数据传输会话,将待传输数据在任意两个数据传输节点之间进行数据传输,其中,共享传输链接和数据传输会话之间具有映射关系;在待传输数据传输完成后,清除与待传输数据对应的传输会话。

3、根据本发明的实施例,共享传输链接包括多条;根据共享传输链接和数据传输会话,将待传输数据在任意两个数据传输节点之间进行数据传输,包括:确定任意两个数据传输节点之间的共享传输链接的数量;根据共享传输链接的数量,在多条共享传输链接中确定目标共享传输链接;根据目标共享传输链接和数据传输会话,将待传输数据在任意两个数据传输节点之间进行数据传输,其中,目标传输链接和数据传输会话之间具有映射关系。

4、根据本发明的实施例,根据共享传输链接的数量,在多条共享传输链接中确定目标共享传输链接,包括:在共享传输链接的数量达到第一预设数量阈值的情况下,确定与每条共享传输链接对应的数据传输会话的数量;在多条共享传输链接中确定目标共享传输链接,其中,目标共享传输链接对应的数据传输会话的数量在与每条共享传输链接对应的数据传输会话的数量中数量最少。

5、根据本发明的实施例,根据共享传输链接的数量,在多条共享传输链接中确定目标传输链接,还包括:在共享传输链接的数量未达到第一预设数量阈值的情况下,创建新的共享传输链接,并将新的共享传输链接作为目标共享传输链接。

6、根据本发明的实施例,根据共享传输链接和数据传输会话,将待传输数据在任意两个数据传输节点之间进行数据传输,还包括:获取待传输数据的紧急标识信息,紧急标识信息表征待传输数据的传输的紧急程度;根据紧急标识信息,对待传输数据进行数据传输。

7、根据本发明的实施例,每条共享传输链接包括一个接收端和一个发送端;待传输数据包括多个数据包;上述方法还包括:确定接收端的接收窗口的预设接收数据数量;确定接收端对应的数据包的数量;在数据包的数量和接收窗口的预设接收数据数量不满足预设条件时,对数据包对应的数据传输会话进行延迟传输处理。

8、根据本发明的实施例,上述方法还包括:在对待传输数据进行数据传输之前,利用共享传输链接的发送端对待传输数据进行压缩处理;在待传输数据传输完成后,利用共享传输链接的接收端对待传输数据进行解压处理。

9、根据本发明的实施例,上述方法还包括:对待传输数据进行状态分析,得到分析结果;在分析结果表征状态异常的情况下,清除待传输数据对应的数据传输会话。

10、本发明的第二方面提供了一种数据传输装置,包括:获取模块,用于获取待传输数据;建立模块,用于建立任意两个数据传输节点之间的共享传输链接;创建模块,用于调用会话管理器组件,创建与待传输数据对应的数据传输会话,其中,待传输数据与数据传输会话具有一一对应关系,数据传输会话用于接收和发送待传输数据;传输模块,用于根据共享传输链接和数据传输会话,将待传输数据在任意两个数据传输节点之间进行数据传输,其中,共享传输链接和数据传输会话之间具有映射关系;以及第一清除模块,用于在待传输数据传输完成后,清除与待传输数据对应的数据传输会话。

11、本发明的第三方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个计算机程序,其中,上述一个或多个处理器执行上述一个或多个计算机程序以实现上述方法的步骤。

12、本发明的第四方面还提供了一种计算机可读存储介质,其上存储有计算机程序或指令,上述计算机程序或指令被处理器执行时实现上述方法的步骤。

13、本发明的第五方面还提供了一种计算机程序产品,包括计算机程序或指令,上述计算机程序或指令被处理器执行时实现上述方法的步骤。

14、根据本发明的实施例,获取待传输数据;建立任意两个数据传输节点之间的共享传输链接;调用会话管理器组件,创建与待传输数据对应的数据传输会话,其中,待传输数据与数据传输会话具有一一对应关系,数据传输会话用于接收和发送待传输数据;根据共享传输链接和数据传输会话,将待传输数据在任意两个数据传输节点之间进行数据传输,其中,共享传输链接和数据传输会话之间具有映射关系;在待传输数据传输完成后,清除与待传输数据对应的传输会话。由于采用了利用共享传输链接和数据传输会话,将待传输数据在任意两个数据传输节点之间进行数据传输的技术手段,避免了频繁建立通信链接,且生成的通信链接过多,导致对系统造成过大负担的问题,实现了减小系统负担,支持大规模数据库集群的高并发任务的技术效果。



技术特征:

1.一种数据传输方法,应用于数据库集群,所述数据库集群包括多个数据传输节点,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述共享传输链接包括多条;

3.根据权利要求2所述的方法,其特征在于,所述根据所述共享传输链接的数量,在多条所述共享传输链接中确定目标共享传输链接,包括:

4.根据权利要求3所述的方法,其特征在于,所述根据所述共享传输链接的数量,在多条所述共享传输链接中确定目标共享传输链接,还包括:

5.根据权利要求1所述的方法,其特征在于,所述根据所述共享传输链接和所述数据传输会话,将所述待传输数据在所述任意两个数据传输节点之间进行数据传输,还包括:

6.根据权利要求1所述的方法,其特征在于,每条所述共享传输链接包括一个接收端和一个发送端;所述待传输数据包括多个数据包;

7.根据权利要求6所述的方法,其特征在于,所述方法还包括:

8.根据权利要求1所述的方法,其特征在于,所述方法还包括:

9.一种数据传输装置,应用于数据库集群,所述数据库集群包括多个数据传输节点,其特征在于,所述装置包括:

10.一种电子设备,其特征在于,所述电子设备包括:


技术总结
本发明提供了一种数据传输方法、装置及设备,可以应用于分布式数据库技术领域。该方法包括:获取待传输数据;建立任意两个数据传输节点之间的共享传输链接;调用会话管理器组件,创建与待传输数据对应的数据传输会话,其中,待传输数据与数据传输会话具有一一对应关系,数据传输会话用于接收和发送待传输数据;根据共享传输链接和数据传输会话,将待传输数据在任意两个数据传输节点之间进行数据传输,其中,共享传输链接和数据传输会话之间具有映射关系;在待传输数据传输完成后,清除与待传输数据对应的传输会话。

技术研发人员:李连成
受保护的技术使用者:天津南大通用数据技术股份有限公司
技术研发日:
技术公布日:2024/11/11
转载请注明原文地址: https://tieba.8miu.com/read-13930.html

最新回复(0)