一种低带宽环境数据转发协议的制作方法

专利2025-07-08  38


本发明涉及通信,特别是涉及一种可实现快速、可靠的数据传输的低带宽环境数据转发协议。


背景技术:

1、当前常见的智能平台通常是一块处理器作为主处理器,通过外接多块算力模块的工作方式。目前常见的多模块协同调度数据转发协议通常是tcp或者udp,这些协议面临带宽延迟大、数据安全性差、负载均衡难以保证、数据调度优先级分配等诸多难题。数据流转的高效性关系到数据的快速传输,特别是在大数据处理时,带宽问题可能导致性能下降。

2、udt是一种基于udp的数据传输协议,旨在提供高性能和可靠的数据传输。与传统的tcp协议不同,udt专注于通过优化数据传输的速度和效率来满足特定的应用需求。

3、udt的工作流程涉及到连接建立、数据传输和连接终止三个阶段,以下是udt协议的基本工作流程:

4、1、连接建立:

5、①客户端通过发送一个syn(同步)数据包开始连接的过程。

6、②服务器收到客户端的syn后,发送一个ack(确认)数据包作为响应,表示接受请求。

7、③客户端收到服务器的ack后,发送一个确认数据包,连接建立完成。

8、2、数据传输:

9、①数据传输:在连接建立后,数据的传输通过发送数据包来实现。每个数据包包含序列号,用于在接收端对数据包进行排序和重组。

10、②拥塞控制:udt在数据传输过程中会实时监测网络拥塞状态,动态调整发送速率,以防止网络拥塞导致数据丢失和性能下降。

11、③流控制:udt通过一些机制协调发送方和接收方的传输数据速率,以确保接收方可以处理发送过来的数据。

12、3、连接终止:

13、①当应用确定不再需要连接时,客户端发送一个fin(结束)数据包,表示希望关闭连接。

14、②服务器接收到客户端的fin后,发送一个ack作为确认。

15、③如果服务器也需要关闭连接,它也可以单独发送一个fin给客户端进行响应。

16、4、超时处理:udt使用序列号对数据包进行排序,并实施超时机制。如果发送方没有在规定时间内收到接收方的确认信息,或者接收方没有在规定时间内收到数据包,那么相应的数据包将会被重传。

17、然而,现有技术中的基于udp的数据传输协议存在以下缺点:

18、1、拥塞控制不足:udt虽然有自己的拥塞控制机制,但灵活性与适应性不强。在某些恶劣的网络环境下,udt无法有效地适应网络拥塞,会导致性能下降。

19、2、对带宽有高依赖性:udt在设计上更注重对高带宽网络的优化,而在低带宽或高延迟的网络中表现不佳。


技术实现思路

1、鉴于上述问题,本发明提供用于克服上述问题或者至少部分地解决上述问题的一种低带宽环境数据转发协议。

2、本发明提供了如下方案:

3、一种低带宽环境数据转发协议,包括:

4、连接建立阶段采用一次握手方式确定客户端与服务端连接建立成功;

5、发送端将原始数据依次进行数据分块、分段压缩以及打包封装后获得待传输数据包;

6、所述发送端采用目标传输策略将所述待传输数据包发送至接收端;所述目标传输策略包括序列号确认机制、错误重传机制、拥塞控制机制以及自适应流控制机制;

7、所述接收端采用目标接收策略接收所述待传输数据包;所述目标接收策略包括线程池机制、协程异步编程模型解析机制以及ecc纠错机制。

8、优选地:所述一次握手方式包括所述客户端通过用户数据报协议向所述服务端发送一个包含连接信息和基本参数的初始数据包;

9、所述服务端收到所述客户端发送的所述初始数据包后,发送一个短头数据包作为应答,确定连接建立成功。

10、优选地:所述数据分块包括采用将大数据通过streaming k-means算法划分为数据块。

11、优选地:所述分段压缩包括在每个数据块内部通过snappy算法进行分段压缩。

12、优选地:所述打包封装包括在分段压缩后的数据块中,使用protobuff算法引入消息头,所述消息头至少包括序列号、确认应答、数据类型。

13、优选地:所述线程池机制包括管理和调度多个线程进行数据接收。

14、优选地:所述序列号确认机制包括在所述发送端每个数据都被赋予唯一的序列号;所述接收端负责向所述发送端发送确认消息,以示成功接收所述序列号对应的数据包。

15、优选地:所述错误重传机制包括超时重传机制和/或快速重传机制。

16、优选地:所述拥塞控制机制包括在所述发送端和所述接收端分别维护发送窗口和接收窗口,并通过动态调整窗口大小的方式实现拥塞控制。

17、根据本发明提供的具体实施例,本发明公开了以下技术效果:

18、本申请实施例提供的一种低带宽环境数据转发协议,在连接建立阶段采用一段握手模式,减少不必要的沟通延迟。在数据封装阶段采用streaming k-means算法、snappy算法和portobuff算法对数据进行压缩封装,从而降低单个数据包带宽占用。在数据接收处理阶段使用了线程池、异步编程模型和ecc纠错机制,满足了低带宽、网络环境恶劣的情况下多模块协同工作的数据传输和处理的要求。提升了接收数据的效率,有利于发挥硬件性能潜力。

19、当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。



技术特征:

1.一种低带宽环境数据转发协议,其特征在于,包括:

2.根据权利要求1所述的低带宽环境数据转发协议,其特征在于,所述一次握手方式包括所述客户端通过用户数据报协议向所述服务端发送一个包含连接信息和基本参数的初始数据包;

3.根据权利要求1所述的低带宽环境数据转发协议,其特征在于,所述数据分块包括采用将大数据通过streaming k-means算法划分为数据块。

4.根据权利要求3所述的低带宽环境数据转发协议,其特征在于,所述分段压缩包括在每个数据块内部通过snappy算法进行分段压缩。

5.根据权利要求4所述的低带宽环境数据转发协议,其特征在于,所述打包封装包括在分段压缩后的数据块中,使用protobuff算法引入消息头,所述消息头至少包括序列号、确认应答、数据类型。

6.根据权利要求1所述的低带宽环境数据转发协议,其特征在于,所述线程池机制包括管理和调度多个线程进行数据接收。

7.根据权利要求1所述的低带宽环境数据转发协议,其特征在于,所述序列号确认机制包括在所述发送端每个数据都被赋予唯一的序列号;所述接收端负责向所述发送端发送确认消息,以示成功接收所述序列号对应的数据包。

8.根据权利要求1所述的低带宽环境数据转发协议,其特征在于,所述错误重传机制包括超时重传机制和/或快速重传机制。

9.根据权利要求1所述的低带宽环境数据转发协议,其特征在于,所述拥塞控制机制包括在所述发送端和所述接收端分别维护发送窗口和接收窗口,并通过动态调整窗口大小的方式实现拥塞控制。


技术总结
本发明公开了一种低带宽环境数据转发协议,在连接建立阶段采用一段握手模式,减少不必要的沟通延迟。在数据封装阶段采用Streaming k‑Means算法、Snappy算法和Portobuff算法对数据进行压缩封装,从而降低单个数据包带宽占用。在数据接收处理阶段使用了线程池、异步编程模型和ECC纠错机制,满足了低带宽、网络环境恶劣的情况下多模块协同工作的数据传输和处理的要求。提升了接收数据的效率,有利于发挥硬件性能潜力。

技术研发人员:李竞择,曾熠,欧阳迪,谭咏译
受保护的技术使用者:中国兵器装备集团自动化研究所有限公司
技术研发日:
技术公布日:2024/11/11
转载请注明原文地址: https://tieba.8miu.com/read-15659.html

最新回复(0)