本发明涉及信息，特别是涉及一种流量去重方法、装置、电子设备及存储介质。
背景技术：
1、网络流量去重，是指在传输数据时，检查是否有些数据已经传输过，对于部分已经传输的数据，只给出标记，不再传输对应的数据包，以减少传输量的技术。
2、数据在通信时，使用一个三元组在数据通信中唯一标志一个进程，此三元组叫做半相关，半相关指定通信连接的每半部分，所述三元组包括：ip地址、端口号、通讯协议。
3、网络流量去重也称为重复数据删除或数据去重，网络去重可以减少通过网络发送的数据量，从而降低带宽使用成本，提高网络效率，并且由于传输的数据量减少，数据传输速度得以加快，所以网络去重广泛应用于数据备份、归档、同步或数据分析等场景中，因此如何有效率的进行流量去重一直持续在发展。
技术实现思路
1、针对上述技术问题，本发明采用的技术方案为：一种流量去重方法，所述方法用于发送方向接收方传输目标数据，所述方法包括如下内容：
2、获取发送方发出的目标数据，并对目标数据进行切片以获取切片数据包列表，其中，所述切片数据包列表包含若干个切片数据包；
3、获取目标数据的传输带宽，若目标数据的传输带宽不满足预设总带宽占比要求，则基于预设去重算法对切片数据包进行标识，获取初始去重数据包列表和初始学习数据包列表，其中，所述初始去重数据包列表包括若干个第一标识的初始去重数据包，所述初始学习数据包列表包括若干个第二标识的初始学习数据包，其中，第一标识不同于第二标识；
4、对目标数据进行预设时间段的网络流量去重监测，获取网络流量去重监测结果；
5、若网络流量去重监测结果满足流量去重监测规则，使用第一探测算法获取最终去重三元组列表，并使用最终去重三元组对应的切片数据包的映射值替换最终去重三元组对应的切片数据包，以获取去重后的目标数据进行传输，所述最终去重三元组列表包含若干个最终去重三元组；
6、其中，所述第一探测算法包括如下步骤：
7、获取首次选举三元组列表，其中，所述首次选举三元组列表包含若干个首次选举三元组，所述首次选举三元组为初始去重数据包对应的通信标识；
8、若首次选举三元组列表对应的去重率满足预设去重规则，将该首次选举三元组列表确定为最终去重三元组列表；否则，获取备选三元组列表，其中，所述备选三元组列表包含若干个备选三元组，所述备选三元组是满足预设备选规则的初始学习数据包对应的通信标识，预设去重规则的严格性高于流量去重监测规则；
9、若存在一备选三元组的带宽大于一首次选举三元组的带宽，将该备选三元组替换该首次选举三元组，获取替换后的首次选举三元组列表；
10、若替换后的首次选举三元组列表对应的去重率满足预设去重规则，将该替换后的首次选举三元组列表确定为最终去重三元组列表；否则执行上一步骤。
11、一种流量去重装置，所述装置包括：
12、目标数据获取模块，用于获取发送方发出的目标数据，并对目标数据进行切片以获取切片数据包列表，其中，所述切片数据包列表包含若干个切片数据包；
13、预设去重算法模块，用于获取目标数据的传输带宽，若目标数据的传输带宽不满足预设总带宽占比要求，则基于预设去重算法对切片数据包进行标识，获取初始去重数据包列表和初始学习数据包列表，其中，所述初始去重数据包列表包括若干个第一标识的初始去重数据包，所述初始学习数据包列表包括若干个第二标识的初始学习数据包，其中，第一标识不同于第二标识；
14、网络流量去重监测模块，用于对目标数据进行第一预设时间段的网络流量去重监测，获取网络流量去重监测结果；
15、第一探测算法模块，用于若网络流量去重监测结果满足流量去重监测规则，使用第一探测算法获取最终去重三元组列表，并使用最终去重三元组对应的切片数据包的映射值替换最终去重三元组对应的切片数据包，以获取去重后的目标数据进行传输，所述最终去重三元组列表包含若干个最终去重三元组；
16、其中，所述第一探测算法模块包括如下子模块：
17、首次选举三元组获取子模块，用于获取首次选举三元组列表，其中，所述首次选举三元组列表包含若干个首次选举三元组，所述首次选举三元组为初始去重数据包对应的通信标识；
18、第一连接子模块，用于若首次选举三元组列表对应的去重率满足预设去重规则，将该首次选举三元组列表确定为最终去重三元组列表；否则，获取备选三元组列表，其中，所述备选三元组列表包含若干个备选三元组，所述备选三元组是满足预设备选规则的初始学习数据包对应的通信标识，预设去重规则的严格性高于流量去重监测规则；
19、替换子模块，用于若存在一备选三元组的带宽大于一首次选举三元组的带宽，将该备选三元组替换该首次选举三元组，获取替换后的首次选举三元组列表；
20、第二连接子模块，用于若替换后的首次选举三元组列表对应的去重率满足预设去重规则，将该替换后的首次选举三元组列表确定为最终去重三元组列表；否则执行替换子模块。
21、根据本发明的另一个方面，提供了一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现前述的方法。
22、根据本发明的又一个方面，提供了一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。
23、本发明至少具有以下有益效果：综上，获取发送方发出的目标数据，并对目标数据进行切片获取切片数据包列表，获取目标数据的传输带宽，若目标数据的传输带宽不满足预设总带宽占比要求，基于预设去重算法对切片数据包进行标识，获取初始去重数据包列表和初始学习数据包列表，对目标数据进行预设时间段的网络流量去重监测，获取网络流量去重监测结果，若网络流量去重监测结果满足流量去重监测要求，使用第一探测算法获取最终去重三元组列表，从而实现目标数据进行去重，获取去重后的目标数据进行传输，本发明将切片数据包进行去重，在去重后进行传输，从而提高流量去重传输效率。
1.一种流量去重方法，所述方法用于发送方向接收方传输目标数据，其特征在于，所述方法包括如下内容：
2.根据权利要求1所述的流量去重方法，其特征在于，所述第一探测算法的探测大小为去重缓存器大小的预设倍数。
3.根据权利要求2所述的流量去重方法，其特征在于，使用最终去重三元组对应的切片数据包的映射值替换最终去重三元组对应的切片数据包，以获取去重后的目标数据进行传输，还包括：
4.根据权利要求3所述的流量去重方法，其特征在于，在接收方接收到去重后的目标数据后，执行如下步骤：
5.根据权利要求1所述的流量去重方法，其特征在于，所述预设备选规则为：在预设学习周期中，初始学习数据包的请求次数大于预设请求次数、初始学习数据包的去重率满足预设去重规则且初始学习数据包的带宽大于第二预设总带宽占比阈值，其中，第二预设总带宽占比阈值小于第一预设总带宽占比阈值。
6.根据权利要求1所述的流量去重方法，其特征在于，在进行第一探测算法获取最终去重三元组列表后，还包括：使用第二探测算法进行探测，其中，所述第二探测算法为每间隔预设探测时间进行一次第一探测算法的探测。
7.根据权利要求1所述的流量去重方法，其特征在于，还包括：若在预设监测时间段内，目标数据的传输带宽均小于第三预设总带宽占比阈值，停止使用最终去重三元组对应的切片数据包对目标数据进行去重。
8.一种流量去重装置，其特征在于，所述装置包括：
9.一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，其特征在于，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-7中任意一项所述的流量去重方法。
10.一种电子设备，其特征在于，包括处理器和权利要求9中所述的非瞬时性计算机可读存储介质。
