一种基于联邦学习的智能车联网流数据隐私保护方法和系统与流程

专利2026-09-09  3


本发明属于车联网,具体涉及一种基于联邦学习的智能车联网流数据隐私保护方法和系统。


背景技术:

1、智能车联网(iov)是第四次工业革命的关键组成部分,通过互连设备从根本上改变了车辆通信模式,以提高生产力和效率。同时,iov网络需要智能信息处理框架来处理大数据,人工智能(ai)的广泛采用使iov中的车辆能够本地训练模型,从而能够高效执行各个领域的任务,从自动驾驶到智能城市、和交通运输中的真实智能车联网应用。在这种情况下,联合学习(fl)的出现显著提升了iov的应用,特别是在数据隐私和可扩展性领域。更准确地说,fl使iov中车辆节点能够协同训练全球共享模型,而无需直接交换数据,从而实现隐私保护和实质性的可扩展性。在实践中,研究人员积极参与解决和增强fl领域内与稳健性、隐私和6g相关的各种挑战。

2、然而,现有研究似乎忽视了在支持fl的iov框架内的一个根本挑战:iov流数据的处理和学习。特别地,iov流数据可以定义为iov节点在本地运行时连续生成或收集的实时数据流。这一类别包括一系列流媒体数据,包括但不限于摄像头拍摄的实时监控视频和智能交通设备记录的即时交通状况。与传统的静态数据类型不同,流数据是动态的,在捕获固定的分布模式方面存在挑战。重要的是,现有研究强调,流式数据有可能导致训练后的模型陷入灾难性遗忘或阻碍其收敛。然而,为了使fl赋能的iov框架有效适应复杂的动态iov环境,必须将流数据与本地数据集成。这种整合能够持续参与模型培训,确保业务运营的持续有效性。


技术实现思路

1、有鉴于此,本发明旨在提供一种基于联邦学习的智能车联网流数据隐私保护方法和系统,专门针对iov流数据场景,提高iov模型的整体性能,同时熟练应对iov环境中的流数据挑战,包括灾难性遗忘和收敛相关的挑战。

2、为了实现上述目的,本发明提供的技术方案如下:

3、第一方面,本发明提供了一种基于联邦学习的智能车联网流数据隐私保护方法,在基于联邦学习的智能车联网框架中,将框架中生成的流数据采用成对相似性策略进行新旧训练样本的替换,同时采用动态数据存储策略保持本地训练数据的总大小不变;

4、其中,成对相似性策略是在作为训练样本的旧的流数据中,将与新生成的流数据之间数据点相似性满足预设相似条件的数据点作为需要替换的数据点,将新生成的流数据中对应数据点替换到训练样本中;

5、动态数据存储策略为利用缓冲区存储新生成的流数据以及替换的旧数据点。

6、进一步地,成对相似性策略采用下式确定数据样本之间的相似性概率,如下:

7、pij=(pj∣i+pi∣j)/2,

8、

9、式中,pij表示样本i和j之间的相似性概率,pj∣i和pi∣j分别表示从j到i和从i到j的相似度,κ是温度超参数,zi、zj和zh分别表示数据样本i、j和h的特征表示,nk是第k个节点上的样本数目。

10、进一步地,基于联邦学习的智能车联网框架的训练流程包括:

11、iov节点获取中央服务器在初始化阶段生成的初始全局模型;

12、基于本地训练样本对初始全局模型进行训练,得到本地模型,训练过程中采用成对相似性策略和动态数据存储策略不断更新训练样本;

13、iov节点将训练好的本地模型的参数上传至中央服务器,以便进行模型聚合。

14、进一步地,初始化阶段包括:

15、中央服务器进行参数配置;

16、选择评估标准,评估标准用于评估全局模型的有效性;

17、初始化全局模型,并将初始化的全局模型交付给每个iov节点。

18、进一步地,在训练过程中,采用成对相似性策略进行数据替换,包括:

19、iov节点在模型训练过程中持续收集新数据;

20、采用成对相似性策略确定新数据与本地训练样本之间的相似数据;

21、基于相似数据进行本地训练样本的数据替换。

22、进一步地,在训练过程中,采用动态数据存储策略不断更新训练样本,包括:

23、利用专用缓冲区存储本地训练样本中被替换的数据和新数据;

24、将新数据中的相似数据替换到本地训练样本中,得到新的训练样本。

25、进一步地,模型聚合为将来自iov节点的本地模型参数进行聚合,得到新的全局模型的参数,从而更新全局模型。

26、进一步地,全局模型的参数更新基于下式进行:

27、

28、式中,w为本地模型参数,t为联邦学习轮次,是客户端k的学习率,是客户端k的局部数据上的梯度,n′k为第k个节点上经过数据替换后的样本数目,n′是当前样本总数。

29、进一步地,在iov节点每个训练间隔中,采用成对相似性策略进行数据替换。

30、第二方面,本发明还提供了一种基于联邦学习的智能车联网流数据隐私保护系统,包括:中央服务器和iov节点,中央服务器和iov节点构成基于联邦学习的智能车联网框架,其中,将框架中生成的流数据采用成对相似性策略进行新旧训练样本的替换,同时采用动态数据存储策略保持本地训练数据的总大小不变;

31、成对相似性策略是在作为训练样本的旧的流数据中,将与新生成的流数据之间数据点相似性满足预设相似条件的数据点作为需要替换的数据点,将新生成的流数据中对应数据点替换到训练样本中;

32、动态数据存储策略为利用缓冲区存储新生成的流数据以及替换的旧数据点。

33、综上,本发明提供了一种基于联邦学习的智能车联网流数据隐私保护方法和系统,通过在基于联邦学习的智能车联网框架中,将框架中生成的流数据采用成对相似性策略进行新旧训练样本的替换,同时采用动态数据存储策略保持本地训练数据的总大小不变;其中,成对相似性策略是在作为训练样本的旧的流数据中,将与新生成的流数据之间数据点相似性满足预设相似条件的数据点作为需要替换的数据点,将新生成的流数据中对应数据点替换到训练样本中;动态数据存储策略为利用缓冲区存储新生成的流数据以及替换的旧数据点。本发明采用成对相似性策略和动态数据存储策略,使用流数据中的样本来替换原始数据集中的相似样本并保持训练样本数量不变,通过保持数据分布不变来解决灾难性遗忘的问题,同时通过局部训练样本数量的不变性保证了fl训练过程的有效收敛。



技术特征:

1.一种基于联邦学习的智能车联网流数据隐私保护方法,其特征在于,在基于联邦学习的智能车联网框架中,将框架中生成的流数据采用成对相似性策略进行新旧训练样本的替换,同时采用动态数据存储策略保持本地训练数据的总大小不变;

2.根据权利要求1所述的基于联邦学习的智能车联网流数据隐私保护方法,其特征在于,所述成对相似性策略采用下式确定数据样本之间的相似性概率,如下:

3.根据权利要求1所述的基于联邦学习的智能车联网流数据隐私保护方法,其特征在于,所述基于联邦学习的智能车联网框架的训练流程包括:

4.根据权利要求3所述的基于联邦学习的智能车联网流数据隐私保护方法,其特征在于,所述初始化阶段包括:

5.根据权利要求3所述的基于联邦学习的智能车联网流数据隐私保护方法,其特征在于,在训练过程中,采用所述成对相似性策略进行数据替换,包括:

6.根据权利要求5所述的基于联邦学习的智能车联网流数据隐私保护方法,其特征在于,在训练过程中,采用所述动态数据存储策略不断更新训练样本,包括:

7.根据权利要求3所述的基于联邦学习的智能车联网流数据隐私保护方法,其特征在于,所述模型聚合为将来自iov节点的本地模型参数进行聚合,得到新的所述全局模型的参数,从而更新所述全局模型。

8.根据权利要求7所述的基于联邦学习的智能车联网流数据隐私保护方法,其特征在于,所述全局模型的参数更新基于下式进行:

9.根据权利要求3所述的基于联邦学习的智能车联网流数据隐私保护方法,其特征在于,在iov节点每个训练间隔中,采用所述成对相似性策略进行数据替换。

10.一种基于联邦学习的智能车联网流数据隐私保护系统,其特征在于,包括:中央服务器和iov节点,所述中央服务器和iov节点构成基于联邦学习的智能车联网框架,其中,将框架中生成的流数据采用成对相似性策略进行新旧训练样本的替换,同时采用动态数据存储策略保持本地训练数据的总大小不变;


技术总结
本发明提供了一种基于联邦学习的智能车联网流数据隐私保护方法和系统,通过在基于联邦学习的智能车联网框架中,将框架中生成的流数据采用成对相似性策略进行新旧训练样本的替换,同时采用动态数据存储策略保持本地训练数据的总大小不变;其中,成对相似性策略是将新生成的流数据中数据点相似性满足预设相似条件的数据点作为需要替换的数据点,替换到训练样本中;动态数据存储策略为利用缓冲区存储新生成的流数据以及替换的旧数据点。本发明采用成对相似性策略和动态数据存储策略,使用流数据中的样本来替换原始数据集中的相似样本并保持训练样本数量不变,通过保持数据分布不变来解决灾难性遗忘的问题,同时也保证了联邦学习训练过程的有效收敛。

技术研发人员:林晓明,钱斌,林伟斌,王宗义,王吉,周密,罗奕,李富盛
受保护的技术使用者:南方电网科学研究院有限责任公司
技术研发日:
技术公布日:2024/11/11
转载请注明原文地址: https://tieba.8miu.com/read-24404.html

最新回复(0)