本发明属于车联网,具体涉及一种基于有损通信的车桩网跨平台学习的公平性与能耗优化方法和系统。
背景技术:
1、随着最近发展起来的“车-桩-网”跨平台技术,数据传输正在快速增长,并不断挑战网络传输的极限。将所有预测数据上传到云计算服务器的工作变得越来越紧张。边缘的人工智能(ai)和在边缘设备上运行的人工智能算法已成为实现泛在智能宏伟愿景的一个有前途的关键推动者。
2、由谷歌提出的边缘人工智能训练模式,即联邦学习(fl)已经成为边缘人工智能培训的典范。fl的核心特征是fl中的用户设备在不透露原始数据的情况下训练机器学习模型。然而,这种训练模型的方法不涉及数据交换,在每一轮训练中都需要大量的计算和通信资源。在这种情况下,期望仅选择要代表所有模型进行训练的模型的子集。将零信任安全模型集成到fl学习过程中,可以进行连续的系统验证和身份验证,有助于制定有效的网络访问策略。零信任fl(ztfl)促进了“车-桩-网”跨平台技术在现实世界领域的应用。
3、与传统的联合学习相比,ztfl框架中的设备通常是车辆。与普通移动设备相比,它们不仅在更不利的通信条件下工作,而且电池储备也小得多。在ciot的背景下,这给现实世界的ztfl带来了几个挑战:1)有限的带宽阻止了一些边缘服务器成功上传其训练的模型,尽管它们参与了ztfl过程;2)由于有限的通信资源和边缘服务器的动态状态,必须选择一些服务器来代表所有服务器进行训练。不合理的车辆设备选择方案导致全局模型的准确性和稳定性下降。荒唐的车辆设备选择方案通常被称为不公平的选择方案;3)由于当前模型的规模很大,对于电池电量低、计算资源有限的设备来说,参与ztfl框架具有很大的挑战性。
技术实现思路
1、有鉴于此,本发明旨在提供一种基于有损通信的车桩网跨平台学习的公平性与能耗优化方法和系统,用于解决有损通信条件下ztfl框架存在的上述问题。
2、为了实现上述目的,本发明提供的技术方案如下:
3、第一方面,本发明提供了一种基于有损通信的车桩网跨平台学习的公平性与能耗优化方法,在零信任联邦学习框架ztfl中,通过在每个学习轮次中,均对框架中的参与设备求解预先构建好的联合优化系统能耗和公平性的优化模型,得到当前学习轮次下被选择的设备、有损通信条件下的通信资源分配以及计算资源分配,从而进行零信任联邦学习;
4、优化模型以最小化系统能耗为目标,同时考虑长期公平约束;
5、系统能耗包括与上传通信相关的能耗和训练模型相关的能耗,分别由所分配的通信资源和计算资源确定;
6、长期公平约束为在长期条件下,每个设备被选平均选择的次数满足至少不小于设定期望值的条件。
7、进一步地,优化模型的表达式如下:
8、
9、式中,n为参与设备集合中被选择设备的索引,τ为全局迭代轮次集合中不同迭代轮次的索引,为通信能耗,为训练能耗,表示t-1时刻设备被平均选择次数,β为保证公平性的设定值,xτ,n=1表示第n个车辆设备在第τ轮中参与联邦学习。
10、进一步地,在求解优化模型时,将长期公平约束通过李雅普诺夫优化理论转化为目标函数进行求解,转化过程包括:
11、为每一个设备构建一个虚拟队列,虚拟队列用于表示由于时间限制而导致的设备的当前积压;
12、基于虚拟队列建立一个二次李雅普诺夫函数,二次李雅普诺夫函数用于约束虚拟队列集合基数的增加;
13、基于李雅普诺夫漂移定理,构建用于表示由单个训练设备引起的虚拟队列的增量的漂移函数;
14、将漂移函数与优化模型的原目标函数进行组合,得到漂移加成本函数;
15、将最小化漂移加成本函数作为转化后的优化模型的目标函数。
16、进一步地,漂移加成本函数的表达式如下:
17、
18、其中,δ(θ(τ))为漂移函数,v为惩罚因子;
19、漂移函数的表达式如下:
20、
21、式中,为二次李雅普诺夫函数,θ(τ)为虚拟队列的集合长度;
22、二次李雅普诺夫函数的表达式如下:
23、
24、式中,zτ,n为第n个车辆设备在第τ轮的虚拟队列;
25、虚拟队列的表达式如下:
26、zτ+1,n=max[zτ,n+β-xτ,n,0]。
27、进一步地,转化后的优化模型的目标函数如下:
28、minf(xτ,n,β,v)
29、式中,f(xτ,n,β,v)为漂移加成本函数的上界,具体关系如下:
30、
31、进一步地,优化模型的约束至少包括:
32、信道可达率约束、信道条件约束、带宽分配比约束、设备选择约束、带宽约束、上传功率约束和计算资源约束。
33、进一步地,信道可达率约束如下:
34、
35、式中,an为信道损坏发生的概率,m为瀑布阈值,b为中央服务器的总带宽,bn是每个车辆设备信道的带宽分配比,n0表示高斯噪声的频谱功率密度,pn是上传功率,hn是信道的增益,ε为设定阈值。
36、进一步地,在求解转化后的优化模型的目标函数时,采用凸优化理论将目标函数进一步转化,如下:
37、minfτ,n,p*g(f,p*)
38、
39、fmin<fτ,n<fmax
40、式中,fτ,n表示车辆设备n在第τ轮全局迭代期间选择的cpu频率,p*表示上传功率p的最优取值,g(·)为转换后的目标函数;cτ,n表示设备n在第τ轮全局迭代中的cpu周期数,dτ,n代表设备n在第τ轮全局迭代的数据集大小,te表示局部迭代次数,ξ表示cpu电容参数,tlimit是系统时间消耗的上限,为设备n在第τ轮上传功率的最优取值,fmax和fmin分别为cpu频率上下限值。
41、进一步地,在ztfl中,根据下式确定设备是否已经被选择:
42、
43、式中,为用于评估设备是否在时间约束内完成训练的指标,若是,则设置为1,否则为0;用于评估设备是否成功上传相关参数的指标,若是,则设置为1,否则为0;x′τ,n表示第n个车辆设备是否在第τ轮中被选中,若是,则设置为1,否则为0。
44、第二方面,本发明提供了一种基于有损通信的车桩网跨平台学习的公平性与能耗优化系统,包括中央服务器和车辆设备,中央服务器和车辆设备构成零信任联邦学习框架ztfl;
45、在零信任联邦学习框架ztfl中,通过在每个学习轮次中,均对框架中的参与设备求解预先构建好的联合优化系统能耗和公平性的优化模型,得到当前学习轮次下被选择的设备、有损通信条件下的通信资源分配以及计算资源分配,从而进行零信任联邦学习;
46、优化模型以最小化系统能耗为目标,同时考虑长期公平约束;
47、系统能耗包括与上传通信相关的能耗和训练模型相关的能耗,分别由所分配的通信资源和计算资源确定;
48、长期公平约束为在长期条件下,每个设备被选平均选择的次数满足至少不小于设定期望值的条件。
49、综上,本发明提供了一种基于有损通信的车桩网跨平台学习的公平性与能耗优化方法和装置,通过在零信任联邦学习框架ztfl中,针对每个学习轮次,均对框架中的参与设备求解预先构建好的联合优化系统能耗和公平性的优化模型,得到当前学习轮次下被选择的设备、有损通信条件下的通信资源分配以及计算资源分配,从而进行零信任联邦学习;优化模型以最小化系统能耗为目标,同时考虑长期公平约束;系统能耗包括与上传通信相关的能耗和训练模型相关的能耗,分别由所分配的通信资源和计算资源确定;长期公平约束为在长期条件下,每个设备被选平均选择的次数满足至少不小于设定期望值的条件。本发明通过综合考虑能耗、公平性与通信条件限制,为车桩网等复杂环境下跨平台的机器学习应用提供了一个既高效又公平的解决方案,也解决了有损通信条件现有ztfl框架存在的问题。
1.一种基于有损通信的车桩网跨平台学习的公平性与能耗优化方法,其特征在于,在零信任联邦学习框架ztfl中,通过在每个学习轮次中,均对框架中的参与设备求解预先构建好的联合优化系统能耗和公平性的优化模型,得到当前学习轮次下被选择的设备、有损通信条件下的通信资源分配以及计算资源分配,从而进行零信任联邦学习;
2.根据权利要求1所述的基于有损通信的车桩网跨平台学习的公平性与能耗优化方法,其特征在于,所述优化模型的表达式如下:
3.根据权利要求2所述的基于有损通信的车桩网跨平台学习的公平性与能耗优化方法,其特征在于,在求解所述优化模型时,将所述长期公平约束通过李雅普诺夫优化理论转化为目标函数进行求解,转化过程包括:
4.根据权利要求3所述的基于有损通信的车桩网跨平台学习的公平性与能耗优化方法,其特征在于,所述漂移加成本函数的表达式如下:
5.根据权利要求4所述的基于有损通信的车桩网跨平台学习的公平性与能耗优化方法,其特征在于,转化后的所述优化模型的目标函数如下:
6.根据权利要求2或5所述的基于有损通信的车桩网跨平台学习的公平性与能耗优化方法,其特征在于,所述优化模型的约束至少包括:
7.根据权利要求6所述的基于有损通信的车桩网跨平台学习的公平性与能耗优化方法,其特征在于,所述信道可达率约束如下:
8.根据权利要求5所述的基于有损通信的车桩网跨平台学习的公平性与能耗优化方法,其特征在于,在求解所述转化后的所述优化模型的目标函数时,采用凸优化理论将目标函数进一步转化,如下:
9.根据权利要求2所述的基于有损通信的车桩网跨平台学习的公平性与能耗优化方法,其特征在于,在ztfl中,根据下式确定设备是否已经被选择:
10.一种基于有损通信的车桩网跨平台学习的公平性与能耗优化系统,其特征在于,包括中央服务器和车辆设备,所述中央服务器和所述车辆设备构成零信任联邦学习框架ztfl;
