本公开涉及人工智能,尤其是涉及一种联邦学习方法、系统、装置、设备、介质以及产品。
背景技术:
1、深度学习技术已被广泛应用于各行各业,例如推荐系统,自动驾驶,医疗健康等。然而,随着人们数据隐私安全意识的提升,传统的数据集中式的深度学习模型训练方式或将不再可行。为了应对上述隐私挑战,联邦学习作为一种能够在数据不出本地的情形下进行分布式训练模型的机器学习新范式应运而生。
2、纵向联邦学习(vertical federated learning,vfl)为联邦学习中的一种,从目前3gpp aiml课题的研究进展看,已经出现了基于纵向联邦学习的深度学习模型训练方案,但是目前还没有在基于该深度学习模型训练方案对模型训练完成后,进一步基于纵向联邦学习提升模型性能的方案。
技术实现思路
1、鉴于上述问题而提出了本公开。本公开提供了一种联邦学习方法、系统、装置、设备、介质以及产品。
2、根据本公开的第一个方面,提供了一种联邦学习方法,应用于协调节点,所述方法包括:
3、在模型推理过程中,向参与节点发送推理标识;
4、保存所述协调节点的模型推理信息,和/或,所述推理标识;
5、在判断或确定需要对所述模型进行重训练的情况下,向所述参与节点发送所述推理标识;
6、接收所述参与节点返回的模型推理信息和/或所述推理标识;和/或,获取所述协调节点的模型推理信息和/或推理标识;
7、对所述模型发起重训练。
8、此外,根据本公开第一个方面的联邦学习方法,保存所述协调节点的模型推理信息,和/或,所述推理标识,包括:
9、向存储节点发送所述协调节点的模型推理信息,和/或,所述推理标识;
10、或,
11、本地存储所述协调节点的模型推理信息,和/或,所述推理标识。
12、此外,根据本公开第一个方面的联邦学习方法,获取所述协调节点的模型推理信息和/或推理标识,包括:
13、向所述存储节点发送请求消息,携带所述推理标识,并接收所述存储节点返回的模型推理信息和/或所述推理标识;
14、或,
15、从本地获取所述协调节点的模型推理信息和/或推理标识。
16、此外,根据本公开第一个方面的联邦学习方法,对所述模型发起重训练,包括:
17、基于所述推理标识,对所述参与节点返回的模型推理信息,和/或,所述协调节点的模型推理信息进行关联,获得重训练的数据;
18、采用所述数据对所述模型发起重训练。
19、此外,根据本公开第一个方面的联邦学习方法,所述协调节点的模型推理信息包括以下至少一种:
20、推理标识;
21、模型标识;
22、标签;
23、真实值;
24、本地数据;
25、联邦学习相关标识。
26、此外,根据本公开第一个方面的联邦学习方法,判断或确定需要对所述模型进行重训练,包括:
27、基于模型推理过程中的推理次数、推理结果的偏差值、偏差标准差、偏差比例中的一种或多种,判断或确定需要对所述模型进行重训练。
28、根据本公开的第二个方面,提供了一种联邦学习方法,应用于参与节点,所述方法包括:
29、接收来自于协调节点的推理标识;
30、保存所述参与节点的模型推理信息,和/或,所述推理标识;
31、接收所述协调节点发送的所述推理标识;
32、基于所述推理标识,参与所述模型的重训练。
33、此外,根据本公开第二个方面的联邦学习方法,基于所述推理标识,参与所述模型的重训练,包括:
34、获取所述参与节点的模型推理信息,并向所述协调节点返回所述参与节点的模型推理信息和/或所述推理标识。
35、此外,根据本公开第二个方面的联邦学习方法,保存所述参与节点的模型推理信息,和/或,所述推理标识,包括:
36、向存储节点发送所述参与节点的模型推理信息,和/或,所述推理标识;
37、或,
38、本地存储所述参与节点的模型推理信息,和/或,所述推理标识。
39、此外,根据本公开第二个方面的联邦学习方法,获取所述参与节点的模型推理信息,包括:
40、向所述存储节点发送请求消息,携带所述推理标识,并接收所述存储节点返回的所述参与节点的模型推理信息;
41、或,
42、从本地获取与所述参与节点的模型推理信息。
43、此外,根据本公开第二个方面的联邦学习方法,所述参与节点的模型推理信息包括以下至少一种:
44、推理标识;
45、模型标识;
46、本地数据;
47、联邦学习相关标识。
48、根据本公开的第三个方面,提供了一种联邦学习方法,应用于存储节点,所述方法包括:
49、接收来自于协调节点的推理标识,和/或,所述协调节点的模型推理信息;和/或,接收来自于参与节点的推理标识,和/或,所述参与节点的模型推理信息;
50、接收所述协调节点发送的请求消息,携带所述推理标识;和/或,所述参与节点发送的请求消息,携带所述推理标识;
51、向所述协调节点返回所述协调节点的模型推理信息;和/或,向所述参与节点返回所述参与节点的模型推理信息。
52、根据本公开的第四个方面,提供了一种联邦学习系统,包括:
53、协调节点、参与节点和存储节点;
54、所述协调节点用于执行第一个方面所述的联邦学习方法;
55、所述参与节点用于执行第二个方面所述的联邦学习方法;
56、所述存储节点用于执行第三个方面所述的联邦学习方法。
57、根据本公开的第五个方面,提供了一种联邦学习装置,应用于协调节点,包括:
58、第一发送模块,用于在模型推理过程中,向参与节点发送推理标识;
59、第一保存模块,用于保存所述协调节点的模型推理信息,和/或,所述推理标识;
60、第二发送模块,用于在判断或确定需要对所述模型进行重训练的情况下,向所述参与节点发送所述推理标识;
61、处理模块,用于接收所述参与节点返回的模型推理信息和/或所述推理标识;和/或,获取所述协调节点的模型推理信息和/或推理标识;
62、第一训练模块,用于对所述模型发起重训练。
63、根据本公开的第六个方面,提供了一种联邦学习装置,应用于参与节点,包括:
64、第一接收模块,用于接收来自于协调节点的推理标识;
65、第二保存模块,用于保存所述参与节点的模型推理信息,和/或,所述推理标识;
66、第二接收模块,用于接收所述协调节点发送的所述推理标识;
67、第二训练模块,用于基于所述推理标识,参与所述模型的重训练。
68、根据本公开的第七个方面,提供了一种联邦学习装置,应用于存储节点,包括:
69、第三接收模块,用于接收来自于协调节点的推理标识,和/或,所述协调节点的模型推理信息;和/或,接收来自于参与节点的推理标识,和/或,所述参与节点的模型推理信息;
70、第四接收模块,用于接收所述协调节点发送的请求消息,携带所述推理标识;和/或,所述参与节点发送的请求消息,携带所述推理标识;
71、第三发送模块,用于向所述协调节点返回所述协调节点的模型推理信息;和/或,向所述参与节点返回所述参与节点的模型推理信息。
72、根据本公开的第八个方面,提供了一种电子设备,包括存储器、处理器及存储在存储器上的计算机程序,所述处理器执行所述计算机程序以实现第一个方面、第二个方面或第三个方面所述方法的步骤。
73、根据本公开的第九个方面,提供了一种计算机可读存储介质,其上存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现第一个方面、第二个方面或第三个方面所述方法的步骤。
74、根据本公开的第十个方面,提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现第一个方面、第二个方面或第三个方面所述方法的步骤。
75、如以下将详细描述的,根据本公开实施例的联邦学习方法,在模型推理过程中,协调节点向参与节点发送分配的推理标识,保存协调节点的模型推理信息和/或推理标识,这样在确定需要对模型发起重训练的情况下,通过向参与节点发送推理标识,可以获得协调节点的模型推理信息和/或推理标识,进而基于参与节点的模型推理信息和/或推理标识,和/或,协调节点的模型推理信息和/或推理标识,对模型发起重训练。相较于相关技术,采用本实施例的方案实现了在模型推理结束后对模型的重训练,从而提高了模型的性能。相较于相关技术中基于固定阈值的诊断方法,灵活性和准确性均得到提高。
76、要理解的是,前面的一般描述和下面的详细描述两者都是示例性的,并且意图在于提供要求保护的技术的进一步说明。
1.一种联邦学习方法,其特征在于,应用于协调节点,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,保存所述协调节点的模型推理信息,和/或,所述推理标识,包括:
3.根据权利要求2所述的方法,其特征在于,获取所述协调节点的模型推理信息和/或推理标识,包括:
4.根据权利要求1所述的方法,其特征在于,对所述模型发起重训练,包括:
5.根据权利要求1-4任一项所述的方法,其特征在于,所述协调节点的模型推理信息包括以下至少一种:
6.根据权利要求1所述的方法,其特征在于,判断或确定需要对所述模型进行重训练,包括:
7.一种联邦学习方法,其特征在于,应用于参与节点,所述方法包括:
8.根据权利要求7所述的方法,其特征在于,基于所述推理标识,参与所述模型的重训练,包括:
9.根据权利要求8所述的方法,其特征在于,保存所述参与节点的模型推理信息,和/或,所述推理标识,包括:
10.根据权利要求9所述的方法,其特征在于,获取所述参与节点的模型推理信息,包括:
11.根据权利要求8-10任一项所述的方法,其特征在于,所述参与节点的模型推理信息包括以下至少一种:
12.一种联邦学习方法,其特征在于,应用于存储节点,所述方法包括:
13.一种联邦学习系统,其特征在于,包括:
14.一种联邦学习装置,其特征在于,应用于协调节点,包括:
15.一种联邦学习装置,其特征在于,应用于参与节点,包括:
16.一种联邦学习装置,其特征在于,应用于存储节点,包括:
17.一种电子设备,包括存储器、处理器及存储在存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1-6任一项、权利要求7-11任一项或权利要求12任一项所述方法的步骤。
18.一种计算机可读存储介质,其上存储有计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1-6任一项、权利要求7-11任一项或权利要求12任一项所述方法的步骤。
19.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1-6任一项、权利要求7-11任一项或权利要求12任一项所述方法的步骤。