本技术涉及物联网,特别涉及基于相似性对齐联邦学习的隐私检测方法及系统。
背景技术:
1、在目前的基于联邦学习的隐私检测方法中,存在多个物联网设备以及一个用于管理上述物联网设备的服务端。服务端将初始模型下发至各物联网设备,各物联网设备将该初始模型作为本地模型,并根据本地数据训练本地模型得到训练后的模型的参数,进而将训练后的模型的参数上传至服务端,以使得服务端对各物联网设备上传的训练后的模型的参数进行聚合以得到新的全局模型,并将全局模型参数下发至各物联网设备中以更新本地模型,返回根据本地数据训练本地模型得到训练后的模型的参数的步骤,直至满足联邦学习结束条件。
2、然而,一旦存在异常的物联网设备提供异常的本地数据,则该异常的物联网设备会根据异常的本地数据对本地模型进行训练得到异常的模型参数并上传至服务端,导致服务端对异常的模型参数进行聚合得到新的全局模型,造成全局模型的检测精度变差。
技术实现思路
1、有鉴于此,本技术提供基于相似性对齐联邦学习的隐私检测方法及系统,以提高物联网隐私检测模型的检测精度。
2、本技术提供的技术方案如下:
3、根据本技术第一方面的实施例,提出了一种基于相似性对齐联邦学习的隐私检测方法,所述方法应用于服务端,该方法包括:
4、根据接收到的各物联网设备上传的模型参数确定第一全局模型参数;任一物联网设备上传的模型参数为该物联网设备基于本地训练数据对本地模型进行训练后得到的训练后的模型的参数,任一物联网设备本地的训练数据通过至少两个网络层得到,所述至少两个网络层为神经网络模型中被解耦的网络层;
5、基于各物联网设备上传的模型参数与所述第一全局模型参数的第一相似度,对各物联网设备进行分组得到疑似中毒组与正常组;利用所述疑似中毒组中各物联网设备上传的模型参数确定第二全局模型参数;
6、基于所述物联网设备疑似中毒组中各物联网设备上传的模型参数、所述第一全局模型参数以及第二全局模型参数,确定目标物联网设备;所述目标物联网设备为中毒的物联网设备;
7、利用除目标物联网设备之外的其他物联网设备上传的模型参数确定模型校正参数,将模型校正参数下发至各物联网设备,并在所述模型校正参数满足设定联邦学习结束条件时指示各物联网设备基于所述模型校正参数更新本地模型以得到目标隐私检测模型;所述目标隐私检测模型用于检测物联网隐私数据;在所述模型校正参数不满足设定联邦学习结束条件时,指示各物联网设备基于所述模型校正参数更新本地模型并基于本地训练数据对更新后的本地模型进行训练以将训练后的模型的参数上传至所述服务端。
8、可选的,所述根据接收到的各物联网设备上传的模型参数确定第一全局模型参数,包括:
9、将所述各物联网设备上传的模型参数加权平均得到所述第一全局模型参数;
10、所述利用物联网设备疑似中毒组中各物联网设备上传的模型参数确定第二全局模型参数,包括:
11、将所述物联网设备疑似中毒组中各物联网设备上传的模型参数加权平均得到所述第二全局模型参数。
12、可选的,所述基于各物联网设备上传的模型参数与所述第一全局模型参数的第一相似度,对各物联网设备进行分组得到疑似中毒组与正常组,包括:
13、若所述第一相似度小于第一阈值,则确定上传该模型参数的物联网设备属于所述物联网设备疑似中毒组;
14、若所述第一相似度大于或等于第一阈值,则确定上传该模型参数的物联网设备属于所述物联网设备正常组。
15、可选的,所述基于物联网设备疑似中毒组中各物联网设备上传的模型参数、所述第一全局模型参数以及所述第二全局模型参数,确定目标物联网设备,包括:
16、针对所述疑似中毒组中每一物联网设备,确定该物联网设备上传的模型参数与所述第一全局模型参数的第一相似度,以及,确定该物联网设备上传的模型参数与所述第二全局隐私模型的第二相似度;对所述第一相似度以及所述第二相似度进行指定运算处理得到运算结果,依据所述运算结果确定该物联网设备是否为目标物联网设备。
17、可选的,所述对所述第一相似度以及所述第二相似度进行指定运算处理包括:将所述第一相似度以及所述第二相似度归一化处理;
18、依据所述运算结果确定该物联网设备是否为目标物联网设备包括:若归一化处理结果为第一值,则确定上传该模型参数的物联网设备为目标物联网设备,若归一化处理结果不为第一值,则确定上传该模型参数的物联网设备不为目标物联网设备。
19、可选的,所述将所述第一相似度以及所述第二相似度归一化处理包括:
20、对所述第一相似度以及第二相似度进行加法运算,得到归一化处理结果。
21、可选的,所述至少两个网络层包括:
22、所述神经网络模型中被解耦的特征提取器以及第一分类器、第二分类器;
23、所述第一分类器与所述第二分类器被配置的损失函数不同;
24、所述本地的训练数据是通过以下步骤得到:
25、将预设的原始数据先输入至被解耦的特征提取器得到数据特征,以及将数据特征输入至第一分类器得到第一分类结果、再将第一分类结果输入至第二分类器得到;或者,
26、将已有的本地训练数据先输入至被解耦的特征提取器得到数据特征,以及将数据特征输入至第一分类器得到第一分类结果、再将第一分类结果输入至第二分类器得到。
27、可选的,所述第一分类器被配置的损失函数为基于小批量logit调整的交叉熵损失函数,所述第二分类器被配置的损失函数为交叉熵损失函数。
28、根据本技术第二方面的实施例,提出了一种基于相似性对齐联邦学习的隐私检测系统,该系统包括:
29、服务端,用于执行第一方面所述的方法;
30、多个物联网设备,其中,任一物联网设备用于基于本地训练数据对本地模型进行训练后得到的训练后的模型的参数,并将所述训练后的模型的参数上传至所述服务端。
31、可选的,任一物联网设备用于在接收到服务端下发的初始模型的情况下,将所述初始模型作为所述本地模型,执行所述基于本地训练数据对本地模型进行训练后得到的训练后的模型的参数的步骤;
32、任一物联网设备在接收到服务端下发的模型校正参数以及训练结束指示时,基于所述模型校正参数更新本地模型以得到目标隐私检测模型;
33、任一物联网设备在接收到服务端下发的模型校正参数以及训练继续指示时,基于所述模型校正参数更新本地模型并基于本地训练数据对更新后的本地模型进行训练以将训练后的模型的参数上传至所述服务端。
34、由以上技术方案可见,本技术通过对各物联网设备本地训练出的模型参数先对可能发生中毒的物联网设备进行初步的筛选,进一步再利用筛选出的可能发生中毒的各物联网设备上传的模型参数确定出真正中毒的目标物联网设备,将除中毒的目标物联网设备之外的各未中毒的物联网设备继续进行联邦学习以训练全局模型,避免了中毒的目标物联网设备对全局模型的训练造成的影响,提高了最终训练出的全局模型比如物联网隐私检测模型的精度。
1.一种基于相似性对齐联邦学习的隐私检测方法,其特征在于,所述方法应用于服务端,该方法包括:
2.根据权利要求1所述的方法,其特征在于,所述根据接收到的各物联网设备上传的模型参数确定第一全局模型参数,包括:
3.根据权利要求1所述的方法,其特征在于,所述基于各物联网设备上传的模型参数与所述第一全局模型参数的第一相似度,对各物联网设备进行分组得到疑似中毒组与正常组,包括:
4.根据权利要求1所述的方法,其特征在于,所述基于物联网设备疑似中毒组中各物联网设备上传的模型参数、所述第一全局模型参数以及所述第二全局模型参数,确定目标物联网设备,包括:
5.根据权利要求4所述的方法,其特征在于,所述对所述第一相似度以及所述第二相似度进行指定运算处理包括:将所述第一相似度以及所述第二相似度归一化处理;
6.根据权利要求5所述的方法,其特征在于,所述将所述第一相似度以及所述第二相似度归一化处理包括:
7.根据权利要求1所述的方法,其特征在于,所述至少两个网络层包括:
8.根据权利要求7所述的方法,其特征在于,所述第一分类器被配置的损失函数为基于小批量logit调整的交叉熵损失函数,所述第二分类器被配置的损失函数为交叉熵损失函数。
9.一种基于相似性对齐联邦学习的隐私检测系统,其特征在于,该系统包括:
10.根据权利要求9所述的系统,其特征在于,任一物联网设备用于在接收到服务端下发的初始模型的情况下,将所述初始模型作为所述本地模型,执行所述基于本地训练数据对本地模型进行训练后得到的训练后的模型的参数的步骤;