物联网设备数据的智能插补方法和系统

专利2024-05-08  69



1.本发明涉及数据处理技术领域,具体涉及一种物联网设备数据的智能插补方法和系统。


背景技术:

2.随着物联网技术不断发展,传感设备被用于获取物联网技术使用的信息。传感技术由于传感设备采集数据的特性,已成为智能城市、智能驾驶、智能产业、智能电网等众多智能应用的重要组成部分。在一些领域中,需要对传感器数据进行处理,例如:在电网领域中,通过对传感器数据进行相关处理,从而保证电力设备的安全和高效运行。
3.数据缺失是物联网设备智能应用的一个重要问题。当传感器采集数据时,可能会由于环境的变化而产生干扰,造成数据的缺失。一次你,需要对这种缺失的数据进行插补处理以便能够正常使用。
4.为了解决物联网设备数据缺失的问题,现阶段的插补方法大多数都不能利用全局有效信息,插补结果往往不如人意。随着深度学习的发展,基于生成对抗网络的插补方法被提出。但现阶段基于生成对抗网络的数据插补方法采用原始生成对抗网络的结构,训练过程中需要大量的时间去优化网络的输入值,也会带来插补精度的损失,并且现阶段网络的训练时找不到良好的评价指标来衡量网络训练的好坏,无法准确的对缺失数据进行插补处理。


技术实现要素:

5.(一)解决的技术问题
6.针对现有技术的不足,本发明提供了一种物联网设备数据的智能插补方法和系统,解决了现有技术无法准确的对缺失数据进行插补处理的技术问题。
7.(二)技术方案
8.为实现以上目的,本发明通过以下技术方案予以实现:
9.本发明解决其技术问题所提供的一种物联网设备数据的智能插补方法,所述智能插补方法由计算机执行,包括以下步骤:
10.获取物联网设备数据样本集,构建初始生成对抗网络;所述数据样本集包括缺失数据和完整数据;
11.基于所述缺失数据和所述完整数据对所述初始生成对抗网络进行训练,得到物联网设备生成对抗网络,所述物联网设备生成对抗网络包括辅助编码器、生成器和鉴别器;
12.基于所述物联网设备生成对抗网络对物联网设备缺失数据进行插补处理。
13.优选的,所述基于所述缺失数据和所述完整数据对所述初始生成对抗网络进行训练,包括:
14.基于预设比例将所述缺失数据分为训练数据和测试数据;
15.以所述训练数据为输入,以所述完整数据为期望输出,基于预设的损失函数对所
述初始生成对抗网络进行预设轮次的迭代训练,并基于所述测试数据对训练后的初始生成对抗网络进行测试。
16.优选的,所述基于所述测试数据对训练后的初始生成对抗网络进行测试,包括:
17.每迭代训练一轮初始生成对抗网络后,将所述测试数据输入到训练后的初始生成对抗网络中,获取测试指标,所述测试指标包括:平均绝对误差、平均相对误差、均方根误差和确定系数;
18.根据所述测试指标获取测试结果;
19.根据所述测试结果确定物联网设备生成对抗网络。
20.优选的,所述平均绝对误差、平均相对误差和均方根误差的获取方法,包括:
[0021][0022][0023][0024]
其中,
[0025]
mae表示平均绝对误差,rmse表示平均相对误差,mape表示均方根误差;
[0026]
yi为测试数据中缺失位置对应的实际值,为训练后的初始生成对抗网络对测试数据进行插补处理后,缺失位置的插补值,n为缺失值的总个数。
[0027]
优选的,所述确定系数的获取方法,包括:
[0028][0029]
其中,
[0030]
r2表示确定系数;
[0031]
yi为测试数据中缺失位置对应的实际值,为训练后的初始生成对抗网络对测试数据进行插补处理后,缺失位置的插补值,n为缺失值的总个数。
[0032]
优选的,所述根据所述测试指标获取测试结果,包括:
[0033]
f=a*mae+b*rmse+c*mape+d*(1-r2)
[0034]
其中,
[0035]
f表示测试结果,a表示平均绝对误差的权重,b表示平均相对误差的权重,c表示均方根误差的权重,d表示确定系数的权重;
[0036]
所述根据所述测试结果确定物联网设备生成对抗网络,包括:
[0037]
确定每一轮迭代训练后的初始生成对抗网络的测试结果;
[0038]
将所有测试结果中最小的测试结果对应轮次的初始生成对抗网络确定为物联网设备生成对抗网络。
[0039]
优选的,所述基于所述物联网设备生成对抗网络对物联网设备缺失数据进行插补处理,包括:
[0040]
根据所述物联网设备缺失数据获取随机向量和矩阵掩码;
[0041]
将所述物联网设备缺失数据、所述随机向量和所述矩阵掩码输入到所述辅助编码器中,得到编码数据;
[0042]
将所述编码数据输入到所述生成器中,以使所述生成器对所述编码数据进行插补处理,得到物联网设备缺失数据对应的完整数据。
[0043]
本发明解决其技术问题所提供的一种物联网设备数据的智能插补系统,包括:
[0044]
准备模块,被配置为获取物联网设备数据样本集,构建初始生成对抗网络;所述数据样本集包括缺失数据和完整数据;
[0045]
训练模块,被配置为基于所述缺失数据和所述完整数据对所述初始生成对抗网络进行训练,得到物联网设备生成对抗网络,所述物联网设备生成对抗网络包括辅助编码器、生成器和鉴别器;
[0046]
处理模块,被配置为基于所述物联网设备生成对抗网络对物联网设备缺失数据进行插补处理。
[0047]
本发明解决其技术问题所提供的一种计算机可读存储介质,其存储用于基于信息增强的多轮对话生成的计算机程序,其中,所述计算机程序使得计算机执行如上述的物联网设备数据的智能插补方法。
[0048]
本发明解决其技术问题所提供的一种电子设备,包括:
[0049]
一个或多个处理器;
[0050]
存储器;以及
[0051]
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述程序包括用于执行如上述的物联网设备数据的智能插补方法。
[0052]
(三)有益效果
[0053]
本发明提供了一种物联网设备数据的智能插补方法和系统。与现有技术相比,具备以下有益效果:
[0054]
本发明通过获取物联网设备数据样本集,构建初始生成对抗网络;数据样本集包括缺失数据和完整数据;基于缺失数据和完整数据对初始生成对抗网络进行训练,得到物联网设备生成对抗网络,物联网设备生成对抗网络包括辅助编码器、生成器和鉴别器;基于物联网设备生成对抗网络对物联网设备缺失数据进行插补处理。相比于现有技术,本发明提供的生成对抗网络在结构上进行了改进,加入辅助编码器。将编码器随着生成对抗网络一同训练,编码器经过训练之后就可以找到网络的输入值,避免花费时间去优化输入值,并且可以使输入值达到最佳,大大提高插补的性能,从而准确的对缺失数据进行插补处理。
附图说明
[0055]
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0056]
图1为本发明实施例所提供的物联网设备数据的智能插补方法的场景示意图。
具体实施方式
[0057]
为使本发明实施例的目的、技术方案和优点更加清楚,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0058]
本技术实施例通过提供一种物联网设备数据的智能插补方法和系统,解决了现有技术无法准确的对缺失数据进行插补处理问题,实现了缺失数据的准确插补。
[0059]
本技术实施例中的技术方案为解决上述技术问题,总体思路如下:
[0060]
本发明实施例通过获取物联网设备数据样本集,构建初始生成对抗网络;数据样本集包括缺失数据和完整数据;基于缺失数据和完整数据对初始生成对抗网络进行训练,得到物联网设备生成对抗网络,物联网设备生成对抗网络包括辅助编码器、生成器和鉴别器;基于物联网设备生成对抗网络对物联网设备缺失数据进行插补处理。相比于现有技术,本发明提供的生成对抗网络在结构上进行了改进,加入辅助编码器。将编码器随着生成对抗网络一同训练,编码器经过训练之后就可以找到网络的输入值,避免花费时间去优化输入值,并且可以使输入值达到最佳,大大提高插补的性能,从而准确的对缺失数据进行插补处理。
[0061]
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
[0062]
本发明实施例提供了一种物联网设备数据的智能插补方法,图1为本发明实施例所提供的物联网设备数据的智能插补方法的场景示意图。该方法由计算机执行,该方法包括以下步骤:
[0063]
s1、获取物联网设备数据样本集,构建初始生成对抗网络;所述数据样本集包括缺失数据和完整数据;
[0064]
s2、基于所述缺失数据和所述完整数据对所述初始生成对抗网络进行训练,得到物联网设备生成对抗网络,所述物联网设备生成对抗网络包括辅助编码器、生成器和鉴别器;
[0065]
s3、基于所述物联网设备生成对抗网络对物联网设备缺失数据进行插补处理。
[0066]
本发明实施例相比于现有技术,生成对抗网络在结构上进行了改进,加入辅助编码器。将编码器随着生成对抗网络一同训练,编码器经过训练之后就可以找到网络的输入值,避免花费时间去优化输入值,并且可以使输入值达到最佳,大大提高插补的性能,从而准确的对缺失数据进行插补处理。
[0067]
下面对各步骤进行具体分析。
[0068]
在步骤s1中,获取物联网设备数据样本集,构建初始生成对抗网络;所述数据样本集包括缺失数据和完整数据。
[0069]
为了生成准确性较高的生成对抗网络,本技术实施例可以获取各种物联网设备的真实完整数据和完整数据相应的缺失数据,例如变压器中的气体含量传感器,压力传感器、温度传感器等。通过缺失数据和完整数据作为对照,从而训练出准确的生成对抗网络。
[0070]
缺失数据和完整数据是相对应的关系,需要说明的是,和完整数据相比,缺失数据即是某些位置的数据出现缺失情况的完整数据。完整数据x
com
和缺失数据x
inc
的示例分别如下所示:
[0071][0072][0073]
可以看出,完整数据和缺失数据是大小完全相同的两种数据,只是缺失数据中某些位置的数据出现了缺失情况。因此,缺失数据中可以包含两种情况,缺失位置和剩余数据。其中,缺失位置即为nan的情况,剩余数据则为具有真实数据的内容。
[0074]
剩余数据x
rem
的示例如下所示:
[0075][0076]
同时,可以构建物联网设备对应的初始生成对抗网络。
[0077]
本技术实施例中构建的初始生成对抗网络相比于现有技术,存在结构上的改进,引入了辅助编码器。辅助编码器的本质为一种编码器。
[0078]
具体的,初始生成对抗网络包括按序相连的辅助编码器、生成器和鉴别器。其中,编码器:可以找到缺失数据找对所传入到生成器的对应的最佳随机噪声。生成器:通过编码器传入的最佳随机噪声,用于对缺失数据进行插补生成缺失数据对应的完整数据模拟值。鉴别器:用于鉴别生成器生成的完整对应的完整数据模拟值和真实的完整数据值。
[0079]
辅助编码器、生成器和鉴别器均可以看做一种网络形式。
[0080]
编码器网络包括2个网络层和2个全连接层,全连接层、网络层、网络层和全连接层依次连接;全连接层和网络层设置有relu激活函数层,全连接层和网络层通过所述的relu激活函数层连接。2个网络层均包括卷积层、归一化层和relu激活函数层。
[0081]
生成器网络包括两个网络层和2个全连接层,全连接层、网络层、网络层和全连接层依次连接;全连接层和网络层之间设置有relu激活函数层,最后的全连接层设置有tanh激活函数层。2个网络层均包括反卷积层、归一化层和relu激活函数层。
[0082]
编码器网络包括4个网络层和2个全连接层,全连接层、网络层、网络层、网络层、网络层和全连接层依次连接;全连接层和网络层之间设置有relu激活函数层,最后的全连接层设置有sigmoid激活函数层。4个网络层均包括卷积层、归一化层和relu激活函数层。
[0083]
在步骤s2中,基于所述缺失数据和所述完整数据对所述初始生成对抗网络进行训练,得到物联网设备生成对抗网络,所述物联网设备生成对抗网络包括辅助编码器、生成器和鉴别器。
[0084]
具体的,可以对初始生成对抗网络进行训练,具体包括以下步骤:
[0085]
s201:基于预设比例将所述缺失数据分为训练数据和测试数据。
[0086]
本技术实施例中,在对初始生成对抗网络进行训练时,需要在训练的同时进行测试,以提高最终网络的准确性。
[0087]
s202:以所述训练数据为输入,以所述完整数据为期望输出,基于预设的损失函数对所述初始生成对抗网络进行预设轮次的迭代训练,并基于所述测试数据对训练后的初始生成对抗网络进行测试。
[0088]
其中,在对初始生成对抗网络进行预设轮次的迭代训练时,可以进行数据插补训练,数据插补训练过程具体包括以下步骤:
[0089]
s2021:根据所述缺失数据和所述完整数据获取矩阵掩码和随机向量。其中,矩阵掩码为大小和样本数据相同的矩阵,随机向量即为噪声。
[0090]
具体的,根据缺失数据和完整数据获取矩阵掩码,掩码中1代表数据未缺失,0代表数据缺失。矩阵掩码m的示例如下所示:
[0091][0092]
同时还可以生成随机向量。随机向量是对剩余数据中对应为0的位置进行填充,得到的一个数据。
[0093]
s2022:将所述缺失数据、所述矩阵掩码和所述随机向量输入到所述初始生成对抗网络中,得到插补数据。
[0094]
根据初始生成对抗网络可以先对缺失数据进行插补处理,得到插补数据,只是效果可能较差,因此还需要不断进行训练。
[0095]
s2023:将所述插补数据和所述完整数据输入到鉴别器中,基于第二总损失函数进行反向传播。
[0096]
具体的,可以先使用标准高斯分布随机初始化初始生成对抗网络的权重参数。再利用第二总损失函数进行鉴别器的反向传播。第二总损失函数是预先生成的损失函数,第二总损失函数为:
[0097][0098]
其中,ld表示鉴别器的第二总损失函数;
[0099]
p(x
rem
)表示剩余数据的分布,p(x
com
)表示传感器样本数据的分布;表示p(x
rem
)与p(x
com
)直线之间均匀抽样的分布,d(x
com
)表示完整数据为真的概率值;表示对鉴别器的梯度惩罚值,λ表示梯度惩罚参数。
[0100]
s2024:基于第一总损失函数进行反向传播。第一总损失函数是预先生成的损失函数,第一总损失函数为:
[0101]
l
e,g
=αle+lg[0102]
其中,
[0103]
l
e,g
为辅助编码器和生成器联合的第一总损失函数;
[0104]
le为辅助编码器的总损失函数,lg为生成器的总损失函数,α为辅助编码器的权重
参数;
[0105]
x
gen
=g(e(z,x
rem
,m))
[0106]
le=||x
gen

m-x
rem

m||2[0107]
x
imp
=x
rem

m+x
gen

(1-m)
[0108][0109]
其中,
[0110]
z表示随机向量,m表示矩阵掩码;x
gen
表示生成器生成的生成数据;x
rem
表示缺失数据中的剩余数据,x
imp
表示插补数据;
[0111]
e[*]表示分布函数的期望值,||x
gen

m-x
rem

m||2表示生成数据与剩余数据的重建损失,pz(z)表示z的分布,d(x
imp
)表示插补数据为真的概率值。
[0112]
s2025:迭代训练,进行预设轮次的迭代训练。用户可以自行设定训练的轮次,例如两万次。
[0113]
在对初始生成对抗网络进行训练时,需要在训练的同时进行测试,包括以下步骤:
[0114]
s2121:每迭代训练一轮初始生成对抗网络后,将所述测试数据输入到训练后的初始生成对抗网络中,获取测试指标,所述测试指标包括:平均绝对误差、平均相对误差、均方根误差和确定系数。
[0115]
需要说明的是,在训练过程中,每迭代训练一轮后,就需要将测试数据输入到该轮次训练后的网络中,根据评价指标来测试网络的训练情况。测试指标主要有平均绝对误差、平均相对误差、均方根误差和确定系数。
[0116]
其中,各项测试指标的获取方法如下:
[0117][0118][0119][0120]
其中,
[0121]
mae表示平均绝对误差,rmse表示平均相对误差,mape表示均方根误差;
[0122]
yi为测试数据中缺失位置对应的实际值,为训练后的初始生成对抗网络对测试数据进行插补处理后,缺失位置的插补值,n为缺失值的总个数。
[0123][0124]
其中,
[0125]
r2表示确定系数。
[0126]
s2122:根据所述测试指标获取测试结果。
[0127]
mae和rmse是反映插补值与真实值的偏离程度,越接近0插补效果越好;mape是代表插补值与实际值的差值所占真实的值的比例,越接近0效果越好;r2是评价插补结果的拟合程度,越接近1表示插补数据能够代表真实样本。
[0128]
因此,本技术实施例中设定测试结果为:
[0129]
f=a*mae+b*rmse+c*mape+d*(1-r2)
[0130]
其中,
[0131]
f表示测试结果,a表示平均绝对误差的权重,b表示平均相对误差的权重,c表示均方根误差的权重,d表示确定系数的权重。
[0132]
每一项测试指标的权重可以由用户自行设定,可以是a=b=c=d=0.25。
[0133]
根据上述公式可以确定出每一轮迭代训练后的初始生成对抗网络的测试结果。
[0134]
s2123:根据所述测试结果确定物联网设备生成对抗网络。
[0135]
具体的,可以先确定每一轮迭代训练后的初始生成对抗网络的测试结果。以预设轮次为两万次为例,可以得到两万个测试结果,每个测试结果都会对应一个轮次的初始生成对抗网络。
[0136]
在一些实施例中,可以将所有测试结果中最小的测试结果对应轮次的初始生成对抗网络确定为物联网设备生成对抗网络。
[0137]
测试结果越小,则越能体现网络的准确性,因此可以确定出最小的测试结果,并将相应轮次的网络确定为训练完成的网络,即最终的物联网设备生成对抗网络。
[0138]
在一些实施例中,为了避免网络波动性的影响,也可以在网络训练稳定阶段,选取物联网设备生成对抗网络。
[0139]
具体的,需要先确定出网络的稳定阶段。可以先设定一个网络阈值,可以是一千。如果在这一千次相邻的训练后的网络中,这些网络的测试结果中最大值和最小值的差值,满足预设条件,可以是差值小于最小值的遇着比例,例如小于最小值的十分之一,则认为这一千次训练后的网络处于稳定阶段。
[0140]
在稳定阶段中,可以选取测试结果最小的网络,作为物联网设备生成对抗网络。
[0141]
在步骤s3中,基于所述物联网设备生成对抗网络对物联网设备缺失数据进行插补处理。
[0142]
具体的,包括以下步骤:
[0143]
根据所述物联网设备缺失数据获取随机向量和矩阵掩码。具体的,辅助编码器可以获取到最佳随机向量。
[0144]
将所述物联网设备缺失数据、所述随机向量和所述矩阵掩码输入到所述辅助编码器中,得到编码数据。
[0145]
将所述编码数据输入到所述生成器中,以使所述生成器对所述编码数据进行插补处理,得到物联网设备缺失数据对应的完整数据。
[0146]
本发明实施例还提供了一种物联网设备数据的智能插补系统,上述系统包括:
[0147]
准备模块,被配置为获取物联网设备数据样本集,构建初始生成对抗网络;所述数据样本集包括缺失数据和完整数据;
[0148]
训练模块,被配置为基于所述缺失数据和所述完整数据对所述初始生成对抗网络进行训练,得到物联网设备生成对抗网络,所述物联网设备生成对抗网络包括辅助编码器、生成器和鉴别器;
[0149]
处理模块,被配置为基于所述物联网设备生成对抗网络对物联网设备缺失数据进行插补处理。
[0150]
可理解的是,本发明实施例提供的上述智能插补系统与上述智能插补方法相对应,其有关内容的解释、举例、有益效果等部分可以参考物联网设备数据的智能插补方法中的相应内容,此处不再赘述。
[0151]
本发明实施例还提供了一种计算机可读存储介质,该介质上存储有至少一条指令,至少所述一条指令由处理器加载并执行以实现如上述的物联网设备数据的智能插补方法。
[0152]
本发明实施例还提供了一种电子设备,电子设备包括:
[0153]
一个或多个处理器;
[0154]
存储器;以及
[0155]
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述程序包括用于执行如上述的物联网设备数据的智能插补方法。
[0156]
综上所述,与现有技术相比,具备以下有益效果:
[0157]
本发明实施例通过获取物联网设备数据样本集,构建初始生成对抗网络;数据样本集包括缺失数据和完整数据;基于缺失数据和完整数据对初始生成对抗网络进行训练,得到物联网设备生成对抗网络,物联网设备生成对抗网络包括辅助编码器、生成器和鉴别器;基于物联网设备生成对抗网络对物联网设备缺失数据进行插补处理。
[0158]
通过对原始的生成对抗网络结构进行改进,在原始结构生成器前加入辅助编码器。将编码器随着生成对抗网络一同训练,编码器经过训练之后就可以找到网络的输入值,避免花费时间去优化输入值,并且可以使输入值达到最佳,大大提高插补的性能。另外,在整体网络训练阶段引入训练评价指标,来监测网络训练的状态,帮助网络的训练,从而准确的对缺失数据进行插补处理。
[0159]
需要说明的是,通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
[0160]
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括
没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0161]
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征:
1.一种物联网设备数据的智能插补方法,所述智能插补方法由计算机执行,其特征在于,包括以下步骤:获取物联网设备数据样本集,构建初始生成对抗网络;所述数据样本集包括缺失数据和完整数据;基于所述缺失数据和所述完整数据对所述初始生成对抗网络进行训练,得到物联网设备生成对抗网络,所述物联网设备生成对抗网络包括辅助编码器、生成器和鉴别器;基于所述物联网设备生成对抗网络对物联网设备缺失数据进行插补处理。2.根据权利要求1所述的智能插补方法,其特征在于,所述基于所述缺失数据和所述完整数据对所述初始生成对抗网络进行训练,包括:基于预设比例将所述缺失数据分为训练数据和测试数据;以所述训练数据为输入,以所述完整数据为期望输出,基于预设的损失函数对所述初始生成对抗网络进行预设轮次的迭代训练,并基于所述测试数据对训练后的初始生成对抗网络进行测试。3.根据权利要求2所述的智能插补方法,其特征在于,所述基于所述测试数据对训练后的初始生成对抗网络进行测试,包括:每迭代训练一轮初始生成对抗网络后,将所述测试数据输入到训练后的初始生成对抗网络中,获取测试指标,所述测试指标包括:平均绝对误差、平均相对误差、均方根误差和确定系数;根据所述测试指标获取测试结果;根据所述测试结果确定物联网设备生成对抗网络。4.根据权利要求3所述的智能插补方法,其特征在于,所述平均绝对误差、平均相对误差和均方根误差的获取方法,包括:差和均方根误差的获取方法,包括:差和均方根误差的获取方法,包括:其中,mae表示平均绝对误差,rmse表示平均相对误差,mape表示均方根误差;y
i
为测试数据中缺失位置对应的实际值,为训练后的初始生成对抗网络对测试数据进行插补处理后,缺失位置的插补值,n为缺失值的总个数。5.根据权利要求4所述的智能插补方法,其特征在于,所述确定系数的获取方法,包括:
其中,r2表示确定系数;y
i
为测试数据中缺失位置对应的实际值,为训练后的初始生成对抗网络对测试数据进行插补处理后,缺失位置的插补值,n为缺失值的总个数。6.根据权利要求5所述的智能插补方法,其特征在于,所述根据所述测试指标获取测试结果,包括:f=a*mae+b*rmse+c*mape+d*(1-r2)其中,f表示测试结果,a表示平均绝对误差的权重,b表示平均相对误差的权重,c表示均方根误差的权重,d表示确定系数的权重;所述根据所述测试结果确定物联网设备生成对抗网络,包括:确定每一轮迭代训练后的初始生成对抗网络的测试结果;将所有测试结果中最小的测试结果对应轮次的初始生成对抗网络确定为物联网设备生成对抗网络。7.根据权利要求1所述的智能插补方法,其特征在于,所述基于所述物联网设备生成对抗网络对物联网设备缺失数据进行插补处理,包括:根据所述物联网设备缺失数据获取随机向量和矩阵掩码;将所述物联网设备缺失数据、所述随机向量和所述矩阵掩码输入到所述辅助编码器中,得到编码数据;将所述编码数据输入到所述生成器中,以使所述生成器对所述编码数据进行插补处理,得到物联网设备缺失数据对应的完整数据。8.一种物联网设备数据的智能插补系统,其特征在于,所述系统包括:准备模块,被配置为获取物联网设备数据样本集,构建初始生成对抗网络;所述数据样本集包括缺失数据和完整数据;训练模块,被配置为基于所述缺失数据和所述完整数据对所述初始生成对抗网络进行训练,得到物联网设备生成对抗网络,所述物联网设备生成对抗网络包括辅助编码器、生成器和鉴别器;处理模块,被配置为基于所述物联网设备生成对抗网络对物联网设备缺失数据进行插补处理。9.一种计算机可读存储介质,其特征在于,其存储用于基于信息增强的多轮对话生成的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1~7任一项所述的物联网设备数据的智能插补方法。10.一种电子设备,其特征在于,包括:
一个或多个处理器;存储器;以及一个或多个程序,其中所述一个或多个程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述程序包括用于执行如权利要求1~7任一项所述的物联网设备数据的智能插补方法。

技术总结
本发明提供一种物联网设备数据的智能插补方法和系统。通过获取物联网设备数据样本集,构建初始生成对抗网络;数据样本集包括缺失数据和完整数据;基于缺失数据和完整数据对初始生成对抗网络进行训练,得到物联网设备生成对抗网络,物联网设备生成对抗网络包括辅助编码器、生成器和鉴别器;基于物联网设备生成对抗网络对物联网设备缺失数据进行插补处理。相比于现有技术,本发明提供的生成对抗网络在结构上进行了改进,加入辅助编码器。将编码器随着生成对抗网络一同训练,编码器经过训练之后就可以找到网络的输入值,避免花费时间去优化输入值,并且可以使输入值达到最佳,大大提高插补的性能,从而准确的对缺失数据进行插补处理。处理。处理。


技术研发人员:罗贺 吕欠伟 台建玮 王国强 李晓多 胡笑旋 余本功 何耀耀 邵臻
受保护的技术使用者:合肥工业大学
技术研发日:2022.05.11
技术公布日:2022/11/1
转载请注明原文地址: https://tieba.8miu.com/read-7995.html

最新回复(0)