基于改进条件变分自编码器的混合qos预测方法及系统
技术领域
1.本发明属于网络服务技术领域,尤其涉及基于改进条件变分自编码器的混合qos预测方法及系统。
背景技术:2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
3.在网络环境越来越复杂的情况下,用户对于个性化web服务推荐结果的要求越来越高,在满足功能需求的基础上,更加追求响应时间、服务可靠性等非功能属性;服务质量(quality of service,qos)是web服务的非功能属性,对qos进行高准确度的预测是实现个性化web服务推荐的一个有效途径,也是一个关键标准。
4.互联网的快速发展,导致网络服务信息量成指数形式爆炸增长,而网民们所能调用的服务数量无法与其相比,便导致qos记录非常稀疏;传统的协同过滤算法由于数据稀疏性问题,其预测效果不佳,使得基于qos预测的个性化web服务推荐质量降低;目前较为流行的基于深度学习模型的qos预测,通过挖掘数据潜在特征进行全局学习,一定程度上提高了预测准确度,却忽略了用户之间或服务之间的潜在关联信息和用户或服务特征。
5.所以,虽然基于邻域的协同过滤与基于模型、深度学习的qos预测方法对提高预测准确度已有成效,但针对数据稀疏、特征学习和数据关联等问题的处理效果不佳,所以,对qos进行预测的模型还需进一步优化,进而提高预测准确度。
6.条件变分自编码器作为一种生成模型,其目标是从原始数据和外部条件中学习潜在空间分布,并采样生成相关新数据,有着强大的特征学习能力,且在其他领域的应用取得了较好成果;利用条件变分自编码器对缺失的qos值进行预测,可以有效提高预测准确度,进而提高个性化web服务推荐的质量。
技术实现要素:7.为克服上述现有技术的不足,本发明提供了基于改进条件变分自编码器的混合qos预测方法及系统,使用改进条件变分自编码器模型对缺失qos值进行重构,并将统计学中的独立样本t检验方法引入到可信相似邻居筛选过程中,在学习用户-服务qos数据全局信息的基础上,突出用户或服务间的潜在关联,一定程度上提高qos预测准确度。
8.为实现上述目的,本发明的一个或多个实施例提供了如下技术方案:
9.本发明第一方面提供了基于改进条件变分自编码器的混合qos预测方法;
10.基于改进条件变分自编码器的混合qos预测方法,包括:
11.对初始用户-服务qos向量进行缺失值的预填充;
12.对预填充后的用户-服务qos向量进行用户特征提取;
13.根据提取的用户特征,基于改进条件变分自编码器,对缺失的qos值进行重构,得到重构后的qos数据向量;
14.计算用户的相似邻居,并引入独立样本t检验方法筛选出用户最可信的相似邻居;
15.利用获取的可信相似邻居,结合重构后的qos数据向量进行qos预测,得到用户调用服务的预测qos值。
16.进一步的,采用带有偏置项的奇异值分解方法,对缺失值进行预填充,具体为:
17.将初始用户-服务qos向量分解为两个特征矩阵:用户特征矩阵pu和服务特征矩阵qs,再加上用户偏置项、服务偏置项及同一城市用户调用服务的历史平均qos值,完成对初始用户-服务qos向量的缺失值预填充。
18.进一步的,基于双层栈式自编码器,提取用户-服务qos向量中的用户特征。
19.进一步的,所述改进条件变分自编码器,是结合预填充后的用户-服务qos向量与提取的用户特征,学习得到中间隐藏层的隐变量z,其满足近似估计概率分布。
20.进一步的,根据用户位置信息和皮尔森相关系数计算用户的相似邻居。
21.进一步的,获取最可信的相似邻居的具体步骤为:
22.(1)对处于同一as区域和城市的用户进行简单的批次筛选;
23.(2)使用皮尔森相关系数分别计算并获取与目标用户处于同一as区域和同一城市的top-2k个相似邻居;
24.(3)将继续对获得的目标用户top-4k个相似邻居进行可信度计算,进而取得最终top-k个最可信的相似邻居。
25.进一步的,用独立样本t检验方法比较两个qos记录之间是否存在显著差异,确定目标用户与相似邻居之间的可信度,具体为:
26.将目标用户u与获取的top-4k相似邻居进行独立样本t检验,对显著性p
t
值大于显著性水平α的相似用户根据p
t
的值进行降序排序,取前top-k个最可信的相似邻居。
27.本发明第二方面提供了基于改进条件变分自编码器的混合qos预测系统。
28.基于改进条件变分自编码器的混合qos预测系统,包括预填充模块、特征提取模块、qos重构模块、邻居获取模块和qos预测模块;
29.预填充模块,被配置为:对初始用户-服务qos向量进行缺失值的预填充;
30.特征提取模块,被配置为:对预填充后的用户-服务qos向量进行用户特征提取;
31.qos重构模块,被配置为:根据提取的用户特征,基于改进条件变分自编码器,对缺失的qos值进行重构,得到重构后的qos数据向量;
32.邻居获取模块,被配置为:计算用户的相似邻居,并引入独立样本t检验方法筛选出用户最可信的相似邻居;
33.qos预测模块,被配置为:利用获取的可信相似邻居,结合重构后的qos数据向量进行qos预测,得到用户调用服务的预测qos值。
34.本发明第三方面提供了计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现如本发明第一方面所述的基于改进条件变分自编码器的混合qos预测方法中的步骤。
35.本发明第四方面提供了电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,所述处理器执行所述程序时实现如本发明第一方面所述的基于改进条件变分自编码器的混合qos预测方法中的步骤。
36.以上一个或多个技术方案存在以下有益效果:
37.本发明使用改进条件变分自编码器模型对缺失qos值进行重构,并将统计学中的独立样本t检验方法引入到可信相似邻居筛选过程中,在学习用户-服务qos数据全局信息的基础上,突出用户或服务间的潜在关联,一定程度上提高qos预测准确度。
38.在重构qos数据过程中,本发明先使用带偏置项的奇异值分解方法对初始用户-服务qos矩阵中的稀疏向量进行缺失值预填充,缓解数据稀疏对模型学习训练的影响,并创新性地提出了改进条件变分自编码器模型对预填充的qos矩阵进行学习训练获取重构的qos矩阵,其外部条件是由双层栈式自编码器提取的用户特征。保证了用户调用服务的偏好特征,提高预测准确度。
39.在局部学习获取用户可信相似邻居过程中,本发明根据用户位置和皮尔森相关系数计算用户的相似邻居,并创新性地引入独立样本t检验方法筛选出用户最可信的相似邻居,保证了相似邻居的可信度,有效避免不可信邻居对qos预测的影响。
40.本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
41.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
42.图1为第一个实施例的方法流程图。
43.图2为第一个实施例中带有偏置项的奇异值分解方法biassvd的流程示意图。
44.图3为第一个实施例中双层栈式自编码器的结构图。
45.图4为第一个实施例中改进的条件变分自编码器的模型结构图。
具体实施方式
46.下面结合附图与实施例对本发明作进一步说明。
47.应该指出,以下详细说明都是示例性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
48.需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
49.术语解释:
50.qos(quality of service,qos)表示服务质量。
51.biassvd表示带有偏置项的奇异值分解方法。
52.top-2k表示序列中排列在前2k的项,k是设定的参数。
53.as(autonomous system)表示自治系统或自治域。
54.实施例一
55.本实施例公开了基于改进条件变分自编码器的混合qos预测方法;
56.如图1所示,基于改进条件变分自编码器的混合qos预测方法,包括:
57.s1:对初始用户-服务qos向量进行缺失值的预填充;
58.基于目前所应用的深度学习模型,在数据高度稀疏的情况下所进行训练的结果并不好,且用户调用的服务只是庞大网络服务集中的冰山一角,另外,由于网络环境或地理位置等不可控因素使得用户调用的服务信息丢失,更加剧了记录中数据稀疏的问题。所以,在使用改进条件变分自编码器模型进行训练重构缺失的qos值之前,对用户-服务的初始qos向量进行缺失值的预填充,能够有效提高模型的训练效果。
59.在具体实施中,采用带有偏置项的奇异值分解方法(biassvd)对稀疏的初始用户-服务qos向量随机地进行缺失值的预填充,如图2所示。biassvd考虑到用户和服务的偏好,能够更好地对缺失值进行计算和填充,同时也在一定程度上缓解条件变分自编码器在数据高稀疏情况下,潜在特征学习不充分等问题。biassvd将原始的用户-服务qos矩阵r分解为两个特征矩阵:用户特征矩阵pu和服务特征矩阵qs,再加上用户偏置项、服务偏置项及同一城市用户调用服务的历史平均qos值,完成对初始用户-服务qos向量的缺失值预填充,计算方法如下:
60.rp
us
=q
st
pu+bu+bs+ucꢀꢀꢀ
(1)
61.其中,rp
us
表示通过biassvd计算得到用户u对服务s预填充的缺失值;qs表示服务s的特征向量;pu表示用户u的特征向量;bu表示用户u偏好的偏置项;bs表示服务s特征的偏置项;uc表示同一城市用户调用服务的历史平均qos值。
62.s2:对预填充后的用户-服务qos向量rpu进行用户特征提取;
63.每个用户都是独立的个体,并有着独特的个性,这些独特的个性可以定义为用户的专属特征。一般情况下,用户会在互联网上填写有关自己的特征信息(例如性别、身高、体重、兴趣、偏好等),这样的特征被称为显性特征,很容易被互联网后台捕获,并根据相关特征向用户进行个性化的推荐;但不易被发现的隐性特征对个性化推荐也有着一定的影响;在用户-服务的历史qos记录中,只能获取用户和服务的有关id、位置和qos值等信息,而有关用户或服务的隐性特征无法直接观察到,所以,利用双层栈式自编码器来获取用户的隐性特征,如图3所示。
64.对预填充后的用户-服务向量rpu进行双层栈式自编码器的编码操作,得到专属于用户u的特征向量,计算方式如下:
65.uh=f2(w2f1(w1rpu+b1)+b2)
ꢀꢀꢀ
(2)
66.其中,uh表示经过两层编码后被提取的用户隐性特征向量;rpu表示预填充的用户u的qos向量;f1表示外层编码端的激活函数;f2表示内层编码端的激活函数;w1表示外层编码端的特征权重;w2表示内层编码端的特征权重;b1表示外层编码端的偏置项;b2表示内层编码端的偏置项。
67.利用双层栈式自编码器对用户信息进行特征提取的损失函数可以表示为:
[0068][0069]
其中,rp
u’表示经过双层栈式自编码器生成的数据;rpu表示输入数据;w表示编码端与解码端的特征权重矩阵;λ表示防止过拟合的系数。
[0070]
s3:根据提取的用户特征,基于改进条件变分自编码器,对缺失的qos值进行重构,得到重构后的qos数据向量;
[0071]
为了提高qos预测准确度,本发明对条件变分自编码器进行了相关改进。因为每个用户调用服务的不同,各有特点,所以,将用户特征作为条件变分自编码器中的条件标签,来约束生成的数据,改进的条件变分自编码器的模型结构如图4所示,在编码端将输入数据rpu与通过双层栈式自编码器得到的用户隐性特征uh一起输入到模型中编码得到隐藏层中的均值与方差,解码端是将采样的隐向量z与用户隐性特征uh一起输入并解码得到重构qos向量rru。
[0072]
改进条件变分自编码器是结合输入数据rpu与获得的外部条件(用户隐性特征uh)一同学习得到中间隐藏层的隐变量z,其满足近似估计概率分布z~q
ρ
(z|x,uh)。本发明所希望的标准隐变量z满足后验概率分布所以需要利用q
ρ
(z|x,uh)无限地逼近模型中的后验概率达到要求,使用kl散度来度量这两个概率分布:
[0073][0074]
其中,表示近似估计分布q
ρ
(z|x,uh)和后验概率分布之间的kl散度值。不小于零,且,越无限地逼近零,q
ρ
(z|x,uh)与之间的差异越小。
[0075]
则改进条件变分自编码器模型的损失函数表达如下:
[0076][0077]
其中,l
cvae
表示改进条件变分自编码器的变分下界,若对输出进行最大化,需要最小化隐变量与外部条件(用户隐性特征)的重构损失,即同时最小化隐变量和外部条件编码端的后验分布与给定条件下的先验分布之间的kl散度,即
[0078]
在解码端生成数据时,并不是从隐变量中直接采样一个z进行解码,而是采用重参数方法;先从正态分布n(0,1)中采样一个ξi,与隐藏层中的方差相乘并与均值相加后,得到最终的采样结果z,结合用户标签uh,生成与该用户相关的qos数据向量,即解码端的操作可以表达为:
[0079]
rru=decoder(z,uh)=decoder(μi+ξi×
σi,uh)
ꢀꢀꢀ
(6)
[0080]
基于改进条件变分自编码器的qos预测方法的损失函数如下所示:
[0081][0082]
s4:计算用户的相似邻居,并引入独立样本t检验方法筛选出用户最可信的相似邻居;
[0083]
初始的用户-服务qos矩阵ru,经过上述改进条件变分自编码器模型的重构,所有缺失的qos值都已被预测,但其预测结果的准确度还需进一步提升;改进的条件变分自编码器对用户-服务qos矩阵进行了全局学习,但会忽略用户与用户或服务与服务之间不易被挖掘的关联,所以,本发明对原始用户-服务qos矩阵进行局部特征学习,进而提高qos预测准确度。
[0084]
基于近邻协同过滤的方法已被验证是局部学习较为强大的一种方法,通过提高用
户相似邻居的可信度来进行局部特征学习,即根据历史的qos记录获取目标用户“志同道合”的相似用户,本发明通过皮尔逊相关系数(pcc)与统计学中的独立样本t检验的方法来获取用户的可信相似邻居,具体步骤为:
[0085]
s4-1:对处于同一as区域和城市的用户进行简单的批次筛选;
[0086]
用户的位置信息对于qos值的产生有一定的影响,所以先用位置信息对用户进行简单的筛选。
[0087]
s4-2:使用皮尔森相关系数pcc分别计算并获取与目标用户处于同一as区域和同一城市的前top-2k个相似邻居;
[0088]
pcc的计算方法如下所示:
[0089][0090]
其中,pcc
uv
表示用户u与用户v之间的相关程度;r
ui
表示用户u调用服务i所产生的qos值;表示用户u调用服务产生的qos平均值;r
vi
表示用户v调用服务i所产生的qos值;表示用户v调用服务产生的qos平均值。pcc
uv
的取值范围为-1~+1,且pcc
uv
=0时,表示两用户无相关性;pcc
uv
《0时,两用户之间的相似性为负相关,在这里将其表示为无相关性,所以,只关注pcc
uv
》0的情况,pcc
uv
值越大,表明用户v与用户u的相似性越高。
[0091]
按照pcc
uv
值从大到小排序,取前top-2k个用户作为相似邻居。
[0092]
s4-3:将继续对获得的目标用户top-4k个相似邻居进行可信度计算,进而取得最终top-k个最可信的相似邻居。
[0093]
引入统计学中独立样本t检验的方法对目标用户的相似邻居进一步筛选,独立样本t检验是比较两组独立数据之间的差异,是否存在统计学意义,本发明将独立样本t检验应用到比较两个用户-服务qos记录之间是否存在显著差异,确定目标用户与相似邻居之间的可信度。
[0094]
利用独立样本t检验来计算两个用户的相似性,要先确认目标用户与其相似邻居是否满足独立样本t检验的前提条件,具体为:(1)目标用户与其他用户是两个完全独立的个体,且对彼此调用服务的行为没有任何干涉或影响,所以每个用户调用服务产生的qos数据与其他用户调用服务产生的qos数据互不相关。(2)改进条件变分自编码器中获得的隐变量z满足标准的正态分布,隐变量z可以看作是初始用户向量数据的隐空间表示,所以,在计算统计量时,使用隐变量z中的均值与方差。(3)方差齐性,也就是两个用户向量的隐变量种的方差是否齐性,如若被判定为不齐,则进行矫正。
[0095]
所以采用独立样本t检验来计算两个用户的相似性的具体步骤为:
[0096]
(1)获取数据
[0097]
分别获取目标用户u与相似邻居v的qos数据,假设目标用户u调用服务被记录了m个qos值,设为集合qu=(qu1,qu2,
…
,qum);相似邻居v调用服务被记录了n个qos值,设为集合qv=(qv1,qv2,
…
,qvn)。从改进条件变分自编码器隐空间的正态分布中分别获取目标用户u和相似邻居v的均值和方差:μu、σu和μv、σv。
[0098]
(2)需要判定目标用户u与相似邻居v的方差是否齐性
[0099]
在这里,仍假设目标用户u与相似邻居v的整体qos数据符合正态分布,其均值为μ=μ
u-μv,方差为σ。但由于方差齐性问题,σ的计算方式不同,所以在进行t检验之前,需要判定目标用户u与相似邻居v的方差是否齐性。如果两个用户的qos数据方差不齐,意味着两组数据在根本上不是一个量级,进行的比较也是无意义的,所以,如若不齐,则对其进行矫正。本发明使用f检验的统计量判断两个用户的qos数据方差是否相等,利用levene方差齐性检验计算f统计量。
[0100]
levene方差齐性检验也被称为levene检验,提出检验的零假设hl0:目标用户u与相似邻居v的qos数据方差相等。计算检验统计量f值如下所示:
[0101][0102]
其中,f表示levene检验方法计算的检验统计量;m表示用户u调用服务被记录的qos值个数;n表示用户v调用服务被记录的qos值个数;μu和μv分别表示从条件变分自编码器隐空间正态分布中获取的目标用户u和相似邻居v的均值;quj表示目标用户u调用服务产生的第j个qos值;qvj表示目标用户v调用服务产生的第j个qos值。
[0103]
显著性水平α是假设检验中一个重要的概念,它是指在零假设是正确时,却被拒绝了的风险或概率。α需要在每一次统计检验之前被确定,一般情况下,将α设为0.05或0.01。其意义是小概率事件在某次试验中发生的可能性大小。在这里,取α=0.05。
[0104]
根据f检验统计量计算显著性pl值来判断方差是否齐性。由于pl值没有准确的计算公式,直接利用python中的函数进行计算:p
l
=stats.levene(σu,σv)。将获得的p
l
与显著性水平α进行比较,若p
l
》α,则无法拒绝原假设hl0,表示目标用户u与相似邻居v的qos数据的方差是齐性的,即σu=σv。此时σ的计算如下所示:
[0105][0106]
其中sσ2,z满足如下公式:
[0107][0108]
若不齐则进行矫正,σ的矫正计算方式如下所示:
[0109][0110]
(3)显著性p
t
值的计算
[0111]
目标用户u与相似邻居v的qos数据均值差的检验统计量t的计算方式如下所示:
[0112][0113]
其中,表示用户u调用服务产生的qos值的平均值;表示用户v调用服务产生
的qos值的平均值。
[0114]
目标用户u与相似邻居v的qos数据的方差齐性时,t统计量服从的自由度满足如下公式:
[0115]
dfe=m+n-2
ꢀꢀꢀ
(14)
[0116]
目标用户u与相似邻居v的qos数据的方差不齐性时,t统计量服从的自由度满足如下公式:
[0117][0118]
根据t统计量和自由度来计算显著性p
t
值来判断目标用户u与相似用户v的qos数据均值是否存在显著性差异。由于p
t
值没有准确的计算公式,本发明直接利用python中的函数进行计算:p
t
=stats.t.sf(t,df),t表示统计量,df表示自由度。
[0119]
(4)取得最终top-k个最可信的相似邻居
[0120]
为了确认用户v是否为目标用户u的可信相似邻居,提出零假设ht0:目标用户u与相似邻居v总体qos数据无显著性差异,即用户v是目标用户u的可信相似邻居。同样,取α=0.05。
[0121]
如果p
t
》α,则无法拒绝原假设ht0,表示目标用户u与相似邻居v的qos数据均值没有显著性差异,即用户v是目标用户u的相似邻居的可信度较高;如果p
t
《α,则应该拒绝原假设ht0,表示目标用户u与相似用户v的qos数据均值有较大的显著性差异,即用户v是目标用户u的相似邻居的可信度较低,并将其从相似邻居的集合中删除。
[0122]
将目标用户u与获取的top-4k相似邻居进行上述的独立样本t检验,对p
t
》α的相似用户根据p
t
的值进行降序排序,取前top-k个最可信的相似邻居,将其设为相似邻居集合nu=(nu1,nu2,
…
,nuk)。获取的top-k个可信相似邻居被认为是目标用户u的相似特征,并以此提高缺失qos值预测的准确度。
[0123]
s5:利用获取的可信相似邻居,结合重构后的qos数据向量进行qos预测,得到用户调用服务的预测qos值。
[0124]
预测计算方法如下:
[0125][0126]
其中,表示预测的用户u调用服务s的qos值;nu为用户u的可信相似邻居集合;rr
v,s
表示经过改进条件变分自编码器重构的用户v调用服务s的qos值;k表示用户u的可信相似邻居的个数。
[0127]
实施例二
[0128]
本实施例公开了基于改进条件变分自编码器的混合qos预测系统;
[0129]
如图2所示,基于改进条件变分自编码器的混合qos预测系统,包括预填充模块、特征提取模块、qos重构模块、邻居获取模块和qos预测模块;
[0130]
预填充模块,被配置为:对初始用户-服务qos向量进行缺失值的预填充;
[0131]
特征提取模块,被配置为:对预填充后的用户-服务qos向量进行用户特征提取;
[0132]
qos重构模块,被配置为:根据提取的用户特征,基于改进条件变分自编码器,对缺失的qos值进行重构,得到重构后的qos数据向量;
[0133]
邻居获取模块,被配置为:计算用户的相似邻居,并引入独立样本t检验方法筛选出用户最可信的相似邻居;
[0134]
qos预测模块,被配置为:利用获取的可信相似邻居,结合重构后的qos数据向量进行qos预测,得到用户调用服务的预测qos值。
[0135]
实施例三
[0136]
本实施例的目的是提供计算机可读存储介质。
[0137]
计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本公开实施例1所述的基于改进条件变分自编码器的混合qos预测方法中的步骤。
[0138]
实施例四
[0139]
本实施例的目的是提供电子设备。
[0140]
电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,所述处理器执行所述程序时实现如本公开实施例1所述的基于改进条件变分自编码器的混合qos预测方法中的步骤。
[0141]
本领域内的技术人员应明白,本公开的实施例可提供为方法、系统、或计算机程序产品。因此,本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0142]
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0143]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0144]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0145]
以上所述仅为本公开的优选实施例而已,并不用于限制本公开,对于本领域的技术人员来说,本公开可以有各种更改和变化。凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
[0146]
上述虽然结合附图对本公开的具体实施方式进行了描述,但并非对本公开保护范围的限制,所属领域技术人员应该明白,在本公开的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
技术特征:1.基于改进条件变分自编码器的混合qos预测方法,其特征在于,包括:对初始用户-服务qos向量进行缺失值的预填充;对预填充后的用户-服务qos向量进行用户特征提取;根据提取的用户特征,基于改进条件变分自编码器,对缺失的qos值进行重构,得到重构后的qos数据向量;计算用户的相似邻居,并引入独立样本t检验方法筛选出用户最可信的相似邻居;利用获取的可信相似邻居,结合重构后的qos数据向量进行qos预测,得到用户调用服务的预测qos值。2.如权利要求1所述的基于改进条件变分自编码器的混合qos预测方法,其特征在于,采用带有偏置项的奇异值分解方法,对缺失值进行预填充,具体为:将初始用户-服务qos向量分解为两个特征矩阵:用户特征矩阵p
u
和服务特征矩阵q
s
,再加上用户偏置项、服务偏置项及同一城市用户调用服务的历史平均qos值,完成对初始用户-服务qos向量的缺失值预填充。3.如权利要求1所述的基于改进条件变分自编码器的混合qos预测方法,其特征在于,基于双层栈式自编码器,提取用户-服务qos向量中的用户特征。4.如权利要求1所述的基于改进条件变分自编码器的混合qos预测方法,其特征在于,所述改进条件变分自编码器,是结合预填充后的用户-服务qos向量与提取的用户特征,学习得到中间隐藏层的隐变量z,其满足近似估计概率分布。5.如权利要求1所述的基于改进条件变分自编码器的混合qos预测方法,其特征在于,根据用户位置信息和皮尔森相关系数计算用户的相似邻居。6.如权利要求1所述的基于改进条件变分自编码器的混合qos预测方法,其特征在于,获取最可信的相似邻居的具体步骤为:(1)对处于同一as区域和城市的用户进行简单的批次筛选;(2)使用皮尔森相关系数分别计算并获取与目标用户处于同一as区域和同一城市的top-2k个相似邻居;(3)将继续对获得的目标用户top-4k个相似邻居进行可信度计算,进而取得最终top-k个最可信的相似邻居。7.如权利要求1所述的基于改进条件变分自编码器的混合qos预测方法,其特征在于,用独立样本t检验方法比较两个qos记录之间是否存在显著差异,确定目标用户与相似邻居之间的可信度,具体为:将目标用户u与获取的top-4k相似邻居进行独立样本t检验,对显著性p
t
值大于显著性水平α的相似用户根据p
t
的值进行降序排序,取前top-k个最可信的相似邻居。8.基于改进条件变分自编码器的混合qos预测系统,其特征在于:包括预填充模块、特征提取模块、qos重构模块、邻居获取模块和qos预测模块;预填充模块,被配置为:对初始用户-服务qos向量进行缺失值的预填充;特征提取模块,被配置为:对预填充后的用户-服务qos向量进行用户特征提取;qos重构模块,被配置为:根据提取的用户特征,基于改进条件变分自编码器,对缺失的qos值进行重构,得到重构后的qos数据向量;邻居获取模块,被配置为:计算用户的相似邻居,并引入独立样本t检验方法筛选出用
户最可信的相似邻居;qos预测模块,被配置为:利用获取的可信相似邻居,结合重构后的qos数据向量进行qos预测,得到用户调用服务的预测qos值。9.计算机可读存储介质,其上存储有程序,其特征在于,该程序被处理器执行时实现如权利要求1-7任一项所述的基于改进条件变分自编码器的混合qos预测方法中的步骤。10.电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7任一项所述的基于改进条件变分自编码器的混合qos预测方法中的步骤。
技术总结本发明提出了基于改进条件变分自编码器的混合QoS预测方法及系统,属于网络服务技术领域,首先使用带偏置项的奇异值分解方法进行缺失值预填充,缓解数据稀疏问题可能会对模型训练学习产生的影响;然后使用改进条件变分自编码器模型进行相关学习训练,得到重构后的QoS矩阵,模型中的外部条件是由双层栈式自编码器提取的用户特征;其次根据用户位置信息和皮尔森相关系数获取用户的相似邻居,并引入统计学中的独立样本T检验方法筛选出可信相似邻居;最后,由可信相似邻居与重构的QoS矩阵计算并预测缺失的QoS值;本发明在学习用户-服务QoS数据全局信息的基础上,突出用户或服务间的潜在关联,一定程度上提高了QoS预测准确度。一定程度上提高了QoS预测准确度。一定程度上提高了QoS预测准确度。
技术研发人员:鲁芹 吴孟伟
受保护的技术使用者:齐鲁工业大学
技术研发日:2022.07.26
技术公布日:2022/11/1