1.本发明涉及评价指标技术领域，涉及一种评价指标权重准确性的检验方法。
背景技术：2.对于产品制造商而言，如何发现用户贴切需求以及用户对产品性能的关注点并将其科学的融入产品的研发中，是提升产品用户满意度的关键技术难题；对于单位hr而言，精确评价员工绩效是提升单位运营效益的关键点；对于医院而言，如何选择大型医用设备的供应商是比较困难的事情。其中，通过权重进行需求者关注点的预测分析是解决该技术难题的一种有效手段，现有的对权重结果进行准确性检验方法主要有：
3.(1)由赋权专家通过主观赋权方法如层次分析法等进行指标权重打分，打分过程中通过一致性比率等个人逻辑判定方法进行权重准确性检验，或是在权重打分结束后通过熵值、变异系数等判定方法进行赋权专家间离散程度检验，进而检验权重的准确性。
4.(2)通过指标间数据间差异由bp神经网络等方法训练出指标的权重大小，求解过程中通过训练样本进行指标初始权重确定，进而通过检验样本进行初始权重数值准确性检验。
5.上述2种方法仅通过数据本身或赋权人员间差异进行权重结果准确性的检验，没有考虑通过与用户反馈结果进行权重准确性的检验，可能导致与用户反馈存有一定的偏差。此外，上述2种方法同样没有考虑检验结果不满足要求时，如何基于现有结果进行权重的修正，使其满足要求。
技术实现要素：6.针对现有技术的不足，本发明提供了一种评价指标权重准确性的检验及修正方法，将权重准确性确定与用户的实际感受相结合，通过用户反馈排序结果与对应评价排序结果进行对比，系统、科学地进行了权重准确性的检验，为提高评价结果的准确性提供了有力的保障。
7.为实现上述目的，本发明提供如下技术方案：
8.一种评价指标权重准确性的检验方法，包括以下步骤：
9.根据权重以及指标评分进行不同样本的品质排序，得到样本评价排序结果；
10.进行用户调研，通过用户反馈结果进行不同样本的品质排序，得到用户反馈排序结果；
11.通过得到的用户反馈排序结果与得到的样本评价排序结果进行权重准确性检验。
12.进一步地，所述根据权重以及指标评分进行不同样本的品质排序，得到样本评价排序结果的具体包括以下步骤：
13.步骤s11：基于已有的指标权重及下级指标评分计算所隶属的上级指标评分；
14.步骤s12：构建样本的指标评分对比概率模型；
15.步骤s13：基于指标评分对比概率模型进行样本品质评价指标排序；
16.步骤s14：重复所述步骤s11、步骤s12以及步骤s13，将所有样本进行两两对比，得到所有样本的总体排序结果。
17.进一步地，所述进行用户调研，通过用户反馈结果进行不同样本的品质排序，得到用户反馈排序结果的具体包括以下步骤：
18.步骤s21：进行调研问卷设计并进行用户调研；
19.步骤s22：量化单个用户样本对比分析结果；
20.步骤s23：计算所有用户的样本对比分析的量化总值，并进行样本品质排序；
21.步骤s24：重复所述步骤s21、步骤s22以及步骤s23得到所有样本品质排序结果。
22.进一步地，通过得到的用户反馈排序结果与得到的样本评价排序结果进行权重准确性检验的步骤还包括：基于检验结果进行权重数值的优化修正。
23.进一步地，所述步骤s11的计算公式如式(1)所示：
[0024][0025]
其中，(yi)s为第s个样本在第i个上级指标的评分，其中，s＝1,2,...,s，s为样本总数，i＝1,2,...,m，m为上级指标总数；(x
ij
)s为第s个样本在第i个上级指标下第j个下级指标的评分，其中，j＝1,2,...,n，n为隶属于上级指标i的下级指标个数；w
ij
为修正前隶属于第i个上级指标第j个下级指标的权重。
[0026]
进一步地，所述步骤s12的指标评分对比概率模型为：
[0027]
基于指标评分进行样本间品质排序的结果分为2种，即样本品质一样好以及样本品质有差异。现有技术中指标评分一般为单个数值，需要考虑评分置信度以及评分精度构建产品的指标评分置信区间，否则基于单个数值进行样本品质排序可能会导致排序结果存在一定的偏差。此外，采用评分置信区间进行产品性能对比分析时会有评分区间交叉覆盖，此时可基于应力-强度干涉模型构建样本间的指标评分对比概率模型，量化交叉覆盖区域样本对比分值并给出样本品质排序最终结果。
[0028]
以样本a、b及第i个上级指标为例，开展基于指标评分的样本品质排序。
[0029]
样本a、b在置信度为k、评分精度为uc时第i个上级指标的评分置信区间为[(yi)
a-kuc，(yi)a+kuc]和[(yi)
b-kuc，(yi)b+kuc]，其中，a，b＝1,2,...,s，且a≠b，进而基于应力-强度干涉模型构建样本a、b指标评分对比概率模型p，并以此得到两样本在第i个上级指标的品质排序，模型p如式(2)所示。
[0030][0031]
其中，为样本a比b性能好的概率大小；k为置信度；uc为评分精度；(yi)a、(yi)b为样本a、b在第i个上级指标的评分。
[0032]
进一步地，所述步骤s13的具体步骤为：
[0033]
设定2个样品评价结果对比的概率阈值为pu、pv，pu＞pv，若根据公式(2)计算得到的p大于pu或小于pv则认为两个样本有差异；若根据公式(2)计算得到的p在(pu,pv)则认为两个样本无差异，即认为两个产品性能水平相当，如表1所示。
[0034]
表1样本指标评分对比概率及样本品质对比结果
[0035]
概率对比结果p＝(pu,1)样本a好于样本bp＝(pv,pu)样本a和样本b一样好p＝(0,pv)样本b好于样本a
[0036]
进一步地，所述步骤s21的具体方法为：
[0037]
以两不同样本a、b及所评价上级指标开展产品对比分析问题及问卷的设计，样本对比分析的用户调研问题包括2个部分，第一部分是可推导“样本a优于样本b”或“样本b优于样本a”或“样本a、b水平相当”结论的问题，第二部分是用户确定第一部分问题答案准确性的信心指数。
[0038]
进一步地，所述步骤s22的具体方法为：
[0039]
单个用户调研在第i个上级指标的样本对比分析结论，按表2进行量化。
[0040]
表2单个用户反馈的第i个上级指标的样本对比分析量化结果
[0041][0042][0043]
进一步地，所述步骤s24的具体方法为：
[0044]
根据k份调研问卷对比分析量化结果，按公式(3)和公式(4)计算集成所有用户反馈意见的样本a、b在第i个上级指标对比分析的量化总值，量化总值为10分制；
[0045][0046][0047]
其中，(yi)a为样本a的第i个上级指标的样本对比分析量化总值，(yi)b为产品b的第i个上级指标的产品对比分析量化总值，i＝1,2,
…
m；(y
ik
)a为产品a的第k个调研对象关于第i个上级指标的样本对比分析的量化结果，(y
ik
)b为样本b的第k个调研对象关于第i个上级指标的样本对比分析的量化结果，k＝1,2,
…
k，k为调研问卷的份数；δ
ik
为第k个调研对象关于第i个上级指标的样本对比结果的信心指数，自调研问卷中直接得到；
[0048]
设定样本用户在10分制下的评分颗粒度为d，若用户反馈的两个样本对比分析量化总值的差值超过d/2则认为两个样本有差异；若用户反馈的两个样本对比分析量化总值的差值小于d/2则认为两个样本无差异。
[0049]
进一步地，所述通过用户反馈排序结果与样本评价排序结果进行权重准确性检验的具体方法为：
[0050]
通过肯德尔系数进行用户反馈结果和样本评价结果的一致性检验；肯德尔系数计算公式如下：
[0051]
不存在数值相同的秩次等级时，肯德尔协调系数kcc的计算公式为：
[0052][0053]
其中，s为样本总数；rs为样本s的排列位次的秩次等级之和。
[0054]
存在数值相同的秩次等级时，肯德尔协调系数kcc的计算公式为：
[0055][0056]
其中，t为秩次等级数值相同的样本数目。
[0057]
进一步地，所述基于检验结果进行权重数值的优化修正的方法为：
[0058]
肯德尔协调系数kcc≥j(j∈(0,1))，认为用户反馈结果同评价结果间的一致性较好，权重准确性检验满足要求。
[0059]
肯德尔协调系数kcc小于j(j∈(0,1))，认为用户反馈结果同评价结果间的一致性较差，权重准确性检验不满足要求。
[0060]
若用户反馈结果同评价结果间的一致性差，则基于罚函数构建权重的优化修正模型，进而权重结果的优化修正，优化修正模型为：
[0061][0062]
其中，以用户反馈样本品质优劣排序结果为1～s的顺序建立优化模型，w
ij
为修正前隶属于第i个上级指标第j个下级指标的权重；w
ij
′
为修正后隶属于第i个上级指标第j个下级指标的权重，其中，j＝1,2,...,n，n为隶属于上级指标i的下级指标个数，i＝1,2,...,m，m为上级指标总数；(x
ij
)1,(x
ij
)2,...,(x
ij
)s为第1,2,...,s个样本在第i个上级指标下第j个下级指标的评分。
[0063]
进一步地，本发明的评价指标权重准确性的检验方法适用于很多评价体系，例如：产品评价体系、单位人员绩效评价体系、医疗设备供应商服务评价体系、
[0064]
适用于产品评价体系，对产品性能进行综合评分，在产品评价体系中，样本为产品，样本品质为产品性能，用户为产品的使用者。
[0065]
适用于单位人员绩效评价体系，对人员绩效进行综合评分，在人员绩效评价体系中，样本为需要被评价的职员，样本品质为人员绩效，用户为被评价职员的同事。
[0066]
适用于医疗设备供应商服务评价体系，对医疗设备的供应商服务水平进行评分，在医疗设备供应商服务评价体系中，样本为医疗设备，样本品质为供应商服务水平，用户为医护人员。
[0067]
与现有技术相比，本发明提供了一种评价指标权重准确性的检验方法，具备以下有益效果：
[0068]
(1)本发明的检验方法将权重准确性确定与用户的实际感受相结合，通过用户反馈样本品质排序结果与对应样本品质评价排序结果进行对比，系统、科学地进行了权重准确性的检验，为提高样本品质评价结果的准确性提供了有力的保障，权重准确性的判定更加合理。
[0069]
(2)本发明的检验方法考虑评价指标的结果在一定置信度下为包含评分精度因素的评分置信区间，构建了评分对比概率模型，通过评分对比概率模型计算的概率及设定的概率阈值进行样本品质排序对比分析，科学准确的得到样本品质评价排序结果。
[0070]
(3)本发明的检验方法引入信心指数开展样本品质对比的用户调研，并基于用户评价颗粒度、对比分析量化值，得到用户反馈的样本品质排序结果，减少了用户调研时用户个人主观性以及局限性对评价结果造成的误差，提高了用户反馈结果的准确性。
[0071]
(4)本发明的检验方法还包括修正方法，基于权重准确性判断结果和罚函数建立指标权重优化修正模型，并基于用户反馈结果进行权重优化修正，可得到与用户反馈一致的权重结果，进而帮助产品研发人员或单位人事部或医院采购部准确定位最需提升的技术指标，明确技术发展的趋势。
[0072]
(5)本发明基于样本品质评价结果与用户反馈结果进行指标权重的准确性检验，进而通过罚函数建立指标权重优化模型进行指标权重优化修正，最终达到提高权重结果准确性的目的。
附图说明
[0073]
图1为本发明实施例1产品评价指标权重准确性检验流程图；
[0074]
图2为本发明实施例1产品评价体系的一个示例；
[0075]
图3为本发明实施例2人员绩效评价指标权重准确性检验流程；
[0076]
图4为本发明实施例2人员绩效评价体系的一个示例；
[0077]
图5为本发明实施例3大型医用设备维修保养服务评价指标权重准确性检验流程；
[0078]
图6为本发明实施例3大型医用设备供应商服务评价体系的一个示例。
具体实施方式
[0079]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0080]
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以还包括不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0081]
在本技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、、“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为便于描述本发明和简化描述，而不是指示或暗指所指的装置或元件必须具有特定的方位、为特定的方位构造和操作，因而不能理解为对本发明保护内容的限制。
[0082]
实施例1
[0083]
如图1和图2所示，本发明应用于产品评价指标中评价指标权重准确性的检验，围绕图2所示的产品评价体系进行产品性能综合评分。
[0084]
本实施例中产品评价指标权重准确性的检验方法，包括以下步骤：s1、根据权重以及指标评分进行不同产品的性能排序；s2、进行用户调研，通过用户反馈结果进行不同产品的性能排序；s3、通过用户反馈排序结果与产品评价排序结果进行权重准确性检验，并基于检验结果进行权重数值的优化修正。
[0085]
在本实施例的一种具体实施方式中，步骤s1包括：
[0086]
s11、基于指标权重及下级指标评分计算上级指标评分。
[0087]
基于已有的指标权重及下级指标评分计算所隶属的上级指标评分，计算公式如式(8)所示。
[0088][0089]
其中，(yi)s为第s个产品在第i个上级指标的评分，其中，s＝1,2,...,s，s为产品总数，i＝1,2,...,m，m为上级指标总数；(x
ij
)s为第s个产品在第i个上级指标下第j个下级指标的评分，其中，j＝1,2,...,n，n为隶属于上级指标i的下级指标个数；w
ij
为修正前隶属于第i个上级指标第j个下级指标的权重。
[0090]
图2为本实施例产品评价体系中的一个示例，若以图2中“操控性”、“动力性”、“舒适性”为上级指标，m为3，“智能化水平”、“操控平顺性”、“操控精准性”、“操控灵敏性”为上级指标“操控性”的下级指标；当上级指标为“操控性”时，n为4；“最大爬坡角度”、“最大爬坡角度”、“最小刹车距离”、“起步加速时间”、“最高车速”为上级指标“动力性”的下级指标；当上级指标为“动力性”时，n为4；“耳旁噪声”、“手传振动”、“全身振动”、“视野”为上级指标“舒适性”的下级指标；当上级指标为“舒适性”时，n为4。若以图2中“产品性能综合评分”为上级指标，m为1，“操控性”、“动力性”、“舒适性”为上级指标“产品性能综合评分”的下级指
标；当上级指标为“产品性能综合评分”时，n为3。
[0091]
s12、构建产品的指标评分对比概率模型。
[0092]
基于指标评分进行产品间性能排序的结果分为2种，即产品性能一样好以及产品性能有差异。以产品a、b及第i个上级指标为例，开展基于指标评分的产品性能排序。产品a、b在置信度为k、评分精度为uc时第i个上级指标的评分置信区间为[(yi)
a-kuc，(yi)a+kuc]和[(yi)
b-kuc，(yi)b+kuc]，其中a，b＝1,2,...,s，且a≠b，进而基于应力-强度干涉模型构建产品a、b指标评分对比概率模型p，并以此得到两产品在第i个上级指标的性能排序，模型p如式(9)所示。
[0093][0094]
其中，为产品a比b性能好的概率大小；k为置信度；uc为评分精度；(yi)a、(yi)b为产品a、b在第i个上级指标的评分。
[0095]
s13、基于指标评分对比概率模型进行产品性能排序
[0096]
设定2个产品评价结果对比的概率阈值为pu、pv，pu＞pv，若根据公式(9)计算得到的p大于pu或小于pv则认为两个产品有明显差异；若根据公式(9)计算得到的p在(pu,pv)则认为两个产品无明显差异认为两个产品性能水平相当，如表3所示。
[0097]
表3产品指标评分对比概率及产品性能对比结果
[0098]
概率对比结果p＝(pu,1)产品a好于产品bp＝(pv,pu)产品a和产品b一样好p＝(0,pv)产品b好于产品a
[0099]
s14、通过s11、s12、s13所示两两对比方法逐步得到所有产品的总体排序结果。
[0100]
在本实施例的一种具体实施方式中，步骤s2包括：
[0101]
s21、进行调研问卷设计并进行用户调研。
[0102]
以两不同产品a、b及所评价上级指标开展产品对比分析问题及问卷的设计，产品对比分析的用户调研问题包括2个部分，第一部分是可推导“产品a优于产品b”或“产品b优于产品a”或“产品a、b水平相当”结论的问题，第二部分是用户确定第一部分问题答案准确性的信心指数。
[0103]
以产品a、b以及第i个上级指标为例，设计产品对比分析问题及问卷如表4所示。
[0104]
表4产品对比分析的用户调研问题设计
[0105][0106]
s22、量化单个用户产品对比分析结论。
[0107]
单个用户调研在第i个上级指标的产品对比分析结论，按表5进行量化。
[0108]
表5单个用户反馈的第i个上级指标的产品对比分析量化结果
[0109][0110]
s23、计算所有用户的产品对比分析的量化总值并进行产品性能排序。
[0111]
根据k份调研问卷对比分析量化结果，按表6计算集成所有用户反馈意见的产品a、b在第i个上级指标对比分析的量化总值，量化总值为10分制。
[0112]
表6用户反馈的产品对比分析的量化总值
[0113]
[0114][0115]
设定产品用户在10分制下的评分颗粒度为d，若用户反馈的两个产品对比分析量化总值的差值超过d/2则认为两个产品有明显差异；若用户反馈的两个产品对比分析量化总值的差值小于d/2则认为两个产品性能水平相当，如表7所示。
[0116]
表7用户反馈的产品性能对比排序结果
[0117][0118]
s24、通过s21、s22、s23所示两两对比方法逐步得到所有产品的总体排序结果。
[0119]
在本实施例的一种具体实施方式中，步骤s3包括：
[0120]
s31、基于用户反馈与产品评价排序结果进行权重准确性检验。
[0121]
通过肯德尔系数进行用户反馈结果和产品评价结果的一致性检验。肯德尔系数计算公式如下：
[0122]
不存在数值相同的秩次等级时，肯德尔协调系数kcc的计算公式为：
[0123][0124]
其中，s为产品总数；rs为产品s的排列位次的秩次等级之和。
[0125]
存在数值相同的秩次等级时，肯德尔协调系数kcc的计算公式为：
[0126][0127]
其中，s为产品总数；rs为产品s的排列位次的秩次等级之和；t为秩次等级数值相同的产品数目。
[0128]
s32、基于判定结果进行权重修正。
[0129]
肯德尔协调系数kcc≥j(j∈(0,1))，认为用户反馈结果同评价结果间的一致性较好，权重准确性检验满足要求。
[0130]
肯德尔协调系数kcc小于j(j∈(0,1))，认为用户反馈结果同评价结果间的一致性较差，权重准确性检验不满足要求。可基于罚函数构建权重的优化修正模型，进而权重结果的优化修正，优化模型为：
[0131][0132]
其中，以用户反馈产品性能优劣排序结果为1～s的顺序建立优化模型，w
ij
为修正前隶属于第i个上级指标第j个下级指标的权重；w
ij
′
为修正后隶属于第i个上级指标第j个下级指标的权重；(x
ij
)1,(x
ij
)2,...,(x
ij
)s为第1,2,...,s个产品在第i个上级指标下第j个下级指标的评分。
[0133]
在另一些实施例中，评价指标权重准确性的检验的具体计算示例如下：
[0134]
以a、b、c、d、e这5款产品为例进行分析，分析上级指标为操控性，下级指标为智能化水平，操控平顺性，操控精准性，操控灵敏性。
[0135]
1.不存在数值相同的秩次等级时
[0136]
1.1产品评价及用户评价排序结果获取
[0137]
通过步骤s1可以求得5款产品的产品评价排序结果，如a好于b好于c好于d好于e，如表8所示。
[0138]
表8产品评价排序结果
[0139][0140]
通过步骤s2可以求得5款产品的用户评价排序结果，如b好于a好于c好于d好于e，如表9所示。
[0141]
表9用户评价排序结果
[0142][0143]
1.2产品评价及用户评价排序结果一致性检验
[0144]
将产品评价及用户评价排序结果汇总，如表10所示。
[0145]
表10排序结果汇总
[0146][0147][0148]
将表10数据代入公式(12)即可求得kcc结果。
[0149]
2.存在数值相同的秩次等级时
[0150]
1.1产品评价及用户评价排序结果获取
[0151]
通过步骤s1可以求得5款产品的产品评价排序结果如a一样好于b好于c好于d好于e，如表11所示。
[0152]
表11产品评价排序结果
[0153][0154]
通过步骤s2可以求得5款产品的用户评价排序结果如a一样好于b好于c好于d好于e，如表12所示。
[0155]
表12用户评价排序结果
[0156][0157]
1.2产品评价及用户评价排序结果一致性检验
[0158]
将产品评价及用户评价排序结果汇总，如表13所示。
[0159]
表13排序结果汇总
[0160] abcde产品评价排序结果11234用户评价排序结果11234
[0161]
因存在产品排序相同，即存在秩次等级时，需要对排序结果汇总进行变动，如表14所示。
[0162]
表14变化后的排序结果汇总
[0163] abcde产品评价排序结果(1+2)/2＝1.5(1+2)/2＝1.5345用户评价排序结果(1+2)/2＝1.5(1+2)/2＝1.5345
[0164]
根据表14进行rs和t的求解，如表15所示。
[0165]
表15 rs和t
[0166][0167]
将表15数据代入公式(13)即可求得kcc结果。
[0168]
实施例2
[0169]
如图3和图4所示，本发明应用于人员绩效评价体系中评价指标权重准确性的检验，围绕图4所示的人员绩效体系进行人员绩效综合评分。
[0170]
本实施例中产品评价指标权重准确性的检验方法，包括以下步骤：s1、根据权重以及指标评分进行不同人员的绩效排序；s2、进行被评价职员同事的调研，通过他们反馈结果进行不同产品的性能排序；s3、通过被评价职员的同事反馈排序结果与人员绩效评价排序结果进行权重准确性检验，并基于检验结果进行权重数值的优化修正。
[0171]
在本实施例的一种具体实施方式中，步骤s1包括：
[0172]
s11、基于指标权重及下级指标评分计算上级指标评分。
[0173]
基于已有的指标权重及下级指标评分计算所隶属的上级指标评分，计算公式如式(15)所示。
[0174][0175]
其中，(yi)s为第s个人员在第i个上级指标的评分，s＝1,2,...,s，s为人员总数，i＝1,2,...,m，m为上级指标总数；(x
ij
)s为第s个人员在第i个上级指标下第j个下级指标的评分，j＝1,2,...,n，n为隶属于上级指标i的下级指标个数；w
ij
为修正前隶属于第i个上级指标第j个下级指标的权重。
[0176]
图4为本实施例产品评价体系中的一个示例，若以图4中“工作能力”、“工作态度”、“工作业绩”为上级指标，m为3，“工作经验”、“工作技能”、“身体素质”、“智力水平”为上级指标“工作能力”的下级指标；当上级指标为“工作能力”时，n为4；“团队精神”、“奉献精神”、“忠诚度”、“责任感”为上级指标“工作态度”的下级指标；当上级指标为“工作态度”时，n为4；；“工作质量”、“工作效率”、“工作方法”、“创新能力”为上级指标“工作业绩”的下级指标；当上级指标为“工作业绩”时，n为4；若以图4中“人员绩效综合评分”为上级指标，m为1，“工作能力”、“工作态度”、“工作业绩”为上级指标“人员绩效综合评分”的下级指标；当上级指标为“人员绩效综合评分”时，n为3。
[0177]
s12、构建人员的指标评分对比概率模型p。
[0178]
基于指标评分进行人员间能力排序的结果分为2种，即人员能力一样好以及人员能力有差异。以人员a、b及第i个上级指标为例，开展基于绩效指标评分的人员能力排序。人员a、b(a，b＝1,2,...,s，且a≠b)在置信度为k、评分精度为uc时第i个上级指标的评分置信区间为[(yi)
a-kuc，(yi)a+kuc]和[(yi)
b-kuc，(yi)b+kuc]，进而基于应力-强度干涉模型构建人员a、b绩效指标评分对比概率模型p，并以此得到两人员在第i个上级指标的能力排序，模型p如式(16)所示。
[0179][0180]
其中，为人员a比b能力好的概率大小；k为置信度；uc为评分精度；(yi)a、(yi)b为人员a、b在第i个上级指标的评分。
[0181]
s13、基于指标评分对比概率模型进行人员能力排序
[0182]
设定2个人员评价结果对比的概率阈值为pu、pv，pu＞pv，若根据公式(16)计算得到的p大于pu或小于pv则认为两个人员能力有明显差异；若根据公式(16)计算得到的p在(pu,pv)则认为两个人员能力无明显差异认为两个人员能力水平相当，如表16所示。
[0183]
表16人员绩效指标评分对比概率及人员能力对比结果
[0184][0185]
s14、通过s11、s12、s13所示两两对比方法逐步得到所有人员能力的总体排序结果。
[0186]
在本实施例的一种具体实施方式中，步骤s2包括：
[0187]
s21、进行调研问卷设计并进行公司人员调研
[0188]
以两不同人员a、b及所评价上级指标开展人员对比分析问题及问卷的设计，人员对比分析的调研问题包括2个部分，第一部分是可推导“人员a优于人员b”或“人员b优于人员a”或“人员a、b水平相当”结论的问题，第二部分是公司人员确定第一部分问题答案准确性的信心指数，问题设计如表17所示。
[0189]
表17人员能力对比分析的用户调研问题设计
[0190][0191]
s22、量化单个用户人员对比分析结论。
[0192]
单个公司人员调研在第i个上级指标的人员对比分析结论，按表18进行量化。
[0193]
表18单个公司人员反馈的第i个上级指标的人员对比分析量化结果
[0194][0195]
s23、计算所有调研公司人员的人员对比分析的量化总值并进行人员能力排序。
[0196]
根据k份调研问卷对比分析量化结果，按表19计算集成所有调研公司人员反馈意见的人员a、b在第i个上级指标对比分析的量化总值，量化总值为10分制。
[0197]
表19公司人员反馈的人员对比分析的量化总值
[0198][0199]
设定人员公司人员在10分制下的评分颗粒度为d，若公司人员反馈的两个人员对比分析量化总值的差值超过d/2则认为两个人员有明显差异；若公司人员反馈的两个人员对比分析量化总值的差值小于d/2则认为两个人员能力水平相当，如表20所示。
[0200]
表20公司人员反馈的人员能力对比排序结果
[0201][0202]
s24、通过s21、s22、s23所示两两对比方法逐步得到所有人员的总体排序结果。
[0203]
在本实施例的一种具体实施方式中，步骤s3包括：
[0204]
s31、基于公司人员反馈与人员评价排序结果进行权重准确性检验。
[0205]
通过肯德尔系数进行公司人员反馈结果和人员评价结果的一致性检验。肯德尔系数计算公式如下：
[0206]
不存在数值相同的秩次等级时，肯德尔协调系数kcc的计算公式为：
[0207][0208]
其中，s为人员总数；rs为人员s的排列位次的秩次等级之和。
[0209]
存在数值相同的秩次等级时，肯德尔协调系数kcc的计算公式为：
[0210][0211]
其中，s为人员总数；rs为人员s的排列位次的秩次等级之和；t为秩次等级数值相同的人员数目。
[0212]
s32、基于判定结果进行权重修正。
[0213]
肯德尔协调系数kcc≥j(j∈(0,1))，认为公司人员反馈结果同评价结果间的一致性较好，权重准确性检验满足要求。
[0214]
肯德尔协调系数kcc小于j(j∈(0,1))，认为公司人员反馈结果同评价结果间的一致性较差，权重准确性检验不满足要求。可基于罚函数构建权重的优化修正模型，进而权重结果的优化修正，优化模型为：
[0215][0216]
其中，以公司人员反馈人员能力优劣排序结果为1～s的顺序建立优化模型，w
ij
为修正前隶属于第i个上级指标第j个下级指标的权重；w
ij
′
为修正后隶属于第i个上级指标第j个下级指标的权重；(x
ij
)1,(x
ij
)2,...,(x
ij
)s为第1,2,...,s个人员在第i个上级指标下第j个下级指标的评分。
[0217]
实施例3
[0218]
如图5和图6所示，本发明应用于大型医用设备维修保养服务评价体系指标权重准确性的检验，围绕图6所示的设备供应商服务评价体系系进行供应商服务水平评分。
[0219]
本实施例中产品评价指标权重准确性的检验方法，包括以下步骤：s1、根据权重以及指标评分进行不同医用设备供应商的服务水平排序；s2、进行医护人员调研，通过医护人员反馈结果进行不同医用设备供应商的服务水排序；s3、通过医护人员反馈排序结果与医用设备供应商服务水平评价排序结果进行权重准确性检验，并基于检验结果进行权重数值的优化修正。
[0220]
在本实施例的一种具体实施方式中，步骤s1包括：
[0221]
s11、基于指标权重及下级指标评分计算上级指标评分。
[0222]
基于已有的指标权重及下级指标评分计算所隶属的上级指标评分，计算公式如式(22)所示。
[0223][0224]
其中，(yi)s为第s个设备供应商在第i个上级指标的评分，s＝1,2,...,s，s为设备供应商总数，i＝1,2,...,m，m为上级指标总数；(x
ij
)s为第s个设备供应商在第i个上级指标下第j个下级指标的评分，j＝1,2,...,n，n为隶属于上级指标i的下级指标个数；w
ij
为修正前隶属于第i个上级指标第j个下级指标的权重。
[0225]
图6为本实施例产品评价体系中的一个示例，若以图6中“时间因素”、“质量因素”、“服务因素”为上级指标，m为3，“响应时间”、“修复时间”、“定期保养时间”为上级指标“时间因素”的下级指标；当上级指标为“时间因素”时，n为3；“开机率”、“故障率”、“配件质量”、“备用库房规模”为上级指标“质量因素”的下级指标；当上级指标为“质量因素”时，n为4；“专业技术”、“工作场地”、“资料备案”、“沟通与改进”为上级指标“服务因素”的下级指标；当上级指标为“服务因素”时，n为4。若以图6中“供应商服务水平评分”为上级指标，m为1，“时间因素”、“质量因素”、“服务因素”为上级指标“供应商服务水平评分”的下级指标；当上级指标为“供应商服务水平评分”时，n为3。
[0226]
s12、构建指标评分对比概率模型p。
[0227]
基于指标评分进行设备供应商间服务水平排序的结果分为2种，即设备供应商服务水平一样好以及设备供应商服务水平有差异。以设备供应商a、b及第i个上级指标为例，开展基于评价指标评分的设备供应商服务水平排序。设备供应商a、b(a，b＝1,2,...,s，且a≠b)在置信度为k、评分精度为uc时第i个上级指标的评分置信区间为[(yi)
a-kuc，(yi)a+kuc]和[(yi)
b-kuc，(yi)b+kuc]，进而基于应力-强度干涉模型构建设备供应商a、b评价指标评分对比概率模型p，并以此得到两设备供应商在第i个上级指标的服务水平排序，模型p如式(23)所示。
[0228][0229]
其中，为设备供应商a比b服务水平好的概率大小；k为置信度；uc为评分精度；(yi)a、(yi)b为设备供应商a、b在第i个上级指标的评分。
[0230]
s13、基于指标评分对比概率模型进行设备供应商能力排序
[0231]
设定2个设备供应商评价结果对比的概率阈值为pu、pv，pu＞pv，若根据公式(23)计算得到的p大于pu或小于pv则认为两个设备供应商服务水平有明显差异；若根据公式(23)计算得到的p在(pu,pv)则认为两个设备供应商服务水平无明显差异认为两个设备供应商服务水平相当，如表21所示。
[0232]
表21设备供应商评价指标评分对比概率及设备供应商服务水平对比结果
[0233]
概率对比结果
p＝(pu,1)设备供应商a好于设备供应商bp＝(pv,pu)设备供应商a和设备供应商b一样好p＝(0,pv)设备供应商b好于设备供应商a
[0234]
s14、通过s11、s12、s13所示两两对比方法逐步得到所有设备供应商服务水平的总体排序结果。
[0235]
在本实施例的一种具体实施方式中，步骤s2包括：
[0236]
s21、进行调研问卷设计并进行医护人员调研
[0237]
以两不同设备供应商a、b及所评价上级指标开展设备供应商服务水平对比分析问题及问卷的设计，设备供应商服务水平对比分析的医护人员调研问题包括2个部分，第一部分是可推导“设备供应商a优于设备供应商b”或“设备供应商b优于设备供应商a”或“设备供应商a、b水平相当”结论的问题，第二部分是医护人员确定第一部分问题答案准确性的信心指数，问题设计如表22所示。
[0238]
表22设备供应商服务水平对比分析的医护人员调研问题设计
[0239][0240]
s22、量化单个医护人员设备供应商对比分析结论。
[0241]
单个医护人员调研在第i个上级指标的设备供应商对比分析结论，按表23进行量化。
[0242]
表23单个医护人员反馈的第i个上级指标的设备供应商对比分析量化结果
[0243][0244]
s23、计算所有医护人员的设备供应商对比分析的量化总值并进行设备供应商服
务水平排序。
[0245]
根据k份调研问卷对比分析量化结果，按表24计算集成所有医护人员反馈意见的设备供应商a、b在第i个上级指标对比分析的量化总值，量化总值为10分制。
[0246]
表24医护人员反馈的设备供应商对比分析的量化总值
[0247][0248]
设定设备供应商医护人员在10分制下的评分颗粒度为d，若医护人员反馈的两个设备供应商对比分析量化总值的差值超过d/2则认为两个设备供应商有明显差异；若医护人员反馈的两个设备供应商对比分析量化总值的差值小于d/2则认为两个设备供应商服务水平水平相当，如表25所示。
[0249]
表25医护人员反馈的设备供应商服务水平对比排序结果
[0250][0251][0252]
s24、通过s21、s22、s23所示两两对比方法逐步得到所有设备供应商的总体排序结果。
[0253]
在本实施例的一种具体实施方式中，步骤s3包括：
[0254]
s31、基于医护人员反馈与设备供应商评价排序结果进行权重准确性检验。
[0255]
通过肯德尔系数进行医护人员反馈结果和设备供应商评价结果的一致性检验。肯德尔系数计算公式如下：
[0256]
不存在数值相同的秩次等级时，肯德尔协调系数kcc的计算公式为：
[0257][0258]
其中，s为设备供应商总数；rs为设备供应商s的排列位次的秩次等级之和。
[0259]
存在数值相同的秩次等级时，肯德尔协调系数kcc的计算公式为：
[0260][0261]
其中，s为设备供应商总数；rs为设备供应商s的排列位次的秩次等级之和；t为秩次等级数值相同的设备供应商数目。
[0262]
s32、基于判定结果进行权重修正。
[0263]
肯德尔协调系数kcc≥j(j∈(0,1))，认为医护人员反馈结果同评价结果间的一致性较好，权重准确性检验满足要求。
[0264]
肯德尔协调系数kcc小于j(j∈(0,1))，认为医护人员反馈结果同评价结果间的一致性较差，权重准确性检验不满足要求。可基于罚函数构建权重的优化修正模型，进而权重结果的优化修正，优化模型为：
[0265][0266]
其中，以医护人员反馈设备供应商服务水平优劣排序结果为1～s的顺序建立优化模型，w
ij
为修正前隶属于第i个上级指标第j个下级指标的权重；w
ij
′
为修正后隶属于第i个上级指标第j个下级指标的权重；(x
ij
)1,(x
ij
)2,...,(x
ij
)s为第1,2,...,s个设备供应商在
第i个上级指标下第j个下级指标的评分。
[0267]
需要说明的是，在本技术中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0268]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
技术特征：1.一种评价指标权重准确性的检验方法，其特征在于，包括以下步骤：根据权重以及指标评分进行不同样本的品质排序，得到样本评价排序结果；进行用户调研，通过用户反馈结果进行不同样本的品质排序，得到用户反馈排序结果；通过得到的用户反馈排序结果与得到的样本评价排序结果进行权重准确性检验。2.根据权利要求1所述的一种评价指标权重准确性的检验方法，其特征在于，所述根据权重以及指标评分进行不同样本的品质排序，得到样本评价排序结果具体包括以下步骤：步骤s11：基于已有的指标权重及下级指标评分计算所隶属的上级指标评分；步骤s12：构建样本的指标评分对比概率模型；步骤s13：基于指标评分对比概率模型进行样本品质评价指标排序；步骤s14：重复所述步骤s11、步骤s12以及步骤s13，将所有样本进行两两对比，得到所有样本的总体排序结果。3.根据权利要求1所述的一种评价指标权重准确性的检验方法，其特征在于，所述进行用户调研，通过用户反馈结果进行不同样本的品质排序，得到用户反馈排序结果的具体包括以下步骤：步骤s21：进行调研问卷设计并进行用户调研；步骤s22：量化单个用户样本对比分析结果；步骤s23：计算所有用户的样本对比分析的量化总值，并进行样本品质排序；步骤s24：重复所述步骤s21、步骤s22以及步骤s23得到所有样本品质排序结果。4.根据权利要求1所述的一种评价指标权重准确性的检验方法，其特征在于，通过得到的用户反馈排序结果与得到的样本评价排序结果进行权重准确性检验的步骤还包括：基于检验结果进行权重数值的优化修正。5.根据权利要求2所述的一种评价指标权重准确性的检验方法，其特征在于，所述步骤s11的计算公式如式(1)所示：其中，(y
i
)
s
为第s个样本在第i个上级指标的评分，其中，s＝1,2,...,s，s为样本总数，i＝1,2,...,m，m为上级指标总数；(x
ij
)
s
为第s个样本在第i个上级指标下第j个下级指标的评分，其中，j＝1,2,...,n，n为隶属于上级指标i的下级指标个数；w
ij
为修正前隶属于第i个上级指标第j个下级指标的权重。6.根据权利要求5所述的一种评价指标权重准确性的检验方法，其特征在于，所述步骤s12的指标评分对比概率模型为：其中，为样本a比b性能好的概率大小；k为置信度；u
c
为评分精度；(y
i
)
a
、(y
i
)
b
为样本a、b在第i个上级指标的评分，其中，a，b＝1,2,...,s，且a≠b。7.根据权利要求6所述的一种评价指标权重准确性的检验方法，其特征在于，所述步骤s13的具体步骤为：
设定2个样品评价结果对比的概率阈值为p
u
、p
v
，p
u
＞p
v
，若根据公式(2)计算得到的p大于p
u
或小于p
v
则认为两个样本有差异；若根据公式(2)计算得到的p在(p
u
,p
v
)则认为两个样本无差异。8.根据权利要求3所述的一种评价指标权重准确性的检验方法，其特征在于，所述步骤s24的具体方法为：根据k份调研问卷对比分析量化结果，按公式(3)和公式(4)计算集成所有用户反馈意见的样本a、b在第i个上级指标对比分析的量化总值，量化总值为10分制；化总值，量化总值为10分制；其中，(y
i
)
a
为样本a的第i个上级指标的样本对比分析量化总值，(y
i
)
b
为产品b的第i个上级指标的产品对比分析量化总值，i＝1,2,
…
m；(y
ik
)
a
为产品a的第k个调研对象关于第i个上级指标的样本对比分析的量化结果，(y
ik
)
b
为样本b的第k个调研对象关于第i个上级指标的样本对比分析的量化结果，k＝1,2,
…
k，k为调研问卷的份数；δ
ik
为第k个调研对象关于第i个上级指标的样本对比结果的信心指数；设定样本用户在10分制下的评分颗粒度为d，若用户反馈的两个样本对比分析量化总值的差值超过d/2则认为两个样本有差异；若用户反馈的两个样本对比分析量化总值的差值小于d/2则认为两个样本无差异。9.根据权利要求4所述的一种评价指标权重准确性的检验方法，其特征在于，所述通过用户反馈排序结果与样本评价排序结果进行权重准确性检验的具体方法为：通过肯德尔系数进行用户反馈结果和样本评价结果的一致性检验；肯德尔系数计算公式如下：不存在数值相同的秩次等级时，肯德尔协调系数kcc的计算公式为：其中，s为样本总数；r
s
为样本s的排列位次的秩次等级之和。存在数值相同的秩次等级时，肯德尔协调系数kcc的计算公式为：其中，t为秩次等级数值相同的样本数目。10.根据权利要求4所述的一种评价指标权重准确性的检验方法，其特征在于，所述基于检验结果进行权重数值的优化修正的方法为：若用户反馈结果同评价结果间的一致性差，则基于罚函数构建权重的优化修正模型，进而权重结果的优化修正，优化修正模型为：
其中，以用户反馈样本品质优劣排序结果为1～s的顺序建立优化模型，w
ij
为修正前隶属于第i个上级指标第j个下级指标的权重；w
ij
′
为修正后隶属于第i个上级指标第j个下级指标的权重，其中，j＝1,2,...,n，n为隶属于上级指标i的下级指标个数，i＝1,2,...,m，m为上级指标总数；(x
ij
)1,(x
ij
)2,...,(x
ij
)
s
为第1,2,...,s个样本在第i个上级指标下第j个下级指标的评分。
技术总结本发明涉及评价指标技术领域，公开了一种评价指标权重准确性的检验方法，包括以下步骤：根据权重以及指标评分进行不同样本的品质排序，得到样本评价排序结果；进行用户调研，通过用户反馈结果进行不同样本的品质排序，得到用户反馈排序结果；通过得到的用户反馈排序结果与得到的样本评价排序结果进行权重准确性检验。本发明的有益效果为：将权重准确性确定与用户的实际感受相结合，通过用户反馈排序结果与对应评价排序结果进行对比，系统、科学地进行了权重准确性的检验，为提高评价结果的准确性提供了有力的保障。确性提供了有力的保障。确性提供了有力的保障。
技术研发人员：许敬宇 刘汉光 刘春蕾
受保护的技术使用者：江苏徐工工程机械研究院有限公司
技术研发日：2022.07.06
技术公布日：2022/11/1
