1.本发明涉及生命体征数据分析、表情识别和疼痛评估技术领域，具体来说是一种基于生命体征和表情的疼痛评估方法。
背景技术：2.疼痛是组织损伤或潜在组织损伤所引起的不愉快感觉和情感体验,它不仅是一种症状,更是一种疾病。世界卫生组织指出:疼痛是继血压、脉搏、体温之后的第五大生命体征。疼痛会对患者的心血管系统、呼吸系统、消化系统、泌尿系统、骨骼肌肉系统、神经内分泌系统、心理情绪和睡眠等多方面造成不良影响。如何准确、迅速的判断病人的疼痛状况，是当前医学领域的一个重要研究课题。
3.目前，医学上常用的评估疼痛的方法主要分为五种：视觉模拟评分法(vas)、数字疼痛分级法(nrs)、wong-banker表情量表法(fps-r)、主诉疼痛程度分级法(vrs)和口述疼痛程度分级评分法(vds)。这些方法可归为两大类型，一类是由受过专门训练并熟悉各项监测指标的医护人员进行的人工评估，另一类为病人经过短暂的培训后进行的自我评估。这五种评估结果更多地依赖于个人的知识与经验，并受个人的情绪等主观因素的影响，存在很大的主观性，不能完全客观的反映出疼痛程度。
4.人体生命体征包括血压、呼吸、脉搏、体温，当人体受到疼痛刺激时，生命体征会发生改变，尤其以脉搏和血压变化最为明显。大部分人在疼痛刺激下会出现血压升高、脉压差增大、脉搏迅速增快等情况。这是疼痛对人体生命体征刺激的最大特征。
5.表情是人们非语言交流的一种重要方式，包含丰富的情感信息，是情感最主要的载体，是人们理解情感的主要途径。同时情感还可以用来传递信息。疼痛作为人体的一种不愉快感觉和情感体验，可导致表情发生明显的改变。在表情识别的研究方面，一般都是将表情划分为6种类型:高兴、悲伤、生气、恐惧、惊讶和厌恶。在儿童疼痛观察评分(pocis)、改良儿童疼痛行为评分(mbps)、东安大略儿童医院疼痛评分(cheops)、riley疼痛评分(rips)、新生儿疼痛评估量表(nips)等一些用于评估婴幼儿的疼痛方法中，评估者都将表情作为主要参考指标之一，这也说明表情确实对疼痛评估有着重要的衡量价值。但是，目前还没有一种疼痛评估方法将表情作为纳入指标。
技术实现要素：6.本发明旨在克服现有技术的不足，提供一种基于生命体征和表情并且运用多算法建立的疼痛客观评估方法。
7.为了达到上述目的，本发明提供的技术方案为：
8.所述基于生命体征和表情的疼痛多算法客观评估方法包括如下步骤：
9.(1)采集病人在非疼痛应激状态下的生命体征，作为基础状态下的数据；当病人出现疼痛时，启动图像采集，利用摄像设备拍摄人脸正面图像；
10.(2)人脸区域识别，采用深度学习方法对表情特征进行采集；所述表情特征包括纹
理特征、浅层特征和深层特征；
11.(3)运用最小冗余最大相关mrmr算法，计算每个表情特征对输出的重要性，筛选出各阶段的重要性表情特征，通过并联的方式，将重要性表情特征输入到智能自适应疼痛评分分级模型中；
12.所述智能自适应疼痛评分分级模型如式ⅰ和式ⅱ：
[0013][0014][0015]
其中，w为所述重要性表情特征数据的冗余度，v为重要性表情特征数据与疼痛vas评分的相关性，s代表特征子集，i代表互信息，i和j代表重要性表情特征的两个变量，h代表目标类vas，miq为互信息熵；
[0016]
(4)同时采集疼痛应激状态下的生命体征数据，对数据进行归一化处理后输入到智能自适应疼痛评分分级模型中；
[0017]
所述智能自适应疼痛评分分级模型如式ⅰ和式ⅱ：
[0018][0019][0020]
其中，w为所述生命体征数据的冗余度，v为生命体征数据与疼痛vas评分的相关性，s代表特征子集，i代表互信息，i和j代表生命体征的两个变量，h代表目标类vas，miq为互信息熵；
[0021]
所述智能自适应疼痛评分分级模型采用深度堆叠模型，构建过程如下：首先采用表情特征和体征数据训练一些先进有前景的树集成模型(包括极端树(et)、决策树(dt)、随机森林(rf)、梯度提升分类器(gbc)、极端梯度提升(xgboost)和catboost)用于候选的堆叠组件。其次，我们的深度堆叠模型的优化目标函数采用所述的候选树集成评估器对训练数据集执行十次10折交叉验证过程的平均精度(accuracy)和平均曲线下面积(auc)。最后，根据所述的候选树集成评估器之间的一致性输出(vas)，选择特定的估计器来建立深度堆叠网络。具体如下：将训练好的所有基模型对整个训练集进行预测，第j个基模型对第i个训练样本的预测值将作为新的训练集中第i个样本的第j个特征值，最后基于新的训练集进行训练。同理，预测的过程也要先经过所有基模型的预测形成新的测试集，最后再对测试集进行预测；
[0022]
(5)采用深度学习算法和shap法搭建具有可解释性的疼痛评分映射模型；把处理后的生命体征数据和表情特征输入可解释性的疼痛评分映射模型后，模型可计算出疼痛评分，根据评分计算出病人的疼痛级别，疼痛级别包括轻度疼痛、中度疼痛和重度疼痛；
[0023]
所述可解释性的疼痛评分映射模型如式ⅲ：
[0024][0025]
其中φi表示第i个特征的shap值，s表示特征子集，m表示特征数量，f
s∪{i}
(s∪{i})和fs(s)分别表示有特征i和没有特征i的模型预测。
[0026]
shap交互值表示存在特征j时特征i的shap值与不存在特征j时特征i的shap值之间的差异；所述的可解释性的疼痛评分映射模型可以捕获可能遗漏的特征之间的重要交互，如式ⅳ：
[0027][0028]
优选地，所述生命体征包括血压、血氧饱和度和脉搏。
[0029]
优选地，步骤(2)中所述纹理特征共348维，涉及7中不同的类型(七种类型的特征说明见表1)，包括：73个几何参数特征、9个灰度直方图特征、220个灰度共生矩阵特征、20个游程矩阵特征、5个梯度模型特征、5个自回归模型特征、16个小波特征；所述浅层特征指从
‘
res4b8_relu’层提取的1024维的浅层特征；所述深层特征指从
‘
pool5’层提取的2048维的深层特征。
[0030]
表1
[0031][0032]
这些深度学习特征采用在海量数据集上预训练的resnet作为backbone，在预训练resnet模型的基础上，采用101层的深度残差网络resnet-101，对面部表情数据集进行训练和测试，快速实现浅层特征和深层特征的提取。现有技术通常直接采用resnet-101网络进行端对端的深层高级语义的提取(例如所述的深层特征)，并未融合所述的纹理特征和所述的浅层特征，现有技术也没有考虑上述所述特征之间的补偿。因为深层高级语义通常分辨率较低，浅层特征通常忽略空间细节，纹理特征不具有高级语义。
[0033]
下面对本发明作进一步说明：
[0034]
本发明内容包括：
[0035]
(1)模型识别疼痛状态下，生命体征和表情的特征，并对这些特征进行提取；
[0036]
(2)通过对生命体征数据的分析，正确识别疼痛刺激对生命体征的影响；
[0037]
(3)将生命体征数据与表情特征相结合，对疼痛刺激程度进行客观评估。
[0038]
具体而言如下：
[0039]
1不同程度疼痛刺激时表情分析结果：
[0040]
采集疼痛病人表情和生命体征数据，通过深度学习法提取表情特征，利用归一化等的方式对生命体征数据进行处理(图1)，其中表情特征包括纹理特征、浅层特征和深层特征(图2)，具体内容如下：
[0041]
(1)纹理特征：一共348维，涉及7中不同的类型，包括：73个几何参数特征、9个灰度直方图特征、220个灰度共生矩阵特征、20个游程矩阵特征、5个梯度模型特征、5个自回归模型特征、16个小波特征。
[0042]
(2)浅层特征：从
‘
res4b8_relu’层提取的1024维的浅层特征。
[0043]
(3)深层特征：从
‘
pool5’层提取的2048维的深层特征。
[0044]
2特征选择与特征融合：
[0045]
运用最小冗余最大相关(mrmr)算法，计算每个特征对输出的重要性(scores值)，筛选出各阶段的重要性特征，通过并联的方式，将其与vas评分等级相对应(图3)。
[0046]
3实验结果与模型解释
[0047]
(1)模型搭建：采用深度学习算法和shapley additive explanations(shap)法等技术步骤，搭建具有可解释性的疼痛评分映射模型，实现通过基本生命体征与表情为基础的疼痛数字化预测的目标(图4，图5)。
[0048]
(2)模型的预测精度(见表2)：疼痛评分映射模型总体准确率为93.53％，曲线下面积(auc)达到0.9723，对中度疼痛的预测精度达到96.4％，对重度疼痛的预测精度达到85.7％。
[0049]
表2
[0050][0051]
本发明中应用了当前人工智能中一个新兴的研究领域——可解释机器学习，它允许用户理解、信任和有效管理下一代人工智能解决方案。模型解释可分为两类：全局解释和局部解释。
[0052]
全局解释意味着用户可以直接从模型的结构中理解整个模型，局部解释只是检查一个输入变量，并说明为什么模型会做出某种决定。近年来，人们提出了许多解释机器学习模型的方法。例如，使用局部代理模型的局部可解释模型不可知解释方法(lime)，该方法生成一个由置换样本组成的新数据集，然后在此新数据集上训练一个可解释模型；shapley引入的shapley值是博弈论中的一种经典技术，用于确定在合作游戏中每种模型的每个玩家
为成功作出的贡献；shapley additive explanations(shap)是解释预测的统一框架，每个shap值可以估计模型中每个特征的贡献。
[0053]
shap方法有三个显著的优点：(1)shap可以从线性模型中得到shapley值，并且可以满足与shapley值相同的性质：对称性、虚拟性和可加性；(2)shap将lime和shapley值方法联系起来，统一了可解释机器学习领域；(3)与直接计算shapley值的方法相比，shap方法计算速度快。我们在预测框架中加入shap模块，实现模型预测的自动高效解释。模型预测的可视化见图6，模型的解释如下：
[0054]
在可解释vas预测的背景下，本发明的有益效果来自三个方面：
[0055]
(1)局部解释。局部解释只是检查一个输入，并说明模型为什么作出某个决定。shap局部解释的结果如图7所示，从图中我们可以看出：
①
模型中的每个特征将预测结果从基值推到最终值。
②
深色特征推高疼痛风险，浅色特征降低疼痛风险。
③
深色/浅色特征的长度表示对模型输出的贡献。
[0056]
(2)全局解释。用户可直接从模型的结构中理解整个模型。我们总结了图中所有特征的影响，它可以反映特征重要性分布对模型输出的影响，如图8所示。例如，心率是疼痛分析中最重要的危险因素，心率越高，疼痛风险越高。
[0057]
(3)交互式可视化。可以理解由模型学习的特征的复杂交互，如图9所示。我们从图中可以看出：心率作为疼痛分析中最重要的危险因素，与收缩压因素均具有较强的交互作用，这些因素的复杂交互作用是由模型自动计算的。
[0058]
(4)将以上模型的局部解释结果顺时针旋转90
°
，并对所有测试集数据整合后，搭建的vas预测模型可对整个数据集进行解释，如图10所示。
[0059]
本发明所述的方法可对疼痛进行科学、客观的评估，避免主观因素干扰。该方法采用最小冗余最大相关(mrmr)算法、深度学习算法和shapley additive explanations(shap)法等技术，对疼痛刺激下的人脸进行表情特征提取，这些特征包括影像学特征、深度学习的浅层特征和深度学习的深度特征。通过对表情特征进行分析、选择和融合，搭建了具有可解释性的疼痛预测模型。模型可以根据表情和生命体征的变化，客观反应人们的疼痛程度，具有显著的科学研究价值。
附图说明
[0060]
图1为智能自适应疼痛评分模型；
[0061]
图2为表情特征提取；
[0062]
图3为表情特征选择与融合；
[0063]
图4为shap摘要图和特征交互示意图；
[0064]
图5为疼痛评分映射模型；
[0065]
图6为模型预测的可视化；
[0066]
图7为局部解释；
[0067]
图8为全局解释；
[0068]
图9为复杂交叉；
[0069]
图10为整个测试集的解释；
[0070]
图11为整个模型工作流程；
[0071]
图12为基于random forest classifier模型的疼痛预测结果与vas真实标签的对比；
[0072]
图13为基于extra trees classifier模型的疼痛预测结果与vas真实标签的对比；
[0073]
图14为混淆矩阵结果。
具体实施方式
[0074]
如图11所示，本发明提供一种基于生命体征和表情识别的疼痛评估方法，其具体实施方式包括一下步骤：
[0075]
步骤a：采集病人在非疼痛应激状态下的生命体征(血压、血氧饱和度、脉搏)，作为基础状态下的数据。当病人出现疼痛时，启动图像采集，利用摄像设备拍摄人脸正面图像；
[0076]
步骤b：人脸区域识别，采用深度学习方法对表情特征进行采集，特征包括纹理特征、浅层特征和深层特征。纹理特征共348维，涉及7中不同的类型，包括：73个几何参数特征、9个灰度直方图特征、220个灰度共生矩阵特征、20个游程矩阵特征、5个梯度模型特征、5个自回归模型特征、16个小波特征。浅层特征指从
‘
res4b8_relu’层提取的1024维的浅层特征，深层特征指从
‘
pool5’层提取的2048维的深层特征。
[0077]
步骤c：运用最小冗余最大相关(mrmr)算法，计算每个特征对输出的重要性(scores值)，筛选出各阶段的重要性特征，通过并联的方式，将其输入到智能自适应疼痛评分分级模型中。
[0078]
步骤d：同时采集疼痛应激状态下的生命体征数据，包括血压、血氧饱和度、脉搏，对数据进行归一化等处理后输入到智能自适应疼痛评分分级模型中。
[0079]
步骤e：采用深度学习算法和shapley additive explanations(shap)法等技术步骤，搭建具有可解释性的疼痛评分映射模型，实现了通过基本生命体征与表情为基础的疼痛数字化预测的目标。把处理后的生命体征数据和表情特征输入模型后，模型可计算出疼痛评分，根据评分计算出病人的疼痛级别，疼痛级别包括轻度疼痛、中度疼痛和重度疼痛。
[0080]
本发明搭建的基于random forest classifier和基于extra trees classifier的疼痛预测模型的准确率都达到了90％以上，auc值达0.9以上(图14)。模型的自动预测结果和现行的临床vas结果对比示意图如图12和图13所示。实验结果表明：我们搭建的基于random forest classifier的预测vas值与现行的临床vas值的相关性r值为0.8332，相关性p值为7.4712e-109(p小于0.05)；我们搭建的基于extra trees classifier的预测vas值与现行的临床vas值的相关性r值为0.7936，相关性p值为1.3915e-91(p小于0.05)。实验结果表明我们搭建的vas预测模型与现行的临床vas结果无统计学差异，能够精准客观地反应出病人的疼痛程度。
技术特征：1.一种基于生命体征和表情的疼痛多算法客观评估方法，其特征在于，所述方法包括如下步骤：(1)采集病人在非疼痛应激状态下的生命体征，作为基础状态下的数据；当病人出现疼痛时，启动图像采集，利用摄像设备拍摄人脸正面图像；(2)人脸区域识别，采用深度学习方法对表情特征进行采集；所述表情特征包括纹理特征、浅层特征和深层特征；(3)运用最小冗余最大相关mrmr算法，计算每个表情特征对输出的重要性，筛选出各阶段的重要性表情特征，通过并联的方式，将重要性表情特征输入到智能自适应疼痛评分分级模型中；所述智能自适应疼痛评分分级模型如式ⅰ和式ⅱ：：其中，w为所述重要性表情特征数据的冗余度，v为重要性表情特征数据与疼痛vas评分的相关性，s代表特征子集，i代表互信息，i和j代表重要性表情特征的两个变量，h代表目标类vas，miq为互信息熵；(4)同时采集疼痛应激状态下的生命体征数据，对数据进行归一化处理后输入到智能自适应疼痛评分分级模型中；所述智能自适应疼痛评分分级模型如式ⅰ和式ⅱ：：其中，w为所述生命体征数据的冗余度，v为生命体征数据与疼痛vas评分的相关性，s代表特征子集，i代表互信息，i和j代表生命体征的两个变量，h代表目标类vas，miq为互信息熵；(5)采用深度学习算法和shap法搭建具有可解释性的疼痛评分映射模型；把处理后的生命体征数据和表情特征输入可解释性的疼痛评分映射模型后，模型可计算出疼痛评分，根据评分计算出病人的疼痛级别，疼痛级别包括轻度疼痛、中度疼痛和重度疼痛；所述可解释性的疼痛评分映射模型如式ⅲ：其中φ
i
表示第i个特征的shap值，s表示特征子集，m表示特征数量，f
s∪{i}
(s∪{i})和f
s
(s)分别表示有特征i和没有特征i的模型预测。
shap交互值表示存在特征j时特征i的shap值与不存在特征j时特征i的shap值之间的差异；所述的可解释性的疼痛评分映射模型可以捕获可能遗漏的特征之间的重要交互，如式ⅳ：2.如权利要求1所述的基于生命体征和表情的疼痛多算法客观评估方法，其特征在于，所述生命体征包括血压、血氧饱和度和脉搏。3.如权利要求1所述的基于生命体征和表情的疼痛多算法客观评估方法，其特征在于，步骤(2)中所述纹理特征共348维，涉及7中不同的类型，包括：73个几何参数特征、9个灰度直方图特征、220个灰度共生矩阵特征、20个游程矩阵特征、5个梯度模型特征、5个自回归模型特征、16个小波特征；所述浅层特征指从
‘
res4b8_relu’层提取的1024维的浅层特征；所述深层特征指从
‘
pool5’层提取的2048维的深层特征。
技术总结本发明提供了一种基于生命体征和表情的疼痛多算法客观评估方法，可准确客观地体现出病人的疼痛程度。所述方法每隔指定时间采集病人的生命体征和表情，通过深度学习法提取表情特征，运用最小冗余最大相关(mRMR)算法，计算每个特征对输出的重要性((Scores值))，筛选出重要性特征，将其输入到疼痛预测模型中，经过模型计算后再输出疼痛对应的级别数，从而实现对疼痛的个体化精准评估。对疼痛的个体化精准评估。
技术研发人员：邓幼文 程军 廖胜辉 韩付昌
受保护的技术使用者：中南大学湘雅三医院
技术研发日：2022.06.29
技术公布日：2022/11/1
