本发明属于数据处理，具体涉及一种用于心理状态评估的多模态数据的处理方法、装置及产品。
背景技术：
1、目前，传统的用户心理状态评估方式，大多采用访谈、问卷等方式进行评估，这种评估方式耗时较长，对于被评估用户认知能力水平要求较高，且评估结果容易受到被评估用户的主观描述等因素的影响，从而导致评估的准确性较低，给用户的心理状态评估带来的极大的技术困难。
2、因此，如何提供一种有效的方案以辅助评估人员快速准确的对被评估用户进行心理状态评估，已成为现有技术中一亟待解决的难题。
技术实现思路
1、本发明的目的是提供一种用于心理状态评估的多模态数据的处理方法、装置及产品，用以解决现有技术中存在的上述问题。
2、为了实现上述目的，本发明采用以下技术方案：
3、第一方面，本发明提供了一种用于心理状态评估的多模态数据的处理方法，包括：
4、获取待评估用户的多模态数据，所述多模态数据包括脑电波数据、生理数据、面部图像数据、语音数据和肢体图像数据；
5、对所述脑电波数据进行特征提取，得到所述待评估用户的脑电波特征数据；
6、对所述生理数据进行特征提取，得到所述待评估用户的生理特征数据；
7、对所述面部图像数据进行面部肌肉微颤特征提取，得到所述待评估用户的面部肌肉微颤特征数据；
8、对所述语音数据进行语音特征提取，得到所述待评估用户的语音特征数据；
9、对所述肢体图像数据进行姿态动作特征提取，得到所述待评估用户的姿态特征数据；
10、将所述脑电波特征数据、所述生理特征数据、所述面部肌肉微颤特征数据、所述语音特征数据和所述姿态特征数据进行可视化展示，以便依据所述脑电波特征数据、所述生理特征数据、所述面部肌肉微颤特征数据、所述语音特征数据和所述姿态特征数据对所述待评估用户进行心理状态评估。
11、基于上述公开的内容，本发明通过获取待评估用户的多模态数据，多模态数据包括脑电波数据、生理数据、面部图像数据、语音数据和肢体图像数据；对脑电波数据进行特征提取，得到待评估用户的脑电波特征数据；对生理数据进行特征提取，得到待评估用户的生理特征数据；对面部图像数据进行面部肌肉微颤特征提取，得到待评估用户的面部肌肉微颤特征数据；对语音数据进行语音特征提取，得到待评估用户的语音特征数据；对肢体图像数据进行姿态动作特征提取，得到待评估用户的姿态特征数据；然后将脑电波特征数据、生理特征数据、面部肌肉微颤特征数据、语音特征数据和姿态特征数据进行可视化展示。如此，在对待评估用户进行心理状态评估时，能够自动采集待评估用户的多模态数据，并提取出多模态数据的数据特征进行可视化展示，从而为评估人员提供数据支持，以辅助评估人员对被评估用户进行心理状态评估，不会受到被评估用户认知能力水平和被评估用户的主观描述等因素的影响，提高心理状态评估的准确性，同时无需进行长时间的访谈和问卷调查，可提高心理状态评估的效率，从而能够辅助评估人员快速准确的对被评估用户进行心理状态评估。
12、在一个可能的设计中，所述对所述脑电波数据进行特征提取，得到所述待评估用户的脑电波特征数据，包括：
13、通过主成分分析或独立成分分析对所述脑电波数据进行滤波处理；
14、提取滤波处理后的所述脑电波数据的频率特征、时域特征和连接性特征；
15、将所述脑电波数据的频率特征、时域特征和连接性特征作为所述待评估用户的脑电波特征数据。
16、在一个可能的设计中，所述生理数据包括心率数据和血氧饱和度数据，所述对所述生理数据进行特征提取，得到所述待评估用户的生理特征数据，包括：
17、对所述心率数据和所述血氧饱和度数据进行滤波处理；
18、基于滤波处理后的心率数据，统计出所述待评估用户的心率变异性、标准心率差和心率均方根差值；
19、基于滤波处理后的血氧饱和度数据，统计出所述待评估用户的血氧饱和度均值和血氧饱和范围；
20、将待评估用户的心率变异性、标准心率差、心率均方根差值、血氧饱和度均值和血氧饱和范围作为所述待评估用户的生理特征数据。
21、在一个可能的设计中，所述对所述面部图像数据进行面部肌肉微颤特征提取，得到所述待评估用户的面部肌肉微颤特征数据，包括：
22、对所述面部图像数据进行滤波；
23、通过边缘检测、光流法或深度学习模型提取滤波后的所述面部图像数据中面部肌肉的运动轨迹、运动速度和加速度；
24、将所述运动轨迹、所述运动速度和所述加速度作为所述待评估用户的面部肌肉微颤特征数据。
25、在一个可能的设计中，所述对所述语音数据进行语音特征提取，得到所述待评估用户的语音特征数据，包括：
26、对所述语音数据进行滤波处理；
27、将滤波处理后的所述语音数据划分为多个语音片段；
28、提取所述多个语音片段中各语音片段的音高、音量、语速、语调和频谱；
29、将各语音片段的音高、音量、语速、语调和频谱作为所述待评估用户的语音特征数据。
30、在一个可能的设计中，所述对所述肢体图像数据进行姿态动作特征提取，得到所述待评估用户的姿态特征数据，包括：
31、对所述肢体图像数据进行滤波处理；
32、对滤波处理后的所述肢体图像数据进行人体关节点识别；
33、基于所述肢体图像数据中各人体关节点的位置信息识别出所述待评估用户的肢体的动作频率、动作幅度、速度、加速度和姿势；
34、将所述待评估用户的肢体的动作频率、动作幅度、速度、加速度和姿势作为所述待评估用户的姿态特征数据。
35、在一个可能的设计中，所述获取待评估用户的多模态数据，包括：
36、通过脑电采集设备获取所述待评估用户的脑电波数据；
37、通过脉搏血氧仪获取所述待评估用户的生理数据，所述生理数据包括心率数据和血氧饱和度数据；
38、通过图像采集设备获取所述待评估用户的面部图像数据和所述待评估用户的肢体图像数据；
39、通过音频采集设备获取所述待评估用户的语音数据。
40、第二方面，本发明提供了一种用于心理状态评估的多模态数据的处理装置，包括：
41、获取单元，用于获取待评估用户的多模态数据，所述多模态数据包括脑电波数据、生理数据、面部图像数据、语音数据和肢体图像数据；
42、第一特征提取单元，用于对所述脑电波数据进行特征提取，得到所述待评估用户的脑电波特征数据；
43、第二特征提取单元，用于对所述生理数据进行特征提取，得到所述待评估用户的生理特征数据；
44、第三特征提取单元，用于对所述面部图像数据进行面部肌肉微颤特征提取，得到所述待评估用户的面部肌肉微颤特征数据；
45、第四特征提取单元，用于对所述语音数据进行语音特征提取，得到所述待评估用户的语音特征数据；
46、第五特征提取单元，用于对所述肢体图像数据进行姿态动作特征提取，得到所述待评估用户的姿态特征数据；
47、可视化展示单元，用于将所述脑电波特征数据、所述生理特征数据、所述面部肌肉微颤特征数据、所述语音特征数据和所述姿态特征数据进行可视化展示，以便依据所述脑电波特征数据、所述生理特征数据、所述面部肌肉微颤特征数据、所述语音特征数据和所述姿态特征数据对所述待评估用户进行心理状态评估。
48、第三方面，本发明提供了另一种用于心理状态评估的多模态数据的处理装置，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如上述第一方面或第一方面任一可能设计所述的用于心理状态评估的多模态数据的处理方法。
49、第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行第一方面或第一方面任一可能设计所述的用于心理状态评估的多模态数据的处理方法。
50、第五方面，本发明提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或第一方面任一可能设计所述的用于心理状态评估的多模态数据的处理方法。
51、有益效果：
52、本发明提供的用于心理状态评估的多模态数据的处理方法、装置及产品，在对待评估用户进行心理状态评估时，能够自动采集待评估用户的多模态数据，并提取出多模态数据的数据特征进行可视化展示，从而为评估人员提供数据支持，以辅助评估人员对被评估用户进行心理状态评估，不会受到被评估用户认知能力水平和被评估用户的主观描述等因素的影响，提高心理状态评估的准确性，同时无需进行长时间的访谈和问卷调查，可提高心理状态评估的效率，从而能够辅助评估人员快速准确的对被评估用户进行心理状态评估，便于实际应用和推广。
1.一种用于心理状态评估的多模态数据的处理方法，其特征在于，包括：
2.根据权利要求1所述的用于心理状态评估的多模态数据的处理方法，其特征在于，所述对所述脑电波数据进行特征提取，得到所述待评估用户的脑电波特征数据，包括：
3.根据权利要求1所述的用于心理状态评估的多模态数据的处理方法，其特征在于，所述生理数据包括心率数据和血氧饱和度数据，所述对所述生理数据进行特征提取，得到所述待评估用户的生理特征数据，包括：
4.根据权利要求1所述的用于心理状态评估的多模态数据的处理方法，其特征在于，所述对所述面部图像数据进行面部肌肉微颤特征提取，得到所述待评估用户的面部肌肉微颤特征数据，包括：
5.根据权利要求1所述的用于心理状态评估的多模态数据的处理方法，其特征在于，所述对所述语音数据进行语音特征提取，得到所述待评估用户的语音特征数据，包括：
6.根据权利要求1所述的用于心理状态评估的多模态数据的处理方法，其特征在于，所述对所述肢体图像数据进行姿态动作特征提取，得到所述待评估用户的姿态特征数据，包括：
7.根据权利要求1所述的用于心理状态评估的多模态数据的处理方法，其特征在于，所述获取待评估用户的多模态数据，包括：
8.一种用于心理状态评估的多模态数据的处理装置，其特征在于，包括：
9.一种用于心理状态评估的多模态数据的处理装置，其特征在于，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求1～7任意一项所述的用于心理状态评估的多模态数据的处理方法。
10.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或所述指令在被计算机执行时实现如权利要求1～7任意一项所述的用于心理状态评估的多模态数据的处理方法。
