本发明涉及计算机视觉和人工智能领域，特别涉及一种基于深度学习的学生参与度自动评估系统的评估方法。
背景技术：
1、在线教育从应急方案演变为教育领域核心组成部分的过程，突显了它作为桥梁的重要性，将资源匮乏地区的学生与优质学习机会连接起来。在线教育不仅是应对未来不确定性的关键策略，也是促进全球教育公平与普及的有效途径。
2、在数字化进程不断加速的今天，用户在在线教育、电子商务等领域的互动行为日益增多。特别是在教育领域，准确评估用户参与度对于提升互动质量、用户体验和人机交互效率至关重要。教师需要实时了解学生的参与情况，这对教学效果和学生的学习动力有着直接影响。
3、自动化检测学生参与度的系统不仅能够提升学习质量，还能帮助教师提供更加个性化的教学资源，从而实现教育的个性化和精准化。通过这些系统，教师能够及时识别学生的需求和困难，调整教学方法，增强学生的学习积极性和效果。这种技术的应用，将进一步推动在线教育的发展，提高全球教育的整体水平。
4、现有技术对于学习参与度的研究，尚未形成统一的定义。常用的定义是由fredricks等人提出的，将参与度视为包含行为、情感和认知三个维度的综合属性。其中，行为参与度关注参与行为，如注意力和提问行为；情感参与度涉及学生的兴趣或厌倦等情感反应；认知参与度则包含了学习和自我调节等内部认知过程。
5、目前存在多种自动化衡量参与度的方法，包括基于行为、传感器和计算机视觉等。在这些方法中，基于面部区域的计算机视觉方法备受关注。面部包含丰富的情感信息，因此利用面部特征进行参与度预测具有重要意义。基于人脸的参与度预测方法可以分为传统的计算机视觉技术和基于深度学习的方法。前者通常设计动作单元(au)或手工制作的图案来获取面部特征，并通过机器学习进行参与度估计；后者则通过深度学习捕获细粒度的面部运动，例如眼睛凝视和头部姿势，并预测参与度。这些自动化方法具有快速、高时间分辨率等优点，正在逐渐受到重视，并成为研究的热点，在课堂行为分析和参与度估计中的应用逐渐增多。
6、然而，现有方法存在以下缺点：
7、1.时空数据分析问题的忽视：许多现有系统依赖单个图像或视频帧来评估学生的参与度，而忽视了参与度是一个随时间和空间变化的数据问题。学生的参与度随时间和空间的变化而变化，仅仅基于单个时间点的分析可能无法全面把握学生的真实参与状况。
8、2.现有系统的局限性：现有系统通常依赖单一模式或单一数据源进行分析，例如，仅使用面部表情识别(单模态)或仅使用图像数据(单一数据源)进行学生参与度评估。然而，学习参与度是一个多维度的复合属性，需要从多个角度进行综合评估。单模态和单一数据源的分析可能导致对学生参与度的不完整理解。
9、3.鲁棒性和实时性准确性挑战：现有方法在野外缺乏鲁棒性，难以准确预测学生的参与水平。基于视频的行为和面部表情分析在实时性和准确性方面面临挑战，尤其是在识别学生复杂的情绪状态和微妙的行为变化时。当前方法可能无法即时准确地捕捉学生的情绪和行为变化，从而影响对学生参与度的准确评估和及时反馈。
技术实现思路
1、为了解决现有问题，本发明提供了一种基于深度学习的学生参与度自动评估系统的评估方法，具体方案如下：
2、一种基于深度学习的学生参与度自动评估系统的评估方法，包括以下步骤：
3、s1，系统采集视频流数据，并对其进行预处理；其中，预处理的方法为：采用mtcnn算法从原始帧中提取人脸图像，并生成多个子视频序列；
4、s2，将生成的子视频序列输入到情感分析模型中，进行学生的情感参与度评估；同时，将预处理后的全图像输入到yolo模型中，识别学生的行为模式，以评估其行为参与度；
5、s3，基于上述情感参与度和行为参与度的分析结果，综合情感分析和行为识别的分类权重，计算出整体的参与度评估结果，并生成反馈信息；
6、s4，采用多种形式可视化展示整体参与度评估结果和反馈信息，提供易于理解的用户界面；
7、s5，系统进行检测结果的个性化记录，用于存储和管理检测结果，便于长期跟踪和分析。
8、优选地，构建多个子视频的具体步骤包括：
9、s11，通过选择帧间隔进行视频下采样，以减少视频帧的数量；
10、s12，将下采样后的视频划分为多个滑动窗口；
11、s13，在每个滑动窗口中选择具有代表性的帧来构建多个子视频。
12、优选地，步骤s2中，所述情感分析模型为使用samsa-net的深度学习模型。
13、优选地，步骤s4中可视化内容包括检测框、分类标签和最终参与度评分，可视化的形式包括但不限于热力图、图表和文字标注。
14、优选地，执行上述任一所述的评估方法的系统，包括：
15、视频采集模块，用于采集视频流数据；
16、面部检测模块，用于采用mtcnn算法从视频流数据的原始帧中进行面部检测，提取人脸图像，并生成多个子视频序列；
17、情感分析模块，用于将子视频序列输入到情感分析模型中，进行学生的情感参与度的评估；
18、行为识别模块，用于采用yolo技术识别学生的行为模式，从而进行其行为参与度的评估；
19、最终参与度结果生成和反馈模块，用于根据情感参与度和行为参与度的分析结果，计算整体的参与度评估结果，并生成反馈信息；
20、人机交互模块，采用多种形式可视化展示整体参与度评估结果和反馈信息，提供易于理解的用户界面；
21、数据记录模块，用于存储和管理检测结果的个性化记录，便于长期跟踪和分析。
22、优选地，所述视频采集模块、面部检测模块、情感分析模块、行为识别模块、最终参与度结果生成和反馈模块以及人机交互模块之间，通过api进行通信，使得系统在不同平台上能够灵活部署和扩展。
23、本发明还揭示了一种计算机可读存储介质，介质上存有计算机程序，计算机程序运行后，执行如上述任一项所述的方法。
24、本发明还揭示了一种计算机系统，包括处理器、存储介质，存储介质上存有计算机程序，处理器从存储介质上读取并运行计算机程序以执行如上述任一项所述的方法。
25、本发明的有益效果在于：
26、(1)针对情感参与度的评估：本发明使用了一个名为samsa-net的深度学习模型，系统能够感知细粒度的参与状态，提高情感参与度评估的准确性。
27、(2)针对行为参与度的评估：基于yolo模型的方法确保了行为模式识别的高速度和准确性，为评估学生行为参与度提供可靠支持。
28、(3)多维度参与度评估：本系统通过融合情感和行为两个维度的参与度分析，建立了一个全面的参与度评估框架。这种综合评估不仅从多角度深入理解学生的参与情况，而且能提供全面、深刻的个性化分析的检测记录。
29、(4)多样化的可视化和反馈：通过热力图、文字提醒等多种形式进行反馈，使教师和学生能够直观、及时地了解参与度情况，并做出相应调整。
1.一种基于深度学习的学生参与度自动评估系统的评估方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，构建多个子视频的具体步骤包括：
3.根据权利要求1所述的方法，其特征在于：步骤s2中，所述情感分析模型为使用samsa-net的深度学习模型。
4.根据权利要求1所述的方法，其特征在于：步骤s4中可视化内容包括检测框、分类标签和最终参与度评分，可视化的形式包括但不限于热力图、图表和文字标注。
5.执行权利要求1-4中任一所述的评估方法的系统，其特征在于，包括：
6.根据权利要求5所述的系统，其特征在于：所述视频采集模块、面部检测模块、情感分析模块、行为识别模块、最终参与度结果生成和反馈模块以及人机交互模块之间，通过api进行通信，使得系统在不同平台上能够灵活部署和扩展。
7.一种计算机可读存储介质，其特征在于：介质上存有计算机程序，计算机程序运行后，执行如权利要求1至4中任一项所述的方法。
8.一种计算机系统，其特征在于：包括处理器、存储介质，存储介质上存有计算机程序，处理器从存储介质上读取并运行计算机程序以执行如权利要求1至4中任一项所述的方法。
