1.本发明涉及表情预测，具体地，涉及一种长视频专注度预测方法及装置。
背景技术：2.目前，在线学习越来越成熟，预测学生的关注度会成为评价学生听课质量和老师教学效果的关键。
3.在线课程结束后，在线学习软件会生成长度不等的课堂视频，如何进行长视频的关注度预测，是个亟需解决的问题。
技术实现要素：4.针对现有技术中的缺陷，本发明的目的是提供一种长视频专注度预测方法及装置。
5.根据本发明提供的长视频专注度预测方法，包括如下步骤：
6.步骤s1：获取视频，提取所述视频中具有人脸的帧生成具有n帧图像的输入视频；
7.步骤s2：在所述输入视频中抽样r次，每次挑选t个帧生成r个视频序列；
8.步骤s3：将所述视频序列按照预设置的视频块分割为多个目标视频块，进而根据所述目标视频块生成视频矩阵x；
9.步骤s4：获取预设置的矩阵e，将视频矩阵x经过乘以矩阵e生成块嵌入向量xe；
10.步骤s5：将所述块嵌入向量xe输入预训练的类注意力视频transformer预测模型，通过所述类注意力视频transformer预测模型确定输出的所述视频中人脸的专注度。
11.优选地，在步骤s2中，当抽样率为γ,滑动窗口大小与步幅比为α,把n个帧分成t个滑动窗口时，那么滑动窗口大小为步幅为
12.优选地，在步骤s2中，每个滑动窗口按照二分法划分窗口，依次在每个滑动窗口或子窗口挑选位于窗口中间位置的帧作为窗口的代表。
13.优选地，在步骤s2中，当滑动窗口大小为ζ，步幅为ξ，满足(1+ζ)mod 2r＝0，那么所述输入视频依次生成r个视频序列为：
14.s1：[(1+ζ)/2，(1+ζ)/2+ξ，
…
，(1+ζ)/2+(t-1)ξ]
[0015]
s2：[(1+ζ)/4，(1+ζ)/4+ξ，
…
，(1+ζ)/4+(t-1)ξ]
[0016]
…
[0017]
sr：[(1+ζ)/2r，(1+ζ)/2r+ξ，
…
，(1+ζ)/2r+(t-1)ξ]。
[0018]
优选地，在步骤s3中，预设置视频块大小为(2，p，p)，那么视频序列(t，h，w)按照时空分割产生k个视频块，
[0019]
其中，k＝t/2
·
h/p
·
w/p；
[0020]
t为视频序列中的帧数，h为视频序列中脸部图片的高度，w为视频序列中脸部图片的长度，p代表视频块的高度或宽度。
[0021]
优选地，所述类注意力视频transformer预测模型包括自注意力模块、类注意力模块、类嵌入向量模块以及全连接；
[0022]
所述自注意力模块的输入端用于接收块嵌入向量xe，输出端连接所述类注意力模块的输入端，所述类注意力模块的输出端连接所述全连接层，所述全连接层用于输出所述视频中人脸的专注度；
[0023]
所述嵌入向量模块的输出端连接所述类注意力模块的输入端。
[0024]
优选地，所述自注意力模块为：
[0025]
u0＝xe[0026][0027][0028]
其中，和为可训练参数，u0为自注意力模块的输入，u
l
为自注意力模块的输出。
[0029]
优选地，所述类注意力模块为：
[0030]
v0＝[cls，u
12
]
[0031][0032][0033]
其中为可训练参数，v0为自注意力模块的输入，v
l
为自注意力模块的输出，cls为c维向量的类嵌入向量。
[0034]
优选地，所述全连接层为输入为c、输出为1的全连接层，用于把v
l
从c维转换为1维的专注度，专注度是一个0到1的浮点数，越小代表专注度越低，越高代表专注度越高。
[0035]
根据本发明提供的长视频专注度预测装置，包括如下步骤：
[0036]
视频获取模块，用于获取视频，提取所述视频中具有人脸的帧生成具有n帧图像的输入视频；
[0037]
视频抽样模块，用于在所述输入视频中抽样r次，每次挑选t个帧生成r个视频序列；
[0038]
视频分割模块，用于将所述视频序列按照预设置的视频块分割为多个目标视频块，进而根据所述目标视频块生成视频矩阵x；
[0039]
嵌入向量生成模块，用于获取预设置的矩阵e，将视频矩阵x乘以矩阵e生成块嵌入向量xe；
[0040]
专注度生成模块，用于将所述块嵌入向量xe输入预训练的类注意力视频transformer预测模型，通过所述类注意力视频transformer预测模型确定输出的所述视频中人脸的专注度。
[0041]
与现有技术相比，本发明具有如下的有益效果：
[0042]
本发明在视频生成的r个视频序列上训练类注意力视频transformer(cavt)预测模型，测试阶段使用视频的第1个视频序列，在训练好的预测模型上计算学生的专注度，实现端对端的专注度预测，不仅便于训练，而且提高了预测的准确度。
附图说明
[0043]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0044]
图1为本发明实施例中长视频专注度预测方法的步骤流程图；
[0045]
图2为本发明实施例中长视频专注度预测方法的工作原理图；
[0046]
图3为本发明实施例中长度为7的滑动窗口中子窗口和代表结点的示意图；
[0047]
图4为本发明实施例中将4帧视频划分为8个视频块的示意图；
[0048]
图5为本发明实施例中长视频专注度预测装置的模块示意图。
具体实施方式
[0049]
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
[0050]
图1为本发明实施例中长视频专注度预测方法的步骤流程图，图2为本发明实施例中长视频专注度预测方法的工作原理图，如图1、图2所示，本发明提供的一种长视频专注度预测方法，包括如下步骤：
[0051]
步骤s1：获取视频，提取所述视频中具有人脸的帧生成具有n帧图像的输入视频；
[0052]
在本发明实施例中，所述输入视频包括n个有序帧，且只保留每个帧中学生的脸部。
[0053]
步骤s2：在所述输入视频中抽样r次，每次挑选t个帧生成r个视频序列；
[0054]
在本发明实施例中，进行折半顺序代表抽样，当抽样率为γ,滑动窗口大小与步幅比为α,把n个帧分成t个滑动窗口时，那么滑动窗口大小为步幅为
[0055]
每个滑动窗口按照二分法划分窗口，依次在每个滑动窗口或子窗口挑选位于窗口中间位置的帧作为窗口的代表。
[0056]
图3为本发明实施例中长度为7的滑动窗口中子窗口和代表结点的示意图，如图3所示，示出了第1个长度为7的滑动窗口，子窗口和代表结点。
[0057]
在本发明实施例中，当滑动窗口大小为ζ，步幅为ξ，满足(1+ζ)mod 2r＝0，那么所述输入视频依次生成r个视频序列为：
[0058]
s1:[(1+ζ)/2,(1+ζ)/2+ξ,
…
,(1+ζ)/2+(t
–
1)ξ]
[0059]
s2:[(1+ζ)/4,(1+ζ)/4+ξ,
…
,(1+ζ)/4+(t
–
1)ξ]
[0060]
…
[0061]
sr:[(1+ζ)/2r,(1+ζ)/2r+ξ,
…
,(1+ζ)/2r+(t
–
1)ξ]。
[0062]
因为每个视频有r个视频序列加入到训练集，测试阶段每个视频只使用s1，由于具有更丰富的视频序列数据上训练，经过训练的模型更适应测试视频的s1,预测准确率更高。
[0063]
步骤s3：将所述视频序列按照预设置的视频块分割为多个目标视频块，进而根据所述目标视频块生成视频矩阵x；
[0064]
如图4所示，在步骤s3中，预设置视频块大小为(2，p，p)，那么视频序列(t，h，w)按
照时空分割产生k个视频块，
[0065]
其中，k＝t/2
·
h/p
·
w/p；
[0066]
t为视频序列中的帧数，h为视频序列中脸部图片的高度，w为视频序列中脸部图片的长度，p代表视频块的高度或宽度。
[0067]
步骤s4：获取预设置的矩阵e，将视频矩阵x经过乘以矩阵e生成块嵌入向量xe；
[0068]
在本发明实施例中，块嵌入向量xe∈rkⅹc,其中x
pi
代表x第i个块分量。
[0069][0070]
步骤s5：将所述块嵌入向量xe输入预训练的类注意力视频transformer预测模型，通过所述类注意力视频transformer预测模型确定输出的所述视频中人脸的专注度。
[0071]
在本发明实施例中，所述类注意力视频transformer预测模型包括自注意力模块、类注意力模块、类嵌入向量模块以及全连接；
[0072]
所述自注意力模块的输入端用于接收块嵌入向量xe，输出端连接所述类注意力模块的输入端，所述类注意力模块的输出端连接所述全连接层，所述全连接层用于输出所述视频中人脸的专注度；
[0073]
所述嵌入向量模块的输出端连接所述类注意力模块的输入端。
[0074]
类注意力视频transformer(cavt)包含自注意力和类注意力2个阶段。
[0075]
所述自注意力模块：包含12个msa和mlp。从第1层开始，根据(2)、(3)、(4),计算输出u
12
。其中是可训练参数。
[0076]
u0＝xeꢀꢀꢀ
(2)
[0077]
u'
l
＝diag(λ
l-1
,...,λ
l-1，c
)msa(ln(u
l-1
))+u
l-1
,l＝1,...,12
ꢀꢀꢀ
(3)
[0078]ul
＝diag(λ
l，1
,...,λ
l，c
)mlp(ln(u'
l
))+u'
l
,l＝1,...,12
ꢀꢀꢀ
(4)
[0079]
msa(多头自注意力模型)、mlp(多层感知器)、ln(层标准化)的定义和vit(vision transformer)为本领域的公知常识。u0为自注意力模块的输入，u
l
为自注意力模块的输出。
[0080]
类嵌入向量(cls)为c维向量，初始值是(0.1,
…
,0.1)。
[0081]
所述类注意力模块包含2个ca模块和mlp模块。从第1层开始，根据(5)、(6)、(7),计算输出v2。其中是可训练参数。
[0082]
v0＝[cls,u
12
]
ꢀꢀꢀ
(5)
[0083]
v'
l
＝diag(β
l-1
,...,β
l-1，c
)ca(ln(v
l-1
))+v
l-1
,l＝1,...,2
ꢀꢀꢀ
(6)
[0084]vl
＝diag(β
l，1
,...,β
l，c
)mlp(ln(v'
l
))+v'
l
,l＝1,...,2
ꢀꢀꢀ
(7)
[0085]
ca(类自注意力网络)的定义与cait为本领域的公知常识。v0为自注意力模块的输入，v
l
为自注意力模块的输出，cls为c维向量的类嵌入向量。
[0086]
所述全连接层为输入为c、输出为1的全连接层，用于把v2从c维转换为1维的专注度，专注度是一个0到1的浮点数，越小代表专注度越低，越高代表专注度越高。
[0087]
在本发明实施例中，在视频生成的r个视频序列上训练类注意力视频transformer(cavt)模型，测试阶段使用视频的第1个视频序列，在训练好的cavt模型上计算学生的专注度，实现端对端的专注度预测，便于训练和预测。本发明能够扩充训练集样本数量，模型泛化更好。
[0088]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述
特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
技术特征：1.一种长视频专注度预测方法，其特征在于，包括如下步骤：步骤s1：获取视频，提取所述视频中具有人脸的帧生成具有n帧图像的输入视频；步骤s2：在所述输入视频中抽样r次，每次挑选t个帧生成r个视频序列；步骤s3：将所述视频序列按照预设置的视频块分割为多个目标视频块，进而根据所述目标视频块生成视频矩阵x；步骤s4：获取预设置的矩阵e，将视频矩阵x经过乘以矩阵e生成块嵌入向量x
e
；步骤s5：将所述块嵌入向量x
e
输入预训练的类注意力视频transformer预测模型，通过所述类注意力视频transformer预测模型确定输出的所述视频中人脸的专注度。2.根据权利要求1所述的长视频专注度预测方法，其特征在于，在步骤s2中，当抽样率为γ,滑动窗口大小与步幅比为α,把n个帧分成t个滑动窗口时，那么滑动窗口大小为步幅为3.根据权利要求2所述的长视频专注度预测方法，其特征在于，在步骤s2中，每个滑动窗口按照二分法划分窗口，依次在每个滑动窗口或子窗口挑选位于窗口中间位置的帧作为窗口的代表。4.根据权利要求1所述的长视频专注度预测方法，其特征在于，在步骤s2中，当滑动窗口大小为ζ，步幅为ξ，满足(1+ζ)mod 2
r
＝0，那么所述输入视频依次生成r个视频序列为：s1:[(1+ζ)/2,(1+ζ)/2+ξ,
…
,(1+ζ)/2+(t
–
1)ξ]s2:[(1+ζ)/4,(1+ζ)/4+ξ,
…
,(1+ζ)/4+(t
–
1)ξ]
…
s
r
:[(1+ζ)/2
r
,(1+ζ)/2
r
+ξ,
…
,(1+ζ)/2
r
+(t
–
1)ξ]。5.根据权利要求1所述的长视频专注度预测方法，其特征在于，在步骤s3中，预设置视频块大小为(2，p，p)，那么视频序列(t，h，w)按照时空分割产生k个视频块，其中，k＝t/2
·
h/p
·
w/p；t为视频序列中的帧数，h为视频序列中脸部图片的高度，w为视频序列中脸部图片的长度，p代表视频块的高度或宽度。6.根据权利要求1所述的长视频专注度预测方法，其特征在于，所述类注意力视频transformer预测模型包括自注意力模块、类注意力模块、类嵌入向量模块以及全连接；所述自注意力模块的输入端用于接收块嵌入向量x
e
，输出端连接所述类注意力模块的输入端，所述类注意力模块的输出端连接所述全连接层，所述全连接层用于输出所述视频中人脸的专注度；所述嵌入向量模块的输出端连接所述类注意力模块的输入端。7.根据权利要求6所述的长视频专注度预测方法，其特征在于，所述自注意力模块为：u0＝x
ee
其中，和为可训练参数，u0为自注意力模块的输入，u
l
为自注意力模块的输出。8.根据权利要求7所述的长视频专注度预测方法，其特征在于，所述类注意力模块为：
v0＝[cls,u
12
]]其中为可训练参数，v0为自注意力模块的输入，v
l
为自注意力模块的输出，cls为c维向量的类嵌入向量。9.根据权利要求8所述的长视频专注度预测方法，其特征在于，所述全连接层为输入为c、输出为1的全连接层，用于把v
l
从c维转换为1维的专注度，专注度是一个0到1的浮点数，越小代表专注度越低，越高代表专注度越高。10.一种长视频专注度预测装置，其特征在于，包括如下步骤：视频获取模块，用于获取视频，提取所述视频中具有人脸的帧生成具有n帧图像的输入视频；视频抽样模块，用于在所述输入视频中抽样r次，每次挑选t个帧生成r个视频序列；视频分割模块，用于将所述视频序列按照预设置的视频块分割为多个目标视频块，进而根据所述目标视频块生成视频矩阵x；嵌入向量生成模块，用于获取预设置的矩阵e，将视频矩阵x乘以矩阵e生成块嵌入向量x
e
；专注度生成模块，用于将所述块嵌入向量x
e
输入预训练的类注意力视频transformer预测模型，通过所述类注意力视频transformer预测模型确定输出的所述视频中人脸的专注度。
技术总结本发明提供了一种长视频专注度预测方法及装置，包括：获取视频，提取所述视频中具有人脸的帧生成具有n帧图像的输入视频；在所述输入视频中抽样r次，每次挑选T个帧生成r个视频序列；将所述视频序列按照预设置的视频块分割为多个目标视频块，进而根据所述目标视频块生成视频矩阵x；获取预设置的矩阵E，将视频矩阵x经过乘以矩阵E生成块嵌入向量x
技术研发人员：艾旭升 张佳磊 张鹏
受保护的技术使用者：苏州工业职业技术学院
技术研发日：2022.07.13
技术公布日：2022/11/1
