1.本发明涉及视频处理技术领域，尤其涉及一种视频的自动分段方法。
背景技术：2.近年来，网络通讯以及数字多媒体等技术获得了高速发展，伴随而来的是网络多媒体数据量的爆炸式增长。多媒体信息中数字音视频具有表现力强、蕴涵信息量大、形象生动等优点，已经成为用户获取信息来源的第一选择。但是，音视频信息尤其是视频信息具有数据量巨大、数据格式非结构化、以及表现内容不透明等缺点，加大了对视频数据管理和分析(如视频数据的浏览、检索)的难度。面对日益膨胀的网络数据量，如何快速准确的管理和组织视频信息数据已经成为多媒体研究领域的一项重要的课题。为了便于管理和组织视频信息数据，可以对视频进行分段，按段进行标注、分类、存储。而视频分段的关键在于确定分段的节点。
3.现有的视频分段技术是根据预先定义的时间轴进行分段，但预定义时间轴实际上是通过人工浏览浏览视频并人工定义时间轴，这种方式需要人工参与效率不高并且容易出错。无法适应当前爆发式增长的网络视频数据。
4.此外，有人提出过基于特定类型视频的分段方法，基于特殊的视频节点来进行自动分段(例如新闻类视频，根据主持人出现的图像帧来进行分段)，虽然该方法可以实现自动分段，但只适用于有特定图像帧的视频。
5.因此，有必要提供一种能广泛运用到各类视频的视频自动分段方法来解决上述技术问题。
技术实现要素：6.为解决上述之一技术问题，本发明提供的一种视频的自动分段方法，通过图像突变节点分段步骤、音频静音窗口分段步骤和视频分段节点确定步骤对待分段视频进行处理，并得到若干分段子视频。
7.具体的，所述图像突变节点分段步骤：通过待分段视频中相邻的图像帧进行图像处理，并判断邻帧图像内容是否发生突变，若邻帧图像内容发生突变，则识别标记为图像突变节点；其中，对应子步骤包括获取待分段视频图像帧步骤、获取图像帧像素矩阵步骤、获取邻帧像素点灰度差步骤、获取邻帧像素差步骤和判断图像突变节点步骤。
8.具体的，所述音频静音窗口分段步骤：提取待分段视频中的音频数据，并通过音频窗口对音频数据进行采样，判断音频窗口是否为静音窗口；其中，对应子步骤包括获取音频滤波采样步骤、获取窗口平均能量步骤和判断静音窗口步骤。
9.具体的，所述视频分段节点确定步骤：提取图像突变节点和静音窗口，并将处在静音窗口内且为图像突变节点的部分作为视频分段节点，通过视频分段节点完成对待分段视频的分段，得到若干分段子视频。
10.作为更进一步的解决方案，所述获取待分段视频图像帧步骤通过如下步骤进行：
11.步骤a1：获取待分段视频数据；
12.步骤a2：对待分段视频数据进行分帧提取，得到对应图像帧；
13.步骤a3：逐一完成分帧提取，得到图像帧集合f(m,n)：
14.f(m,n)＝[fn(m,n)，n＝1,2,3....x]
[0015]
其中，m,n分别表示图像帧的纵向分辨率和横向分辨率，n表示图像帧的标号；x表示图像帧总数，fn(m,n)表示第n号图像帧。
[0016]
作为更进一步的解决方案，所述获取图像帧像素矩阵步骤通过如下步骤进行：
[0017]
步骤b1：获取图像帧集合f(m,n)；
[0018]
步骤b2：对图像帧集合f(m,n)进行逐帧提取；
[0019]
步骤b3：获取当前图像帧中各像素点的灰度值；
[0020]
步骤b4：建立图像帧像素矩阵并将各像素点的灰度值填充值对应位置处：
[0021][0022]
其中，i表示像素点的纵向标号，且i∈[0,1，2，3，...，m-1]；j表示像素点的横向标号，且j∈[0,1，2，3，...，n-1]；n表示图像帧标号，fn(i,j)表示第n号图像帧，横纵坐标号为i，j的像素点对应的灰度值；
[0023]
步骤b5：逐帧进行图像帧像素矩阵建立，得到图像帧像素矩阵集合
[0024][0025]
其中，n表示图像帧的标号；x表示图像帧总数；表示第n号图像帧对应的图像帧像素矩阵。
[0026]
作为更进一步的解决方案，所述获取邻帧像素点灰度差步骤通过如下步骤进行：
[0027]
步骤c1：获取图像帧像素矩阵集合
[0028]
步骤c2：逐点计算图像帧像素矩阵中各像素点的邻帧像素点灰度差dn(i,j)：
[0029]dn
(i,j)＝|fn+1(i,j)-fn(i,j)
[0030]
其中，i表示像素点的纵向标号；j表示像素点的横向标号；n表示当前图像帧标号，n+1表示相邻图像帧标号；fn(i,j)表示第n号图像帧，横纵坐标号为i，j的像素点对应的灰度值；f
n+1
(i,j)表示第n+1号图像帧，横纵坐标号为i，j的像素点对应的灰度值；
[0031]
步骤c3：完成对图像帧像素矩阵中各像素点的邻帧像素点灰度差dn(i,
j)的计算，得到对应的邻帧灰度差矩阵dn(m,n)：
[0032][0033]
其中，i表示像素点的纵向标号，且i∈[0,1，2，3，...，m-1]；j表示像素点的横向标号，且j∈[0,1，2，3，...，n-1]；n表示图像帧标号，dn(i,j)表示第n号图像帧，横纵坐标号为i，j的像素点对应的灰度差；
[0034]
步骤c4：步骤c4：逐帧进行邻帧灰度差矩阵建立，得到邻帧灰度差矩阵集合d(m,n)：
[0035]
d(m,n)＝[dn(m,n),n＝1,2,3....x-1]
[0036]
其中，n表示图像帧的标号；x-1表示邻帧组数；d(m,n)表示第n号图像帧对应的邻帧灰度差矩阵。
[0037]
作为更进一步的解决方案，所述获取邻帧像素差步骤通过如下步骤进行：
[0038]
步骤d1：获取邻帧灰度差矩阵集合d(m,n)；
[0039]
步骤d2：对邻帧灰度差矩阵dn(m,n)进行邻帧像素差计算，得到邻帧像素差g[dn(m,n)]：
[0040][0041]
其中，m,n分别表示图像帧的纵向分辨率和横向分辨率，n表示图像帧的标号；表示邻帧灰度差矩阵dn(m,n)各元素求和值；
[0042]
步骤d3：逐个进行邻帧像素差计算，得到邻帧像素差集合g[d(m,n)]；
[0043]
g[d(m,n)]＝{g[dn(m,n)],n＝1,2,3,....,x}
[0044]
其中，n表示图像帧的标号；x表示图像帧总数；g[dn(m,n)]表示第n号图像帧对应的邻帧像素差。
[0045]
作为更进一步的解决方案，所述判断图像突变节点步骤通过如下步骤进行：
[0046]
步骤e1：获取邻帧像素差集合g[d(m,n)]；
[0047]
步骤e2：设置图像突变判断阈值δg；
[0048]
步骤e3：逐一判断邻帧像素差g[dn(m,n)]是否大于图像突变判断阈值δg，若出现邻帧像素差g[dn(m,n)]大于图像突变判断阈值δg，则记录当前邻帧像素差g[dn(m,n)]所对应的第n个图像帧，并识别标记为图像突变节点；否则不进行记录；
[0049]
步骤e4：完成对邻帧像素差集合g[d(m,n)]中所有邻帧像素差g[dn(m,n)]的图像
突变判断；得到所有的图像突变节点。
[0050]
作为更进一步的解决方案，所述获取音频滤波采样步骤通过对音频数据进行采样、滤波、窗口傅里叶变换、音频分段、音频频谱转换，并最终得到音频频谱。
[0051]
作为更进一步的解决方案，所述获取窗口平均能量步骤通过如下步骤进行：
[0052]
步骤f1：获取音频频谱；
[0053]
步骤f2：设置音频窗口范围；
[0054]
步骤f3：通过音频窗口截取音频频谱，得到音频采样信号；
[0055]
步骤f4：计算窗口平均能量en：
[0056][0057]
其中，n为音频窗口的标号；n为被标号是n的音频窗口截取的音频采样信号的采样点总数；x(i)为被标号是n的音频窗口截取的音频采样信号；i表示采样点的标号；
[0058]
步骤f5：完成所有窗口平均能量计算，得到窗口平均能量集合e：
[0059]
e＝[en，n＝1，2，3....y]
[0060]
其中，n为音频窗口的标号；y表示音频窗口的总数；en表示音频窗口标号为n的窗口平均能量。
[0061]
作为更进一步的解决方案，所述判断静音窗口步骤通过如下步骤进行：
[0062]
步骤g1：获取窗口平均能量集合e；
[0063]
步骤g2：设置静音窗口判断阈值δe；
[0064]
步骤g3：逐一判断窗口平均能量en是否小于静音窗口判断阈值δe；若出现窗口平均能量en小于静音窗口判断阈值δe，则记录当前音频窗口，并识别标记为静音窗口；否则不进行记录；
[0065]
步骤g4：完成对窗口平均能量集合e中所有窗口平均能量en的静音窗口判断；得到所有的静音窗口。
[0066]
作为更进一步的解决方案，还建立视频分段点自动判断模型，所述视频分段点自动判断模型通过机器学习模型进行部署，将邻帧像素差g[dn(m,n)]、窗口平均能量en、图像突变判断阈值δg和静音窗口判断阈值δe作为训练集和验证集；将已分段视频视频分段节点处的邻帧像素差g[dn(m,n)]和窗口平均能量en作为历史数据；通过训练集、验证集和历史数据对机器学习模型进行训练，得到视频分段点自动判断模型。
[0067]
与相关技术相比较，本发明提供的一种视频的自动分段方法具有如下有益效果：
[0068]
本发明通过图像突变节点分段步骤和音频静音窗口分段步骤提取视频中的图像突变节点和静音窗口；根据视频的普遍特性，我们可以知道视频分段通常发生在图像突变和音频静音处，因此图像突变节点和静音窗口均是潜在的视频分段节点；当出现既是图像突变节点又在静音窗口内时，便可将其视为视频分段节点；该方法分段准确率高、处理量小，且对待分段视频无类别限制，全程可通过机器学习模型进行视频分段点自动判断，兼顾实用性和普适性。
附图说明
[0069]
图1为本发明实施例提供的一种视频的自动分段方法的较佳流程示意图。
具体实施方式
[0070]
下面结合附图和实施方式对本发明作进一步说明。
[0071]
如图1所示，本实施例提供的一种视频的自动分段方法，通过图像突变节点分段步骤、音频静音窗口分段步骤和视频分段节点确定步骤对待分段视频进行处理，并得到若干分段子视频。
[0072]
具体的，所述图像突变节点分段步骤：通过待分段视频中相邻的图像帧进行图像处理，并判断邻帧图像内容是否发生突变，若邻帧图像内容发生突变，则识别标记为图像突变节点；其中，对应子步骤包括获取待分段视频图像帧步骤、获取图像帧像素矩阵步骤、获取邻帧像素点灰度差步骤、获取邻帧像素差步骤和判断图像突变节点步骤。
[0073]
具体的，所述音频静音窗口分段步骤：提取待分段视频中的音频数据，并通过音频窗口对音频数据进行采样，判断音频窗口是否为静音窗口；其中，对应子步骤包括获取音频滤波采样步骤、获取窗口平均能量步骤和判断静音窗口步骤。
[0074]
具体的，所述视频分段节点确定步骤：提取图像突变节点和静音窗口，并将处在静音窗口内且为图像突变节点的部分作为视频分段节点，通过视频分段节点完成对待分段视频的分段，得到若干分段子视频。
[0075]
需要说明的是：本实施例通过图像突变节点分段步骤和音频静音窗口分段步骤提取视频中的图像突变节点和静音窗口；根据视频的普遍特性，我们可以知道视频分段通常发生在图像突变和音频静音处，因此图像突变节点和静音窗口均是潜在的视频分段节点；当出现既是图像突变节点又在静音窗口内时，便可将其视为视频分段节点；该方法分段准确率高、处理量小，且对待分段视频无类别限制，全程可通过机器学习模型进行视频分段点自动判断，兼顾实用性和普适性。
[0076]
作为更进一步的解决方案，所述获取待分段视频图像帧步骤通过如下步骤进行：
[0077]
步骤a1：获取待分段视频数据；
[0078]
步骤a2：对待分段视频数据进行分帧提取，得到对应图像帧；
[0079]
步骤a3：逐一完成分帧提取，得到图像帧集合f(m,n)：
[0080]
f(m,n)＝[fn(m,n)，n＝1,2,3....x]
[0081]
其中，m,n分别表示图像帧的纵向分辨率和横向分辨率，n表示图像帧的标号；x表示图像帧总数，fn(m,n)表示第n号图像帧。
[0082]
需要说明的是：视频是由一系列的帧图像所组成的一种非结构化的流数据，图像帧是视频的最小组成单位。由一系列逻辑相关、时间连续的帧图像组成，描述一个连续动作的视频分块称为视频镜头，视频由一个个镜头衔接而成。获取视频的图像帧就是获取视频的最小组成单位。
[0083]
作为更进一步的解决方案，所述获取图像帧像素矩阵步骤通过如下步骤进行：
[0084]
步骤b1：获取图像帧集合f(m,n)；
[0085]
步骤b2：对图像帧集合f(m,n)进行逐帧提取；
[0086]
步骤b3：获取当前图像帧中各像素点的灰度值；
[0087]
步骤b4：建立图像帧像素矩阵并将各像素点的灰度值填充值对应位置处：
[0088][0089]
其中，i表示像素点的纵向标号，且i∈[0,1，2，3，...，m-1]；j表示像素点的横向标号，且j∈[0,1，2，3，...，n-1]；n表示图像帧标号，fn(i,j)表示第n号图像帧，横纵坐标号为i，j的像素点对应的灰度值；
[0090]
步骤b5：逐帧进行图像帧像素矩阵建立，得到图像帧像素矩阵集合
[0091][0092]
其中，n表示图像帧的标号；x表示图像帧总数；表示第n号图像帧对应的图像帧像素矩阵。
[0093]
作为更进一步的解决方案，所述获取邻帧像素点灰度差步骤通过如下步骤进行：
[0094]
步骤c1：获取图像帧像素矩阵集合
[0095]
步骤c2：逐点计算图像帧像素矩阵中各像素点的邻帧像素点灰度差dn(i,j)：
[0096]dn
(i,j)＝|fn+1(i,j)-fn(i,j)
[0097]
其中，i表示像素点的纵向标号；j表示像素点的横向标号；n表示当前图像帧标号，n+1表示相邻图像帧标号；fn(i,j)表示第n号图像帧，横纵坐标号为i，j的像素点对应的灰度值；f
n+1
(i,j)表示第n+1号图像帧，横纵坐标号为i，j的像素点对应的灰度值；
[0098]
步骤c3：完成对图像帧像素矩阵中各像素点的邻帧像素点灰度差dn(i,j)的计算，得到对应的邻帧灰度差矩阵dn(m,n)：
[0099]
[0100]
其中，i表示像素点的纵向标号，且i∈[0,1，2，3，...，m-1]；j表示像素点的横向标号，且j∈[0,1，2，3，...，n-1]；n表示图像帧标号，dn(i,j)表示第n号图像帧，横纵坐标号为i，j的像素点对应的灰度差；
[0101]
步骤c4：步骤c4：逐帧进行邻帧灰度差矩阵建立，得到邻帧灰度差矩阵集合d(m,n)：
[0102]
d(m,n)＝[dn(m,n),n＝1,2,3....x-1]
[0103]
其中，n表示图像帧的标号；x-1表示邻帧组数；d(m,n)表示第n号图像帧对应的邻帧灰度差矩阵。
[0104]
作为更进一步的解决方案，所述获取邻帧像素差步骤通过如下步骤进行：
[0105]
步骤d1：获取邻帧灰度差矩阵集合d(m,n)；
[0106]
步骤d2：对邻帧灰度差矩阵dn(m,n)进行邻帧像素差计算，得到邻帧像素差g[dn(m,n)]：
[0107][0108]
其中，m,n分别表示图像帧的纵向分辨率和横向分辨率，n表示图像帧的标号；表示邻帧灰度差矩阵dn(m,n)各元素求和值；
[0109]
步骤d3：逐个进行邻帧像素差计算，得到邻帧像素差集合g[d(m,n)]；
[0110]
g[d(m,n)]＝{g[dn(m,n)],n＝1,2,3,....,x}
[0111]
其中，n表示图像帧的标号；x表示图像帧总数；g[dn(m,n)]表示第n号图像帧对应的邻帧像素差。
[0112]
作为更进一步的解决方案，所述判断图像突变节点步骤通过如下步骤进行：
[0113]
步骤e1：获取邻帧像素差集合g[d(m,n)]；
[0114]
步骤e2：设置图像突变判断阈值δg；
[0115]
步骤e3：逐一判断邻帧像素差g[dn(m,n)]是否大于图像突变判断阈值δg，若出现邻帧像素差g[dn(m,n)]大于图像突变判断阈值δg，则记录当前邻帧像素差g[dn(m,n)]所对应的第n个图像帧，并识别标记为图像突变节点；否则不进行记录；
[0116]
步骤e4：完成对邻帧像素差集合g[d(m,n)]中所有邻帧像素差g[dn(m,n)]的图像突变判断；得到所有的图像突变节点。
[0117]
需要说明的是：当邻帧像素差大于阈值时，认为图像发生了突变。在两个视频镜头的边界，通常相邻的帧图像内容会发生突变。因此，这种图像发生了突变的点，我们认为可以作为可能的视频分段点。
[0118]
作为更进一步的解决方案，所述获取音频滤波采样步骤通过对音频数据进行采样、滤波、窗口傅里叶变换、音频分段、音频频谱转换，并最终得到音频频谱。
[0119]
作为更进一步的解决方案，所述获取窗口平均能量步骤通过如下步骤进行：
[0120]
步骤f1：获取音频频谱；
[0121]
步骤f2：设置音频窗口范围；
[0122]
步骤f3：通过音频窗口截取音频频谱，得到音频采样信号；
[0123]
步骤f4：计算窗口平均能量en：
[0124][0125]
其中，n为音频窗口的标号；n为被标号是n的音频窗口截取的音频采样信号的采样点总数；x(i)为被标号是n的音频窗口截取的音频采样信号；i表示采样点的标号；
[0126]
步骤f5：完成所有窗口平均能量计算，得到窗口平均能量集合e：
[0127]
e＝[en，n＝1，2，3....y]
[0128]
其中，n为音频窗口的标号；y表示音频窗口的总数；en表示音频窗口标号为n的窗口平均能量。
[0129]
作为更进一步的解决方案，所述判断静音窗口步骤通过如下步骤进行：
[0130]
步骤g1：获取窗口平均能量集合e；
[0131]
步骤g2：设置静音窗口判断阈值δe；
[0132]
步骤g3：逐一判断窗口平均能量en是否小于静音窗口判断阈值δe；若出现窗口平均能量en小于静音窗口判断阈值δe，则记录当前音频窗口，并识别标记为静音窗口；否则不进行记录；
[0133]
步骤g4：完成对窗口平均能量集合e中所有窗口平均能量en的静音窗口判断；得到所有的静音窗口。
[0134]
需要说明的是:当窗口平均能量小于阈值时，认为该窗口为静音窗口。静音窗口通常出现于不同视频片段的衔接和切换处，所以这种静音窗口能够很好的定位每个视频片段的起始点。因此，这种静音窗口，我们认为可以作为可能的视频分段点。
[0135]
作为更进一步的解决方案，还建立视频分段点自动判断模型，所述视频分段点自动判断模型通过机器学习模型进行部署，将邻帧像素差g[dn(m,n)]、窗口平均能量en、图像突变判断阈值δg和静音窗口判断阈值δe作为训练集和验证集；将已分段视频视频分段节点处的邻帧像素差g[dn(m,n)]和窗口平均能量en作为历史数据；通过训练集、验证集和历史数据对机器学习模型进行训练，得到视频分段点自动判断模型。
[0136]
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。
技术特征：1.一种视频的自动分段方法，其特征在于，通过图像突变节点分段步骤、音频静音窗口分段步骤和视频分段节点确定步骤对待分段视频进行处理，并得到若干分段子视频；所述图像突变节点分段步骤：通过待分段视频中相邻的图像帧进行图像处理，并判断邻帧图像内容是否发生突变，若邻帧图像内容发生突变，则识别标记为图像突变节点；其中，对应子步骤包括获取待分段视频图像帧步骤、获取图像帧像素矩阵步骤、获取邻帧像素点灰度差步骤、获取邻帧像素差步骤和判断图像突变节点步骤；所述音频静音窗口分段步骤：提取待分段视频中的音频数据，并通过音频窗口对音频数据进行采样，判断音频窗口是否为静音窗口；其中，对应子步骤包括获取音频滤波采样步骤、获取窗口平均能量步骤和判断静音窗口步骤；所述视频分段节点确定步骤：提取图像突变节点和静音窗口，并将处在静音窗口内且为图像突变节点的部分作为视频分段节点，通过视频分段节点完成对待分段视频的分段，得到若干分段子视频。2.根据权利要求1所述的一种视频的自动分段方法，其特征在于，所述获取待分段视频图像帧步骤通过如下步骤进行：步骤a1：获取待分段视频数据；步骤a2：对待分段视频数据进行分帧提取，得到对应图像帧；步骤a3：逐一完成分帧提取，得到图像帧集合f(m,n)：f(m,n)＝[f
n
(m,n)，n＝1,2,3....x]其中，m,n分别表示图像帧的纵向分辨率和横向分辨率，n表示图像帧的标号；x表示图像帧总数，f
n
(m,n)表示第n号图像帧。3.根据权利要求2所述的一种视频的自动分段方法，其特征在于，所述获取图像帧像素矩阵步骤通过如下步骤进行：步骤b1：获取图像帧集合f(m,n)；步骤b2：对图像帧集合f(m,n)进行逐帧提取；步骤b3：获取当前图像帧中各像素点的灰度值；步骤b4：建立图像帧像素矩阵并将各像素点的灰度值填充值对应位置处：其中，i表示像素点的纵向标号，且i∈[0,1，2，3，...，m-1]；j表示像素点的横向标号，且j∈[0,1，2，3，...，n-1]；n表示图像帧标号，f
n
(i,j)表示第n号图像帧，横纵坐标号为i，j的像素点对应的灰度值；步骤b5：逐帧进行图像帧像素矩阵建立，得到图像帧像素矩阵集合
其中，n表示图像帧的标号；x表示图像帧总数；表示第n号图像帧对应的图像帧像素矩阵。4.根据权利要求3所述的一种视频的自动分段方法，其特征在于，所述获取邻帧像素点灰度差步骤通过如下步骤进行：步骤c1：获取图像帧像素矩阵集合步骤c2：逐点计算图像帧像素矩阵中各像素点的邻帧像素点灰度差d
n
(i,j)：d
n
(i,j)＝|f
n
+1(i,j)-f
n
(i,j)|其中，i表示像素点的纵向标号；j表示像素点的横向标号；n表示当前图像帧标号，n+1表示相邻图像帧标号；f
n
(i,j)表示第n号图像帧，横纵坐标号为i，j的像素点对应的灰度值；f
n+1
(i,j)表示第n+1号图像帧，横纵坐标号为i，j的像素点对应的灰度值；步骤c3：完成对图像帧像素矩阵中各像素点的邻帧像素点灰度差d
n
(i,j)的计算，得到对应的邻帧灰度差矩阵d
n
(m,n)：其中，i表示像素点的纵向标号，且i∈[0,1，2，3，...，m-1]；j表示像素点的横向标号，且j∈[0,1，2，3，...，n-1]；n表示图像帧标号，d
n
(i,j)表示第n号图像帧，横纵坐标号为i，j的像素点对应的灰度差；步骤c4：逐帧进行邻帧灰度差矩阵建立，得到邻帧灰度差矩阵集合d(m,n)：d(m,n)＝[d
n
(m,n),n＝1,2,3....x-1]其中，n表示图像帧的标号；x-1表示邻帧组数；d(m,n)表示第n号图像帧对应的邻帧灰度差矩阵。5.根据权利要求4所述的一种视频的自动分段方法，其特征在于，所述获取邻帧像素差步骤通过如下步骤进行：步骤d1：获取邻帧灰度差矩阵集合d(m,n)；步骤d2：对邻帧灰度差矩阵d
n
(m,n)进行邻帧像素差计算，得到邻帧像素差g[d
n
(m,n)]：其中，m,n分别表示图像帧的纵向分辨率和横向分辨率，n表示图像帧的标号；
表示邻帧灰度差矩阵d
n
(m,n)各元素求和值；步骤d3：逐个进行邻帧像素差计算，得到邻帧像素差集合g[d(m,n)]；g[d(m,n)]＝{g[d
n
(m,n)],n＝1,2,3,....,x}其中，n表示图像帧的标号；x表示图像帧总数；g[d
n
(m,n)]表示第n号图像帧对应的邻帧像素差。6.根据权利要求5所述的一种视频的自动分段方法，其特征在于，所述判断图像突变节点步骤通过如下步骤进行：步骤e1：获取邻帧像素差集合g[d(m,n)]；步骤e2：设置图像突变判断阈值δg；步骤e3：逐一判断邻帧像素差g[d
n
(m,n)]是否大于图像突变判断阈值δg，若出现邻帧像素差g[d
n
(m,n)]大于图像突变判断阈值δg，则记录当前邻帧像素差g[d
n
(m,n)]所对应的第n个图像帧，并识别标记为图像突变节点；否则不进行记录；步骤e4：完成对邻帧像素差集合g[d(m,n)]中所有邻帧像素差g[d
n
(m,n)]的图像突变判断；得到所有的图像突变节点。7.根据权利要求1所述的一种视频的自动分段方法，其特征在于，所述获取音频滤波采样步骤通过对音频数据进行采样、滤波、窗口傅里叶变换、音频分段、音频频谱转换，并最终得到音频频谱。8.根据权利要求7所述的一种视频的自动分段方法，其特征在于，所述获取窗口平均能量步骤通过如下步骤进行：步骤f1：获取音频频谱；步骤f2：设置音频窗口范围；步骤f3：通过音频窗口截取音频频谱，得到音频采样信号；步骤f4：计算窗口平均能量e
n
：其中，n为音频窗口的标号；n为被标号是n的音频窗口截取的音频采样信号的采样点总数；x(i)为被标号是n的音频窗口截取的音频采样信号；i表示采样点的标号；步骤f5：完成所有窗口平均能量计算，得到窗口平均能量集合e：e＝[e
n
，n＝1，2，3....y]其中，n为音频窗口的标号；y表示音频窗口的总数；e
n
表示音频窗口标号为n的窗口平均能量。9.根据权利要求8所述的一种视频的自动分段方法，其特征在于，所述判断静音窗口步骤通过如下步骤进行：步骤g1：获取窗口平均能量集合e；步骤g2：设置静音窗口判断阈值δe；步骤g3：逐一判断窗口平均能量e
n
是否小于静音窗口判断阈值δe；若出现窗口平均能
量e
n
小于静音窗口判断阈值δe，则记录当前音频窗口，并识别标记为静音窗口；否则不进行记录；步骤g4：完成对窗口平均能量集合e中所有窗口平均能量e
n
的静音窗口判断；得到所有的静音窗口。10.根据权利要求1至权利要求9任一项所述的一种视频的自动分段方法，其特征在于，还建立视频分段点自动判断模型，所述视频分段点自动判断模型通过机器学习模型进行部署，将邻帧像素差g[d
n
(m,n)]、窗口平均能量e
n
、图像突变判断阈值δg和静音窗口判断阈值δe作为训练集和验证集；将已分段视频视频分段节点处的邻帧像素差g[d
n
(m,n)]和窗口平均能量e
n
作为历史数据；通过训练集、验证集和历史数据对机器学习模型进行训练，得到视频分段点自动判断模型。
技术总结本发明提供一种视频的自动分段方法，涉及视频处理技术领域。本发明通过图像突变节点分段步骤和音频静音窗口分段步骤提取视频中的图像突变节点和静音窗口；根据视频的普遍特性，我们可以知道视频分段通常发生在图像突变和音频静音处，因此图像突变节点和静音窗口均是潜在的视频分段节点；当出现既是图像突变节点又在静音窗口内时，便可将其视为视频分段节点；该方法分段准确率高、处理量小，且对待分段视频无类别限制，全程可通过机器学习模型进行视频分段点自动判断，兼顾实用性和普适性。兼顾实用性和普适性。兼顾实用性和普适性。
技术研发人员：汪于迪 王霄麟
受保护的技术使用者：北京卡拉卡尔科技股份有限公司
技术研发日：2022.07.20
技术公布日：2022/11/1
