1.本技术涉及图像处理技术领域，尤其涉及一种运动对象的提取方法、装置、电子设备及存储介质。
背景技术：2.视频浓缩是指将从视频流中不同帧图像中提取的运动对象拼接到一个共同背景图像中，得到运动对象的运动轨迹的过程。
3.现有技术中，视频浓缩是直接从每帧图像中截取运动对象的位置区域(一般为矩形)，将这个位置区域作为该运动对象在这一帧图像的子图像，再将从不同图像中截取的子图像拼接到一个共同背景图像中，得到这个运动对象的运动轨迹。这种运动对象的提取方式比较粗略，易导致最终形成的浓缩视频出现画面割裂的现象。
4.因此，如何合理提取运动对象，进而提升视频浓缩效果是亟待解决的技术问题。
技术实现要素：5.本技术实施例提供一种运动对象的提取方法、装置、电子设备及存储介质，用以提供一种合理提取运动对象，进而提升视频浓缩效果的方案。
6.第一方面，本技术实施例提供一种运动对象的提取方法，包括：
7.对获取的视频流中每帧图像中的运动对象进行识别，得到所述图像中各运动对象的位置区域；
8.对所述图像中的运动对象进行掩膜分析，得到所述图像中的掩膜区域；
9.对各运动对象的位置区域和各掩膜区域进行匹配，以确定每个运动对象对应的掩膜区域；
10.基于每个运动对象对应的掩膜区域，从所述运动对象的位置区域中提取属于所述运动对象的像素，得到所述运动对象的子图像。
11.在一些实施例中，对各运动对象的位置区域和各掩膜区域进行匹配，以确定每个运动对象对应的掩膜区域，包括：
12.确定每个运动对象的位置区域与每个掩膜区域的重叠面积；
13.若所述重叠面积大于预设值，则将所述掩膜区域确定为所述运动对象对应的掩膜区域。
14.在一些实施例中，在确定每个运动对象对应的掩膜区域之后，还包括：
15.若确定任一掩膜区域对应n个运动对象，则基于所述n个运动对象的位置区域，对所述掩膜区域进行分割，n为大于1的整数。
16.在一些实施例中，基于所述n个运动对象的位置区域，对所述掩膜区域进行分割，包括：
17.确定所述n个运动对象中每个运动对象的位置区域的中心点；
18.以每个运动对象的中心点为起点四周为填充方向，对所述掩膜区域进行填充；
19.将填充到的区域作为所述运动对象对应的掩膜区域。
20.在一些实施例中，还包括：
21.若对所述掩膜区域分割失败，则将所述掩膜区域作为所述n个运动对象中每个运动对象对应的掩膜区域。
22.在一些实施例中，基于每个运动对象对应的掩膜区域，从所述运动对象的位置区域中提取属于所述运动对象的像素，得到所述运动对象的子图像，包括：
23.针对所述运动对象的位置区域中的每个像素，若所述像素包含在所述掩膜区域中，则保留所述像素的像素值，若所述像素未包含在所述掩膜区域中，则将所述像素的像素值设置为设定值，得到所述子图像。
24.在一些实施例中，在得到所述运动对象的子图像之后，还包括：
25.将所述图像的采集时间，作为所述子图像的采集时间；
26.按照采集时间从早到晚的顺序，对所述视频流中同一运动对象的子图像进行组合，得到所述运动对象的运动轨迹。
27.第二方面，本技术实施例提供一种运动对象的提取装置，包括：
28.识别模块，用于对获取的视频流中每帧图像中的运动对象进行识别，得到所述图像中各运动对象的位置区域；
29.分析模块，用于对所述图像中的运动对象进行掩膜分析，得到所述图像中的掩膜区域；
30.匹配模块，用于对各运动对象的位置区域和各掩膜区域进行匹配，以确定每个运动对象对应的掩膜区域；
31.提取模块，用于基于每个运动对象对应的掩膜区域，从所述运动对象的位置区域中提取属于所述运动对象的像素，得到所述运动对象的子图像。
32.在一些实施例中，所述匹配模块，具体用于：
33.确定每个运动对象的位置区域与每个掩膜区域的重叠面积；
34.若所述重叠面积大于预设值，则将所述掩膜区域确定为所述运动对象对应的掩膜区域。
35.在一些实施例中，还包括：
36.分割模块，用于在确定每个运动对象对应的掩膜区域之后，若确定任一掩膜区域对应n个运动对象，则基于所述n个运动对象的位置区域，对所述掩膜区域进行分割，n为大于1的整数。
37.在一些实施例中，所述分割模块，具体用于：
38.确定所述n个运动对象中每个运动对象的位置区域的中心点；
39.以每个运动对象的中心点为起点四周为填充方向，对所述掩膜区域进行填充；
40.将填充到的区域作为所述运动对象对应的掩膜区域。
41.在一些实施例中，所述分割模块，还用于：
42.若对所述掩膜区域分割失败，则将所述掩膜区域作为所述n个运动对象中每个运动对象对应的掩膜区域。
43.在一些实施例中，所述提取模块，具体用于：
44.针对所述运动对象的位置区域中的每个像素，若所述像素包含在所述掩膜区域
中，则保留所述像素的像素值，若所述像素未包含在所述掩膜区域中，则将所述像素的像素值设置为设定值，得到所述子图像。
45.在一些实施例中，还包括组合模块：
46.所述提取模块，还用于在得到所述运动对象的子图像之后，将所述图像的采集时间，作为所述子图像的采集时间；
47.所述组合模块，用于按照采集时间从早到晚的顺序，对所述视频流中同一运动对象的子图像进行组合，得到所述运动对象的运动轨迹。
48.第三方面，本技术实施例提供一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：
49.存储器存储有可被至少一个处理器执行的计算机程序，该计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述运动对象的提取方法。
50.第四方面，本技术实施例提供一种存储介质，当所述存储介质中的计算机程序由电子设备的处理器执行时，所述电子设备能够执行上述运动对象的提取方法。
51.本技术实施例中，对获取的视频流中每帧图像中的运动对象进行识别，得到图像中各运动对象的位置区域，对图像中的运动对象进行掩膜分析，得到图像中的掩膜区域，对各运动对象的位置区域和各掩膜区域进行匹配，以确定每个运动对象对应的掩膜区域，然后，基于每个运动对象对应的掩膜区域，从运动对象的位置区域中提取属于运动对象的像素，得到运动对象的子图像。这样提取的子图像中去除了不属于运动对象的像素，而只保留了属于运动对象的像素，运动对象的提取方式更精准、运动对象的提取效果更好，利于降低基于运动对象的各子图像生成浓缩视频时的画面割裂感。
附图说明
52.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
53.图1为本技术实施例提供的一种运动对象的提取方法的流程图；
54.图2为本技术实施例提供的一种运动对象的位置区域与掩膜区域的示意图；
55.图3为本技术实施例提供的另一种运动对象的提取方法的流程图；
56.图4为本技术实施例提供的另一种运动对象的位置区域与掩膜区域的示意图；
57.图5为本技术实施例提供的一种掩膜区域分割结果示意图；
58.图6为本技术实施例提供的另一种运动对象的位置区域与掩膜区域的示意图；
59.图7为本技术实施例提供的一种运动对象的提取过程示意图；
60.图8为本技术实施例提供的一种运动对象的提取装置的结构示意图；
61.图9为本技术实施例提供的一种用于实现运动对象的提取方法的电子设备的硬件结构示意图。
具体实施方式
62.为了合理提取运动对象，提升视频浓缩效果，本技术实施例提供了一种运动对象的提取方法、装置、电子设备及存储介质。
63.以下结合说明书附图对本技术的优选实施例进行说明，应当理解，此处所描述的
优选实施例仅用于说明和解释本技术，并不用于限定本技术，并且在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
64.图1为本技术实施例提供的一种运动对象的提取方法的流程图，包括以下步骤。
65.在步骤101中，对获取的视频流中每帧图像中的运动对象进行识别，得到图像中各运动对象的位置区域。
66.其中，视频流可以是一个视频流、两个视频流或者更多个视频流，并且，不同视频流一般是由不同摄像机采集的。
67.具体实施时，可利用通用的目标检测算法对视频流中每帧图像中的运动对象进行识别，得到图像中各运动对象的识别信息，其中，每个运动对象的识别信息包括该运动对象的类别和位置区域，一般地，位置区域为一个矩形框。也就是说，对每帧图像中的运动对象进行识别，可以得知图像中包含哪些运动对象，还可得知每种运动对象在图像中所在的矩形区域。
68.其中，目标检测算法如yolo系列算法、通过faster-rcnn等网络结构实现的对象检测算法等。
69.在步骤102中，对图像中的运动对象进行掩膜分析，得到图像中的掩膜区域。
70.具体实施时，可先利用背景减除算法获取图像中的运动前景区域，再利用连通域提取算法从运动前景区域中提取出至少一个掩膜区域。另外，还可使用图像滤波器对图像进行平滑处理，或使用形态学滤波操作对掩膜区域进行滤波处理，以滤掉掩膜区域中较小的噪声区域。
71.在步骤103中，对各运动对象的位置区域和各掩膜区域进行匹配，以确定每个运动对象对应的掩膜区域。
72.比如，确定每个运动对象的位置区域与每个掩膜区域的重叠面积，若重叠面积大于预设值，则将该掩膜区域确定为这个运动对象对应的掩膜区域，其中，预设值如70％。
73.参见图2，图2为本技术实施例提供的一种运动对象的位置区域与掩膜区域的示意图。左侧图中的2个矩形框表示在图像中检测出的汽车a和汽车b的位置区域，右侧图中的2个白色区域表示对图像进行掩膜分析，得到的掩膜区域c和掩膜区域d。
74.在对各运动对象的位置区域和各掩膜区域进行匹配时，可分别计算汽车a的矩形区域与掩膜区域c和掩膜区域d的重叠面积，汽车a的矩形区域与掩膜区域d的重叠面积为0，而汽车a的矩形区域与掩膜区域c重叠面积大于预设值，因此，可确定汽车a对应的掩膜区域为掩膜区域c。同理，可确定汽车b的掩膜区域为掩膜区域d。
75.另外，还可以预选确定每个掩膜区域的最小外接矩形框，即将每个掩膜区域转换成矩形的掩膜框，后续，在确定每个运动对象的位置区域与每个掩膜区域的重叠面积时，直接计算每个运动对象矩形的位置区域与每个矩形的掩膜框的重叠面积。这样，可以提高运动对象的位置区域与掩膜区域匹配速度，进而提升从图像中提取子图像的速度。
76.在步骤104中，基于每个运动对象对应的掩膜区域，从运动对象的位置区域中提取属于运动对象的像素，得到运动对象的子图像。
77.其中，针对运动对象的位置区域中的每个像素，若像素包含在该运动对象对应的掩膜区域中，则可保留像素的像素值，若像素未包含在该运动对象对应的掩膜区域中，则可将像素的像素值设置为设定值，设定值如0。
78.本技术实施例中，从图像中提取的运动对象的子图像中只有属于运动对象的像素而没有不属于运动对象的像素，运动对象的提取方式更精准、运动对象的提取效果更好，利于降低基于运动对象的各子图像生成浓缩视频时的画面割裂感。
79.需要说明的是，上述步骤101和步骤102之间没有严格的先后顺序关系。
80.图3为本技术实施例提供的另一种运动对象的提取方法的流程图，包括以下步骤。
81.在步骤301中，对获取的视频流中每帧图像中的运动对象进行识别，得到图像中各运动对象的位置区域。
82.该实施的步骤可参见步骤101，在此不再赘述。
83.在步骤302中，对图像中的运动对象进行掩膜分析，得到图像中的掩膜区域。
84.该实施的步骤可参见步骤102，在此不再赘述。
85.在步骤303中，对各运动对象的位置区域和各掩膜区域进行匹配，以确定每个运动对象对应的掩膜区域。
86.该步骤的实施可参见步骤103，在此不再赘述。
87.一般地，一个掩膜区域对应一个运动对象，但由于遮挡，一个掩膜区域也可能对应至少两个运动对象。
88.参见图4，图4为本技术实施例提供的另一种运动对象的位置区域与掩膜区域的示意图。左侧图中的2个矩形框表示在图像中检测出的汽车e和汽车f的位置区域，右侧图中的1个白色区域表示对图像进行掩膜分析，得到的掩膜区域g。
89.在对各运动对象的位置区域和掩膜区域进行匹配时，可分别计算汽车e和汽车f的矩形区域与掩膜区域g的重叠面积，汽车e的矩形区域与掩膜区域g的重叠面积大于预设值，汽车f的矩形区域与掩膜区域g重叠面积也大于预设值，因此，可确定汽车e和汽车f对应的掩膜区域均为掩膜区域g，即，掩膜区域g对应汽车e和汽车f两个运动对象。
90.在步骤304中，若确定任一掩膜区域对应n个运动对象，则基于n个运动对象的位置区域，对掩膜区域进行分割，以确定运动对象与掩膜区域的一一对应关系。
91.其中，n为大于1的整数。
92.具体实施时，可先确定n个运动对象中每个运动对象的位置区域的中心点，然后，以每个运动对象的中心点为起点四周为填充方向，对该掩膜区域进行填充，将填充到的区域作为运动对象对应的掩膜区域。
93.参见图4，由于掩膜区域g对应汽车e和汽车f两个运动对象，所以可对掩膜区域g进行分割。具体的，分别确定汽车e和汽车f的矩形框的中心点，以各中心点为起点四周为填充方向，对掩膜区域g进行填充，以汽车e的中心点填充到的区域作为汽车e的掩膜区域，以汽车f的中心点填充到的区域作为汽车f的掩膜区域。
94.图5为本技术实施例提供的一种掩膜区域分割结果示意图，图4中的掩膜区域g经分割后，形成掩膜区域g1和掩膜区域g2，掩膜区域g1即为汽车e的掩膜区域，掩膜区域g2即为汽车f的掩膜区域。
95.在步骤305中，判断掩膜区域是否分割成功，若是，则进入步骤307，若否，则进入步骤306。
96.在一些情况下，若多个运动对象彼此遮挡得比较严重如一个被另一个完全遮挡，则可能在对掩膜区域进行填充的过程中，某个运动对象可能填充到的区域很小，甚至为空，
从而导致掩膜区域分割失败的情况。
97.图6为本技术实施例提供的另一种运动对象的位置区域与掩膜区域的示意图，如图6所示，图像中运动对象h和i的位置区域完全重合，对图像进行掩膜分析，得到的掩膜图像中运动对象i的掩膜区域完全被运动对象h的掩膜区域覆盖，掩膜图像中只显示一个掩膜区域j。这时以运动对象h和i的矩形框的中心点为起始点，四周为填充方向，对掩膜区域进行填充时，会因其中一个运动对象的掩膜区域很小，甚至为空，从而导致掩膜区域分割失败。
98.在步骤306中，将掩膜区域作为n个运动对象中每个运动对象对应的掩膜区域。
99.在步骤307中，基于每个运动对象对应的掩膜区域，从运动对象的位置区域中提取属于运动对象的像素，得到运动对象的子图像。
100.该步骤的实施可参见步骤104，在此不再赘述。
101.在步骤308中，将图像的采集时间，作为子图像的采集时间。
102.在步骤309中，按照采集时间从早到晚的顺序，对视频流中同一运动对象的子图像进行组合，得到该运动对象的运动轨迹。
103.其中，组合如拼接。
104.即，以运动对象为单位，对各视频流进行压缩处理，以得到这个运动对象的运动轨迹。
105.本技术实施例中，为每一运动对象匹配对应的掩膜区域，从运动对象的位置区域中提取属于运动对象的像素，得到运动对象的子图像，由于子图像中仅保留了属于运动对象的像素，所以运动对象的提取方式更精准。另外，当一个掩膜区域对应不止一个运动对象时，还可对掩膜区域进行分割，进一步保证运动对象的提取精准性。后续，在浓缩视频(即通过同一运动对象的子图像得到运动对象的运动轨迹)时，由于子图像中没有除该运动对象之外的像素，所以可降低浓缩视频的画面割裂感。
106.下面结合具体实施例对本技术实例的方案进行说明。
107.参见图7，图7为本技术实施例提供的一种运动对象的提取过程示意图，针对获取的每个视频流中的每帧图像进行运动对象检测，获得图像中每个运动对象的检测结果，如该运动对象的类别和位置区域(一般为矩形框)，并基于检测结果，将该运动对象与已跟踪对象进行比对，以确定该运动对象是正在跟踪的对象还是新出现的对象，并可确定图像中的掩膜区域(每个掩膜区域都对应有运动对象)，接下来，将运动对象的位置区域与掩膜区域进行匹配，得到每个运动对象对应的掩膜区域，其中，当一个掩膜区域对应多个运动对象时，可对这个掩膜区域进行分割，以保证运动对象的位置区域与掩膜区域是一一对应的，然后，可基于每个运动对象对应的掩膜区域从该运动对象的位置区域中提取属于该运动对象的像素，得到该运动对象的子图像，最后，基于该运动对象的各子图像，生成该运动对象的运动轨迹。
108.具体的，可按照以下步骤实施。
109.步骤1：对视频流中的每帧图像中进行运动对象检测，得到图像中每个运动对象的检测结果，如类别和位置区域，并基于检测结果进行对象跟踪。
110.具体实施时，对视频流中的每帧图像，可以使用通用目标检测算法获取图像帧中人、车、动物等指定运动对象的类别和位置区域，一般地，位置区域为一个矩形框，也就是
说，对每帧图像中的运动对象进行检测，可以得知图像中包含哪些运动对象，还可得知每种运动对象在图像中所在的矩形区域。
111.然后，基于每个运动对象的类别和位置区域，进行运动对象跟踪，即将该运动对象与已跟踪对象进行比对，以确定该运动对象是正在跟踪的对象还是新出现的对象。
112.其中，跟踪时可以使用通用目标跟踪算法如sort算法等匹配不同帧图像中的同一运动对象，可以使用不同运动对象的矩形框重合度作为计算指标，具体的，计算相邻两帧图像中运动对象的两个矩形框之间的重合度，若重合度大于预设值，则判定这两个矩形框对应的运动对象为同一运动对象。另外，也可使用不同帧图像中两运动对象的特征相似度作为评判标注，在此不再赘述。
113.步骤2：确定图像中的掩膜区域。
114.这里，可使用背景减除算法获取图像中的运动前景区域，再利用连通域提取算法从运动前景区域中提取出至少一个掩膜区域。针对视频流中随机出现的噪声，还可使用图像滤波器对图像进行平滑，或使用形态学滤波操作对掩膜区域进行滤波处理，以滤掉掩膜区域中较小的噪声区域。
115.步骤3：将运动对象的位置区域与掩膜区域进行匹配，得到每个运动对象对应的掩膜区域。
116.一般地，通过步骤1可以得知图像中有哪些运动对象，以及每个运动对象在图像中的所在区域，但通过步骤2仅可得知图像中哪个位置有运动对象但不能识别具体是哪种运动对象，为此，可将同一图像中运动对象的位置区域与掩膜区域进行匹配，以为掩膜区域赋予更多的识别信息。
117.比如，将各运动对象的位置区域作为集合1中的元素构成集合1：{a，b，c
……
}，将各掩膜区域作为集合2中的元素构成集合2：{a，b，c
……
}。然后，计算集合1中的每个元素与集合2中的每个元素之间的重叠面积，若集合1中任一个元素与集合2中任一元素的重叠面积大于预设值，则连接这两个元素，最后，根据两个集合中的连线关系及数量确定每个运动对象对应的掩膜区域。
118.假设集合1为{a，b，c}，集合2为{a，b}。
119.通过比较集合1中a与集合2中每个元素的重叠面积，若a与a的重叠面积大于预设值，a与b的重叠面积小于预设值，则连接a与a(对应未被遮挡的情况)。
120.通过比较集合1中b与集合2中每个元素的重叠面积，若b与b的重叠面积大于预设值，b与a的重叠面积小于预设值，则连接b与b，而通过比较集合1中c与集合2中每个元素的重叠面积，若c与a的重叠面积小于预设值，c与b的重叠面积大于预设值，则连接b与c。这种情况下，掩膜区域b对应2个运动对象(对应被遮挡的情况)。
121.步骤4：若任一掩膜区域对应至少两个运动对象，则基于这至少两个运动对象的位置区域对该掩膜区域进行分割，以确定运动对象与掩膜区域之间的一一对应关系。
122.具体实施时，若任一掩膜区域对应至少两个运动对象，则可计算这至少两个运动对象中每个运动对象的位置区域的中心，以每个运动对象的中心点作为起始点，使用泛水填充算法填充掩膜区域，每个运动对象填充得到的区域即为该运动对象的掩膜区域。
123.需要说明的是，针对某些运动对象重叠较严重的场景，如一个运动对象完全在另一个运动对象区域之中，此填充过程得到的某些运动对象的掩膜区域可能较小，甚至为空，
此时，可以整个掩膜区域作为每个运动对象的掩膜区域。
124.步骤5：基于每个运动对象对应的掩膜区域，从运动对象的位置区域中提取属于运动对象的像素，得到运动对象的子图像。
125.另外，还可将图像的采集时间，作为子图像的采集时间。
126.步骤6：对同一运动对象的子图像进行组合，得到该运动对象的运动轨迹。
127.比如，按照采集时间从早到晚的顺序，对视频流中同一运动对象的子图像进行组合，得到该运动对象的运动轨迹。
128.基于相同的技术构思，本技术实施例还提供一种运动对象的提取装置，运动对象的提取装置解决问题的原理与上述运动对象的提取方法相似，因此运动对象的提取装置的实施可参见运动对象的提取方法的实施，重复之处不再赘述。
129.图8为本技术实施例提供的一种运动对象的提取装置的结构示意图，包括识别模块801、分析模块802、匹配模块803、提取模块804。
130.识别模块801，用于对获取的视频流中每帧图像中的运动对象进行识别，得到所述图像中各运动对象的位置区域；
131.分析模块802，用于对所述图像中的运动对象进行掩膜分析，得到所述图像中的掩膜区域；
132.匹配模块803，用于对各运动对象的位置区域和各掩膜区域进行匹配，以确定每个运动对象对应的掩膜区域；
133.提取模块804，用于基于每个运动对象对应的掩膜区域，从所述运动对象的位置区域中提取属于所述运动对象的像素，得到所述运动对象的子图像。
134.在一些实施例中，所述匹配模块803，具体用于：
135.确定每个运动对象的位置区域与每个掩膜区域的重叠面积；
136.若所述重叠面积大于预设值，则将所述掩膜区域确定为所述运动对象对应的掩膜区域。
137.在一些实施例中，还包括：
138.分割模块805，用于在确定每个运动对象对应的掩膜区域之后，若确定任一掩膜区域对应n个运动对象，则基于所述n个运动对象的位置区域，对所述掩膜区域进行分割，n为大于1的整数。
139.在一些实施例中，所述分割模块805，具体用于：
140.确定所述n个运动对象中每个运动对象的位置区域的中心点；
141.以每个运动对象的中心点为起点四周为填充方向，对所述掩膜区域进行填充；
142.将填充到的区域作为所述运动对象对应的掩膜区域。
143.在一些实施例中，所述分割模块805，还用于：
144.若对所述掩膜区域分割失败，则将所述掩膜区域作为所述n个运动对象中每个运动对象对应的掩膜区域。
145.在一些实施例中，所述提取模块804，具体用于：
146.针对所述运动对象的位置区域中的每个像素，若所述像素包含在所述掩膜区域中，则保留所述像素的像素值，若所述像素未包含在所述掩膜区域中，则将所述像素的像素值设置为设定值，得到所述子图像。
147.在一些实施例中，还包括组合模块806：
148.所述提取模块804，还用于在得到所述运动对象的子图像之后，将所述图像的采集时间，作为所述子图像的采集时间；
149.所述组合模块806，用于按照采集时间从早到晚的顺序，对所述视频流中同一运动对象的子图像进行组合，得到所述运动对象的运动轨迹。
150.本技术实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，本技术各实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。各个模块相互之间的耦合可以是通过一些接口实现，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它的形式接口。因此，作为分离部件说明的模块可以是或者也可以不是物理上分开的，既可以位于一个地方，也可以分布到同一个或不同设备的不同位置上。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
151.在介绍了本技术示例性实施方式的运动对象的提取方法和装置之后，接下来，介绍根据本技术的另一示例性实施方式的电子设备。
152.下面参照图9来描述根据本技术的这种实施方式实现的电子设备130。图9显示的电子设备130仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
153.如图9所示，电子设备130以通用电子设备的形式表现。电子设备130的组件可以包括但不限于：上述至少一个处理器131、上述至少一个存储器132、连接不同系统组件(包括存储器132和处理器131)的总线133。
154.总线133表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
155.存储器132可以包括易失性存储器形式的可读介质，例如随机存取存储器(ram)1321和/或高速缓存存储器1322，还可以进一步包括只读存储器(rom)1323。
156.存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325，这样的程序模块1324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
157.电子设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与电子设备130交互的设备通信，和/或与使得该电子设备130能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口135进行。并且，电子设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器136通过总线133与用于电子设备130的其它模块通信。应当理解，尽管图中未示出，可以结合电子设备130使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
158.在示例性实施例中，还提供了一种存储介质，当存储介质中的计算机程序由电子设备的处理器执行时，电子设备能够执行上述运动对象的提取方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
159.在示例性实施例中，本技术的电子设备可以至少包括至少一个处理器，以及与这至少一个处理器通信连接的存储器，其中，存储器存储有可被这至少一个处理器执行的计算机程序，计算机程序被这至少一个处理器执行时可使这至少一个处理器执行本技术实施例提供的任一运动对象的提取方法的步骤。
160.在示例性实施例中，还提供一种计算机程序产品，当计算机程序产品被电子设备执行时，电子设备能够实现本技术提供的任一示例性方法。
161.并且，计算机程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、ram、rom、可擦式可编程只读存储器(erasable programmable read-only memory，eprom)、闪存、光纤、光盘只读存储器(compact disk read only memory，cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
162.本技术实施例中用于运动对象的提取的程序产品可以采用cd-rom并包括程序代码，并可以在计算设备上运行。然而，本技术的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
163.可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
164.可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、射频(radio frequency，rf)等等，或者上述的任意合适的组合。
165.可以以一种或多种程序设计语言的任意组合来编写用于执行本技术操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络如局域网(local area network，lan)或广域网(wide area network，wan)连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
166.应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本技术的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
167.此外，尽管在附图中以特定顺序描述了本技术方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个
步骤分解为多个步骤执行。
168.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
169.本技术是参照根据本技术实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
170.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
171.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
172.尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
173.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。
技术特征：1.一种运动对象的提取方法，其特征在于，包括：对获取的视频流中每帧图像中的运动对象进行识别，得到所述图像中各运动对象的位置区域；对所述图像中的运动对象进行掩膜分析，得到所述图像中的掩膜区域；对各运动对象的位置区域和各掩膜区域进行匹配，以确定每个运动对象对应的掩膜区域；基于每个运动对象对应的掩膜区域，从所述运动对象的位置区域中提取属于所述运动对象的像素，得到所述运动对象的子图像。2.如权利要求1所述的方法，其特征在于，对各运动对象的位置区域和各掩膜区域进行匹配，以确定每个运动对象对应的掩膜区域，包括：确定每个运动对象的位置区域与每个掩膜区域的重叠面积；若所述重叠面积大于预设值，则将所述掩膜区域确定为所述运动对象对应的掩膜区域。3.如权利要求1或2所述的方法，其特征在于，在确定每个运动对象对应的掩膜区域之后，还包括：若确定任一掩膜区域对应n个运动对象，则基于所述n个运动对象的位置区域，对所述掩膜区域进行分割，n为大于1的整数。4.如权利要求3所述的方法，其特征在于，基于所述n个运动对象的位置区域，对所述掩膜区域进行分割，包括：确定所述n个运动对象中每个运动对象的位置区域的中心点；以每个运动对象的中心点为起点四周为填充方向，对所述掩膜区域进行填充；将填充到的区域作为所述运动对象对应的掩膜区域。5.如权利要求3所述的方法，其特征在于，还包括：若对所述掩膜区域分割失败，则将所述掩膜区域作为所述n个运动对象中每个运动对象对应的掩膜区域。6.如权利要求1所述的方法，其特征在于，基于每个运动对象对应的掩膜区域，从所述运动对象的位置区域中提取属于所述运动对象的像素，得到所述运动对象的子图像，包括：针对所述运动对象的位置区域中的每个像素，若所述像素包含在所述掩膜区域中，则保留所述像素的像素值，若所述像素未包含在所述掩膜区域中，则将所述像素的像素值设置为设定值，得到所述子图像。7.如权利要求1所述的方法，其特征在于，在得到所述运动对象的子图像之后，还包括：将所述图像的采集时间，作为所述子图像的采集时间；按照采集时间从早到晚的顺序，对所述视频流中同一运动对象的子图像进行组合，得到所述运动对象的运动轨迹。8.一种的装置，其特征在于，包括：识别模块，用于对获取的视频流中每帧图像中的运动对象进行识别，得到所述图像中各运动对象的位置区域；分析模块，用于对所述图像中的运动对象进行掩膜分析，得到所述图像中的掩膜区域；匹配模块，用于对各运动对象的位置区域和各掩膜区域进行匹配，以确定每个运动对
象对应的掩膜区域；提取模块，用于基于每个运动对象对应的掩膜区域，从所述运动对象的位置区域中提取属于所述运动对象的像素，得到所述运动对象的子图像。9.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-7任一所述的方法。10.一种存储介质，其特征在于，当所述存储介质中的计算机程序由电子设备的处理器执行时，所述电子设备能够执行如权利要求1-7任一所述的方法。
技术总结本申请公开一种运动对象的提取方法、装置、电子设备及存储介质，属于图像处理技术领域，该方法包括：对获取的视频流中每帧图像中的运动对象进行识别，得到图像中各运动对象的位置区域，对图像中的运动对象进行掩膜分析，得到图像中的掩膜区域，对各运动对象的位置区域和各掩膜区域进行匹配，以确定每个运动对象对应的掩膜区域，基于每个运动对象对应的掩膜区域，从运动对象的位置区域中提取属于运动对象的像素，得到运动对象的子图像。这样提取的子图像中去除了不属于运动对象的像素，而只保留了属于运动对象的像素，运动对象的提取方式更精准、运动对象的提取效果更好，利于降低基于运动对象的各子图像生成浓缩视频时的画面割裂感。割裂感。割裂感。
技术研发人员：李煜 李文成 钱翔 王军鹏 卢隆 朱锦程
受保护的技术使用者：天翼云科技有限公司
技术研发日：2022.07.21
技术公布日：2022/11/1
