1.本发明涉及视频图像处理技术领域，具体涉及一种基于点渲染的视 频背景人像分割模型及算法。
背景技术：2.人像分割在多个领域中被广泛应用，人像分割模型的准确性代表其 可靠性，近年来，利用深度学习模型进行的人像分割在性能和准确性方 面取得了显著的成功，并且已在手机摄影、视频监控和人脸识别等实际 场景中得到了广泛的应用，与其他语义分割任务相比，人像分割对精度 和速度都有更高的要求。
3.随着智能手机和社交门户网站(如微博、facebook)的普及，使得 捕捉和分享个人照片变得更加方便，许多图片编辑软件都有搭载人像分 割功能，将人物图像的头部和上半身对应的区域从背景中分离出来，用 于后续操作，如背景更换、发型改变以及人像风格化等。
4.人像分割是计算机视觉的重要研究课题，可被广泛的应用到各个领 域，比如视频更换背景，将人物融入到不同的场景中，产生有创意的应 用，也可以针对图像的细节处理，可以快速设计富有创意的图片，传统 的人工处理方式对人员的专业技能有一定要求，不仅存在工作量巨大、 速度慢，效果差等问题，同时，现有的人像分割技术不够快速和准确， 不能使得图像的人物主体与背景进行精确地分离。
5.因此，提供一种新的技术方案改善上述问题，是本领域技术人员急 需解决的问题。
技术实现要素：6.针对现有技术存在的不足，本发明专利的目的在于提供一种基于点 渲染的视频背景人像分割模型及算法进行有效分割，能够在复杂场景下， 精确分割人像主体。
7.一种基于点渲染的视频背景人像分割模型，包括：backbone网络模 块、多尺度特征融合模块、分割预测模块和基于点渲染的神经网络模块。
8.在上述的方案中，所述backbone网络模块用于对待处理的视频背景 人像进行初步特征提取，获取多个尺度的低分辨率特征和多个尺度的高 分辨率特征。
9.在上述的方案中，所述多尺度特征融合模块用于对所述backbone网 络模块输出的高分辨率特征进行特征聚合后，对低分辨率特征进行上采 样特征填充，并将经过上采样处理的低分辨率特征与特征聚合后的高分 辨率特征进行融合，获取检测对象。
10.在上述的方案中，所述分割预测模块用于为所述多尺度特征融合模 块输出的检测对象生成一个粗略的mask预测。
11.在上述的方案中，所述基于点渲染的神经网络模块用于采用迭代细 分算法进行分割预测，得到细粒度的mask。
12.在上述的方案中，所述backbone网络模块主体包含第一阶段网络、 第二阶段网
络、第三阶段网络和第四阶段网络，所述第一阶段网络包括 第一下采样单元和第一残差单元，所述第一下采样单元用于对待处理的 视频背景人像进行4倍下采样，获取待处理的视频背景人像1/4尺寸的 低分辨率特征图，并对低分辨率特征进行提取，所述第一残差单元用于 对所述第一下采样单元输出的低分辨率特征图进行多次卷积操作，将所 述第一下采样单元输出的低分辨率特征图的通道数扩展为18，获取第一 高分辨率特征图，并对高分辨率特征进行提取，所述第一残差单元采用4 个bottleneck残差模块；所述第二阶段网络包括第二下采样单元和第二 残差单元，所述第二下采样单元用于对待处理的视频背景人像进行8倍 下采样，获取待处理的视频背景人像1/8尺寸的低分辨率特征图，并对 低分辨率特征进行提取，所述第二残差单元用于对所述第二下采样单元 输出的低分辨率特征图进行多次卷积操作，将所述第二下采样单元输出 的低分辨率特征图的通道数扩展为36，获取第二高分辨率特征图，并对 高分辨率特征进行提取，所述第二残差单元采用1个basicblock残差模 块；所述第三阶段网络包括第三下采样单元和第三残差单元，所述第三 下采样单元用于对待处理的视频背景人像进行16倍下采样，获取待处理 的视频背景人像1/16尺寸的低分辨率特征图，并对低分辨率特征进行提 取，所述第三残差单元用于对所述第三下采样单元输出的低分辨率特征 图进行多次卷积操作，将所述第二下采样单元输出的低分辨率特征图的 通道数扩展为72，获取第三高分辨率特征图，并对高分辨率特征进行提 取，所述第三残差单元采用4个basicblock残差模块；所述第四阶段网 络包括第四下采样单元和第四残差单元，所述第四下采样单元用于对待 处理的视频背景人像进行32倍下采样，获取待处理的视频背景人像1/32 尺寸的低分辨率特征图，并对低分辨率特征进行提取，所述第四残差单 元用于对所述第四下采样单元输出的低分辨率特征图进行多次卷积操作， 将所述第四下采样单元输出的低分辨率特征图的通道数扩展为144，获取 第四高分辨率特征图，并对低分辨率特征进行提取，所述第四残差单元 采用3个basicblock残差模块。
13.在上述的方案中，所述bottleneck残差模块的宽度参数为64，所述 bottleneck残差模块包括第一1
×
1卷积层、3
×
3卷积层和第二1
×
1卷 积层，所述第一1
×
1卷积层、所述3
×
3卷积层和所述第二1
×
1卷积层 后均包含bn层和relu函数。
14.在上述的方案中，所述basicblock残差模块包括第一3
×
3卷积层 和第二3
×
3卷积层，所述第一3
×
3卷积层和所述第二3
×
3卷积层后均 bn层和relu函数。
15.本发明还提供一种基于点渲染的视频背景人像分割算法，应用于如 上所述的基于点渲染的视频背景人像分割模型进行处理，包括：
16.步骤s1：通过backbone网络模块对待处理的视频背景人像进行初步 特征提取，获取多个尺度的低分辨率特征图和多个尺度的高分辨率特征 图；
17.步骤s2：通过多尺度特征融合模块对所述backbone网络模块输出的 高分辨率特征进行特征聚合后，对低分辨率特征进行上采样特征填充， 并将经过上采样处理的低分辨率特征与特征聚合后的高分辨率特征进行 融合，获取检测对象；
18.步骤s3：通过分割预测模块为所述多尺度特征融合模块输出的检测 对象生成一个粗略的mask预测；
19.步骤s4：通过基于点渲染的神经网络模块采用迭代细分算法进行分 割预测，得到细粒度的mask。
20.在上述的方案中，所述通过多尺度特征融合模块对所述backbone网 络模块输出的高分辨率特征进行特征聚合后，对低分辨率特征进行上采 样特征填充，并将经过上采样处理的低分辨率特征与特征聚合后的高分 辨率特征进行融合，获取检测对象包括：
21.步骤s21：采用1个或若干个步长为2的3
×
3卷积层对所述 backbone网络模块输出的各个高分辨率特征图进行下采样操作，使得各 个高分辨率特征图与对应的低分辨率特征图尺寸相同，将经过下采样操 作变换处理的高分辨率特征图的特征进行聚合；
22.步骤s22：采用1个或若干个3
×
3卷积层对所述backbone网络模块 输出的各个低分辨率特征图进行上采样操作，使得各个低分辨率特征图 与对应的高分辨率特征图尺寸相同，并通过1
×
1卷积层对经过上采样操 作的低分辨率特征图进行恒等映射，以及按照特征通道对低分辨率特征 图的特征与聚合处理后的高分辨率特征进行融合；
23.步骤s23：输出融合结果。
24.在上述的方案中，所述通过分割预测模块为所述多尺度特征融合模 块输出的检测对象生成一个粗略的mask预测包括：
25.步骤s31：通过pointrend网络在所述多尺度特征融合模块输出的检 测对象中选择一组点；
26.步骤s32：通过小型多层感知机对每个点进行独立的预测；
27.步骤s33：通过细分遮罩渲染算法对独立预测过程进行迭代，通过细 粒度图像识别算法粗预测检测对象的mask。
28.在上述的方案中，所述通过基于点渲染的神经网络模块采用迭代细 分算法进行分割预测，得到细粒度的mask包括：
29.步骤s41：将所述多尺度特征融合模块输出的融合结果输入至 pointrend网络；
30.步骤s42：将所述分割预测模块输出的mask作为粗预测，经 pointrend网络处理采用迭代细分算法自适应选择的位置执行点进行分割 预测，得到细粒度的mask。
31.综上所述，本发明的有益效果是：采用深度学习pytorch框架搭建 包括backbone网络模块、多尺度特征融合模块、分割预测模块和基于点 渲染的神经网络模块的基于点渲染的视频背景人像分割模型，通过基于 点渲染的视频背景人像分割模型针对人物视频和图片生成精细边界细节 的mask，能够快速准确对人像视频进行人像主体分割，从而进一步对视 频处理，达到优良的视觉处理效果。
附图说明
32.构成本技术的一部分的附图用来提供对本发明的进一步理解，本发 明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当 限定。
33.图1为本发明中基于点渲染的视频背景人像分割模型的网络结构示 意图。
34.图2为本发明中多尺度特征融合模块的网络结构示意图。
35.图3为本发明中basicblock残差模块和bottleneck残差模块的网 络结构示意图。
36.图4为本发明中基于点渲染的视频背景人像分割算法的步骤图。
37.图5为本发明中通过多尺度特征融合模块进行特征融合的步骤图。
38.图6为本发明中通过分割预测模块进行粗mask预测的步骤图。
39.图7为本发明中通过基于点渲染的神经网络模块进行分割预测的步 骤图。
40.图8为本发明中在不同场景下对视频图像人像分割的效果图。
具体实施方式
41.为了使得本发明的技术方案的目的和优点更加清楚，下文中将结合 本发明具体实施例的附图，对本发明实施的技术方案进行清楚、完整地 描述。附图中相同的附图标记代表相同的部件。需要说明的是，所描述 的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述 的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所 获得的所有其他实施例，都属于本发明保护的范围。
42.如图1和图2所示，本发明的一种基于点渲染的视频背景人像分割 模型，包括：backbone网络模块、多尺度特征融合模块、分割预测模块 和基于点渲染的神经网络模块。
43.下面结合附图对本发明上述各模块间的连接关系做进一步详细说明。
44.所述backbone网络模块用于对待处理的视频背景人像进行初步特征 提取，获取多个尺度的低分辨率特征和多个尺度的高分辨率特征；所述 多尺度特征融合模块用于对所述backbone网络模块输出的高分辨率特征 进行特征聚合后，对低分辨率特征进行上采样特征填充，并将经过上采 样处理的低分辨率特征与特征聚合后的高分辨率特征进行融合，获取检 测对象；所述分割预测模块用于为所述多尺度特征融合模块输出的检测 对象生成一个粗略的mask预测；所述基于点渲染的神经网络模块用于采 用迭代细分算法进行分割预测，得到细粒度的mask。
45.在本实施例中，基于点渲染的视频背景人像分割模型采用采用深度 学习pytorch框架搭建。
46.在本实施例中，所述backbone网络模块可获取于增强人像特征的语 义信息、细节信息，以及获取视频背景人像中人物目标的位置信息。
47.在本实施例中，所述多尺度特征融合模块将语义信息、细节信息和 人物目标的位置信息结合起来，且可以以不同的尺度检测对象。
48.进一步地，所述backbone网络模块主体包含第一阶段网络、第二阶 段网络、第三阶段网络和第四阶段网络，所述第一阶段网络包括第一下 采样单元和第一残差单元，所述第一下采样单元用于对待处理的视频背 景人像进行4倍下采样，获取待处理的视频背景人像1/4尺寸的低分辨 率特征图，并对低分辨率特征进行提取，所述第一残差单元用于对所述 第一下采样单元输出的低分辨率特征图进行多次卷积操作，将所述第一 下采样单元输出的低分辨率特征图的通道数扩展为18，获取第一高分辨 率特征图，并对高分辨率特征进行提取，所述第一残差单元采用4个 bottleneck残差模块；所述第二阶段网络包括第二下采样单元和第二残 差单元，所述第二下采样单元用于对待处理的视频背景人像进行8倍下 采样，获取待处理的视频背景人像1/8尺寸的低分辨率特征图，并对低 分辨率特征进行提取，所述第二残差单元用于对所述第二下采样单元输 出的低分辨率特征图进行多次卷积操作，将所述第二下采样单元输出的 低分辨率特征图的通道数扩展为36，获取第二高分辨率特征图，并对高 分辨率特征进行提取，所述第二残差单元采用1个basicblock残差模块； 所述第三阶段网络包括第三下采样单元和第三残差单元，所述第三下采 样单元用于对待处理的视频背景人像进行16倍下采样，获取待处理的视 频背景人像1/16尺寸的低分辨率特征图，并对低分辨率特征进行提取， 所述第三残差单元用于对所述第三下采样单元输出
的低分辨率特征图进 行多次卷积操作，将所述第二下采样单元输出的低分辨率特征图的通道 数扩展为72，获取第三高分辨率特征图，并对高分辨率特征进行提取， 所述第三残差单元采用4个basicblock残差模块；所述第四阶段网络包 括第四下采样单元和第四残差单元，所述第四下采样单元用于对待处理 的视频背景人像进行32倍下采样，获取待处理的视频背景人像1/32尺 寸的低分辨率特征图，并对低分辨率特征进行提取，所述第四残差单元 用于对所述第四下采样单元输出的低分辨率特征图进行多次卷积操作， 将所述第四下采样单元输出的低分辨率特征图的通道数扩展为144，获取 第四高分辨率特征图，并对低分辨率特征进行提取，所述第四残差单元 采用3个basicblock残差模块。
49.在本实施例中，所述第一阶段网络、第二阶段网络、第三阶段网络 和第四阶段网络的输出通道分别为c、2c、4c和8c。
50.如图3所示，所述bottleneck残差模块的宽度参数为64，所述 bottleneck残差模块包括第一1
×
1卷积层、3
×
3卷积层和第二1
×
1卷 积层，所述第一1
×
1卷积层、所述3
×
3卷积层和所述第二1
×
1卷积层 后均包含bn层和relu函数。
51.进一步地，所述basicblock残差模块包括第一3
×
3卷积层和第二3
ꢀ×
3卷积层，所述第一3
×
3卷积层和所述第二3
×
3卷积层后均bn层和 relu函数。
52.如图4所示，本发明还提供一种基于点渲染的视频背景人像分割算 法，应用于如上所述的基于点渲染的视频背景人像分割模型进行处理， 包括：
53.步骤s1：通过backbone网络模块对待处理的视频背景人像进行初步 特征提取，获取多个尺度的低分辨率特征图和多个尺度的高分辨率特征 图；
54.步骤s2：通过多尺度特征融合模块对所述backbone网络模块输出的 高分辨率特征进行特征聚合后，对低分辨率特征进行上采样特征填充， 并将经过上采样处理的低分辨率特征与特征聚合后的高分辨率特征进行 融合，获取检测对象；
55.步骤s3：通过分割预测模块为所述多尺度特征融合模块输出的检测 对象生成一个粗略的mask预测；
56.步骤s4：通过基于点渲染的神经网络模块采用迭代细分算法进行分 割预测，得到细粒度的mask。
57.如图5所示，所述通过多尺度特征融合模块对所述backbone网络模 块输出的高分辨率特征进行特征聚合后，对低分辨率特征进行上采样特 征填充，并将经过上采样处理的低分辨率特征与特征聚合后的高分辨率 特征进行融合，获取检测对象包括：
58.步骤s21：采用1个或若干个步长为2的3
×
3卷积层对所述 backbone网络模块输出的各个高分辨率特征图进行下采样操作，使得各 个高分辨率特征图与对应的低分辨率特征图尺寸相同，将经过下采样操 作变换处理的高分辨率特征图的特征进行聚合；
59.步骤s22：采用1个或若干个3
×
3卷积层对所述backbone网络模 块输出的各个低分辨率特征图进行上采样操作，使得各个低分辨率特征 图与对应的高分辨率特征图尺寸相同，并通过1
×
1卷积层对经过上采样 操作的低分辨率特征图进行恒等映射，以及按照特征通道对低分辨率特 征图的特征与聚合处理后的高分辨率特征进行融合；
60.步骤s23：输出融合结果。
61.如图6所示，所述通过分割预测模块为所述多尺度特征融合模块输 出的检测对象生成一个粗略的mask预测包括：
62.步骤s31：通过pointrend网络在所述多尺度特征融合模块输出的 检测对象中选择一组点；
63.步骤s32：通过小型多层感知机对每个点进行独立的预测；
64.步骤s33：通过细分遮罩渲染算法对独立预测过程进行迭代，通过细 粒度图像识别算法粗预测检测对象的mask。
65.在本实施例中，小型多层感知机mlp采用细粒度特征图粗预测mask， 在这些点计算的插值特征来作为输入，粗粒度的mask功能使小型多层感 知机mlp能够在包含两个或多个框的单个点上进行不同的预测，在该过 程中迭代应用细分遮罩渲染算法，以细化预测mask的不确定区域。
66.如图7所示，所述通过基于点渲染的神经网络模块采用迭代细分算 法进行分割预测，得到细粒度的mask包括：
67.步骤s41：将所述多尺度特征融合模块输出的融合结果输入至 pointrend网络；
68.步骤s42：将所述分割预测模块输出的mask作为粗预测，经 pointrend网络处理采用迭代细分算法自适应选择的位置执行点进行分割 预测，得到细粒度的mask。
69.在本实施例中，基于点渲染的神经网络模块选择少量真实值点进行 预测，避免对高分辨率输出网格中的所有像素进行过度计算，对于每个 选定的点，提取逐点特征表示。真实值点的特征通过特征图的双线性插 值计算，使用点在特征图的规则网格上的4个最近邻点，结果，它能够 利用在特征图的通道维度中编码的子像素信息来预测具有比特征图更高 的分辨率的分割。
70.在本实施例中，pointrend网络处理采用迭代细分算法进行迭代运算 过程中，pointrend网络使用双线性插值算法对上一次预测的分割结果进 行上采样，然后在这个密度更大的网格上选择n个最不确定的点，例如， 选择对于二值预测获取的概率接近0.5的点，然后，pointrend网络为这 n个点中的每一个点计算点特征表示，并预测每一个点的标签，重复以上 过程，直到分割至上采样到所需的分辨率。
71.如图8所示，展示了在不同场景下对视频图像人像分割的效果图， 可以看出本发明提供的方案可在不同复杂场景下，精确分割人像主体， 并进行边缘精细化。
72.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对 于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在 本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应 包含在本发明的保护范围之内。
技术特征：1.一种基于点渲染的视频背景人像分割模型，其特征在于，包括：backbone网络模块、多尺度特征融合模块、分割预测模块和基于点渲染的神经网络模块；所述backbone网络模块用于对待处理的视频背景人像进行初步特征提取，获取多个尺度的低分辨率特征和多个尺度的高分辨率特征；所述多尺度特征融合模块用于对所述backbone网络模块输出的高分辨率特征进行特征聚合后，对低分辨率特征进行上采样特征填充，并将经过上采样处理的低分辨率特征与特征聚合后的高分辨率特征进行融合，获取检测对象；所述分割预测模块用于为所述多尺度特征融合模块输出的检测对象生成一个粗略的mask预测；所述基于点渲染的神经网络模块用于采用迭代细分算法进行分割预测，得到细粒度的mask。2.根据权利要求1所述的基于点渲染的视频背景人像分割模型，其特征在于，所述backbone网络模块主体包含第一阶段网络、第二阶段网络、第三阶段网络和第四阶段网络，所述第一阶段网络包括第一下采样单元和第一残差单元，所述第一下采样单元用于对待处理的视频背景人像进行4倍下采样，获取待处理的视频背景人像1/4尺寸的低分辨率特征图，并对低分辨率特征进行提取，所述第一残差单元用于对所述第一下采样单元输出的低分辨率特征图进行多次卷积操作，将所述第一下采样单元输出的低分辨率特征图的通道数扩展为18，获取第一高分辨率特征图，并对高分辨率特征进行提取，所述第一残差单元采用4个bottleneck残差模块；所述第二阶段网络包括第二下采样单元和第二残差单元，所述第二下采样单元用于对待处理的视频背景人像进行8倍下采样，获取待处理的视频背景人像1/8尺寸的低分辨率特征图，并对低分辨率特征进行提取，所述第二残差单元用于对所述第二下采样单元输出的低分辨率特征图进行多次卷积操作，将所述第二下采样单元输出的低分辨率特征图的通道数扩展为36，获取第二高分辨率特征图，并对高分辨率特征进行提取，所述第二残差单元采用1个basicblock残差模块；所述第三阶段网络包括第三下采样单元和第三残差单元，所述第三下采样单元用于对待处理的视频背景人像进行16倍下采样，获取待处理的视频背景人像1/16尺寸的低分辨率特征图，并对低分辨率特征进行提取，所述第三残差单元用于对所述第三下采样单元输出的低分辨率特征图进行多次卷积操作，将所述第二下采样单元输出的低分辨率特征图的通道数扩展为72，获取第三高分辨率特征图，并对高分辨率特征进行提取，所述第三残差单元采用4个basicblock残差模块；所述第四阶段网络包括第四下采样单元和第四残差单元，所述第四下采样单元用于对待处理的视频背景人像进行32倍下采样，获取待处理的视频背景人像1/32尺寸的低分辨率特征图，并对低分辨率特征进行提取，所述第四残差单元用于对所述第四下采样单元输出的低分辨率特征图进行多次卷积操作，将所述第四下采样单元输出的低分辨率特征图的通道数扩展为144，获取第四高分辨率特征图，并对低分辨率特征进行提取，所述第四残差单元采用3个basicblock残差模块。3.根据权利要求1所述的基于点渲染的视频背景人像分割模型，其特征在于，所述bottleneck残差模块的宽度参数为64，所述bottleneck残差模块包括第一1
×
1卷积层、3
×
3卷积层和第二1
×
1卷积层，所述第一1
×
1卷积层、所述3
×
3卷积层和所述第二1
×
1卷积层
后均包含bn层和relu函数。4.根据权利要求1所述的基于点渲染的视频背景人像分割模型，其特征在于，所述basicblock残差模块包括第一3
×
3卷积层和第二3
×
3卷积层，所述第一3
×
3卷积层和所述第二3
×
3卷积层后均bn层和relu函数。5.一种基于点渲染的视频背景人像分割算法，应用于如权利要求1-4中任一项所述的基于点渲染的视频背景人像分割模型进行处理，其特征在于，包括：步骤s1：通过backbone网络模块对待处理的视频背景人像进行初步特征提取，获取多个尺度的低分辨率特征图和多个尺度的高分辨率特征图；步骤s2：通过多尺度特征融合模块对所述backbone网络模块输出的高分辨率特征进行特征聚合后，对低分辨率特征进行上采样特征填充，并将经过上采样处理的低分辨率特征与特征聚合后的高分辨率特征进行融合，获取检测对象；步骤s3：通过分割预测模块为所述多尺度特征融合模块输出的检测对象生成一个粗略的mask预测；步骤s4：通过基于点渲染的神经网络模块采用迭代细分算法进行分割预测，得到细粒度的mask。6.根据权利要求5所述的基于点渲染的视频背景人像分割算法，其特征在于，所述通过多尺度特征融合模块对所述backbone网络模块输出的高分辨率特征进行特征聚合后，对低分辨率特征进行上采样特征填充，并将经过上采样处理的低分辨率特征与特征聚合后的高分辨率特征进行融合，获取检测对象包括：步骤s21：采用1个或若干个步长为2的3
×
3卷积层对所述backbone网络模块输出的各个高分辨率特征图进行下采样操作，使得各个高分辨率特征图与对应的低分辨率特征图尺寸相同，将经过下采样操作变换处理的高分辨率特征图的特征进行聚合；步骤s22：采用1个或若干个3
×
3卷积层对所述backbone网络模块输出的各个低分辨率特征图进行上采样操作，使得各个低分辨率特征图与对应的高分辨率特征图尺寸相同，并通过1
×
1卷积层对经过上采样操作的低分辨率特征图进行恒等映射，以及按照特征通道对低分辨率特征图的特征与聚合处理后的高分辨率特征进行融合；步骤s23：输出融合结果。7.根据权利要求5所述的基于点渲染的视频背景人像分割算法，其特征在于，所述通过分割预测模块为所述多尺度特征融合模块输出的检测对象生成一个粗略的mask预测包括：步骤s31：通过pointrend网络在所述多尺度特征融合模块输出的检测对象中选择一组点；步骤s32：通过小型多层感知机对每个点进行独立的预测；步骤s33：通过细分遮罩渲染算法对独立预测过程进行迭代，通过细粒度图像识别算法粗预测检测对象的mask。8.根据权利要求5所述的基于点渲染的视频背景人像分割算法，其特征在于，所述通过基于点渲染的神经网络模块采用迭代细分算法进行分割预测，得到细粒度的mask包括：步骤s41：将所述多尺度特征融合模块输出的融合结果输入至pointrend网络；步骤s42：将所述分割预测模块输出的mask作为粗预测，经pointrend网络处理采用迭代细分算法自适应选择的位置执行点进行分割预测，得到细粒度的mask。
技术总结本发明公开了一种基于点渲染的视频背景人像分割模型，涉及视频图像处理技术领域，包括：Backbone网络模块、多尺度特征融合模块、分割预测模块和基于点渲染的神经网络模块，Backbone网络模块用于对待处理的视频背景人像进行初步特征提取，多尺度特征融合模块用于进行特征融合，获取检测对象，分割预测模块用于为检测对象生成一个粗略的mask预测，基于点渲染的神经网络模块用于进行分割预测，还公开了一种基于点渲染的视频背景人像分割算法，本发明采用深度学习PyTorch框架搭建基于点渲染的视频背景人像分割模型，通过搭建的模型针对人物视频和图片生成精细边界细节的mask，能够快速准确对人像视频进行人像主体分割，从而进一步对视频处理，达到优良的视觉处理效果。达到优良的视觉处理效果。达到优良的视觉处理效果。
技术研发人员：张笑钦 徐航 林盛 黎敏 周杰 陈熙祥
受保护的技术使用者：温州大学
技术研发日：2022.06.20
技术公布日：2022/11/1
