1.本技术涉及图像处理技术领域，特别是涉及一种目标部件检测方法、模型的训练方法及装置。
背景技术：2.为了能够进一步分析目标状态，更精细的做法是对目标部件进行检测，目标部件包括但不限于：头、脸、肩、上半身、躯干、四肢等，这种密集型的目标部件检测也带来了一些问题，诸如标注困难等。
技术实现要素：3.本技术提供一种目标部件检测方法、模型的训练方法及装置，可以减轻标注负担，从而减轻标注困难的问题。
4.为达到上述目的，本技术提供一种目标部件检测模型的训练方法，该方法包括：
5.获得训练集；其中，目标部件包括密集标注部件和稀疏标注部件，训练集中的密集标注部件是以密集标注的方式进行标注的，稀疏标注部件是以稀疏标注的方式进行标注的；
6.利用训练集训练初始目标部件检测模型得到中间模型，以使中间模型具有检测密集标注部件的能力；
7.基于训练集中稀疏标注部件数据对中间模型的参数进行调整，得到训练后的目标部件检测模型。
8.其中，利用训练集训练初始目标部件检测模型得到中间模型，以使中间模型具有检测密集标注部件的能力，包括：
9.复制初始目标部件检测模型，得到至少两个复制模型；
10.利用每一复制模型对应的密集标注部件数据训练每一复制模型，得到至少两个训练后的复制模型；其中，不同的复制模型对应着不同的密集标注部件；
11.基于至少两个训练后的复制模型，更新初始目标部件检测模型中的参数；
12.若更新后的初始目标检测模型未收敛，返回执行复制初始目标部件检测模型，得到至少两个复制模型的步骤；
13.若更新后的初始目标检测模型收敛，将更新后的初始目标检测模型作为中间模型。
14.为达到上述目的，本技术提供一种目标部件检测方法，该方法包括：
15.获取待检测图像；
16.基于目标部件检测模型对待检测图像进行目标部件检测，目标部件检测模型是通过训练集中的密集标注部件数据和稀疏标注部件数据训练而成的。
17.其中，基于目标部件检测模型对待检测图像进行目标部件检测，之后包括：
18.基于目标的不同部件之间的关系，对目标部件检测结果进行校正，得到最终的目
标部件检测结果。
19.其中，目标部件检测模型包括区域提取网络和第一关系网络；
20.基于目标部件检测模型对待检测图像进行目标部件检测，包括：
21.利用区域提取网络提取多个建议区域的特征；
22.利用第一关系网络对多个建议区域的特征进行处理，以得到目标部件检测结果；
23.基于目标的不同部件之间的关系，对目标部件检测结果进行校正，得到最终的目标部件检测结果，包括：
24.利用第一关系网络，基于目标的不同部件之间的关系，对目标部件检测结果进行校正，得到最终的目标部件检测结果。
25.其中，基于目标的不同部件之间的关系，对目标部件检测结果进行校正，得到最终的目标部件检测结果，包括：
26.利用第二关系网络对目标部件检测结果进行处理，得到表示两两部件之间依赖关系的部件关系特征图和各个目标部件的最终检测框；
27.其中，第二关系网络是基于检测框损失和依赖关系损失训练得到的。
28.其中，基于上述的训练方法训练得到的目标部件检测模型对待检测图像进行目标部件检测，包括：
29.对待检测图像进行目标检测；
30.从待检测图像分离出各个目标的图像；
31.基于上述的训练方法训练得到的目标部件检测模型对每个目标的图像进行目标部件检测。
32.为达到上述目的，本技术还提供一种电子设备，该电子设备包括处理器；处理器用于执行指令以实现上述方法。
33.为达到上述目的，本技术还提供一种计算机可读存储介质，其用于存储指令/程序数据，指令/程序数据能够被执行以实现上述方法。
34.本技术先获得训练集，该训练集中目标的部分部件是以密集标注的方式进行标注的，剩余部分部件是以稀疏标注的方式进行标注的；接着利用训练集训练目标部件检测模型检测密集标注部件的能力而得到中间模型；然后基于训练集中稀疏标注部件数据对中间模型进行微调；通过先训练目标部件检测模型检测密集标注部件的能力，可以使得目标部件检测模型能够学习到元知识；对于其他未训练的部件仅需要少量标记数据对学习到元知识的目标部件检测模型进行微调，就能使目标部件检测模型能够很好地检测稀疏标注部件；如此在目标的部件较多且较密集的情况下，可以以密集标注的方式标注部分部件，剩余部件以稀疏标注的方式进行标注即可，在一定程度上可以减轻标注负担，增加了系统的可扩展性。
附图说明
35.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
36.图1是本技术目标部件检测模型的训练方法一实施方式的流程示意图；
37.图2是本技术目标部件检测方法另一实施方式的示意图；
38.图3是本技术电子设备一实施方式的结构示意图；
39.图4是本技术计算机可读存储介质一实施方式的结构示意图。
具体实施方式
40.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。另外，除非另外指明(例如，“或另外”或“或在替代方案中”)，否则如本文所使用的术语“或”指代非排他性的“或”(即，“和/或”)。并且，本文所描述的各种实施例不一定相互排斥，因为一些实施例可以与一个或多个其它实施例组合以形成新的实施例。
41.具体如图1和图2所示，本实施方式的目标部件检测模型的训练方法包括以下步骤。需要注意的是，以下步骤编号仅用于简化说明，并不旨在限制步骤的执行顺序，本实施方式的各步骤可以在不违背本技术技术思想的基础上，任意更换执行顺序。
42.s101：获得训练集。
43.可以先获得训练集，该训练集中目标的部分部件是以密集标注的方式进行标注的，剩余部分部件是以稀疏标注的方式进行标注的；如此后续可以先利用训练集训练目标部件检测模型检测密集标注部件的能力而得到中间模型；然后基于训练集中稀疏标注部件数据对中间模型进行微调；通过先训练目标部件检测模型检测密集标注部件的能力，可以使得目标部件检测模型能够学习到元知识；对于其他未训练的部件仅需要少量标记数据对学习到元知识的目标部件检测模型进行微调，就能使目标部件检测模型能够很好地检测稀疏标注部件；如此在目标的部件较多且较密集的情况下，可以以密集标注的方式标注部分部件，剩余部件以稀疏标注的方式进行标注即可，在一定程度上可以减轻标注负担，增加了系统的可扩展性。
44.其中，目标可以是人、宠物等，在此不做限制。
45.为提高标注效率，可以对容易标注的部件进行密集标注，例如躯干、头部、四肢等；对难以标注的类别进行稀疏标注，例如头部、脚部、脸部等；如此利用本技术目标部件检测模型的训练方法在难以标注的部件上进行小样本学习的同时能够获得较好的效果，可以极大地减轻标注的负担，从而解决目标部件标注困难的问题。
46.其中，若某一部件是以密集标注的方式进行标注的，那会对训练集中的至少大部分训练图像中的该部件进行标注，以便获得较多的密集标注部件的标注图像数据。较为优选的是，若某一部件是密集标注部件，则训练集中的所有训练图像中的该部件均已标注，以便后续确定每一密集标注部件的支持集和查询集。
47.若某一部件是以稀疏标注的方式进行标注的，即某一部件是稀疏标注部件，则会对训练集中小部分训练图像中的该部件进行标注，即训练集中标注过稀疏标注部件的图像的占比相对较少，例如可为20％或30％。
48.s102：利用训练集训练初始目标部件检测模型得到中间模型，以使中间模型具有检测密集标注部件的能力。
49.获取到训练集后，可以先利用训练集训练目标部件检测模型检测密集标注部件的
能力而得到中间模型，以使目标部件检测模型能够有效地学习到元知识，以便后续基于训练集中稀疏标注部件数据对中间模型进行微调训练，就可使目标部件检测模型具有检测稀疏标注部件的能力。
50.在步骤s102中，若密集标注部件为多个，可以复制目标部件检测模型，得到至少两个复制模型；然后利用训练集的至少部分数据训练每一复制模型检测每一复制模型对应的密集标注部件的能力，得到至少两个训练后的复制模型；其中，不同的复制模型对应着不同的密集标注部件；基于至少两个训练后的复制模型，更新目标部件检测模型的参数。其中，每一复制模型可仅对应一密集标注部件。而复制模型的数量可以等同于或小于密集标注部件的数量。
51.其中，基于至少两个训练后的复制模型，更新目标部件检测模型的参数的步骤可以包括：测试每一训练后的复制模型并计算每一训练后的复制模型的损失，通过所有训练后的复制模型的损失计算总损失，根据总损失更新所述目标部件检测模型的参数。
52.进一步地，可以执行至少一次参数更新过程，每次参数更新过程包括复制目标部件检测模型、利用训练集的至少部分数据训练每一复制模型检测每一复制模型对应的密集标注部件的能力、以及基于至少两个训练后的复制模型，更新目标部件检测模型的步骤，直至目标部件检测模型收敛。其中，可通过总损失是否小于损失阈值判断目标部件检测模型是否收敛。而所有次参数更新过程中的所有复制模型对应的密集标注部件交集为所有密集标注部件，如此通过上述的至少一次参数更新过程可以训练目标部件检测模型检测所有密集标注部件的能力。另外，不同次参数更新过程各自的复制模型对应的密集标注部件交集可不相同或相同，具体在此不做限定。
53.示例性地，密集标注部件总数为m，步骤s102的具体过程可为：
54.(1)初始化目标部件检测模型参数；
55.(2)对m类密集标注部件的标注图像数据进行采样，构建包含k个任务的任务组，任务组里面每一个任务有各自的支持集和查询集；
56.(3)为任务组里面每一个任务临时复制目标部件检测模型而得到一个复制模型，使用支持集训练，得到k个不同参数的模型，期间参数更新只作用在复制模型中，不作用于目标部件检测模型；
57.(4)在复制出的复制模型上，使用查询集计算总loss，总损失的计算公式可为；其中，为第n个复制模型的损失；
58.(5)根据梯度更新一次目标部件检测模型。
59.(6)循环(2)-(5)这几个步骤，得到最终的目标部件检测模型。
60.s103：基于训练集中稀疏标注部件数据对中间模型的参数进行调整，得到训练后的目标部件检测模型。
61.得到具有检测密集标注部件能力的中间模型后，可以基于训练集中稀疏标注部件数据对中间模型进行微调训练，以得到训练后的目标部件检测模型，如此训练后的目标部件检测模型既具有检测密集标注部件的能力又具有检测稀疏标注部件的能力。
62.其中，可以利用常规的训练方法对中间模型进行微调，具体在此不做限制。
63.在稀疏标注部件的数量为多个时，可以利用多种稀疏标注部件的标注图像数据依次对中间模型进行微调训练。示例性地，假设稀疏标注部件包括手、脚和脸；可以先用手的
标注图像数据对中间模型进行微调训练，使得中间模型具有检测手的能力；接着用脚的标注图像数据对第一微调后的中间模型进行微调训练，使得中间模型具有检测脚的能力；接着用脸的标注图像数据对第二次微调后的中间模型进行微调训练，使得中间模型具有检测脸的能力，得到训练后的目标部件检测模型。
64.在其他实现方式中，可以用多种稀疏标注部件的标注图像数据同时训练中间模型检测多种稀疏标注部件的能力。
65.基于上述训练方法训练得到目标部件检测模型后，可以利用训练后的目标部件检测模型进行目标部件检测。如图2所示，目标部件检测方法可以包括以下步骤。需要注意的是，以下步骤编号仅用于简化说明，并不旨在限制步骤的执行顺序，本实施方式的各步骤可以在不违背本技术技术思想的基础上，任意更换执行顺序。
66.s201：获取待检测图像。
67.可以通过相机采集而获得待检测图像。
68.其中，相机的安装方式不受限制，例如可为顶装或斜装。当然具体可以根据实际场景采用不同的安装方式，例如对于安装高度大于h(2.5)米的推荐相机斜装，小于h(2.5)米的推荐相机顶装，以使得相机能够尽量拍到人员的全身，以便之后的姿态检测，得到监控视频后进行分析。另外，在监控视频画面中可选择规则区域，表示跟踪系统要检测的区域，规则区域允许多边形，即用户可在某一场景中选取自己感兴趣的部分场景。
69.相机的结构也不受限制，例如可为枪机、球机、全景相机等。
70.s202：基于目标部件检测模型对待检测图像进行目标部件检测。
71.获取待检测图像后，可以利用目标部件检测模型对待检测图像进行目标部件检测。
72.目标部件检测模型可以是通过训练集中的密集标注部件数据和稀疏标注部件数据训练而成的。即目标部件包括密集标注部件和稀疏标注部件。训练集中的密集标注部件是以密集标注的方式进行标注的，稀疏标注部件是以稀疏标注的方式进行标注的。
73.可选地，对待检测图像进行目标部件检测而得到目标部件检测结果后，可以基于目标的不同部件之间的关系，对目标部件检测结果进行校正，而得到部件之间关系合理的目标部件检测结果，以排除掉关系不合理的部件，从而减少部件漏检和多检问题。
74.其中，不同部件之间的关系可以包括部件存在关系、和/或不同部件之间的位置关系等。其中，存在关系可以包括两个部件之间是否必须同时存在等关系。
75.在一实现方式中，目标部件检测模型可包括区域提取网络和第一关系网络；其中，可通过区域提取网络提取多个建议区域的特征；然后利用第一关系网络对多个建议区域的特征进行处理，以得到目标部件检测结果；并且第一关系网络还可用于基于目标的不同部件之间的关系，对目标部件检测结果进行校正，得到最终的目标部件检测结果。
76.具体地，区域提取网络可以输出n个建议区域，且可对每一个区域提取其几何特征和内容特征，并可将特征进行拼接后送入第一关系网络。其中，几何特征通过边框的中心点以及四角坐标计算，内容特征通过cnn提取。
77.而第一关系网络可基于注意力机制构成，其用来建立任意部件之间的关系。第一关系网络还可基于任意部件之间的关系对目标部件检测结果进行校正。其中，第一关系网络的输入是区域提取网络的输出，输出可为注意力图；后续可对第一关系网络的输出做目
标分类和边框回归，以得到最终的目标部件检测结果。
78.可选地，第一关系网络可以堆叠多个。其中，两个第一关系网络之间可用全连接层或者卷积层相连。
79.在另一实现方式中，可利用上述训练方法训练后的目标部件检测模型并基于待检测图像进行目标部件检测，以得到待检测图像的目标部件检测结果；然后可以利用第二关系网络对目标部件检测模型输出的目标部件检测结果进行处理，以得到表示两两部件之间依赖关系的部件关系特征图和各个目标部件的最终检测框。
80.在利用第二关系网络对目标部件检测模型输出的目标部件检测结果进行处理之前，可以基于检测框损失和部件关系特征图中的依赖关系损失对第二关系网络进行训练，以使得第二关系网络具有校正部件之间关系(例如部件存在关系)的能力，例如一个躯干有且只有一个头部检测框，并使得第二关系网络能够输出准确的部件检测框。其中，可以用交叉熵损失函数、平方误差损失函数或其他损失函数计算第二关系网络的依赖关系损失，在此不做限制。其中，计算依赖关系损失时，两部件依赖关系的真值可根据实际情况进行设定，例如部件a与部件b一定同时出现则为1，否则为0。
81.其中，第二关系网络可同样基于注意力机制构成。
82.另外，利用上述训练方法训练得到的目标部件检测模型对待检测图像进行目标部件检测的步骤可以包括：对待检测图像进行目标检测；从待检测图像分离出各个目标的图像；基于上述训练方法训练得到的目标部件检测模型对每个目标的图像进行目标部件检测，如此将目标部件检测分解为目标检测和目标部件检测，能够提高召回率，且在目标密集场景中，对小尺寸的目标部件检出有较大提升，并且可将目标检测作为过滤手段可以一定程度上减少误检。
83.可以通过yolo、rcnn、centernet等目标检测器对待检测图像进行目标检测。
84.而且，在从待检测图像分离出各个目标的图像的步骤中，可以对目标检测的结果中置信度高(例如置信度大于0.85或0.9)的目标结果进行抠图，然后可将抠得的目标小图缩放到合适大小，还可对目标小图进行插值、去噪和/或平滑等预处理，以得到各个目标的图像，如此通过排除掉置信度低的目标保证目标检测准确度而避免误检，并且通过对目标小图进行预处理提高目标图像质量，可以提高后续目标部件检测的准确度。
85.另外，通过以目标检测和目标部件检测两步法检测到目标部件检测结果后，还可以基于目标的不同部件之间的关系，对目标部件检测结果进行校正，如此在目标图像仅有一个目标的情况下，部件之间的关系更加确定，如此利用目标的不同部件之间的关系能够得到更加准确的目标部件检测结果。
86.请参阅图3，图3是本技术电子设备20一实施方式的结构示意图。本技术电子设备20包括处理器22，处理器22用于执行指令以实现本技术上述任一实施方式的方法及任意不冲突的组合所提供的方法。
87.处理器22还可以称为cpu(central processing unit，中央处理单元)。处理器22可能是一种集成电路芯片，具有信号的处理能力。处理器22还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器，或者该处理器22也可以是任何常规的处理器等。
88.电子设备20还可进一步包括存储器21，用于存储处理器22运行所需的指令和数据。
89.请参阅图4，图4为本技术实施方式中计算机可读存储介质的结构示意图。本技术实施例的计算机可读存储介质30存储有指令/程序数据31，该指令/程序数据31被执行时实现本技术上述方法任一实施例以及任意不冲突的组合所提供的方法。其中，该指令/程序数据31可以形成程序文件以软件产品的形式存储在上述存储介质30中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质30包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等设备。
90.在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
91.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
92.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
93.以上仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。
技术特征：1.一种目标部件检测模型的训练方法，其特征在于，所述方法包括：获得训练集；其中，目标部件包括密集标注部件和稀疏标注部件，所述训练集中的所述密集标注部件是以密集标注的方式进行标注的，所述稀疏标注部件是以稀疏标注的方式进行标注的；利用所述训练集训练初始目标部件检测模型得到中间模型，以使所述中间模型具有检测所述密集标注部件的能力；基于所述训练集中稀疏标注部件数据对所述中间模型的参数进行调整，得到训练后的目标部件检测模型。2.根据权利要求1所述的训练方法，其特征在于，所述利用所述训练集训练初始目标部件检测模型得到中间模型，以使所述中间模型具有检测所述密集标注部件的能力，包括：复制所述初始目标部件检测模型，得到至少两个复制模型；利用每一复制模型对应的密集标注部件数据训练所述每一复制模型，得到至少两个训练后的复制模型；其中，不同的复制模型对应着不同的密集标注部件；基于至少两个训练后的复制模型，更新所述初始目标部件检测模型中的参数；若更新后的初始目标检测模型未收敛，返回执行所述复制所述初始目标部件检测模型，得到至少两个复制模型；若所述更新后的初始目标检测模型收敛，将所述更新后的初始目标检测模型作为所述中间模型。3.一种目标部件检测方法，其特征在于，所述方法包括：获取待检测图像；基于目标部件检测模型对所述待检测图像进行目标部件检测，所述目标部件检测模型是通过训练集中的密集标注部件数据和稀疏标注部件数据训练而成的。4.根据权利要求3所述的检测方法，其特征在于，所述基于目标部件检测模型对所述待检测图像进行目标部件检测，之后包括：基于目标的不同部件之间的关系，对目标部件检测结果进行校正，得到最终的目标部件检测结果。5.根据权利要求4所述的检测方法，其特征在于，所述目标部件检测模型包括区域提取网络和第一关系网络；所述基于目标部件检测模型对所述待检测图像进行目标部件检测，包括：利用所述区域提取网络提取多个建议区域的特征；利用所述第一关系网络对多个建议区域的特征进行处理，以得到所述目标部件检测结果；所述基于目标的不同部件之间的关系，对目标部件检测结果进行校正，得到最终的目标部件检测结果，包括：利用所述第一关系网络，基于目标的不同部件之间的关系，对目标部件检测结果进行校正，得到最终的目标部件检测结果。6.根据权利要求4所述的检测方法，其特征在于，所述基于目标的不同部件之间的关系，对目标部件检测结果进行校正，得到最终的目标部件检测结果，包括：利用第二关系网络对所述目标部件检测结果进行处理，得到表示两两部件之间依赖关
系的部件关系特征图和各个目标部件的最终检测框；其中，所述第二关系网络是基于检测框损失和依赖关系损失训练得到的。7.根据权利要求3所述的检测方法，其特征在于，所述基于目标部件检测模型对所述待检测图像进行目标部件检测，包括：对所述待检测图像进行目标检测；从所述待检测图像分离出各个目标的图像；基于所述目标部件检测模型对每个目标的图像进行目标部件检测。8.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器用于执行指令以实现权利要求1-7中任一项所述的方法。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令/程序数据，所述指令/程序数据用于被执行以实现权利要求1-7中任一项所述的方法。
技术总结本申请公开了一种目标部件检测方法、模型的训练方法及装置。其中，该目标部件检测模型的训练方法包括：获得训练集；其中，目标部件包括密集标注部件和稀疏标注部件，训练集中的密集标注部件是以密集标注的方式进行标注的，稀疏标注部件是以稀疏标注的方式进行标注的；利用训练集训练初始目标部件检测模型得到中间模型，以使中间模型具有检测密集标注部件的能力；基于训练集中稀疏标注部件数据对中间模型的参数进行调整，得到训练后的目标部件检测模型。本申请可以减轻标注负担和标注困难的问题。题。题。
技术研发人员：周经纬 李中振 巩海军 于润润 潘华东
受保护的技术使用者：浙江大华技术股份有限公司
技术研发日：2022.06.30
技术公布日：2022/11/1
