1.本技术实施例涉及数据处理的技术领域，具体而言，涉及一种包围框级的主动学习目标检测方法、装置和存储介质。
背景技术：2.目标检测技术，通常是指在一张图像中检测出物体出现的位置及对应的类别，在计算机视觉众多的技术领域中，目标检测也是一项非常基础的任务，图像分割、物体追踪、关键点检测等通常都要依赖于目标检测；在基于机器学习的目标检测算法中，通常需要大量携带有人工标记作为标签的图像作为训练样本，因此人工标记的成本非常大。
3.主动学习作为一种可以有效降低人工标记成本的方法已经受到越来越多的关注。相比于对所有样本提供完整的人工标记，主动学习可以筛选出值得被标记的对象供人工标记，并筛掉信息冗余或离群的干扰样本，进而以更低的成本达到同样或更佳的模型效果。
4.目前基于主动学习的目标检测算法以单张图像作为计算成本单位进行人工标记，即主动学习筛选出的候选标记对象仍然是图像，需要对被选中的图像进行详尽标记，即对被选中的图像中包含的所有目标都进行标记，但实际上，被选中的图像中并非所有的目标都具有被标记的价值，若以图像为单位进行详尽标记，其标记成本仍然较大。
技术实现要素：5.本技术实施例提供一种包围框级的主动学习目标检测方法、装置和存储介质，旨在降低目标检测时的标记成本。
6.第一方面，本技术实施例提供一种包围框级的主动学习目标检测方法，所述方法包括：
7.获取有标数据集中的完全标记数据集，其中，所述完全标记数据集中的每个图像中的每个目标均携带有标记的包围框；
8.基于所述完全标记数据集，对目标检测模型进行全监督训练；
9.利用训练得到的所述目标检测模型对未标记数据集进行预测，确定所述未标记数据集中每张图像中的每个目标对应的预测包围框的不确定度；
10.按照所述不确定度递减的顺序，对所述未标记数据集中的所有目标进行排序，对排序在前的预设数量的目标添加标记的包围框，并利用添加有标记的包围框的目标所在的所有图像，更新所述有标数据集中的部分标记数据集；
11.根据所述有标数据集，对所述目标检测模型继续进行混合监督训练，并更新所述目标检测模型的模型参数。
12.可选地，所述目标检测模型的训练过程与所述部分标记数据集的更新过程交替迭代进行，直到所述目标检测模型达到预设训练状态，或标记次数达到预算数量。
13.可选地，在所述目标检测模型的训练过程与所述部分标记数据集的更新过程交替迭代进行的过程中：
14.在所述目标监测模型训练完毕后，对所述未标记数据集和所述部分标记数据集均进行预测，从所述未标记数据集和所述部分标记数据集中筛选目标添加标记的包围框，其中，所述未标记数据集中的所有目标均不携带标记的包围框。
15.可选地，在所述目标监测模型训练完毕后，对所述部分标记数据集进行预测时，所述方法还包括：
16.若所述部分标记数据集中任一目标的预测包围框与标记的包围框的重叠度大于重叠阈值时，滤除该目标的预测包围框；
17.确定剩余的每个目标对应的预测包围框的不确定度。
18.可选地，确定所述每个目标对应的预测包围框的不确定度的过程为：
19.选择所述预测包围框对应的多个类别的置信度中最大的置信度，根据所述最大的置信度，确定所述每个目标对应的预测包围框的不确定度。
20.可选地，确定所述每个目标对应的预测包围框的不确定度的计算公式为：
[0021][0022]
式中，pk(y＝c)为第k个目标的预测包围框的多个类别的置信度；c为类别；θ
t
为所述目标检测模型第t次训练得到的模型参数。
[0023]
可选地，更新所述有标数据集中的部分标记数据集之后，所述方法还包括：
[0024]
若所述部分标记数据集中，所述目标的预测包围框的多个类别的置信度中，任意一个类别的置信度大于置信度阈值，且该目标的预测包围框与任一标记的包围框的重叠度低于重合度阈值时，为该目标添加伪标签，其中，该目标对应的预测包围框表征所述伪标签的位置信息，该目标的置信度最大的类别表征所述伪标签的类别信息。
[0025]
可选地，根据所述有标数据集，对所述目标检测模型继续进行混合监督训练的过程中：
[0026]
将所述伪标签对应的置信度作为加权因子；
[0027]
根据所述加权因子计算所述目标检测模型在混合监督训练中的损失函数。
[0028]
第二方面，本技术实施例提供一种包围框级的主动学习目标检测装置，所述装置包括：
[0029]
获取模块，用于获取有标数据集中的完全标记数据集，其中，所述完全标记数据集中的每个图像中的每个目标均携带有标记的包围框；
[0030]
模型训练模块，用于基于所述完全标记数据集，对目标检测模型进行全监督训练；
[0031]
不确定度计算模块，用于利用训练得到的目标检测模型对未标记数据集进行预测，确定所述未标记数据集中每张图像中的每个目标对应的预测包围框的不确定度；
[0032]
标记更新模块，用于按照所述不确定度递减的顺序，对所述未标记数据集中的所有目标进行排序，对排序在前的预设数量的目标添加标记的包围框，并利用添加有标记的包围框的目标所在的所有图像，更新所述有标数据集中的部分标记数据集；
[0033]
模型更新模块，用于根据所述有标数据集，对所述目标检测模型继续进行混合监督训练，并更新所述目标检测模型的模型参数。
[0034]
可选地，所述装置还包括：
[0035]
交替更新模块，用于将所述目标检测模型的训练过程与所述部分标记数据集的更
新过程交替迭代进行，直到所述目标检测模型达到预设训练状态，或标记次数达到预算数量。
[0036]
可选地，所述交替更新模块还包括：
[0037]
筛选单元，用于在所述目标监测模型训练完毕后，对所述未标记数据集和所述部分标记数据集均进行预测，从所述未标记数据集和所述部分标记数据集中筛选目标添加标记的包围框，其中，所述未标记数据集中的所有目标均不携带标记的包围框。
[0038]
可选地，所述筛选单元，还包括：
[0039]
滤除子单元，用于在所述部分标记数据集中任一目标的预测包围框与标记的包围框的重叠度大于重叠阈值时，滤除该目标的预测包围框；
[0040]
确定子单元，用于确定剩余的每个目标对应的预测包围框的不确定度。
[0041]
可选地，所述不确定度计算模块还包括：
[0042]
第一计算单元，用于选择所述预测包围框对应的多个类别的置信度中最大的置信度，根据所述最大的置信度，确定所述每个目标对应的预测包围框的不确定度。
[0043]
可选地，所述装置还包括：
[0044]
伪标签添加模块，用于在所述部分标记数据集中，所述目标的预测包围框的多个类别的置信度中，任意一个类别的置信度大于置信度阈值，且该目标的预测包围框与任一标记的包围框的重叠度低于重合度阈值时，为该目标添加伪标签，其中，该目标对应的预测包围框表征所述伪标签的位置信息，该目标的置信度最大的类别表征所述伪标签的类别信息。
[0045]
可选地，所述交替更新模块包括：
[0046]
加权因子确定单元，用于将所述伪标签对应的置信度作为加权因子；
[0047]
损失函数计算单元，用于根据所述加权因子计算所述目标检测模型在混合监督训练中的损失函数。
[0048]
第三方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现实施例第一方面所述的包围框级的主动学习目标检测方法。
[0049]
有益效果：
[0050]
首先让目标检测模型基于完全标记数据集进行全监督训练，让训练后的目标检测模型对不含标记的包围框的未标记数据集进行预测，确定未标记数据集中每张图像的每个目标的预测包围框的不确定度，不确定度可以表征该目标对当前的目标预测模型的困难程度或者训练价值；按照不确定度递减的顺序，对未标记数据集中的所有目标进行排序，选择排序在前的预设数量的目标添加标记的包围框，即选择更具训练价值的目标添加标记的包围框，利用添加了标记的包围框的目标所在的图像对有标数据集中的部分标记数据集进行更新，根据更新后的有标数据集继续对目标检测模型进行混合监督训练，更新目标检测模型的模型参数。
[0051]
通过以每个目标或者以单个包围框为粒度或者单位进行标记，优先选择对目标检测模型的训练具有高价值的目标进行标记，在提高模型训练效率的同时，与对一个图像中所有的目标进行详尽人工标记相比，可以节省标记成本，同时还可以降低标记难度。
附图说明
[0052]
为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0053]
图1是本技术一实施例提出的包围框级的主动学习目标检测方法的步骤流程图；
[0054]
图2是本技术一实施例提出的包围框级的主动学习目标检测方法的步骤流程图；
[0055]
图3是本技术一实施例提出的包围框级的主动学习目标检测装置的功能模块图。
具体实施方式
[0056]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0057]
在已有的主动目标检测技术中，受到分类任务的影响，仍以单张图像作为标记单位，即需要对一张图中所有目标进行标记，例如采用人工标记；然而，实际上每张图像对应的标注成本并不是相同的，因为通常是根据包围框的数量计算成本，这使得目标量大、场景复杂的图像的标注成本要明显高于目标分布稀疏的图像的标注成本。
[0058]
同时，图像级的主动检测非常脆弱，即只要简单地选择预测包围框数量最多的图像，便能获得超过绝大多数已有算法的检测性能，而这样的评估忽略了图像间标注成本的差异。
[0059]
主动分类任务的操作是将整张图像视为标记的最小单位，即每个候选都是图像，一旦选中即进行详尽标注(exhaustive annotation)。在检测任务里，一张图中目标的检测难度差异很大，而且并非所有目标都对模型的训练有价值，例如，一个常见类的显著目标对深度模型来说很容易学习，而少见类别、远景或存在严重遮挡的目标或许更具挑战性和标记价值，若以图像为单位进行详尽标记，其标记成本仍然较大。
[0060]
为了解决这些问题，本技术实施例提出了一种包围框级的主动学习目标检测方法，可以有效减小标记的难度，并最大化标注收益。
[0061]
参照图1，示出了本发明实施例中的一种包围框级的主动学习目标检测方法的步骤流程图，所述方法具体可以包括以下步骤：
[0062]
s101：获取有标数据集中的完全标记数据集，其中，所述完全标记数据集中的每个图像中的每个目标均携带有标记的包围框。
[0063]
首先，获取一个完全标记数据集用于对目标检测模型进行初次训练，完全标记数据集中包含有多个图像，且每个图像中每个目标均携带有标记的包围框，任一目标的标记的包围框可以表征该目标位于图像中的位置以及该目标的正确类别，具体的标记方法可以根据实际标记需求进行选择，在本实施例中以采用人工标记的包围框为例进行方案的阐述。
[0064]
在实际实施的过程中，可以构建一个用于训练目标检测模型的未标记数据集u
t
＝{x
tu
}，此时t＝0。未标记数据集u
t
＝{x
tu
}(t＝0)中包含的所图像都是不含有标记的图像，在
未标记的数据集中随机抽取一部分图像，并对随机抽取的每个图像中的每个目标均进行人工标记，组成完全标记数据集l
t
＝{x
0l
,b0}，例如随机抽取5000张图像，被随机抽取出的图像从未标记数据集中删除，其中，完全标记数据集l0中x
0l
表示完全标记的图像，b0表示标记的包围框。
[0065]
s102：基于所述完全标记数据集，对目标检测模型进行全监督训练。
[0066]
基于经过人工标记后的完全标记数据集l0＝{x
0l
,b0}，对目标检测模型进行训练，此时t＝0时，并且本次训练为全监督训练，全监督训练指的是训练时所有的图像样本中每个目标均携带有完整的人工标记；目标检测模型可以为任一通用的检测模型m(θ
t
)，θ
t
为目标检测模型在第t次训练后得到的模型参数，目标检测模型的训练过程本实施例不做限制。
[0067]
s103：利用训练得到的目标检测模型对未标记数据集进行预测，确定所述未标记数据集中每张图像中的每个目标对应的预测包围框的不确定度。
[0068]
具体地，当t＝0时，利用完全标记数据集对目标检测模型训练完毕后，用目标检测模型对未标记数据集u
t
＝{x
tu
}进行预测，目标检测模型输出未标记数据集u
t
＝{x
tu
}中每张图像的每个目标对应的预测包围框，预测包围框表征目标的位置，并且每个目标的预测包围框均携带有多个类别的置信度，一个目标的预测包围框的多个类别的置信度的和为1。
[0069]
在一种可行的实施方式中，确定所述每个目标对应的预测包围框的不确定度的过程为：选择所述预测包围框对应的多个类别的置信度中最大的置信度，根据所述最大的置信度，确定所述每个目标对应的预测包围框的不确定度，示例地，可以通过计算最大的置信度分别与其他类别的置信度的熵确定预测包围框的不确定度，计算公式如下：
[0070][0071]
式中，pk(y＝c)为第k个目标的预测包围框的多个类别的置信度；c为类别；θ
t
为所述目标检测模型第t次训练得到的模型参数。
[0072]
在其他实施方式中，确定预测包围框的不确定度时还可以采用其他经典的价值估算方法，比如其他不确定性度量、基于丰富性的指标、不确定性和丰富性结合的指标等。
[0073]
若目标检测模型对一个目标的预测包围框中，有一个类别的置信度很高，即当前的目标检测模型对于该目标的类别预测较为肯定，计算得到的不确定度为一个较低的熵，若是目标的预测包围框的多个类别的置信度的差别不大，即目标检测模型对该目标的预测仍存在争议，计算得到的不确定度为一个较高的熵，表征该目标对于当前的目标检测模型来说是具有较高训练价值的目标，可以优先选择具有较高训练价值的目标进行人工标记。
[0074]
s104：按照所述不确定度递减的顺序，对所述未标记数据集中的所有目标进行排序，对排序在前的预设数量的目标添加标记的包围框，并利用添加有标记的包围框的目标所在的所有图像，更新所述有标数据集中的部分标记数据集。
[0075]
在确定未标记数据集中所有目标的预测包围框的不确定度后，按照不确定度的数值递减的顺序对所有目标进行排序，按照不确定度的数值，排序在前的目标的训练价值相对更高，因此根据每次人工标记的实际需求或者标记能力，确定每次人工标记的预设数量，选择排序在前的预设数量的目标作为本次人工标记的对象。
[0076]
然后再利用所有添加了人工标记的包围框的目标所在的图像，对有标数据集中的部分标记数据集进行更新，部分标记数据集中的每张图像为不完全标记的图像，部分标记
数据集更新也使得有标数据集得到更新，更新后的有标记数据集记为数据集更新也使得有标数据集得到更新，更新后的有标记数据集记为为部分标记数据集中不完全标记的图像，b
t
为部分标记数据集中的包围框；即有标数据集中包含完全标记数据集和部分标记数据集。
[0077]
相较于现有的选择图像，对图像中所有目标添加人工标记的包围框，本方法中基于目标包围框的标记独立性仅对被选择的更有训练价值的目标添加人工标记的包围框，而不是对目标所在的图像中所有目标进行人工标记；示例地，可以按照包围框的标记成本，例如每次标记5000个包围框，则选择排序在前的5000个目标添加人工标记的包围框，从而可以将有限的人工标记资源运用在可以对目标检测模型的训练过程做出更大贡献的目标上。
[0078]
即本方法通过打破以单个图像为标记时的最小单位，选择以每个目标的包围框为单位进行标记，可以优先选择对目标检测模型训练有价值的目标进行标记，减轻标记难度，且在标记成本有限的情况下，最大化标记受益或标记效率。
[0079]
在一种可行的实施方式中，考虑到此时部分标记数据集中的图像中仅含有部分目标被选择添加人工标记的包围框，也就是说图像的标记不完整，而未被选择标记的目标为当前的目标检测模型确定度较高的目标，即对于当前的目标检测模型来说是较为简单的目标，简单的目标在目标检测模型的训练中会被视为负例，进而影响目标检测模型的检测性能，因此为了降低简单的目标对目标检测模型的性能的影响，本方法还包括主动学习时的训练轮次间知识蒸馏。
[0080]
具体地，在更新后的部分数据集中，若所述每个目标的预测包围框的多个类别的置信度中，任意一个类别的置信度大于置信度阈值时，为该目标添加伪标签，其中，该目标对应的预测包围框表述了所述伪标签的位置信息，该目标的置信度最大的类别表述了所述伪标签的类别信息。
[0081]
在一种实施方式中，选择将预测包围框作为伪标签的目标的公式如下：
[0082][0083]
式中，是第t次训练得到的目标检测模型在部分标记数据集内的不完全标记的图像上预测的包围框；bj∈b
t
为同一图像上的人工标记的包围框；c为任一个目标的预测包围框的多种类别，τ是所述置信度阈值，δ是伪标签的包围框和人工标记的包围框的最大重合度(intersection over union，iou)，即当一个目标的预测框同时满足置信度高于τ，且该目标的预测包围框与任一人工标记的包围框的重叠度低于δ时，选为伪标签。
[0084]
若当前训练得到的目标检测模型对一个目标的预测包围框中某个类别的置信度很高，则表征目标检测模型对于该目标的预测是自信的，即该目标对目标检测模型来说是简单的目标，可以将目标检测模型输出的该目标的预测包围框作为伪标签，则此时的有标数据集记为其中，为伪标签。
[0085]
每次部分标记数据集更新完毕后，包括添加人工标记的包围框以及添加伪标签后，或者每次训练目标检测模型之前，令t＝t+1。
[0086]
s105：根据所述有标数据集，对所述目标检测模型继续进行混合监督训练，并更新所述目标检测模型的模型参数。
[0087]
当前的有标数据集中，不仅包含有图中所有目标都被添加人工标记的包围框的图像，有图中部分目标被添加人工标记的包围框的图像，以及图中部分目标添加人工标记的包围框、部分目标携带预测包围框的伪标签的图像。
[0088]
基于标记变得更加丰富的有标数据集对目标检测模型继续进行训练，并更新目标检测模型的模型参数。
[0089]
因为伪标签是目标检测模型自身对有标数据集中的部分标记数据集中的图像预测时输出的预测包围框，因此作为伪标签的预测包围框的准确度并不高，伪标签虽然为目标检测模型的训练带来了更多的知识，但是伪标签也为目标检测模型的训练引入了标记噪声，因此在根据有标数据集对所述目标检测模型继续进行训练的过程中，可以将所述伪标签对应的置信度作为加权因子，降低目标检测模型对伪标签的目标的训练权重。
[0090]
具体地，根据加权因子计算目标检测模型基于有标数据集时的交叉熵损失函数，交叉熵损失函数的公式如下：
[0091][0092]
式中，为加权因子，为伪标签类别，为目标检测模型本次训练时的预测类别。
[0093]
可以看出，在t＝0时，目标检测模型是基于完全标记数据集进行的全监督训练，而在t≥1时，目标检测模型是基于完全标记数据集和部分标记数据集进行的混合监督训练，即在t≥1时，目标检测模型的基于完全标记和不完全标记的图像进行训练。
[0094]
参照图2，示出了本技术实施例提供的一种包围框级的主动学习目标检测方法的步骤流程图，在一种可行的实施方式中，本方法除了步骤s101-s105，还包括：
[0095]
s106：所述目标检测模型的训练过程与所述部分标记数据集的更新过程交替迭代进行，直到所述目标检测模型达到预设训练状态，或标记次数达到预算数量。
[0096]
将目标检测模型的训练过程与所述标记数据集的更新过程交替迭代进行，示例地，在执行步骤s105得到基于有标数据集混合监督训练的目标检测模型后，继续重复步骤s103-s105，但是在t≥1时，执行步骤s103的过程中，目标检测模型不仅对未标记数据集进行预测，还对部分标记数据集进行预测，即从所述未标记数据集和所述部分标记数据集中筛选目标添加人工标记的包围框。
[0097]
示例地，筛选目标添加人工标记的包围框，还是通过计算未标记数据集和部分标记数据集中预测包围框的不确定度，并按照不确定度递减的顺序，对未标记数据集和部分标记数据集的目标进行排序，选出排在前预设数量的目标添加人工标记的包围框，用未标记数据集中添加了人工标记的包围框的目标所在的图像更新部分标记数据集。
[0098]
此外，在目标检测模型的训练过程与所述标记数据集的更新过程交替迭代进行的过程中，在目标检测模型对部分标记数据集进行预测时，若部分标记数据集中任一目标的预测包围框与人工标记的包围框的重叠度大于重叠阈值时，滤除该目标的预测包围框；确定剩余的每个目标对应的预测包围框的不确定度。
[0099]
由于部分标记数据集中部分目标已经添加过人工标记的包围框了，若是预测包围框与人工标记的包围框的重叠度大于重叠阈值时，可以说明该感兴趣的目标已经被人工标记，实际上不需要再计算这些已标记的目标的预测包围框的不确定，只需要确定剩余的目
标的预测包围框的不确定度，通过滤除重叠度大于重叠阈值的预测包围框，可以减少计算量，节约计算资源。
[0100]
此外，在交替迭代的过程中，随着目标检测模型的不断进步，添加伪标签时的置信度阈值会自适应地调整，因为目标检测模型在不断地进步，对于目标的预测包围框的类别预测也会越来越准确，即某个类别的置信度会越来越高，因此置信度阈值也会自适应地提高。
[0101]
由于置信度阈值的变化，因此对一个目标而言，其伪标签也是实时变化的，同时之前添加伪标签的简单的目标对不断进步的目标检测模型来说，存在预测错误，因此随着标记数据集的扩大、以及目标检测模型的进步，伪标签进行及时地自我纠正，示例地，一个目标的伪标签的类别，在交替迭代的过程中出现变化，或者取消一个目标的伪标签。
[0102]
将目标检测模型的训练过程与部分标记数据集的更新过程交替迭代进行，可以根据训练不断进步的目标检测模型，选择对当前的目标检测模型最具训练价值的目标添加人工标记的包围框，直到目标检测模型已经达到预设训练状态，或者人工标记次数达到目标数量，即人工标记的成本以达到预算时，停止交替迭代的过程。本技术至少具有以下有益效果：
[0103]
1、通过以每个目标为粒度或者单位进行标记，优先选择对目标检测模型的训练具有高价值的目标进行人工标记，在提高模型训练效率的同时，与对一个图像中所有的目标进行人工标记相比，可以显著节省标记成本以及降低标记难度。
[0104]
2、将当前目标检测模型预测的置信度大于置信度阈值的预测包围框作为目标的伪标签，可以为下一轮目标检测模型的训练添加知识，并节省标记成本。
[0105]
3、伪标签与置信度阈值可以随着目标检测模型的训练与标记数据集的更新过程而纠正或调整，从而可以减少伪标签对目标检测模型的性能的影响。
[0106]
参照图3，示出了本发明实施例中的一种包围框级的主动学习目标检测装置的功能模块图，所述装置包括：
[0107]
获取模块100，用于获取有标数据集中的完全标记数据集，其中，所述完全标记数据集中的每个图像中的每个目标均携带有标记的包围框；
[0108]
模型训练模块200，用于基于所述完全标记数据集，对目标检测模型进行全监督训练；
[0109]
不确定度计算模块300，用于利用训练得到的目标检测模型对未标记数据集进行预测，确定所述未标记数据集中每张图像中的每个目标对应的预测包围框的不确定度；
[0110]
标记更新模块400，用于按照所述不确定度递减的顺序，对所述未标记数据集中的所有目标进行排序，对排序在前的预设数量的目标添加标记的包围框，并利用添加有标记的包围框的目标所在的所有图像，更新所述有标数据集中的部分标记数据集；
[0111]
模型更新模块500，用于根据所述有标数据集，对所述目标检测模型继续进行混合监督训练，并更新所述目标检测模型的模型参数。
[0112]
可选地，所述装置还包括：
[0113]
交替更新模块，用于将所述目标检测模型的训练过程与所述部分标记数据集的更新过程交替迭代进行，直到所述目标检测模型达到预设训练状态，或标记次数达到预算数量。
[0114]
可选地，所述交替更新模块还包括：
[0115]
筛选单元，用于在所述目标监测模型训练完毕后，对所述未标记数据集和所述部分标记数据集均进行预测，从所述未标记数据集和所述部分标记数据集中筛选目标添加标记的包围框，其中，所述未标记数据集中的所有目标均不携带标记的包围框。
[0116]
可选地，所述筛选单元，还包括：
[0117]
滤除子单元，用于在所述部分标记数据集中任一目标的预测包围框与标记的包围框的重叠度大于重叠阈值时，滤除该目标的预测包围框；
[0118]
确定子单元，用于确定剩余的每个目标对应的预测包围框的不确定度。
[0119]
可选地，所述不确定度计算模块还包括：
[0120]
第一计算单元，用于选择所述预测包围框对应的多个类别的置信度中最大的置信度，根据所述最大的置信度，确定所述每个目标对应的预测包围框的不确定度。
[0121]
可选地，所述装置还包括：
[0122]
伪标签添加模块，用于在所述部分标记数据集中，所述目标的预测包围框的多个类别的置信度中，任意一个类别的置信度大于置信度阈值，且该目标的预测包围框与任一标记的包围框的重叠度低于重合度阈值时，为该目标添加伪标签，其中，该目标对应的预测包围框表征所述伪标签的位置信息，该目标的置信度最大的类别表征所述伪标签的类别信息。
[0123]
可选地，所述交替更新模块包括：
[0124]
加权因子确定单元，用于将所述伪标签对应的置信度作为加权因子；
[0125]
损失函数计算单元，用于根据所述加权因子计算所述目标检测模型在混合监督训练中的损失函数。
[0126]
本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现实施例所述的包围框级的主动学习目标检测方法。
[0127]
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0128]
本领域内的技术人员应明白，本技术的实施例可提供为方法、装置、或计算机程序产品。因此，本技术实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0129]
本技术实施例是参照根据本技术实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0130]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备
以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0131]
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0132]
尽管已描述了本技术实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术实施例范围的所有变更和修改。
[0133]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0134]
本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。
技术特征：1.一种包围框级的主动学习目标检测方法，其特征在于，所述方法包括：获取有标数据集中的完全标记数据集，其中，所述完全标记数据集中的每个图像中的每个目标均携带有标记的包围框；基于所述完全标记数据集，对目标检测模型进行全监督训练；利用训练得到的目标检测模型对未标记数据集进行预测，确定所述未标记数据集中每张图像中的每个目标对应的预测包围框的不确定度；按照所述不确定度递减的顺序，对所述未标记数据集中的所有目标进行排序，对排序在前的预设数量的目标添加标记的包围框，并利用添加有标记的包围框的目标所在的所有图像，更新所述有标数据集中的部分标记数据集；根据所述有标数据集，对所述目标检测模型继续进行混合监督训练，并更新所述目标检测模型的模型参数。2.根据权利要求1所述的方法，其特征在于，所述目标检测模型的训练过程与所述部分标记数据集的更新过程交替迭代进行，直到所述目标检测模型达到预设训练状态，或标记次数达到预算数量。3.根据权利要求2所述的方法，其特征在于，在所述目标检测模型的训练过程与所述部分标记数据集的更新过程交替迭代进行的过程中：在所述目标监测模型训练完毕后，对所述未标记数据集和所述部分标记数据集均进行预测，从所述未标记数据集和所述部分标记数据集中筛选目标添加标记的包围框，其中，所述未标记数据集中的所有目标均不携带标记的包围框。4.根据权利要求3所述的方法，其特征在于，在所述目标监测模型训练完毕后，对所述部分标记数据集进行预测时，所述方法还包括：若所述部分标记数据集中任一目标的预测包围框与标记的包围框的重叠度大于重叠阈值时，滤除该目标的预测包围框；确定剩余的每个目标对应的预测包围框的不确定度。5.根据权利要求1-4任一所述的方法，其特征在于，确定所述每个目标对应的预测包围框的不确定度的过程为：选择所述预测包围框对应的多个类别的置信度中最大的置信度，根据所述最大的置信度，确定所述每个目标对应的预测包围框的不确定度。6.根据权利要求5所述的方法，其特征在于，确定所述每个目标对应的预测包围框的不确定度的计算公式为：式中，p
k
(y＝c)为第k个目标的预测包围框的多个类别的置信度；c为类别；θ
t
为所述目标检测模型第t次训练得到的模型参数。7.根据权利要求1-4任一所述的方法，其特征在于，更新所述有标数据集中的部分标记数据集之后，所述方法还包括：若所述部分标记数据集中，所述目标的预测包围框的多个类别的置信度中，任意一个类别的置信度大于置信度阈值，且该目标的预测包围框与任一标记的包围框的重叠度低于重合度阈值时，为该目标添加伪标签，其中，该目标对应的预测包围框表征所述伪标签的位
置信息，该目标的置信度最大的类别表征所述伪标签的类别信息。8.根据权利要求7所述的方法，其特征在于，根据所述有标数据集，对所述目标检测模型继续进行混合监督训练的过程中：将所述伪标签对应的置信度作为加权因子；根据所述加权因子计算所述目标检测模型在混合监督训练中的损失函数。9.一种包围框级的主动学习目标检测装置，其特征在于，所述装置包括：获取模块，用于获取有标数据集中的完全标记数据集，其中，所述完全标记数据集中的每个图像中的每个目标均携带有标记的包围框；模型训练模块，用于基于所述完全标记数据集，对目标检测模型进行全监督训练；不确定度计算模块，用于利用训练得到的目标检测模型对未标记数据集进行预测，确定所述未标记数据集中每张图像中的每个目标对应的预测包围框的不确定度；标记更新模块，用于按照所述不确定度递减的顺序，对所述未标记数据集中的所有目标进行排序，对排序在前的预设数量的目标添加标记的包围框，并利用添加有标记的包围框的目标所在的所有图像，更新所述有标数据集中的部分标记数据集；模型更新模块，用于根据所述有标数据集，对所述目标检测模型继续进行混合监督训练，并更新所述目标检测模型的模型参数。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的包围框级的主动学习目标检测方法。
技术总结本申请提供一种包围框级的主动学习目标检测方法、装置和存储介质，属于数据处理的技术领域。所述方法包括：根据有标数据集中的完全标记数据集对目标检测模型进行全监督训练后，对未标记数据集进行预测，确定未标记数据集中每张图像中的每个目标对应的预测包围框的不确定度；按照不确定度递减的顺序进行排序，对排序在前的预设数量的目标添加标记的包围框，并利用添加有标记的包围框的目标所在的所有图像，更新有标数据集中的部分标记数据集；根据有标数据集，对目标检测模型继续进行混合监督训练，并更新目标检测模型的模型参数。本申请旨在降低目标检测时的标记成本。本申请旨在降低目标检测时的标记成本。本申请旨在降低目标检测时的标记成本。
技术研发人员：丁贵广 吕梦遥 项刘宇
受保护的技术使用者：清华大学
技术研发日：2022.07.15
技术公布日：2022/11/1
