本发明涉及目标检测，更具体地，涉及一种物体分类和定位回归的辅助对齐方法。
背景技术：
1、当前流行的无锚框目标检测器，在训练时将物体边界框映射到输出特征图上，选取位于物体边界框内的特征点作为该物体的候选正样本点。尽管这种处理在许多场景下表现出良好的效果，但在训练过程中，由于大目标占据更多的像素空间，通常会获得足够的正样本，而中小目标所占据的像素空间较小，通常会遭受正样本稀缺的困扰，甚至有时会缺乏正样本，这导致在实际应用中对中小目标的检测效果不佳，使得检测器的整体性能下降。
2、标签分配方法可分为静态和动态两类。在静态方法中，每个物体的训练样本在整个训练过程中保持固定不变；而在动态方法中，每个物体的训练样本在训练过程中是可变的。静态标签分配方法通常直接从候选正样本点中选取与物体边界框中心距离小于阈值的点作为正样本，但这种方法不适用于所有的物体外形。一些研究基于评价定位精度的iou(intersection over union)值，选择预测iou大于阈值或是降序排列靠前的候选正样本点为正样本，这种动态标签分配方法仅考虑了定位回归，可能出现定位精度高而分类得分低的情况。虽然也有研究兼顾了物体分类与定位回归，根据定位精度iou与分类得分各自指数幂的乘积值，选择大于阈值或是降序排列靠前的候选正样本点为正样本，但实际上，在训练初期大多数候选正样本点对应的乘积值很小，在训练初期容易错过合适的正样本。
3、目标检测深度神经网络通常把目标检测任务分解为物体分类和定位回归两个子任务，通常采用预训练的分类模型作为主干来提取特征。已有研究发现，最适合物体分类的特征与最适合定位回归的特征通常不一致，分类得分高的特征点与定位精度高的特征点之间的位置通常存在偏差，容易导致物体分类与定位回归未对齐，降低目标检测深度神经网络的性能。
4、综上所述，目前的目标检测方法存在以下缺陷：1、流行的目标检测器仅选取位于物体边界框内的特征点作为该物体的候选正样本点，中小目标所占据的像素空间较小，容易缺乏正样本；2、部分动态标签分配方法仅考虑了定位回归，可能出现定位精度高而分类得分低的情况；部分方法虽然兼顾了物体分类与定位回归，但在训练初期容易错过合适的正样本；3、分类得分高的特征点与定位精度高的特征点之间的位置通常存在偏差，物体分类与定位回归容易未对齐。
技术实现思路
1、本发明为了克服现有技术存在的上述缺陷，提供一种物体分类和定位回归的辅助对齐方法。
2、为实现上述目的，本发明的技术方案如下：
3、优化候选正样本点选择方案；
4、同时，构建与所述优化候选正样本点选择方案相适配的定位回归分支损失函数；
5、使用优化后的候选正样本点选择方案完成候选正样本点的选择后，采用新的动态标签分配方法来确定正样本和负样本；
6、在模型的网络结构中引入用于预测所述联合得分以及使分类分支和定位分支对齐的分类与定位联合分支。
7、优选地，所述优化候选正样本点选择方案具体为：
8、若物体的边界框与特征图点的关联区域存在交叉则即可选择该特征图点作为候选正样本点；
9、当多个物体的候选正样本点区域存在重叠时，由于一个候选正样本点只能分配给一个物体，根据物体的候选正样本点区域面积，将重叠点分配给其中面积最小的物体并从其他物体的候选正样本点中剔除该重叠点。
10、优选地，所述关联区域的定义为：
11、输出特征图的点坐标(x,y)，对应输入图像的点坐标为
12、
13、其中sx和sy为步长，表示向下取整；
14、各输出特征图点与输入图像中以该点对应位置为中心并且面积为sx*sy的小区域为关联区域。
15、优选地，所述定位回归分支损失函数包括定位损失和正则项，所述定位损失包括：距离损失、形状损失和iou损失，具体为：
16、距离损失：
17、
18、形状损失：
19、
20、iou损失：
21、
22、三种损失表达式中，bp和bt分别表示物体的预测边界框和真实边界框，dc为bp和bt的中心距离，db为bp和bt最小外接矩形的对角线长度，θx和θy分别表示bp和bt中心连线与坐标轴的夹角，θ＝max(θx,θy)，wp和wt分别表示bp和bt的宽，hp和ht分别表示bp和bt的高；
23、所述定位回归分支损失函数可表示为：
24、
25、式中，npos为输出特征图中正样本的数量，为第i个正样本的定位回归损失。
26、所述正样本的定位回归损失的表达式为：
27、lreg＝lbox+λrange[max(0,lp+rp-1)2+max(0,tp+bp-1)2]
28、其中，[max(0,lp+rp-1)2+max(0,tp+bp-1)2]为正则项，lbox为物体的定位损失，lbox的表达式为：
29、
30、其中，权重
31、lreg的表达式中，λrange用于控制正则项的影响程度，lp、tp、rp、bp为正样本点的定位回归分支输出，lp、tp、rp、bp的表达式分别为：
32、lp＝xp-xtl
33、tp＝yp-ytl
34、rp＝xbr-xp
35、bp＝ybr-yp
36、其中，(xp,yp)是物体正样本点的坐标，(xtl,ytl)和(xbr,ybr)分别是物体边界框的左上角和右下角坐标，对坐标进行归一化处理后，lp、tp、rp、bp的值在-1到1之间，lp+rp、tp+bp的值在0到1之间。
37、优选地，所述新的动态分配方法包括：
38、对物体候选正样本点预测的分类得分和定位精度进行联合评估得到联合得分，并将所有候选正样本点对应的所述联合得分按照大小进行排序，其中，最大的前mk个联合得分对应的候选正样本点作为正样本，输出特征图中候选正样本点之外的点作为负样本，训练过程中依照训练轮次的递增对正样本数目进行递减。
39、优选地，所述联合物体候选正样本点预测的分类得分和定位精度得到联合得分，并将联合得分按照大小进行排序具体为：
40、定义联合得分sjoint为：
41、
42、其中scls为物体的分类得分，lbox为物体的定位损失，1-lbox为物体的定位精度，α、β∈[0,1]，α+β＝1，α和β可分别调整分类和定位的重要性；
43、得到联合得分后，将所有候选正样本点对应的联合得分按照大小进行降序排列。
44、优选地，所述训练过程中依照轮次的递增对正样本数目进行递减具体为：
45、令第k轮次时物体的正样本数量mk为：
46、mk＝(m0-1)e-kr+1
47、其中，m0为候选的正样本数目；参数r>0，可控制正样本数目的下降速度，r越大，正样本数目mk下降越快。
48、优选地，所述分类与定位联合分支的损失包括焦点损失focal loss和平滑l1损失smooth l1 loss，所述焦点损失focal loss和平滑l1损失smooth l1 loss具体为：
49、
50、
51、其中，fl和l1分别表示focal loss和smooth l1 loss；
52、αf∈[0,1]，用于抑制正负样本的数量失衡；
53、γ≥0，用于控制难易样本的数量失衡；
54、u>0，用于控制零点的平滑程度；
55、d＝sjoint-p，在分类与定位联合分支的训练过程中，p为输出特征图点的预测值，smoint为分类和定位的联合得分。
56、优选地，所述分类与定位联合分支的损失的损失函数lj为：
57、
58、其中，λl1为权重，m为输出特征图中点的数量，为第m点的smooth l1loss；npos和nneg分别为输出特征图中的正样本数量和负样本数量，为第i个正样本的focal loss，为第j个负样本的focal loss。
59、优选地，在所述引入分类与定位联合分支之后，最终模型的总损失为：
60、l＝λclc+λrlr+λjlj
61、其中，λc、λr和λj为超参数；lc为正负样本的分类平均损失之和，可由所述焦点损失focal loss表达式计算。
62、与现有技术相比，本发明技术方案的有益效果是：
63、本发明通过优化候选正样本点选择方案并构建与之相适配的定位回归分支损失函数，采用新的动态标签分配方法，引入分类与定位联合分支，确保输入图像中的目标都有候选正样本点可供训练，模型在训练初期能够获得足够数量的正样本用于学习，并可直接获得在分类和定位上均有较高得分的目标检测结果，在不改变原有物体分类分支和定位回归分支结构的情况下，促使物体分类任务和定位任务对齐。
1.一种物体分类和定位回归的辅助对齐方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种物体分类和定位回归的辅助对齐方法，其特征在于，所述优化候选正样本点选择方案具体为：
3.根据权利要求2所述的一种物体分类和定位回归的辅助对齐方法，其特征在于，所述关联区域的定义为：
4.根据权利要求1所述的一种物体分类和定位回归的辅助对齐方法，其特征在于，所述定位回归分支损失函数包括定位损失和正则项，所述定位损失包括：距离损失、形状损失和iou损失，具体为：
5.根据权利要求1所述的一种物体分类和定位回归的辅助对齐方法，其特征在于，所述新的动态分配方法包括：
6.根据权利要求5所述的一种物体分类和定位回归的辅助对齐方法，其特征在于，所述联合物体候选正样本点预测的分类得分和定位精度得到联合得分，并将联合得分按照大小进行排序具体为：
7.根据权利要求5所述的一种物体分类和定位回归的辅助对齐方法，其特征在于，所述训练过程中依照轮次的递增对正样本数目进行递减具体为：
8.根据权利要求1所述的一种物体分类和定位回归的辅助对齐方法，其特征在于，所述分类与定位联合分支的损失包括焦点损失focal loss和平滑l1损失smooth l1 loss，所述焦点损失focal loss和平滑l1损失smooth l1 loss具体为：
9.根据权利要求1所述的一种物体分类和定位回归的辅助对齐方法，其特征在于，所述分类与定位联合分支的损失的损失函数lj为：
10.根据权利要求1-9任一项所述的一种物体分类和定位回归的辅助对齐方法，其特征在于，在所述引入分类与定位联合分支之后，最终模型的总损失为：
