一种针对基于单目相机的6自由度姿态估计方法的对抗样本生成方法

专利2026-02-25  6


本发明涉及计算机视觉领域,具体涉及一种针对基于单目相机的6自由度姿态估计方法的对抗样本生成方法。


背景技术:

1、在计算机视觉领域,6自由度(6dof)姿态估计是一个基础而关键的问题,它涉及到确定一个物体在三维空间中的位置和方向。这一技术广泛应用于增强现实、虚拟现实、机器人导航、自动驾驶以及交互式游戏等多个领域。随着深度学习的发展,基于单目相机的6dof姿态估计方法因其设备简便且成本较低而受到研究者的关注。然而,这类方法容易受到对抗样本的影响,导致姿态估计精度下降或完全失效。因此,研究并开发有效的对抗样本生成方法对于提高基于单目相机的6dof姿态估计方法的鲁棒性具有重要意义。

2、6dof姿态估计旨在确定物体相对于相机的三个旋转角度(俯仰角、偏航角和翻滚角)和三个平移量(沿x、y、z轴的位移)。传统的方法依赖于多目相机系统或结合惯性测量单元(imu)等传感器来获取精确的6dof信息。但多目系统成本高昂且设备笨重,而imu等传感器又存在累积误差问题。

3、利用单目相机进行6dof姿态估计通常需要依赖特定的算法模型,如卷积神经网络(cnn)、递归神经网络(rnn)或者光流法等。这些方法通过从单张或连续的图像序列中提取特征,然后通过训练得到的模型来预测物体的姿态。尽管取得了一定的进展,但这些方法在面对复杂场景和不同视角时仍然存在挑战。

4、对抗样本是经过精心设计的输入数据,它们能够误导机器学习模型做出错误的判断。在6dof姿态估计中,对抗样本可能导致模型输出错误的姿态信息。例如,通过在图像中添加难以察觉的扰动,可以使模型无法正确识别物体的特征点,从而影响姿态估计的准确性。

5、为了提升模型的鲁棒性,研究人员开始探索如何生成对抗样本。现有的对抗样本生成方法主要包括快速梯度符号攻击(fgsm)、投影梯度下降(pgd)和c&w攻击等。这些方法通过计算损失函数关于输入图像的梯度,然后在图像空间中沿着梯度方向进行微小的调整来生成对抗样本。然而,这些方法主要针对分类任务,而在6dof姿态估计中的适用性和有效性仍需进一步研究。

6、基于单目相机的6dof姿态估计方法在实际应用中展现出了巨大的潜力,但其易受对抗样本干扰的问题不容忽视。因此,研究专门针对此类方法的对抗样本生成技术,不仅能够评估和提升现有模型的鲁棒性,也为未来设计更加稳定可靠的姿态估计算法提供了重要的参考。随着对抗样本研究的深入,预计会有更多的技术被开发出来,以应对日益复杂的安全威胁,保障基于单目相机的6dof姿态估计方法在各种应用场景中的可靠性和准确性。


技术实现思路

1、为解决上述技术问题,本发明提供一种针对基于单目相机的6自由度姿态估计方法的对抗样本生成方法,包括如下步骤:

2、s1:给定一个rgb图像i和目标3d模型m;

3、s2:估计目标模型(目标实例)的目标姿态;

4、s3:设计分割网络,即统一6自由度姿态估计攻击(u6da)欺骗深度6自由度姿态估计网络;

5、输入:原始rgb图像i,训练过的unet模型fθ(),θ为网络的参数,扰动剪切因子∈,最大迭代次数m。

6、输出:受扰动的rgb图像iadv;

7、s4:生成对抗样本:通过预先设计好的分割网络生成对抗样本,iadv=i+∈。

8、所述步骤s2中的目标姿态可以表示为旋转r∈so(3)和平移t∈r3w.r.t相机,

9、具体任务描述如下:

10、[r|t]=f{[i,m|θ}。

11、优选的:所述步骤3中,分割网络的设计步骤为:

12、1):设置初始g0=0,α=∈/m

13、2):计算注意力图

14、3):获取注意力图msh

15、4):当i<m,执行:

16、{计算注意力贴图m0ri的}

17、5):

18、6):

19、7):

20、8):i=i+1

21、9):结束时

22、10):返回

23、优选的:所述步骤4中,对抗样本的生成如下:

24、

25、并通过lp-范数来正则化扰动。

26、所述注意力图使用seggradcam,可以解释分割问题,所述seggradcam是gradcam的扩展,gradcam被设计用于解释分类模型。

27、优选的:所述步骤5中的gradcam计算方法如下:

28、

29、其中是一组被选择的感兴趣的特征映射(一个分类网络的最后一个卷积层的k个核),和yc是所选类c的logit。grad-cam是y的梯度的平均值c对于每个特征图ak的所有n个像素(以u,v为索引)来产生一个重量的表示它的重要性。

30、seggradcam。seggradcam是gradcam的扩展,可以解释分割问题。其定义如下:

31、和

32、其中,m是输出掩模中感兴趣的一组像素索引。

33、让表示输入i和一个指定的类t的注意力映射。把注意力图从原来的位置推开。因此,u6da的损失将是:

34、lu6da(i)=||madv-msh||1;

35、madv是来自对抗样本的注意力图,即msh是从干净的样本中转移出来的注意力图。

36、优选的:所述方法的验证手段,包括以下三个方面:

37、1)设置实验:首先确定数据集和模型,然后确定评价指标,确定实验具体细节;

38、2)敏感性分析:确定换挡位置,分析不同的移动位置对u6da的影响:分析不同分割模型对可转移性的影响;

39、3)与sota交叉任务攻击的比较;

40、4)对可转移性结果进行分析。



技术特征:

1.一种针对基于单目相机的6自由度姿态估计方法的对抗样本生成方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的一种针对基于单目相机的6自由度姿态估计方法的对抗样本生成方法,其特征在于,所述步骤s2中的目标姿态可以表示为旋转r∈so(3)和平移t∈r3w.r.t相机,具体任务描述如下:

3.根据权利要求1所述的一种针对基于单目相机的6自由度姿态估计方法的对抗样本生成方法,其特征在于,所述步骤3中,分割网络的设计步骤为:

4.根据权利要求1所述的一种针对基于单目相机的6自由度姿态估计方法的对抗样本生成方法,其特征在于,所述步骤4中,对抗样本的生成如下:

5.根据权利要求3所述的一种针对基于单目相机的6自由度姿态估计方法的对抗样本生成方法,其特征在于,所述注意力图使用seggradcam,可以解释分割问题,所述seggradcam是gradcam的扩展,gradcam被设计用于解释分类模型。

6.根据权利要求5所述的一种针对基于单目相机的6自由度姿态估计方法的对抗样本生成方法,其特征在于,所述步骤5中的gradcam计算方法如下:

7.根据权利要求1所述的一种针对基于单目相机的6自由度姿态估计方法的对抗样本生成方法,其特征在于,步骤s5中的损失量为:

8.权利要求1-7中任一一项中所述方法的验证手段,其特征在于,包括以下三个方面:


技术总结
本发明公开了一种针对基于单目相机的6自由度姿态估计方法的对抗样本生成方法,包括:步骤1、给定一个RGB图像I和目标3D模型M;步骤2、估计目标模型的目标姿态;步骤3、设计图像分割网络,用于6自由度姿态估计攻击,欺骗深度6自由度姿态估计网络;步骤4、生成对抗样本:通过预先设计好的分割网络生成对抗样本,本发明的有益效果是设计了U6DA损失函数来指导对抗样本的生成,损失函数的目的是将分割注意力图从原来的位置转移开,因此可以用于将黑盒攻击迁移到主流的6自由度姿态估计网络。由于基于RANSAC的PnP求解器可能会受到U6DA的影响,生成的对抗样本往往对主流的6自由度姿态估计网络具有攻击性。

技术研发人员:张金来,陈添耀,顾永彤,杨元豪,苏言,汤舟航,谢宇航,宁启睿,刘凯丰,赵源
受保护的技术使用者:长沙理工大学
技术研发日:
技术公布日:2024/11/11
转载请注明原文地址: https://tieba.8miu.com/read-20268.html

最新回复(0)