1.本发明涉及人工智能领域，尤其涉及一种感知元素相对关系检测方法、装置、设备及存储介质。
背景技术：2.随着人工智能技术的发展，自动驾驶已经成为人们关注和研究的热点。在基于视觉的自动驾驶感知系统中，由于3d位置估计的内生不准确性，可能造成输出物体的相对位置与真值之间产生误差。例如，图像中的车辆和车道线分别进行深度估计，得到3d俯视图下的结果后，容易出现横向位置的偏差。举例来说，某一车辆可能并没有压车道线行驶，但检测结果车辆3d框却压了3d车道线。这种误差会导致在下游很难根据车辆和车道线之间的相对关系来判断前车是否有并道意图，影响无人驾驶系统的稳定性。
技术实现要素：3.本发明的主要目的在于解决现有的自动驾驶感知系统由于3d位置估计的内生不准确性导致物体相对关系不准确的技术问题。
4.本发明第一方面提供了一种感知元素相对关系检测方法，包括：获取相机拍摄的待检测图像以及同一时刻传感器检测的多个感知元素的第一空间信息；将所述待检测图像以及对应的多个所述感知元素的第一空间信息输入预设的空间信息调整模型，得到多个所述感知元素的第二空间信息；基于所述第二空间信息，计算多个所述感知元素之间的相对关系预测值。
5.可选的，在本发明第一方面的第一种实现方式中，所述将待检测图像以及对应的多个感知元素的第一空间信息输入预设的空间信息调整模型，得到多个所述感知元素的第二空间信息包括：将待检测图像以及对应的多个感知元素的第一空间信息输入预设的空间信息调整模型，通过所述空间信息调整模型对所述待检测图像进行特征提取，得到所述待检测图像的图像特征；通过所述空间信息调整模型根据所述第一空间信息将对应的感知元素投影至所述待检测图像，得到所述多个感知元素在所述待检测图像中对应的像素位置集合；基于所述图像特征和所述像素位置集合对所述感知元素的第一空间信息进行调整，得到对应的第二空间信息。
6.可选的，在本发明第一方面的第二种实现方式中，所述空间信息调整模型包括特征提取网络，所述特征提取网络包括卷积神经网络和特征金字塔网络；所述将待检测图像以及对应的多个感知元素的第一空间信息输入预设的空间信息调整模型，通过所述空间信息调整模型对所述待检测图像进行特征提取，得到所述待检测图像的图像特征包括：将所述待检测图像输入预设的空间信息调整模型，通过所述空间信息调整模型中的卷积神经网络对所述待检测图像进行卷积和池化操作，得到不同深度的特征图；通过所述特征金字塔网络对所述特征图进行特征融合，得到融合特征图，并将所述融合特征图作为所述待检测图像的图像特征。
7.可选的，在本发明第一方面的第三种实现方式中，所述第一空间信息位于预设的世界坐标系上；所述通过所述空间信息调整模型根据所述第一空间信息将对应的感知元素投影至所述待检测图像，得到所述多个感知元素在所述待检测图像中对应的像素位置集合包括：获取所述相机的内参信息和外参信息，并基于所述内参信息和所述外参信息分别得到所述相机的内参矩阵和外参矩阵；根据所述内参矩阵，将各感知元素的第一空间信息从所述世界坐标系转换至所述相机的相机坐标系上；根据所述外参矩阵，将所述相机坐标系上的第一空间信息转换成所述待检测图像的图像坐标系上的像素位置坐标；将各感知元素对应的所有像素位置坐标进行汇总，得到各感知元素在所述待检测图像中对应的像素位置集合。
8.可选的，在本发明第一方面的第四种实现方式中，所述基于所述图像特征和所述像素位置集合对所述感知元素的第一空间信息进行调整，得到对应的第二空间信息包括：基于所述待检测图像的图像特征和所述像素位置集合计算对应的感知元素在所述待检测图像中的图像特征；基于预设的自注意力机制，将所有所述感知元素的图像特征进行信息融合，计算各感知元素的空间偏移量；基于所述空间偏移量对对应的第一空间信息进行调整，得到对应的第二偏移量。
9.可选的，在本发明第一方面的第五种实现方式中，所述空间信息调整模型通过以下步骤训练得到：获取相机拍摄的多张历史检测图像、所述历史检测图像拍摄的同一时刻传感器检测的多个历史感知元素的第三空间信息以及所述历史感知元素的真实空间信息；根据所述第三空间信息将对应的历史感知元素投影至所述历史检测图像中，得到多个历史感知元素在所述历史检测图像上的像素位置集合；根据预设的特征提取网络对所述历史检测图像进行图像特征提取，得到所述历史检测图像对应的图像特征；基于所述历史检测图像对应的图像特征和所述像素位置集合，计算对应的历史感知元素的图像特征；基于自注意力机制对多个所述历史感知元素的图像特征进行信息融合，得到所述历史感知元素的第四空间信息；基于所述真实空间信息和所述第四空间信息，计算预设的损失函数，得到损失函数值；判断所述损失函数值是否大于预设的损失阈值；若是，则根据所述损失函数值对所述特征提取网络和所述自注意力机制的网络参数进行调整，并通过调整后的特征提取网络和自注意力机制根据输入的历史检测图像和历史感知元素重复计算所述损失函数，直至所述损失函数值小于或等于所述损失阈值；若否，则根据所述特征提取网络和所述自注意力机制的网络参数得到空间信息调整模型。
10.可选的，在本发明第一方面的第六种实现方式中，所述损失函数包括相对关系损失函数和/或直接损失函数；所述基于所述真实空间信息和所述第四空间信息，计算预设的损失函数，得到损失函数值包括：根据所述真实空间信息，计算多个所述历史感知元素的相对关系真值；根据所述第四空间信息，计算多个所述历史感知元素的相对关系预测值；根据所述真实空间信息和所述第四空间信息，计算所述直接损失函数和/或根据多个所述历史感知元素的相对关系预测值和所述相对关系真值，计算所述相对关系损失函数。
11.本发明第二方面提供了一种感知元素相对关系检测装置，包括：获取模块，用于获取相机拍摄的待检测图像以及同一时刻传感器检测的多个感知元素的第一空间信息；调整模块，用于将所述待检测图像以及对应的多个所述感知元素的第一空间信息输入预设的空间信息调整模型，得到多个所述感知元素的第二空间信息；计算模块，用于基于所述第二空
间信息，计算多个所述感知元素之间的相对关系预测值。
12.可选的，在本发明第二方面的第一种实现方式中，所述调整模块具体包括：特征提取单元，用于将待检测图像以及对应的多个感知元素的第一空间信息输入预设的空间信息调整模型，通过所述空间信息调整模型对所述待检测图像进行特征提取，得到所述待检测图像的图像特征；投影单元，用于通过所述空间信息调整模型根据所述第一空间信息将对应的感知元素投影至所述待检测图像，得到所述多个感知元素在所述待检测图像中对应的像素位置集合；位置调整单元，用于基于所述图像特征和所述像素位置集合对所述感知元素的第一空间信息进行调整，得到对应的第二空间信息。
13.可选的，在本发明第二方面的第二种实现方式中，所述空间信息调整模型包括特征提取网络，所述特征提取网络包括卷积神经网络和特征金字塔网络；所述特征提取单元具体用于：将所述待检测图像输入预设的空间信息调整模型，通过所述空间信息调整模型中的卷积神经网络对所述待检测图像进行卷积和池化操作，得到不同深度的特征图；通过所述特征金字塔网络对所述特征图进行特征融合，得到融合特征图，并将所述融合特征图作为所述待检测图像的图像特征。
14.可选的，在本发明第二方面的第三种实现方式中，所述第一空间信息位于预设的世界坐标系上；所述投影单元具体用于：获取所述相机的内参信息和外参信息，并基于所述内参信息和所述外参信息分别得到所述相机的内参矩阵和外参矩阵；根据所述内参矩阵，将各感知元素的第一空间信息从所述世界坐标系转换至所述相机的相机坐标系上；根据所述外参矩阵，将所述相机坐标系上的第一空间信息转换成所述待检测图像的图像坐标系上的像素位置坐标；将各感知元素对应的所有像素位置坐标进行汇总，得到各感知元素在所述待检测图像中对应的像素位置集合。
15.可选的，在本发明第二方面的第四种实现方式中，所述位置调整单元具体用于：基于所述待检测图像的图像特征和所述像素位置集合计算对应的感知元素在所述待检测图像中的图像特征；基于预设的自注意力机制，将所有所述感知元素的图像特征进行信息融合，计算各感知元素的空间偏移量；基于所述空间偏移量对对应的第一空间信息进行调整，得到对应的第二偏移量。
16.可选的，在本发明第二方面的第五种实现方式中，所述感知元素相对关系检测装置还包括模型训练模块，所述模型训练模块具体用于：获取相机拍摄的多张历史检测图像、所述历史检测图像拍摄的同一时刻传感器检测的多个历史感知元素的第三空间信息以及所述历史感知元素的真实空间信息；根据所述第三空间信息将对应的历史感知元素投影至所述历史检测图像中，得到多个历史感知元素在所述历史检测图像上的像素位置集合；根据预设的特征提取网络对所述历史检测图像进行图像特征提取，得到所述历史检测图像对应的图像特征；基于所述历史检测图像对应的图像特征和所述像素位置集合，计算对应的历史感知元素的图像特征；基于自注意力机制对多个所述历史感知元素的图像特征进行信息融合，得到所述历史感知元素的第四空间信息；基于所述真实空间信息和所述第四空间信息，计算预设的损失函数，得到损失函数值；判断所述损失函数值是否大于预设的损失阈值；若是，则根据所述损失函数值对所述特征提取网络和所述自注意力机制的网络参数进行调整，并通过调整后的特征提取网络和自注意力机制根据输入的历史检测图像和历史感知元素重复计算所述损失函数，直至所述损失函数值小于或等于所述损失阈值；若否，则根
据所述特征提取网络和所述自注意力机制的网络参数得到空间信息调整模型。
17.可选的，在本发明第二方面的第六种实现方式中，所述损失函数包括相对关系损失函数和/或直接损失函数；所述模型训练模块具体还用于：根据所述真实空间信息，计算多个所述历史感知元素的相对关系真值；根据所述第四空间信息，计算多个所述历史感知元素的相对关系预测值；根据所述真实空间信息和所述第四空间信息，计算所述直接损失函数和/或根据多个所述历史感知元素的相对关系预测值和所述相对关系真值，计算所述相对关系损失函数。
18.本发明第三方面提供了一种感知元素相对关系检测设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述感知元素相对关系检测设备执行上述的感知元素相对关系检测方法的步骤。
19.本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的感知元素相对关系检测方法的步骤。
20.本发明的技术方案中，通过获取相机拍摄的待检测图像以及同一时刻传感器检测的多个感知元素的第一空间信息；将所述待检测图像以及对应的多个所述感知元素的第一空间信息输入预设的空间信息调整模型，得到多个所述感知元素的第二空间信息；基于所述第二空间信息，计算多个所述感知元素之间的相对关系预测值。本方法设计了一个新型的神经网络架构，能够直接利用图像信息捕捉感知元素之间的相对关系。同时直接对相对关系本身建模进行监督，从而保证输出结果中相对关系的正确性，可以解决由于内生的位置估计误差，造成的感知元素之间相对关系的不稳定性问题。
附图说明
21.图1为本发明实施例中感知元素相对关系检测方法的第一个实施例示意图；
22.图2为本发明实施例中感知元素相对关系检测方法的第二个实施例示意图；
23.图3为本发明实施例中感知元素相对关系检测装置的一个实施例示意图；
24.图4为本发明实施例中感知元素相对关系检测装置的另一个实施例示意图；
25.图5为本发明实施例中感知元素相对关系检测设备的一个实施例示意图。
具体实施方式
26.本技术实施例提供了一种感知元素相对关系检测方法、装置、设备及存储介质，用于解决现有的自动驾驶感知系统由于3d位置估计的内生不准确性导致物体相对关系不准确的技术问题。
27.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设
备固有的其它步骤或单元。
28.为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中感知元素相对关系检测方法的第一个实施例包括：
29.101、获取相机拍摄的待检测图像以及同一时刻传感器检测的多个感知元素的第一空间信息；
30.可以理解的是，本发明的执行主体可以为感知元素相对关系检测装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
31.在实际应用中，相机工艺成熟，稳定，造价低廉，信息丰富，使得相机成为无人驾驶感知的重要传感元件，和激光点云相比，相机图像能够提供更为丰富的细节、纹理信息，相机拍摄的对象主要为需要使用点云进行表示的区域，例如可以是城市道路环境中包含车辆、行人、交通指示标识或广告牌的任意区域等，在自动驾驶过程中，相机拍摄的区域，为车辆前方的视野区域，在本实施例中，相机拍摄的结果为需要检测的待检测图像。
32.在本实施例中，在自动驾驶的过程中，除了使用相机进行检测外，还会使用其他的传感器对自动驾驶车辆的周围环境进行检测，例如激光雷达向周围环境发射激光生成点云数据，上游通过点云数据对作为环境中的物体进行检测，其中，环境中的物体即为感知元素，例如路灯杆、交通牌、车道线以及前方车辆等，自动驾驶感知系统在确定感知元素的同时通过点云数据进行感知元素的3d位置估计，得到感知元素的第一空间信息。
33.102、将待检测图像以及对应的多个感知元素的第一空间信息输入预设的空间信息调整模型，得到多个感知元素的第二空间信息；
34.在实际应用中，自动驾驶车辆会对获取的感知元素之间的相对关系进行检测，但是由于自动驾驶感知系统中3d位置估计的内生不准确性，可能造成输出物体的相对位置与真值之间产生误差，所以需要通过消除感知元素的位置关系的不准确，进而提高对感知元素相对关系检测的准确度，本实施例通过预设的空间信息调整模型对输入的感知元素的第一空间信息进行调整，准确度较高的第二空间信息。
35.在本实施例中，所述空间调整模型的模型训练过程如下：获取相机拍摄的多张历史检测图像、所述历史检测图像拍摄的同一时刻传感器检测的多个历史感知元素的第三空间信息以及所述历史感知元素的真实空间信息；根据所述第三空间信息将对应的历史感知元素投影至所述历史检测图像中，得到多个历史感知元素在所述历史检测图像上的像素位置集合；根据预设的特征提取网络对所述历史检测图像进行图像特征提取，得到所述历史检测图像对应的图像特征；基于所述历史检测图像对应的图像特征和所述像素位置集合，计算对应的历史感知元素的图像特征；基于自注意力机制对多个所述历史感知元素的图像特征进行信息融合，得到所述历史感知元素的第四空间信息；基于所述真实空间信息和所述第四空间信息，计算预设的损失函数，得到损失函数值；判断所述损失函数值是否大于预设的损失阈值；若是，则根据所述损失函数值对所述特征提取网络和所述自注意力机制的网络参数进行调整，并通过调整后的特征提取网络和自注意力机制根据输入的历史检测图像和历史感知元素重复计算所述损失函数，直至所述损失函数值小于或等于所述损失阈值；若否，则根据所述特征提取网络和所述自注意力机制的网络参数得到空间信息调整模型。
36.具体的，损失函数包括相对关系损失函数和/或直接损失函数，其中，直接损失函
数的计算是为了使每一个感知元素的输出仍然保证与真实值的接近，相对关系损失函数的计算是为了使输出的感知元素的相对位置关系与真实的相对位置关系近似，基于所述真实空间信息和所述第四空间信息，计算预设的损失函数，得到损失函数值主要是通过根据所述真实空间信息，计算多个所述历史感知元素的相对关系真值；根据所述第四空间信息，计算多个所述历史感知元素的相对关系预测值；根据所述真实空间信息和所述第四空间信息，计算所述直接损失函数和/或根据多个所述历史感知元素的相对关系预测值和所述相对关系真值，计算所述相对关系损失函数。
37.在本实施例中，在进行相对关系损失函数计算前，会对输入的不同感知元素进行判断，决定哪些相对关系会输入相对关系损失函数中，例如相距大于预设距离的两个感知元素，它们的相对关系将不输入相对关系损失函数中进行计算。
38.103、基于第二空间信息，计算多个感知元素之间的相对关系预测值。
39.在本实施例中，所述第二空间信息为自动驾驶感知系统生成的三维空间中的空间位置，可以是在空间中的坐标位置等，通过感知元素的坐标位置计算两感知元素的距离、两感知元素的相对位置方向和夹角等，将上述计算得到的结果作为两感知元素之间的相对关系预测值。
40.在本实施例中，通过获取相机拍摄的待检测图像以及同一时刻传感器检测的多个感知元素的第一空间信息；将所述待检测图像以及对应的多个所述感知元素的第一空间信息输入预设的空间信息调整模型，得到多个所述感知元素的第二空间信息；基于所述第二空间信息，计算多个所述感知元素之间的相对关系预测值。本方法设计了一个新型的神经网络架构，能够直接利用图像信息捕捉感知元素之间的相对关系。同时直接对相对关系本身建模进行监督，从而保证输出结果中相对关系的正确性，可以解决由于内生的位置估计误差，造成的感知元素之间相对关系的不稳定性问题。
41.请参阅图2，本发明实施例中感知元素相对关系检测方法的第二个实施例包括：
42.201、获取相机拍摄的待检测图像以及同一时刻传感器检测的多个感知元素的第一空间信息；
43.202、将待检测图像输入预设的空间信息调整模型，通过空间信息调整模型中的卷积神经网络对待检测图像进行卷积和池化操作，得到不同深度的特征图；
44.203、通过特征金字塔网络对特征图进行特征融合，得到融合特征图，并将融合特征图作为待检测图像的图像特征；
45.在本实施例中，使用卷积神经网络(如残差神经网络)和特征金字塔网络提取多尺度的图像特征f，特征大小为n x h x w x c,其中n为批尺寸，h为高，w为宽，c为通道数。
46.204、获取相机的内参信息和外参信息，并基于内参信息和外参信息分别得到相机的内参矩阵和外参矩阵；
47.205、根据内参矩阵，将各感知元素的第一空间信息从世界坐标系转换至相机的相机坐标系上；
48.206、根据外参矩阵，将相机坐标系上的第一空间信息转换成待检测图像的图像坐标系上的像素位置坐标；
49.207、将各感知元素对应的所有像素位置坐标进行汇总，得到各感知元素在待检测图像中对应的像素位置集合；
50.在实际应用中，每个摄像机都需要标定。相机的标定是指将三维世界中的[x，y，z]坐标的三维点转换为具有[x，y]坐标的二维像素，为了相机标定，需要通过相机坐标系计算世界坐标点到像素坐标的变换关系，在实际应用中，从世界坐标系到相机坐标的转换称为外参标定，外部参数称为r(旋转矩阵)和t(平移矩阵)，从摄像机坐标到像素坐标的转换称为内参标定，它获取的是相机的内部参数，如焦距、光心等，对于输入的感知元素(如障碍物，车道线等)，根据的空间中的位置，以及相机的内、外参信息，能够计算得到图像上对应的像素位置集合。
[0051]
208、基于待检测图像的图像特征和像素位置集合计算对应的感知元素在待检测图像中的图像特征；
[0052]
在本实施例中，对于每一个感知元素，根据对应图像的图像位置信息，可以从图像中得到该感知元素对应的图像特征，图像特征的张量p的大小为n x k xc。其中k表示感知元素的个数，c表示特征维度。
[0053]
209、基于预设的自注意力机制，将所有感知元素的图像特征进行信息融合，计算各感知元素的空间偏移量；
[0054]
210、基于空间偏移量对对应的第一空间信息进行调整，得到对应的第二偏移量；
[0055]
在本实施例中，使用自注意力机制进行信息融合。使得各个感知元素能够获取其他感知元素的特征和相关关系信息。最后，输出每一个感知元素的偏移量，得到经过网络微调后的感知元素位置输出。
[0056]
211、基于第二空间信息，计算多个感知元素之间的相对关系预测值。
[0057]
本实施例在上一实施例的基础上，详细描述了将所述待检测图像以及对应的多个所述感知元素的第一空间信息输入预设的空间信息调整模型，得到多个所述感知元素的第二空间信息的过程，通过将待检测图像以及对应的多个感知元素的第一空间信息输入预设的空间信息调整模型，通过所述空间信息调整模型对所述待检测图像进行特征提取，得到所述待检测图像的图像特征；通过所述空间信息调整模型根据所述第一空间信息将对应的感知元素投影至所述待检测图像，得到所述多个感知元素在所述待检测图像中对应的像素位置集合；基于所述图像特征和所述像素位置集合对所述感知元素的第一空间信息进行调整，得到对应的第二空间信息，本方法设计了一个新型的神经网络架构，能够直接利用图像信息捕捉感知元素之间的相对关系。同时直接对相对关系本身建模进行监督，从而保证输出结果中相对关系的正确性，可以解决由于内生的位置估计误差，造成的感知元素之间相对关系的不稳定性问题。
[0058]
上面对本发明实施例中感知元素相对关系检测方法进行了描述，下面对本发明实施例中感知元素相对关系检测装置进行描述，请参阅图3，本发明实施例中感知元素相对关系检测装置一个实施例包括：
[0059]
获取模块301，用于获取相机拍摄的待检测图像以及同一时刻传感器检测的多个感知元素的第一空间信息；
[0060]
调整模块302，用于将所述待检测图像以及对应的多个所述感知元素的第一空间信息输入预设的空间信息调整模型，得到多个所述感知元素的第二空间信息；
[0061]
计算模块303，用于基于所述第二空间信息，计算多个所述感知元素之间的相对关系预测值。
[0062]
本发明实施例中，所述感知元素相对关系检测装置运行上述感知元素相对关系检测方法，所述感知元素相对关系检测装置通过获取相机拍摄的待检测图像以及同一时刻传感器检测的多个感知元素的第一空间信息；将所述待检测图像以及对应的多个所述感知元素的第一空间信息输入预设的空间信息调整模型，得到多个所述感知元素的第二空间信息；基于所述第二空间信息，计算多个所述感知元素之间的相对关系预测值。本方法设计了一个新型的神经网络架构，能够直接利用图像信息捕捉感知元素之间的相对关系。同时直接对相对关系本身建模进行监督，从而保证输出结果中相对关系的正确性，可以解决由于内生的位置估计误差，造成的感知元素之间相对关系的不稳定性问题。
[0063]
请参阅图4，本发明实施例中感知元素相对关系检测装置的第二个实施例包括：
[0064]
获取模块301，用于获取相机拍摄的待检测图像以及同一时刻传感器检测的多个感知元素的第一空间信息；
[0065]
调整模块302，用于将所述待检测图像以及对应的多个所述感知元素的第一空间信息输入预设的空间信息调整模型，得到多个所述感知元素的第二空间信息；
[0066]
计算模块303，用于基于所述第二空间信息，计算多个所述感知元素之间的相对关系预测值。
[0067]
在本实施例中，所述调整模块302具体包括：特征提取单元3021，用于将待检测图像以及对应的多个感知元素的第一空间信息输入预设的空间信息调整模型，通过所述空间信息调整模型对所述待检测图像进行特征提取，得到所述待检测图像的图像特征；投影单元3022，用于通过所述空间信息调整模型根据所述第一空间信息将对应的感知元素投影至所述待检测图像，得到所述多个感知元素在所述待检测图像中对应的像素位置集合；位置调整单元3023，用于基于所述图像特征和所述像素位置集合对所述感知元素的第一空间信息进行调整，得到对应的第二空间信息。
[0068]
在本实施例中，所述空间信息调整模型包括特征提取网络，所述特征提取网络包括卷积神经网络和特征金字塔网络；所述特征提取单元3021具体用于：将所述待检测图像输入预设的空间信息调整模型，通过所述空间信息调整模型中的卷积神经网络对所述待检测图像进行卷积和池化操作，得到不同深度的特征图；通过所述特征金字塔网络对所述特征图进行特征融合，得到融合特征图，并将所述融合特征图作为所述待检测图像的图像特征。
[0069]
在本实施例中，所述第一空间信息位于预设的世界坐标系上；所述投影单元3022具体用于：获取所述相机的内参信息和外参信息，并基于所述内参信息和所述外参信息分别得到所述相机的内参矩阵和外参矩阵；根据所述内参矩阵，将各感知元素的第一空间信息从所述世界坐标系转换至所述相机的相机坐标系上；根据所述外参矩阵，将所述相机坐标系上的第一空间信息转换成所述待检测图像的图像坐标系上的像素位置坐标；将各感知元素对应的所有像素位置坐标进行汇总，得到各感知元素在所述待检测图像中对应的像素位置集合。
[0070]
在本实施例中，所述位置调整单元3023具体用于：基于所述待检测图像的图像特征和所述像素位置集合计算对应的感知元素在所述待检测图像中的图像特征；基于预设的自注意力机制，将所有所述感知元素的图像特征进行信息融合，计算各感知元素的空间偏移量；基于所述空间偏移量对对应的第一空间信息进行调整，得到对应的第二偏移量。
[0071]
在本实施例中，所述感知元素相对关系检测装置还包括模型训练模块304，所述模型训练模块304具体用于：获取相机拍摄的多张历史检测图像、所述历史检测图像拍摄的同一时刻传感器检测的多个历史感知元素的第三空间信息以及所述历史感知元素的真实空间信息；根据所述第三空间信息将对应的历史感知元素投影至所述历史检测图像中，得到多个历史感知元素在所述历史检测图像上的像素位置集合；根据预设的特征提取网络对所述历史检测图像进行图像特征提取，得到所述历史检测图像对应的图像特征；基于所述历史检测图像对应的图像特征和所述像素位置集合，计算对应的历史感知元素的图像特征；基于自注意力机制对多个所述历史感知元素的图像特征进行信息融合，得到所述历史感知元素的第四空间信息；基于所述真实空间信息和所述第四空间信息，计算预设的损失函数，得到损失函数值；判断所述损失函数值是否大于预设的损失阈值；若是，则根据所述损失函数值对所述特征提取网络和所述自注意力机制的网络参数进行调整，并通过调整后的特征提取网络和自注意力机制根据输入的历史检测图像和历史感知元素重复计算所述损失函数，直至所述损失函数值小于或等于所述损失阈值；若否，则根据所述特征提取网络和所述自注意力机制的网络参数得到空间信息调整模型。
[0072]
在本实施例中，所述损失函数包括相对关系损失函数和/或直接损失函数；所述模型训练模块304具体还用于：根据所述真实空间信息，计算多个所述历史感知元素的相对关系真值；根据所述第四空间信息，计算多个所述历史感知元素的相对关系预测值；根据所述真实空间信息和所述第四空间信息，计算所述直接损失函数和/或根据多个所述历史感知元素的相对关系预测值和所述相对关系真值，计算所述相对关系损失函数。
[0073]
在本实施中，详细说明了感知元素相对关系检测装置的各模块的具体功能和部分模块的单元构成，通过本装置的各模块和各单元，预先通过历史检测图像和历史感知元素进行模型训练，该模型通过设计了一个新型的神经网络架构，能够直接利用图像信息捕捉感知元素之间的相对关系。同时直接对相对关系本身建模进行监督，从而保证输出结果中相对关系的正确性，可以解决由于内生的位置估计误差，造成的感知元素之间相对关系的不稳定性问题。
[0074]
上面图3和图4从模块化功能实体的角度对本发明实施例中的中感知元素相对关系检测装置进行详细描述，下面从硬件处理的角度对本发明实施例中感知元素相对关系检测设备进行详细描述。
[0075]
图5是本发明实施例提供的一种感知元素相对关系检测设备的结构示意图，该感知元素相对关系检测设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对感知元素相对关系检测设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在感知元素相对关系检测设备500上执行存储介质530中的一系列指令操作，以实现上述感知元素相对关系检测方法的步骤。
[0076]
感知元素相对关系检测设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上
操作系统531，例如windows serve，mac os x，unix，linux，freebsd等等。本领域技术人员可以理解，图5示出的感知元素相对关系检测设备结构并不构成对本技术提供的感知元素相对关系检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0077]
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述感知元素相对关系检测方法的步骤。
[0078]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0079]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0080]
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
技术特征：1.一种感知元素相对关系检测方法，其特征在于，所述感知元素相对关系检测方法包括：获取相机拍摄的待检测图像以及同一时刻传感器检测的多个感知元素的第一空间信息；将所述待检测图像以及对应的多个所述感知元素的第一空间信息输入预设的空间信息调整模型，得到多个所述感知元素的第二空间信息；基于所述第二空间信息，计算多个所述感知元素之间的相对关系预测值。2.根据权利要求1所述的感知元素相对关系检测方法，其特征在于，所述将待检测图像以及对应的多个感知元素的第一空间信息输入预设的空间信息调整模型，得到多个所述感知元素的第二空间信息包括：将待检测图像以及对应的多个感知元素的第一空间信息输入预设的空间信息调整模型，通过所述空间信息调整模型对所述待检测图像进行特征提取，得到所述待检测图像的图像特征；通过所述空间信息调整模型根据所述第一空间信息将对应的感知元素投影至所述待检测图像，得到所述多个感知元素在所述待检测图像中对应的像素位置集合；基于所述图像特征和所述像素位置集合对所述感知元素的第一空间信息进行调整，得到对应的第二空间信息。3.根据权利要求2所述的感知元素相对关系检测方法，其特征在于，所述空间信息调整模型包括特征提取网络，所述特征提取网络包括卷积神经网络和特征金字塔网络；所述将待检测图像以及对应的多个感知元素的第一空间信息输入预设的空间信息调整模型，通过所述空间信息调整模型对所述待检测图像进行特征提取，得到所述待检测图像的图像特征包括：将所述待检测图像输入预设的空间信息调整模型，通过所述空间信息调整模型中的卷积神经网络对所述待检测图像进行卷积和池化操作，得到不同深度的特征图；通过所述特征金字塔网络对所述特征图进行特征融合，得到融合特征图，并将所述融合特征图作为所述待检测图像的图像特征。4.根据权利要求2所述的感知元素相对关系检测方法，其特征在于，所述第一空间信息位于预设的世界坐标系上；所述通过所述空间信息调整模型根据所述第一空间信息将对应的感知元素投影至所述待检测图像，得到所述多个感知元素在所述待检测图像中对应的像素位置集合包括：获取所述相机的内参信息和外参信息，并基于所述内参信息和所述外参信息分别得到所述相机的内参矩阵和外参矩阵；根据所述内参矩阵，将各感知元素的第一空间信息从所述世界坐标系转换至所述相机的相机坐标系上；根据所述外参矩阵，将所述相机坐标系上的第一空间信息转换成所述待检测图像的图像坐标系上的像素位置坐标；将各感知元素对应的所有像素位置坐标进行汇总，得到各感知元素在所述待检测图像中对应的像素位置集合。5.根据权利要求2所述的感知元素相对关系检测方法，其特征在于，所述基于所述图像
特征和所述像素位置集合对所述感知元素的第一空间信息进行调整，得到对应的第二空间信息包括：基于所述待检测图像的图像特征和所述像素位置集合计算对应的感知元素在所述待检测图像中的图像特征；基于预设的自注意力机制，将所有所述感知元素的图像特征进行信息融合，计算各感知元素的空间偏移量；基于所述空间偏移量对对应的第一空间信息进行调整，得到对应的第二偏移量。6.根据权利要求1-5中任一项所述的感知元素相对关系检测方法，其特征在于，所述空间信息调整模型通过以下步骤训练得到：获取相机拍摄的多张历史检测图像、所述历史检测图像拍摄的同一时刻传感器检测的多个历史感知元素的第三空间信息以及所述历史感知元素的真实空间信息；根据所述第三空间信息将对应的历史感知元素投影至所述历史检测图像中，得到多个历史感知元素在所述历史检测图像上的像素位置集合；根据预设的特征提取网络对所述历史检测图像进行图像特征提取，得到所述历史检测图像对应的图像特征；基于所述历史检测图像对应的图像特征和所述像素位置集合，计算对应的历史感知元素的图像特征；基于自注意力机制对多个所述历史感知元素的图像特征进行信息融合，得到所述历史感知元素的第四空间信息；基于所述真实空间信息和所述第四空间信息，计算预设的损失函数，得到损失函数值；判断所述损失函数值是否大于预设的损失阈值；若是，则根据所述损失函数值对所述特征提取网络和所述自注意力机制的网络参数进行调整，并通过调整后的特征提取网络和自注意力机制根据输入的历史检测图像和历史感知元素重复计算所述损失函数，直至所述损失函数值小于或等于所述损失阈值；若否，则根据所述特征提取网络和所述自注意力机制的网络参数得到空间信息调整模型。7.根据权利要求6所述的感知元素相对关系检测方法，其特征在于，所述损失函数包括相对关系损失函数和/或直接损失函数；所述基于所述真实空间信息和所述第四空间信息，计算预设的损失函数，得到损失函数值包括：根据所述真实空间信息，计算多个所述历史感知元素的相对关系真值；根据所述第四空间信息，计算多个所述历史感知元素的相对关系预测值；根据所述真实空间信息和所述第四空间信息，计算所述直接损失函数和/或根据多个所述历史感知元素的相对关系预测值和所述相对关系真值，计算所述相对关系损失函数。8.一种感知元素相对关系检测装置，其特征在于，所述感知元素相对关系检测装置包括：获取模块，用于获取相机拍摄的待检测图像以及同一时刻传感器检测的多个感知元素的第一空间信息；调整模块，用于将所述待检测图像以及对应的多个所述感知元素的第一空间信息输入
预设的空间信息调整模型，得到多个所述感知元素的第二空间信息；计算模块，用于基于所述第二空间信息，计算多个所述感知元素之间的相对关系预测值。9.一种感知元素相对关系检测设备，其特征在于，所述感知元素相对关系检测设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述感知元素相对关系检测设备执行如权利要求1-7中任一项所述的感知元素相对关系检测方法的步骤。10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的感知元素相对关系检测方法的步骤。
技术总结本发明涉及人工智能领域，公开了一种感知元素相对关系检测方法、装置、设备及存储介质，该方法包括：获取相机拍摄的待检测图像以及同一时刻传感器检测的多个感知元素的第一空间信息；将所述待检测图像以及对应的多个所述感知元素的第一空间信息输入预设的空间信息调整模型，得到多个所述感知元素的第二空间信息；基于所述第二空间信息，计算多个所述感知元素之间的相对关系预测值。本方法设计了一个新型的神经网络架构，能够直接利用图像信息捕捉感知元素之间的相对关系。同时直接对相对关系本身建模进行监督，从而保证输出结果中相对关系的正确性，可以解决由于内生的位置估计误差，造成的感知元素之间相对关系的不稳定性问题。题。题。
技术研发人员：郭湘 陈连胜 韩文韬 何钦尧 韩旭
受保护的技术使用者：广州文远知行科技有限公司
技术研发日：2022.05.20
技术公布日：2022/11/1
