1.本技术实施例涉及图像处理技术领域，尤其涉及一种目标对象的运动轨迹确定方法及装置。
背景技术：2.智能化是如今汽车行业发展的重要趋势之一，其应用覆盖包括高速、城市以及泊车在内的多种复杂驾驶场景。就交通场景参与目标而言，准确跟踪与预测其运动轨迹，将能够有效解决各类智能驾驶系统所存在的部分困难“长尾问题”，如车辆变道、紧急制动以及行人横穿等。
技术实现要素：3.本技术提供一种目标对象的运动轨迹确定方法及装置，用于准确跟踪并预测目标对象的运动轨迹，提升车辆行驶过程中的智能性与安全性。
4.第一方面，本技术实施例提供一种目标对象的运动轨迹确定方法，该方法包括：基于采集的当前视频帧和所述当前视频帧之前的前序视频帧，确定各目标对象；针对所述各目标对象中的任一目标对象，根据所述目标对象在所述当前视频帧中的图像信息，确定所述目标对象的几何信息；将所述几何信息通过空间坐标系下的投影和相机坐标系下的位置的一致性关系，确定出在所述当前视频帧所在时刻下所述目标对象的当前空间位置；根据所述目标对象的当前空间位置和所述目标对象的历史空间位置，确定所述目标对象在后续时刻的预测空间位置。
5.上述方案中，对于车辆在道路上行驶的场景，在后的车辆通过自身配置的车载设备采集前方路面信息，通过对当前所采集的路面信息和距离当前时间不久的更早一点时间所采集的路面信息的分析，可以确定出与该车辆存在行驶关系的各目标对象，接着针对任一目标对象，将可以根据它在当前视频帧中的图像信息而确定出它的几何信息，紧接着将几何信息通过空间坐标系下的投影和相机坐标系下的位置的一致性关系，将可以得到目标对象在当前的空间位置，最后根据目标对象在当前的空间位置和历史时刻的空间位置，将可以预测出目标对象在后续时刻的空间位置。该方式基于图像时序纹理相关性及路面目标运动学模型，可准确跟踪视觉场景目标轨迹；基于待预测目标与其周围目标三维空间位置与运动关系，通过时序长短期记忆网络可准确预测目标未来特定时间片段内的运动轨迹，为后续自身车辆驾驶行为决策提供重要依据。
6.在一种可能实现的方法中，所述基于采集的当前视频帧和所述当前视频帧之前的前序视频帧，确定各目标对象，包括：对采集的任一视频帧进行目标检测；若确定当前视频帧中的第一目标检测结果和采集时间位于所述当前视频帧之前的前一帧视频帧中的第二目标检测结果的区域重合度满足第一设定阈值，则确定所述第一目标检测结果为目标对象；否则，则确定所述第一目标检测结果的第一特征描述和所述第二目标检测结果的第二特征描述的相关性匹配置信度；若所述相关性匹配置信度满足第二设定阈值，则确定所述
第一目标检测结果为目标对象。上述方案中，通过结合同一目标检测结果在当前视频帧与前一帧视频帧中的区域重合度以及二者的相关性匹配置信度，将可以准确地判定经目标检测的同一目标检测结果是否真的为同一目标对象。该方式通过先进行目标对象的准确跟踪，如此对于预测目标对象在后续时刻的运动轨迹具有重要意义。
7.在一种可能实现的方法中，所述相关性匹配置信度是通过基于二进制交叉熵的权重损失函数和目标对象所属类别的类别中心损失函数确定的。
8.上述方案中，基于同一目标检测结果在当前视频帧中的第一特征描述与在前一帧视频帧中的第二特征描述而确定二者间的相关性匹配置信度时，通过基于二进制交叉熵权重损失函数和目标对象所属类别的类别中心损失函数共同确定第一特征描述与第二特征描述间的相关性匹配置信度，这对于准确确定经目标检测的同一目标检测结果是否真的为同一目标对象具有重要意义。
9.在一种可能实现的方法中，所述各目标对象中包括车辆；所述根据所述目标对象在所述当前视频帧中的图像信息，确定所述目标对象的几何信息，包括：针对所述各目标对象中的任一目标车辆，通过卷积神经网络的第一主干和第二主干分别对所述目标车辆的图像信息进行处理，分别得到所述目标车辆的第一几何信息和第二几何信息；所述第一几何信息包括所述目标车辆的尾部信息、所述目标车辆的朝向信息、所述目标车辆的关键点在所述当前视频帧中的位置信息，所述第二几何信息包括所述目标车辆的深度信息和所述目标车辆的尺寸信息。
10.上述方案中，在根据目标对象在当前视频帧中的图像信息而确定目标对象的几何信息时，考虑到不同目标语义之间存在较强的相关性，故在多任务训练框架下设计共享主干特征的几何分析网络，其中，车辆的尾部信息、车辆的朝向信息和车辆关键点信息仅包含二维信息，因此可控制它们对应的子网络共享同一主干，车辆的深度信息和尺寸信息由于包含三维信息，因此可控制它们对应的子网络共享同一主干，如此可以提升对同一类型的几何信息的提取效率。
11.在一种可能实现的方法中，所述将所述几何信息通过空间坐标系下的投影和相机坐标系下的位置的一致性关系，确定出在所述当前视频帧所在时刻下所述目标对象的当前空间位置，包括：基于所述目标车辆的尾部信息得到所述目标车辆的车尾特征线，基于所述目标车辆的朝向信息得到所述目标车辆的朝向特征线；基于所述目标车辆的车尾特征线、所述目标车辆的朝向特征线、所述目标车辆的关键点在所述当前视频帧中的位置信息和所述目标车辆的尺寸信息，通过能量函数中对应的各个校正权重，得到所述目标车辆在所述当前视频帧所在时刻的当前空间位置。
12.上述方案中，在获取到目标车辆的若干种几何信息后，由于该些几何信息属于平面范畴的信息，因此通过将其转换为空间范畴的信息，方才可以为后续实现对目标车辆运动轨迹的预测提供有效的计算数据。该过程中，通过车辆的车尾、朝向、关键点和尺寸信息，并结合对各项数据进行校正的权重，将可以准确地定义出车辆当前的空间位置。
13.在一种可能实现的方法中，所述能量函数通过如下方式确定，包括：针对样本车辆，确定所述样本车辆的各车辆顶点在基于所述样本车辆的底面中心点构建的空间坐标系下的坐标；根据所述样本车辆的各车辆顶点在所述空间坐标系下的坐标，得到所述样本车辆的各车辆顶点在所述相机坐标系下的投影点坐标；确定所述各车辆顶点的投影点坐标与
所述各车辆顶点在所述相机坐标系下的坐标之间的各组对应关系；对于所述各组对应关系指示的所述样本车辆的同一车辆顶点，基于所述同一车辆顶点的偏差、所述样本车辆的尺寸偏差、所述样本车辆的朝向线偏差和所述样本车辆的车尾偏差，确定能量函数。
14.上述方案中，通过预先基于样本车辆而确定出能量函数，基于该能量函数，将可以实现基于车辆的几何信息而快速得到车辆的空间位置的信息。
15.在一种可能实现的方法中，所述根据所述目标对象的当前空间位置和所述目标对象的历史空间位置，确定所述目标对象在后续时刻的预测空间位置，包括：将所述目标对象的空间运动轨迹、所述目标对象的周边对象的空间运动轨迹及车道线信息，通过长短记忆神经网络lstm，确定所述目标对象在后续时刻的预测空间位置；所述目标对象的空间运动轨迹是通过所述目标对象的当前空间位置和所述目标对象的历史空间位置确定的；所述周边对象的空间运动轨迹是通过所述周边对象的当前空间位置和所述周边对象的历史空间位置确定的；所述周边对象为所述各目标对象中与所述目标对象满足距离阈值的目标对象。
16.上述方案中，通过对目标对象自身的空间运动轨迹、目标对象的周边对象的空间运动轨迹及车道线信息使用lstm处理，将可以更加准确地预测出目标对象在后续时刻的空间位置。
17.在一种可能实现的方法中，所述能量函数为：
[0018][0019]
其中，(x，y，x，θ，w，h，l)表示待优化的自由变量，表示第i个顶点pi在图片中投影点的横坐标或者纵坐标，ui表示根据对应关系从2d检测结果中得出的对应坐标值，di表示根据神经网络获取的车辆长宽高先验值，表示根据关键点和目标朝向确定的朝向线直线参数，其中表示直线的单位法向量，g表示在朝向线上目标点的集合，xk表示对应车尾特征线的点pk在图像中投影点的横坐标，x
rear
表示根据神经网络确定的车尾特征线的横坐标。wi，ρi，λi，β分别表示坐标投影误差项的权重系数、车辆尺寸误差项的权重系数、朝向线误差权重系数和车尾误差系数。
[0020]
第二方面，本技术实施例提供一种目标对象的运动轨迹确定装置，该装置包括：目标对象确定单元，用于基于采集的当前视频帧和所述当前视频帧之前的前序视频帧，确定各目标对象；运动轨迹预测单元，用于针对所述各目标对象中的任一目标对象，根据所述目标对象在所述当前视频帧中的图像信息，确定所述目标对象的几何信息；将所述几何信息通过空间坐标系下的投影和相机坐标系下的位置的一致性关系，确定出在所述当前视频帧所在时刻下所述目标对象的当前空间位置；根据所述目标对象的当前空间位置和所述目标对象的历史空间位置，确定所述目标对象在后续时刻的预测空间位置；所述能量函数是通过同一对象的几何信息在空间坐标系下的投影和在相机坐标系下的位置的一致性确定的。
[0021]
第三方面，本技术实施例提供了一种计算设备，包括：
[0022]
存储器，用于存储计算机程序；
[0023]
处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行如第一方面任一所述的方法。
[0024]
第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使计算机执行如第一方面任一所述的方法。
附图说明
[0025]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0026]
图1为本技术实施例提供的一种目标对象的运动轨迹确定方法的示意图；
[0027]
图2为本技术实施例提供的一种卷积神经网络的示意图；
[0028]
图3为本技术实施例提供的一种目标坐标系和相机坐标系的相对位置关系的示意图；
[0029]
图4为本技术实施例提供的一种目标坐标系的构建示意图；
[0030]
图5为本技术实施例提供的一种目标对象的运动轨迹确定装置的示意图；
[0031]
图6为本技术实施例提供的一种计算设备的示意图。
具体实施方式
[0032]
为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
[0033]
由于当前缺少对前方路面中的目标对象的跟踪以及其运动轨迹的预测，很大程度上容易造成路面驾驶过程中的“长尾问题”。
[0034]
针对上述技术问题，本技术提供一种目标对象的运动轨迹确定方法。基于该方式，在后车辆通过准确跟踪路面上的目标对象并预测其运动轨迹，对于在后车辆及时地规划、调整自身的驾驶进程提供了极大的便利。
[0035]
如图1所示，为本技术实施例提供的一种目标对象的运动轨迹确定方法的示意图，该方法包括以下步骤：
[0036]
步骤101，基于采集的当前视频帧和所述当前视频帧之前的前序视频帧，确定各目标对象。
[0037]
可选的，当前视频帧与前序视频帧是由行驶过程中的车辆采集的，具体是通过安装于车辆上的视频采集设备进行采集的；各目标对象为与采集视频帧的车辆存在行驶关系的各目标对象。
[0038]
车辆行驶过程并不限于车辆处于正在行驶的状态，还包括车辆临时停车的状态，如等待红绿灯的状态。通过在车辆上安装视频采集设备，所安装的视频采集设备可用于采集图像，从而形成视频流。其中，由于位于车辆前方区域的事物相对于行驶过程中的该车辆更加具有驾驶角度的指导意义，因此通过控制所安装的视频采集设备采集位于行驶过程中的该车辆前方区域的事物的图像并形成视频流，对于指导该车辆的安全驾驶具有重要意义。其中，在本技术中，通过控制视频采集设备实时地对车辆前方区域的事物进行采集，并
根据所采集得到的视频流中的当前一帧的视频帧和在该当前一帧的视频帧之前的各视频帧，将可以得到与该车辆存在行驶关系的各目标对象。其中，当前一帧的视频帧即为当前视频帧，当前一帧的视频帧之前的各视频帧即当前视频帧的前序视频帧。
[0039]
步骤102，针对所述各目标对象中的任一目标对象，根据所述目标对象在所述当前视频帧中的图像信息，确定所述目标对象的几何信息；将所述几何信息通过空间坐标系下的投影和相机坐标系下的位置的一致性关系，确定出在所述当前视频帧所在时刻下所述目标对象的当前空间位置；根据所述目标对象的当前空间位置和所述目标对象的历史空间位置，确定所述目标对象在后续时刻的预测空间位置；所述能量函数是通过同一对象的几何信息在空间坐标系下的投影和在相机坐标系下的位置的一致性确定的。
[0040]
在本步骤中，以各目标对象中的一个目标对象为例，将可以根据它在当前视频帧中的图像信息而确定出它的几何信息，紧接着将集合信息通过空间坐标系下的投影和相机坐标系下的位置的一致性关系，将可以得到该目标对象在当前的空间位置，最后根据该目标对象在当前的空间位置和历史时刻的空间位置，将可以预测出该目标对象在后续时刻的空间位置。该方式中在后车辆通过准确跟踪路面上的目标对象并预测其运动轨迹，对于在后车辆及时地规划、调整自身的驾驶进程提供了极大的便利。
[0041]
该方式基于图像时序纹理相关性及路面目标运动学模型，可准确跟踪视觉场景目标轨迹；基于待预测目标与其周围目标三维空间位置与运动关系，通过时序长短期记忆网络可准确预测目标未来特定时间片段内的运动轨迹，为后续自身车辆驾驶行为决策提供重要依据。
[0042]
以下将结合示例分别对上述一些步骤进行详细说明。
[0043]
在上述步骤101的一个实施中，所述基于采集的当前视频帧和所述当前视频帧之前的前序视频帧，确定各目标对象，包括：对采集的任一视频帧进行目标检测；若确定当前视频帧中的第一目标检测结果和采集时间位于所述当前视频帧之前的前一帧视频帧中的第二目标检测结果的区域重合度满足第一设定阈值，则确定所述第一目标检测结果为目标对象；否则，则确定所述第一目标检测结果的第一特征描述和所述第二目标检测结果的第二特征描述的相关性匹配置信度；若所述相关性匹配置信度满足第二设定阈值，则确定所述第一目标检测结果为目标对象。例如，对于安装在车辆上的视频采集设备所采集的视频流，本技术实施例可以实时地对视频流中的每一帧视频帧应用目标检测算法，通过目标检测算法，将可以有效检测出任一帧视频帧中的各个对象，任一个对象即为一个目标检测结果。其中，本技术中目标检测算法可以为目前业内使用的任一种目标检测算法，如yolo算法，本技术不对其进行限定也不加赘述。
[0044]
其中，本技术为了减少对数据量的计算和提升数据处理的效率，将根据视频采集设备当前采集的一帧视频帧(即当前视频帧)和位于当前视频帧之前的一帧视频帧，而对该两帧视频帧中的同一目标检测结果进行跟踪，以确定该两帧视频帧通过目标检测算法所识别出来的同一目标检测结果是否真的为同一目标检测结果。具体内容如下：
[0045]
首先，通过对当前视频帧使用目标检测算法，设通过目标检测算法，检测出当前视频帧中存在一车辆，设为车辆x，并设车辆x所在区域为区域area
j，t
；以及，通过对当前视频帧的前一帧视频帧应用目标检测算法，设通过目标检测算法，检测出该前一帧视频帧中也存在一车辆，并设为车辆x’，以及设车辆x’所在区域为区域area
i，t-1
。那么，在确定当前视频
帧中的车辆x是否就是前一帧视频帧中的车辆x’时，可先通过区域重合度计算方式进行计算，也即计算区域area
i，t
和区域area
i，t-1
的重合度c
i，t
，根据重合度c
i，t
匹配相应目标。其中，重合度c
j，t
的计算公式如下：
[0046][0047]
其中，若c
i，t
大于预设阈值，则表示时序相邻目标匹配成功，如可确定当前视频帧中的车辆x就是前一帧视频帧中的车辆x’；反之，则说明目标匹配失败，如可确定当前视频帧中的车辆x与前一帧视频帧中的车辆x’并非为同一辆车。
[0048]
接着，本技术中对于疑似的同一目标检测结果在相邻两帧视频帧通过上述区域重合度计算方式确认为匹配失败的情形，可通过下述方式再次进行计算，以确定二者究竟是否真的为同一目标检测结果。
[0049]
在本技术的某些实施中，所述相关性匹配置信度是通过基于二进制交叉熵的权重损失函数和目标对象所属类别的类别中心损失函数确定的。
[0050]
例如，对于基于区域重合度计算方式而确认匹配失败的疑似同一目标检测结果，可复用目标检测所使用的特征描述进行时序特征相关性匹配，利用双线性插值特征池化模块对前、后相邻视频帧对应的目标区域进行特征提取并拼接，获取目标的相关性匹配置信度，同时输出细化的目标框回归结果。训练过程中，采用基于二进制交叉熵的自适应权重损失lf和类别中心距离损失lc、以控制约束目标相关性匹配置信度，其损失函数如下：
[0051]
l
total
＝lf+αlc[0052]
其中，α表示超参，可用于调整两个损失的权重；lf表示自适应权重损失，可采用类似focal loss方式控制难易样本的损失比例；lc表示类别中心距离损失，可用来有效缩小多目标的类内距离。
[0053]
进一步的，本技术对于经以上两种方式中的任一种方式在应用时能匹配成功且目标框尺寸属于预设阈值范围内的无遮挡目标，可利用基于运动学的无轨卡尔曼滤波进行图像坐标下目标跟踪。其中，无轨卡尔曼滤波将基于特定运动学先验模型进行目标轨迹更新，并根据预设观测方程进行轨迹修正，该过程中所使用的状态空间方程如下：
[0054]
x
t+1
＝ax
t
+bu
t
+ω
t
[0055]yt+1
＝cx
t
+ρ
t
[0056]
其中，x为系统状态量，包括车辆的位置与位置变化信息，即[x，y，dx，dy]t；y为系统观测量，包括车辆的位置信息，即[x，y]t；ω，ρ分别为过程噪声和测量噪声。
[0057]
基于上述方法，先通过计算疑似的同一目标检测结果在相邻两帧视频帧中的区域重合度，由于视频采集设备的采集频率普遍较高，因此通过该种计算区域重合的方式对于自身位移改变量比较小的目标的跟踪效果比较好，比如路面上走路的行人；而对于路面上一些短时间内位移改变量极大的目标，如遭遇紧急刹车的车辆，那么应用该种区域重合度进行目标跟踪的方式，则效果不佳，对此，本技术中通过计算疑似的同一目标检测结果的相关性匹配置信度，则可以提升该场景下的目标跟踪的准确率。
[0058]
在上述步骤102的一个实施中，所述各目标对象中包括车辆；所述根据所述目标对象在所述当前视频帧中的图像信息，确定所述目标对象的几何信息，包括：针对所述各目标对象中的任一目标车辆，通过卷积神经网络的第一主干和第二主干分别对所述目标车辆的
图像信息进行处理，分别得到所述目标车辆的第一几何信息和第二几何信息；所述第一几何信息包括所述目标车辆的尾部信息、所述目标车辆的朝向信息、所述目标车辆的关键点在所述当前视频帧中的位置信息，所述第二几何信息包括所述目标车辆的深度信息和所述目标车辆的尺寸信息。
[0059]
例如，接着前述的例子，通过对视频采集设备采集的视频流中的当前视频帧和当前视频帧的前一帧视频帧中疑似的同一目标检测结果进行区域重合度或者相关性匹配置信度的计算，对于满足区域重合度要求或者满足相关性匹配置信度要求的目标检测结果，基于该目标检测结果在当前视频帧中的目标框，通过采用图2所示的卷积神经网络进行目标几何分析，其中，图2为本技术实施例提供的一种卷积神经网络的示意图，从而得到对应的几何语义和深度信息。其中：
[0060]
(1)、目标对象为车辆时，其几何语义分析可包括如下几项几何语义信息：车尾、朝向、车辆关键点在图像中的投影位置、车辆中心点在图像中投影位置、车辆的中心深度和车辆尺寸。其中，车辆关键点可以包括车辆上的22处关键点，分别为：1、左前车轮点；2右前车轮点；3左后车轮点；4右后车辆点；5左前大灯；6右前大灯；7前车牌中心点；8左前车顶点；9右前车顶点；10左后车顶点；11右后车顶点；12左后大灯；13右后大灯；14左后雾灯；15右后雾灯；16左后围板；17右后围板；18后车标；19后车牌中心点；20前车标；21左后视镜；22右后视镜。
[0061]
考虑到不同几何语义之间存在较强相关性，本技术可在多任务训练框架下设计共享主干特征的几何分析网络。其中由于车尾框、关键点、朝向和中心点只包含二维信息，因此它们对应的子网络将共享同一主干；车辆深度和车辆尺寸由于包含三维信息，因此它们对应的子网络将共享同一主干。
[0062]
(2)深度信息计算，采用基于视频流结构与运动恢复的无监督深度预测技术。假设存在当前帧k1和后一帧k2，视深网络输出包括相机从k1帧到k2帧的旋转矩阵r、平移量t和k1帧的场景深度d，在已知r、t和d基础上能够以线性插补方式从k2帧恢复k1帧，恢复后的k1帧记为k
′1。以k1和k
′1两帧之间存在的差异建立损失函数达到无监督训练视深网络的目的。训练过程中结合场景语义分析，去除场景中存在的运动目标。此外，通过联合训练场景视深子网络、目标深度和目标尺寸子网络，借助目标深度和目标尺寸自身固有的绝对尺寸信息，深度视深子网络能够成功预测出场景绝对视深。
[0063]
在上述步骤102的一个实施中，所述将所述几何信息通过空间坐标系下的投影和相机坐标系下的位置的一致性关系，确定出在所述当前视频帧所在时刻下所述目标对象的当前空间位置，包括：基于所述目标车辆的尾部信息得到所述目标车辆的车尾特征线，基于所述目标车辆的朝向信息得到所述目标车辆的朝向特征线；基于所述目标车辆的车尾特征线、所述目标车辆的朝向特征线、所述目标车辆的关键点在所述当前视频帧中的位置信息和所述目标车辆的尺寸信息，通过能量函数中对应的各个校正权重，得到所述目标车辆在所述当前视频帧所在时刻的当前空间位置。
[0064]
在本技术的某些实施中，所述能量函数通过如下方式确定，包括：针对样本车辆，确定所述样本车辆的各车辆顶点在基于所述样本车辆的底面中心点构建的空间坐标系下的坐标；根据所述样本车辆的各车辆顶点在所述空间坐标系下的坐标，得到所述样本车辆的各车辆顶点在所述相机坐标系下的投影点坐标；确定所述各车辆顶点的投影点坐标与所
述各车辆顶点在所述相机坐标系下的坐标之间的各组对应关系；对于所述各组对应关系指示的所述样本车辆的同一车辆顶点，基于所述同一车辆顶点的偏差、所述样本车辆的尺寸偏差、所述样本车辆的朝向线偏差和所述样本车辆的车尾偏差，确定能量函数。
[0065]
例如，通过抽象目标语义中存在的几何信息，在几何投影一致性基础上构造能量函数，通过迭代优化的方法求解目标对象的三维信息。
[0066]
如图3所示，为本技术实施例提供的一种目标坐标系和相机坐标系的相对位置关系的示意图，其中，以“c”作为标识的坐标系表示相机坐标系，以“o”作为标识的坐标系表示目标坐标系。明显的，同一目标对象在目标坐标系下的坐标与它在相机坐标系下的坐标将不同，因此有必要将目标对象在相机坐标系的坐标转换为在目标坐标系下的坐标，这对于描述目标对象的空间位置信息极为重要。
[0067]
在目标对象为车辆时，无需考虑车辆的侧滚角，也即车辆在相机坐标系下将存在偏航角θ、为常数α的俯仰角和为0的侧滚角。
[0068]
如图4所示，为本技术实施例提供的一种目标坐标系的构建示意图，其中目标坐标系的原点固定在样本车辆对应长方体底面中心的位置，坐标系朝向和样本车辆相对位置关系具体可以参见图4，其中，z轴由长方体底面中心位置指向车头，x轴由长方体底面中心位置指向车右侧面，y轴由长方体底面中心位置指向车底盘方向。假设样本车辆长宽高分别为l，w，h，那么样本车辆对应长方体的8个顶点齐次坐标值为：为：
[0069]
长方体顶点在图像中投影点坐标为
[0070]
其中，si和pi＝(xi，yi，1)分别是第i个顶点在相机坐标系下的深度和投影点坐标，k是相机内参，是车辆对应长方体底面中心点在相机坐标系下的坐标，是目标坐标系到相机坐标系的旋转矩阵，其定义如下：
[0071][0072]
根据目标朝向信息确定3d框和2d框之间的对应关系，即2d框的上下左右四条边分别对应空间3d框哪一个顶点，得到的匹配对的集合为m，建立下面的能量函数：
[0073][0074]
其中，(x，y，x，θ，w，h，l)表示待优化的自由变量，表示第i个顶点pi在图片中投影点的横坐标或者纵坐标，ui表示根据对应关系从2d检测结果中得出的对应坐标值，di表示根据神经网络获取的车辆长宽高先验值，表示根据关键点和目标朝向确定的朝
向线直线参数，其中表示直线的单位法向量，g表示在朝向线上目标点的集合，xk表示对应车尾特征线的点pk在图像中投影点的横坐标，x
rear
表示根据神经网络确定的车尾特征线的横坐标。wi，ρi，λi，β分别表示坐标投影误差项的权重系数、车辆尺寸误差项的权重系数、朝向线误差权重系数和车尾误差系数。
[0075]
上述方案中，通过将样本车辆对应长方体的8个顶点投影后的坐标与样本车辆经拍摄得到的图片中8个顶点的坐标，基于同一个方位的顶点建立它在两种坐标下的对应关系，从而基于所建立的8组对应关系而确定能量函数中wi，ρi，λi，β各自的参数值，从而在解析出wi，ρi，λi，β对应的值后，对于目标跟踪而得到的目标对象的几何语义信息，通过代入能量函数，将可以求解出目标对象的车尾、朝向、关键点对应的三维空间信息。
[0076]
在上述步骤102的一个实施中，所述根据所述目标对象的当前空间位置和所述目标对象的历史空间位置，确定所述目标对象在后续时刻的预测空间位置，包括：将所述目标对象的空间运动轨迹、所述目标对象的周边对象的空间运动轨迹及车道线信息，通过长短记忆神经网络lstm，确定所述目标对象在后续时刻的预测空间位置；所述目标对象的空间运动轨迹是通过所述目标对象的当前空间位置和所述目标对象的历史空间位置确定的；所述周边对象的空间运动轨迹是通过所述周边对象的当前空间位置和所述周边对象的历史空间位置确定的；所述周边对象为所述各目标对象中与所述目标对象满足距离阈值的目标对象。
[0077]
例如，接着前述的例子，在目标对象为一目标车辆时，在求解出目标车辆当前的几何信息的基础上，通过结合预先确定的能量函数，将可以得到目标车辆当前的空间位置，基于同样的道理，可以求解出目标车辆在当前时刻之前的若干时长内的空间位置，从而基于目标车辆在一段时间内的各个空间位置信息，将可以得到目标车辆的空间运动轨迹；
[0078]
对于目标车辆，其设定范围内的其他目标对象，即周边对象，也可能影响到在后车辆的驾驶，因此基于与目标车辆相同的计算逻辑，可确定周边对象的空间运动轨迹；
[0079]
此外，车道线在车辆的行驶过程中也将有一定的影响，如前方是否是由4车道变成3车道，又或者前方是否转弯，都将影响到车辆的安全驾驶。
[0080]
基于以上分析，本技术通过对目标对象的空间运动轨迹、目标对象的周边对象的空间运动轨迹及车道线信息进行综合考虑，包括：
[0081]
首先，采用lstm编码器与全连接层对目标对象动力学信息进行信息编码；采用lstm编码器与细粒度卷积特征描述对该目标对象周边特定距离范围内目标位置分布及运动信息进行编码；采用lstm对车道线信息进行编码。级联三者编码信息，构建场景目标轨迹编码模块；
[0082]
紧接着，基于上一步骤中的特征编码，通过softmax操作获取目标对象在当前条件下纵向与侧向目标运动行为的概率分布；
[0083]
最后，结合目标对象及其相关目标概率分布综合信息，经过lstm解码单元，输出目标对象的运动轨迹预测结果。
[0084]
基于同样的构思，本技术实施例还提供一种目标对象的运动轨迹确定装置，如图5所示，为本技术实施例提供的一种目标对象的运动轨迹确定装置的示意图，该装置包括目标对象确定单元501和运动轨迹预测单元502，其中：
[0085]
目标对象确定单元501，用于基于采集的当前视频帧和所述当前视频帧之前的前
序视频帧，确定各目标对象；
[0086]
运动轨迹预测单元502，用于针对所述各目标对象中的任一目标对象，根据所述目标对象在所述当前视频帧中的图像信息，确定所述目标对象的几何信息；将所述几何信息通过空间坐标系下的投影和相机坐标系下的位置的一致性关系，确定出在所述当前视频帧所在时刻下所述目标对象的当前空间位置；根据所述目标对象的当前空间位置和所述目标对象的历史空间位置，确定所述目标对象在后续时刻的预测空间位置。
[0087]
进一步地，对于该装置，目标对象确定单元501，具体用于：对采集的任一视频帧进行目标检测；若确定当前视频帧中的第一目标检测结果和采集时间位于所述当前视频帧之前的前一帧视频帧中的第二目标检测结果的区域重合度满足第一设定阈值，则确定所述第一目标检测结果为目标对象；否则，则确定所述第一目标检测结果的第一特征描述和所述第二目标检测结果的第二特征描述的相关性匹配置信度；若所述相关性匹配置信度满足第二设定阈值，则确定所述第一目标检测结果为目标对象。
[0088]
进一步地，对于该装置，所述相关性匹配置信度是通过基于二进制交叉熵的权重损失函数和目标对象所属类别的类别中心损失函数确定的。
[0089]
进一步地，对于该装置，运动轨迹预测单元502，具体用于：针对所述各目标对象中的任一目标车辆，通过卷积神经网络的第一主干和第二主干分别对所述目标车辆的图像信息进行处理，分别得到所述目标车辆的第一几何信息和第二几何信息；所述第一几何信息包括所述目标车辆的尾部信息、所述目标车辆的朝向信息、所述目标车辆的关键点在所述当前视频帧中的位置信息，所述第二几何信息包括所述目标车辆的深度信息和所述目标车辆的尺寸信息。
[0090]
进一步地，对于该装置，运动轨迹预测单元502，具体用于：基于所述目标车辆的尾部信息得到所述目标车辆的车尾特征线，基于所述目标车辆的朝向信息得到所述目标车辆的朝向特征线；基于所述目标车辆的车尾特征线、所述目标车辆的朝向特征线、所述目标车辆的关键点在所述当前视频帧中的位置信息和所述目标车辆的尺寸信息，通过能量函数中对应的各个校正权重，得到所述目标车辆在所述当前视频帧所在时刻的当前空间位置。
[0091]
进一步地，对于该装置，还包括能量函数确定单元503；能量函数确定单元503，用于：针对样本车辆，确定所述样本车辆的各车辆顶点在基于所述样本车辆的底面中心点构建的空间坐标系下的坐标；根据所述样本车辆的各车辆顶点在所述空间坐标系下的坐标，得到所述样本车辆的各车辆顶点在所述相机坐标系下的投影点坐标；确定所述各车辆顶点的投影点坐标与所述各车辆顶点在所述相机坐标系下的坐标之间的各组对应关系；对于所述各组对应关系指示的所述样本车辆的同一车辆顶点，基于所述同一车辆顶点的偏差、所述样本车辆的尺寸偏差、所述样本车辆的朝向线偏差和所述样本车辆的车尾偏差，确定能量函数。
[0092]
进一步地，对于该装置，运动轨迹预测单元502，具体用于：将所述目标对象的空间运动轨迹、所述目标对象的周边对象的空间运动轨迹及车道线信息，通过长短记忆神经网络lstm，确定所述目标对象在后续时刻的预测空间位置；所述目标对象的空间运动轨迹是通过所述目标对象的当前空间位置和所述目标对象的历史空间位置确定的；所述周边对象的空间运动轨迹是通过所述周边对象的当前空间位置和所述周边对象的历史空间位置确定的；所述周边对象为所述各目标对象中与所述目标对象满足距离阈值的目标对象。
[0093]
本技术实施例还提供了一种计算设备，该计算设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(personal digital assistant，pda)等。该计算设备可以包括中央处理器(center processing unit，cpu)、存储器、输入/输出设备等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器(liquid crystal display，lcd)、阴极射线管(cathode ray tube，crt)等。
[0094]
存储器，可以包括只读存储器(rom)和随机存取存储器(ram)，并向处理器提供存储器中存储的程序指令和数据。在本技术实施例中，存储器可以用于存储目标对象的运动轨迹确定方法的程序指令；
[0095]
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行目标对象的运动轨迹确定方法。
[0096]
如图6所示，为本技术实施例提供的一种计算设备的示意图，该计算设备包括：
[0097]
处理器601、存储器602、收发器603、总线接口604；其中，处理器601、存储器602与收发器603之间通过总线605连接；
[0098]
所述处理器601，用于读取所述存储器602中的程序，执行上述目标对象的运动轨迹确定方法；
[0099]
处理器601可以是中央处理器(central processing unit，简称cpu)，网络处理器(network processor，简称np)或者cpu和np的组合。还可以是硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，简称asic)，可编程逻辑器件(programmable logic device，简称pld)或其组合。上述pld可以是复杂可编程逻辑器件(complex programmable logic device，简称cpld)，现场可编程逻辑门阵列(field-programmable gate array，简称fpga)，通用阵列逻辑(generic array logic，简称gal)或其任意组合。
[0100]
所述存储器602，用于存储一个或多个可执行程序，可以存储所述处理器601在执行操作时所使用的数据。
[0101]
具体地，程序可以包括程序代码，程序代码包括计算机操作指令。存储器602可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，简称ram)；存储器602也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，硬盘(hard disk drive，简称hdd)或固态硬盘(solid-state drive，简称ssd)；存储器602还可以包括上述种类的存储器的组合。
[0102]
存储器602存储了如下的元素，可执行模块或者数据结构，或者它们的子集，或者它们的扩展集：
[0103]
操作指令：包括各种操作指令，用于实现各种操作。
[0104]
操作系统：包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。
[0105]
总线605可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0106]
总线接口604可以为有线通信接入口，无线总线接口或其组合，其中，有线总线接口例如可以为以太网接口。以太网接口可以是光接口，电接口或其组合。无线总线接口可以
为wlan接口。
[0107]
本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行目标对象的运动轨迹确定方法。
[0108]
本领域内的技术人员应明白，本技术的实施例可提供为方法、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0109]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0110]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0111]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0112]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0113]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。
技术特征：1.一种目标对象的运动轨迹确定方法，其特征在于，包括：基于采集的当前视频帧和所述当前视频帧之前的前序视频帧，确定各目标对象；针对所述各目标对象中的任一目标对象，根据所述目标对象在所述当前视频帧中的图像信息，确定所述目标对象的几何信息；将所述几何信息通过空间坐标系下的投影和相机坐标系下的位置的一致性关系，确定出在所述当前视频帧所在时刻下所述目标对象的当前空间位置；根据所述目标对象的当前空间位置和所述目标对象的历史空间位置，确定所述目标对象在后续时刻的预测空间位置。2.如权利要求1所述的方法，其特征在于，所述基于采集的当前视频帧和所述当前视频帧之前的前序视频帧，确定各目标对象，包括：对采集的任一视频帧进行目标检测；若确定当前视频帧中的第一目标检测结果和采集时间位于所述当前视频帧之前的前一帧视频帧中的第二目标检测结果的区域重合度满足第一设定阈值，则确定所述第一目标检测结果为目标对象；否则，则确定所述第一目标检测结果的第一特征描述和所述第二目标检测结果的第二特征描述的相关性匹配置信度；若所述相关性匹配置信度满足第二设定阈值，则确定所述第一目标检测结果为目标对象。3.如权利要求2所述的方法，其特征在于，所述相关性匹配置信度是通过基于二进制交叉熵的权重损失函数和目标对象所属类别的类别中心损失函数确定的。4.如权利要求1所述的方法，其特征在于，所述各目标对象中包括车辆；所述根据所述目标对象在所述当前视频帧中的图像信息，确定所述目标对象的几何信息，包括：针对所述各目标对象中的任一目标车辆，通过卷积神经网络的第一主干和第二主干分别对所述目标车辆的图像信息进行处理，分别得到所述目标车辆的第一几何信息和第二几何信息；所述第一几何信息包括所述目标车辆的尾部信息、所述目标车辆的朝向信息、所述目标车辆的关键点在所述当前视频帧中的位置信息，所述第二几何信息包括所述目标车辆的深度信息和所述目标车辆的尺寸信息。5.如权利要求4所述的方法，其特征在于，所述将所述几何信息通过空间坐标系下的投影和相机坐标系下的位置的一致性关系，确定出在所述当前视频帧所在时刻下所述目标对象的当前空间位置，包括：基于所述目标车辆的尾部信息得到所述目标车辆的车尾特征线，基于所述目标车辆的朝向信息得到所述目标车辆的朝向特征线；基于所述目标车辆的车尾特征线、所述目标车辆的朝向特征线、所述目标车辆的关键点在所述当前视频帧中的位置信息和所述目标车辆的尺寸信息，通过能量函数中对应的各个校正权重，得到所述目标车辆在所述当前视频帧所在时刻的当前空间位置。6.如权利要求5所述的方法，其特征在于，所述能量函数通过如下方式确定，包括：针对样本车辆，确定所述样本车辆的各车辆顶点在基于所述样本车辆的底面中心点构
建的空间坐标系下的坐标；根据所述样本车辆的各车辆顶点在所述空间坐标系下的坐标，得到所述样本车辆的各车辆顶点在所述相机坐标系下的投影点坐标；确定所述各车辆顶点的投影点坐标与所述各车辆顶点在所述相机坐标系下的坐标之间的各组对应关系；对于所述各组对应关系指示的所述样本车辆的同一车辆顶点，基于所述同一车辆顶点的偏差、所述样本车辆的尺寸偏差、所述样本车辆的朝向线偏差和所述样本车辆的车尾偏差，确定能量函数。7.如权利要求1所述的方法，其特征在于，所述根据所述目标对象的当前空间位置和所述目标对象的历史空间位置，确定所述目标对象在后续时刻的预测空间位置，包括：将所述目标对象的空间运动轨迹、所述目标对象的周边对象的空间运动轨迹及车道线信息，通过长短记忆神经网络lstm，确定所述目标对象在后续时刻的预测空间位置；所述目标对象的空间运动轨迹是通过所述目标对象的当前空间位置和所述目标对象的历史空间位置确定的；所述周边对象的空间运动轨迹是通过所述周边对象的当前空间位置和所述周边对象的历史空间位置确定的；所述周边对象为所述各目标对象中与所述目标对象满足距离阈值的目标对象。8.一种目标对象的运动轨迹确定装置，其特征在于，包括：目标对象确定单元，用于基于采集的当前视频帧和所述当前视频帧之前的前序视频帧，确定各目标对象；运动轨迹预测单元，用于针对所述各目标对象中的任一目标对象，根据所述目标对象在所述当前视频帧中的图像信息，确定所述目标对象的几何信息；将所述几何信息通过空间坐标系下的投影和相机坐标系下的位置的一致性关系，确定出在所述当前视频帧所在时刻下所述目标对象的当前空间位置；根据所述目标对象的当前空间位置和所述目标对象的历史空间位置，确定所述目标对象在后续时刻的预测空间位置。9.一种计算机设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行如权利要求1-7任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，当所述程序在计算机上运行时，使得计算机实现执行如权利要求1-7任一项所述的方法。
技术总结本申请公开一种目标对象的运动轨迹确定方法及装置，基于采集的当前视频帧和前序视频帧，确定各目标对象；针对任一目标对象，根据目标对象在当前视频帧中的图像信息，确定目标对象的几何信息；将几何信息通过空间坐标系下的投影和相机坐标系下的位置的一致性关系，确定出目标对象的当前空间位置；根据目标对象的当前空间位置和历史空间位置，确定目标对象在后续时刻的预测空间位置。该方式基于图像时序纹理相关性及路面目标运动学模型，可准确跟踪视觉场景目标轨迹；基于待预测目标与其周围目标三维空间位置与运动关系，通过时序长短期记忆网络可准确预测目标未来特定时间片段内的运动轨迹，为后续自身车辆驾驶行为决策提供重要依据。依据。依据。
技术研发人员：缪其恒 吴长伟 苏志杰
受保护的技术使用者：浙江华锐捷技术有限公司
技术研发日：2022.06.24
技术公布日：2022/11/1
