1.本发明涉及运动预测与动态场景表征技术领域，尤其涉及一种基于异构图卷积网络的智能体运动预测方法。
背景技术：2.运动预测旨在基于周围车辆(智能体，agent)的历史轨迹与地图、环境等信息预测它们的未来轨迹。运动预测作为路径规划模块的前端依赖单元，是实现安全舒适的自动驾驶的整个流程中至关重要的一环。预测本身即具有不确定性和多模态性。智能体的历史轨迹和高清(hd)地图等信息为刻画车辆所处的动态场景提供了背景信息，使得合理的运动预测成为可能。
3.然而，利用上述信息并非易事，因为(i)高度异构的场景元素，包括自动驾驶车辆周围的智能体、道路的车道、红绿灯等；(ii)复杂且多重的交互，例如智能体-智能体、智能体-道路间的交互；(iii)交错的时空信息，例如智能体的轨迹。
4.为了解决这些问题，一些基于光栅化(rasterization)的方法首先被提出。例如，multipath将场景上下文表示为俯视图，利用卷积神经网络(cnn)来学习场景特征，并通过基于锚点的解码器进行预测。尽管基于光栅化的场景表示简单直观，但它在建模和利用智能体与环境之间的交互方面具有固有的局限性。此外，它在处理道路网络的稀疏结构方面效率较低。
5.进一步地，一系列基于图神经网络(gnn)的方法于近期被提出。例如，vectornet提出了一个两级图网络，其中局部网络提取每个场景元素(包括智能体的轨迹和道路车道中心线片段等)的特征，然后全局图网络进一步处理这些对象之间的交互。基于vectornet的表示，tnt设计了一个基于目标点的预测解码器，densentnt通过引入密集的目标候选集与用于增强预测多模态性的基于离线优化的策略，来进一步改进预测解码器。此外，lanegcn构建了一个道路图网络来利用地图信息，并提出了一个融合网络来刻画智能体和道路之间的交互。在此基础上，lanercnn提出了一个针对于每个智能体的子图来融合每个智能体的运动信息及其各自的局部环境信息，以便利用细粒度信息。同时，其通过在全局道路图中使用池化运算来实现各个元素间的交互。类似地，gohome借助车道片段级图网络对道路网络的拓扑进行编码，并通过热力图来预测智能体的位置。
6.此外，tpcn引入点云处理的模型来处理运动预测。它包含一个用于提取道路特征以及地图信息的空间模块和一个用来描述智能体时序信息的时间模块。scenetransformer提出了一种基于transformer的多智能体轨迹预测模型。其使用分解的注意力(factorized attention)机制以解耦的方式表征智能体、车道线和时间状态间的复杂交互。multipath++设计了一个上下文门控单元来融合各种交互，并利用模型集成来进一步来改进预测的多模态性。
7.运动预测是自动驾驶中的一个具有挑战性的问题，并且依赖于动态场景中复杂交互(包含智能体-智能体，智能体-道路)的有效表示。现有的大多数运动预测方法具有如下
缺点：
8.(1)忽略场景元素(节点)及其间关系(边)的异质性。现有的基于图神经网络的方法或者仅用图来刻画高清地图的拓扑结构(单一节点、关系类型)，或通过全局图不加区别地表征所有不同元素及其间多样的关系。
9.(2)以解耦的方式处理本身交织的空间交互与时序信息。这将阻碍模型提取时空信息的内在相关性。
10.因此，本领域需要另辟蹊径，从而克服上述缺点。
技术实现要素：11.本发明的任务是提供一种基于异构图卷积网络的智能体运动预测方法，通过构建动态有向异构图来表征场景中不同元素的变化及其间复杂的交互，进一步通过异构图卷积网络利用动态有向异构图中的高阶交互信息和时序信息能够准确地预测智能体未来的轨迹。
12.针对现有技术中存在的问题，本发明提供一种基于异构图卷积网络的智能体运动预测方法来解决，包括：
13.构建表征动态场景的动态异构图，其中所述动态异构图联合编码了道路网络的拓扑结构和智能体的时空信息及其间的复杂交互；以及
14.基于所述动态有向异构图利用异构图卷积网络预测智能体的运动轨迹。
15.在本发明的一个实施例中，其中构建表征动态场景的动态异构图包括节点的构造和节点之间动态边的构造，其中所述节点包括智能体节点和车道节点，每个智能体作为一个智能体节点，每个道路车道段作为一个车道节点，在所述节点之间构造动态边来表征节点之间的交互，包括车道-车道交互、智能体-车道交互、车道-智能体交互以及智能体-智能体交互。
16.在本发明的一个实施例中，将时间片段t＝[-t
′
+1,-t
′
+2,
…
,0]分割成p个等时间间隔τ(τ*p＝t
′
)的组，τ表示时间间隔长度，并利用每个时间间隔内的信息(-τ*p,-τ*(p-1)]来构造动态异构图在相应时间间隔的离散快照g
p
，p＝1,2,
…
,p。
[0017]
在本发明的一个实施例中，利用给定智能体的一系列历史状态sh＝[s-t
′
+1
,s-t
′
+2
,
…
,s0]，构造了动态有向异构图{g
p
}，p＝1,2,
…
,p，动态有向异构图单个时间片段的离散快照g
p
＝{v
p
,ε
p
}，所述离散快照由节点集合和边集合构成，p＝1,2,
…
,p，其中和分别表示不同类型的节点集和边集；
[0018]
节点特征x
p
,其中x
p,i
＝x
p
(vi)为对应节点vi∈v
p
的特征，x
p
＝[x
p,i
,x
p,2
,
…
,x
p,n
]
t
；
[0019]
假设节点集合v
p
在动态异构图{g
p
}中保持相同，p＝1,2,
…
,p，除了节点集合的属性随p而变化。
[0020]
在本发明的一个实施例中，按照道路网络的拓扑结构为车道节点构建边来表征车道-车道交互，包括：
[0021]
如果车道节点和按照道路方向首尾相连，则在车道节点和之间构造有向边由于道路拓扑是静态的，ε0在动态有向异构图的不同离散快
照g
p
中是相同的。
[0022]
在本发明的一个实施例中，基于车道节点之间边集ε0来进一步构建智能体节点和车道节点之间的动态边来表征智能体-车道交互和车道-智能体交互，包括：
[0023]
对于每一个智能体节点i，首先基于智能体节点i在t＝-τ*(p-1)，p＝1,2,
…
,p，时刻的位置c
p,i
,为其找到k个最近的车道节点，并舍弃其中属于反向车道的车道节点，其中在路口的道路车道段上，保留所有k个节点；
[0024]
从找到的邻近车道节点开始，沿ε0中的边执行深度优先搜索来探索智能体未来可能到达的车道节点，其中所述深度优先搜索的最大深度基于智能体的平均速度、相邻车道节点之间的平均间隙以及预测时间确定；以及
[0025]
用边将智能体节点链接到搜索得到的车道节点同时得到车道-智能体间的交互智能体间的交互
[0026]
在本发明的一个实施例中，根据智能体节点的位置之间的距离来构建的智能体节点之间的动态边，包括：
[0027]
使用l1范数计算智能体节点和之间的距离，以近似智能体节点之间沿道路的距离，智能体节点和之间的距离的计算公式：
[0028][0029]
其中c
p
表示智能体节点的位置，d
p
表示智能体节点和之间的距离；
[0030]
如果任意两个智能体节点之间的距离满足则两个智能体节点在离散快照g
p
中由边直接相连，其中δ
aa
表示距离阈值的超参数。
[0031]
在本发明的一个实施例中，异构图卷积神经网络包括了智能体编码模块、用于编码动态场景的异构图卷积模块、时空门和用来预测智能体运动轨迹的解码器。
[0032]
在本发明的一个实施例中，给定动态有向异构图{g
p
}，首先对车道节点和智能体节点的特征进行预编码，得到能够用于异构图卷积模块的节点特征，包括：
[0033]
将地图信息作为输入，经过图神经网络处理得到车道节点特征；
[0034]
采用门循环单元作为智能体编码模块来处理智能体的历史轨迹，其中智能体编码模块以一系列智能体节点属性信息为输入并输出预编码轨迹特征其中智能体节点属性信息包含了智能体节点的位置和位置偏移。
[0035]
10.根据权利要求9所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，所述图卷积模块由一组异构图卷积算子堆叠组成，所述异构图卷积神经网络包含了p个所述图卷积模块，来层次化地处理动态有向异构图{g
p
}的信息，其中第p个图卷积模块的输出为:
[0036]hp+1
＝gcm(h
p
,a
p
),p＝1,2,
…
,p,
[0037]
其中，邻接矩阵a
p
代表g
p
的拓扑，预编码轨迹特征和地图特征分别构成离散快照g1的智能体节点和车道节点的特征,即的智能体节点和车道节点的特征,即
[0038]
在本发明的一个实施例中，所述时空门利用下一个时间间隔中的轨迹特征来更新第p个图卷积模块输出的智能体节点特征，包括：时空门采用遗忘和更新方案来融合空间交互和下一个时间间隔中传入的轨迹特征
[0039][0040][0041][0042]
其中w
x
表示可学习的参数矩阵，表示第p个gcm输出的动态有向异构图g
p
的节点特征矩阵。
[0043]
在本发明的一个实施例中，基于p个所述图卷积模块产生的表征所述解码器输出智能体的未来运动轨迹以及每个预测的置信度分数，包括：
[0044]
所述解码器包括目标分支、回归分支和评分分支，其中所述目标分支接受所述图卷积模块输出的智能体的表示并预测k个目标所述回归分支基于预测的目标和智能体特征来补全运动轨迹sf＝[s1,s2,
…
,s
t
]，所述评分分支估计每个预测的置信度{φk}。
[0045]
在本发明的一个实施例中，基于信息传播机制设计了异构图卷积算子，包括：
[0046]
给定一个节点节点首先从节点的邻域依据不同类型的边接收消息msgr，然后将消息组合得到节点的背景信息，节点接收到的消息msgr：
[0047][0048]
其中σ表示非线性变换；
[0049]
沿着每种类型的边，从节点传播到节点的消息被定义为节点特征hj的函数，表示为：
[0050][0051]
函数fr(
·
)为一个以节点之间的关系作为输入的多层感知机：
[0052][0053]
基于背景信息和自变换gz(
·
)，卷积算子输出节点特征:
[0054]
[0055]
其中，wz表示可学习的参数矩阵，||表示拼接操作。
[0056]
本发明至少具有下列有益效果：本发明公开的一种基于异构图卷积网络的智能体运动预测方法，包含了构建表征动态场景的动态有向异构图和基于动态有向异构图利用异构图卷积网络预测智能体的运动轨迹两大部分，所提出的动态有向异构图构建策略既能够高效表征道路网络的稀疏拓扑结构，又能够显示地、差异性地、联合地表征场景中智能体、道路及其间的多重交互；提出的异构图卷积网络得以进一步同时学习联合编码、利用动态有向异构图中的高阶交互信息和时序信息，并据此预测得到准确、真实的智能体未来轨迹。
附图说明
[0057]
为了进一步阐明本发明的各实施例的以上和其它优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。
[0058]
图1示出了根据本发明的一个实施例的表征场景的动态有向异构图构建策略的示意图；以及
[0059]
图2示出了根据本发明的一个实施例的异构图卷积神经网络框架的示意图。
具体实施方式
[0060]
应当指出，各附图中的各组件可能为了图解说明而被夸大地示出，而不一定是比例正确的。
[0061]
在本发明中，各实施例仅仅旨在说明本发明的方案，而不应被理解为限制性的。
[0062]
在本发明中，除非特别指出，量词“一个”、“一”并未排除多个元素的场景。
[0063]
在此还应当指出，在本发明的实施例中，为清楚、简单起见，可能示出了仅仅一部分部件或组件，但是本领域的普通技术人员能够理解，在本发明的教导下，可根据具体场景需要添加所需的部件或组件。
[0064]
在此还应当指出，在本发明的范围内，“相同”、“相等”、“等于”等措辞并不意味着二者数值绝对相等，而是允许一定的合理误差，也就是说，所述措辞也涵盖了“基本上相同”、“基本上相等”、“基本上等于”。
[0065]
在此还应当指出，在本发明的描述中，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是明示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为明示或暗示相对重要性。
[0066]
另外，本发明的各方法的步骤的编号并未限定所述方法步骤的执行顺序。除非特别指出，各方法步骤可以以不同顺序执行。
[0067]
基于异构图卷积网络智能体运动预测方法包括构建表征动态场景的动态有向异构图和基于动态有向异构图利用异构图卷积网络预测智能体的运动轨迹两大部分。提出了一种新颖的动态有向异构图构建策略来表征场景中不同元素的变化及其间复杂的交互，包含了三种关系表征策略以联合地建模智能体-智能体、智能体-道路、道路-智能体、道路-道
路间的动态关联。设计一个新颖有效的异构图卷积网络框架以学习提取动态场景的高阶信息并得到场景元素的向量化表示，并能够据此有效、准确地预测智能体未来的轨迹。
[0068]
图1示出了根据本发明的一个实施例的表征场景的动态异构图构建策略的示意图。
[0069]
如图1所示，表征动态场景的动态有向异构图构建策略包含了节点的构造和节点之间动态边的构造。
[0070]
采用动态有向异构图对智能体和环境之间的动态交互进行显式建模。特别地，动态有向异构图联合编码了道路网络的拓扑结构和智能体的时空信息，例如历史轨迹。
[0071]
在动态有向异构图中考虑两种节点，即智能体和道路车道段，以及节点之间的四种关系或交互，包括了智能体-智能体、智能体-车道、车道-智能体和车道-车道。
[0072]
为了提高效率，将观察到的时间片段t＝[-t
′
+1,-t
′
+2,
…
,0]分割成p个等时间间隔τ(τ*p＝t
′
)的组，τ表示时间间隔长度，并利用每个时间间隔内的智能体的速度、航向和位置信息(-τ*p,-τ*(p-1)]来构造动态有向异构图的离散快照g
p
,p＝1,2,
…
,p。
[0073]
利用给定智能体的一系列历史状态sh＝[s-t
′
+1
,s-t
′
+2
,
…
,s0]，构造了动态有向异构图{g
p
}，p＝1,2,
…
,p，动态有向异构图的单个时间片段的离散快照g
p
＝{v
p
,ε
p
},由节点集合和边集合构成，p＝1,2,
…
,p,其中和分别表示不同类型的节点集和边集。邻接矩阵a
p
代表动态异构图g
p
的拓扑，x
p
代表节点特征,其中x
p,i
＝x
p
(vi)为对应节点vi∈v
p
的特征，x
p
＝[x
p,i
,x
p,2
,
…
,x
p,n
]
t
。
[0074]
假设节点集合(顶点集)v
p
在动态有向异构图{g
p
}中保持相同，p＝1,2,
…
,p，除了它们的属性随p而变化。
[0075]
节点的构造
[0076]
首先，将场景中的每个智能体作为一个智能体节点并将每个道路车道段作为一个车道节点节点特征采用智能体节点和车道节点的位置和位置偏移，其中道路节点的位置偏移采用其相对于它的前驱节点的偏移。
[0077]
通过在节点之间构造四种类型的(动态)边来刻画它们之间的交互，具体如下：
[0078]
车道-车道交互：按照道路网络的拓扑结构为车道节点构建边。具体来说，如果车道节点和按照道路方向首尾相连，则在车道节点和之间构造有向边由于道路拓扑是静态的，ε0在动态有向异构图的不同离散快照g
p
中是相同的，因此在后续省略了下标p。
[0079]
智能体-车道交互：基于车道-车道间的边集ε0，进一步建模智能体和车道段之间的关系。特别地，考虑到智能体前方的道路对未来的预测更为重要，利用智能体在每个时间间隔(-τ*p,-τ*(p-1)]的速度、航向和位置信息来构建动态有向异构图在相应时间间隔的离散快照g
p
,p＝1,2,
…
,p。
[0080]
对于每一个智能体节点i，首先基于它在t＝-τ*(p-1)时刻的位置c
p,i
,为其找到k个最近的车道节点，并舍弃其中属于反向车道的节点，其中考虑到智能体可能会掉头，在路口的道路车道段上，保留所有k个节点。
[0081]
然后，从上述找到的邻近车道节点开始，沿ε0中的边执行深度优先搜索(depth-first search,dfs)来探索智能体未来可能到达的车道节点。dfs的最大深度基于智能体的平均速度、相邻车道节点之间的平均间隙以及预测时间确定。最后，用边将智能体节点链接到搜索得到的车道节点同时，得到车道-智能体间的交互智能体间的交互
[0082]
智能体-智能体交互：智能体节点之间的动态边是根据它们位置之间的距离来构建的。具体来说，智能体节点和之间的距离是使用l1范数计算的，以近似智能体节点之间沿道路的距离。智能体节点和之间的距离的计算公式：
[0083][0084]
其中c
p
表示智能体节点的位置，d
p
表示智能体节点和之间的距离。
[0085]
如果任意两个智能体节点之间的距离则它们在离散快照g
p
中由边直接相连，其中δ
aa
表示距离阈值的超参数。
[0086]
图2示出了根据本发明的一个实施例的异构图卷积神经网络框架的示意图。
[0087]
如图2所示，整个异构图卷积神经网络包括了智能体编码模块、用于编码动态场景的异构图卷积模块(gcm)、时空门(gate)和用来预测智能体运动轨迹的解码器。利用动态有向异构图中的高阶交互信息和时序信息，并据此预测得到准确、真实的智能体未来轨迹。动态有向异构图中的智能体节点用三角形表示，圆点表示车道节点，它们之间的各种交互用连接边表示。
[0088]
给定动态有向异构图{g
p
}，首先对车道节点和智能体节点的特征进行预编码，得到能够用于异构图卷积模块的节点特征。其中，将地图信息作为输入，经过经典图神经网络处理得到车道节点特征(地图特征)；智能体节点属性信息由下述智能体编码模块处理得到智能体节点特征。
[0089]
智能体编码模块。采用门循环单元(gate recurrent unit，gru)作为智能体编码模块来处理智能体的历史轨迹。智能体编码模块以一系列智能体节点属性信息为输入并输出预编码轨迹特征(智能体节点特征)其中智能体节点属性信息包含了智能体节点的位置和位置偏移。
[0090]
图卷积模块(graph convolution module，gcm)。该模块由一组异构图卷积算子堆叠组成。异构图卷积神经网络包含了p个这样的图卷积模块，层次化地处理动态有向异构图{g
p
}的信息。第p个图卷积模块的输出:
[0091]hp+1
＝gcm(h
p
,a
p
),p＝1,2,
…
,p,
[0092]
其中，邻接矩阵a
p
代表g
p
的拓扑，预编码轨迹特征和地图特征分别构成离散快照g1的智能体节点和车道节点的特征,即的智能体节点和车道节点的特征,即
[0093]
时空门(gate)。时空门使用下一个时间间隔中的轨迹特征来更新第p个gcm输出的智能体节点特征。具体地，其应用遗忘和更新方案来融合空间交互和下一个时间间隔中传入的轨迹特征间隔中传入的轨迹特征
[0094][0095][0096]
其中w
x
表示可学习的参数矩阵，表示第p个gcm输出的动态有向图g
p
的节点特征矩阵。
[0097]
解码器。基于一系列gcm模块产生的表征解码器输出智能体的未来状态sf＝[s1,s2,
…
,s
t
]以及每个预测各自的置信度分数。解码器包括三个分支，所有这些分支均被设计为多层感知机(multi-layer perceptron，mlp)。目标分支(goal)接受gcm输出的智能体的表示并预测k个目标(终点)目标指最后时刻的位置，即终点。然后，回归分支(reg)基于预测的目标和智能体特征来补全轨迹sf＝[s1,s2,
…
,s
t
]。最后，评分分支(score)估计每个预测的置信度{φk}。
[0098]
异构图卷积算子
[0099]
为了表征各种节点并刻画它们的多重关系，基于信息传播机制设计了一个异构图卷积算子。
[0100]
总体来说，对于动态异构图g中不同类型的边采用不同的消息传递方案。给定一个节点它首先从它的邻域依据不同类型的边接收消息msgr，然后将这些消息组合得到它的背景信息。
[0101][0102]
其中σ表示非线性变换。沿着每种类型的边，从节点传播到节点的消息被定义为节点特征hj的函数，表示为：
[0103][0104]
函数fr(
·
)被设计为一个以节点之间的关系作为输入的多层感知机：
[0105][0106]
基于背景信息和自变换gz(
·
)，卷积算子输出节点特征:
[0107][0108]
其中，wz表示可学习的参数矩阵，||表示拼接操作。
[0109]
可以把各实施例提供为可包括其上存储有机器可执行指令的一个或多个机器可
读介质的计算机程序产品，这些指令在由诸如计算机、计算机网络或其他电子设备等的一个或多个机器执行时，可以引起一个或多个机器执行根据本发明的各实施例的操作。机器可读介质可以包括但不限于软盘、光盘、cd-rom(紧致盘只读存储器)和磁光盘、rom(只读存储器)、ram(随机存取存储器)、eprom(可擦除可编程只读存储器)、eeprom(电可擦除可编程只读存储器)、磁或光卡、闪速存储器或适用于存储机器可执行指令的其他类型的介质/机器可读介质。
[0110]
此外，可以作为计算机程序产品下载各实施例，其中，可以经由通信链路(例如，调制解调器和/或网络连接)由载波或其他传播介质实现和/或调制的一种或多种数据信号把程序从远程计算机(例如，服务器)传输给请求计算机(例如，客户机)。因此，在此所使用的机器可读介质可以包括这样的载波，但对此不作要求。
[0111]
本发明至少具有下列有益效果：本发明公开的一种基于异构图卷积网络的智能体运动预测方法，包含了构建表征动态场景的动态有向异构图和基于动态有向异构图利用异构图卷积网络预测智能体的运动轨迹两大部分，所提出的动态有向异构图构建策略既能够高效表征道路网络的稀疏拓扑结构，又能够显示地、差异性地、联合地表征场景中智能体、道路及其间的多重交互；提出的异构图卷积网络得以进一步同时学习联合编码、利用动态有向异构图中的高阶交互信息和时序信息，并据此预测得到准确、真实的智能体未来轨迹。
[0112]
虽然本发明的一些实施方式已经在本技术文件中予以了描述，但是本领域技术人员能够理解，这些实施方式仅仅是作为示例示出的。本领域技术人员在本发明的教导下可以想到众多的变型方案、替代方案和改进方案而不超出本发明的范围。所附权利要求书旨在限定本发明的范围，并藉此涵盖这些权利要求本身及其等同变换的范围内的方法和结构。
技术特征：1.一种基于异构图卷积网络的智能体运动预测方法，其特征在于，包括：构建表征动态场景的动态有向异构图，其中所述动态有向异构图联合编码了道路网络的拓扑结构和智能体的时空信息；以及基于所述动态有向异构图利用异构图卷积网络预测智能体的运动轨迹。2.根据权利要求1所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，其中构建表征动态场景的动态异构图包括节点的构造和节点之间动态边的构造，其中所述节点包括智能体节点和车道节点，每个智能体作为一个智能体节点，每个道路车道段作为一个车道节点，在所述节点之间构造动态边来表征节点之间的交互，包括车道-车道交互、智能体-车道交互、车道-智能体交互以及智能体-智能体交互。3.根据权利要求2所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，将时间片段t＝[-t
′
+1，-t
′
+2，
…
，0]分割成p个等时间间隔τ(τ*p＝t
′
)的组，τ表示时间间隔长度，并利用每个时间间隔内的信息(-τ*p，-τ*(p-1)]来构造动态异构图在相应时间间隔的离散快照g
p
，p＝1，2，
…
，p。4.根据权利要求3所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，利用给定智能体的一系列历史状态s
h
＝[s-t
′
+1
，s-t
′
+2
，
…
，s0]，构造了动态有向异构图{g
p
}，p＝1，2，
…
，p，动态有向异构图单个时间片段的离散快照g
p
＝{v
p
，ε
p
}，所述离散快照由节点集合和边集合构成，p＝1，2，
…
，p，其中和分别表示不同类型的节点集和边集；节点特征x
p
，其中x
p，i
＝x
p
(v
i
)为对应节点v
i
∈v
p
的特征，x
p
＝[x
p，i
，x
p，2
，
…
，x
p，n
]
t
；假设节点集合v
p
在动态异构图{g
p
}中保持相同，p＝1，2，
…
，p，除了节点集合的属性随p而变化。5.根据权利要求4所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，按照道路网络的拓扑结构为车道节点构建边来表征车道-车道交互，包括：如果车道节点和按照道路方向首尾相连，则在车道节点和之间构造有向边由于道路拓扑是静态的，ε0在动态有向异构图的不同离散快照g
p
中是相同的。6.根据权利要求5所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，基于车道节点之间边集ε0来进一步构建智能体节点和车道节点之间的动态边来表征智能体-车道交互和车道-智能体交互，包括：对于每一个智能体节点i，首先基于智能体节点i在t＝-τ*(p-1)，p＝1,2,
…
,p，时刻的位置c
p,i
,为其找到k个最近的车道节点，并舍弃其中属于反向车道的车道节点，其中在路口的道路车道段上，保留所有k个节点；从找到的邻近车道节点开始，沿ζ0中的边执行深度优先搜索来探索智能体未来可能到达的车道节点，其中所述深度优先搜索的最大深度基于智能体的平均速度、相邻车道节点之间的平均间隙以及预测时间确定；以及用边将智能体节点链接到搜索得到的车道节点
同时得到车道-智能体间的交互智能体间的交互7.根据权利要求6所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，根据智能体节点的位置之间的距离来构建的智能体节点之间的动态边，包括：使用l1范数计算智能体节点和之间的距离，以近似智能体节点之间沿道路的距离，智能体节点和之间的距离的计算公式：其中c
p
表示智能体节点的位置，d
p
表示智能体节点和之间的距离；如果任意两个智能体节点之间的距离满足则两个智能体节点在离散快照g
p
中由边直接相连，其中δ
aa
表示距离阈值的超参数。8.根据权利要求7所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，异构图卷积神经网络包括了智能体编码模块、用于编码动态场景的异构图卷积模块、时空门和用来预测智能体运动轨迹的解码器。9.根据权利要求8所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，给定动态有向异构图{g
p
}，首先对车道节点和智能体节点的特征进行预编码，得到能够用于异构图卷积模块的节点特征，包括：将地图信息作为输入，经过图神经网络处理得到车道节点特征；采用门循环单元作为智能体编码模块来处理智能体的历史轨迹，其中智能体编码模块以一系列智能体节点属性信息为输入并输出预编码轨迹特征其中智能体节点属性信息包含了智能体节点的位置和位置偏移。10.根据权利要求9所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，所述图卷积模块由一组异构图卷积算子堆叠组成，所述异构图卷积神经网络包含了p个所述图卷积模块，来层次化地处理动态有向异构图{g
p
}的信息，其中第p个图卷积模块的输出为:h
p+1
＝gcm(h
p
,a
p
)，
p
＝1,2,...，p,其中，邻接矩阵a
p
代表g
p
的拓扑，预编码轨迹特征和地图特征分别构成离散快照g1的智能体节点和车道节点的特征,即的智能体节点和车道节点的特征,即11.根据权利要求10所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，所述时空门利用下一个时间间隔中的轨迹特征来更新第p个图卷积模块输出的智能体节点特征，包括：时空门采用遗忘和更新方案来融合空间交互和下一个时间间隔中传入的轨迹特征
其中w
x
表示可学习的参数矩阵，表示第p个gcm输出的动态有向异构图g
p
的节点特征矩阵。12.根据权利要求11所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，基于p个所述图卷积模块产生的表征所述解码器输出智能体的未来运动轨迹以及每个预测的置信度分数，包括：所述解码器包括目标分支、回归分支和评分分支，其中所述目标分支接受所述图卷积模块输出的智能体的表示并预测k个目标所述回归分支基于预测的目标和智能体特征来补全运动轨迹s
f
＝[s1,s2,
…
,s
t
]，所述评分分支估计每个预测的置信度{φ
k
}。13.根据权利要求10所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，基于信息传播机制设计了异构图卷积算子，包括：给定一个节点节点首先从节点的邻域依据不同类型的边接收消息msg
r
，然后将消息组合得到节点的背景信息，节点接收到的消息msg
r
：其中σ表示非线性变换；沿着每种类型的边，从节点传播到节点的消息被定义为节点特征h
j
的函数，表示为：函数f
r
(
·
)为一个以节点之间的关系作为输入的多层感知机：基于背景信息和自变换g
z
(
·
)，卷积算子输出节点特征:其中，w
z
表示可学习的参数矩阵，||表示拼接操作。
技术总结本发明涉及一种基于异构图卷积网络的智能体运动预测方法，包括：构建表征动态场景的动态有向异构图，其中所述动态有向异构图联合编码了道路网络的拓扑结构和智能体的时空信息；以及基于所述动态有向异构图利用异构图卷积网络预测智能体的运动轨迹。通过构建动态有向异构图来表征场景中不同元素的变化及其间复杂的交互，利用动态图中的高阶交互信息和时序信息通过异构图卷积网络能够准确地预测智能体未来的轨迹。能体未来的轨迹。能体未来的轨迹。
技术研发人员：李怡康 高星 贾晓港
受保护的技术使用者：上海人工智能创新中心
技术研发日：2022.07.25
技术公布日：2022/11/1
