1.本公开总体上涉及自主车辆。更具体地，本公开涉及针对自主车辆通信的监督系统。
背景技术：2.自主车辆技术的一个目标是提供能够安全地向目的地导航的车辆。在某些情况下，自主车辆行驶的道路上可能会出现意外路况。例如，在自主车辆前方的道路上可能会观察到意外的天气状况或意外交通。当前的自主车辆技术并未针对这样的意外路况进行配置。
技术实现要素：3.当前的自主车辆技术没有针对意外路况来进行配置。本公开认识到与向自主车辆(av)通信命令有关的各种问题和先前未满足的需求。本公开的某些实施例为当前自主车辆技术的技术问题提供了独特的技术解决方案，包括将命令通信给朝向意外路况的一个或多个av的那些问题。所公开的系统被配置为针对一个或多个av确定不同级别的命令粒度。在一些示例中，命令可以是广义命令，而在其他示例中，它们可以是特定命令。
4.广义命令可以与特定路况有关并且针对朝向特定路况的一个或多个av。意外路况可以包括但不限于意外天气状况、意外交通拥堵、道路封闭、道路上的障碍物、施工区域等。例如，一个或多个av行驶的道路上的意外路况可以通过与一个或多个av可操作地耦合的操作服务器，通过分析与一个或多个av沿道路行驶的时间窗相关联的环境数据，并将环境数据与包括预期路况的地图数据进行比较来检测。环境数据可以包括天气数据和交通数据。操作服务器可以从外部源访问环境数据，诸如实时天气报告、实时交通报告等。在检测到意外路况时，可以向一个或多个av通信广义命令，指示意外路况在道路上被检测，并且绕道而行。
5.特定命令可以与特定路况有关，并且针对经历特定路况的特定av。例如，假设特定av正在沿着由道路封闭关闭的道路行驶。在检测到道路封闭时，通过与特定av可操作地耦合的操作服务器，特定命令可以被通信给特定av，指示采取特定动作(例如，走下一个出口，采取第一右转，前进50英尺，然后靠边停车)。
6.本公开预期检测各种意外路况并向朝向意外路况前进的一个或多个av发布命令(例如，广义或特定命令)。在某些情况下，类似于上述示例，命令从操作服务器被通信给一个或多个av，即，操作服务器-av命令。
7.在一些情况下，在接收到命令时，av(或与av相关联的车载控制设备)可以基于分析从av上的传感器接收的传感器数据来更新命令。例如，如果车载控制设备根据所分布的命令，确定用于导航av的路径上有障碍物，则av可以更新命令。例如，假设发送到av的命令指示将车停到路边的第一位置处。此外，假设av的传感器检测到第一位置被障碍物占据。因此，在该示例中，车载控制设备确定障碍物妨碍执行所分布的命令。因此，车载控制设备可
以搜索无障碍位置。在找到无障碍物的第二位置时，车载控制设备可以更新命令来将av拉到第二位置，例如，在第一位置前方50英尺。
8.在一些情况下，av可以将命令通信给操作服务器，即，av-操作服务器命令。例如，当在其行驶路径上检测到意外物体时，av可以将包括一个或多个导航指令的命令通信给操作服务器。av(或与av相关联的车载控制设备)可以通过分析从其传感器接收的传感器数据，并将传感器数据与包括av前方的预期物体(诸如路标、建筑物、地形、车道标记、道路边界、红绿灯等)的地图数据进行比较来检测意外物体。通过比较传感器数据和地图数据，av可以检测到传感器数据中包括的意外物体未被包括在地图数据中。av可以确定所建议的命令或导航指令以避免意外物体。av可以将所建议的命令通信给操作服务器，以进行确认、证实或承认。操作服务器可以确认、修改或覆盖所建议的命令并将确认或修改通信给av。在接收到确认或修改之后，av可以执行原始或经修改的命令。
9.在一些情况下，第一av可以将命令通信给第二av，即，av-av命令。例如，假设第一av和第二av在同一道路上，并且第一av在第二av之前。此外，假设第一av已从操作服务器接收到命令，以避免在第一av前方的意外路况。类似于以上描述的，基于分析传感器数据，第一av可以或可以不更新命令。
10.在一个实施例中，第一av可以将命令(或经更新的命令)间接地通信给第二av。例如，第一av可以将命令(或经更新的命令)通信给操作服务器，并且操作服务器可以将命令(或经更新的命令)通信给第二av。
11.在另一实施例中，如果第二av在第一av的v2v通信范围内，则第一av可以例如使用车辆-车辆(v2v)网络接口，将命令(或经更新的命令)直接通信给第二av。在该实施例中，第一av访问与第一av和第二av之间的道路部分相关联的环境数据。环境数据可以包括当第一av沿着第一和第二av之间的道路部分行驶时，由第一av的传感器检测的多个物体的位置坐标。由于第一av已行驶了第一和第二av之间的道路部分，所以第一av已体验并记录了环境数据。第一av可以确定在传感器数据和/或环境数据(与第一av和第二av之间的道路部分相关联)中检测到的物体是否阻碍第二av执行所分布的命令。在该过程中，例如，第一av可以接收第二av的轨迹(例如，来自操作服务器和/或第二av)，并确定在传感器数据和/或环境数据中检测到的任何物体是否在第二av的行驶路径上。如果物体在第二av的行驶路径上，则第一av可以确定物体阻碍了第二av执行命令。如果第一av确定在传感器数据和/或环境数据中检测到的物体阻碍了第二av执行所分布的命令，则第一av更新针对第二av的命令，使得经更新的命令包括在执行命令时避开第二av行驶路径上的物体的一个或多个导航指令。以类似的方式，如果第三av在第一av的v2v通信范围内，则基于分析与第一av和第三av之间的道路相关联的环境数据的聚合，第一av可以将第二更新命令通信给第二av后面行驶的第三av。
12.在第三av不在第一av的v2v通信范围内，但第三av在第二av的v2v通信范围内的情况下，第二av可以访问和分析与第二av和第三av之间的道路相关联的环境数据并且将命令通信给第三av，以在执行指令时避开第三av的行驶路径上的物体。以此方式，本公开考虑了在av的网络网格之间的通信，其中不同的av子集可以在其他av子集的各种v2v通信范围内。因此，本公开预期在av的网络网格与操作服务器之间进行一对一、一对多和多对多通信。
13.关于从操作服务器向av通信命令，在一个实施例中，系统包括av和操作服务器。av
包括至少一个车辆传感器，其中av被配置为沿道路行驶。操作服务器与av通信地耦合。操作服务器包括处理器。处理器被配置为访问与av前方道路相关联的环境数据。环境数据与av沿道路行驶的时间窗相关联。处理器将环境数据与包括av前方的预期路况的地图数据进行比较。基于环境数据与地图数据的比较，处理器确定环境数据是否包括地图数据中所未包括的意外路况。响应于确定环境数据包括地图数据中所未包括的意外路况和/或与av能够安全操作的状况相对应的操作设计域，处理器确定意外路况的位置坐标并向av通信命令来进行机动，以避开意外路况。
14.关于由av从操作服务器接收命令，在一个实施例中，系统包括av和控制设备。av包括至少一个车辆传感器，其中av被配置为沿道路行驶。控制设备与av相关联。控制设备包括处理器。处理器被配置为从操作服务器接收用于导航av来避开意外路况的命令。处理器从至少一个车辆传感器接收传感器数据，传感器数据包括在av前方的多个物体的位置坐标。处理器确定多个物体中的至少一个物体是否阻碍执行命令。响应于确定多个物体中的至少一个物体阻碍执行命令，处理器更新命令，使得经更新的命令包括在执行命令时避开至少一个物体的一个或多个导航指令。处理器根据经更新的命令来导航av。
15.关于将命令通信给后续av的前导av，在一个实施例中，系统包括前导av和后续av。前导av包括至少一个车辆传感器。前导av被配置为沿道路行驶。后续av不同于前导av，并且与前导av通信耦合。后续av沿着前导av后面的道路行驶。前导av与控制设备相关联。控制设备包括第一处理器。第一处理器被配置为接收将前导av导航来避开前导av前方的意外路况的命令。第一处理器从至少一个车辆传感器接收传感器数据，传感器数据包括前导av前方的第一多个物体的位置坐标。第一处理器访问第一环境数据集，第一环境数据集与前导av和后续av之间的道路部分相关联。第一环境数据集包括在前导av和后续av之间的第二多个物体的位置坐标。第一处理器确定第一多个物体和第二多个物体中的至少一个物体是否阻碍后续av执行命令。响应于确定至少一个物体阻碍后续av执行命令，处理器至少部分地基于传感器数据和第一环境数据集，更新针对后续av的命令，使得经更新的命令包括在执行命令时避开至少一个物体的一个或多个导航指令。第一处理器将经更新的命令通信给后续av。
16.所公开的系统提供了若干实际应用和技术优势，包括：1)确定不同粒度级别的命令(包括广义和特定命令)的技术，其中每个粒度级别的命令可以与特定路况有关，并且针对朝向特定路况前进的一个或多个av；2)响应于检测到意外路况，向第一av通信命令(例如，广义或特定命令)来避开在第一av行驶的道路上的意外路况的技术，其中意外路况与第一av沿道路行驶的时间窗相关联；
17.3)响应于根据所接收的命令，检测到第一av导航路径上的障碍物，并根据所接收的指令确定障碍物阻碍第一av导航，更新所接收的命令的技术；4)借助操作服务器，实现第一av与第二av之间的间接数据通信的技术；5)使得能够在第一av与v2v通信范围内的第二av之间实现直接数据通信的技术；6)将命令(或经更新的命令)通信给第二av，根据所发布的命令通知第二av意外路况和阻碍导航的障碍物的技术。
18.因此，本公开中描述的系统可以被集成到用于确定并向av通信命令来避开意外路况的确定更有效、安全和可靠的解决方案的实际应用中。此外，本公开中描述的系统可以被集成到即使意外路况不在av传感器的视场或检测区域内，针对朝向意外路况前进的av确定
更有效、安全和可靠的导航解决方案的附加实际应用中。例如，从实时天气报告和/或交通报告中，操作服务器可以检测到在av的传感器的检测区域之外的意外路况并向av发布命令来避开意外路况。因此，所公开的系统可以改进当前的自主车辆技术。
19.此外，所公开的系统可以改进av与负责监督av的操作的操作服务器之间的数据通信。例如，所公开的系统可以在第一av与在第一av的v2v通信范围内的操作服务器和后续av中的一个或两者之间建立通信信道。这样，第一av可以向操作服务器和/或后续av发送数据和接收数据(例如，命令或任何其他数据)。
20.因此，通过改进av与操作服务器之间的数据通信，所公开的系统在av车队在同一道路上行驶的情况下为不同的av提供频率带宽分配灵活性。因此，所公开的系统可以利用v2v通信在不同的网络/接入节点(例如，操作服务器或车队中的任何av)处进行负载平衡和处理资源平衡，以减少或最小化一个接入/网络处的数据传输开销。
21.此外，通过改进av与操作服务器之间的数据通信，所公开的系统还可以改进跟踪av和监视av的自主操作。例如，当前自主车辆技术中使用的当前数据通信技术可能会受到现有网络基础设施的限制。所公开的系统可以在av中实现一个或多个计算代理单元，计算代理单元被配置为在各种通信状态下操作。
22.例如，当av被连接到操作服务器和后续av时，一个或多个计算代理单元转换到“连接到操作服务器和后续av”状态。在这种状态下，av可以向操作服务器和/或后续av发送数据(例如，命令或任何其他数据)以及从操作服务器和/或后续av接收数据(例如，命令或任何其他数据)。
23.在另一示例中，当av被连接到后续av时，一个或多个计算代理单元转换到“连接到后续av”状态。因此，如果av与操作服务器之间的通信丢失，则av可以向操作服务器发送数据(例如，命令或任何其他数据)和从操作服务器接收数据(例如，命令或任何其他数据)。
24.在另一示例中，当av被连接到操作服务器时，一个或多个计算代理单元转换到“连接到操作服务器”状态。因此，如果av与后续av之间的通信丢失，则av可以向操作服务器发送数据(例如，命令或任何其他数据)和从操作服务器接收数据(例如，命令或任何其他数据)。
25.在另一示例中，如果av与操作服务器与后续av两者之间的连接丢失，则一个或多个计算代理单元转换到“在没有与操作服务器和后续av连接的情况下，执行命令”状态。在这种状态下，与av相关联的控制设备将av拉到路边，直到与操作服务器和后续av中的一个或两者重新建立通信。
26.以这种方式，所公开的系统可以改进与av的数据通信、跟踪av以及监视av的自主操作。
27.本公开的某些实施例可以包括这些优点中的一些、全部或不包括这些优点。从以下结合附图和权利要求的详细描述中将更清楚地理解这些优点和其他特征。
附图说明
28.为了更完整地理解本公开，现在结合附图和详细描述参考以下简要描述，其中相同的附图标记表示相同的部件。
29.图1图示了被配置为在一个或多个自主车辆(av)与操作服务器之间通信命令的系
统的实施例；
30.图2图示了被配置为将命令从av通信给操作服务器和/或后续av的系统的实施例；
31.图3图示了用于在一个或多个av与操作服务器之间通信命令的方法的示例流程图；
32.图4图示了用于从av向操作服务器和/或后续av通信命令的方法的示例流程图；
33.图5图示了被配置为在av之间通信命令的系统的第一示例实施例；
34.图6图示了被配置为在av之间通信命令的系统的第二示例实施例；
35.图7图示了用于在av之间通信命令的方法的示例流程图；
36.图8图示了被配置为实现自主驾驶操作的示例自主车辆的框图；
37.图9图示了用于提供由图8的av使用的自主驾驶操作的示例系统；以及
38.图10图示了在图8的av中包括的车载控制计算机的框图。
具体实施方式
39.如上所述，先前的技术未能提供用于确定以及向av通信命令来避开意外路况的有效、可靠和安全解决方案。本公开提供了各种系统、方法和设备，用于：1)向行驶中的av通信命令来避开意外路况；2)改进与av的数据通信；3)改进av的导航；4)改进对av的跟踪；5)改进对av自主操作的监视；6)为自主车辆、其他车辆和行人提供安全的驾驶体验。
40.在一个实施例中，用于在操作服务器与一个或多个av之间通信命令的系统100和方法300在本文中分别关于图1和图3进行描述。在一个实施例中，用于通过av从操作服务器和/或后续av接收命令的系统200和方法400在本文中分别关于图2和图4进行描述。
41.在一个实施例中，用于在av之间通信命令的系统500和600以及方法700在本文中分别关于图5至图7进行描述。在一个实施例中，示例av及其用于通过av实现自主驾驶操作的各种系统和设备在本文中关于图8至图10进行描述。
42.用于在操作服务器和一个或多个av之间通信命令的示例系统
43.图1图示了用于在操作服务器120和一个或多个av 802之间通信命令130的系统100的实施例。图1进一步图示了一个或多个av 802(诸如av 802a和后续av 802b)行驶的道路102的简化示意图，其中一个或多个av 802朝向各种示例性意外路况156前进。在一个实施例中，系统100包括操作服务器120和一个或多个av 802(参见图8，以获得对av 802的进一步描述)。系统100还可以包括应用服务器160、远程操作员162和网络110。网络110提供系统100的组件之间的通信路径。系统100可以如图所示或以任何其他合适的配置来配置。
44.通常，系统100(在操作服务器120处)访问环境数据150，环境数据150包括天气数据152和提供关于道路102状况的信息的交通数据154。环境数据150还可以包括道路安全法规数据，与障碍物118有关的数据(例如，道路封闭104、物体106、施工区域108等的位置坐标、形状、大小和类型)等。例如，操作服务器120从一个或多个外部源接收环境数据150，诸如实时天气报告、实时交通报告等。操作服务器120(经由处理器122)将环境数据150与地图数据142进行比较，地图数据142包括av 802a前方的预期路况。预期路况可以包括道路102上的av 802a前方的预测天气状况和交通拥堵。预期路况还可以包括与道路102相关联的预期道路安全数据、预期道路海拔数据(例如，不同道路段的海拔信息)、与av 802a前方的预期物体有关的信息(例如，车道标记、路标、交通信号灯、人行横道等的位置坐标、形状、大小
和类型)、一个或多个av在道路102上的历史驾驶信息802等。基于环境数据150和地图数据142的比较，操作服务器120确定环境数据150是否包括地图数据142中所未包括的意外路况156。例如，意外路况156可以包括意外天气状况、意外交通拥堵、意外道路封闭104、意外物体106、意外施工区域108或地图数据142中未所包括的任何其他意外路况156。响应于环境数据150包括意外路况156，操作服务器120确定意外路况156的位置坐标158，并将命令130通信给av 802a来进行机动，以避开意外路况156。以下对应描述包括系统100的某些组件的简要描述。
45.系统组件
46.网络110可以是任何合适类型的无线和/或有线网络，包括但不限于互联网、内联网、专用网络、公共网络、对等网络、公共交换电话网络、蜂窝网络、局域网(lan)、城域网(man)、广域网(wan)和卫星网络中的全部或一部分。网络110可以被配置为支持本领域普通技术人员将理解的任何合适类型的通信协议。
47.操作服务器120通常被配置为监督av 802的操作。操作服务器120包括处理器122、网络接口124、用户接口126和存储器128。操作服务器120的组件可操作地彼此耦合。
48.处理器122可以包括执行如本文所述的各种功能的一个或多个处理单元。存储器128存储处理器122用来执行其功能的任何数据和/或指令。例如，存储器128存储当由处理器122执行时使得操作服务器120执行本文所述的一个或多个功能的软件指令138。
49.操作服务器120与av 802及其组件进行信号通信。操作服务器120还被配置为通过分析传感器数据148来检测道路102上和周围的物体。例如，操作服务器120可以通过实现物体检测机器学习模块140来检测道路102上和周围的物体。物体检测机器学习模块140可以使用用于从图像、视频、红外图像、点云、雷达数据等中检测物体的神经网络和/或机器学习算法来实现。物体检测机器学习模块140将在以下更详细地描述.
50.在一个实施例中，av 802可以包括与拖车附接来将货物或物品从一个位置运输到另一位置的半卡车牵引车单元(参见图8)。av 802由在图8-图10中详细描述的多个组件导航。图8中更详细地描述了av 802的操作。以下的对应描述包括对av 802的某些组件的简要描述。简而言之，av 802包括车载控制计算机850，其操作为促进av 802的自主驾驶。在本公开中，车辆控制计算机850可以互换地被称为控制设备850。
51.控制设备850通常被配置为控制av 802及其组件的操作。控制设备850还被配置为确定av 802前面的可安全行驶且没有物体/障碍物的路径，并且将av 802导航在该路径中行驶。该过程在图8至图10中更详细地描述。控制设备850通常包括与av 802的其他组件(参见图8)进行信号通信的一个或多个计算设备。控制设备850从位于av 802上的一个或多个传感器846接收传感器数据148，来确定行驶的安全路径。传感器数据148包括由传感器846捕获的数据。传感器846被配置为捕获它们的检测区域或视场内的任何物体，诸如地标、车道标记、车道边界、道路边界、车辆、行人、道路/交通标志等。传感器846可以包括相机、lidar传感器、运动传感器、红外传感器等。在一个实施例中，传感器846可以被定位在av 802周围来捕获av 802周围的环境。
52.控制设备850与操作服务器120进行信号通信。控制设备850被配置为例如经由网络110将传感器数据148通信给操作服务器120。控制设备850可以周期性地(例如，每分钟、每几分钟或任何其他合适的间隔)、连续地和/或在从操作服务器120接收到发送传感器数
据148的请求时，将传感器数据148通信给操作服务器120。传感器数据148可以包括描述av 802周围环境的数据，诸如图像馈送、视频馈送、lidar数据馈送以及从传感器846的视场捕获的其他数据。传感器数据148还可以包括av 802的位置坐标。参见图8的对应描述来进一步描述控制设备850。
53.通信子系统210是控制设备850的组件并且通常被配置为在av 802a和操作服务器120和/或后续av 802b之间建立通信。通信子系统210还被配置为从操作服务器120和/或后续av 802b接收命令130或其他合适的通信。在接收命令130时，通信子系统210(或控制设备850)可以实现命令130或者在实现之前更新命令130。参见图2的对应描述来进一步描述通信子系统210。以下的对应描述描述了命令130的各种示例。
54.示例命令
55.命令130通常包括可以被用于导航和/或配置一个或多个av 802的一个或多个指令。例如，命令130可以包括但不限于以下指令：1)通过av 802，从自主驾驶转换到手动驾驶；2)通过av 802避开障碍物118(例如，道路封闭104、物体106、施工区域108等)；3)通过av 802避开一个或多个特定车道(例如，被障碍物118占据的车道等)；4)通过av 802避开检测到意外路况156或障碍物118的一个或多个特定路线规划144；5)通过av 802采取特定的重新布路(re-route)(例如，通过采取出口112)；6)由av 802以不同于驾驶指令146的方式操作(例如，比驾驶指令146中指示的速度驾驶更慢或更快)。
56.在一些情况下，命令130可以是与导航av 802以外的方面有关的配置命令130。例如，配置命令130可以与改变传感器参数有关，包括改变传感器的方向846(例如，倾斜传感器846的方向)、改变传感器846的数据采样频率等。
57.命令130可以包括操作服务器-av命令132、av-操作服务器命令134和av-av命令136。操作服务器-av命令132是操作服务器与一个或多个av 802通信的命令130。av-操作服务器命令134是av 802与操作服务器120通信的命令130。av-av命令136是第一av 802(例如，av 802a)直接或间接地借助操作服务器120与第二av 802(例如，av 802b)通信的命令130。
58.在一个实施例中，远程操作员162可以确定并从操作服务器120发布命令130。远程操作员162可以是与操作服务器120相关联并且可以访问操作服务器120的个人。例如，远程操作员162可以是可以访问和查看关于av 802的信息(诸如存储器128上可用的数据)的管理员。远程操作员162可以直接或间接访问操作服务器120。例如，远程操作员162可以借助通信路径164直接访问操作服务器120。通过查看操作服务器120并查看操作服务器120的用户接口126上的环境数据150、地图数据142、路线规划144和传感器数据148，远程操作员162可以针对一个或多个av 802发布命令130。在另一示例中，远程操作员162可以经由网络110，从用作表示层的应用服务器160间接访问操作服务器120。操作服务器120可以将命令130转发或通信给一个或多个av 802。
59.在另一实施例中，确定和发布命令130的过程可以由操作服务器120和/或控制设备850计算机化和执行。
60.命令130可以具有不同级别的粒度。例如，如下所述，命令130的不同粒度级别可以指示命令130是广义命令130a还是特定命令130b。
61.包括本文中描述的广义命令130a和特定命令130b的命令130是示例性的并且不意
味着限制如在所附权利要求中以其他方式呈现或阐述的本发明的范围。
62.广义命令示例
63.广义命令130a可以与通常应用于一个或多个av 802的特定意外路况156有关。广义命令130a可以被引导到例如在朝向特定意外路况156的特定道路102上的一个或多个av 802。如图1所示，av 802沿着道路102行驶，其中av 802a在av 802b前方，并且av 802可能遇到不同的意外路况156。对于每个意外路况156，如下所述，操作服务器120可以发布特定命令130(即，操作服务器-av命令132)。
64.例如，操作服务器120可以将广义命令130a通信给一个或多个av 802，指示在道路102上存在道路封闭104，并找到到达目的地的另一路线规划144(例如，提供最安全的驾驶体验的路线规划144)。在另一示例中，操作服务器120可以向一个或多个av 802通信广义命令130a，指示在av 802a前方的道路102上检测到恶劣天气(例如，基于天气数据152)并找到下一出口(例如，出口112)，然后靠边停车。在另一示例中，操作服务器120可以将广义命令130a通信给一个或多个av 802，指示在道路102上检测到意外物体106(在地图数据142中未检测到)，并在意外物体106周围导航。在另一示例中，操作服务器120可以将广义命令130a通信给一个或多个av 802，指示在道路102上检测到意外施工区域108(在地图数据142中未检测到)并且发现道路102一侧的停车点，靠边停车。
65.特定命令示例
66.特定命令130b可以与应用于特定av 802的特定意外路况156有关。特定命令130b可以针对遇到特定意外路况156的特定av 802。例如，操作服务器120可以将特定命令130b通信给av 802a，指示在道路102上存在道路封闭104并从下一出口112驶出，在红绿灯后第一次右转，行驶五十英尺，靠边停车，等待进一步的指示。在另一示例中，假设av 802a已在道路102的一侧靠边停车，然而，av 802a停在边车道两英尺处。操作服务器120可以将特定命令130b通信给av 802a，以将方向盘向右转动两秒，以每小时两英里(mph)的速度移动，然后停止。在另一示例中，特定命令130b可以向特定av 802a提供转向指令，而不接管av 802a的自主驾驶。
67.控制设备850和/或操作服务器120可以使用广义命令130a和特定命令130b作为训练数据集来学习每个意外路况156与其对应的发布命令130之间的关联和关系。因此，控制设备850和/或操作服务器120可以被训练为在最少(或没有)人为干预(即，来自远程操作员162的干预)的情况下发布命令130。
68.操作服务器
69.以上描述了操作服务器120的一个实施例的各方面，并且以下提供了附加的方面。操作服务器120包括至少一个处理器122、至少一个网络接口124、至少一个用户接口126和至少一个存储器128。操作服务器120可以如图所示配置或以任何其他合适的配置来配置。
70.在一个实施例中，操作服务器120可以由可以用于监督av 802的操作的计算设备集群来实现。例如，操作服务器120可以由使用分布式计算的多个计算设备和/或云计算系统来实现。在另一示例中，操作服务器120可以由一个或多个数据中心中的多个计算设备来实现。因此，在一个实施例中，操作服务器120可以包括比控制设备850更多的处理能力。操作服务器120与一个或多个av 802及其组件(例如，控制设备850)进行信号通信。在一个实施例中，操作服务器120被配置为确定针对av 802的特定路线规划144。例如，操作服务器
120可以确定针对av 802的导致到达该av 802目的地的减少的驾驶时间和更安全的驾驶体验的特定路线规划144。
71.在一个实施例中，在通过比较环境数据150和地图数据142检测到意外路况156的情况下，操作服务器120可以评估环境数据150和地图数据142并且确定用于导航av 802的命令130。例如，响应于检测到特定意外路况156，操作服务器120可以确定命令130并将其通信给av 802来避开意外路况156。在一个实施例中，远程操作员162可以如下所述，确认、修改和/或覆盖操作服务器120的建议命令130(或导航规划)。
72.在一个实施例中，针对av 802的导航解决方案或路线规划144可以根据诸如一个av 802与另一个av 802的v2v通信来确定。在一个实施例中，针对av 802的导航解决方案或路线规划144可以根据例如av 802与操作服务器120的车辆-云(v2c)通信来确定。
73.在一个实施例中，针对av 802的命令130、导航解决方案和/或路线规划144可以由车辆-云-人(v2c2h)、车辆-人(v2h)、车辆-云-车辆(v2c2v)和/或车辆-人-车辆(v2h2v)通信来确定，其中在确定av 802的导航解决方案时并入人为干预。例如，远程操作员162可以查看来自用户接口126的环境数据150和地图数据142并且确认、修改和/或覆盖由操作服务器120和/或控制设备850确定的、用于av 802的命令130。远程操作员162可以在确定控制设备850和/或操作服务器120以其他方式不提供的av 802的导航规划中添加人的视角。在某些情况下，在安全性、节油等方面，人的视角比机器的视角更优选。
74.在一个实施例中，针对av 802的命令130可以通过v2v、v2c、v2c2h、v2h、v2c2v、v2h2v通信以及其他类型的通信的任何组合来确定。
75.如图1所示，远程操作员162可以经由通信路径166来访问应用服务器160并且类似地，经由通信路径164来访问操作服务器120。在一个实施例中，操作服务器120可以借助网络110无线和/或经由有线通信，将传感器数据148、命令130、环境数据150和/或任何其他数据/指令发送到远程操作员162查看的应用服务器160。因此，在一个实施例中，远程操作员162可以经由应用服务器160远程访问操作服务器120。
76.处理器122包括与存储器128可操作地耦合的一个或多个处理器。处理器122是任何电子电路，包括但不限于状态机、一个或多个中央处理单元(cpu)芯片、逻辑单元、内核(例如，多核处理器)、现场可编程门阵列(fpga)、专用集成电路(asic)或数字信号处理器(dsp)。处理器122可以是可编程逻辑器件、微控制器、微处理器或前述的任何合适组合。处理器122被通信地耦合到网络接口124、用户接口126和存储器128并且与网络接口124、用户接口126和存储器128进行信号通信。一个或多个处理器被配置为处理数据并且可以在硬件或软件中实现。例如，处理器122可以是8位、16位、32位、64位或任何其他合适的架构。处理器122可以包括用于执行算术和逻辑运算的算术逻辑单元(alu)、向alu提供操作数并存储alu运算结果的处理器寄存器、以及从存储器获取指令并通过引导alu、寄存器和其他组件的协调操作来执行指令的控制单元。一个或多个处理器被配置为实现各种指令。例如，一个或多个处理器被配置为执行软件指令138来实现本文所公开的功能，诸如关于图1-图7所描述的功能中的一些或全部。在一些实施例中，本文描述的功能使用逻辑单元、fpga、asic、dsp或任何其他合适的硬件或电子电路来实现。
77.网络接口124被配置为实现有线和/或无线通信。网络接口124被配置为在操作服务器120和其他网络设备、系统或域之间通信数据。例如，网络接口124可以包括wifi接口、
局域网(lan)接口、广域网(wan)接口、调制解调器、交换机或路由器。处理器122被配置为使用网络接口124发送和接收数据。网络接口124可以被配置为使用任何合适类型的通信协议。
78.用户接口126可以包括被配置为与诸如远程操作员162的用户交互的一个或多个用户接口。远程操作员162可以经由通信路径164访问操作服务器120。用户接口126可以包括操作服务器120的外围设备，诸如监视器、键盘、鼠标、触控板、触摸板等。远程操作员162可以使用用户接口126来访问存储器128，以查看传感器数据148、环境数据150、意外路况156以及存储器128上存储的其他数据。
79.存储器128存储图1-图7中描述的任何信息以及可操作性为当由处理器122执行时实现(多个)功能的其他数据、指令、逻辑、规则或代码。例如，存储器128可以存储命令130、软件指令138、物体检测机器学习模块140地图数据142、路线规划144、驾驶指令146、传感器数据148、环境数据150、意外路况156、意外路况的位置坐标158、障碍物118和/或任何其他数据/指令。软件指令138包括当由处理器122执行时，使得操作服务器120执行本文描述的功能(诸如图1-图7中描述的一些或全部功能)的代码。存储器128包括一个或多个磁盘、磁带驱动装置或固态驱动装置，并且可以用作溢出数据存储设备，用于在选择执行这些程序时存储这些程序并存储在程序执行期间读取的指令和数据。存储器128可以是易失性或非易失性的并且可以包括只读存储器(rom)、随机存取存储器(ram)、三元内容可寻址存储器(tcam)、动态随机存取存储器(dram)和静态随机存取存储器(sram)。存储器128可以包括本地数据库、云数据库、网络附接存储装置(nas)等中的一个或多个。
80.物体检测机器学习模块140可以通过处理器122执行软件指令138来实现并且通常被配置为从传感器数据148检测物体或障碍物118，包括道路封闭104、意外物体106和施工区域108。物体检测机器学习模块140可以使用神经网络和/或机器学习算法来实现，用于从诸如图像、视频、红外图像、点云、雷达数据等的任何数据类型中检测物体。
81.在一个实施例中，物体检测机器学习模块140可以使用诸如支持向量机(svm)、朴素贝叶斯、逻辑回归、k最近邻、决策树等的机器学习算法来实现。在一个实施例中，物体检测机器学习模块140可以利用多个神经网络层、卷积神经网络层等，其中这些层的权重和偏差在物体检测机器学习模块140的训练过程中被优化。物体检测机器学习模块140可以由训练数据集来训练，训练数据集包括在每个样本中利用一个或多个物体标记的数据类型的样本。例如，训练数据集可以包括在每个样本图像中标记有(多个)物体的物体样本图像(例如，车辆、车道标记、行人、路标、障碍物118等)。类似地，训练数据集可以包括在每个样本数据中标记有物体的其他数据类型的样本，诸如视频、红外图像、点云、雷达数据等。物体检测机器学习模块140可以通过训练数据集和传感器数据148来训练、测试和改进。物体检测机器学习模块140使用传感器数据148(没有使用物体标记)来提高它们在检测物体时的预测准确度。例如，监督和/或非监督机器学习算法可以被用于验证物体检测机器学习模块140在检测传感器数据148中的物体时的预测。
82.地图数据142可以包括具有道路102的城市或区域的虚拟地图。在一些示例中，地图数据142可以包括地图958和地图数据库936(参见图9以获取地图958和地图数据库936的描述)。地图数据142可以包括诸如道路102、路径、高速公路的可驾驶区域以及诸如地形(由占用网格模块960确定，参见图9以获取占用网格模块960的描述)的不可驾驶区域。地图数
据142可以指定道路标志、车道、车道标记、车道边界、道路边界、交通灯、障碍物118等的位置坐标。
83.路线规划144是用于从起始位置(例如，第一av启动台/着陆台)行驶到目的地(例如，第二av启动台/着陆台)的规划。例如，路线规划144可以按照从起始位置到目的地的特定顺序指定一个或多个街道、道路和高速公路的组合。路线规划144可以指定阶段，包括第一阶段(例如，从起始位置移出)、多个中间阶段(例如，沿着一个或多个特定街道/道路/高速公路的特定车道行驶)和最后阶段(例如，进入目的地)。路线规划144可以包括与从起始位置到目的地的路线有关的其他信息，诸如该路线规划144中的道路/交通标志等。
84.驾驶指令146可以由规划模块962来实现(参见图9中规划模块962的描述)。驾驶指令146可以包括根据路线规划144的每个阶段的驾驶规则，调整av 802的自主驾驶的指令和规则。例如，驾驶指令146可以包括保持在av 802行驶的道路102的速度范围内、根据传感器846观察到的变化(诸如周围车辆的速度、传感器846检测区域内的物体等)调整av 802的速度的指令。
85.环境数据150可以包括提供与道路102的状况有关的信息的天气数据152和交通数据154。天气数据152可以包括在av 802前方的地区或区域的天气信息。例如，天气数据152可以从天气预报服务器、实时天气报告等访问。环境数据150还可以包括道路安全法规数据、与障碍物118有关的数据(例如，道路封闭104、(多个)物体106、施工区域108等的位置坐标、形状、大小和类型)等。
86.交通数据154可以包括地图数据142中的道路/街道/高速公路的交通数据。操作服务器120可以使用由一个或多个测绘车辆收集的交通数据154。操作服务器120可以使用从任何来源捕获的交通数据154，诸如从外部源(例如和google实时交通报告等)捕获的众包交通数据154。
87.应用服务器
88.应用服务器160通常是被配置为经由网络110与诸如其他服务器(例如，操作服务器120)、av 802、数据库等的其他设备通信的任何计算设备。应用服务器160被配置为执行本文描述的功能并例如使用其用户接口、经由通信路径166与远程操作员162交互。应用服务器160的示例包括但不限于台式计算机、膝上型计算机、服务器等。在一个示例中，应用服务器160可以充当远程操作员162从其访问操作服务器120的表示层。这样，操作服务器120可以例如经由网络110向应用服务器160发送传感器数据148、命令130、环境数据150和/或任何其他数据/指令。如下所述，远程操作员162在建立与应用服务器160的通信路径166之后，可以查看所接收的数据并确认、修改和/或覆盖由操作服务器120确定的建议命令130。
89.操作流程
90.将命令从操作服务器通信给av
91.用于将命令130从操作服务器120通信给av 802的操作流程可以在环境数据150中检测到意外路况156时开始。例如，操作服务器120(和/或远程操作员162)可以通过查看环境数据150并将环境数据150与包括av 802(例如，av 802a)前方的预期路况的地图数据142进行比较来检测环境数据150包括意外路况156。环境数据150可以包括在av 802(例如，av 802a)沿道路102行驶的时间窗中的天气数据152和交通数据154。
92.基于环境数据150与地图数据142的比较，操作服务器120(和/或远程操作员162)
确定环境数据150是否包括地图数据142中所未包括的意外路况156。以上描述了意外路况156的示例。
93.响应于确定环境数据150包括意外路况156，操作服务器120(和/或远程操作员162)可以确定意外路况156的位置坐标158并且将命令130(即，操作服务器-av命令132)通信给av 802a以进行机动，从而避开意外路况156。
94.将命令从av通信给操作服务器
95.在一个实施例中，响应于从操作服务器120接收到命令130，控制设备850(例如，经由通信子系统210)可以根据命令130来导航av 802a。
96.在备选实施例中，控制设备850(例如，经由通信子系统210)可以更新命令130。例如，在一些情况下，操作服务器120(和/或远程操作员162)可能没有访问(或可能尚未接收到)传感器数据148，并且基于比较环境数据150和地图数据142来确定命令130。因此，在某些情况下，命令130可能不是针对av 802a的最佳导航方案。在这样的情况下，控制设备850可以基于分析传感器数据148来更新命令130。
97.为此，控制设备850从传感器846接收传感器数据148。通过处理传感器数据148，控制设备850可以确定道路102上和周围的多个物体的位置坐标。控制设备850可以更新命令130，使得经更新的命令130-1包括在执行命令130时避开道路102上和周围的多个物体的一个或多个指令。
98.例如，假设道路102被道路封闭104关闭。还假设道路封闭104在av 802a的传感器846的视场或检测区域之外。操作服务器120可以访问指示道路102被道路封闭104关闭的环境数据150。根据环境数据150，操作服务器120(和/或远程操作员162)确定道路封闭104的位置坐标。
99.操作服务器120(和/或远程操作员162)可以向av 802a发布命令130，指示道路102在前方关闭，并在道路102的一侧在位置114处靠边停车。控制设备850(例如，经由通信子系统210)从操作服务器120接收命令130。控制设备850(例如，经由通信子系统210)还从传感器846接收传感器数据148。通过处理传感器数据148，控制设备850(例如，经由通信子系统210)可以确定特定位置114被障碍物占据。在这种情况下，控制设备850(例如，经由通信子系统210)可以更新命令130来避开特定位置114上的障碍物。例如，通过处理传感器数据148，控制设备850可以确定位置坐标116没有障碍物并且将命令130更新为将av 802a停靠到位置116，而不是命令130指示的位置114。
100.在一个实施例中，控制设备850可以执行经更新的命令130-1。例如，控制设备850可以根据经更新的命令130-1来导航av 802a。
101.在备选实施例中，控制设备850可以将传感器数据148和经更新的命令130-1(即，av-操作服务器命令134)通信给操作服务器120并等待确认执行经更新的命令130。在接收到传感器数据148和经更新的命令130-1之后，操作服务器120(和/或远程操作员162)可以分析所接收的数据，并且确认、修改或覆盖经更新的命令130-1。操作服务器130然后可以将操作服务器120(和/或远程操作员162)的判定通信给av 802a。
102.发起将命令从av通信给操作服务器
103.在一些情况下，控制设备850(例如，经由通信子系统210)可以发起将所建议的用于导航av 802a的命令130(即，av-操作服务器命令134)通信给操作服务器120。例如，假设
传感器846检测到道路102上的障碍物118。例如，障碍物118可以是道路封闭104、物体106和施工区域108中的任一个。因此，传感器数据148可以包括表示道路102上存在障碍物118的指示。
104.控制设备850分析传感器数据148并确定道路102上存在障碍物118。控制设备850将传感器数据148与地图数据142进行比较，地图数据142包括在道路102上和周围的预期物体的位置坐标。基于传感器数据148和地图数据142的比较，控制设备850确定障碍物118不包括在地图数据142中。作为响应，控制设备850可以将针对av 802a所建议的命令130或所建议的导航指令确定为避开障碍物118。例如，所建议的命令130可以包括靠边停车、转向未被障碍物118占据的另一车道、重新规划路线等。
105.在一个实施例中，控制设备850可以执行所建议的命令130。
106.在备选实施例中，控制设备850可以将所建议的命令130(即，av-操作服务器命令134(参见图1))通信给操作服务器120，以如上所述由操作服务器120(和/或远程操作员162)确认或修改。
107.控制设备850可以确定是否从操作服务器120接收到确认或修订。响应于接收到确认，控制设备850执行所建议的命令130。响应于接收到修改，控制设备850执行经修改的命令130。
108.在一个实施例中，控制设备850可以通信指示存在所观察的障碍物118的传感器数据148并请求远程操作员162(和/或操作服务器120)提供避免障碍物118的命令130。
109.因此，在上述各种实施例中，控制设备850可以响应于检测到不同的障碍物118和/或意外路况156，与操作服务器120(和/或远程操作员162)协商来确定用于导航av 802a的更优命令130。
110.将命令从av通信给另一av
111.在一个实施例中，可以从操作服务器120发起将命令130从av 802(例如，av 802a)通信给另一av 802(例如，av 802b)。例如，如上所述，响应于检测到av 802a前方的意外路况156，操作服务器120(和/或远程操作员162)可以将命令130通信给av 802a来进行机动，以避开意外路况156。控制设备850可以类似于以上描述的执行或者更新命令130。该命令130(或经更新的命令130-1)可以被传播到一个或多个后续av 802，诸如av 802b。例如，操作服务器120可以将命令130(或经更新的命令130-1)通信给av 802b，通知av 802b意外路况156、意外道路封闭104的位置坐标158以及一个或多个导航指令来避开意外路况156。
112.在一个实施例中，可以从第一av 802a发起将命令130从第一av 802a通信给第二av 802b。例如，响应于检测到意外路况156和/或障碍物118，控制设备850(例如，经由通信子系统210)可以类似于上述确定所建议的命令130来导航第一av 802a。例如，如果第二av 802b在第一av 802a的v2v通信范围内，则控制设备850(例如，经由通信子系统210)可以将命令130直接通信给第二av 802b。该过程在图2中更详细地描述并且在图5-图7中描述了在av 802之间通信命令130的各种场景。
113.示例通信子系统及其操作
114.图2图示了系统200的实施例，系统200被配置为在av 802与操作服务器120之间建立通信。在一个实施例中，系统200包括通信子系统210，通信子系统210是控制设备850(参见图8)、av 802a和操作服务器120的组件。在一些实施例中，系统200还可以包括av 802b和
网络110。网络110在系统200的组件之间建立通信。系统200可以如图所示或以任何其他合适配置来配置。系统200的某些组件的实施例的各方面在以上图1中描述并且以下提供附加方面。
115.在一个实施例中，网络110可以使用任何合适的云计算服务和网络基础设施来实现，包括amazon web services(aws)网络110可以使用任何合适的数据通信协议在设备之间传输数据，包括message queuing telemetry transport(mqtt)网络110可以提供一个或多个功能，包括1)提供操作服务器120与av 802之间的安全连接；2)存储从av 802(例如，av 802a)接收的数据，诸如命令130、传感器数据148等；3)提供对在av 802a与操作服务器120之间通信的数据的访问；以及4)在av 802和操作服务器120之间传输数据。
116.控制设备850包括多个组件，多个组件包括与计算设备260可操作地耦合的通信子系统210。控制设备850的其他组件在图8中描述。以下的对应描述描述了通信子系统210的组件。
117.通信子系统210被提供来促进av 802(例如，av 802a)和系统200的其他组件之间的数据通信。在一些实施例中，通信子系统210可以包括控制器局域网(can)控制器来建立通信子系统210内的组件之间的通信。通信子系统210可以包括支持通信子系统210的操作的各种组件。通信子系统210包括与至少一个存储器242进行信号通信的至少一个处理器212。存储器242存储软件指令244，软件指令244在由处理器212执行时使得处理器212执行本文描述的一个或多个功能。例如，当软件指令244被执行时，处理器212从操作服务器120和/或后续av 802b接收命令130，并实现命令130。在另一示例中，当软件指令244被执行时，一旦从操作服务器120和/或后续av 802b接收命令130，处理器212更新命令130、将经更新的命令130通信给操作服务器120和/或后续av 802b，并且在接收到确认(或(修改)时，实现命令130。通信子系统210还可以包括至少一个传感器单元224、射频(rf)网关228、长期演进(lte)调制解调器232和v2v调制解调器234。
118.处理器212包括一个或多个处理器，诸如计算单元214和车辆控制单元222。处理器212被可操作地耦合到传感器单元224、rf网关228、lte调制解调器230、v2v调制解调器234和存储器242。处理器212是任何电子电路，包括但不限于状态机、一个或多个中央处理单元(cpu)芯片、逻辑单元、核(例如多核处理器)、现场可编程门阵列(fpga)、专用集成电路(asic)或数字信号处理器(dsp)。处理器212可以是可编程逻辑器件、微控制器、微处理器或前述的任何合适的组合。处理器212被配置为处理数据并且可以在硬件和/或软件中实现。例如，处理器212可以是8位、16位、32位、64位或任何其他合适的架构。处理器212可以包括用于执行算术和逻辑运算的算术逻辑单元(alu)、向alu提供操作数并存储alu运算结果的处理器寄存器、以及从存储器获取指令并通过引导alu、寄存器和其他组件的协调操作来执行指令的控制单元。一个或多个处理器被配置为实现各种指令。例如，一个或多个处理器被配置为执行软件指令244来实现本文所公开的功能，诸如关于图1-图10所描述的功能中的一些或全部。在一些实施例中，本文描述的功能使用逻辑单元、fpga、asic、dsp或任何其他合适的硬件或电子电路来实现。
119.每个计算单元214可以通过处理器212执行软件指令244来实现，并且通常被配置为支持自主驾驶功能并促进av 802a和系统200的其他组件之间的数据通信。
120.在一个实施例中，计算单元214是彼此的冗余备份。处理器212可以包括任何合适
数量的计算单元214，诸如一个、两个、三个等。每个计算单元214可以执行图1中描述的通信子系统210(或控制设备850)的一个或多个功能，包括：1)从操作服务器120和/或后续av 802b接收命令130，包括广义130a、特定130b和配置命令130；
121.2)向操作服务器120和/或后续av 802b发送命令130；3)将av 802a的位置坐标通信给操作服务器120和/或后续av 802b；4)收集控制设备850的组件(例如，硬件和软件组件)的健康信息，其中控制设备850的组件的健康信息指示该组件的性能状态，诸如存储器利用率百分比、处理器利用率百分比、每秒平均响应时间、每分钟平均错误率等；以及5)将控制设备850的组件的健康信息通信给操作服务器120和/或后续av 802b。
122.每个计算单元214可以包括lte代理216、v2v代理218和人机界面(hmi)代理220。
123.lte代理216可以在软件和/或硬件模块中实现并且通常被配置为经由网络110在av 802a与操作服务器120之间建立通信。
124.v2v代理218可以在软件和/或硬件模块中实现并且通常被配置为从av 802b接收命令130，并且使用v2v调制解调器234将命令130传输到后续av 802b。
125.hmi代理220可以是软件和/或硬件模块，并且通常被配置为与后续av 802b建立通信来提供访客模式hmi服务，使得操作员能够从av 802b上的计算设备260访问av 802a的控制设备850。
126.每个传感器单元224可以在软件和/或硬件模块中实现。例如，每个传感器单元224可以在一个或多个微处理器上实现。每个传感器单元224通常被配置为执行一个或多个功能，包括：1)从一个或多个传感器846收集传感器数据148；2)在每个传感器数据148被接收时生成时间戳；3)处理传感器数据148，以例如使用障碍物检测指令246来检测物体；以及4)将经处理的传感器数据148发送到处理器212。
127.在一个实施例中，传感器单元224可以处理传感器数据148来确定和标识传感器数据148中指示的物体。例如，为了确定或标识传感器数据148中指示的物体，传感器单元可以使用障碍物检测指令246。传感器单元224可以使用障碍物检测指令246来确定传感器数据148(例如，在图像/视频馈送、lidar数据馈送、运动传感器数据馈送、红外数据馈送等中)是否检测到物体。例如，障碍物检测指令246可以包括用于从与视频帧相对应的图像馈送中实现物体检测方法的代码(例如，从图像或视频中检测物体)。类似地，障碍物检测指令246可以包括用于从lidar数据、运动传感器数据(例如，检测物体的运动)、声音(例如，检测av 802a附近的声音)和红外数据(例如，在红外图像中检测物体)中检测物体的代码。障碍物检测指令246也可以包括用于使用其他数据类型来检测物体的代码。在一个实施例中，传感器单元224是彼此的冗余备份。通信子系统210可以包括任何合适数量的传感器单元224，诸如一个、两个、三个等。
128.车辆控制单元222可以在软件和/或硬件模块中实现并且通常被配置为实现从操作服务器120或另一av 802(例如，av 802b)接收的命令130并且将实现命令130的过程发送到处理器212。
129.lte调制解调器232可以在软件和/或硬件模块中实现并且通常被配置为例如借助网络110向通信子系统210提供互联网连接。lte调制解调器232被配置为启用有线和/或无线通信。lte调制解调器232可以被称为第一网络接口。lte调制解调器232还被配置为在通信子系统210和其他设备、系统(例如，av 802b)、服务器(例如，操作服务器120)或(多个)域
之间通信数据。例如，lte调制解调器232可以包括wifi接口、局域网(lan)接口、广域网(wan)接口、调制解调器、交换机或路由器。
130.处理器212被配置为使用lte调制解调器232向诸如操作服务器120的其他设备发送和接收数据。lte调制解调器232可以被配置为使用任何合适类型的通信协议。lte调制解调器232可以通过提供防火墙功能向通信子系统210提供数据安全。例如，lte调制解调器232可以阻止或过滤来自未经授权或未知源的数据通信并允许来自操作服务器120和其他av 802的数据通信。因此，外来设备可能无法访问av 802a及其组件。
131.v2v调制解调器234可以在软件和/或硬件模块中实现并且通常被配置为在av 802之间建立通信信道。例如，av 802a可以使用v2v调制解调器234，将命令130(或任何其他数据/指令)传输到后续av 802b。处理器212被配置为使用v2v调制解调器234向诸如其他av 802(例如，av 802b)的其他设备发送和接收数据。v2v调制解调器234可以被称为第二网络接口。
132.rf网关228可以在软件和/或硬件模块中实现并且通常被配置为桥接车辆控制单元222与v2v调制解调器234之间的通信。例如，车辆控制单元222可以支持can连接(例如，使用can连接器)并且v2v调制解调器234可以支持以太网连接(例如，使用以太网端口)。因此，rf网关228可以被用于在车辆控制单元222的can连接器与v2v调制解调器234的以太网端口之间传输数据。
133.rf网关228可以包括v2v代理230。v2v代理230可以在软件和/或硬件模块中实现并且通常被配置为经由v2v调制解调器234，从后续av 802b接收命令130(或任何其他数据/指令)。
134.存储器242存储关于图1-图10描述的任何信息以及可操作为在由处理器212执行时实现(多个)功能的任何其他数据、指令、逻辑、规则或代码。例如，存储器242可以存储软件指令244、障碍物检测指令246、传感器数据148、命令130和/或任何其他数据/指令。软件指令244包括在由处理器212执行时使得通信子系统210执行本文描述的功能(诸如图1-图10中描述的一些或全部功能)的代码。存储器242包括一个或多个磁盘、磁带驱动装置或固态驱动装置，并且可以被用作溢出数据存储设备，以在选择执行这些程序时存储这些程序并且存储在程序执行期间读取的指令和数据。存储器242可以是易失性或非易失性的，并且可以包括只读存储器(rom)、随机存取存储器(ram)、三元内容可寻址存储器(tcam)、动态随机存取存储器(dram)和静态随机存取存储器(sram)。存储器242可以包括本地数据库、云数据库、网络附接存储装置(nas)等中的一个或多个。
135.计算设备260通常是被配置为处理数据并与用户交互的任何设备。计算设备260的示例包括但不限于个人计算机、台式计算机、工作站、服务器、膝上型计算机、平板计算机等。计算设备260被配置为执行软件应用程序，软件应用程序被配置为向用户提供监视接口来监视传感器数据148、命令130和/或任何其他数据/指令。在一个实施例中，计算设备260可以被配置为不允许控制av 802来减轻借助计算设备260对av 802的未授权访问和控制。
136.通信子系统组件之间的通信
137.在一些实施例中，处理器212及其组件可以被配置为使用有线和/或无线通信连接到通信子系统210的其他组件。例如，计算单元214可以被配置为使用有线和/或无线通信与通信子系统210的其他组件建立通信。
138.每个计算单元214经由网络110与操作服务器120和/或后续av 802a建立单独的通信信道。通信子系统210可以周期性地(例如，每0.02秒、每0.5秒或任何其他合适的持续时间)在计算单元214和操作服务器120之间通信消息或确认，以检测通信丢失。
139.每个计算单元214借助lte调制解调器232连接到网络110。每个计算单元214可以使用以太网交换机连接到lte调制解调器232。每个计算单元214可以使用can连接器连接到车辆控制单元222。每个计算单元214可以使用以太网连接而被连接到v2v调制解调器234。
140.在av 802a中，每个计算单元214和rf网关228可以与av 802b上的计算设备260建立单独的通信信道。通信子系统210可以周期性地(例如，每0.02秒、每0.5秒或任何其他合适的持续时间)在rf网关228和av 802b上的计算设备260之间通信消息，以检测通信丢失。
141.av和操作服务器之间的通信
142.转换到“连接到操作服务器和后续av”状态
143.在点燃或导通av 802a的引擎842a(参见图8)时，通信子系统210的组件被初始化。处理器212的组件(包括计算单元214和车辆控制单元222)建立到操作服务器120和/或后续av 802b的通信信道。以该方式，通信子系统210进入“连接到操作服务器和后续av”状态。在该状态下，类似于以上在图1中描述的，操作服务器120(或远程操作员162(参见图1)能够监视av 802a的操作并发布命令130。
144.转换到“连接到后续av”状态
145.当与操作服务器120的通信信道270丢失时，通信子系统210转换到“连接到后续av”状态。如上所述，基于在后续av 802b处rf网关228与计算设备260之间的周期性确认消息(或缺少周期性确认消息)，与操作服务器120的通信信道270的丢失被检测。
146.因此，av 802a可以被跟踪，可以发送命令130(并从其接收命令130)，即使av 802a和操作服务器120之间的通信丢失，其自主操作也可以被监视。例如，如果在其对应的周期性间隔没有从操作服务器120接收到周期性确认消息，则通信子系统210确定与操作服务器120的通信信道270丢失。作为响应，通信子系统210可以转换到“连接到后续av”状态，其中av 802a借助第二通信信道280而被连接到后续av 802b。
147.转换到“连接到操作服务器”状态
148.当与后续av 802b的通信信道280丢失时，通信子系统210转换到“连接到操作服务器”状态。基于计算单元214与操作服务器120之间的周期性确认消息(或缺少周期性确认消息)来检测与后续av 802b的通信信道280的丢失。在这种状态下，只要av 802a可以例如使用lte调制解调器232连接到网络110，av 802a就可以保持与操作服务器120的连接。
149.因此，av 802a可以被跟踪、可以向其发送命令130(并从其接收命令130)，即使在av 802a与后续av 802b之间的通信丢失的情况下，其自主操作也可以被监视。例如，如果没有在其对应的周期性间隔从后续av 802b接收到周期性确认消息，则通信子系统210确定与后续av 802b的通信信道280丢失。作为响应，通信子系统210可以转换到“连接到操作服务器”状态，其中av 802a借助通信信道270而被连接到操作服务器120。
150.转换到“在不与操作服务器和后续av连接的情况下执行命令”的状态
151.当与操作服务器120和后续av 802b的通信丢失，即，通信信道270和280丢失时，通信子系统210转换到“在不与操作服务器和后续av连接的情况下执行命令”状态。在该状态下，处理器212可以执行命令130，以将av 802a停在路边，直到通信子系统210与操作服务器
120和后续av 802b中的一个或两者建立通信。这样，即使与操作服务器120和后续av 802b两者的通信均丢失，通信子系统210也可以执行命令130来靠边停车，直到与操作服务器120和后续av 802b中的一个或两者的通信被重新建立。
152.将命令通信给av的示例方法
153.图3图示了用于将命令130通信给av 802的方法300的示例流程图。可以对方法300进行修改、添加或省略。方法300可以包括更多、更少或其他步骤。例如，步骤可以并行或以任何合适的顺序执行。尽管有时讨论av 802、操作服务器120、控制设备850、通信子系统210或其执行步骤的任何组件，但任何合适的系统或系统的组件都可以执行方法300的一个或多个步骤。例如，方法300的一个或多个步骤可以至少部分地分别以来自图1、图2和图8的软件指令138、244和880的形式来实现，软件指令138、244和880被存储在非暂时性、有形、机器可读介质(例如，分别来自图1、图2、图8和图10的存储器128、242、890和1002)上，软件指令138、244和880在由一个或多个处理器(例如，分别来自图1、图2、图8和图10的处理器122、212、870、1004)运行时，可以使得一个或多个处理器执行步骤302-310。
154.方法300开始于步骤302，其中操作服务器120访问与av 802a前方的道路102相关联的环境数据150，其中环境数据150包括与av 802a正沿着道路102行驶的时间窗相关联的天气数据152和交通数据154。例如，操作服务器120可以从一个或多个外部源接收环境数据150，诸如实时天气报告新闻、实时交通报告新闻等。
155.在步骤304处，操作服务器120将环境数据150与包括av 802前方的预期路况的地图数据142进行比较。例如，预期路况可以包括av前方道路102上的预测天气和交通拥堵802a。
156.在步骤306处，操作服务器120确定环境数据150是否包括地图数据142中所未包括的意外路况156。意外路况156可以包括意外天气状况、意外交通拥堵、意外道路封闭104、意外物体106、意外施工区域108等。例如，基于环境数据159与地图数据142的比较，操作服务器120可以确定环境数据150是否包括意外路况156。类似于以上图1中所述，远程操作员162可以确认、修改或覆盖操作服务器120的确定。如果确定环境数据150包括地图数据142中所未包括的意外路况156，则方法300进行到步骤308。否则，方法300终止。
157.在步骤308处，操作服务器120确定意外路况156的位置坐标158。例如，类似于以上图1所述，操作服务器120可以从环境数据150确定意外路况156的位置坐标158。
158.在步骤310处，操作服务器120将命令130(或操作服务器-av命令132)通信给av 802a来进行机动，以避开意外路况156。命令130可以是广义命令130a或特定命令130b。广义命令130a和特定命令130b的示例在图1中描述。
159.基于所接收的命令导航av的示例方法
160.图4图示了用于基于所接收的命令130来导航av 802的方法400的示例流程图。可以对方法400进行修改、添加或省略。方法400可以包括更多、更少或其他步骤。例如，步骤可以并行或以任何合适的顺序执行。虽然有时讨论av 802、操作服务器120、控制设备850、通信子系统210或其执行步骤的任一个，但任何合适的系统或系统组件都可以执行方法400的一个或多个步骤。例如，方法400的一个或多个步骤可以至少部分地分别以来自图1、图2和图8的软件指令138、244和880的形式来实现，软件指令138、244和880被存储在非暂时性、有形、机器可读介质(例如，分别来自图1、图2、图8和图10的存储器128、242、890和1002)上，软
802a可以响应于操作服务器120在环境数据150a中检测到与前导av 802a前方的道路102的一部分相关联的意外路况156，接收命令130。
172.与前导av 802a相关联的控制设备850a从传感器846接收传感器数据148a，其中传感器数据148a包括在前导av 802a前方的第一多个物体的位置坐标。例如，传感器数据148a可以包括传感器846可以检测到的任何其他物体之中的其他车辆、道路标志、车道标记、道路边界、交通信号灯的位置坐标。控制设备850a可以是图8中描述的控制设备850的实例。控制设备850a可以经由图2中描述的通信子系统210发送和接收命令130。类似于图1和图2中所述，控制设备850a(例如，经由通信子系统210(参见图2))可以或可以不基于分析传感器数据148a来更新用于导航前导av 802a的命令130。如下所述，控制设备850a可以确定命令130-1(例如，av-av命令136)并将其通信给后续av 802b。
173.控制设备850a访问与在前导av 802a与后续av 802b之间的道路102的一部分相关联的环境数据150b。由于前导av 802a已行驶在前导av 802a与后续av 802b之间的道路102部分上，所以前导av 802a已经历并记录了环境数据150b。环境数据150b可以包括在前导av 802a与后续av 802b之间的第二多个物体的位置坐标。环境数据150b还可以包括道路安全法规数据、与障碍物118(参见图1)有关的数据以及在前导av 802a在前导av 802a和后续av 802b之间的道路102部分行驶时所经历和记录的任何其他数据。环境数据150b与后续av 802b沿道路102行驶的时间窗相关联。
174.控制设备850a确定在传感器数据148a和环境数据150a和150b中的任一个中检测到的至少一个物体是否阻碍由后续av 802b执行命令130。例如，控制设备850a可以接收后续av 802b的轨迹(例如，来自操作服务器120和/或后续av 802b)并确定在传感器数据148a和环境数据150a中的任一个中检测到任何物体150b是否在后续av 802b的行驶路径上。在另一示例中，类似于图8中所描述的，控制设备850a可以使用传感器846来确定后续av 802b的轨迹。如果物体在后续av 802b的行驶路径上，则控制设备850a可以确定物体阻碍后续av 802b执行命令130。
175.响应于确定至少一个物体(在传感器数据148a和环境数据150a和150b中的任一个中检测到)阻碍由后续av 802b执行命令130，控制设备850a针对后续av 802b更新命令130。在该过程中，控制设备850a生成经更新的命令130-1(例如，av-av命令136)。经更新的命令130-1包括用于在执行命令130时后续av 802b避开在后续av 802b的行驶路径上检测到的至少一个物体的一个或多个导航指令。控制设备850a将经更新的命令130-1通信给后续av 802b。
176.与后续av 802b相关联的控制设备850b接收经更新的命令130-1并根据经更新的命令130-1来导航av 802b。控制设备850b可以是图8中描述的控制设备850的实例。
177.在一个实施例中，类似于以上在图1和图2中描述的，响应于确定在传感器数据148b中检测到的物体阻碍执行命令130-1，控制设备850b可以进一步更新命令130-1。
178.将命令通信给第二后续av
179.与上述类似，控制设备850a可以生成经更新的命令130-2并且将经更新的命令130-2通信给在前导av 802a的v2v通信范围510中的第二后续av 802n。在该过程中，控制设备850a访问与在前导av 802a和第二后续av 802n之间的道路102的一部分相关联的环境数据150。与前导av 802a和第二后续av 802n之间的道路102的一部分相关联的环境数据150
可以包括环境数据150b和150n的聚合。环境数据150b和150n的聚合可以包括在前导av 802a与第二后续av 802n之间的多个物体的位置坐标。环境数据150b和150n的聚合还可以包括道路安全法规数据、与障碍物118(参见图1)有关的数据以及前导av 802a在行驶前导av 802a和第二后续av 802n之间的道路102的一部分时所经历和记录的任何其他数据。环境数据150b和150n的聚合与第二后续av 802n沿着道路102行驶的时间窗相关联。
180.控制设备850a确定在传感器数据148a和环境数据150a、150b和150n中的任一个中检测到的至少一个物体是否阻碍由第二后续av 802n执行命令130。例如，控制设备850a可以接收第二后续av 802n的轨迹(例如，来自操作服务器120和/或后续av 802n)并确定在传感器数据148a和环境数据中的任一个中检测到物体150a、150b和150n是否在第二后续av 802n的行驶路径上。
181.响应于确定至少一个物体(在传感器数据148a和环境数据150a、150b和150n中的任一个中检测到)阻碍由第二后续av 802n执行命令130，控制设备850a针对第二后续av 802n更新命令130。在该过程中，控制设备850a通过更新命令130-1来生成第二更新命令130-2。第二更新命令130-2包括用于在执行命令130-1时，第二后续av避开在第二后续av 802n的行驶路径上检测到的至少一个物体802n的一个或多个导航指令。控制设备850a将第二更新命令130-2(例如，av-av命令136)通信给第二后续av 802n，使得av 802n可以根据命令130-2而被导航为避开意外路况156及其行驶路径上的物体。
182.以这种方式，前导av 802a可以根据传感器数据148a、环境数据150a以及前导av和第n后续av 802之间的对应环境数据150的聚合来更新命令130并将命令130通信给第n后续av 802。
183.在一个实施例中，类似于图1和2中所述，av 802中的任一个(例如，av 802a-n)可以基于分析它们对应的传感器数据148来进一步更新或修改所接收的命令130(或经更新的命令130-1、130-2)。
184.在一个实施例中，类似于在图1和图2中所述，av 802中的任一个(例如，av 802a-n)可以将所接收的命令130(或经更新的命令130-1、130-2)通信给操作服务器120并且请求进一步的指令。
185.在一个实施例中，类似于在图1和图2中所述，av 802中的任一个(例如，av 802a-n)可以将所接收的命令130(或经更新的命令130-1、130-2)通信给操作服务器120以请求确认。
186.在一个实施例中，av 802b可以是在av 802b后面行驶的一个或多个av 802的v2v通信范围510中的前导av 802。
187.如图5进一步所示，当av 802(例如，av 802a-n)沿着道路102行驶时，av 802将它们对应的传感器数据148通信给操作服务器120。例如，类似于图1和图2中所述，前导av 802a将传感器数据148a，后续av 802b将传感器数据148b，并且第二后续av 802n将传感器数据148n通信给操作服务器120。类似于图1和图2中所述，操作服务器120可以使用传感器数据148a-n来确认、修改或覆盖控制设备850a-n中的任一个关于命令130、130-1和130-2的确定或者任何导航解决方案。
188.用于在两个或更多个av之间通信命令的第二示例系统
189.图6图示了用于在两个或更多个av 802之间通信命令130的系统600的实施例。图6
进一步图示了av 802行驶的道路102的简化示意图，av 802包括前导av 802a、第一后续av 802b和第二后续av 802c。在图6中，类似于图1中所述，av 802正朝向意外路况156前进。在一个实施例中，系统600包括操作服务器120、前导av 802a和第一后续av 802b。在一些实施例中，系统600还包括第二后续av 802c和网络110。网络110实现系统600的组件之间的通信。系统600可以如图所示配置或以任何其他合适的配置来配置。
190.如图6所示，前导av 802a和第一后续av 802b彼此处于第一v2v通信范围510中并且第一后续av 802b和第二后续av 802c彼此处于第二v2v通信范围510中。在v2v通信范围510中的av 802可以彼此通信包括命令130的数据。图6图示了各种av 802集在不同v2v通信范围510中的场景。以下的对应描述描述了在不同v2v通信范围510中的av 802之间的通信命令130。
191.将命令通信给第一后续av
192.前导av 802a将经更新的命令130-1(例如，av-av命令136)通信给后续av 802b的过程可以类似于图5中描述的过程。在该过程中，前导av 802a接收命令130来避开前导av 802a前方的意外路况156，其中命令130响应于在环境数据150a中检测到意外路况156而发布。与前导av 802a相关联的控制设备850a从传感器846接收传感器数据148a，其中传感器数据148a包括在前导av 802a前方的第一多个物体的位置坐标。控制设备850a访问与在前导av 802a与后续av 802b之间的道路102的一部分相关联的环境数据150b。控制设备850a确定在传感器数据148a和环境数据150a和150b中的任一个中检测到的至少一个物体是否阻碍了后续av 802b执行命令130。响应于确定至少一个物体(在传感器数据148a和环境数据150a和150b中的任一个中检测到)阻碍由后续av 802b执行命令130，控制设备850a通过更新命令130来生成经更新的命令130-1，使得经更新的命令130-1包括用于在执行命令130时，后续av 802b避开在后续av 802b的行驶路径上检测到的至少一个物体的一个或多个导航指令。控制设备850a将经更新的命令130-1通信给后续av 802b。在接收到经更新的命令130-1之后，控制设备850b可以根据经更新的命令130-1来导航av 802b。
193.如下所述，在特定av 802不在前导av 802a的v2v通信范围510中的场景中，特定av 802可以从操作服务器120(类似于在图1和图2中所述)和/或在特定av 802的v2v通信范围510中的另一av 802接收避开意外路况156的命令130。在图6中，第二后续av 802c不在前导av 802a的v2v通信范围510中，然而，第二后续av 802c在第一后续av 802b的v2v通信范围510中。因此，第二后续av 802c可以从第一后续av 802b接收避开意外路况156的命令130-2。该过程如下所述。
194.将命令通信给第二后续av
195.为了生成针对第二后续av 802c的命令130-2(例如，av-av命令136)，控制设备850b可以访问与av 802b与av 802c之间的道路102的一部分相关联的环境数据150c。环境数据150c可以包括在av 802b与av 802c之间的多个物体的位置坐标。环境数据150c还可以包括道路安全法规数据、与障碍物118(参见图1)有关的数据以及av 802b在行驶av 802b与av 802c之间的道路102部分时所经历和记录的任何其他数据。环境数据150c与第二后续av 802c沿道路102行驶的时间窗相关联。类似于图5中关于控制设备850a所述，控制设备850b还可以访问和分析传感器数据148b。
196.控制设备850b确定在传感器数据148b和环境数据150a、150b和150c中的任一个中
检测到的至少一个物体是否阻碍av 802c执行命令130-1。例如，控制设备850b可以接收av 802c的轨迹(例如，来自操作服务器120和/或av 802c)并确定在传感器数据148b和环境数据150a、150b、150c中的任一个中检测到物体是否在av 802c的行驶路径上。响应于确定至少一个物体(在传感器数据148b和环境数据150a、150b和150c中的任一个中检测到)阻碍av 802c执行命令130-1，控制设备850b通过更新命令130-1来生成命令130-2，使得命令130-2包括用于在执行命令130-1时，av 802c避开在av 802c的行驶路径上检测到的至少一个物体的一个或多个导航指令。控制设备850b将指令130-2通信至av 802c，使得av 802c可以根据指令130-2进行导航，以避开意外路况156及行驶路径上的物体。
197.在一个实施例中，类似于图1和图2中所述，av 802中的任一个(例如，av 802a-c)可以基于分析它们对应的传感器数据148来进一步更新或修改所接收的命令130(或经更新的命令130-1、130-2)。
198.在一个实施例中，类似于在图1和图2中所述，av 802中的任一个(例如，av 802a-c)可以将所接收的命令130(或经更新的命令130-1、130-2)通信给操作服务器120并且请求进一步的指令。
199.在一个实施例中，类似于在图1和图2中所述，av 802中的任一个(例如，av 802a-c)可以将所接收的命令130(或经更新的命令130-1、130-2)通信给操作服务器120以请求确认。
200.如图6进一步所示，当av 802(例如，av 802a-c)沿着道路102行驶时，av 802将它们对应的传感器数据148通信给操作服务器120。例如，类似于图1和图2中所述，前导av 802a将传感器数据148a，后续av 802b将传感器数据148b，并且第二后续av 802c将传感器数据148c通信给操作服务器120。类似于图1和图2中所述，操作服务器120可以使用传感器数据148a-c来确认、修改或覆盖控制设备850a-c中的任一个关于命令130、130-1和130-2的确定，或者任何导航解决方案。
201.尽管在图6中图示了三个av 802，但是本公开设想道路102上的任意数量的av 802将命令130(或经更新的命令130-1、130-2等)通信给一个或多个其他av 802。因此，本公开设想av 802的网络网格和操作服务器120之间的一对一、一对多和多对多通信。
202.用于在av之间通信命令的示例方法
203.图7图示了用于在av 802之间通信命令130的方法700的示例流程图。可以对方法700进行修改、添加或省略。方法700可以包括更多、更少或其他步骤。例如，步骤可以并行或以任何合适的顺序执行。虽然有时讨论为av 802、操作服务器120、控制设备850、通信子系统210或其执行步骤的任何组件，但任何合适的系统或系统的组件都可以执行方法700的一个或多个步骤。例如，方法700的一个或多个步骤可以至少部分地分别以来自图1、图2和图8的软件指令138、244和880的形式来实现，软件指令138、244和880被存储在非暂时性、有形、机器可读介质(例如，分别来自图1、图2、图8和图10的存储器128、242、890和1002)上，软件指令138、244和880在由一个或多个处理器(例如，分别来自图1、图2、图8和图10的处理器122、212、870、1004)运行时，可以使得一个或多个处理器执行步骤702-714。
204.方法700开始于步骤702，在步骤702处，与前导av 802a相关联的控制设备850a接收命令130来导航前导av 802a避开意外路况156。控制设备850a可以经由图2中描述的通信子系统210来接收命令130。例如，类似于图1、图5和图6中所述，控制设备850a可以响应于操
作服务器120在与前导av 802a前方的道路102的一部分相关联的环境数据150a中检测到意外路况156，从操作服务器120接收命令130。
205.在步骤704处，控制设备850a从与前导av 802a相关联的传感器846接收传感器数据148a，其中传感器数据148a包括在前导av 802a前方的第一多个物体的位置坐标。例如，响应于接收到命令130，控制设备850a可以被触发来从传感器846接收传感器数据148a。在另一示例中，类似于图2中所述，控制设备850a可以周期性地(例如，每0.02秒、每0.5秒或任何其他合适的持续时间)接收传感器数据148a。
206.在步骤706处，控制设备850a访问与在前导av 802a和后续av 802b之间的道路102的一部分相关联的环境数据150b。由于前导av 802a已行驶在前导av 802a与后续av 802b之间的道路102部分，所以前导av 802a已经历并记录了环境数据150b。环境数据150b可以包括在前导av 802a与后续av 802b之间的第二多个物体的位置坐标。环境数据150b还可以包括道路安全法规数据、与障碍物118(参见图1)有关的数据以及前导av 802a在行驶前导av 802a与后续av 802b之间的道路102部分时所经历和记录的任何其他数据。环境数据150a与后续av 802b沿道路102行驶的时间窗相关联。
207.在步骤708处，控制设备850a确定在传感器数据148a以及环境数据150a和150b中的任一个中检测到的至少一个物体是否阻碍由后续av 802b执行命令130。例如，控制设备850a可以接收后续av 802b的轨迹(例如，来自操作服务器120和/或后续av 802b)并确定在传感器数据148a和环境数据150a中的任一个中检测到任何物体150b是否在后续av 802b的行驶路径上。如果控制设备850a确定在传感器数据148a和环境数据150a和150b中的任一个中检测到的至少一个物体阻碍了后续av 802b执行命令130，则方法700进行到步骤712。否则，方法700进行到步骤710。
208.在步骤710处，控制设备850a将命令130通信给后续av 802b。例如，控制设备850a经由通信子系统210将原始命令130通信给后续av 802b。
209.在步骤712处，控制设备850a针对后续av 802b更新命令130，使得经更新的命令130-1包括在执行命令130时避开至少一个物体的一个或多个指令。
210.在步骤714处，控制设备850a将经更新的命令130-1通信给后续av 802b。
211.在一个实施例中，类似于图5中所述，前导av 802a可以根据传感器数据148a、环境数据150a以及与在前导av 802与特定av 802之间的道路102的一部分相关联的环境数据150的聚合，进一步更新命令130(或经更新的命令130-1、130-2)并将其通信给前导av 802a的v2v通信范围510中的任何特定av 802。
212.在特定av 802不在前导av 802的v2v通信范围510内的情况下，类似于图6中所述，特定av 802可以从特定av 802的v2v通信范围510中的另一av 802(例如，间接从前导av 802a)接收命令130(或经更新的命令130-1、130-2)。例如，道路102上的多个av 802可以形成av 802的网络网格，在网络网格中，任何av 802可以从任何其他av 802接收命令130(或经更新的命令130-1、130-2)或任何其他数据/指令并向任何其他av 802发送命令130(或经更新的命令130-1、130-2)或任何其他数据/指令。
213.示例av及其操作
214.图8示出了其中可以确定自主驾驶操作的示例车辆生态系统800的框图。如图8所示，av 802可以是半挂车。车辆生态系统800包括可以生成和/或向可位于av 802中的车载
控制计算机850提供一个或多个信息/数据和相关服务源的若干系统和组件。车载控制计算机850可以与多个车辆子系统840进行数据通信，所有这些车辆子系统840都可以驻留在av 802中。车辆子系统接口860被提供来促进车载控制计算机850与多个车辆子系统840之间的数据通信。在一些实施例中，车辆子系统接口860可以包括控制器局域网(can)控制器来与车辆子系统840中的设备通信。
215.av 802可以包括支持av 802的操作的各种车辆子系统。车辆子系统840可以包括通信子系统210、车辆驱动子系统842、车辆传感器子系统844和/或车辆控制子系统848。图8中所示的车辆驱动子系统842、车辆传感器子系统844和车辆控制子系统848的组件或设备是示例。av 802可以如图所示配置或以任何其他配置来配置。
216.车辆驱动子系统842可以包括可操作为针对av 802提供动力运动的组件。在示例实施例中，车辆驱动子系统842可以包括引擎/电机842a、车轮/轮胎842b、变速器842c、电动子系统842d和电源842e。
217.车辆传感器子系统844可以包括若干传感器846，若干传感器846被配置为感测与av 802的环境或状况有关的信息。车辆传感器子系统844可以包括一个或多个相机846a或图像捕获设备、雷达单元846b、一个或多个温度传感器846c、无线通信单元846d(例如，蜂窝通信收发器)、惯性测量单元(imu)846e、激光测距仪/lidar单元846f、全球定位系统(gps)收发器846g、和/或雨刮器控制系统846h。车辆传感器子系统844还可以包括被配置为监视av 802的内部系统的传感器(例如，o2监视器、燃油表、引擎油温等)。
218.imu 846e可以包括被配置为基于惯性加速度来感测av 802的位置和取向变化的传感器(例如，加速度计和陀螺仪)的任何组合。gps收发器846g可以是被配置为估计av 802的地理位置的任何传感器。为此，gps收发器846g可以包括接收器/发射器，其可操作来提供关于av 802相对于地球的位置的信息。雷达单元846b可以表示利用无线电信号来感测av 802的本地环境内的物体的系统。在一些实施例中，除了感测物体之外，雷达单元846b还可以被配置为感测靠近av 802的物体的速度和航向。激光测距仪或lidar单元846f可以是被配置为使用激光来感测av 802所在环境中的物体的任何传感器。相机846a可以包括被配置为捕获av 802的环境的多个图像的一个或多个设备。相机846a可以是静止图像相机或运动视频相机。
219.车辆控制子系统848可以被配置为控制av 802及其组件的操作。因此，车辆控制子系统848可以包括各种元件，诸如油门和档位选择器848a、制动单元848b、导航单元848c、转向系统848d和/或自主控制单元848e。油门848a可以被配置为控制例如引擎的操作速度，进而控制av 802的速度。档位选择器848a可以被配置为控制变速器的档位选择。制动单元848b可以包括被配置为使得av 802减速的机构的任何组合。制动单元848b可以以标准方式减慢av，包括通过使用摩擦来减慢车轮或引擎制动。制动单元848b可以包括防抱死制动系统(abs)，当应用制动器时，防抱死制动系统可以防止制动器抱死。导航单元848c可以是被配置为确定av 802的驾驶路径或路线的任何系统。导航848c单元可以附加地被配置为在av 802操作时动态地更新驾驶路径。在一些实施例中，导航单元848c可以被配置为并入来自gps收发器846g的数据和一个或多个预定地图，以确定av 802的驾驶路径(例如，沿着图1的道路102)。转向系统848d可以表示可操作为在自主模式或驾驶员控制模式下调整av 802的航向的机构的任何组合。
220.自主控制单元848e可以表示被配置为标识、评估和避开或以其他方式协商av 802环境中的潜在障碍物或妨碍物的控制系统。通常，自主控制单元848e可以被配置为控制av 802在没有驾驶员的情况下操作或在控制av 802时提供驾驶员辅助。在一些实施例中，自主控制单元848e可以被配置为并入来自gps收发器846g、雷达846b、lidar单元846f、相机846a和/或其他车辆子系统的数据来确定av 802的行驶路径或轨迹。
221.av 802的许多或所有功能可以由车载控制计算机850来控制。车载控制计算机850可以包括执行非暂时性计算机可读介质(例如数据存储设备890或存储器)中存储的处理指令880的至少一个数据处理器870(其可以包括至少一个微处理器)。车载控制计算机850还可以表示可以用于以分布式方式控制av 802的各个组件或子系统的多个计算设备。在一些实施例中，数据存储设备890可以包含可由数据处理器870执行来执行av 802的各种方法和/或功能(包括关于图1-图7中所述)的处理指令880(例如，程序逻辑)。
222.数据存储设备890也可以包含附加指令，附加指令包括向车辆驱动子系统842、车辆传感器子系统844和车辆控制子系统848中的一个或多个发送数据、从其接收数据、与之交互或对其进行控制的指令。车载控制计算机850可以被配置为包括数据处理器870和数据存储设备890。车载控制计算机850可以基于从各种车辆子系统(例如，车辆驱动子系统842、车辆传感器子系统844和车辆控制子系统848)接收的输入来控制av 802的功能。
223.图9示出了用于提供精确的自主驾驶操作的示例性系统900。系统900包括可以在如图8中所述的车载控制计算机850中操作的若干模块。车载控制计算机850包括图9左上角所示的传感器融合模块902，其中传感器融合模块902可以执行至少四个图像或信号处理操作。传感器融合模块902可以从位于自主车辆上的相机获取图像，以执行图像分割904来检测自主车辆周围的移动物体(例如，其他车辆、行人等)和/或静态障碍物(例如，停车标志、减速带、地形等)。传感器融合模块902可以从位于自主车辆上的lidar传感器获取lidar点云数据项，以执行lidar分割906来检测位于自主车辆周围的物体和/或障碍物的存在。
224.传感器融合模块902可以对图像和/或点云数据项执行实例分割908来标识位于自主车辆周围的物体和/或障碍物周围的轮廓(例如，框)。传感器融合模块902可以执行时间融合910，其中来自一个图像和/或一帧点云数据项的物体和/或障碍物与来自随后时间接收的一个或多个图像或帧的物体和/或障碍物有关或相关联。
225.传感器融合模块902可以将来自从相机获取的图像和/或从lidar传感器获取的点云数据项的物体和/或障碍物融合。例如，传感器融合模块902可以基于两个相机的位置，确定来自相机之一、包括位于自主车辆前方的车辆的一半的图像与由另一相机捕获的定位车辆相同。传感器融合模块902将经融合的物体信息发送到干扰模块946，并且将经融合的障碍物信息发送到占用网格模块960。车载控制计算机包括占用网格模块960，其可以从车载控制计算机中存储的地图数据库958中检索地标。占用网格模块960可以根据从传感器融合模块902获取的融合障碍物和地图数据库958中存储的地标来确定可驾驶区域和/或障碍物。例如，占用网格模块960可以确定可驾驶区域可以包括减速带障碍物。
226.在传感器融合模块902下方，车载控制计算机850包括基于lidar的物体检测模块912，其可以基于从位于自主车辆上的lidar传感器914获取的点云数据项来执行物体检测916。物体检测916技术可以根据点云数据项来提供物体的位置(例如，在3d世界坐标中)。在基于lidar的物体检测模块912下方，车载控制计算机包括基于图像的物体检测模块918，其
可以基于从位于自主车辆上的相机920获取的图像来执行物体检测924。物体检测918技术可以采用深度机器学习技术924来根据相机920提供的图像，提供物体的位置(例如，在3d世界坐标中)。
227.自主车辆上的雷达956可以扫描自主车辆前方的区域或自主车辆驶向的区域。雷达数据被发送到传感器融合模块902，传感器融合模块902可以使用雷达数据来将雷达956检测到的物体和/或障碍物与从lidar点云数据项和相机图像检测到的物体和/或障碍物相关联。雷达数据也被发送到干扰模块946，干扰模块946可以对雷达数据执行数据处理，以通过如下文进一步描述的物体跟踪模块948来跟踪物体。
228.车载控制计算机包括干扰模块946，其接收来自点云的物体和来自图像的物体的位置以及来自传感器融合模块902的融合物体的位置。干扰模块946还接收雷达数据，干扰模块946可以通过物体跟踪模块948从在一个时间实例获得的一个点云数据项和一个图像到在另一后续时间实例获得的另一(或下一)点云数据项和另一图像来跟踪物体。
229.干扰模块946可以执行物体属性估计950来估计在图像或点云数据项中检测到的物体的一个或多个属性。物体的一个或多个属性可以包括物体类型(例如，行人、汽车或卡车等)。干扰模块946可以执行行为预测952来估计或预测在图像和/或点云中检测到的物体的运动模式。行为预测952可以被执行来检测物体在不同时间点接收的图像集(例如，连续图像)中或在不同时间点接收的点云数据项集(例如，连续点云数据项)中的位置。在一些实施例中，行为预测952可以针对从相机接收的每个图像和/或从lidar传感器接收的每个点云数据项来执行。在一些实施例中，干扰模块946可以被执行(例如，运行或执行)来通过每隔一个或在从相机接收到的每个预定数量的图像或从lidar传感器接收到的点云数据项之后(例如，每两个图像之后或每三个点云数据项之后)执行行为预测952来减少计算负载。
230.行为预测952特征可以从雷达数据确定围绕自主车辆的物体的速度和方向，其中速度和方向信息可以被用于预测或确定物体的运动模式。运动模式可以包括在从相机接收到图像之后，在未来预定时间长度内物体的预测轨迹信息。基于所预测的运动模式，干扰模块946可以将运动模式情境标签(例如，“位于坐标(x，y)处”、“停止”、“以50mph的速度驾驶”、“加速”或“减速”)分配给物体。情境标签可以描述物体的运动模式。干扰模块946将一个或多个物体属性(例如，物体的类型)和运动模式情境标签发送到规划模块962。干扰模块946可以使用系统900获取的任何信息和任何数量的组件及其组件的组合来执行环境分析954。
231.车载控制计算机包括规划模块962，其接收来自干扰模块946的物体属性和运动模式情境标签、可驾驶区域和/或障碍物、以及来自融合定位模块(以下进一步描述)的车辆位置和姿态信息926。
232.规划模块962可以执行导航规划964来确定自主车辆可以在其上驾驶的轨迹集。轨迹集可以基于可驾驶区域信息、物体的一个或多个物体属性、物体的运动模式情境标签、障碍物的位置以及可驾驶区域信息来确定。在一些实施例中，导航规划964可以包括确定在紧急情况下自主车辆可以安全停放的道路旁边的区域。规划模块962可以包括行为决策966，用于响应于确定道路上的变化状况(例如，交通灯变黄，或者因为另一车辆在自主车辆的前方驾驶并且在自主车辆位置的预定安全距离内的区域内，自主车辆处于不安全驾驶状况下)来确定驾驶动作(例如，转向、制动、油门)。规划模块962执行轨迹生成968并且从由导航
规划操作964确定的轨迹集中选择轨迹。所选择的轨迹信息由规划模块962发送到控制模块970。
233.车载控制计算机包括控制模块970，其接收来自规划模块962的所建议的轨迹和来自融合定位模块926的自主车辆位置和姿态。控制模块970包括系统标识符972。控制模块970可以执行基于模型的轨迹细化974来细化所建议的轨迹。例如，控制模块970可以应用滤波(例如，卡尔曼滤波器)来使得所建议的轨迹数据平滑和/或将噪声最小化。控制模块970可以通过基于经细化的所建议的轨迹信息和自主车辆的当前位置和/或姿态，确定待施加的制动压力量、转向角、油门量来执行稳健控制976，以控制车辆的速度和/或变速档位。控制模块970可以将所确定的制动压力、转向角、油门量和/或变速档位发送到自主车辆中的一个或多个设备，以控制和促进自主车辆的精确驾驶操作。
234.由基于图像的物体检测模块918执行的基于深度图像的物体检测924还可以被用于检测道路(例如，图1的道路102)上的地标(例如，停车标志、减速带等)。车载控制计算机包括融合定位模块926，融合定位模块926获取从图像中检测的地标、从车载控制计算机上存储的地图数据库936获得的地标、由基于lidar的物体检测模块912从点云数据项中检测到的地标、来自里程表传感器944的速度和位移以及来自位于自主车辆上或之中的gps/imu传感器938(即，gps传感器940和imu传感器942)的自主车辆的估计位置。基于该信息，融合定位模块926可以执行定位操作928来确定自主车辆的位置，该位置可以被发送到规划模块962和控制模块970。
235.融合定位模块926可以基于gps和/或imu传感器938来估计自主车辆的姿态930。自主车辆的姿态可以被发送到规划模块962和控制模块970。融合定位模块926还可以基于(例如，拖车状态估计934)例如由imu传感器942提供的信息(例如，角速率和/或线速度)来估计拖车单元的状态(例如，位置、可能的移动角度)。融合定位模块926还可以检查地图内容932。
236.图10示出了在自主av 802中包括的车载控制计算机850的示例性框图。车载控制计算机850包括至少一个处理器1004和其上存储有指令(例如，软件指令138、244以及分别在图1、图2和图8中的处理指令880)的存储器1002。指令在由处理器1004执行时，将车载控制计算机850和/或车载控制计算机850的各种模块配置为执行图1-图7中描述的操作。发射器1006向自主车辆中的一个或多个设备发射或发送信息或数据。例如，发射器1006可以向方向盘的一个或多个电机发送指令来使得自主车辆转向。接收器1008接收由一个或多个设备发射或发送的信息或数据。例如，接收器1008从里程表传感器接收当前速度的状态或者从变速器接收当前变速器档位的状态。发射器1006和接收器1008还被配置为与多个车辆子系统840和以上在图8和图9中描述的车载控制计算机850通信。
237.虽然在本公开中提供了若干实施例，但应当理解，在不脱离本公开的精神或范围的情况下，所公开的系统和方法可以以许多其他特定形式来体现。本示例应被认为是例示性的而非限制性的，并且其意图不限于本文给出的细节。例如，可以将各种元件或组件组合或集成到另一系统中，或者可以省略或不实现某些特征。
238.附加地，在不脱离本公开的范围的情况下，在各个实施例中描述和图示为分立或分离的技术、系统、子系统和方法可以与其他系统、模块、技术或方法组合或集成。被示出或讨论为彼此耦合或直接耦合或通信的其他项可以借助无论是电的、机械的还是其他方式的
一些接口、设备或中间组件间接耦合或通信。改变、替换和变更的其他示例是本领域技术人员可以确定的并且可以在不脱离本文所公开的精神和范围的情况下进行。
239.为了帮助专利局和根据本技术发布的任何专利的任何读者解释所附权利要求，申请人指出，除非在特定权利要求中明确使用“用于
…
的装置”或“用于
…
的步骤”，否则因为其在提交之日存在，他们不打算将任何所附权利要求援引35u.s.c.
§
112(f)。
240.可以鉴于以下条款来描述本公开的实现方式，其特征可以以任何合理的方式组合。
241.条款1.一种系统，包括：
242.自主车辆(av)，其包括至少一个车辆传感器，其中av被配置为沿道路行驶；
243.操作服务器，其与av通信地耦合并且包括：
244.处理器，其被配置为：
245.访问与av前方的道路相关联的环境数据，其中环境数据与av沿道路行驶的时间窗相关联；
246.将环境数据与包括av前方的预期路况的地图数据进行比较；
247.至少部分地基于将环境数据与地图数据进行比较，确定所述环境数据是否包括地图数据中所未包括的意外路况；以及
248.响应于确定环境数据包括地图数据中所未包括的意外路况：
249.确定意外路况的位置坐标；以及
250.向av通信命令来进行机动，以避开意外路况。
251.条款2.根据条款1所述的系统，还包括与av相关联的控制设备，其中控制设备包括第二处理器，第二处理器被配置为：
252.从至少一个车辆传感器接收传感器数据，传感器数据包括在av前方的道路上的多个物体的位置坐标；
253.至少部分地基于传感器数据，更新命令，使得经更新的命令包括用于av在执行命令时避开多个物体的一个或多个指令；以及
254.根据经更新的命令来导航av。
255.条款3.根据条款2所述的系统，其中第二处理器还被配置为将经更新的命令通信给沿着av后面行驶的一个或多个后续av。
256.条款4.根据条款2或3所述的系统，其中第二处理器还被配置为：
257.将传感器数据与地图数据进行比较，其中地图数据包括在av前方的道路上的预期物体的位置坐标；
258.至少部分地基于将传感器数据与地图数据进行比较，确定传感器数据是否指示意外物体不在地图数据中；以及
259.响应于确定传感器数据指示意外物体不在地图数据中，确定所建议的用于av避开意外物体的导航指令。
260.条款5.根据条款2至4中任一项所述的系统，其中第二处理器还被配置为响应于确定传感器数据指示意外物体不在地图数据中，执行所建议的导航指令。
261.条款6.根据条款2至5中任一项所述的系统，其中第二处理器还被配置为，响应于确定传感器数据指示意外物体不在地图数据中：
262.将所建议的导航指令通信给操作服务器；
263.确定是否接收来自操作服务器的执行所建议的导航指令的确认；以及
264.响应于接收到来自操作服务器的确认，执行所建议的导航指令。
265.条款7.根据条款2至6中任一项所述的系统，其中第二处理器还被配置为，响应于确定传感器数据指示意外物体不在地图数据中：
266.将传感器数据通信给操作服务器；以及
267.请求操作服务器至少部分基于传感器数据，提供避开意外物体的指令。
268.条款8.根据条款2至7中任一项所述的系统，还包括与av不同的一个或多个后续av，其中：
269.一个或多个后续av在av后面的道路上；
270.一个或多个后续av与操作服务器通信地耦合；并且
271.处理器还被配置为：
272.响应于确定环境数据包括地图数据中所未包括的意外路况：
273.从控制设备接收传感器数据；
274.生成第二命令，第二命令包括用于一个或多个后续av避开多个物体的同时避开意外路况的一个或多个指令，其中第二命令包括命令中指示的意外路况的位置坐标以及位置传感器数据中指示的多个物体的坐标；以及
275.将第二命令通信给一个或多个后续av。
276.条款9.一种方法，包括：
277.访问与自主车辆(av)前方的道路相关联的环境数据，其中环境数据与av沿道路行驶的时间窗相关联；
278.将环境数据与包括av前方的预期路况的地图数据进行比较；
279.至少部分地基于将环境数据与地图数据进行比较，确定环境数据是否包括地图数据中所未包括的意外路况；以及
280.响应于确定环境数据包括地图数据中所未包括的意外路况：
281.确定意外路况的位置坐标；以及
282.向av通信命令来进行机动，以避开意外路况。
283.条款10.根据条款9所述的方法，其中意外路况包括地图数据中所未包括的意外天气状况、意外交通拥堵、意外道路封闭和意外施工区域中的至少一个。
284.条款11.根据条款9至10中任一项所述的方法，其中环境数据包括天气数据和交通数据中的至少一个。
285.条款12.根据条款9至11中任一项所述的方法，其中命令与以下各项中的至少一项有关：
286.av从自主驾驶转换到手动驾驶；
287.av避开av前方道路上的障碍物；
288.av避开检测到一个或多个障碍物的一个或多个特定车道；
289.av避开检测到意外路况的一个或多个特定路线；
290.av进行特定的重新路线规划；以及
291.前导av比与前导av相关联的驾驶指令中指示的速度更慢或更快地驾驶。
292.条款13.根据条款9至12中任一项所述的方法，其中：
293.命令包括针对av和道路上位于av后面的一个或多个后续av的广义命令；并且
294.广义命令包括避开av前方的特定意外路况的一个或多个导航指令。
295.条款14.根据条款9至13中任一项所述的方法，其中：
296.命令包括针对av的特定命令；并且
297.特定命令包括避开在av前方的特定意外路况的一个或多个导航指令。
298.条款15.一种包括可执行指令的计算机程序，可执行指令在由一个或多个处理器执行时，使得一个或多个处理器：
299.访问与自主车辆(av)前方的道路相关联的环境数据，其中环境数据与av沿道路行驶的时间窗相关联；
300.将环境数据与包括av前方的预期路况的地图数据进行比较；
301.至少部分地基于将环境数据与地图数据进行比较，确定环境数据是否包括地图数据中所未包括的意外路况；以及
302.响应于确定环境数据包括地图数据中所未包括的意外路况：
303.确定意外路况的位置坐标；以及
304.向av通信命令来进行机动，以避开意外路况。
305.条款16.根据条款15所述的计算机程序，其中指令在由一个或多个处理器执行时，还使得一个或多个处理器：响应于确定环境数据包括地图数据中所未包括的意外路况，将命令传播到沿着av后面的道路行驶的一个或多个后续av。
306.条款17.根据条款15至16中任一项所述的计算机程序，其中命令包括配置命令。
307.条款18.根据条款15至17中任一项所述的计算机程序，其中配置命令包括改变至少一个车辆传感器的方向和改变至少一个车辆传感器的数据采样频率中的至少一个。
308.条款19.根据条款15至18中任一项所述的计算机程序，其中av包括至少一个车辆传感器，至少一个车辆传感器包括相机、激光雷达(lidar)传感器、运动传感器和红外传感器中的至少一个。
309.条款20.根据条款15至19中任一项所述的计算机程序，其中av是附接到拖车的牵引单元。
310.条款21.一种系统，包括：
311.包括至少一个车辆传感器的自主车辆(av)，其中av被配置为沿道路行驶；
312.与av相关联并且包括处理器的控制设备，处理器被配置为：
313.从操作服务器接收将av导航来避开意外路况的命令；
314.从至少一个车辆传感器接收传感器数据，传感器数据包括在av前方的多个物体的位置坐标；
315.确定多个物体中的至少一物体是否阻碍执行指令，使得至少一物体在根据命令导航av的路径上；
316.响应于确定至少一个物体阻碍执行命令，更新命令，使得经更新的命令包括在执行命令时避开至少一个物体的一个或多个导航指令；以及
317.根据经更新的命令来导航av。
318.条款22.根据条款21所述的系统，其中处理器还被配置为：
319.将传感器数据与地图数据进行比较，其中地图数据包括在av前方道路上的预期物体的位置坐标；
320.至少部分地基于将传感器数据与地图数据进行比较，确定传感器数据是否指示不在地图数据中的意外物体；
321.响应于确定传感器数据指示不在地图数据中的意外物体：
322.确定意外物体的位置坐标；以及
323.确定av避开意外物体所建议的导航指令。
324.条款23.根据条款22所述的系统，其中处理器还被配置为响应于确定传感器数据指示意外物体未在地图数据中指示，执行所建议的导航指令。
325.条款24.根据条款22至23中任一项所述的系统，其中处理器还被配置为，响应于确定传感器数据指示意外物体不在地图数据中：
326.将所建议的导航指令通信给操作服务器；
327.确定是否从操作服务器接收执行所建议的导航指令的确认；以及
328.响应于接收到来自操作服务器的确认，执行所建议的导航指令。
329.条款25.根据条款22至24中任一项所述的系统，其中处理器还被配置为，响应于确定传感器数据指示意外物体不在地图数据中：
330.将传感器数据通信给操作服务器；以及
331.请求操作服务器至少部分基于传感器数据，提供避开意外物体的指令。
332.条款26.根据条款21至25中任一项所述的系统，其中操作服务器包括第二处理器，第二处理器被配置为：
333.访问与av前方的道路相关联的环境数据，其中：
334.环境数据包括天气数据和交通数据中的至少一个；
335.环境数据与av沿道路行驶的时间窗相关联；
336.将环境数据与地图数据进行比较；
337.至少部分地基于将环境数据与地图数据进行比较，确定环境数据是否包括地图数据中所未包括的意外路况；以及
338.响应于确定环境数据包括地图数据中所未包括的意外路况，向av通信命令来进行机动，以避开意外路况。
339.条款27.根据条款26所述的系统，其中：
340.处理器还被配置为响应于从操作服务器接收到命令，将传感器数据通信给操作服务器；
341.第二处理器还被配置用于：
342.从控制设备接收传感器数据；
343.生成第二命令，第二命令包括用于一个或多个后续av避开多个物体的同时避开意外路况的一个或多个指令，其中第二命令包括命令中指示的意外路况的位置坐标以及传感器数据中指示的多个物体的坐标；其中
344.一个或多个后续av在av后面的道路上；并且
345.一个或多个后续av与操作服务器通信地耦合；以及将第二命令通信给一个或多个后续av。
346.条款28.一种方法，包括：
347.从操作服务器接收将自主车辆(av)导航来避开意外路况的命令，其中：
348.av包括至少一个车辆传感器；并且
349.av被配置为沿着道路行驶；
350.从至少一个车辆传感器接收传感器数据，传感器数据包括在av前方的多个物体的位置坐标；
351.确定多个物体中的至少一个物体是否妨碍执行命令；
352.响应于确定多个物体中的至少一个物体阻碍执行命令，更新命令，使得经更新的命令包括在执行命令时避开至少一个物体的一个或多个导航指令；以及
353.根据经更新的命令来导航av。
354.条款29.根据条款28所述的方法，还包括：
355.由一个或多个计算代理单元从av的一个或多个组件收集一个或多个健康信息报告，其中一个或多个健康信息报告中的每一个指示av的对应组件的性能状态；以及
356.通过一个或多个计算代理单元，将一个或多个健康信息报告通信给操作服务器。
357.条款30.根据条款28或29所述的方法，还包括：
358.通过一个或多个计算代理单元，在av和操作服务器之间建立第一通信信道；
359.一个或多个计算代理单元在每个周期性时间间隔从操作服务器接收第一周期性消息来确定第一通信信道是否丢失，使得如果第一周期性消息在一个周期性间隔内未被接收，则确定第一通信信道丢失；以及
360.响应于确定第一通信信道丢失，由一个或多个计算代理单元在av和av后面道路上的后续av之间建立第二通信信道。
361.条款31.根据条款28至30中任一项所述的方法，还包括：
362.由一个或多个计算代理单元在av和av后面道路上的后续av之间建立第三通信信道；
363.由一个或多个计算代理单元在每个周期性时间间隔从后续av接收第二周期性消息来确定第三通信信道是否丢失，使得如果第二周期性消息在至少有一个周期性间隔内未被接收，则确定第三通信信道丢失；以及
364.响应于确定第三通信信道丢失，由一个或多个计算代理单元在av和操作服务器之间建立第四通信信道。
365.条款32.根据条款28至31中任一项所述的方法，其中所述意外路况包括地图数据中所未包括的意外天气状况、意外交通拥堵、意外道路封闭和意外施工区域中的至少一个。
366.条款33.根据条款28至32中任一项所述的方法，其中命令与以下各项中的至少一项有关：
367.av从自主驾驶转换到手动驾驶；
368.av避开av前方道路上的障碍物；
369.av避开检测到一个或多个障碍物的一个或多个特定车道；
370.av避开检测到意外路况的一个或多个特定路线；
371.av进行特定的重新路线规划；以及
372.前导av比与前导av相关联的驾驶指令中指示的速度更慢或更快地驾驶。
373.条款34.根据条款28至33中任一项所述的方法，其中：
374.命令包括针对av和道路上位于av后面的一个或多个后续av的广义命令；并且
375.广义命令包括避开av前方的特定意外路况的一个或多个导航指令。
376.条款35.根据条款28至34中任一项所述的方法，其中：
377.命令包括针对av的特定命令；并且
378.特定命令包括避开在av前方的特定意外路况的一个或多个导航指令。
379.条款36.一种包括可执行指令的计算机程序，可执行指令在由一个或多个处理器执行时，使得一个或多个处理器：
380.从操作服务器接收用于导航自主车辆(av)来避开意外路况的命令，其中：
381.av包括至少一个车辆传感器；并且
382.av被配置为沿着道路行驶；
383.从至少一个车辆传感器接收传感器数据，传感器数据包括在av前方的多个物体的位置坐标；
384.确定多个物体中的至少一物体是否阻碍执行指令，使得至少一物体处于根据指令导航av的路径上；
385.响应于确定至少一个物体阻碍执行命令，更新命令，使得经更新的命令包括在执行命令时，避开至少一个物体的一个或多个导航指令；以及
386.根据经更新的命令来导航av。
387.条款37.根据条款36所述的计算机程序，其中指令在由一个或多个处理器执行时，还使得一个或多个处理器响应于确定环境数据包括地图数据中不包括的意外路况，将命令传播到沿着av后面的道路行驶的一个或多个后续av。
388.条款38.根据条款36或37所述的计算机程序，其中：
389.命令包括配置命令；并且
390.配置命令包括改变至少一车辆传感器的方向和改变至少一车辆传感器的数据采样频率中的至少一个。
391.条款39.根据条款36至38中任一项所述的计算机程序，其中至少一个车辆传感器包括相机、激光雷达(lidar)传感器、运动传感器和红外传感器中的至少一个。
392.条款40.根据条款36至39中任一项所述的计算机程序，其中av是附接到拖车的牵引单元。
393.条款41.一种系统，包括：
394.包括至少一个车辆传感器的前导自主车辆(av)，其中前导av被配置为沿着道路行驶；
395.后续av，其不同于前导av并且与前导av通信地耦合，其中后续av沿着前导av后面的道路行驶；
396.第一控制设备，与前导av相关联并包括第一处理器，第一处理器被配置为：
397.接收导航前导av避开前导av前方的意外路况的命令；
398.从至少一个车辆传感器接收传感器数据，传感器数据包括确定av前方的第一多个物体的位置坐标；
399.访问与前导av和后续av之间的道路的一部分相关联的第一环境数据集，其中第一
环境数据集包括前导av和后续av之间的第二多个物体的位置坐标；
400.确定第一和第二多个物体中的至少一个物体是否阻碍后续av执行命令；
401.响应于确定至少一个物体阻碍后续av执行命令，至少部分基于传感器数据和第一环境数据集来针对后续av更新命令，使得经更新的命令包括在执行命令时避开至少一个物体的一个或多个导航指令；以及
402.将经更新的命令通信给后续av。
403.条款42.根据条款41所述的系统，其中意外路况包括意外天气状况和意外交通拥堵中的至少一个。
404.条款43.根据条款41或42所述的系统，其中第一环境数据集与后续av沿着道路行驶的时间窗相关联。
405.条款44.根据条款41至43中任一项所述的系统，还包括与后续av相关联并且包括第二处理器的第二控制设备，第二处理器被配置为：
406.从前导av接收经更新的命令；以及
407.根据经更新的命令来导航后续av。
408.条款45.根据条款44所述的系统，其中后续av包括第一后续av并且系统还包括第二后续av，第二后续av与第一后续av通信地耦合，第二后续av沿着第一后续av后面的道路行驶，其中：
409.第二处理器还被配置用于：
410.访问与第一后续av和第二后续av之间的道路的一部分相关联的第二环境数据集，其中第二环境数据集包括在第一后续av和第二后续av之间的第三多个物体的位置坐标；
411.确定第三多个物体中的至少一个物体是否阻碍执行经更新的命令；
412.响应于确定至少一个物体阻碍执行经更新的命令，通过至少部分地基于第一环境数据集和第二环境数据集的聚合，更新经更新的命令来生成第二更新命令，使得第二更新命令包括在执行经更新的命令时避开第三多个物体中的至少一个物体的一个或多个导航指令；以及
413.将第二更新命令通信给第二后续av。
414.条款46.根据条款41至45中任一项所述的系统，其中：
415.前导av和后续av在车辆-车辆(v2v)通信范围内，并且
416.v2v通信范围对应于在前导av和后续av中实现的、用于在前导av和后续av之间建立通信路径的v2v模块的阈值距离。
417.条款47.根据条款45所述的系统，其中第一处理器还被配置为：
418.响应于前导av和第二后续av在车辆-车辆(v2v)通信范围内，至少部分地基于第一环境数据集和第二环境数据集的聚合，生成针对第二后续av的第二更新命令；以及
419.将第二更新命令通信给第二后续av。
420.条款48.一种方法，包括：
421.接收将前导自主车辆(av)导航来避开前导av前方的意外路况的命令，其中：
422.前导av包括至少一个车辆传感器；并且
423.前导av被配置为沿着道路行驶；
424.从至少一个车辆传感器接收传感器数据，传感器数据包括前导av前方的第一多个
物体的位置坐标；
425.访问与前导av和后续av之间的道路部分相关联的第一环境数据集，其中：
426.后续av与前导av通信地耦合并且沿前导av后面的道路行驶；并且
427.第一环境数据集包括在前导av和后续av之间的第二多个物体的位置坐标；
428.确定第一多个物体和第二多个物体中的至少一个物体是否阻碍后续av执行命令；
429.响应于确定至少一个物体阻碍后续av执行命令，至少部分基于传感器数据和第一环境数据集来更新针对后续av的命令，使得经更新的命令包括在执行命令时避开至少一个物体的一个或多个导航指令；以及
430.将经更新的命令通信给后续av。
431.条款49.根据条款48所述的方法，还包括：
432.至少部分地基于传感器数据，通过更新用于导航前导av的命令来生成第二更新命令，使得第二更新命令包括在执行命令时避开第一多个物体的一个或多个导航指令；以及
433.根据第二更新命令来导航前导av。
434.条款50.根据条款48或49所述的方法，还包括：
435.访问与前导av前方道路的一部分相关联的环境数据，其中环境数据与前导av沿道路行驶的时间窗相关联；
436.将环境数据与包括前导av前方的预期路况的地图数据进行比较；
437.至少部分地基于将环境数据与地图数据进行比较，确定环境数据是否包括地图数据中所未包括的意外路况；以及
438.响应于确定环境数据包括地图数据中所未包括的意外路况：
439.确定意外路况的位置坐标；以及
440.将命令通信给前导av来进行机动，以避开意外路况。
441.条款51.根据条款48至50中任一项所述的方法，还包括：
442.将传感器数据与地图数据进行比较，其中地图数据包括在前导av前方的道路上的预期物体的位置坐标；
443.至少部分地基于将传感器数据与地图数据进行比较，确定传感器数据是否指示不在地图数据中的意外物体；
444.响应于确定传感器数据指示不在地图数据中的意外物体：
445.确定意外物体的位置坐标；以及
446.确定针对前导av避开意外物体所建议的导航指令。
447.条款52.根据条款51所述的方法，还包括，响应于确定传感器数据指示不在地图数据中的意外物体，执行所建议的导航指令。
448.条款53.根据条款51或52所述的方法，还包括，响应于确定传感器数据指示不在地图数据中的意外物体：
449.将所建议的导航指令通信给操作服务器；
450.确定是否从操作服务器接收执行所建议的导航指令的确认；以及
451.响应于接收到来自操作服务器的确认，执行所建议的导航指令。
452.条款54.根据条款51至53中任一项所述的方法，还包括，响应于确定传感器数据指示不在地图数据中的意外物体：
453.将传感器数据通信给操作服务器；以及
454.请求操作服务器至少部分地基于传感器数据来提供避开意外物体的指令。
455.条款55.根据条款48至54中任一项所述的方法，其中命令与以下各项中的至少一项有关：
456.先前av从自主驾驶转换到手动驾驶；
457.前导av避开前导av前方道路上的障碍物；
458.前导av避开检测到一个或多个障碍物的一个或多个特定车道；
459.前导av避开检测到意外路况的一个或多个特定路线；
460.前导av采取特定的重新路线规划；以及
461.前导av比与前导av相关联的驾驶指令中指示的速度更慢或更快地驾驶。
462.条款56.一种包括可执行指令的计算机程序，可执行指令在由一个或多个处理器执行时，使得一个或多个处理器：
463.接收导航前导自主车辆(av)来避开前导av前方的意外路况的命令，其中：
464.前导av包括至少一个车辆传感器；并且
465.前导av被配置为沿着道路行驶；
466.从至少一个车辆传感器接收传感器数据，传感器数据包括前导av前方的第一多个物体的位置坐标；
467.访问与前导av和后续av之间的部分道路相关联的第一环境数据集，其中：
468.后续av与前导av通信地耦合并且沿前导av后面的道路行驶；并且
469.第一环境数据集包括在前导av和后续av之间的第二多个物体的位置坐标；
470.确定第一多个物体和第二多个物体中的至少一个物体是否阻碍后续av执行命令；
471.响应于确定至少一个物体阻碍后续av执行命令，至少部分地基于传感器数据和第一环境数据集来更新针对后续av的命令，使得经更新的命令包括用于在执行命令时避开至少一个物体的一个或多个导航指令；以及
472.将经更新的命令通信给后续av。
473.条款57.根据条款56所述的计算机程序，其中：
474.命令包括针对前导av和道路上前导av后面的一个或多个后续av的广义命令；并且
475.广义命令包括避开前导av前方的特定意外路况的一个或多个导航指令。
476.条款58.根据条款56或57所述的计算机程序，其中：
477.命令包括针对前导av的特定命令；并且
478.特定命令包括避开前导av前方的特定意外路况的一个或多个导航指令。
479.条款59.根据条款56至58中任一项所述的计算机程序，其中：
480.命令包括配置命令；并且
481.配置命令包括改变至少一车辆传感器的方向和改变至少一个车辆传感器的数据采样频率中的至少一个。
482.条款60.根据条款56至59中任一项所述的计算机程序，其中至少一个车辆传感器包括相机、激光雷达(lidar)传感器、运动传感器和红外传感器中的至少一个。
技术特征：1.一种系统，包括：自主车辆av，包括至少一个车辆传感器，其中所述av被配置为沿道路行驶；与所述av通信地耦合的操作服务器，所述操作服务器包括：处理器，被配置为：访问与所述av前方的所述道路相关联的环境数据，其中所述环境数据与所述av沿所述道路行驶的时间窗相关联；将所述环境数据与包括所述av前方的预期路况的地图数据进行比较；至少部分地基于将所述环境数据与所述地图数据进行比较，确定所述环境数据是否包括所述地图数据中所未包括的意外路况；以及响应于确定所述环境数据包括所述地图数据中所未包括的所述意外路况：确定所述意外路况的位置坐标；以及向所述av通信命令来进行机动，以避开所述意外路况。2.根据权利要求1所述的系统，还包括与所述av相关联的控制设备，其中所述控制设备包括第二处理器，所述第二处理器被配置为：从所述至少一个车辆传感器接收传感器数据，所述传感器数据包括在所述av前方的所述道路上的多个物体的位置坐标；至少部分地基于所述传感器数据，更新所述命令，使得经更新的命令包括用于所述av在执行所述命令时避开所述多个物体的一个或多个指令；以及根据经更新的命令来导航所述av。3.根据权利要求2所述的系统，其中所述第二处理器还被配置为将经更新的命令通信给沿着所述av后面行驶的一个或多个后续av。4.根据权利要求2或3所述的系统，其中所述第二处理器还被配置为：将所述传感器数据与所述地图数据进行比较，其中所述地图数据包括在所述av前方的所述道路上的预期物体的位置坐标；至少部分地基于将所述传感器数据与所述地图数据进行比较，确定所述传感器数据是否指示意外物体不在所述地图数据中；以及响应于确定所述传感器数据指示所述意外物体不在所述地图数据中，确定用于所述av避开所述意外物体的所建议的导航指令。5.根据权利要求2至4中任一项所述的系统，其中所述第二处理器还被配置为响应于确定所述传感器数据指示所述意外物体不在所述地图数据中，执行所建议的导航指令。6.根据权利要求2至5中任一项所述的系统，其中所述第二处理器还被配置为，响应于确定所述传感器数据指示所述意外物体不在所述地图数据中：将所建议的导航指令通信给所述操作服务器；确定是否从所述操作服务器接收执行所建议的导航指令的确认；以及响应于从所述操作服务器接收到所述确认，执行所建议的导航指令。7.根据权利要求2至6中任一项所述的系统，其中所述第二处理器还被配置为，响应于确定所述传感器数据指示所述意外物体不在所述地图数据中：将所述传感器数据通信给所述操作服务器；以及请求所述操作服务器至少部分基于所述传感器数据来提供避开所述意外物体的指令。
8.根据前述权利要求中任一项所述的系统，还包括与所述av不同的一个或多个后续av，其中：所述一个或多个后续av在所述av后面的所述道路上；所述一个或多个后续av与所述操作服务器通信地耦合；并且所述处理器还被配置为：响应于确定所述环境数据包括所述地图数据中所未包括的所述意外路况：从所述控制设备接收所述传感器数据；生成第二命令，所述第二命令包括用于所述一个或多个后续av避开所述多个物体的同时避开所述意外路况的一个或多个指令，其中所述第二命令包括所述命令中指示的所述意外路况的所述位置坐标以及所述传感器数据中指示的所述多个物体的所述位置坐标；以及将所述第二命令通信给所述一个或多个后续av。9.一种方法，包括：访问与自主车辆av前方的道路相关联的环境数据，其中所述环境数据与所述av沿所述道路行驶的时间窗相关联；将所述环境数据与包括所述av前方的预期路况的地图数据进行比较；至少部分地基于将所述环境数据与所述地图数据进行比较，确定所述环境数据是否包括所述地图数据中所未包括的意外路况；以及响应于确定所述环境数据包括所述地图数据中所未包括的所述意外路况：确定所述意外路况的位置坐标；以及向所述av通信命令来进行机动，以避开所述意外路况。10.根据权利要求9所述的方法，其中所述意外路况包括所述地图数据中所未包括的意外天气状况、意外交通拥堵、意外道路封闭和意外施工区域中的至少一个。11.根据权利要求9至10中任一项所述的方法，其中所述环境数据包括天气数据和交通数据中的至少一个数据。12.根据权利要求9至11中任一项所述的方法，其中所述命令与以下各项中的至少一项有关：所述av从自主驾驶转换到手动驾驶；所述av避开所述av前方所述道路上的障碍物；所述av避开被检测到一个或多个障碍物的一个或多个特定车道；所述av避开被检测到所述意外路况的一个或多个特定路线；所述av进行特定的重新路线规划；以及前导的所述av比与前导的所述av相关联的驾驶指令中指示的速度更慢或更快地驾驶。13.根据权利要求9至12中任一项所述的方法，其中：所述命令包括针对所述av和所述道路上位于所述av后面的一个或多个后续av的广义命令；以及所述广义命令包括避开所述av前方的特定意外路况的一个或多个导航指令。14.根据权利要求9至13中任一项所述的方法，其中：所述命令包括针对所述av的特定命令；以及所述特定命令包括用于避开在所述av前方的特定意外路况的一个或多个导航指令。
15.一种包括可执行指令的计算机程序，所述可执行指令在由一个或多个处理器执行时，使得所述一个或多个处理器：访问与自主车辆av前方的道路相关联的环境数据，其中所述环境数据与所述av沿所述道路行驶的时间窗相关联；将所述环境数据与包括所述av前方的预期路况的地图数据进行比较；至少部分地基于将所述环境数据与所述地图数据进行比较，确定所述环境数据是否包括所述地图数据中所未包括的意外路况；以及响应于确定所述环境数据包括所述地图数据中所未包括的所述意外路况：确定所述意外路况的位置坐标；以及向所述av通信命令来进行机动，以避开所述意外路况。
技术总结本公开的各实施例总体上涉及用于自主车辆通信的监督系统。系统包括自主车辆(AV)以及与AV可操作地耦合的操作服务器。操作服务器访问与AV行驶的道路相关联的环境数据。环境数据与AV沿道路行驶的时间窗相关联。操作服务器将环境数据与包括AV前方预期路状的地图数据进行比较。操作服务器确定环境数据是否包括地图数据中所未包括的意外路况。响应于确定环境数据包括地图数据中所未包括的意外路况，操作服务器确定意外路况的位置坐标并且向AV通信命令来进行机动，以避免意外路况。以避免意外路况。以避免意外路况。
技术研发人员：C
受保护的技术使用者：图森有限公司
技术研发日：2022.04.28
技术公布日：2022/11/1
