1.本公开涉及识别处理系统、识别处理设备和识别处理方法。
背景技术：2.存在对由相机捕获的图像进行预处理并将对经预处理的图像执行物体识别处理的结果反馈回给预处理的方法。需要将这种方法应用于车辆的自动驾驶，以支持自动驾驶。然而，在这种方法中，识别器的计算量大并且功耗也高。因此，难以在可以安装在车辆上的小规模系统中实现这种方法。此外，这种方法还具有帧延迟变大以及时延变大的问题。
3.下面的ptl 1描述了使用相机和毫米波雷达的物体识别。然而，没有关于减少相机的识别处理的计算量的方法或加速计算处理的方法的描述。
4.[引文列表]
[0005]
[专利文献]
[0006]
[ptl 1]
[0007]
jp 2001-99930 a
技术实现要素：[0008]
[技术问题]
[0009]
本公开提供了用于对通过成像获取的图像信号执行高速识别处理的识别处理系统、识别处理设备和识别处理方法。
[0010]
[问题的解决方案]
[0011]
根据本公开的识别处理系统包括：第一传感器设备，通过成像获取图像信号；第二传感器设备，执行物体检测处理；选择单元，基于关于由检测处理检测到的物体的信息来选择多个识别处理之一；以及识别处理单元，基于图像信号执行由选择单元选择的识别处理。
[0012]
选择单元可以根据在检测处理中检测到的物体的类型来选择多个识别处理之一。
[0013]
第一传感器设备可以在第一时段中执行成像，第二传感器设备可以在第一时段的至少一部分中执行检测处理，并且识别处理单元可以在经过第一时段之后的第三时段中执行识别处理。
[0014]
第一传感器设备可以包括成像元件并且通过在第一时段期间将成像元件曝光来获取图像信号。
[0015]
识别处理单元可以包括执行多个识别处理的多个识别器，选择单元可以选择多个识别器之一，并且识别处理单元可以使用所选择的识别器来执行识别处理。
[0016]
选择单元可以选择用于执行多个识别处理的多个识别程序之一，并且识别处理单元可以通过执行所选择的识别程序来执行识别处理。
[0017]
识别处理系统可以包括：预处理单元，对图像信号执行预处理；以及设置单元，基于关于由检测处理检测到的物体的信息生成用于预处理的参数信息，预处理单元可以基于参数信息对图像信号执行预处理，并且识别处理单元可以基于经预处理的图像信号执行识
别处理。
[0018]
关于物体的信息可以包括物体的位置和类型中的至少一个。
[0019]
参数信息可以包括用于指定要从图像信号中提取的区域的信息。
[0020]
参数信息可以包括对从区域提取出的信号执行的缩放处理和颜色设置处理中的至少一个的设置值。
[0021]
识别处理系统可以包括：预测单元，基于关于物体的信息来预测在第一传感器设备的下一个成像时段中的物体的位置，设置单元可以基于所预测的物体的位置来生成参数信息，并且识别处理单元可以基于通过成像获取的图像信号或通过下一次成像获取的图像信号来执行识别处理。
[0022]
第一传感器设备和第二传感器设备可以与同步信号同步地操作。
[0023]
第二传感器设备可以是与第一传感器设备不同类型的传感器设备。
[0024]
第一传感器设备可以是相机，并且第二传感器设备可以是雷达。
[0025]
根据本公开的识别处理设备包括：识别处理单元，从第一传感器设备获取通过成像获得的图像信号，并基于图像信号执行多个识别处理之一；以及选择单元，从第二传感器设备获取物体检测处理的结果并基于关于检测到的物体的信息从多个识别处理中选择要由识别处理单元执行的一个识别处理。
[0026]
根据本发明的识别处理方法包括：通过成像获取图像信号；执行物体检测处理；基于关于由检测处理检测到的物体的信息来选择多个识别处理之一；以及基于图像信号执行所选择的识别处理。
附图说明
[0027]
图1是根据第一实施例的识别处理系统的框图。
[0028]
图2是示出将物体的距离、角度、速度示为地图的示例的图。
[0029]
图3是示出图1的识别处理系统的操作的定时的示例的图。
[0030]
图4是根据本实施例的识别处理系统的操作的示例的流程图。
[0031]
图5是根据第二实施例的识别处理系统的框图。
[0032]
图6是根据第三实施例的识别处理系统的框图。
[0033]
图7是示出图6的识别处理系统的操作的定时的示例的图。
具体实施方式
[0034]
在下文中，将参考附图描述本公开的实施例。在本公开中所示的一个或多个实施例中，每个实施例中包括的要素可以彼此组合，并且组合的结果也是本公开中所示的实施例的一部分。
[0035]
(第一实施例)
[0036]
图1是根据第一实施例的识别处理系统的框图。图1的识别处理系统100包括识别处理设备101、相机201和雷达301。识别处理设备101包括预处理单元111、识别处理单元112、设置单元133和选择单元134。雷达301包括发送器311和接收器312以及雷达信号处理单元313。识别处理设备101的每个要素由硬件、软件(程序)或两者构成。硬件的示例包括处理器，诸如cpu(中央处理单元)、专用电路、可编程电路和存储器。
[0037]
识别处理系统100通过有线或无线连接到车辆控制系统401。识别处理系统100和车辆控制系统401安装在车辆上。车辆例如是电动车辆、混合动力车辆、汽油车辆、电动公交车、机器人、无人车辆、自动驾驶车辆等。识别处理系统可以安装在车辆以外的移动物体上，例如，无人机、飞机、船舶、智能电话等。识别处理系统100使用相机201和雷达301执行物体识别处理，并将表示识别处理的结果的信息提供给车辆控制系统401。车辆控制系统401基于从识别处理设备101提供的信息支持车辆的驾驶(例如，自动驾驶)。
[0038]
相机201是通过在曝光时段期间通过成像透镜对成像元件进行曝光来获取图像信号以执行成像的传感器设备。相机201将所获取的图像信号提供给识别处理设备101的预处理单元111。相机201作为示例是安装在车辆上并以规律的采样间隔捕获车辆的周围环境的rgb相机。相机201的操作例如由车辆的集成控制单元(未示出)控制。相机201包括单目相机、立体相机、tof(飞行时间)相机、红外相机和其它相机中的至少一种。相机201例如安装在车辆的前车头、侧视镜、后保险杠、后门以及车厢内的挡风玻璃的上部中的至少一个位置处。安装在前车头和车厢内的挡风玻璃的上部的相机主要获取车辆前侧的图像。设置在侧视镜中的相机主要获取车辆侧面的图像。安装在后保险杠或后门上的相机主要获取车辆后侧的图像。
[0039]
雷达301是执行物体检测处理的传感器设备。雷达301的发送器311从发送天线向前方发送预定波长的无线电波波束，并且接收器312在接收天线处接收反射波。由接收器312接收的信号被ad(模拟到数字)转换并提供给雷达信号处理单元313。雷达301的操作由例如车辆的集成控制单元(未示出)与相机201同步地控制。雷达301例如是毫米波雷达，但也可以是具有其它波长的雷达。与相机201同样，雷达301安装在车辆的前车头、侧视镜、后保险杠、后车门、车厢内的挡风玻璃的上部中的至少一个位置处。作为示例，雷达301被安装成使得感测方向与相机201的感测方向相同。在本实施例中，假设雷达301和相机201感测车辆的前方，但本发明不限于此。
[0040]
雷达信号处理单元313基于从接收器312接收到的信号使用fft(范围fft、速度fft和方位fft)执行信号处理，并执行物体检测处理。具体而言，例如，在信号处理中执行峰值检测，并基于峰值检测的结果，检测到反射无线电波的物体(目标)的距离、物体的速度(相对速度)、物体相对于主体车辆的角度，以及物体存在的区域。
[0041]
另外，雷达信号处理单元313确定反射无线电波的物体的类型。例如，确定是车辆还是人。作为简单的确定方法，如果从物体反射的波峰的强度等于或大于某个值并且相对速度等于或大于第一阈值，那么可以确定物体是车辆。如果峰值的强度小于某个值并且相对速度小于第二阈值，那么可以确定物体是人。可替代地，可以基于到物体的距离和物体存在区域的尺寸来确定物体是人还是物体。可替代地，可以使用利用机器学习的确定方法。例如，可以以反射信号作为输入，使用通过机器学习预先生成的判别模型来确定物体的类型。在执行机器学习时，预先准备将从物体反射的信号与具有该物体类型的已知物体类型相关联的教师数据，并且基于教师数据通过诸如神经网络之类的学习算法生成判别模型。物体的类型不限于车辆和人这两种类型。例如，可以有汽车、摩托车和人三种类型，或者四种或更多种类型。
[0042]
雷达信号处理单元313向识别处理设备101提供包括到检测到的物体的距离、速度和角度、所确定的物体的类型等的信息作为物体检测信息。
[0043]
图2示出了将物体检测信息中的物体t的距离、角度和速度示为地图的示例。图2中的地图的形状与雷达301的检测范围的形状对应。地图中的物体t的区域取决于速度被赋予从红色到蓝色范围内选择的颜色。在图2的示例中，示出了其中检测到一个物体的示例，但可以存在两个或更多个物体。
[0044]
也可以以相同的方式创建示出雷达301的检测范围内的每个位置处的信号强度[dbm]的地图。在这种情况下，可以根据信号强度对地图中的每个位置赋予颜色。地图的区域中的每个位置被赋予例如从红色到蓝色范围内选择的颜色。例如，红色具有最高的信号强度，并且蓝色具有最低的信号强度。
[0045]
识别处理设备101获取从相机201提供的图像信号，并且还获取从雷达301提供的物体检测信息。
[0046]
选择单元134基于从雷达信号处理单元313提供的物体检测信息从包括在识别处理单元112中的多个识别器中选择一个识别器，并将指定所选择的识别器的信息提供给识别处理单元112。在本实施例中，作为示例，指定由物体检测信息指示的物体的类型，并选择与指定的类型对应的识别器。
[0047]
识别处理单元112包括识别器a、识别器b和识别器c作为多个识别器。识别器a是当物体的类型是类型a时使用的识别器，并且在执行包括物体a的图像信号的识别处理时使用。识别器b是当物体的类型是类型b时使用的识别器，并且在执行包括物体b的图像信号的识别处理时使用。识别器c是当物体的类型是类型c时使用的识别器，并且在执行包括物体c的图像信号的图像识别时使用。识别处理单元112包括三个识别器，但可以包括两个或四个或更多个识别器。
[0048]
当物体检测信息指示类型a时，选择单元134向识别处理单元112提供指定识别器a的信息。当物体检测信息指示类型b时，选择单元134向识别处理单元112提供指定识别器b的信息。当物体检测信息指示类型c时，选择单元134向识别处理单元112提供指定识别器c的信息。在这个示例中，对于每种类型的物体使用不同的识别器，但是相同的识别器可以共同用于多种类型的识别处理。
[0049]
在本实施例中，根据物体的类型选择识别器，但可以使用其它方法。例如，可以根据物体的速度的量值(magnitude)准备多种类型的识别器，并且根据由物体检测信息指示的速度选择识别器。
[0050]
设置单元133基于从雷达信号处理单元313提供的物体检测信息来生成包括要由预处理单元111对图像信号执行的预处理的设置值的参数信息。
[0051]
例如，基于物体的检测位置和物体存在的区域，生成包括要在相机201的图像信号中切出包括物体的区域的图像的指令并将切出的图像缩放(放大或缩小)到预定尺寸的参数信息。雷达301的检测范围与相机201的成像范围之间的对应关系是预先知道的，并且有可能计算相机201的图像信号的哪个区域与由雷达301检测到的物体的区域对应。
[0052]
另外，设置单元133基于物体检测信息对图像信号或切出的图像信号执行颜色设置处理。例如，取决于物体的类型，执行亮度、饱和度和明度中的至少一种的调整。具体而言，可以根据物体的类型执行诸如增加或减小特定颜色的亮度的校正。通过执行颜色设置处理，有可能提高由识别处理单元112执行的图像识别的准确性。
[0053]
预处理单元111基于从相机201提供的图像信号根据从设置单元133提供的参数信
息执行预处理。即，预处理单元111根据通过前馈提供的参数信息执行预处理。
[0054]
预处理单元111向识别处理单元112提供通过对图像信号执行预处理获得的经预处理的图像信号。
[0055]
识别处理单元112使用由从选择单元134提供的信息指示的识别器对从预处理单元111提供的预处理之后的图像信号执行识别处理。例如，当识别器a针对物体类型为人并且使用识别器a执行识别处理时，执行针对人的识别处理。具体而言，例如，识别图像信号中包括的人面向哪个方向、该人是否戴着太阳镜、该人是否戴着耳机、该人是成人还是儿童，或者该人是男性还是女性。类似地，当识别器b针对物体类型为车辆并且使用识别器b执行识别处理时，执行针对车辆的识别处理。具体而言，例如，识别图像信号中包括的车辆面向哪个方向、该车辆是否在坡道上，或者该车辆是否在与主体车辆相同的车道上。由于每个识别器执行针对特定类型的物体的专门处理，因此计算量小并且有可能进行高速处理。
[0056]
识别处理单元112向车辆控制系统401提供表示识别处理的结果的信息。车辆控制系统401基于所提供的信息控制车辆。例如，当人面向与车辆相反的方向时，执行诸如发出警报以通知车辆正在从人的后面接近之类的处理。此外，当人戴着太阳镜时，使警告灯发光以通知车辆正在接近。如果该人是儿童，那么可以输出针对儿童的警告消息声音。可以执行其它处理。
[0057]
图3示出了图1的识别处理系统100的操作的定时的示例。相机201和雷达301基于从集成控制单元(未示出)提供的同步信号同步地操作。假设相机201和雷达301以相同的帧速率(例如，30帧/秒)操作。
[0058]
在第一周期中，相机201执行曝光(曝光1)。在相机201的曝光期间，雷达301接收毫米波辐射和反射波(发送/接收1)，并执行ad转换、信号处理和物体检测处理(信号处理/物体检测1)以输出物体检测信息(雷达输出1)。物体检测信息被输入到识别处理设备101(雷达输入1)。
[0059]
当完成曝光1时，相机201开始第二曝光周期(曝光2)。与曝光2并行地，相机201在曝光1期间读出由成像元件接收到的信号并执行ad转换(ad1)，生成包括每个像素的信号的图像信号(传感器输出1)并执行相机处理(相机处理1)。相机处理包括例如增益调整、黑电平调整、白电平调整、噪声去除、伽马处理等。在相机201执行曝光2期间，雷达301接收毫米波辐射和反射波(发送/接收2)作为第二周期处理，并执行ad转换、信号处理和物体检测处理(信号处理/物体检测2)以输出物体检测信息(雷达输出2)。
[0060]
在相机201和雷达301执行第二周期处理期间，选择单元134基于物体检测信息选择识别器。选择单元134向识别处理单元112提供表示所选择的识别器的信息作为指示要用于第一识别处理的识别器的信息(识别器选择1)。在图中的示例中，选择了针对人的识别器。另外，设置单元133基于物体检测信息生成包括用于由预处理单元111执行的第一预处理的设置值的参数信息，并且将参数信息提供给预处理单元111(设置处理1)。之后，识别处理设备101接收在雷达301的第二周期处理中输出的物体检测信息(雷达输入2)。
[0061]
当完成曝光2时，相机201开始第三曝光周期(曝光3)。与曝光3并行地，相机201在曝光2期间读出由成像元件接收到的信号，并执行ad转换(ad2)，生成图像信号(传感器输出2)，并执行相机处理(相机处理2)。另外，相机201将在第二周期处理的相机处理1中生成的图像信号提供给识别处理设备101的预处理单元111(相机输出1)。
[0062]
在相机201执行曝光3的时段期间，雷达301接收毫米波辐射和反射波(发送/接收3)作为第三处理周期，并执行ad转换、信号处理和物体检测处理(信号处理/物体检测3)以输出物体检测信息(雷达输出3)。
[0063]
在相机201和雷达301执行第三处理周期的同时，预处理单元111从相机201接收图像信号(通过曝光1捕获的图像信号)(相机输入1)，并基于从设置单元133提供的参数信息对图像信号执行预处理(预处理1)。识别处理设备101将经预处理的图像信号提供给识别处理单元112。另外，选择单元134基于在第二周期处理中从雷达301输出的物体检测信息来选择识别器(识别器选择2)，并向识别处理单元112提供表示所选择的识别器的信息作为指示要用于第二识别处理的识别器的信息。识别处理单元112可以包括将从选择单元提供的信息存储为多个周期的缓冲器。设置单元133基于在第二周期处理中从雷达301输出的物体检测信息来生成包括用于在下一周期(第四周期)中执行的第二预处理的设置值的参数信息，并且将参数信息提供给预处理单元111。预处理单元111可以包括将从设置单元133提供的信息存储为多个周期的缓冲器。另外，识别处理设备101接收在雷达301的第三处理周期中输出的物体检测信息(雷达输入3)。
[0064]
在第四周期中，相机201、雷达301、设置单元133、选择单元134和预处理单元111执行相同的处理。另外，在第四周期中，识别处理单元112基于在第三周期中预处理的图像信号使用由选择单元134选择的识别器(在该图的示例中是针对人的识别器)执行第一识别处理。识别处理单元112向车辆控制系统401提供表示识别处理的结果的信息。在第五和后续周期中，重复与第四周期中相同的处理。
[0065]
如上所述，在图3的处理中，使用相机201与雷达301之间的处理延迟的差异，在相机201的图像信号被输入到识别处理设备101之前，基于关于由雷达301检测到的物体的信息来生成包括预处理的设置值的参数信息。基于这个参数信息，对输入到识别处理设备101的图像信号执行预处理。因此，由于可以通过前馈将参数信息提供给预处理单元(因为不需要来自识别处理单元的反馈)，因此可以在抑制帧时延的同时以高速执行预处理。另外，通过使用与关于检测到的物体的信息对应的识别器执行识别处理，可以减少计算量并且可以加速识别处理。即，识别处理单元112可以在缩小目标之后执行识别处理，并且不需要以存在多种类型的目标的可能性为前提执行计算处理。因此，有可能加速处理并降低功耗。
[0066]
图4是根据本实施例的识别处理系统的操作示例的流程图。通过用相机201成像来获取图像信号(s101)。与相机201的成像并行地，雷达301执行物体检测处理(s101)。
[0067]
设置单元133基于通过物体检测处理获取的物体检测信息生成包括预处理的设置值的参数信息(s102)。
[0068]
另外，选择单元134基于物体检测信息(例如，物体的类型)从多个识别器中选择识别器(s103)。
[0069]
预处理单元111基于参数信息对图像信号执行预处理(s104)。
[0070]
识别处理单元112使用所选择的识别器对预处理之后的图像信号执行识别处理(s105)。
[0071]
识别处理单元112将识别处理的结果提供给车辆控制系统401(s106)。
[0072]
根据本实施例，使用相机201与雷达301之间的处理延迟的差异，通过前馈向预处理单元提供包括由预处理单元执行的预处理的设置值的参数信息。因此，可以提高预处理
单元的处理速度，并且可以解决过去一直是问题的由于反馈引起的延迟的问题。
[0073]
另外，根据本实施例，使用与基于物体检测处理的结果指定的物体的类型对应的识别器来执行识别处理。因此，有可能执行缩小识别目标(物体的类型)的识别处理，并减少识别处理中的计算量。因此，有可能加速识别处理(改善处理时延)并降低功耗。
[0074]
如上所述，根据本实施例，通过相机和输出比相机快的雷达进行传感器融合使得能够设置通过前馈的预处理以及缩小目标之后的识别处理。因此，有可能改善处理时延并降低功耗。
[0075]
本实施例的相机201和激光器301是传感器设备的示例，并且可以使用各种传感器设备。例如，作为相机201，除了rgb相机以外，还可以使用诸如红外相机或tof(飞行时间)相机之类的传感器设备。另外，代替激光器301，可以使用诸如lidar(光检测和测距，激光成像检测和测距)或声波传感器之类的传感器设备。
[0076]
(第二实施例)
[0077]
图5是根据第二实施例的识别处理系统的框图。与第一实施例的不同之处在于识别处理单元112使用识别程序而不是识别器来执行识别处理。在下文中，将主要描述与第一实施例的不同之处，并且，除了扩展或修改的处理之外，将省略与第一实施例相同的描述。
[0078]
识别处理设备101包括存储设备115。存储设备115将识别程序a、b、c存储为多个识别程序。存储设备115是诸如硬盘设备、光盘设备、ssd设备和存储设备之类的任意存储设备。
[0079]
识别程序a是当物体的类型是类型a时使用的识别程序，并且在执行包括物体a的图像信号的识别处理时使用。识别程序b是当物体的类型是类型b时使用的识别程序，并且在执行包括物体b的图像信号的识别处理时使用。识别程序c是当物体的类型是类型c时使用的识别程序，并且在执行包括物体c的图像信号的识别处理时使用。存储设备115包括三个识别程序，但也可以包括两个或四个或更多个识别程序。
[0080]
当物体检测信息指示类型a时，选择单元134向识别处理单元112提供用于指定识别程序a的信息。当物体检测信息指示类型b时，选择单元134向识别处理单元112提供用于指定识别程序b的信息。当物体检测信息指示类型c时，选择单元134向识别处理单元112提供用于指定识别程序c的信息。在这个示例中，针对每种类型的物体使用不同的识别程序，但相同的识别程序可以共同用于多种类型的识别处理。
[0081]
识别处理单元112包括用于执行程序的诸如cpu之类的处理器和用于扩展程序代码的存储器。识别处理单元112经由总线连接到存储设备115，并且可以访问存储设备115。识别处理单元112从存储设备115读出由从选择单元134提供的信息指示的识别程序。识别处理单元112将读取的识别程序扩展到存储器中并执行它以对从预处理单元111提供的预处理之后的图像信号执行识别处理。
[0082]
存储设备115虽然设置在识别处理设备101的内部，但也可以经由通信网络作为服务器或网络存储器设置在识别处理设备101的外部。
[0083]
根据第二实施例，选择与物体的类型对应的识别程序，并执行所选择的识别程序。通过对识别程序的扩展或修改，容易对识别处理进行扩展或修改，并且可以容易地增加识别处理的变化。另外，通过以后添加识别程序，容易添加新的识别处理。识别处理设备101可以经由用户接口从用户获取指令数据，并根据该指令数据对识别程序进行扩展、修改或添加。
[0084]
(第三实施例)
[0085]
图6是根据第三实施例的识别处理系统的框图。与第二实施例的不同之处在于，对设置单元133添加了预测单元136。还有可能将设置单元133添加到第一实施例的设置单元133。虽然预测单元136被添加到设置单元133，但它可以作为独立功能块被布置在设置单元133外部。在下文中，将主要描述与第二实施例的不同之处，并且，除了扩展或修改的处理之外，将省略与第二实施例相同的描述。
[0086]
在本实施例中，相机201和雷达301以不同的帧速率操作。在这个示例中，相机201以两倍于雷达301的帧速率操作。作为示例，相机201具有60帧/秒并且雷达301具有30帧/秒。然而，如果相机201的帧速率比雷达301的帧速率快，那么不限于两倍。
[0087]
由于相机201的帧速率是雷达301的两倍，因此相机201操作两个周期，而雷达301操作一个周期。例如，相机201的周期2x-1和2x(x是1以上的整数)与雷达301的周期x对应。
[0088]
预测单元136基于在雷达301的周期1的处理中获取的物体检测信息执行跟踪预测，并在相机201的周期3(雷达301的周期2的前半时段)中预测物体的位置。例如，根据关于物体的位置和速度的信息预测预定时间(例如，相机的一帧)之后的位置。设置单元133基于所预测的位置生成用于预处理单元111的参数信息。另一方面，选择单元134基于在雷达301的周期1的处理中获取的物体检测信息(物体类型)来选择识别程序，并向识别处理单元112提供用于指定所选择的识别程序的信息。
[0089]
预处理单元111基于从设置单元133提供的参数信息对在相机201的周期4中输出的图像信号(在相机201的周期3中捕获的图像信号)执行预处理。识别处理单元112使用由从选择单元134提供的信息指示的识别程序对经预处理的图像信号执行识别处理。
[0090]
预处理单元111可以省略对相机201的周期3中输出的图像信号(相机201的周期2中捕获的图像信号)的预处理，或者可以执行预处理(例如，使用先前计算出的参数信息或预先给出的初始参数信息执行预处理)。当执行图像信号的预处理时，识别处理单元112选择在相机201的周期3中预处理的图像信号和在相机201的周期4中预处理的图像信号之一。使用由从选择单元134提供的信息指示的识别程序对所选择的图像信号执行识别处理。
[0091]
以这种方式，相机201的周期2x-1和周期2x(x为1以上的整数)与雷达301的周期x对应。基于在雷达301的周期x中获取的物体检测信息，预测在相机201的周期2(x+1)-1中物体的位置。基于所预测的位置生成预处理参数信息，并且基于参数信息对在相机201的周期2(x+1)-1中捕获的图像信号(在周期2(x+1)中从相机201输出的图像信号)进行预处理。经预处理的图像信号由基于在雷达301的周期x中获取的物体检测信息选择的识别器来识别。由于这使得能够基于物体的最新位置进行预处理，因此可以执行更准确的识别处理。
[0092]
图7示出了图6的识别处理系统100的操作的定时的示例。相机201和雷达301基于从集成控制单元(未示出)提供的同步信号同步地操作。假设相机201以雷达301的两倍的帧速率操作。
[0093]
在相机201的第一周期中，相机201执行曝光(曝光1)，在完成曝光1之后，在第二周期中执行曝光(曝光2)。与曝光2并行地，在曝光1期间由成像元件接收到的信号被读出，执行ad转换(ad1)、图像信号生成(输出1)和相机处理(相机处理1)。
[0094]
在相机201的曝光1和曝光2期间，雷达301在第一周期中接收毫米波辐射和反射波(发送/接收1)，并执行ad转换、信号处理和物体检测处理(信号处理/物体检测1)以输出物
体检测信息(雷达输出1)。物体检测信息被输入到识别处理设备101(雷达输入1)。
[0095]
当完成曝光2时，相机201开始第三曝光周期(曝光3)。与曝光3并行地，相机201读出在曝光2期间由成像元件接收到的信号，执行ad转换(ad2)，生成图像信号(输出2)，并执行相机处理(相机处理2)。另外，相机201将通过第二周期处理的相机处理1而处理的图像信号提供给识别处理设备101的预处理单元111(相机输出1)。当完成曝光3时，相机201开始第四曝光周期(曝光4)。与曝光4并行地，相机201读出在曝光3期间由成像元件接收到的信号，执行ad转换(ad3)，生成图像信号(输出3)，并执行相机处理(相机处理3)。另外，相机201将通过第三周期处理的相机处理2而处理的图像信号提供给识别处理设备101的预处理单元111(相机输出2)。
[0096]
在相机201执行曝光3和曝光4时，雷达301接收毫米波辐射和反射波作为第二周期处理(发送/接收2)，并执行ad转换、信号处理和物体检测处理(信号处理/物体检测2)以输出物体检测信息(雷达输出2)。
[0097]
在相机201执行第三处理周期(曝光3等)时，选择单元134基于物体检测信息(例如，物体的类型)选择识别器，并将表示所选择的识别器的信息提供给识别处理单元112(识别器选择1)。在图中的示例中，选择针对人的识别器。另外，设置单元133基于物体检测信息跟踪并预测相机201的第三周期中的物体的位置(雷达301的第二周期的前半部分中的位置)，并基于预测结果生成包括由预处理单元111执行的预处理的设置值的参数信息。参数信息被提供给预处理单元111(设置处理1)。之后，识别处理设备101接收在雷达301的第二周期处理中输出的物体检测信息(雷达输入2)。
[0098]
识别处理设备101的预处理单元111省略了在相机201的第三周期中对由相机输出1输出的图像信号的预处理(预处理1)，并基于从设置单元133提供的参数信息对在相机201的第四周期中输出的图像信号(在相机201的第三周期中捕获的图像信号)执行预处理(预处理2)。预处理2在相机201的曝光4的时段的至少一部分中执行。
[0099]
识别处理设备101的识别处理单元112在相机201的第五周期和第六周期(雷达301的第三周期的时段)的时段的至少一部分期间使用由从选择单元134提供的信息指示的识别器对由预处理2处理的图像信号执行识别处理(图像识别1)。识别处理设备101将识别处理的结果提供给车辆控制系统401。
[0100]
虽然在上述处理中省略了预处理1，但是可以执行预处理1。在这种情况下，代替预处理1识别由预处理2输出的图像信号，可以识别由预处理1输出的图像信号。识别处理单元112可以选择在预处理1中输出的图像信号和在预处理2中输出的图像信号之一并且识别所选择的图像信号。
[0101]
如上所述，在本实施例中，基于在雷达301的周期x中获取的物体检测信息来预测在相机201的周期2(x+1)-1中物体的位置，雷达301的周期x与相机201的周期2x-1和周期2x两者对应，并且基于所预测的位置生成用于预处理的参数信息。基于这个参数信息，对在相机201的周期2(x+1)-1中捕获的图像信号(周期2(x+1)中输出的图像信号)进行预处理。由于这使得能够基于物体的最新位置进行预处理，因此可以执行更准确的识别处理。
[0102]
应当注意的是，上述实施例示出了用于实施本公开的示例，并且本公开可以以各种其它形式实现。例如，在不背离本公开的主旨的情况下，各种修改、替换、省略或其组合是可能的。此类形式的修改、替换和省略如被包括在本公开的范围内一样，被包括在权利要求
中描述的本发明的范围及其等效范围内。
[0103]
此外，本文描述的本公开的效果仅仅是示例性的并且可以具有其它效果。
[0104]
本公开可以具有以下配置。
[0105]
[项1]
[0106]
一种识别处理系统，包括：第一传感器设备，通过成像获取图像信号；第二传感器设备，执行物体检测处理；选择单元，基于关于由检测处理检测到的物体的信息来选择多个识别处理之一；以及识别处理单元，基于图像信号执行由选择单元选择的识别处理。
[0107]
[项2]
[0108]
根据项1所述的识别处理系统，其中选择单元根据在检测处理中检测到的物体的类型来选择所述多个识别处理之一。
[0109]
[项3]
[0110]
根据项1或2所述的识别处理系统，其中第一传感器设备在第一时段中执行成像，第二传感器设备在第一时段的至少一部分中执行检测处理，并且识别处理单元在经过第一时段之后的第三时段中执行识别处理。
[0111]
[项4]
[0112]
根据项3所述的识别处理系统，其中第一传感器设备包括成像元件并且通过在第一时段期间将成像元件曝光来获取图像信号。
[0113]
[项5]
[0114]
根据项1至4中的任一项所述的识别处理系统，其中识别处理单元包括执行所述多个识别处理的多个识别器，选择单元选择所述多个识别器之一，并且识别处理单元使用所选择的识别器来执行识别处理。
[0115]
[项6]
[0116]
根据项1至5中的任一项所述的识别处理系统，其中选择单元选择用于执行所述多个识别处理的多个识别程序之一，并且识别处理单元通过执行所选择的识别程序来执行识别处理。
[0117]
[项7]
[0118]
根据项1至6中的任一项所述的识别处理系统，还包括：预处理单元，对图像信号执行预处理；以及设置单元，基于关于由检测处理检测到的物体的信息生成用于预处理的参数信息，其中预处理单元基于参数信息对图像信号执行预处理，并且识别处理单元基于经预处理的图像信号执行识别处理。
[0119]
[项8]
[0120]
根据项7所述的识别处理系统，其中关于物体的信息包括物体的位置和类型中的至少一个。
[0121]
[项9]
[0122]
根据项8所述的识别处理系统，其中参数信息包括用于指定要从图像信号中提取的区域的信息。
[0123]
[项10]
[0124]
根据项9所述的识别处理系统，其中参数信息包括对从区域提取出的信号执行的缩放处理和颜色设置处理中的至少一个的设置值。
[0125]
[项11]
[0126]
根据项7至10中的任一项所述的识别处理系统，还包括：预测单元，基于关于物体的信息来预测在第一传感器设备的下一个成像时段中的物体的位置，其中设置单元基于所预测的物体的位置来生成参数信息，并且识别处理单元基于通过成像获取的图像信号或通过下一次成像获取的图像信号来执行识别处理。
[0127]
[项12]
[0128]
根据项1至1中的任一项所述的识别处理系统，其中第一传感器设备和第二传感器设备与同步信号同步地操作。
[0129]
[项13]
[0130]
根据项1至12中的任一项所述的识别处理系统，其中第二传感器设备是与第一传感器设备不同类型的传感器设备。
[0131]
[项14]
[0132]
根据项13所述的识别处理系统，其中第一传感器设备是相机，并且第二传感器设备是雷达。
[0133]
[项15]
[0134]
一种识别处理设备，包括：识别处理单元，从第一传感器设备获取通过成像获得的图像信号，并基于图像信号执行多个识别处理之一；以及选择单元，从第二传感器设备获取物体检测处理的结果并基于关于检测到的物体的信息从所述多个识别处理中选择要由识别处理单元执行的一个识别处理。
[0135]
[项16]
[0136]
一种识别处理方法，包括：通过成像获取图像信号；执行物体检测处理；基于关于由检测处理检测到的物体的信息来选择多个识别处理之一；以及基于图像信号执行所选择的识别处理。
[0137]
[附图标记列表]
[0138]
100识别处理系统
[0139]
101识别处理设备
[0140]
201相机
[0141]
301雷达
[0142]
111预处理单元
[0143]
112识别处理单元
[0144]
115存储设备
[0145]
313雷达信号处理单元
[0146]
133设置单元
[0147]
134选择单元
[0148]
311发送器
[0149]
312接收器
[0150]
313雷达信号处理单元
[0151]
136预测单元
[0152]
401车辆控制系统。
技术特征：1.一种识别处理系统，包括：第一传感器设备，通过成像获取图像信号；第二传感器设备，执行物体检测处理；选择单元，基于关于由检测处理检测到的物体的信息来选择多个识别处理之一；以及识别处理单元，基于图像信号执行由选择单元选择的识别处理。2.根据权利要求1所述的识别处理系统，其中选择单元根据在检测处理中检测到的物体的类型来选择所述多个识别处理之一。3.根据权利要求1所述的识别处理系统，其中第一传感器设备在第一时段中执行成像，第二传感器设备在第一时段的至少一部分中执行检测处理，以及识别处理单元在经过第一时段之后的第三时段中执行识别处理。4.根据权利要求3所述的识别处理系统，其中第一传感器设备包括成像元件并且通过在第一时段期间将成像元件曝光来获取图像信号。5.根据权利要求1所述的识别处理系统，其中识别处理单元包括执行所述多个识别处理的多个识别器，选择单元选择所述多个识别器之一，以及识别处理单元使用所选择的识别器来执行识别处理。6.根据权利要求1所述的识别处理系统，其中选择单元选择用于执行所述多个识别处理的多个识别程序之一，以及识别处理单元通过执行所选择的识别程序来执行识别处理。7.根据权利要求1所述的识别处理系统，还包括：预处理单元，对图像信号执行预处理；以及设置单元，基于关于由检测处理检测到的物体的信息生成用于预处理的参数信息，其中预处理单元基于参数信息对图像信号执行预处理，以及识别处理单元基于经预处理的图像信号执行识别处理。8.根据权利要求7所述的识别处理系统，其中关于物体的信息包括物体的位置和类型中的至少一个。9.根据权利要求8所述的识别处理系统，其中参数信息包括用于指定要从图像信号中提取的区域的信息。10.根据权利要求9所述的识别处理系统，其中参数信息包括对从区域提取出的信号执行的缩放处理和颜色设置处理中的至少一个的设置值。11.根据权利要求7所述的识别处理系统，还包括：预测单元，基于关于物体的信息来预测在第一传感器设备的下一个成像时段中的物体的位置，其中设置单元基于所预测的物体的位置来生成参数信息，以及识别处理单元基于通过成像获取的图像信号或通过下一次成像获取的图像信号来执
行识别处理。12.根据权利要求1所述的识别处理系统，其中第一传感器设备和第二传感器设备与同步信号同步地操作。13.根据权利要求1所述的识别处理系统，其中第二传感器设备是与第一传感器设备不同类型的传感器设备。14.根据权利要求13所述的识别处理系统，其中第一传感器设备是相机，以及第二传感器设备是雷达。15.一种识别处理设备，包括：识别处理单元，从第一传感器设备获取通过成像获得的图像信号，并基于图像信号执行多个识别处理之一；以及选择单元，从第二传感器设备获取物体检测处理的结果并基于关于检测到的物体的信息从所述多个识别处理中选择要由识别处理单元执行的一个识别处理。16.一种识别处理方法，包括：通过成像获取图像信号；执行物体检测处理；基于关于由检测处理检测到的物体的信息来选择多个识别处理之一；以及基于图像信号执行所选择的识别处理。
技术总结[问题]以高速执行用于通过成像获取的图像信号的识别处理。[解决方案]根据本公开的识别处理系统设有：第一传感器设备，用于通过成像获取图像信号；第二传感器设备，用于执行关于物体的物体检测处理；选择单元，基于与由检测处理中检测到的物体有关的信息来选择多个识别处理之一；以及识别处理单元，基于图像信号执行由选择单元选择的识别处理。号执行由选择单元选择的识别处理。号执行由选择单元选择的识别处理。
技术研发人员：玉置晶宏
受保护的技术使用者：索尼半导体解决方案公司
技术研发日：2021.02.10
技术公布日：2022/11/1
