1.本公开涉及一种固态成像装置。
背景技术：2.具有互补金属氧化物半导体(cmos)和数字信号处理器(dsp)的图像传感器安装在由数码相机等表示的设备上。在图像传感器中，捕获的图像被提供给dsp，在dsp中经历各种处理，并且被输出到诸如应用处理器的外部装置。
3.现有技术文献
4.专利文献
5.专利文献1：wo 2018/051809 a
技术实现要素：6.本发明要解决的问题
7.然而，在上述技术中，在dsp执行重负荷处理或者执行高速图像数据读出的情况下，可能存在dsp的处理在诸如一个帧时段的预定时段内未完成并且dsp不能适当地执行处理的情况。所以，在上述技术中，并行地执行图像读出处理和dsp处理以确保dsp处理的时间。在这种情况下，噪声可输入读出的图像数据，并且图像的质量可降低。
8.因此，本公开提出了一种能够适当地执行处理的固态成像装置。
9.问题的解决方案
10.根据本公开的一方面的固态成像装置包括：成像部，获取图像数据；以及控制部，使对图像数据的dnn处理和图像数据的读出处理并行地执行，并且对在对图像数据的dnn处理和图像数据的读出处理并行地执行时读出的图像数据执行降噪处理。
附图说明
11.图1是示出根据实施方式的数码相机的配置的示例的框图。
12.图2是示出根据实施方式的成像装置的配置示例的框图。
13.图3是示出成像装置的外观配置示例的概况的透视图。
14.图4是用于描述比较例的处理模式的图。
15.图5是用于描述根据实施方式的第一处理模式的图。
16.图6是用于描述nr处理的图。
17.图7是用于描述用于确定开始nr处理的时刻的方法的图。
18.图8是用于描述根据实施方式的第二处理模式的图。
19.图9a是用于描述用于动态地切换其中应执行nr处理的区域的方法的图。
20.图9b是用于描述用于动态地切换其中应执行nr处理的区域的方法的图。
21.图10a是用于描述用于控制dsp处理的时间的方法的图。
22.图10b是用于描述用于控制dsp处理的时间的方法的图。
23.图11是示出基于dnn处理的结果控制成像处理的处理过程的示例的流程图。
24.图12是示出用于基于dnn处理的时间来控制nr处理的方法的处理的过程的示例的流程图。
25.图13是用于描述动态地控制nr处理的方法的图。
26.图14是用于描述根据实施方式的第三处理模式的图。
27.图15a是用于描述用于动态地切换其中应执行nr处理的区域的方法的图。
28.图15b是用于描述动态地切换其中应执行nr处理的区域的方法的图。
29.图16是用于描述根据实施方式的第四处理模式的图。
30.图17a是用于描述用于动态地切换其中应执行nr处理的区域的方法的图。
31.图17b是用于描述动态地切换其中应执行nr处理的区域的方法的图。
32.图18是用于描述根据实施方式的第五处理模式的图。
33.图19a是用于描述动态地切换其中应执行nr处理的区域的方法的图。
34.图19b是用于描述动态地切换其中应执行nr处理的区域的方法的图。
具体实施方式
35.在下文中，基于附图详细描述本公开的实施方式。另外，在以下的实施方式中，对相同部分标注相同标号并省略重复说明。
36.注意，按照以下顺序给出描述。
37.1.概述
38.1-1.数码相机的配置示例
39.1-1.成像装置的配置示例
40.1-3.成像装置的外观配置示例
41.2.比较例
42.2-1.比较例的处理模式
43.3.实施方式
44.3-1.第一处理模式
45.3-1-1.开始nr处理的时刻的确定
46.3-2.第二处理模式
47.3-3.dsp处理的时间的控制
48.3-4.用于控制成像处理的方法
49.3-5.第三处理模式
50.3-6.第四处理模式
51.3-7.第五处理模式
52.4.效果
53.《1.概述》
54.[1-1.数字照相机的配置示例]
[0055]
图1是示出应用本技术的数码相机的实施方式的配置示例的框图。
[0056]
注意，数码相机可以捕获静态图像和运动图像两者。
[0057]
在图1中，数码相机包括光学系统1、成像装置2、存储器3、信号处理部4、输出部5以
及控制部6。
[0058]
光学系统1包括例如未示出的变焦透镜、聚焦透镜、光圈等，并且使来自外部的光入射到成像装置2上。
[0059]
成像装置2是例如通过使用一个芯片形成的互补金属氧化物半导体(cmos)图像传感器；并且从光学系统1接收入射光，执行光电转换，并且输出对应于来自光学系统1的入射光的图像数据。
[0060]
此外，成像装置2使用图像数据等来执行例如识别预定识别对象的识别处理和其他信号处理，并且输出信号处理的信号处理结果。
[0061]
存储器3临时存储由成像装置2输出的图像数据等。
[0062]
信号处理部4根据需要使用存储在存储器3中的图像数据执行诸如去噪和白平衡调整等处理作为相机信号处理，并且将结果提供至输出部5。
[0063]
输出部5输出来自信号处理部4的图像数据或者存储在存储器3中的信号处理结果。
[0064]
即，输出部5包括例如包括液晶等的显示器(未示出)，并且显示与来自信号处理部4的图像数据对应的图像作为所谓的直通图像(through image)。
[0065]
此外，输出部5包括例如驱动器(未示出)，该驱动器驱动诸如半导体存储器、磁盘或光盘的记录介质，并且将来自信号处理部4的图像数据或存储在存储器3中的信号处理结果记录在记录介质上。
[0066]
此外，输出部5用作例如与外部装置执行数据传输的接口(i/f)，并且将来自信号处理部4的图像数据、记录在记录介质上的图像数据等传输至外部装置。
[0067]
控制部6根据用户的操作等控制包括在数码相机中的每个块。
[0068]
在以上述方式配置的数码相机中，成像装置2捕获图像。即，成像装置2从光学系统1接收入射光，执行光电转换，获取与入射光对应的图像数据，并且输出图像数据。
[0069]
由成像装置2输出的图像数据被提供给存储器3并存储在存储器3中。通过信号处理部4对存储在存储器3中的图像数据进行相机信号处理，并且将所产生的图像数据提供给输出部5并输出。
[0070]
此外，成像装置2通过使用通过成像获得的图像(数据)等执行信号处理，并且输出信号处理的信号处理结果。由成像装置2输出的信号处理结果例如存储在存储器3中。
[0071]
在成像装置2中，选择性地执行通过成像获得的图像本身的输出和使用图像的信号处理的信号处理结果等的输出。
[0072]
[1-2.成像装置的配置示例]
[0073]
图2是示出图1的成像装置2的配置示例的框图。
[0074]
在图2中，成像装置2包括成像块20和信号处理块30。成像块20和信号处理块30通过连接线(内部总线)cl1、cl2和cl3电连接。
[0075]
成像块20包括成像部21、成像处理部22、输出控制部23、输出接口(i/f)24以及成像控制部25，并且捕获图像。
[0076]
成像部21包括二维布置的多个像素。成像部21由成像处理部22驱动，并且捕获图像。
[0077]
即，来自光学系统1(图1)的光入射在成像部21上。在每个像素中，成像部21接收来
自光学系统1的入射光，执行光电转换，并且输出与入射光相对应的模拟图像信号。
[0078]
要注意的是，例如，可从多个尺寸(例如，12m(3968
×
2976)像素和视频图形阵列(vga)尺寸(640
×
480像素))中选择由成像部21输出的图像(信号)的尺寸。
[0079]
此外，例如，可以从rgb(红色、绿色以及蓝色)的彩色图像和仅亮度的单色图像中选择由成像部21输出的图像的类型。
[0080]
这些选择中的每可以作为成像模式的一种设置来执行。
[0081]
成像处理部22根据成像控制部25的控制，执行与成像部21中的图像捕获相关的成像处理，诸如成像部21的驱动、由成像部21输出的模拟图像信号的模数(ad)转换、或者成像信号处理。
[0082]
此处，成像信号处理的示例包括以下处理：其中，对于由成像部21输出的图像，通过诸如计算每个小区域的像素值的平均值的方法获得每个预定小区域的亮度；将由成像部21输出的图像转换成高动态范围(hdr)图像的处理；缺陷校正；显影等。
[0083]
成像处理部22输出通过由成像部21输出的模拟图像信号的ad转换等获得的数字图像信号(此处，例如，12m像素或vga尺寸的图像)作为捕获图像。
[0084]
由成像处理部22输出的捕获图像被提供给输出控制部23，并且还经由连接线cl2被提供给信号处理块30的图像压缩部35。
[0085]
从成像处理部22向输出控制部23提供捕获图像，并且经由连接线cl3从信号处理块30提供使用捕获图像的信号处理等的信号处理结果。
[0086]
输出控制部23执行使来自成像处理部22的捕获图像和来自信号处理块30的信号处理结果选择性地从(一个)输出i/f 24输出至外部(例如，图1的存储器3等)的输出控制。
[0087]
即，输出控制部23从成像处理部22中选择捕获图像或者从信号处理块30中选择信号处理结果，并且将所选择的那个提供给输出i/f 24。
[0088]
输出i/f 24是向外部输出从输出控制部23提供的捕获图像和信号处理结果的i/f。例如，可以使用诸如移动行业处理器接口(mipi)等相对高速的并行i/f作为输出i/f 24。
[0089]
在输出i/f 24上，根据输出控制部23的输出控制，将来自成像处理部22的捕获图像或来自信号处理块30的信号处理结果输出至外部。因此，例如，在外部仅需要来自信号处理块30的信号处理结果并且不需要捕获图像本身的情况下，可以仅输出信号处理结果，并且可以减少从输出i/f 24输出至外部的数据量。
[0090]
此外，通过在信号处理块30中执行提供外部所需的信号处理结果的信号处理并且从输出i/f 24输出信号处理结果的处理，消除了在外部执行信号处理的必要性，并且可以减少外部块的负荷。
[0091]
成像控制部25包括通信i/f 26和寄存器组27。
[0092]
例如，通信i/f 26是诸如内部集成电路(12c)的串行通信i/f的第一通信i/f，并且与外部(例如，图1的控制部6等)交换诸如从寄存器组27读取或写入寄存器组27的信息的必要信息。
[0093]
寄存器组27包括多个寄存器，并且存储与成像部21中的图像捕获有关的成像信息和各种其他信息。
[0094]
例如，寄存器组27存储从通信i/f 26的外部接收到的成像信息以及成像处理部22中的成像信号处理的结果(例如，捕获图像的各小区域的亮度等)。
[0095]
存储在寄存器组27中的成像信息的示例包括iso感光度(在成像处理部22中的ad转换时的模拟增益)、曝光时间(快门速度)、帧速率、焦点、成像模式、剪切范围等。(或指示它们的信息)。
[0096]
成像模式的示例包括手动设置曝光时间、帧速率等的手动模式以及根据场景自动设置曝光时间和帧速率的自动模式。自动模式的示例包括与各种成像场景(例如，夜晚场景和人的面部)对应的模式。
[0097]
此外，剪切范围是指在成像处理部22剪切由成像部21输出的图像的一部分并且输出该部分作为捕获图像的情况下，从由成像部21输出的图像中剪切的范围。通过指定剪切范围，例如，可以从由成像部21输出的图像中仅剪切存在人的范围等。要注意的是，作为图像剪切，具有从由成像部21输出的图像中进行剪切的方法，并且此外，具有从成像部21中仅读出剪切范围的图像(信号)的方法。
[0098]
成像控制部25根据寄存器组27中存储的成像信息来控制成像处理部22，由此控制成像部21中的图像捕获。
[0099]
注意，寄存器组27可以存储成像信息以及成像处理部22中的成像信号处理的结果，并且还可以存储与输出控制部23中的输出控制有关的输出控制信息。输出控制部23可以根据寄存器组27中存储的输出控制信息，进行使捕获图像和信号处理结果选择性地输出的输出控制。
[0100]
此外，在成像装置2中，成像控制部25和信号处理块30的中央处理单元(cpu)31通过连接线cl1连接，并且cpu 31可以经由连接线cl1进行寄存器组27上的信息的读取和写入。
[0101]
即，在成像装置2中，不仅能够从通信i/f 26进行寄存器组27的信息的读出、写入，还能够从cpu 31进行寄存器组27的信息的读出、写入。
[0102]
信号处理块30包括cpu 31、数字信号处理器(dsp)32、存储器33、通信i/f 34、图像压缩部35以及输入i/f 36，并且通过使用在成像块10中获得的捕获图像等进行预定的信号处理。
[0103]
包括在信号处理块30中的cpu 31至输入i/f 36经由总线彼此连接，并且可根据需要交换信息。
[0104]
cpu 31执行存储在存储器33中的程序，以执行信号处理块30的控制、经由连接线cl1对与成像控制部25的寄存器组27有关的信息的读取和写入、以及各种其他处理。cpu 31也被称为控制部。
[0105]
例如，cpu 31通过执行程序，起到成像信息计算部的作用，该成像信息计算部通过使用由dsp 32中的信号处理所获得的信号处理结果来计算成像信息；并且将通过使用信号处理结果计算的新的成像信息经由连接线cl1反馈给成像控制部25的寄存器组27，并且使寄存器组27存储新的成像信息。
[0106]
因此，作为结果，cpu 31可以根据捕获图像的信号处理结果对成像部21中的成像和成像处理部22的成像信号处理进行控制。
[0107]
此外，可以从通信i/f 26向外部提供(输出)cpu 31使寄存器组27存储的成像信息。例如，可以将存储在寄存器组27中的成像信息中的聚焦信息从通信i/f 26提供给控制聚焦的聚焦驱动器(未示出)。
[0108]
通过执行存储在存储器33中的程序，dsp 32用作信号处理部，该信号处理部使用经由连接线cl2从成像处理部22提供给信号处理块30的捕获图像或者通过输入i/f 36从外部接收的信息进行信号处理。
[0109]
通过读出并执行预先经受教师数据的学习并作为学习模型存储在存储器33中的程序，dsp 32使用深度神经网络(dnn)执行识别处理。即，dsp 32被配置为机器学习部。
[0110]
存储器33包括静态随机存取存储器(sram)、动态ram(dram)等，并且存储信号处理块30的处理所需的数据等。
[0111]
例如，存储器33存储在通信i/f 34从外部接收的程序、在图像压缩部35中压缩用于dsp 32中的信号处理的捕获图像、在dsp 32中执行的信号处理的信号处理结果、通过输入i/f 36接收的信息等。
[0112]
例如，通信i/f 34是诸如串行外围接口(spi)的串行通信i/f的第二通信i/f，并且与外部(例如，图1的存储器3或控制部6等)交换诸如由cpu 31或dsp 32执行的程序的必要信息。
[0113]
例如，通信i/f 34从外部下载由cpu 31或dsp 32执行的程序，将该程序供应至存储器33，并且使存储器33存储该程序。
[0114]
因此，可以通过由通信i/f 34下载的程序在cpu 31或dsp 32中执行各种处理。
[0115]
注意，通信i/f 34可以与外部交换除了程序之外的任意数据。例如，通信i/f 34可将通过dsp 32中的信号处理所获得的信号处理结果输出至外部。此外，通信i/f 34可以根据cpu 31的指示向外部装置输出信息，以根据cpu 31的指示控制外部装置。
[0116]
这里，通过dsp 32中的信号处理所获得的信号处理结果可以从通信i/f 34输出至外部，并且此外，可以通过cpu 31将其写入成像控制部25的寄存器组27中。写入寄存器组27的信号处理结果可以从通信i/f 26输出到外部。这同样适用于在cpu 31中进行的处理的处理结果。
[0117]
成像处理部22经由连接线cl2将捕获图像提供给图像压缩部35。图像压缩部35进行压缩捕获图像的压缩处理，生成数据量比捕获图像小的压缩图像。
[0118]
在图像压缩部35中生成的压缩图像经由总线提供给存储器33并被存储。
[0119]
这里，dsp 32中的信号处理可以通过使用捕获图像本身来执行，或者可以通过使用从图像压缩部35中的捕获图像生成的压缩图像来执行。由于压缩图像的数据量小于捕获图像的数据量，因此dsp 32中的信号处理的负荷可减小，并且存储压缩图像的存储器33的存储容量可节省。
[0120]
作为图像压缩部35中的压缩处理，例如，可执行将12m(3968
×
2976)像素的捕获图像转换成vga尺寸的图像的按比例缩小。此外，在对亮度执行dsp 32中的信号处理并且捕获图像是rgb图像的情况下，可以执行将rgb图像转换为例如yuv图像的yuv转换作为压缩处理。
[0121]
注意，图像压缩部35可以使用软件获得，也可以使用专用的硬件获得。
[0122]
输入i/f 36是从外部接收信息的i/f。例如，输入i/f 36从外部传感器接收外部传感器的输出(外部传感器输出)，经由总线将输出供应至存储器33，并且使存储器33存储输出。
[0123]
例如，可类似于输出i/f 24使用诸如移动行业处理器接口(mipi)等的并行i/f作
为输入i/f 36。
[0124]
此外，作为外部传感器，例如，可以使用感测关于距离的信息的距离传感器；此外，作为外部传感器，例如，可以使用感测光并且输出对应于该光的图像的图像传感器，即，不同于成像装置2的图像传感器。
[0125]
dsp 32可以通过使用捕获图像(或从其生成的压缩图像)或通过使用外部传感器输出来执行信号处理，该外部传感器输出由输入i/f 36从如上所述的外部传感器接收并存储在存储器33中。
[0126]
在以上述方式配置的单芯片成像装置2中，在dsp 32中进行使用通过在成像部21中成像而获得的捕获图像(或从其生成的压缩图像)的信号处理，并且从输出i/f 24中选择性地输出信号处理的信号处理结果和捕获图像。因此，能够以小尺寸配置输出用户所需的信息的成像装置。
[0127]
在此处，在成像装置2内不进行dsp 32的信号处理，因此，不输出信号处理结果，而是从成像装置2输出捕获的图像的情况下，即，在成像装置2被配置为仅仅捕获和输出图像的图像传感器的情况下，成像装置2可仅仅包括不包括输出控制部23的成像块20。
[0128]
[1-3.成像装置的外观配置示例]
[0129]
图3是示出图1的成像装置2的外观配置示例的概述的透视图。
[0130]
例如，如图3所示，成像装置2可被配置为具有堆叠多个晶片的堆叠结构的单芯片半导体装置。
[0131]
在图3中，通过堆叠晶片51和52中的两个晶片来配置成像装置2。
[0132]
在图3中，成像部21安装在上晶片51上，并且成像处理部22到成像控制部25、以及cpu 31到输入i/f 36安装在下晶片52上。
[0133]
上晶片51和下晶片52例如通过形成贯通晶片51并到达晶片52的贯通孔，或者进行将暴露于晶片51的下表面侧的cu布线与暴露于晶片52的上表面侧的cu布线直接连接的cu-cu接合等而电连接。
[0134]
此处，在成像处理部22中，例如，列并行ad系统或者区域ad系统可用作用于执行由成像部21输出的图像信号的ad转换的系统。
[0135]
在列并行ad系统中，例如，为包括在成像部21中的像素列设置模数转换器(adc)，并且每列的adc负责该列的像素的像素信号的ad转换；因此，并行地执行一行列的像素的图像信号的ad转换。在采用列并行ad系统的情况下，执行列并行ad系统的ad转换的成像处理部22的一部分可安装在上晶片51上。
[0136]
在区域ad系统中，包括在成像部21中的像素被分成多个块，并且为每个块设置adc。然后，每个块的adc负责该块的像素的像素信号的ad转换，并且因此并行地执行多个块的像素的图像信号的ad转换。在区域ad系统中，图像信号的ad转换(读出和ad转换)可仅对包括在成像部21中的像素中的必要像素执行，以块作为最小单位。
[0137]
要注意的是，如果成像装置2的面积被允许更大，那么可通过使用一个晶片配置成像装置2。
[0138]
此外，虽然在图3中堆叠两个晶片51和52以配置单芯片成像装置2，但是单芯片成像装置2可以通过堆叠三个或更多个芯片而配置。例如，在堆叠三个晶片以配置单芯片成像装置2的情况下，图3的存储器33可以安装在另一个晶片上。
[0139]
这里，传感器芯片、存储器芯片和dsp芯片通过多个凸块并联连接的成像装置(在下文中，也被称为凸块连接的成像装置)涉及与以堆叠结构配置的单芯片成像装置2相比厚度的大幅增加和尺寸的增加。
[0140]
而且，由于凸块的连接部分中的信号劣化等，凸块连接的成像装置难以确保从成像处理部22向输出控制部23输出捕获图像的足够速率。
[0141]
通过使用层叠结构的成像装置2，可以防止上述装置的大型化，并且，不能确保成像处理部22与输出控制部23之间的足够的速度。
[0142]
因此，通过使用层叠结构的成像装置2，可以以小尺寸配置输出用户所需的信息的成像装置。
[0143]
在用户需要的信息是捕获图像的情况下，成像装置2可以输出捕获图像。
[0144]
此外，在使用捕获图像通过信号处理获得用户所需要的信息的情况下，通过在dsp 32中执行信号处理，成像装置2可获得并输出信号处理结果作为用户所需要的信息。
[0145]
作为在成像装置2中执行的信号处理，即，dsp 32的信号处理，例如，可采用从捕获的图像识别预定识别目标的识别处理。
[0146]
《2.比较例》
[0147]
[2-1.比较例的处理模式]
[0148]
接下来，描述根据比较例的处理模式。图4是用于描述根据比较例的处理模式的图。
[0149]
如图4所示，cpu 31在从成像部21执行图像读出的处理的同时将使能信号保持为低(low)，并且如果图像读出处理结束，则将使能信号变为高(high)。当检测到使能信号变为高时，dsp 32开始dsp处理。之后，如果dsp处理完成，则cpu 31将使能信号变为低。由此，在成像部21中进行下一轮的图像读出处理。
[0150]
如图4所示，在比较例中，由于在图像读出之后执行dsp处理，所以在图像读出花费长时间的情况下或者在dsp处理花费长时间的情况下，dsp处理可能不会在一帧内完成。
[0151]
《3.实施方式》
[0152]
[3-1.第一处理模式]
[0153]
现将使用图5描述根据实施方式的第一处理模式。图5是用于描述根据实施方式的第一处理模式的图。
[0154]
如图5所示，在第一实施方式中，并行地执行图像读出处理和dsp处理，以确保dsp 32的处理时间。具体地，在图像读出处理结束之前的预定时段和dsp处理开始之后的预定时段中并行地执行图像读出处理和dsp处理。在这种情况下，在执行图像读出处理的同时，cpu 31将使能信号改变为高，以使dsp 32执行dsp处理。在这种情况下，在帧时段t1中，图像读出处理和dsp处理在期间t1中重叠。在帧时段t2中，图像读出处理和dsp处理在期间t1中重叠。在这种情况下，在读出图像中，在图像读出处理和dsp处理重叠的区域中产生噪声。cpu 31向成像控制部25输出控制信号，使成像处理部22执行用于去除在图像中生成的噪声的降噪处理(nr处理)。
[0155]
图6是用于描述由成像处理部22进行的nr处理的图。图6示出通过读出处理读出的读出图像100。在读出图像100中，从顶部到底部的方向是读出方向。
[0156]
在读出图像100的下部，噪声101包括在与读出处理和dsp处理重叠的区域相对应
的区域r1中。cpu 31向成像控制部25输出用于使成像处理部22执行用于抑制噪声101的噪声降低处理的控制信号。成像控制部25根据来自cpu 31的控制信号，使成像处理部22执行用于抑制噪声101的nr处理。具体而言，成像处理部22对像素执行nr处理以抑制噪声101。曲线图g1表示对读出的图像100执行的nr处理的强度。cpu 31可以根据噪声101的条件改变nr处理的强度。
[0157]
通过这样进行处理，cpu 31能够去除在所读出的图像中生成的噪声。由此，在第一实施方式中，可以在确保dsp处理的时间的同时去除在读出图像100中生成的噪声101。
[0158]
[3-1-1.开始nr处理的时刻的确定]
[0159]
在本公开中，为了适当地去除在读出图像中生成的噪声，优选的是确定图像读出处理和dsp处理应当重叠的时刻。具体地，nr处理优选地在图像读出处理和dsp处理重叠的时刻是产生噪声的时刻的时刻开始。因此，现在将描述在本公开中计算开始nr处理的时刻的处理。
[0160]
图7是用于描述用于确定开始nr处理的时刻的方法的图。在本发明中，由cpu 31确定nr处理的开始时刻。
[0161]
为了确定开始nr处理的时刻，cpu 31获取图像读出的时间、dsp处理的时间以及一个循环的时间(帧时段t1的时间)。图像读出的时间和一个循环的时间由成像装置2的预设操作模式唯一地确定。dsp处理的时间由dnn的配置唯一地确定。换言之，cpu 31根据在成像装置2中设定的操作模式来计算图像读出的时间和一个周期的时间。此外，cpu 31从dsp 32的dsp执行的结果中获取dsp处理的时间。
[0162]
cpu 31计算“图像读出的时间+dsp处理的时间-一个循环的时间”以计算图像读出处理和dsp处理重叠(并行地执行)的时间。然后，cpu 31计算“图像读出的时间-图像读出处理和dsp处理重叠的时间”，以计算开始nr处理的时刻。即，cpu 31可以通过计算来计算nr处理的开始时刻。
[0163]
[3-2.第二处理模式]
[0164]
现将使用图8描述根据实施方式的第二处理模式。图8是用于描述根据实施方式的第二处理模式的图。
[0165]
如图8所示，在第二处理模式中，帧时段t1的图像读出处理和dsp处理重叠的时段t2与帧时段t2的图像读出处理和dsp处理重叠的时段t3不同。具体地，时间段t3比时间段t2长。在这种情况下，根据dsp处理的时间，cpu 31针对每个帧时段而动态地切换应该执行nr处理的区域。
[0166]
现在将使用图9a和图9b描述用于动态地切换应执行nr处理的区域的方法。图9a和图9b是用于描述动态地切换应执行nr处理的区域的方法的图。
[0167]
图9a示出在图8的帧时段t1内读出的读出图像100a。如图9a所示，在读出图像100a的下部，噪声101a包括在与读出处理和dsp处理重叠的区域相对应的区域r2中。cpu 31向成像控制部25输出用于使成像处理部22执行用于抑制噪声101a的nr处理的控制信号。曲线图g2表示对读出图像100a执行的nr处理的强度。
[0168]
图9b示出在图8的帧时段t2内读出的读出图像100b。如图9b所示，在读出图像100b的下部，噪声101b包括在与读出处理和dsp处理重叠的区域相对应的区域r3中。cpu 31向成像处理部22输出用于使成像处理部22执行用于抑制噪声101b的nr处理的控制信号。曲线图
g3示出对读出图像100b执行的nr处理的强度。
[0169]
如图9a和图9b所示，在帧时段t1和帧时段t2，cpu 31针对应执行nr处理的区域进行变更。图9a的噪声101a的区域r2的尺寸和图9b的区域r3的尺寸不同。cpu 31按每个帧时段计算执行nr处理的时刻。cpu 31通过按每个帧时段计算执行nr处理的时刻，可以根据dsp处理的时间动态地变更应执行nr处理的区域。另外，在所读出的帧时段的图像中包括的噪声的强度不同的情况下，cpu 31也可以对每个帧时段改变nr处理的强度。
[0170]
[3-3.dsp处理的时间的控制]
[0171]
现在将使用图10a和图10b描述根据实施方式的用于控制dsp处理的时间的方法。图10a和图10b是用于描述根据实施方式的用于控制dsp处理的时间的方法的图。
[0172]
如图10a所示，在dsp处理的负荷很大的情况下，图像读出处理和dsp处理偶尔并行地执行时段t4。这里，在dsp处理的负荷较重的情况下，假设dsp处理的时间延长。
[0173]
图10b示出图10a中所示的dsp处理的时间被延长的示例。在图10b所示的示例中，图像读出处理和dsp处理并行地执行时间t5。在这种情况下，cpu 31使设置使能信号为高的时刻提前，以使开始dsp处理的时刻提前。这里，cpu 31将使能信号设置为低的时刻与图10a的情况下的时刻相似。即，cpu 31控制dsp 32以在结束dsp处理的时刻固定的状态下提前开始dsp处理的时刻。由此，cpu 31可以控制dsp 32，使得并行地执行图像读出处理和dsp处理的时间段最小化。
[0174]
[3-4.用于控制成像处理的方法]
[0175]
现在将利用图11描述基于dnn处理的结果控制成像处理(例如，nr处理)的处理过程的处理。图11是示出基于dnn处理的结果控制成像处理的处理的示例的流程图。
[0176]
cpu 31向成像控制部25输出控制信号，使成像部21对包括成像目标的周围环境进行成像(步骤s10)。具体而言，成像控制部25根据cpu 31的控制信号，驱动成像部21，使成像部21对周围环境进行成像。
[0177]
cpu 31向成像控制部25输出控制信号，使成像处理部22对由成像部21捕获到的图像执行各种成像处理(步骤s11)。cpu 31向成像控制部25输出控制信号以使成像处理部22执行图像压缩处理，以便对成像处理后的图像执行dnn处理(步骤s12)。
[0178]
cpu 31向dsp 32输出控制信号，使dsp 32对经图像压缩处理后的图像执行dnn处理(步骤s13)。cpu 31基于dnn处理的结果控制成像处理(步骤s14)。稍后描述用于基于dnn处理的结果来控制成像处理的方法。
[0179]
cpu 31确定是否结束成像处理(步骤s15)。在确定结束成像处理(步骤s15：是)的情况下，结束图11的处理。另一方面，在确定继续成像处理的情况下(步骤s15：否)，处理进行至步骤s10。
[0180]
现在将使用图12来描述用于基于dnn处理的时间来控制nr处理的方法。图12是示出用于基于dnn处理的时间来控制nr处理的方法的处理的过程的示例的流程图。
[0181]
cpu 31选择要对读出的图像执行的dnn(步骤s20)。具体地，cpu 31根据dnn处理的时间来选择要对读出的图像执行的dnn。
[0182]
cpu 31向成像控制部25输出控制信号，使成像部21对包括成像目标的周围环境进行成像(步骤s21)。具体而言，成像控制部25根据cpu 31的控制信号，驱动成像部21，使成像部21对周围环境进行成像。
[0183]
cpu 31向成像控制部25输出控制信号，使成像处理部22对由成像部21捕获到的图像执行nr处理(步骤s22)。具体而言，cpu 31根据dsp处理的时间，控制应执行nr处理的区域。
[0184]
图13是用于描述动态地控制nr处理的方法的图。如图13所示，读出图像包括噪声101；噪声101的区域的大小根据并行地执行图像读出处理和dsp处理时的时段而改变。随着并行地执行图像读出处理和dsp处理的时间段变长，噪声101的区域的尺寸增大，并且随着该时间段变短，噪声101的区域的尺寸减小。换言之，噪声101的区域的尺寸随着dsp处理的时间变长而增大，并且随着该时间变短而减小。cpu 31控制dsp 32以根据dsp处理的时间动态地控制执行nr处理的时刻。具体而言，cpu 31通过控制使能信号为高的时刻，动态地控制执行nr处理的时刻。
[0185]
[3-5.第三处理模式]
[0186]
现将使用图14描述根据实施方式的第三处理模式。图14是用于描述根据实施方式的第三处理模式的图。
[0187]
如图14所示，在帧时段t1中开始的dsp处理与在帧时段t2的时段t6的图像读出处理并行地执行。在帧时段t2开始的dsp处理与在帧时段t3的时段t7的图像读出处理并行地执行。即，在图14中所示的示例中，在开始图像读出处理的时刻，并行地执行dsp处理。
[0188]
在图14中所示的示例中，在帧时段t1内图像读出处理结束之后，cpu 31将使能信号设置为高以使dsp 32执行dsp处理。然后，在帧时段t2中，cpu 31使图像读出处理和dsp处理并行地执行期间t6，然后将使能信号设置为低以结束dsp处理。类似地，在帧时段t2中图像读出处理结束之后，cpu 31将使能信号设置为高，以使dsp 32执行dsp处理。然后，在帧时段t3中，cpu 31使图像读出处理和dsp处理在时段t7中并行地执行，然后将使能信号设置为低以结束dsp处理。
[0189]
在图14中所示的示例中，并行地执行图像的上部的读出处理和dsp处理。在这种情况下，在识别处理中重要性低的对象(例如，天空)被转移到图像的上部的情况下，cpu 31以图14所示的示例的方式控制dsp处理的开始时间、执行时间等。即，cpu 31根据图像数据所包括的对象，控制对图像数据的dnn处理和图像数据的读出处理并行地执行的时段。此外，在图14中，时间t7比时间t6长。在这种情况下，根据dsp处理的时间，cpu 31动态地切换应该执行nr处理的区域。
[0190]
现在将使用图15a和图15b描述用于动态地切换应当执行nr处理的区域的方法。图15a和图15b是用于描述用于动态地切换应当执行nr处理的区域的方法的图。
[0191]
图15a示出在图14的帧时段t2中读出的读出图像100c。如图15a所示，在读出图像100c的上部，噪声101c包括在与读出处理和dsp处理重叠的区域相对应的区域r4中。cpu 31向成像控制部25输出用于使成像处理部22执行用于抑制噪声101c的nr处理的控制信号。曲线图g4示出对读出图像100c执行的nr处理的强度。
[0192]
图15b示出在图14的帧时段t3内读出的读出图像100d。如图15b所示，在读出图像100d的上部，噪声101d包括在与读出处理和dsp处理重叠的区域相对应的区域r5中。cpu 31将用于使成像处理部22执行用于抑制噪声101d的nr处理的控制信号输出至成像处理部22。曲线图g5示出对读出的图像100d执行的nr处理的强度。
[0193]
如图15a和图15b所示，即使应该执行nr处理的区域是读出图像100c和读出图像
100d的上部，cpu 31也在帧时段t2和帧时段t3内改变应该执行nr处理的区域。cpu 31针对每个帧计算执行nr处理的时刻。通过对每个帧计算执行nr处理的时刻，cpu 31可以根据dsp处理的时间动态地改变应当执行nr处理的区域。
[0194]
[3-6.第四处理模式]
[0195]
现将使用图16描述根据实施方式的第四处理模式。图16是用于描述根据实施方式的第四处理模式的图。
[0196]
如图16中所示，与在帧时段t2中的时段t8的图像读出处理并行地执行在帧时段t1内开始的dsp处理。这里，在从开始到结束的整个时间段内，与dsp处理并行地执行帧时段t2中的图像读出处理。与帧时段t3中的时段t9的图像读出处理并行地执行在帧时段t2中开始的dsp处理。在帧时段t3中，在开始图像读出处理的时刻，并行地执行dsp处理。
[0197]
如图16所示，根据dsp处理的类型，还假设在进行图像读出处理的整个时间段内执行dsp处理。在图16中，在帧时段t1内图像读出处理结束之后，cpu 31将使能信号设置为高，并且在帧时段t2的图像读出处理结束的时刻，将使能信号设置为低。该情况下，cpu 31对在帧时段t2图像读出整体进行nr处理。另外，在帧时段t3读出的图像的上部，cpu 31动态地切换应该执行nr处理的区域。
[0198]
现在将使用图17a和图17b描述用于动态地切换应当执行nr处理的区域的方法。图17a和图17b是用于描述用于动态地切换应当执行nr处理的区域的方法的图。
[0199]
图17a示出在图16的帧时段t2中读出的读出图像100e。如图17a所示，在读出图像100e中，在整个区域r6上生成噪声101e。cpu 31向成像控制部25输出用于使成像处理部22执行用于抑制噪声101e的nr处理的控制信号。曲线图g6示出对读出图像100e执行的nr处理的强度。
[0200]
图17b示出在图16的帧时段t3中读出的读出图像100f。如图17b所示，在读出图像100f的上部，噪声101f包括在与读出处理和dsp处理重叠的区域相对应的区域r7中。cpu 31将用于使成像处理部22执行用于抑制噪声101f的nr处理的控制信号输出至成像处理部22。曲线图g7示出在读出图像100f上执行的nr处理的强度。
[0201]
如图17a和图17b所示，即使在帧时段t2内对整个区域执行nr处理的情况下，cpu 31也在帧时段t2和帧时段t3内改变应执行nr处理的区域。cpu 31对每个帧计算执行nr处理的时刻。通过对每个帧计算执行nr处理的时刻，cpu 31可以根据dsp处理的时间动态地改变应当执行nr处理的区域。
[0202]
[3-7.第五处理模式]
[0203]
现将使用图18描述根据实施方式的第五处理模式。图18是用于描述根据实施方式的第五处理模式的图。
[0204]
如图18所示，在帧时段t2中dsp处理的负荷较大的情况下，假设dsp处理的时间延长。在这种情况下，假定帧时段t2的图像读出处理可以首先与帧时段t1的dsp处理并行地执行，并且最后与帧时段t2的dsp处理并行地执行。在这种情况下，cpu 31可以缩短帧时段t2的图像读出处理的时间，使得不与帧时段t2的dsp处理并行地执行帧时段t2的图像读出处理。同样地，也可以缩短控制帧时段t3的图像读出处理的时间。具体而言，cpu 31只要对成像控制部25输出控制信号以缩短图像读出的时间即可。然后，cpu 31可以基于图像读出的时间的减少量来切换应该执行nr处理的区域。即，在第七实施方式中，cpu 31动态地切换图
像读出处理的时间和dsp处理的时间。
[0205]
现在将使用图19a和图19b描述用于动态地切换其中应执行nr处理的区域的方法。图19a和图19b是用于描述动态地切换其中应执行nr处理的区域的方法的图。
[0206]
图19a示出在图18的帧时段t2中读出的读出图像100g。如图19a所示，在读出图像100g的上部中，噪声101g包括在与读出处理和dsp处理重叠的区域相对应的区域r8中。cpu 31向成像控制部25输出用于使成像处理部22执行用于抑制噪声101g的nr处理的控制信号。曲线图g8示出在读出图像100g上执行的nr处理的强度。
[0207]
图19b示出在图18的帧时段t3中读出的读出图像100h。如图19b所示，在读出图像100h的上部，噪声101h包括在与读出处理和dsp处理重叠的区域相对应的区域r9中。cpu 31向成像处理部22输出用于使成像处理部22执行用于抑制噪声101h的nr处理的控制信号。
[0208]
如图19a和图19b所示，即使在减少图像读出的时间的同时执行nr处理的情况下，cpu 31也在帧时段t2和帧时段t3内改变应执行nr处理的区域。cpu 31对每个帧计算执行nr处理的时刻。通过对每个帧计算执行nr处理的时刻，cpu 31可以根据dsp处理的时间动态地改变应当执行nr处理的区域。
[0209]
《4.效果》
[0210]
根据本公开的固态成像装置2包括：获取图像数据的成像部21；以及控制部(cpu 31)，并行地执行图像数据的dnn处理和图像数据的读出处理并行地执行，并且对在并行地执行图像数据的dnn处理和图像数据的读出处理时读出的图像数据执行降噪处理。
[0211]
由此，固态成像装置2可抑制由于并行地执行dnn处理和图像数据的读出处理而产生的噪声，因此可在一个帧时段中适当地执行处理。
[0212]
cpu 31对图像数据的dnn处理和图像数据的读出处理进行控制，使得图像数据的读出处理结束前的预定时段和图像数据的dnn处理开始后的预定时段重叠。由此，固态成像装置2可在确保dnn处理的时间的同时抑制噪声，并因此可在一个帧时段中适当地执行处理。
[0213]
cpu 31针对每个帧时段控制对图像数据的dnn处理和图像数据的读出处理并行地执行的时间。由此，固态成像装置2可针对每个帧时段控制图像数据中包括的应当抑制噪声的区域，并因此可在一个帧时段中适当地执行处理。
[0214]
cpu 31在图像数据的dnn处理的结束时刻固定的状态下，执行对图像数据的dnn处理的开始时刻提前的控制。由此，固态成像装置2可使对图像数据的dnn处理和图像数据的读出处理并行地执行时的时段最小化，并因此可在一个帧时段中适当地执行处理。
[0215]
cpu 31根据图像数据内包含的对象，控制对图像数据的dnn处理和图像数据的读出处理并行地执行的时段。由此，固态成像装置2可根据对象来控制对图像数据的dnn处理和图像数据的读出处理应并行地执行的时段，并因此可在一个帧时段中适当地执行处理。
[0216]
cpu 31对图像数据的dnn处理和图像数据的读出处理进行控制，使得图像数据的读出处理开始后的预定时段和图像数据的dnn处理结束前的预定时段重叠。由此，固态成像装置2可控制对图像数据的dnn处理和图像数据的读出处理应并行地执行的时段，并因此可在一个帧时段中适当地执行处理。
[0217]
cpu 31对图像数据的dnn处理和图像数据的读出处理进行控制，使得从图像数据的读出处理开始到结束的整个期间和对图像数据的dnn处理结束之前的预定时段重叠。由
此，固态成像装置2可控制对图像数据的dnn处理和图像数据的读出处理应并行地执行的时段，并因此可在一个帧时段中适当地执行处理。
[0218]
cpu 31对图像数据的dnn处理时间和图像数据的读出处理时间进行动态控制。由此，固态成像装置2可动态地控制对图像数据的dnn处理的时间和图像数据的读出处理的时间，并因此可在一个帧时段中适当地执行处理。
[0219]
此外，本说明书中描述的效果仅仅是说明性或者示例性效果，而不是限制性的。即，根据本公开的技术可以实现上述效果，连同或代替上述效果，实现本领域技术人员从本说明书的描述中清楚的其他效果。
[0220]
此外，本技术还可配置如下。
[0221]
(1)
[0222]
一种固态成像装置，包括：
[0223]
成像部，获取图像数据；以及
[0224]
控制部，使对图像数据的dnn处理和图像数据的读出处理并行地执行，并且对在对图像数据的dnn处理和图像数据的读出处理并行地执行时读出的图像数据执行降噪处理。
[0225]
(2)
[0226]
根据(1)的固态成像装置，其中
[0227]
控制部控制对图像数据的dnn处理和图像数据的读出处理，使得图像数据的读出处理结束之前的预定时段与对图像数据的dnn处理开始之后的预定时段重叠。
[0228]
(3)
[0229]
根据(1)或(2)的固态成像装置，其中
[0230]
控制部针对每个帧时段控制对图像数据的dnn处理和图像数据的读出处理应并行地执行的时间。
[0231]
(4)
[0232]
根据(1)或(3)中任一项的固态成像装置，其中
[0233]
控制部执行控制以在对图像数据的dnn处理的结束时刻固定的状态下，将对图像数据的dnn处理的开始时刻提前。
[0234]
(5)
[0235]
根据(1)或(4)中任一项的固态成像装置，其中
[0236]
控制部根据图像数据中包括的对象来控制并行地执行对图像数据的dnn处理和图像数据的读出处理的时段。
[0237]
(6)
[0238]
根据(5)的固态成像装置，其中
[0239]
控制部控制对图像数据的dnn处理和图像数据的读出处理，使得在图像数据的读出处理开始之后的预定时段与在图像数据的dnn处理结束之前的预定时段重叠。
[0240]
(7)
[0241]
根据(1)的固态成像装置，其中
[0242]
控制部控制对图像数据的dnn处理和图像数据的读出处理，使得图像数据的读出处理的从开始到结束的整个时段与在对图像数据的dnn处理的结束之前的预定时段重叠。
[0243]
(8)
[0244]
根据(1)或(7)中任一项的固态成像装置，其中
[0245]
控制部动态地控制对图像数据的dnn处理的时间和图像数据的读出处理的时间。
[0246]
附图标记列表
[0247]
1 光学系统
[0248]
2 成像装置
[0249]
3 存储器
[0250]
4 信号处理部
[0251]
5 输出部
[0252]
6 控制部
[0253]
20 成像块
[0254]
21 成像部
[0255]
22 成像处理部
[0256]
23 输出控制部
[0257]
24 输出i/f
[0258]
25 成像控制部
[0259]
26 通信i/f
[0260]
27 寄存器组
[0261]
30 信号处理块
[0262]
31 cpu
[0263]
32 dsp
[0264]
33 存储器
[0265]
34 通信i/f
[0266]
35 图像压缩部
[0267]
36 输入i/f
[0268]
51、52 晶片。
技术特征：1.一种固态成像装置，包括：成像部，获取图像数据；以及控制部，使对所述图像数据的dnn处理和所述图像数据的读出处理并行地执行，并且对在对所述图像数据的所述dnn处理和所述图像数据的所述读出处理并行地执行时读出的所述图像数据执行降噪处理。2.根据权利要求1所述的固态成像装置，其中，所述控制部控制对所述图像数据的所述dnn处理和所述图像数据的所述读出处理，使得所述图像数据的所述读出处理结束之前的预定时段与对所述图像数据的所述dnn处理开始之后的预定时段重叠。3.根据权利要求1所述的固态成像装置，其中，所述控制部针对每个帧时段控制对所述图像数据的所述dnn处理和所述图像数据的所述读出处理并行地执行的时间。4.根据权利要求1所述的固态成像装置，其中，所述控制部执行控制以在对所述图像数据的所述dnn处理的结束时刻固定的状态下，将对所述图像数据的所述dnn处理的开始时刻提前。5.根据权利要求1所述的固态成像装置，其中，所述控制部根据所述图像数据中包括的对象来控制并行地执行对所述图像数据的所述dnn处理和所述图像数据的所述读出处理的时段。6.根据权利要求5所述的固态成像装置，其中，所述控制部控制对所述图像数据的所述dnn处理和所述图像数据的所述读出处理，使得在所述图像数据的所述读出处理开始之后的预定时段与在所述图像数据的所述dnn处理结束之前的预定时段重叠。7.根据权利要求1所述的固态成像装置，其中，所述控制部控制对所述图像数据的所述dnn处理和所述图像数据的所述读出处理，使得所述图像数据的所述读出处理的从开始到结束的整个时段与在对所述图像数据的所述dnn处理结束之前的预定时段重叠。8.根据权利要求1所述的固态成像装置，其中，所述控制部动态地控制对所述图像数据的所述dnn处理的时间和所述图像数据的所述读出处理的时间。
技术总结一种固态成像装置，设置有：成像部，获取图像数据；以及控制部，并行地执行对图像数据的DNN处理和图像数据的读出处理，并且该控制部在并行地执行对图像数据的DNN处理和图像数据的读出处理的同时，对读出的图像数据执行降噪处理。处理。处理。
技术研发人员：奥池和幸
受保护的技术使用者：索尼半导体解决方案公司
技术研发日：2021.03.12
技术公布日：2022/11/1
