固态成像装置、电子设备和成像系统的制作方法

固态成像装置、电子设备和成像系统
1.相关申请的交叉引用
2.本技术是于2020年1月30日提交的美国临时专利申请号62/967,869的相关申请，要求该临时申请的优先权，其全部内容通过引用结合在此。
技术领域
3.本公开涉及固态成像装置、电子设备和成像系统。


背景技术：

4.近年来，已经要求对由图像传感器捕获的图像数据以高速执行各种信号处理。此外，随着半导体工艺技术的发展，已经提出了多个芯片(诸如图像传感器芯片、存储器芯片和信号处理芯片)通过凸块连接至封装件的半导体装置以及包括设置在其中的图像传感器的裸片和设置在其中的包括存储器、信号处理电路等的裸片层压至封装件的半导体装置。
5.在结合图像传感器和信号处理电路的半导体装置(在下文中，称为成像装置)安装在诸如智能电话的电子设备中的情况下，成像装置中的信号处理电路在许多情况下响应于来自安装在电子设备中的应用处理器的命令执行各种信号处理。例如，通过在信号处理电路中执行神经网络处理并且输出结果，可以改善将捕获的图像传输至外部然后对其进行处理的延迟，并且通过将捕获的图像传输至外部来改善隐私和安全性。因此，需要用于提高在利用内置的信号处理电路执行估计处理等时使用的神经网络的识别率的技术。
6.[引用列表]
[0007]
[专利文献]
[0008]
[专利文献1]
[0009]
wo 2018/051809 a1。


技术实现要素：

[0010]
[技术问题]
[0011]
因此，本公开提供一种能够提高图像传感器中使用的神经网络的处理精度的固态成像装置、电子设备和成像系统。
[0012]
[问题的解决方案]
[0013]
根据一个实施方式，一种固态成像装置包括：像素阵列，具有执行光电转换的多个像素；转换器，将从像素阵列输出的模拟像素信号转换成数字图像数据；图像处理单元，对所述数字图像数据执行图像处理；数字信号处理单元，对由所述图像处理单元输出的所述数字图像数据执行识别处理；以及控制单元，基于识别处理的结果执行关于模拟像素信号的获取、数字图像数据的获取和识别处理的结果的获取之中的至少一个获取处理操作的优化。
[0014]
控制单元可反馈识别处理的结果以执行优化。
[0015]
当识别处理的识别率降低时，控制单元可执行关于在模拟像素信号的获取、数字
图像数据的获取和识别处理的结果的获取之中的至少一个获取处理操作的优化。
[0016]
控制单元可控制像素阵列的像素的曝光时间。
[0017]
控制单元可优化与图像处理单元的图像处理有关的参数。
[0018]
数字信号处理单元可使用经训练的神经网络模型来执行识别处理。
[0019]
控制单元可重新训练神经网络模型。
[0020]
固态成像装置可进一步包括半导体装置，该半导体装置包括：第一基板，像素阵列布置在第一基板上；以及第二基板，层压在第一基板上，并且转换器、图像处理单元、数字信号处理单元和控制单元布置在第二基板上。
[0021]
第一基板和第二基板可以通过coc(芯片上芯片)方法、cow(晶圆上芯片)方法和wow(晶圆上晶圆)方法中的任何一种接合。
[0022]
固态成像装置可进一步包括选择器，用于选择来自转换器、图像处理单元和数字信号处理单元中的至少一个的输出，并将数据输出至外部。
[0023]
当输出图像信息时，可仅选择并输出受关注区域中的信息。
[0024]
当输出图像信息时，可使用不同的压缩方法来输出受关注区域中的信息和其他区域中的信息。
[0025]
受关注区域中的信息和其他区域中的信息可以用不同的压缩率压缩并输出。
[0026]
当识别处理中的识别率已经降低时，可以一起输出图像信息和识别处理的结果。
[0027]
根据一个实施方式，一种电子设备包括上述固态成像装置和独立于半导体装置的基板上的应用处理器，其中，应用处理器经由选择器输入/输出数据。
[0028]
根据一个实施方式，成像系统包括：上述固态成像装置；以及经由网络连接至固态成像装置的服务器，其中，固态成像装置输出转换器的输出和/或图像处理单元的输出，所述数字信号处理单元的输出与所述服务器相关联，并且所述服务器执行关于在所述模拟像素信号的获取，获取数字图像数据以及基于接收的信息获取识别处理的结果之中的至少一个获取处理操作的优化，并将优化的信息部署到固态成像装置。
附图说明
[0029]
图1是示出根据实施方式的包括成像装置的电子设备的概要的框图。
[0030]
图2是示出根据实施方式的成像装置的处理的框图。
[0031]
图3是示出根据实施方式的成像装置的处理的框图。
[0032]
图4是示出根据实施方式的成像系统的概要的框图。
[0033]
图5是示出根据实施方式的获取的图像的示例的示图。
[0034]
图6是示出根据实施方式的成像装置的半导体基板的配置示例的示图。
具体实施方式
[0035]
在下文中，将参考附图描述成像装置和电子设备的实施方式。尽管以下将主要描述成像装置和电子设备的主要组件，但是成像装置和电子设备可包括未示出或解释的组件和功能。以下描述不旨在排除未展示或解释的组件和功能。
[0036]
(第一实施方式)
[0037]
图1是示出根据实施方式的包括成像装置1的电子设备2的示意性配置的框图。电
子设备2包括成像装置1和应用处理器(下文称为ap 20)。电子设备2是具有成像功能的智能电话、移动电话、平板终端、pc、数码相机、数码摄像机等，并且设备的具体模式不受限制。
[0038]
成像装置1可以实现为半导体装置。该半导体装置也可被称为图像传感器或固态成像装置。成像装置1至少包括cmos图像传感器(下文称为cis 10)、图像处理单元(下文称为isp 11)、数字信号处理单元(下文称为dsp 12)、控制单元(下文称为cpu 13)、存储单元14、快门15和选择器(下文称为sel 16)。
[0039]
cis 10是具有光学系统100、包括像素阵列102的成像单元和模拟数字转换电路(以下称为adc 104)的图像传感器。
[0040]
光学系统100包括例如变焦透镜、单聚焦透镜、光圈等。光学系统100将入射光引导至像素阵列102。
[0041]
像素阵列102具有在二维方向上布置的多个像素。每个像素可以由诸如rgb的多种颜色的多个单位像素组成。每个单位像素具有诸如光电二极管的光接收元件。光接收元件光电转换入射光并且输出模拟像素信号。入射在成像单元上的光经由光学系统100被成像在布置有多个光接收元件的光接收表面上，并且每个光接收元件根据入射光的强度累积电荷并且输出对应于累积电荷量的模拟像素信号。
[0042]
adc 104将从像素阵列102输出的模拟像素信号转换成数字图像数据。由于adc 104执行a/d转换，因此isp 11、dsp 12、cpu 13、存储单元14、快门15和sel 16在adc 104的后级处理数字图像数据。从提供给成像装置1的电源电压等中产生用于驱动成像单元的驱动电压的电压生成电路可设置在adc 104的内部或与adc 104分离。此外，可以单独设置实现adc 104的a/d转换所需的数模转换电路(dac)。
[0043]
isp11对数字图像数据执行各种图像处理。isp 11可对从cis 10输出的数字图像数据执行图像处理，或者可对从cis 10输出并存储在存储单元14中的数字图像数据执行图像处理。isp 11响应于外部指令执行图像处理。例如，isp 11转换数字图像数据，使得该数据适合于dsp 12的信号处理。在下文中，数字图像数据被简称为图像、图像数据等。
[0044]
dsp 12具有信息处理单元的功能，所述信息处理单元基于由isp 11处理的图像数据执行诸如预定识别处理和检测处理的至少一个处理操作。即，dsp 12对由isp 11处理的数据等执行识别处理等。dsp 12可以基于执行识别处理等的结果执行预定处理。例如，dps 12可以将由isp 11处理的图像数据输入到预先训练的学习的神经网络模型中以执行物体识别等。然后，dsp 12可以基于该识别的结果等执行用于提高神经网络模型的精度的处理。神经网络模型例如通过深度学习来训练，但不限于此，并且可以是可被重新训练的另一模型。当使用预先训练的数据时，例如，经训练的参数可以存储在存储单元14中，并且可以基于该参数形成神经网络模型。
[0045]
cpu 13根据来自ap 20等的指令控制成像装置1中的每个单元。cpu 13可基于存储在存储单元14中的程序执行预定处理。该cpu 13可以与dsp 12集成。即，cpu 13可以形成为能够实现上述dsp 12的处理的配置。cpu 13可基于dsp 12的识别结果设置cis 10的成像条件。在本公开中，作为示例，控制曝光时间，但是如稍后将描述的，本发明不限于该处理，并且可控制可由isp 11处理的各种类型的处理。
[0046]
dsp 12通过例如执行存储在存储单元14中的程序，使用机器学习的计算模型来执行算术处理。isp 11和cpu 13也可通过执行存储在存储单元14中的程序来执行各种操作。
关于学习到的计算模型的各种信息、用于各种类型的处理的各种信息以及程序，被预先存储在存储单元14中。isp 11、dsp 12和cpu 13从存储单元14读取必要的信息并执行算术处理。
[0047]
由dsp 12进行的与机器学习模型相关的处理，例如是通过如上所述的深度学习训练的深度神经网络(下文称为dnn)的计算模型。该计算模型可以基于参数来设计，该参数通过输入isp 11的输出数据作为输入并将具有与该输入关联的标签的学习数据输入到学习的计算模型中而产生。
[0048]
dsp 12可以通过使用dnn的算术处理来执行预定识别处理。这里，识别处理是自动识别作为isp 11的输出数据的图像数据是否包含特征图像信息的处理。更具体地，识别处理是用于通过将输入数据给予由通过机器学习生成的参数形成的计算模型来执行算术处理的处理，并且输入数据是isp 11的输出数据。
[0049]
在基于存储在存储单元14中的学习的计算模型执行算术处理的处理中，dsp 12可执行存储在存储单元14中的字典系数与图像数据之间的积和运算。dsp 12的计算结果被存储在存储单元14中并输出到sel 16。由dsp 12使用计算模型的算术处理的结果可以是图像数据或从图像数据获得的各种信息(元数据)。上述dsp 12或者cpu 13可以具有用于控制对存储单元14的写入和读取的存储器控制器功能，或者存储器控制器可以与dps 12和cpu 13分开提供。dsp 12可执行诸如运动检测处理、面部检测处理等的检测处理。检测处理可由isp 11执行，而不是由dsp 12执行。或者，isp 11和dsp 12可协作执行检测处理。
[0050]
存储单元14存储从cis 10输出的数字像素数据、由isp 11、dsp 12和cpu 13执行的程序以及与由dsp 12用于算术处理所使用的学习的计算模型相关的各种信息。存储单元14可以存储与每个上述单元的计算处理的进度有关的数据和计算结果。存储单元14例如是可读和可写随机存取存储器(ram)。通过交换关于存储单元14中的计算模型的信息，上述单元中的每一个可以执行各种操作，并且可以实现高度通用和广泛适用的处理。当上述单元中的每一个出于特定目的基于计算模型执行算术处理时，存储单元14可以包括rom(只读存储器)作为其一部分。
[0051]
快门15根据来自cpu 13的控制来控制cis 10中的曝光时间。例如，如果cpu 13确定为对于dsp 12过于明亮而不能进行识别，则快门15缩短曝光时间。相反，当黑暗时，快门15增加曝光时间。快门15可以不设置在cis 10的外部，而是可以设置在cis 10的内部。快门15可以是模拟快门或数字快门。
[0052]
sel 16基于来自cpu 13的选择控制信号选择并输出由dsp 12处理的输出数据。要输出的数据可以是dsp 12的原样输出，或者可以是由dsp 12存储在存储单元14中的数据。在一些情况下，sel 16可基于来自cpu 13的控制信号选择并输出由adc 104输出的数字像素数据。sel 16经由诸如mipi(移动工业处理器接口)或12c(内部集成电路)的接口输出ap 20所需的数据。
[0053]
ap 20是与成像装置1分离的半导体装置，并且安装在与成像装置1相同的基底基板上或者安装在与成像装置1不同的基底基板上。ap 20包括有与成像装置1的cpu 13不同的cpu，并且执行操作系统、各种应用软件等的程序。ap 20可设置有与成像装置1的dsp 12不同的dsp，并且可由dsp执行各种类型的信号处理。ap 20中的dsp可能能够以更高的速度执行比成像装置1中的isp 11、dsp 12等更高级的信号处理。
[0054]
此外，ap 20可设置有执行图形处理单元(gpu)、基带处理器等的图像处理、信号处理等的功能。ap 20可根据需要对来自成像装置1的图像数据和计算结果执行各种类型的处理，并且可进行控制以将图像与识别结果一起显示在电子设备2的显示单元上。ap 20可以经由预定的有线或无线网络将与处理结果或识别结果相关的数据发送到外部云服务器。
[0055]
注意，作为预定网络，例如可以应用诸如互联网、有线局域网(lan)、无线lan、移动体通信网络和诸如蓝牙(注册商标)的近场无线通信的各种通信网络。图像数据和计算结果的目的地不限于云服务器，而可以是具有通信功能的各种信息处理装置，诸如独立服务器、文件服务器和诸如移动电话的通信终端。
[0056]
图1示出了ap 20将指令发送给成像装置1的示例。在下文中，将描述ap 20将指令发送给成像装置1的示例，但是实际实现方式不限于该形式，并且以下描述将被解释为包括除了ap 20以外的处理器将指令发送给成像装置1的情况。
[0057]
图2是示出根据实施方式的成像处理的流程图。成像装置1基于该流程图执行成像处理。例如，安装成像装置1以便捕获工厂线路的预定范围。这被示出为示例，并且只要执行识别处理，成像装置就可以应用而不限于该示例。此外，成像装置可执行其他推断处理，而不是识别处理。
[0058]
首先，成像装置1执行预处理(s100)。预处理例如是确定是否通过捕获适当地获取要识别的对象作为图像数据，并设置捕获条件等的处理。
[0059]
图3是示出了根据实施方式的该预处理的流程图。
[0060]
首先，作为预处理，cis 10执行拍摄并获取图像(s1000)。
[0061]
接下来，isp 11对获取的图像执行适当的图像处理(s1002)。例如，该图像处理包括各种类型的滤波处理，诸如锐化处理、分辨率转换、增益调整、动态范围转换处理、区域裁剪处理、颜色校正、颜色转换、与标准化处理相关的参数等。此外，为了将图像转换成适合于稍后描述的识别处理的图像，可以执行图像放大、缩小、旋转和失真校正处理。当要获取的图像是运动图像时，可执行光流等的获取。
[0062]
接着，dsp 12使用由isp 11进行了预定图像处理的图像来执行识别处理(s1004)。该识别处理是识别操作员存在于线上的适当位置、对象物通过线的适当位置等是否能够识别的处理。
[0063]
接下来，cpu 13确定由dsp 12识别的结果并且确定识别率是否足够高(s1006)。例如，cpu 13将由dsp 12识别的识别率与预定值进行比较，并且确定识别率是否足够高。可基于已针对预定数量以上的捕获图像成功识别的图像的数量来计算该识别率。例如，可以使用以预定数量以上的连续捕获的帧图像来计算识别率。
[0064]
如果识别率不足够高(s1006：否)，则cpu 13改变图像获取条件(s1008)。图像获取条件可以是图像捕获条件，例如，与快门15的曝光时间相关的条件，或者与图像处理相关的条件，诸如isp 11中的滤波器系数，例如，滤波器系数、增益调节条件等。通过以这种方式改变图像获取条件，成像装置1执行具有高识别率的参数的设置作为预处理。
[0065]
图像获取条件可以是上述条件的多个组合。例如，可以是cis 10的相关参数、isp 11的相关参数和dsp 12的相关参数的组合。
[0066]
如果识别率足够高(s1008：是)，则可以终止预处理。可选地，可以执行预处理的终止的确定。
[0067]
接下来，cpu 13确定是否结束预处理(s1010)。该预处理的确定可以获得充分高于预定识别率的识别率。此外，作为另一条件，例如，可将快门15的曝光时间从预先确定的最短曝光时间改变为最长曝光时间，然后可获取识别率。在这种情况下，cpu 13可以将具有最高识别率的参数设置为图像获取条件。虽然描述为曝光时间，但是当然，可以如上所述以这种方式优化其他图像获取条件。
[0068]
如果确定结束预处理(s1010：是)，则cpu 13结束预处理。
[0069]
另一方面，如果确定不结束预处理(s1010：否)，则cpu 13可以在cis 10中重复从捕获开始的处理(s1000)。作为另一示例，当调整已经获取的图像的滤波器时，可重复来自图像处理的处理(s1002)。当在s1008中改变用于识别处理的条件时，可以重复来自识别处理(s1004)的处理。当使用多个条件的组合时，可使用多个条件的所有组合或适当地从所有组合中选择的一些条件的组合。
[0070]
返回图2，将描述预处理之后的处理。
[0071]
在完成预处理之后，cis 10开始捕获以执行实际识别处理(s102)。捕获的图像可以是例如静止图像或运动图像。使用在预处理中设置的捕获参数来执行该捕获。
[0072]
接着，isp 11对由cis 10捕获的图像执行预定图像处理(s104)。isp11对图像执行上述滤波、增益调整等。如果通过预处理改变了参数，则isp 11基于改变的参数执行图像处理。
[0073]
接着，dsp 12对由isp 11处理的图像执行识别处理(s106)。dsp 12执行识别处理，诸如对象是否已经过预定位置、对象是否处于适当状态、或操作员是否在工厂生产线上正常工作。另外，可执行操作员的面部识别。例如，如上所述，固定设置成像装置1，并且适当地识别从该设置中获取的图像的预定区域中的情况。
[0074]
至此所有处理操作可在成像装置1中实现。即，可以获取用于实现适当的识别处理的条件，而无需经由接口将数据等从成像装置1的内部输出至ap 20等的外部。该条件可以通过执行如上所述的预处理基于环境来确定。s106中的识别处理的识别率可由于环境的变化而减小。在这种情况下，可以重复来自s100的预处理的处理。
[0075]
例如，可以通过监测识别率并且当识别率低于预定值时执行预处理来执行另一预处理。此外，作为另一示例，可以每预定时间或每预定数量的镜头重复预处理。这样，可以周期性地重复预处理。
[0076]
如上所述，根据本实施方式，可以设定实现适合于成像装置1闭合状态下的环境的识别处理的参数等。成像装置1的所有配置可安装在一个芯片或一个层压半导体装置上，如后所述。如果cis 10、isp 11、dsp 12、cpu 13、存储单元14和sel 16被安装在一个这样的半导体装置上，则可以在不从半导体装置向外部输出信息的情况下设置参数。因此，与向外部输出数据时相比，能够以更高的速度保护隐私和安全性，并且在降低系统成本的同时提高识别率。
[0077]
在工厂生产线中，例如，当阳光进入工厂时，识别率可以由于阳光在相同条件下降低。即使在这种情况下，根据本实施方式，也可以抑制识别率的降低。此外，在保持上述优点的同时，可以避免由于不同环境(不限于阳光)的变化引起的识别率的降低，并且可以实现对环境等具有鲁棒性的系统。
[0078]
根据图2的示例，处理进一步继续。
[0079]
在识别处理之后，cpu 13可以进一步进行后处理(s108)。该后处理不必针对每个识别处理操作执行，并且可以在适当的跨度中执行。例如，可以每隔预定时间或者每隔预定数量的镜头执行。此外，作为另一示例，可以顺序地执行后处理。后处理是用于提高dsp 12中的识别处理的精度的处理。cpu 13可以例如通过反馈dsp 12的识别结果来重新训练dsp 12所使用的神经网络模型。通过使用重新训练的神经网络模型，可以进一步提高识别率。与上述预处理类似，也可以在成像装置1(即，一个半导体装置)中执行该重新训练。
[0080]
接下来，sel 16输出适当的数据(s110)。适当的数据例如是由cis 10捕获的数据、由isp 11处理的数据或与dsp 12的识别结果相关的数据。例如，在正常状态下可以不输出图像，并且可以在识别中发生异常的定时输出图像。识别率可以一直输出，或者可以仅在异常发生时被输出。以这种方式，适当的数据被选择并从sel 16输出到ap 20。待输出的数据可以临时存储在存储单元14中。例如，根据来自ap 20的请求，存储在存储单元14中的数据可以在一定程度上被共同输出。此外，在sel 16中，数据、请求等可从ap 20输入。例如，输入的数据、请求等可存储在存储单元14中，或者可输出至cpu 13。
[0081]
如上所述，根据本实施方式，成像装置1可重新训练神经网络模型用于改进识别处理，而不将数据输出至外部。与预处理类似，该处理可以在没有一个半导体装置的情况下实现。因此，如上所述，与向外部输出数据时相比，能够以更高的速度保护隐私和安全性，并且在降低系统成本的同时提高识别精度。
[0082]
例如，用新成像装置替换现有成像装置通常导致学习成本。此外，成像装置的每个安装位置的调谐成本高。即使在这种情况下，如本实施方式那样，通过在接近成像装置1的环境中实现图像获取条件和神经网络模型的优化，也能够降低成本。
[0083]
(第二实施方式)
[0084]
图4是示出了根据第二实施方式的成像系统的示例的示意图。成像系统3包括电子设备2和云30。云30是广义的概念，其可以是互联网上的一般云，或者可以是例如在内联网中封闭的服务器、一组服务器等。电子设备2经由例如有线或无线网络连接至云30。
[0085]
在上述的第一实施方式中，模型的预处理和重新训练是在一个半导体装置中闭合的处理，但是当然可以在外部实现模型的重新训练。在这种情况下，可以在预定定时从电子设备2向云30中的服务器等发送数据。在这种情况下，为了保护隐私并提高安全性，要发送的图像数据可以被加密。
[0086]
在数据被发送到的云30中，可以使用cpu、gpu等以比设置在成像装置1中的cpu 13等更高的精度执行重新训练。因此，可以在执行识别处理的同时在成像装置1中重新训练模型，并且可以在更精确的服务器等上并行执行训练。
[0087]
在本实施方式中，例如，在dsp 12中使用的神经网络模型的参数可以在数据从电子设备2传输至云30的定时一起传输。然后，云30中的服务器等可使用接收的信息重新训练接收的参数。之后，服务器等能够通过反馈针对发送数据的电子设备2优化的参数，来优化电子设备2中的图像获取并且通过神经网络模型来提高识别精度。以这种方式，基于来自成像装置1的输出优化的各种参数可从服务器端部署到成像装置1。
[0088]
例如，当在识别中识别率下降或者出现异常值时，电子设备2可以仅发送引起这种问题的图像数据。然后，服务器等可分析导致识别率降低的数据。该数据可以用于优化图像获取条件的参数或用于识别的模型。此外，不仅引起这样的问题的图像数据而且与前帧和
后帧有关的图像数据可以一起发送。这里，在前帧和在后帧不限于在主体帧之前和之后的一个帧，并且可以包括多个帧。
[0089]
云30上的服务器等可从多个电子设备2接收数据。在这种情况下，可以相关联地发送唯一地分配给电子设备2的识别率、图像数据和标识符(id)。在这种情况下，还可以发送电子设备2的型号。通过以这种方式发送id，一个服务器等可处理来自多个电子设备2的信息。此外，通过发送型号等，对于具有相同型号的电子设备或具有类似成像系统的装置，还可以发送已经经历相同处理的参数等。
[0090]
要发送的信息可以不是如上所述的图像数据本身，但可以是关于图像的适当信息。例如，除了在图1中示出的配置，成像装置1可包括运动检测电路。该运动检测电路是用于获取所获取的图像中发生了多少运动或亮度变化的电路。该运动检测电路能够像其他组件那样设置在一个半导体装置中。电子设备2可将从成像装置1输出的运动检测电路输出的信息发送到服务器等。服务器等可通过分析运动检测结果来识别识别率降低的原因。服务器等可基于分析结果优化图像获取条件或神经网络模型。
[0091]
成像装置1可将有关用于曝光调整的检测值的信息发送给服务器等。检测值例如是与亮度变化有关的信息。
[0092]
前帧和后帧的识别结果和识别率的变化可以与识别率已经降低的图像之前和之后的帧的图像数据一起从成像装置1发送至服务器等。在这种情况下，可以同时发送与前帧和后帧的图像质量有关的参数。通过发送这些信息，可以分析引起服务器等上的识别率降低的参数，并且可以进一步优化模型。
[0093]
成像装置1不仅可以发送识别结果而且可以发送神经网络模型的中间层中的数据。中间层中的数据可以是例如表示尺寸已经被压缩的特征量的数据，并且可以通过在服务器等上分析这样的数据来获取最佳参数。作为另一示例，可从中间层中的数据执行误差的反向传播以优化神经网络中从输入层到中间层的编码器层，或相反地，优化实现从从中间层到输出层的特征量的识别的层。
[0094]
在以上描述中，输出与成像装置1的内部状态相关的参数等，但是本发明不限于此。例如，指示位置、时间、温度、湿度以及安装有成像装置1(即，电子设备2)的其他外部环境的数据可被发送至服务器等。通过以这种方式发送与外部环境相关的数据，还可以实现基于外部环境的优化。
[0095]
此外，通过发送位置信息，可以针对图像获取条件等执行优化。位置信息可以是例如gps(全球定位系统)信息。此外，可输出诸如相对于成像装置1的对象的捕获角度的信息。该角度可以是例如通过进一步设置在成像装置1中的陀螺仪传感器、加速度传感器等获取的信息。
[0096]
此外，通过发送时间信息，可以根据时间优化识别率的变化。在这种情况下，成像装置1可被配置为即使在基于从服务器等部署的程序执行正常捕获的情况下也根据时间控制参数。当然，该参数的控制可以基于诸如温度和湿度的其他外部环境来执行。
[0097]
如上所述，对于成像装置1实现该处理是昂贵的处理，成像系统3可在云30上执行处理。
[0098]
如上所述，根据本实施方式，可以使用具有比成像装置1的性能更高的性能的cpu等进行高级重新训练。此外，在这种情况下，服务器等可能希望通过分析所接收的推断结果
来进一步提高准确度。例如，通过使用由服务器等接收的数据作为训练数据，可以生成更准确的神经网络模型，并且通过优化图像获取条件来获取更适于识别的图像。
[0099]
(第三实施方式)
[0100]
图5是示出由成像装置1获取的图像的示例的示图。图像im例如是通过安装在生产瓶状物体的工厂中的成像装置1获取的图像。在该工厂中，例如，操作员处理或目视检查流过生产线的瓶子。电子设备2被安装为对工厂生产线进行成像，以获取该操作员和瓶子的图像。
[0101]
如上所述，在图像im中对操作员和流过该线的瓶子成像。如在上述实施方式中所描述的，例如，成像装置1可在dsp 12中输出图像信息以及识别结果。然而，如果所有图像被输出为低压缩、高分辨率图像，则存在用于发送的带宽和用于存储图像信息的存储区域将紧张的可能性。
[0102]
因此，在本实施方式中，例如在发送用于重新训练的图像信息的情况下，描述如何减少数据量并保持精度。
[0103]
在成像装置1中，例如，sel 16可将图像信息的一部分输出到外部。输出至该外部(例如，ap 20)的图像数据被发送至云30上的服务器。成像装置1可仅裁剪和输出识别所需的区域。
[0104]
例如，成像装置1可仅输出捕获操作员的受关注区域(在后文中称为roi r1等)中的信息。在这种情况下，可以删除除了roi r1之外的区域中的信息，在对其执行适当的图像处理之后，可以仅裁剪和发送roi r1。作为另一示例，可仅在roi r1内执行高精度压缩。例如，isp 11可改变roi r1中的数据压缩方法和其他区域中的数据压缩方法。roi r1可以通过能够执行高精度恢复但是不能这么多地执行数据压缩的方法来压缩。其他区域可以通过难以高精度恢复但是数据压缩率高于roi r1中的方法被压缩。
[0105]
roi r1可以通过使用能够以高分辨率解压缩的压缩参数的相同数据压缩方法来压缩，并且其他区域可以通过使用不提供高分辨率但可以进一步减少数据量的压缩参数的相同数据压缩方法来压缩。
[0106]
作为另一示例，原始数据可在roi r1中输出，而以高压缩速率压缩的数据可在其他区域中发送。
[0107]
roi的数量不限于1个，也可以存在多个roi。例如，如图5所示，可以存在roi r1和roi r2，并且可以通过能够以不同于其他区域的压缩的高精度恢复图像的方法来压缩这些roi中的数据。此外，在roi之间不需要保持相同的精度。即，roi r1和roi r2能够以不同的压缩率进行压缩或者通过不同的压缩方法进行压缩。例如，用于roi r2的压缩方法可以能够以比用于roi r1的压缩方法更高的精度恢复图像。当然，在这种情况下，也可以通过进一步减少数据量的方法来压缩roi r1、r2以外的区域。此外，可以不发送roi r1和r2之外的区域中的图像。
[0108]
当以连续帧发送信息时，可在所有帧中发送roi中的信息，而可通过稀疏化帧来发送roi外部的信息。
[0109]
然后，云30中的服务器等可使用以高精度恢复的图像(例如，高分辨率图像或原始数据)来优化图像获取条件或重新训练神经网络模型。
[0110]
如上所述，根据本实施方式，可以在成像装置1中在适当的图像获取条件下获取图
像，并且实现模型等的优化，从而进一步提高成像装置1外部的性能。此外，在继续识别的同时，可以在不使带宽紧张的情况下发送和接收数据。
[0111]
(成像装置1的芯片结构)
[0112]
接下来，将描述图1中的成像装置1的芯片结构。图6为示出图1的成像装置1的芯片结构的示例的示图。图6中的成像装置1是层压第一基板40和第二基板41的层压对。第一基板40和第二基板41有时被称为裸片。在图6的示例中，第一基板40和第二基板41是矩形，但是第一基板40和第二基板41的具体形状和尺寸是任意的。第一基板40和第二基板41可以具有相同的尺寸或者可以是彼此不同的尺寸。
[0113]
图1所示的像素阵列102设置在第一基板40上。此外，cis 10的光学系统100的至少一部分可以以片上方式安装在第一基板40上。此外，虽然未示出，但是快门15可以安装在第一基板40上。例如，快门可以被设置为在光学快门的情况下覆盖第一基板40的光接收元件的光接收表面，并且可以被设置为在数字快门的情况下控制像素阵列102的光接收元件。
[0114]
图1所示的adc 104、isp 11、dsp 12、cpu 13、存储单元14和sel 16被布置在第二基板41上。此外，第二基板41可设置有用于控制成像装置1所需的组件，诸如输入/输出接口和电源电路(未示出)。
[0115]
第一基板40和第二基板41被配置为例如通过预定方法接合和层压的一个半导体装置。作为接合的具体示例，可以采用所谓的coc(芯片上芯片)方法，其中，从晶圆切割第一基板40和第二基板41，分割成单个片，然后层压在彼此的顶部上。可替代地，可以采用所谓的cow(晶片上芯片)方法，其中，从晶圆上切割第一基板40和第二基板41中的一个(例如，第一基板40)并且将其分割成单个片，并且在分割之前将第一基板40接合至第二基板41。可选地，可以采用所谓的wow(晶圆上晶圆)方法，其中，第一基板40和第二基板41在晶圆的状态下接合在一起。
[0116]
例如，通孔、微凸块、微焊盘、等离子体接合等可用作用于接合第一基板40和第二基板41的方法。然而，可以使用各种其他接合方法。
[0117]
图6作为示例给出，并且第一基板40和第二基板41上的组件的布置不限于此。例如，可以将布置在图6所示的第二基板41上的至少一个组件设置在第一基板40上。尽管示出了层压结构，但该结构不限于此，并且可使用将上述组件布置在一个半导体基板上的结构。
[0118]
(对其他传感器的应用)
[0119]
要注意的是，虽然在上述实施方式中，举例说明了将根据本公开的技术应用于获取二维图像的成像装置1(图像传感器)，但是根据本公开的技术的应用目标不限于成像装置。例如，可以将根据本公开的技术应用于各种光接收传感器，诸如飞行时间(tof)传感器、红外线(ir)传感器和动态视觉传感器(dvs)。即，通过采用光接收传感器的层压型芯片结构，可以实现包括在传感器结果中的噪声的减小、传感器芯片尺寸的减小等。
[0120]
据此，通过上述方法执行图像获取条件的设置和神经网络模型的优化，可以在接近成像装置1的状态下(即，在保证隐私和安全之后)执行反馈处理。根据情况，可以在云30上的服务器等中低成本且高精度地实现优化。
[0121]
上述实施方式可以具有以下形式。
[0122]
(1)一种固态成像装置，包括：像素阵列，具有执行光电转换的多个像素；转换器，将从像素阵列输出的模拟像素信号转换成数字图像数据；图像处理单元，对所述数字图像
数据执行图像处理；数字信号处理单元，对由所述图像处理单元输出的所述数字图像数据执行识别处理；以及控制单元，基于识别处理的结果执行关于模拟像素信号的获取、数字图像数据的获取和识别处理的结果的获取中的至少一个获取处理操作的优化。
[0123]
(2)根据(1)的固态成像装置，其中，控制单元反馈识别处理的结果以执行优化。
[0124]
(3)根据(2)的固态成像装置，其中，当识别处理的识别率已经降低时，控制单元执行关于在模拟像素信号的获取、数字图像数据的获取和识别处理的结果的获取中的至少一个获取处理操作的优化。
[0125]
(4)根据(2)或(3)的固态成像装置，其中，控制单元控制像素阵列的像素的曝光时间。
[0126]
(5)根据(2)至(4)中任一项的固态成像装置，其中，控制单元优化与图像处理单元的图像处理有关的参数。
[0127]
(6)根据(2)至(5)中任一项的固态成像装置，其中，数字信号处理单元使用训练的神经网络模型执行识别处理。
[0128]
(7)根据(6)的固态成像装置，其中，控制单元重新训练神经网络模型。
[0129]
(8)根据(1)至(7)中任一项的固态成像装置，还包括半导体装置，所述半导体装置包括：第一基板，所述像素阵列布置在所述第一基板上；以及第二基板，层压在第一基板上，并且转换器、图像处理单元、数字信号处理单元和控制单元布置在第二基板上。
[0130]
(9)根据(8)的固态成像装置，其中，第一基板和第二基板通过coc(芯片上芯片)方法、cow(晶圆上芯片)方法和wow(晶圆上晶圆)方法中的任何一种接合。
[0131]
(10)根据(8)或(9)的固态成像装置，还包括选择器，用于选择来自转换器、图像处理单元和数字信号处理单元中的至少一个的输出并且将数据输出至外部。
[0132]
(11)根据(10)的固态成像装置，其中，当输出图像信息时，仅选择并输出受关注区域中的信息。
[0133]
(12)根据(10)中任一项的固态成像装置，其中，当输出图像信息时，使用不同的压缩方法输出受关注区域中的信息和其他区域中的信息。
[0134]
(13)根据(12)的固态成像装置，其中，以不同的压缩率压缩并输出受关注区域中的信息和其他区域中的信息。
[0135]
(14)根据(11)至(13)中任一项的固态成像装置，其中，当识别处理中的识别率已经降低时，图像信息和识别处理的结果一起被输出。
[0136]
(15)一种电子设备，包括：根据(9)至(14)中任一项的固态成像装置；以及在基板上的独立于半导体装置的应用处理器，其中，应用处理器经由选择器输入/输出数据。
[0137]
(16)一种成像系统，包括：根据(1)至(13)中任一项的固态成像装置；以及经由网络连接至固态成像装置的服务器，其中，所述固态成像装置将所述转换器的输出和/或所述图像处理单元的输出与所述数字信号处理单元的输出关联地输出到所述服务器，以及所述服务器基于接收到的信息进行关于模拟像素信号的获取、数字图像数据的获取和识别处理的结果的获取中的至少一个获取处理操作的优化，并将优化的信息部署到固态成像装置。
[0138]
本公开的各方面不限于前述各实施方式，并且包括本领域技术人员可实现的各种修改，并且本公开的效果也不限于上述细节。换言之，在不背离本公开的概念构思和主旨的情况下，可以做出各种添加、修改和部分删除，本公开的概念构思和主旨可以从权利要求及
其等同物中限定的细节中得出。
[0139]
而且，本公开还可应用于在成像装置1中检测运动并且执行识别处理的设备，诸如监控摄像机，以及上述移动体和医疗领域。
[0140]
[参考标号列表]
[0141]
1 成像装置
[0142]
10 cis
[0143]
100 光学系统
[0144]
102 像素阵列
[0145]
104 adc
[0146]
11 isp
[0147]
12 dsp
[0148]
13 cpu
[0149]
14 存储单元
[0150]
15 快门
[0151]
16 sel
[0152]
2 电子设备
[0153]
20 ap
[0154]
3 成像系统
[0155]
30 云
[0156]
40 第一基板
[0157]
41 第二基板。