图像识别装置、固态成像装置及图像识别方法与流程

1.本公开涉及图像识别装置、固态成像装置及图像识别方法。


背景技术：

2.存在一种成像装置，其包括高动态范围(hdr)成像模式，该成像模式用于通过捕获和组合在一帧时段内具有不同灵敏度的多个图像来生成hdr图像，并且从hdr图像识别对象(例如参见专利文献1)。
3.现有技术文献
4.专利文献
5.专利文献1：jp 2014
‑
103643 a


技术实现要素：

6.技术问题
7.然而，在根据现有技术的上述技术中，识别对象的精度可能恶化。因此，本公开提出了一种图像识别装置、固态成像装置及图像识别方法，该图像识别装置、固态成像装置及图像识别方法能够提高识别对象的精度。
8.问题的解决方案
9.根据本公开的图像识别装置包括成像部和识别部。成像部在一帧时段内捕获具有不同灵敏度的多个图像以生成图像数据。识别部从每个图像数据中识别对象，并且基于识别对象的结果来识别在一帧图像中捕获的对象。
附图说明
10.图1是示出根据本公开的第一实施例的图像识别装置的配置的实例的图。
11.图2是根据本公开的第一实施例的图像识别装置的操作的示图。
12.图3是根据本公开的第一实施例的曝光时间调节方法的示图。
13.图4是根据本公开的第一实施例的曝光时间调节方法的示图。
14.图5是示出根据本公开的第一实施例的识别部执行的处理的实例的流程图。
15.图6是根据本公开的第一实施例的图像识别装置的第一变型例的操作的示图。
16.图7是包括在根据本公开的第一实施例的图像识别装置的第二变型例中的光接收部的示图。
17.图8是根据本公开的第一实施例的图像识别装置的第二变型例的操作的示图。
18.图9是示出根据本公开的第二实施例的图像识别装置的配置的实例的图。
19.图10是示出车辆控制系统的示意性配置的实例的框图。
20.图11是示出车外信息检测部和成像部的安装位置的实例的示图。
具体实施方式
21.在下文中，将参考附图详细描述本公开的实施例。注意，在下面的每个实施例中，相同的参考符号表示相同的部分，并且将省略重叠的描述。
22.(1.第一实施例)
23.[1
‑
1.根据第一实施例的图像识别装置的配置]
[0024]
图1是示出根据本公开的第一实施例的图像识别装置1的配置的实例的图。如图1所示，图像识别装置1包括互补金属氧化物半导体(cmos)图像传感器(在下文中，称为cis 2)和应用处理器(在下文中，称为ap 3)。
[0025]
cis 2是由一个芯片配置并且捕获图像的固态成像装置的实例，并且除了捕获图像的功能之外，还具有识别捕获图像中的对象并且将对象识别结果输出到ap 3的功能。注意，根据本公开的固态成像器件不限于cis 2，并且可以是例如其他图像传感器，诸如电荷耦合器件(ccd)图像传感器。
[0026]
ap 3包括ap控制部31以及与cis 2执行信息通信的通信接口(i/f)32，该ap控制部31是根据图像识别装置1的应用执行各种应用程序的诸如中央处理单元(cpu)的处理器的实例。
[0027]
例如，在图像识别装置1安装在车辆上并且用作检测车辆周围的对象等的传感器的情况下，当诸如行人的对象被cis 2识别时，ap 3执行将识别通知驾驶员或将识别通知自动制动系统的处理。
[0028]
此外，例如，在图像识别装置1用于面部认证系统的情况下，ap 3执行向面部认证系统输出指示由cis 2识别的面部是否是预先登记的人的面部的信息的处理。以这种方式，ap 3根据图像识别装置1的应用对由cis 2识别的对象执行处理。
[0029]
cis 2具有在一帧时段(即，捕获一帧的图像的期间)内捕获具有不同灵敏度的多个图像、并且通过hdr组合所捕获的图像来生成高动态范围(hdr)图像的功能；以及识别上述捕获图像中的对象的功能。
[0030]
具体地说，cis 2包括：成像部4、高动态范围(hdr)组合单元5、存储器6、图像输出部7、通信i/f 8、以及识别部9。成像部4包括光接收部41和读取部42。
[0031]
光接收部41例如包括：光学系统，光学系统包括：变焦透镜、聚焦透镜、光圈等；以及像素阵列单元，在该像素阵列单元中，包括诸如光电二极管的光接收元件的单位像素以二维矩阵形式排列。
[0032]
光接收部41通过光学系统在像素阵列单元的光接收表面上形成从外部入射的光的图像。像素阵列单元的每个单位像素对入射到光接收元件上的光执行光电转换，从而可读地积累与入射光量相对应的电荷。
[0033]
读取部42包括：读取电路，读取在每个单位像素中积累的电荷作为像素信号；以及模数转换器(adc)，通过将由读取电路读取的模拟像素信号转换为数字值来生成数字图像数据。
[0034]
在一帧时段内，成像部4捕获具有不同灵敏度的两个图像，即，用比正常曝光时间短的曝光时间捕获的短曝光图像和用比正常曝光时间长的曝光时间捕获的长曝光图像。
[0035]
结果，成像部4即使在对象的亮度过高并且对象在正常曝光时间中过度曝光的情况下，也可以捕获对象的图像被清晰地捕获的短曝光图像。此外，成像部4即使在对象的亮
度过低并且对象在正常曝光时间中曝光不足的情况下，也可以捕获对象的图像被清晰地捕获的长曝光图像。成像部4将捕获的短曝光图像的图像数据和捕获的长曝光图像的图像数据输出到hdr组合部5。
[0036]
hdr组合部5例如包括微型计算机以及各种电路，微型计算机包括：中央处理单元(cpu)、只读存储器(rom)、随机存取存储器(ram)等。
[0037]
hdr组合部5通过以cpu使用ram作为工作区执行存储在rom中的程序，hdr组合从成像部4输入的短曝光图像的图像数据和长曝光图像的图像数据，从而生成hdr图像的图像数据。
[0038]
结果，即使在一帧图像的视角内存在暗区域和亮区域两者的情况下，hdr组合部5也可以生成清晰地捕获暗区域中的对象的图像和亮区域中的对象的图像的hdr图像的图像数据。
[0039]
注意，hdr组合部5可以由诸如专用集成电路(asic)或现场可编程门阵列(fpga)的硬件来实现。hdr组合部5将hdr图像的生成图像数据输出到存储器6。存储器6例如是诸如闪存的存储装置，并且存储从hdr组合部5输入的hdr图像的图像数据。
[0040]
例如，图像输出部7仅在从ap 3接收到hdr图像获取请求的情况下，才从存储器6读取hdr图像的图像数据，并且经由通信i/f 8将图像数据输出到ap 3，而在其他情况下不将hdr图像的图像数据输出到ap 3。
[0041]
如上所述，由于图像输出部7只有在从ap 3接收到hdr图像获取请求时才向外部输出hdr图像的图像数据，因此可以减少cis 2的功耗，并且可以保护安全性和隐私性。
[0042]
识别部9包括例如微型计算机以及各种电路，微型计算机包括：cpu、rom、ram等。识别部9是处理单元，该处理单元以cpu使用ram作为工作区执行存储在rom中的程序的方式，从捕获图像的图像数据中识别对象，并且经由通信i/f 8将对象识别结果输出到ap 3。注意，识别部9的部分或全部可以通过诸如asic或fpga的硬件来实现。
[0043]
这里，例如，在从hdr图像的图像数据中识别对象的情况下，识别对象的精度可能恶化。具体地，如上所述，通过对短曝光图像和长曝光图像进行hdr组合来生成hdr图像。
[0044]
由于短曝光图像和长曝光图像是以与正常曝光时间不同的曝光时间捕获的图像，所以短曝光图像和长曝光图像可以是与人观看的对象在亮度或颜色上略有不同的图像。
[0045]
通过如上所述将短曝光图像和长曝光图像进行hdr组合而生成的hdr图像可能包括实际上并不存在的二次生成的伪影。因此，在从hdr图像的图像数据识别对象的情况下，由于伪影而不能准确地识别对象，并且识别对象的精度可能恶化。
[0046]
因此，根据本公开的识别部9从未包括伪影的hdr组合之前的短曝光图像和长曝光图像的每个图像数据中识别对象，并且基于识别结果识别在一帧图像中捕获的对象，从而提高识别对象的精度。
[0047]
具体地，识别部9包括：第一深度神经网络(dnn)部91、第二dnn部92、以及识别结果确定部93。dnn是具有多层结构的算法，在该多层结构中使用通过机器学习设计的人脑神经回路(神经网络)作为模型，以便从图像数据中识别对象的特征(模式)。
[0048]
第一dnn部91是通过使用专门用于从短曝光图像识别对象的dnn的dnn处理，从成像部4输入的短曝光图像的图像数据识别对象的处理单元。
[0049]
第一dnn部91识别在短曝光图像中捕获的对象，导出包括对象识别结果和表示识
别结果的可靠性水平的dnn分数的识别结果信息，并且将识别结果信息输出到识别结果确定部93。
[0050]
如上所述，由于第一dnn部91是通过使用专门用于短曝光图像的dnn的dnn处理来识别对象，因此可以从短曝光图像的图像数据中精确地识别对象。
[0051]
第二dnn部92是通过使用专门用于从长曝光图像识别对象的dnn的dnn处理，从成像部4输入的长曝光图像的图像数据识别对象的处理单元。
[0052]
第二dnn部92识别在长曝光图像中捕获的对象，导出包括对象识别结果和表示识别结果的可靠性水平的dnn分数的识别结果信息，并且将识别结果信息输出到识别结果确定部93。
[0053]
如上所述，由于第二dnn部92是通过使用专门用于长曝光图像的dnn的dnn处理来识别对象，因此可以从长曝光图像的图像数据中精确地识别对象。
[0054]
识别结果确定部93基于从第一dnn部91和第二dnn部92输入的识别结果信息来识别在一帧的图像中捕获的对象。例如，识别结果确定部93导出包括具有预定值以上的dnn分数的对象和该对象的dnn分数的最终识别结果信息，并且经由通信i/f 8将最终识别结果信息输出到ap 3。
[0055]
此外，根据从第一dnn部91和第二dnn部92输入的识别结果信息中包括的dnn分数，识别结果确定部93调节成像部4的曝光时间，使得后续的dnn分数增加。稍后将参考图3和图4描述这种曝光时间调节方法的实例。
[0056]
注意，识别结果确定部93不是基本组件。识别部9可以被配置为将由第一dnn部91导出的识别结果信息和由第二dnn部92导出的识别结果信息输出到ap 3。
[0057]
如上所述，识别部9从未包括伪影的hdr组合之前的短曝光图像和长曝光图像的每个图像数据中识别对象，并且基于对象识别结果识别在一帧的图像中捕获的对象。结果，与从可以包括伪影的hdr图像中识别对象的情况相比，识别部9可以提高识别对象的精度。
[0058]
[1
‑
2.根据第一实施例的图像识别装置的操作实例]
[0059]
接下来，将描述根据第一实施例的图像识别装置1的操作的实例。图2是根据本公开的第一实施例的图像识别装置1的操作的示图。
[0060]
如图2所示，在一帧时段t1期间，成像部4捕获曝光时间为t2的短曝光图像，然后捕获曝光时间为长于t2的t3的长曝光图像。然后，成像部4将短曝光图像的图像数据输出到第一dnn部91，并且将长曝光图像的图像数据输出到第二dnn部92。
[0061]
第一dnn部91从相对暗的短曝光图像的图像数据中识别例如车辆10作为对象，并且将识别结果信息d1输出到识别结果确定部93。识别结果信息d1不是图像数据，而是包括指示上述被识别对象和dnn分数的信息的元数据。
[0062]
第二dnn部92从相对明亮的长曝光图像的图像数据中识别例如车辆10作为对象，并且将识别结果信息d2输出到识别结果确定部93。识别结果信息d2不是图像数据，而是包括指示上述被识别对象和dnn分数的信息的元数据。此时，第一dnn部91和第二dnn部92并行地执行dnn处理。结果，识别部9可以缩短对象识别处理所需的时间。
[0063]
识别结果确定部93基于识别结果信息d1和d2将车辆10识别为对象，并且将最终识别结果信息d3发送到通信i/f 8。最终识别结果信息d3也不是图像数据，而是包括指示上述被识别对象和dnn分数的信息的元数据。
[0064]
通信i/f 8将识别结果信息d3输出到ap 3的通信i/f 32。如上所述，由于cis 2将不是图像数据而是元数据的识别结果信息d3输出到ap 3，因此与输出图像数据的情况相比，可以减少功耗，并且可以保护隐私和安全性。
[0065]
[1
‑
3.曝光时间调节法]
[0066]
接下来，将参考图3和图4描述由识别结果确定部93执行的曝光时间调节方法的实例。图3和图4是根据本公开的第一实施例的曝光时间调节方法的示图。注意，图3和图4中所示的20行和50行是指示曝光时间长度的指标，更多的行对应于更长的曝光时间。
[0067]
如图3所示，例如，在第一帧时段t1期间捕获的短曝光图像p1的dnn分数可以是80，并且长曝光图像p2的dnn分数可以是60。在这种情况下，此时成像目标的dnn分数随着曝光时间的增加而降低的可能性很高。
[0068]
因此，在短曝光图像的分数高于长曝光图像的情况下(步骤s1)，识别结果确定部93执行曝光时间调节，以缩短在下一帧时段中要捕获的短曝光图像和长曝光图像的曝光时间(步骤s2)。
[0069]
例如，识别结果确定部93将下一次要捕获的短曝光图像p3的曝光时间从20行缩短到10行，并且将下一次要捕获的长曝光图像p4的曝光时间从50行缩短到40行。结果，识别结果确定部93例如可以将下一次要捕获的短曝光图像的dnn分数从80提高到85，并且可以将下一次要捕获的长曝光图像的dnn分数从60提高到70。
[0070]
此外，在长曝光图像具有比短曝光图像更高的分数的情况下，识别结果确定部93执行曝光时间调节，以增加在下一帧时段中要捕获的短曝光图像和长曝光图像的曝光时间。
[0071]
注意，识别结果确定部93可以在曝光时间过长或过短的情况下降低dnn分数。因此，识别结果确定部93重复上述曝光时间调节，直到dnn分数收敛到最大值。
[0072]
例如，如图4所示，在第一次以20行曝光时间捕获的图像的dnn分数为50，第二次以30行的延长曝光时间捕获的图像的dnn分数提高到60的情况下，识别结果确定部93进一步第三次延长曝光时间。
[0073]
在第三次通过延长曝光时间40行捕获的图像的dnn分数提高到70的情况下，识别结果确定部93将曝光时间延长到50行以第四次捕获图像。然后，在第四次捕获的图像的dnn分数提高到80的情况下，识别结果确定部93将曝光时间延长到60行，以第五次捕获图像。
[0074]
此时，在第五次捕获的图像的dnn分数降低到60的情况下，识别结果确定部93确定80作为dnn分数的最大值，该80是曝光时间为50行时捕获的图像的dnn分数。
[0075]
然后，识别结果确定部93将曝光时间缩短到50行，以第六次捕获图像。结果，第六次捕获的图像的dnn分数提高到最大值80。此后，识别结果确定部93将曝光时间维持在50行以捕获图像，使得捕获图像的dnn分数收敛到最大值80。结果，识别部9此后可以连续导出dnn分数最高的高度可靠的对象识别结果。
[0076]
[1
‑
4.识别部执行的处理]
[0077]
接下来，将参考图5描述由识别部9执行的处理的实例。图5是示出根据本公开的第一实施例的识别部9执行的处理的实例的流程图。识别部9在每次由成像部4捕获短曝光图像和长曝光图像时执行图5所示的处理。
[0078]
具体地说，一旦由成像部4捕获了短曝光图像和长曝光图像，识别部9从成像部4获
取短曝光图像的图像数据(步骤s101)，并且对短曝光图像的图像数据执行dnn处理(步骤s102)。
[0079]
此外，识别部9与步骤s101、s102的处理并行地从成像部4获取长曝光图像的图像数据(步骤s103)，并且对长曝光图像的图像数据执行dnn处理(步骤s104)。
[0080]
然后，识别部9基于作为对短曝光图像的图像数据执行的dnn处理的结果的对象识别结果信息d1和作为对长曝光图像的图像数据执行的dnn处理的结果的对象识别结果信息d2来识别对象(步骤s105)。
[0081]
此后，识别部9经由通信i/f 8向ap 3输出作为对象识别结果的最终识别结果信息d3(步骤s106)。然后，识别部9根据包括在识别结果信息d1和识别结果信息d2中的dnn分数来调节要由成像部4捕获的图像的曝光时间(步骤s107)，并且结束处理。
[0082]
[1
‑
5.图像识别装置的第一变型例]
[0083]
接下来，将描述图像识别装置1的第一变型例。根据第一变型例的图像识别装置与图1所示的图像识别装置1的不同之处在于，识别部未包括两个dnn部(即第一dnn部91和第二dnn部92)，而是包括一个dnn部，并且该识别装置的其他配置与图1所示的图像识别装置的配置相似。
[0084]
因此，将不重复描述根据第一变型例的图像识别装置的整个配置，并且将参考图6描述根据第一变型例的图像识别装置的操作。此外，这里，与图2中所示的部件相同的部件由与图2中所示的部件相同的附图标记表示，并且将省略重复描述。
[0085]
图6是根据本公开的第一实施例的图像识别装置1的第一变型例的操作的示图。如图6所示，根据第一变型例的dnn部90按照成像的顺序从成像部4获取短曝光图像和长曝光图像。
[0086]
然后，dnn部90通过按照获取在一帧时段内捕获的短曝光图像和长曝光图像的图像数据的顺序按时间序列执行dnn处理来识别对象。然后，dnn部90经由通信i/f 8向ap 3顺序地输出识别结果信息d1以及识别结果信息d2，该识别结果信息d1通过对短曝光图像的图像数据执行dnn处理而得，识别结果信息d2通过对长曝光图像的图像数据执行dnn处理而得。
[0087]
如上所述，由于根据第一变型例的图像识别装置从未包括伪影的hdr组合之前的短曝光图像和长曝光图像的图像数据识别对象，因此可以提高识别在一帧图像中捕获的对象的精度。
[0088]
此外，在根据第一变型例的图像识别装置中，由于识别部包括一个dnn部90，因此可以简化电路配置，从而可以降低制造成本。此外，在根据第一变型例的图像识别装置中，由于dnn部90只需要使用一种类型的dnn，因此可以减少设计dnn所需的劳动、时间、以及成本。
[0089]
[1
‑
6.1
‑
5.图像识别装置的第二变型例]
[0090]
接下来，将描述图像识别装置1的第二变型例。在根据第二变型例的图像识别装置中，成像部中的光接收部的配置不同于图1所示的图像识别装置1，其他配置类似于图1所示的图像识别装置的配置。
[0091]
因此，将不重复描述根据第二变型例的图像识别装置的整个配置，将参考图7描述根据第二变型例的光接收部41a的配置，并且将参考图8描述根据第二变型例的图像识别装
置的操作。此外，这里，与图2中所示的部件相同的部件由与图2中所示的部件相同的附图标记表示，并且将省略重复描述。
[0092]
图7是包括在根据本公开的第一实施例的图像识别装置的第二变型例中的光接收部41a的示图。图8是根据第一实施例的图像识别装置的操作的示图。注意，图7示出了光接收部41a的平面图和光接收部41a的光接收区域40中由虚线包围的部分的放大图。
[0093]
如图7所示，光接收部41a包括：小光接收元件43，作为具有相对小的光接收面积的光电转换元件；以及大光接收元件44，作为具有相对大的光接收面积的光电转换元件。在光接收部41a中，例如，小光接收元件43和大光接收元件44在纵向和横向方向上交替布置。
[0094]
由于小光接收元件43和大光接收元件44具有不同的光接收面积，所以当进行相同时间段的曝光时，经受光电转换和积累的电荷量不同。即，在曝光时间相同的情况下，小光接收元件43比大光接收元件44积累更少的电荷。
[0095]
利用光接收部41a，可以捕获单次拍摄hdr图像，该图像能够在一次曝光中同时地捕获模拟以一组小光接收元件43作为像素获得的短曝光图像的第一图像和模拟以一组大光接收元件44作为像素获得的长曝光图像的第二图像。
[0096]
结果，如图8所示，在根据第二变型例的图像识别装置中，可以将包括在由成像部在一帧时段内捕获的单次拍摄hdr图像中的第一图像输入到第一dnn部91，同时可以将第二图像输入到第二dnn部92。结果，第一dnn部91和第二dnn部92可以同时开始dnn处理并且同时地结束dnn处理。
[0097]
因此，识别结果确定部93不需要等待直到输入第一dnn部91的识别结果信息d1然后输入第二dnn部92的识别结果信息d2，就像在以时间间隔捕获短曝光图像和长曝光图像的情况下那样。
[0098]
因此，识别结果确定部93可以缩短导出最终识别结果信息d3所需的时间。注意，在导出最终识别结果信息d3之后，与图2所示的图像识别装置1的操作类似，根据第二变型例的图像识别装置经由通信i/f 8将最终识别结果信息d3输出到ap 3。
[0099]
此外，与图1所示的图像识别装置1类似，根据第二变型例的图像识别装置从未包括伪影的hdr组合之前的第一图像和第二图像的图像数据中识别对象。因此，可以提高识别在一帧图像中捕获的对象的精度。
[0100]
(2.第二实施例)
[0101]
接下来，将参考图9描述根据第二实施例的图像识别装置1a。图9是示出根据本公开的第二实施例的图像识别装置1a的配置的实例的图。注意，这里，在图9所示的部件中，与图1所示的部件相同的部件由与图1所示的部件相同的附图标记表示，并且将省略其详细描述。
[0102]
如图9所示，根据第二实施例的图像识别装置1a与图1所示的图像识别装置1的不同之处在于，cis 2a未包括识别部9，而ap 3包括识别部9，该cis 2a其他配置与图1所示的图像识别装置1的配置相同。
[0103]
cis 2a的成像部4捕获短曝光图像和长曝光图像，将短曝光图像和长曝光图像的图像数据输出到hdr组合部5，并且还通过通信i/f 8将图像数据输出到ap 3。
[0104]
hdr组合部5将通过对短曝光图像和长曝光图像的图像数据进行hdr组合而生成的hdr图像输出到存储器6。存储器6存储从hdr组合部5输入的hdr图像。图像输出部7从存储器
6读取hdr图像的图像数据，并且仅当从ap 3接收到获取hdr图像的请求时才将图像数据输出到ap 3。
[0105]
ap 3a的识别部9执行与根据第一实施例的识别部9类似的处理。具体地，第一dnn部91通过对经由通信i/f 32从cis 2a输入的短曝光图像的图像数据执行dnn处理来识别短曝光图像中的对象，并且将对象识别结果信息d1输出到识别结果确定部93。
[0106]
第二dnn部92通过对经由通信i/f 32从cis 2a输入的长曝光图像的图像数据执行dnn处理来识别长曝光图像中的对象，并且将对象识别结果信息d2输出到识别结果确定部93。
[0107]
识别结果确定部93基于从第一dnn部91输入的识别结果信息d1和从第二dnn部92输入的识别结果信息d2来识别在一帧的图像中捕获的对象。
[0108]
例如，识别结果确定部93导出包括具有预定值以上的dnn分数的对象和该对象的dnn分数的最终识别结果信息d3。然后，识别结果确定部93将最终识别结果信息d3输出到ap控制部31。ap控制部31对由识别部9识别的对象执行根据图像识别装置1的应用的处理。
[0109]
同样在根据第二实施例的图像识别装置1a中，识别部9从未包括伪影的hdr组合之前的短曝光图像和长曝光图像的每个图像数据中识别对象，并且基于识别结果识别在一帧图像中捕获的对象。
[0110]
结果，与从可以包括伪影的hdr图像识别对象的情况相比，图像识别装置1a可以提高识别对象的精度。注意，根据第二实施例的识别部9的配置不限于图9所示的配置。
[0111]
此外，由于图像识别装置1a以具有比cis 2a更高的信息处理能力的ap 3a通常执行dnn处理的方式识别对象，因此可以缩短从捕获图像到导出对象识别结果所需的时间。
[0112]
例如，根据第二实施例的识别部9可以具有类似于根据第一实施例的第一变型例的识别部的配置。此外，根据第二实施例的光接收部41可以具有与根据第一实施例的第二变型例的光接收部41a的配置相似的配置。
[0113]
(3.移动体的应用实例)
[0114]
根据本公开的技术(本技术)可以应用于各种产品。例如，根据本公开的技术可以被实现为安装在诸如车辆、电动车辆、混合动力车辆、摩托车、自行车、个人移动装置、飞机、无人机、船舶、以及机器人等移动体中的任何一者中的装置。
[0115]
图10是示出车辆控制系统的示意性配置的实例的框图，该车辆控制系统是作为可应用根据本公开的实施方式的技术的移动体控制系统的实例。
[0116]
车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图10所示出的实例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040以及集成控制单元12050。此外，微型计算机12051、声音/图像输出部12052、车载网络接口(i/f)12053作为集成控制单元12050的功能配置而示出。
[0117]
驱动系统控制单元12010根据各种程序对与车辆的驱动系统相关的装置的工作进行控制。例如，驱动系统控制单元12010用作控制装置来控制：用于生成车辆的驱动力的驱动力生成装置，诸如内燃机、驱动电机等，用于将驱动力传递至车轮的驱动力传递机构，用于调节车辆的转向角的转向机构，以及用于生成车辆的制动力的制动装置等。
[0118]
车身系统控制单元12020根据各种程序对车身所配置的各种类型的装置的操作进
行控制。例如，车身系统控制单元12020用作控制装置来控制下列项：无钥匙进入系统、智能钥匙系统、电动车窗装置，或前照灯、倒车灯、制动灯、转向灯、雾灯等各种灯。在这种情况下，车身系统控制单元12020可接收来自替代钥匙的移动装置所传输的无线电波或者各种开关的信号作为输入。车身系统控制单元12020接收这些输入的无线电波或信号，以控制车辆的门锁装置、电动车窗装置、灯等。
[0119]
车外信息检测单元12030检测配有车辆控制系统12000的车辆的外部的信息。例如，车外信息检测单元12030连接有成像部12031。车外信息检测单元12030使成像部12031成像车辆外部的图像，并且接收所成像的图像。基于所接收的图像，车外信息检测单元12030可执行检测对象(诸如路面上的人、车辆、障碍物、标志、符号等)的处理，或者执行检测到对象的距离的处理。
[0120]
成像部12031是接收光并且输出与所接收的光的光量相对应的电信号的光学传感器。成像部12031能够输出作为图像的电信号，或者能够输出作为关于所测量距离的信息的电信号。此外，由成像部12031接收的光可以是可见光，或者可以是诸如红外线等的不可见光。
[0121]
车内信息检测单元12040检测关于车辆内部的信息。车内信息检测单元12040可以连接有检测驾驶员的状态的驾驶员状态检测部12041。驾驶员状态检测部12041例如包括捕获驾驶员的相机。基于从驾驶员状态检测部12041输入的检测信息，车内信息检测单元12040可计算驾驶员的疲劳程度或驾驶员的注意力集中程度，或者可辨别驾驶员是否在打瞌睡。
[0122]
微型计算机12051能够基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆内部或外部的信息，计算用于驱动力生成装置、转向机构或制动装置的控制目标值，并且向驱动系统控制单元12010输出控制命令。例如，微型计算机12051能够执行旨在实现高级驾驶员辅助系统(adas)的功能的协同控制，该功能包括用于车辆的碰撞回避或撞击缓冲、基于车间距离的跟随驾驶、车速保持驾驶、车辆碰撞的警报、车辆偏离车道的警报等。
[0123]
此外，微型计算机12051，可通过基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆外部或内部的信息以控制驱动力生成装置、转向机构、制动装置，从而执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。
[0124]
此外，微型计算机12051能够基于由车外信息检测单元12030获得的关于车辆外部的信息向车身系统控制单元12020输出控制命令。例如，微型计算机12051，可基于由车外信息检测单元12030检测的前方车辆或迎面车辆的位置来控制前照灯，将其从远光改变为近光，从而执行旨在通过控制前照灯来防止眩光的协同控制。
[0125]
声音/图像输出部12052将声音和图像中的至少一者的输出信号传输至输出装置，该输出装置能够向车辆的乘客或车辆外部以视觉或听觉方式通知信息。在图10的实例中，音频扬声器12061、显示部12062和仪表面板12063作为输出装置而示出。显示部12062可例如包括车载显示器和平视显示器中的至少一个。
[0126]
图11是示出成像部12031的安装位置的实例的示图。
[0127]
在图11中，成像部12031包括成像部12101、12102、12103、12104和12105。
[0128]
成像部12101、12102、12103、12104和12105可以被布置在车辆12100的前鼻、侧视
镜、后保险杠、后门以及车辆内部的挡风玻璃的上部的位置处。布置在前鼻的成像部12101以及布置在车辆内部的挡风玻璃的上部的成像部12105主要获得车辆12100的前方的图像。布置在侧视镜的成像部12102和12103主要获得车辆12100的侧面的图像。布置在后保险杠或后门的成像部12104主要获得车辆12100的后方的图像。布置在车辆内部的挡风玻璃的上部的成像部12105主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。
[0129]
顺便提及，图11示出成像部12101～12104的捕获范围的实例。成像范围12111表示布置在前鼻的成像部12101的成像范围。成像范围12112和12113分别表示布置在侧视镜的成像部12102和12103的成像范围。成像范围12114表示布置在后保险杠或后门的成像部12104的成像范围。例如，通过叠加由成像部12101～12104成像的图像数据能够获得从上方观察的车辆12100的鸟瞰图像。
[0130]
成像部12101～12104中的至少一个可具有获得距离信息的功能。例如，成像部12101～12104中的至少一个可以是由多个成像元件组成的立体相机，或者可以是具有用于相位差检测的像素的成像元件。
[0131]
例如，微型计算机12051能够基于从成像部12101～12104获得的距离信息，确定到成像范围12111～12114内的每个三维对象的距离以及该距离的时间变化(相对于车辆12100的相对速度)，并且由此提取最近三维对象作为前方车辆，该最近三维对象具体存在于车辆12100的行驶路径上并且以预定速度(例如，等于或大于0公里/小时)在与车辆12100基本相同的方向上行驶。此外，微型计算机12051能够预先设置要保持的距前方车辆的跟随距离，并且执行自动制动控制(包括跟随的停车控制)、自动加速度控制(包括跟随的起动控制)等。因此，能够执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。
[0132]
例如，微型计算机12051能够基于从成像部12101～12104获得的距离信息，将关于三维对象的三维对象数据分类为二轮车辆、标准尺寸车辆、大型车辆、行人、电线杆以及其他三维对象的三维对象数据，提取所分类的三维对象数据，以用于障碍物的自动回避。例如，微型计算机12051辨别车辆12100周围的障碍物是车辆12100的驾驶员能视觉识别的障碍物，还是对于车辆12100的驾驶员难以视觉识别的障碍物。于是，微型计算机12051确定碰撞风险，该碰撞风险指示与每个障碍物发生碰撞的风险。在碰撞风险等于或高于设定值存在碰撞的可能性的情况下，微型计算机12051经由音频扬声器12061或显示部12062向驾驶员输出警报，并且经由驱动系统控制单元12010执行强制减速或回避转向。由此微型计算机12051能够协助驾驶以避免碰撞。
[0133]
成像部12101～12104中的至少一个可以是检测红外线的红外相机。例如，微型计算机12051能够通过确定在成像部12101～12104的成像图像中是否存在行人来识别行人。这种行人识别例如由下列程序执行：提取作为红外相机的成像部12101～12104的成像图像中的特性点的程序，以及通过在表示对象轮廓的一系列特性点上执行图案匹配处理来确定是否是行人的程序。当微型计算机12051确定在成像部12101～12104的成像图像中存在行人并且因此识别到行人时，声音/图像输出部12052控制显示部12062，使其显示叠加在所识别的行人用于强调所识别的行人的方形轮廓线。声音/图像输出部12052还可控制显示部12062，使其在期望的位置处显示表示行人的图标等。
[0134]
以上，描述了可以应用根据本公开的技术的车辆控制系统的实例。根据本公开的技术可以应用于例如上述配置中的车外信息检测单元12030、成像部12031、车内信息检测
单元12040、驾驶员状态检测部12041等。例如，图1中的图像识别装置1可以应用于车内信息检测单元12040和驾驶员状态检测部12041。通过将根据本公开的技术应用到车内信息检测单元12040和驾驶员状态检测部12041，提高了将驾驶员识别为对象时的精度，从而可以更精确地检测疲劳程度、集中程度、驾驶员是否打瞌睡等。
[0135]
(4.效果)
[0136]
图像识别装置1包括成像部4和识别部9。成像部4在一帧时段内捕获具有不同灵敏度的多个图像以生成图像数据。识别部9从每个图像数据中识别对象，并且基于识别对象的结果识别在一帧的图像中捕获的对象。结果，图像识别装置1通过从未包括伪影的hdr组合之前的图像数据中识别对象，可以提高识别对象的精度。
[0137]
此外，图像识别装置1包括cis 2，该cis 2作为包括成像部4和识别部9的固态成像装置的实例。结果，在图像识别装置1中，可以在cis2内部执行对象的识别，而无需将图像数据从cis 2输出到外部。因此，图像识别装置1可以降低cis 2的功耗，并且保护对象的隐私和安全。
[0138]
此外，图像识别装置1a包括：cis 2a，该cis 2a作为包括成像部4的固态成像装置的实例；以及ap 3a，该ap 3a作为包括识别部9的处理器的实例。结果，图像识别装置1a可以提高识别对象的精度，并进一步缩短导出对象识别结果所需的时间。
[0139]
此外，识别部9通过执行使用深度神经网络(dnn)的dnn处理，从每个图像数据中识别对象。结果，识别部9可以导出高度可靠的对象识别结果。
[0140]
此外，识别部9通过对在时间序列中的一帧时段中捕获的多个图像的图像数据执行dnn处理来识别对象。识别部9可以通过使用一种类型的dnn从多个图像中识别对象。结果，图像识别装置1可以减少设计用于识别对象的dnn所需的劳动、时间、以及成本。
[0141]
此外，识别部9通过并行地对在一帧时段内捕获的多个图像的图像数据执行dnn处理来识别对象。结果，识别部9可以缩短对象识别处理所需的时间。
[0142]
此外，识别部9通过执行使用专用于具有不同灵敏度的每个图像的dnn的dnn处理来识别对象。结果，图像识别装置1能够高精度地识别在具有与hdr图像的动态范围等效的动态范围的图像中捕获的对象。
[0143]
另外，成像部4捕获具有不同曝光时间的多个图像。结果，图像识别装置1能够高精度地识别对象，该对象在具有与hdr图像的动态范围等效的动态范围的图像中捕获。
[0144]
此外，识别部9根据对象识别结果的精度调节成像部4的曝光时间。结果，图像识别装置1通过从以适于识别对象的曝光时间捕获的图像中识别对象，还可以提高对象识别结果。
[0145]
此外，识别部9重复成像部4的曝光时间的调节，直到对象识别结果的精度收敛到最大值。结果，图像识别装置1通过从以对对象的识别最优的曝光时间捕获的图像中识别对象，还可以提高对象识别结果。
[0146]
此外，成像部4通过设置在光接收区域40中并且具有不同光接收面积的光接收元件的小光接收元件43和大光接收元件44，来捕获多个图像。结果，图像识别装置1能够以高精度识别在具有与hdr图像的动态范围等效的动态范围的图像中捕获的对象。
[0147]
cis 2(作为固态成像装置的实例)包括：成像部4和识别部9。成像部4在一帧时段内捕获具有不同灵敏度的多个图像以生成图像数据。识别部9从每个图像数据中识别对象，
并且基于识别对象的结果识别在一帧的图像中捕获的对象。结果，cis 2通过从未包括伪影的hdr组合之前的图像数据中识别对象，可以提高识别对象的精度。
[0148]
在图像识别方法中，在一帧时段内捕获具有不同灵敏度的多个图像以生成图像数据；从每个图像数据中识别对象，并且基于识别对象的结果来识别在一帧图像中捕获的对象。结果，利用该图像识别方法，通过从未包括伪影的hdr组合之前的图像数据中识别对象，可以提高识别对象的精度。
[0149]
注意，在本说明书中描述的每个实施例中的效果仅仅是实例。本公开的效果不限于此，并且可以获得其他效果。
[0150]
注意，本技术也可以具有以下配置。
[0151]
(1)一种图像识别装置，包括：
[0152]
成像部，在一帧时段内捕获具有不同灵敏度的多个图像以生成图像数据；以及
[0153]
识别部，从每个图像数据中识别对象，并且基于识别对象的结果识别在一帧图像中捕获的对象。
[0154]
(2)根据(1)的图像识别装置，其中，该图像识别装置包括：
[0155]
固态成像装置，包括成像部和识别部。
[0156]
(3)根据(1)的图像识别装置，其中，该图像识别装置包括：
[0157]
固态成像装置，包括成像部；以及
[0158]
处理器，包括识别部。
[0159]
(4)根据(1)至(3)中任一项的图像识别装置，其中
[0160]
识别部通过执行使用深度神经网络dnn的dnn处理来从每个图像数据中识别对象。
[0161]
(5)根据(4)的图像识别装置，其中
[0162]
识别部通过按时间序列对在一帧时段内捕获的多个图像的图像数据执行dnn处理来识别对象。
[0163]
(6)根据(4)的图像识别装置，其中
[0164]
识别部通过并行地对在一帧时段内捕获的多个图像的图像数据执行dnn处理来识别对象。
[0165]
(7)根据(4)至(6)中任一项的图像识别装置，其中
[0166]
识别部通过执行使用专用于具有不同灵敏度的每个图像的dnn的dnn处理来识别对象。
[0167]
(8)根据(1)至(7)中任一项的图像识别装置，其中
[0168]
成像部捕获具有不同曝光时间的多个图像。
[0169]
(9)根据(8)的图像识别装置，其中
[0170]
识别部根据识别对象的结果的可靠性水平来调节成像部的曝光时间。
[0171]
(10)根据(9)的图像识别装置，其中
[0172]
识别部重复地对成像部的曝光时间进行调节，直到识别对象的结果的可靠性水平收敛到最大值为止。
[0173]
(11)根据(1)至(10)中任一项的图像识别装置，其中
[0174]
成像部通过设置在光接收区域中并且具有不同光接收面积的多个光接收元件捕获多个图像。
[0175]
(12)一种固态成像装置，包括：
[0176]
成像部，在一帧时段内捕获具有不同灵敏度的多个图像以生成图像数据；以及
[0177]
识别部，从每个图像数据中识别对象，并且基于识别对象的结果识别在一帧图像中捕获的对象。
[0178]
(13)一种图像识别方法，包括：
[0179]
在一帧时段内捕获具有不同灵敏度的多个图像以生成图像数据；并且
[0180]
从每个图像数据中识别对象，并且基于识别对象的结果识别在一帧图像中捕获的对象。
[0181]
附图标记列表
[0182]
1、1a图像识别装置
[0183]
2、2acis
[0184]
3、3aap
[0185]
31ap控制部
[0186]
32通信i/f
[0187]
4成像部
[0188]
40光接收区域
[0189]
41、41a光接收部
[0190]
42读取部
[0191]
43小光接收元件
[0192]
44大光接收元件
[0193]
5hdr组合部
[0194]
6存储器
[0195]
7图像输出部
[0196]
8通信i/f
[0197]
9识别部
[0198]
90dnn部
[0199]
91第一dnn部
[0200]
92第二dnn部
[0201]
93识别结果确定部。