图像处理器、图像处理方法和摄像设备与流程

图像处理器、图像处理方法和摄像设备
1.本技术是申请日为2019年1月29日、发明名称为“图像处理器、图像处理方法和摄像设备”的申请号为201980007286.7的专利申请的分案申请。
技术领域
2.本公开涉及用于执行图像处理的图像处理器、图像处理方法和包括该图像处理器的摄像设备。


背景技术：

3.在摄像设备中，基于由红色、绿色和蓝色的光电转换器转换的电信号产生拍摄图像。例如，专利文献1公开了堆叠在一个像素区域中的红色、绿色和蓝色的光电转换器。
4.参考文献列表
5.专利文献
6.专利文献1：日本未经审查的公开号为2011-138927的专利申请


技术实现要素：

7.顺便提及，在摄像设备中，期望高图像质量的拍摄图像，并且期待图像质量的进一步改善。
8.期望提供可以提高拍摄图像的图像质量的图像处理器、图像处理方法和摄像设备。
9.根据本公开的一实施例的图像处理器包括图像分割处理部、插值处理部和合成处理部。所述图像分割处理部被构造为基于包括多个像素值的第一图像图谱数据(image map data)产生多个第一图谱数据。所述多个第一图谱数据具有彼此不同的像素值排列图案，并包括位于不同位置处的像素值。所述插值处理部被构造成通过以下方式产生与所述多个第一图谱数据相对应的多个第二图谱数据：利用插值处理，确定所述多个第一图谱数据的每者中不存在像素值的位置处的像素值。所述合成处理部被构造成通过以下方式产生第三图谱数据：基于所述多个第二图谱数据中彼此相对应的位置处的像素值，产生与所述彼此相对应的位置相对应的位置处的像素值。
10.根据本公开的一实施例的图像处理方法包括：图像分割处理：基于包括多个像素值的第一图像图谱数据产生多个第一图谱数据，所述多个第一图谱数据具有彼此不同的像素值排列图案，并包括位于彼此不同的位置处的像素值；插值处理：通过利用插值处理确定所述多个第一图谱数据的每者中不存在像素值的位置处的像素值，确定与所述多个第一图谱数据相对应的多个第二图谱数据；以及合成处理：通过基于所述多个第二图谱数据中彼此相对应的位置处的像素值产生与所述彼此相对应的位置相对应的位置处的像素值，产生第三图谱数据。
11.根据本公开的一实施例的摄像设备包括摄像部、图像分割处理部、插值处理部和合成处理部。所述摄像部产生包括多个像素值的第一图像图谱数据。所述图像分割处理部
被构造为基于包括多个像素值的第一图像图谱数据产生多个第一图谱数据。所述多个第一图谱数据具有彼此不同的像素值排列图案，并包括位于不同位置处的像素值。所述插值处理部被构造成通过以下方式产生与所述多个第一图谱数据相对应的多个第二图谱数据：利用插值处理，确定所述多个第一图谱数据的每者中不存在像素值的位置处的像素值。所述合成处理部被构造成通过以下方式产生第三图谱数据：基于所述多个第二图谱数据中彼此相对应的位置处的像素值，产生与所述彼此相对应的位置相对应的位置处的像素值。
12.此处，“摄像设备”不只限于所谓的图像传感器，并且包括诸如数码相机和智能手机等具有摄像功能的电子设备。
13.在根据本公开的实施例的图像处理器、图像处理方法和摄像设备中，通过图像分割处理基于第一图像图谱数据产生多个第一图谱数据。多个第一图谱数据具有彼此不同的像素值排列图案，并包括位于彼此不同的位置处的像素值。随后，通过插值处理基于多个第一图谱数据的每者产生多个第二图谱数据。通过利用插值处理确定多个第一图谱数据的每者中不存在像素值的位置处的像素值来产生多个第二图谱数据。随后，利用合成处理基于多个第二图谱数据产生第三图谱数据。通过基于多个第二图谱数据中彼此相对应的位置处的像素值产生在与上述位置相对应的位置处的像素值来产生第三图谱数据。
14.根据本公开的实施例的图像处理器、图像处理方法和摄像设备，基于第一图像图谱数据产生具有彼此不同的像素值排列图案并包括位于彼此不同的位置处的像素值的多个第一图谱数据，通过利用插值处理确定在多个第一图谱数据的每者中不存在像素值的位置处的像素值来产生多个第二图谱数据，并且通过基于多个第二图谱数据中彼此相对应的位置处的像素值产生与上述位置相对应的位置处的像素值来产生第三图谱数据，从而可以提高拍摄图像的图像质量。应当注意，不限于此处说明的效果，而是可以包括本公开中说明的任意效果。
附图说明
15.图1是示出根据本公开的第一实施例的摄像设备的构造示例的框图。
16.图2是示出图1所示的摄像部的构造示例的框图。
17.图3是示出图2所示的摄像像素的构造示例的示意图。
18.图4是示出图2所示的摄像像素的构造示例的示意图。
19.图5是示出图1所示的图像处理部的操作示例的流程图。
20.图6是示出图1所示的图像处理部的操作示例的解释图。
21.图7是示出图6所示的图像图谱数据的示例的解释图。
22.图8a是示出图6所示的图谱数据的示例的另一解释图。
23.图8b是示出图6所示的图谱数据的示例的另一解释图。
24.图9a是示出图6所示的图谱数据的示例的另一解释图。
25.图9b是示出图6所示的图谱数据的示例的另一解释图。
26.图10是示出图6所示的图谱数据的示例的另一解释图。
27.图11是示出根据变形例的图像处理部的操作示例的解释图。
28.图12a是示出根据另一变形例的图谱数据的示例的另一解释图。
29.图12b是示出根据另一变形例的图谱数据的示例的另一解释图。
30.图13a是示出根据另一变形例的图谱数据的示例的另一解释图。
31.图13b是示出根据另一变形例的图谱数据的示例的另一解释图。
32.图14a是示出根据另一变形例的图谱数据的示例的另一解释图。
33.图14b是示出根据另一变形例的图谱数据的示例的另一解释图。
34.图15a是示出根据另一变形例的图谱数据的示例的另一解释图。
35.图15b是示出根据另一变形例的图谱数据的示例的另一解释图。
36.图16a是示出根据另一变形例的图谱数据的示例的另一解释图。
37.图16b是示出根据另一变形例的图谱数据的示例的另一解释图。
38.图17a是示出根据另一变形例的图谱数据的示例的另一解释图。
39.图17b是示出根据另一变形例的图谱数据的示例的另一解释图。
40.图18a是示出根据另一变形例的图谱数据的示例的另一解释图。
41.图18b是示出根据另一变形例的图谱数据的示例的另一解释图。
42.图18c是示出根据另一变形例的图谱数据的示例的另一解释图。
43.图19a是示出根据另一变形例的图谱数据的示例的另一解释图。
44.图19b是示出根据另一变形例的图谱数据的示例的另一解释图。
45.图19c是示出根据另一变形例的图谱数据的示例的另一解释图。
46.图20是示出根据另一变形例的图谱数据的示例的另一解释图。
47.图21是示出根据另一变形例的摄像设备的构造示例的框图。
48.图22是示出图21所示的图像处理部的操作示例的解释图。
49.图23a是示出图21所示的图像处理部的操作示例的解释图。
50.图23b是示出图21所示的图像处理部的操作示例的解释图。
51.图23c是示出图21所示的图像处理部的操作示例的解释图。
52.图24是示出根据另一变形例的图像处理部的操作示例的解释图。
53.图25是示出根据另一变形例的摄像设备的构造示例的框图。
54.图26是示出图25所示的图像处理部的操作示例的解释图。
55.图27是示出根据第二实施例的摄像设备的构造示例的框图。
56.图28是示出图27所示的摄像部中摄像像素的构造示例的解释图。
57.图29是示出图27所示的摄像部中摄像像素的构造示例的示意图。
58.图30是示出图27所示的图像处理部的操作示例的示意图。
59.图31是示出根据第三实施例的摄像设备的构造示例的框图。
60.图32是示出图31所示的摄像部中摄像像素的构造示例的解释图。
61.图33是示出图31所示的摄像部中摄像像素的构造示例的示意图。
62.图34是示出图31所示的图像处理部的操作示例的解释图。
63.图35是示出根据变形例的摄像设备的构造示例的框图。
64.图36是示出图35所示的图像处理部的操作示例的解释图。
65.图37是示出根据第四实施例的摄像设备的构造示例的框图。
66.图38是示出图37所示的摄像部中摄像像素的构造示例的解释图。
67.图39是示出图37所示的摄像部中摄像像素的构造示例的示意图。
68.图40是示出图37所示的图像处理部的操作示例的解释图。
69.图41是示出摄像设备的使用示例的解释图。
70.图42是示出体内信息采集系统的示意性构造示例的框图。
71.图43是示出内窥镜手术系统的示意性构造示例的视图。
72.图44是示出摄像机头和摄像机控制单元(ccu)的功能性构造示例的框图。
73.图45是示出车辆控制系统的示意性构造示例的框图。
74.图46是帮助解释车外信息检测部和摄像部的安装位置的示例图。
具体实施方式
75.下面参照附图详细说明本公开的实施例。应当注意，按照以下顺序说明：
76.1.第一实施例
77.2.第二实施例
78.3.第三实施例
79.4.第四实施例
80.5.摄像设备的使用示例
81.6.应用示例
82.《1.第一实施例》
83.[构造示例]
[0084]
图1示出根据第一实施例的包括图像处理器的摄像设备1的构造示例。应当注意，根据本实施例的实施方式的图像处理方法通过本实施例来实施，并一起说明。摄像设备1包括光学系统9、摄像部10和图像处理部20。
[0085]
例如，光学系统9包括在摄像部10的摄像面s上形成图像的透镜。
[0086]
摄像部10拍摄被摄体的图像，以产生图像信号dt和增益信号sgain。例如，使用cmos(互补金属氧化物半导体)图像传感器来构造摄像部10。
[0087]
图2示出摄像部10的构造示例。摄像部10包括像素阵列11、扫描部12、读出部13和摄像控制器14。
[0088]
像素阵列11包括布置成矩阵的多个摄像像素p。摄像像素p均包括被构造为接收红色(r)光的光电转换器、被构造为接收绿色(g)光的光电转换器和被构造为接收蓝色(b)光的光电转换器。
[0089]
图3示意性地示出摄像像素p的剖面构造。图3示意性地示出在图2所示的区域x中布置的四个摄像像素p之中的两个摄像像素p的截面构造。
[0090]
半导体基板100包括在与一个摄像像素p对应的像素区域中形成的两个光电二极管pdr和pdb。光电二极管pdr是被构造为接收红色(r)光的光电转换器，并且光电二极管pdb是被构造为接收蓝色(b)光的光电转换器。光电二极管pdr和光电二极管pdb以使光电二极管pdb位于摄像面s侧的方式形成并堆叠在半导体基板100中。通过使用光在半导体基板100中的吸收系数随着光的波长而不同的事实，光电二极管pdr和光电二极管pdb分别基于红色光和蓝色光执行光电转换。
[0091]
在半导体基板100的位于摄像面s侧的表面上形成有绝缘膜101。例如，使用二氧化硅(sio2)来构造绝缘膜101。随后，在绝缘膜101上依次形成有透明电极102、光电转换膜103g和透明电极104。透明电极102和104是允许红色光、绿色光和蓝色光通过的电极。光电
转换膜103g是被构造为接收绿色(g)光并允许红色光和蓝色光通过的光电转换膜。光电转换膜103g和透明电极102、104被包括在用于接收绿色(g)光的光电转换器中。在透明电极104上形成有片上透镜105。
[0092]
图4示意性地示出在图2所示的区域x中布置的四个摄像像素p中的光电转换器的位置。在摄像部10中，在对应于一个摄像像素p的像素区域中形成并堆叠有与绿色(g)有关的光电转换器、与蓝色(b)有关的光电转换器和与红色(r)有关的光电转换器。由此，每个摄像像素p可以在摄像部10中产生与红色有关的像素信号、与绿色有关的像素信号和与蓝色有关的像素信号。
[0093]
扫描部12基于来自摄像控制器14的指令例如以像素线为单位顺序地驱动像素阵列11中的多个摄像像素p，并且例如包括地址解码器。
[0094]
读出部13基于来自摄像控制器14的指令并基于从各个摄像像素p提供的像素信号执行ad转换，以生成图像信号dt。图像信号dt包括三个图像图谱数据mpg、mpb和mpr。图像图谱数据mpg包括一帧与绿色(g)有关的图像的像素值。图像图谱数据mpb包括一帧与蓝色(b)有关的图像的像素值。图像图谱数据mpr包括一帧与红色(r)有关的图像的像素值。每个像素值由具有多个位的数字代码表示。
[0095]
摄像控制器14将控制信号提供到扫描部12和读出部13以控制这些电路的操作，由此控制摄像部10的操作。此外，摄像控制器14还具有用于设置由读出部13执行的ad转换的转换增益gc的功能。具体地，在摄像部10拍摄阴暗被摄体的图像的情况下，摄像控制器14增加待执行的ad转换的转换增益gc，并且在摄像部10拍摄明亮被摄体的图像的情况下，摄像控制器14降低待执行的ad转换的转换增益gc。由此，摄像设备1可以拍摄具有各种亮度等级的被摄体的图像。此外，摄像控制器14还具有输出有关该转换增益gc的信息作为增益信号sgain的功能。
[0096]
图像处理部20(图1)基于图像信号dt和增益信号sgain执行图像处理。图像处理部20包括切换部21、图像分割处理部22、插值处理部23、合成处理部24和信号处理部25。
[0097]
切换部21基于由增益信号sgain表示的转换增益gc选择性地将图像信号dt提供到图像分割处理部22或图像处理部25。具体地，例如，切换部21在转换增益gc高于预定阈值gth的情况下将图像信号dt提供到图像分割处理部22，并且在转换增益gc低于预定阈值gth的情况下将图像信号dt提供到信号处理部25。由此，图像处理部20的图像分割处理部22、插值处理部23和合成处理部24在转换增益gc高于预定阈值gth的情况下执行处理，并且图像处理部20的图像分割处理部22、插值处理部23和合成处理部24在转换增益gc低于预定阈值gth的情况下不执行处理。
[0098]
图像分割处理部22基于经由切换部21从摄像部10提供的图像信号dt中包括的三个图像图谱数据mpg、mpb和mpr来执行图像分割处理a1，以产生六个图谱数据mg11、mg12、mb11、mb12、mr11和mr12。具体地，图像分割处理部22基于图像信号dt中包括的与绿色(g)有关的图像图谱数据mpg产生两个图谱数据mg11和mg12，如下文所述，图谱数据mg11和mg12具有彼此不同的像素值排列图案pat，并包括位于彼此不同的位置处的像素值。类似地，图像分割处理部22基于图像信号dt中包括的与蓝色(b)有关的图像图谱数据mpb产生两个图谱数据mb11和mb12，并基于图像信号dt中包括的与红色(r)有关的图像图谱数据mpr产生两个图谱数据mr11和mr12。因而，图像分割处理部22基于图像信号dt产生六个图谱数据mg11、
mg12、mb11、mb12、mr11和mr12。
[0099]
插值处理部23对从图像分割处理部22提供的六个图谱数据mg11、mg12、mb11、mb12、mr11和mr12分别执行插值处理a2，以产生六个图谱数据mg21、mg22、mb21、mb22、mr21和mr22。具体地，如下文所述，插值处理部23使用插值处理a2来确定与绿色(g)有关的图谱数据mg11中不存在像素值的位置处的像素值以产生图谱数据mg21，并使用插值处理a2确定与绿色(g)有关的图谱数据mg12中不存在像素值的位置处的像素值以产生图谱数据mg22。类似地，插值处理部23对与蓝色(b)有关的图谱数据mb11执行插值处理a2以产生图谱数据mb21，并且对与蓝色(b)有关的图谱数据mb12执行插值处理a2以产生图谱数据mb22。此外，插值处理部23对与红色(r)有关的图谱数据mr11执行插值处理a2以产生图谱数据mr21，并且对与红色(r)有关的图谱数据mr12执行插值处理a2以产生图谱数据mr22。
[0100]
合成处理部24基于从插值处理部23提供的六个图谱数据mg21、mg22、mb21、mb22、mr21和mr22执行合成处理a3，以产生三个图谱数据mg3、mb3和mr3。具体地，如下所述，合成处理部24基于与绿色(g)有关的两个图谱数据mg21和mg22产生图谱数据mg3。类似地，合成处理部24基于与蓝色(b)有关的两个图谱数据mb21和mb22产生图谱数据mb3，并且基于与红色(r)有关的两个图谱数据mr21和mr22中的彼此相对应的位置处的像素值产生与上述位置相对应的位置处的像素值以产生图谱数据mr3。接着，合成处理部24将三个图谱数据mg3、mb3和mr3作为图像信号dt2提供到图像处理部25。
[0101]
信号处理部25基于经过切换部21从合成处理部24提供的图像信号dt2或从摄像部10提供的图像信号dt执行预定信号处理。例如，预定信号处理包括白平衡调整、非线性转换、轮廓增强处理、图像尺寸转换等。随后，信号处理部25输出预定信号处理的处理结果作为图像信号dt3。
[0102]
利用这种构造，在拍摄阴暗被摄体的图像的情况下，增加摄像设备1中的转换增益gc；因此，执行图像分割处理a1、插值处理a2和合成处理a3。由此，可以增加摄像设备1中的拍摄图像的信噪比(s/n比)。此外，在摄像设备1拍摄明亮被摄体的图像的情况下，降低摄像设备1中的转换增益gc；因此，不执行图像分割处理a1、插值处理a2和合成处理a3。由此，可以提高摄像设备1的拍摄图像中的分辨率。
[0103]
此处，图像处理部20对应于本公开中的“图像处理器”的特定示例。图像分割处理部22对应于本公开中的“图像分割处理部”的特定示例。插值处理部23对应于本公开中“插值处理部”的特定示例。合成处理部24对应于本公开中的“合成处理部”的特定示例。信号处理部25对应于本公开中的“处理部”的特定示例。切换部21对应于本公开中的“处理控制器”的特定示例。
[0104]
[操作和作用]
[0105]
接下来，说明根据本实施例的摄像设备1的操作和作用。
[0106]
(整体操作概况)
[0107]
首先，参照图1说明摄像设备1的整体操作概况。摄像部10拍摄被摄体的图像，以产生图像信号dt和增益信号sgain。图像处理部20的切换部21基于由增益信号sgain表示的转换增益gc选择性地将图像信号dt提供到图像分割处理部22或图像处理部25。图像分割处理部22基于经由切换部21从摄像部10提供的图像信号dt中包括的三个图像图谱数据mpg、mpb和mpr执行图像分割处理a1，以产生六个图谱数据mg11、mg12、mb11、mb12、mr11和mr12。插值
处理部23对从图像分割处理部22提供的六个图谱数据mg11、mg12、mb11、mb12、mr11和mr12分别执行插值处理a2，以产生六个图谱数据mg21、mg22、mb21、mb22、mr21和mr22。合成处理部24基于从插值处理部23提供的六个图谱数据mg21、mg22、mb21、mb22、mr21和mr22执行合成处理a3，以产生三个图谱数据mg3、mb3和mr3。随后，合成处理部24将这三个图谱数据mg3、mb3和mr3作为图像信号dt2提供到信号处理部25。信号处理部25基于经过切换部21从合成处理部24提供的图像信号dt2或从摄像部10提供的图像信号dt来执行预定信号处理，以产生图像信号dt3。
[0108]
(详细操作)
[0109]
图5示出图像处理部20的操作示例。图像处理部20基于由增益信号sgain表示的转换增益gc来确定是否执行图像分割处理a1、插值处理a2和合成处理a3。下面详细说明该操作。
[0110]
首先，切换部21比较由增益信号sgain表示的转换增益gc和预定阈值gth(步骤s101)。在转换增益gc低于预定阈值gth(步骤s101中的“否”)的情况下，处理行进到步骤s105。
[0111]
在转换增益gc等于或高于预定阈值gth(g≥gth)(步骤s101中的“是”)的情况下，图像分割处理部22执行图像分割处理a1(步骤s102)，插值处理部23执行插值处理a2(步骤s103)，并且合成处理部24执行合成处理a3(步骤s104)。
[0112]
随后，信号处理部25执行预定信号处理(步骤s105)。即，信号处理部25在转换增益gc等于或高于预定阈值gth(步骤s101中的“是”)的情况下基于由合成处理a3产生的图像信号dt2来执行预定信号处理，并且在转换增益gc低于预定阈值gth(步骤s101中的“否”)的情况下基于由摄像设备10产生的图像信号dt来执行预定信号处理。
[0113]
因此，该流程结束。
[0114]
如上所述，图像处理部20在转换增益gc为高的情况下执行图像分割处理a1、插值处理a2和合成处理a3。此外，在转换增益gc为低的情况下，在摄像设备1中不执行图像分割处理a1、插值处理a2和合成处理a3。如下文所述，可以提高摄像设备1中拍摄图像的图像质量。
[0115]
接下来，参照特定操作示例详细说明图像分割处理a1、插值处理a2和合成处理a3。
[0116]
图6示意性地示出图像处理部20的图像分割处理a1、插值处理a2和合成处理a3的示例。
[0117]
(图像分割处理a1)
[0118]
图像分割处理部22基于从摄像部10提供的图像信号dt中包括的三个图像图谱数据mpg、mpb和mpr来执行图像分割处理a1，以产生六个图谱数据mg11、mg12、mb11、mb12、mr11和mr12。作为示例，下面详细说明对与绿色(g)有关的图像图谱数据mpg的图像分割处理a1。
[0119]
图7示意性地示出与绿色(g)有关的图像图谱数据mpg。图8a和图8b分别示意性地示出与绿色(g)有关的图谱数据mg11和mg12。在图8a和图8b中，阴影部分表示存在像素值的位置，并且无阴影部分表示不存在像素值的位置(无像素值)。
[0120]
图像信号dt中包括的图像图谱数据mpg(图7)包括一帧与绿色(g)有关的图像中的像素值。图6所示的图像图谱数据mpg的示例示意性地示出图7所示的区域x中的以两行两列布置的四个像素值。
[0121]
图像分割处理部22基于这种图像图谱数据mpg产生两个图谱数据mg11和mg12(图8a和图8b)，这两个图谱数据mg11和mg12具有彼此不同的像素值排列图案pat，并包括位于彼此不同的位置处的像素值。图谱数据mg11和mg12中的像素值排列图案pat是棋盘格图案(checkered pattern)，在棋盘格图案中，像素值在水平方向上(横向方向)和垂直方向(纵向方向)上彼此偏移一个像素。换句话说，在图谱数据mg11和mg12的棋盘格图案中，存在像素值的位置和不存在像素值的位置彼此相反，并且像素值布置在彼此不同的位置处。具体地，例如，在图谱数据mg11中，如图8a所示，在区域x的左上方和右下方存在像素值，并且在区域x的左下方和右上方不存在像素值。相反，在图谱数据mg12中，如图8b所示，在区域x的左下方和右上方存在像素值，并且在区域x的左上方和右下方不存在像素值。图6所示的每个图谱数据mg11和mg12的示例示意性地示出该区域x中的四个像素值。图谱数据mg11中每个位置处的像素值与图像图谱数据mpg中相对应位置处的像素值相同。类似地，图谱数据mg12中每个位置处的像素值与图像图谱数据mpg中相应位置处的像素值相同。
[0122]
图像分割处理部22基于图像图谱数据mpg执行图像分割处理a1，以产生这种图谱数据mg11和mg12。类似地，图像分割处理部22基于图像图谱数据mpb执行图像分割处理a1以产生图谱数据mb11和mb12，并且基于图像图谱数据mpr执行图像分割处理a1以产生图谱数据mr11和mr12。如图6所示，图谱数据mg11、mb11和mr11具有相同的排列图案pat，并且图谱数据mg12、mb12和mr12具有相同的排列图案pat。
[0123]
(插值处理a2)
[0124]
接下来，插值处理部23分别对通过图像分割处理a1产生的六个图谱数据mg11、mr12、mb11、mb12、mr11和mr12分别执行插值处理a2，以产生六个图谱数据mg21、mg22、mb21、mb22、mr21和mr22。作为示例，下文详细说明对与绿色(g)有关的图谱数据mg11和mg12(图8a和图8b)的插值处理a2。
[0125]
图9a和图9b分别示意性地示出与绿色(g)有关的图谱数据mg21和mg22。在图9a和图9b中，阴影部分表示在插值处理a2之前图谱数据mg11和mg12中存在像素值的位置，并且无阴影部分表示在插值处理a2之前图谱数据mg11和mg12中不存在像素值的位置和通过该插值处理a2产生像素值的位置。
[0126]
插值处理部23使用插值处理a2确定图8a所示的图谱图像mg11中不存在像素值的位置处的像素值以产生图9a所示的图谱数据mg21，并且使用插值处理a2确定图8b所示的图谱图像mg12中不存在像素值的位置处的像素值以产生图9b所示的图谱数据mg22。具体地，插值处理部23基于位于不存在像素值的位置的上一行、左一列、下一行和右一列中的像素值通过执行插值处理a2来确定该不存在像素值的位置处的像素值。即，在该示例中，插值处理a2的插值方法使用不存在像素值的位置的上方、下方、左侧和右侧的像素值。例如，在插值处理部23中，通过使用这四个像素值执行双线性插值，可以执行插值处理a2。应当注意，不限于该插值方法，可以使用诸如双三次插值和样条插值等各种已知插值方法。例如，在图谱数据mg21中，如图9a所示，插值处理部23通过插值处理a2产生区域x中的左下位置处的像素值，并且通过插值处理a2产生区域x中的右上位置处的像素值。类似地，在图谱数据mg22中，如图9b所示，插值处理部23通过插值处理a2产生区域x中的左上位置处的像素值，并且通过插值处理a2产生区域x中的右下位置处的像素值。在图9a和图9b中，“g'”表示通过插值处理a2产生的像素值。图6所示的每个图谱数据mg21和mg22的示例示意性地示出该区域x中
的四个像素值。
[0127]
插值处理部23对图谱数据mg11执行插值处理a2以产生这种图谱数据mg21，并且对图谱数据mg12执行插值处理a2以产生这种图谱数据mg22。类似地，插值处理部23对图谱数据mb11执行插值处理a2以产生图谱数据mb21，并且对图谱数据mb12执行插值处理a2以产生图谱数据mb22。此外，插值处理部23对图谱数据mr11执行插值处理a2以产生图谱数据mr21，并且对图谱数据mr12执行插值处理a2以产生图谱数据mr22。通过相同的插值方法产生六个图谱数据mg21、mg22、mb21、mb22、mr21和mr22。
[0128]
(合成处理a3)
[0129]
接下来，合成处理部24基于通过插值处理a2产生的六个图谱数据mg21、mg22、mb21、mb22、mr21和mr22执行合成处理a3以产生三个图谱数据mg3、mb3和mr3。作为示例，下面详细说明对图谱数据mg21和mg22(图9a和图9b)的合成处理a3。
[0130]
图10示意性地示出与绿色(g)有关的图谱数据mg3。合成处理部24基于两个图谱数据mg21和mg22中的彼此相对应的位置处的像素值产生与上述位置相对应的位置处的像素值，以产生图谱数据mg3。具体地，合成处理部24可以通过对两个图谱数据mg21和mg22中的彼此相对应的位置处的像素值求和产生图谱数据mg3中的所述位置处的像素值。例如，通过对图9a所示的图谱数据mg21的区域x中的左上像素值和图9b所示的图谱数据mg22的区域x中的左上像素值求和，合成处理部24产生图谱数据mg3的区域x中的左上像素值。类似地，合成处理部24通过对图谱数据mg21和mg22的区域x中的左下像素值求和产生图谱数据mg3的区域x中的左下像素值，通过对图谱数据mg21和mg22的区域x中的右上像素值求和产生图谱数据mg3的区域x中的右上像素值，并且通过对图谱数据mg21和mg22的区域x中的右下像素值求和产生图谱数据mg3的区域x中的右下像素值。在图10中，“2g”表示像素值通过合成处理a3变成图像图谱数据mpg中的像素值的大约两倍。图6所示的图谱数据mg3的示例示意性地示出该区域x中的像素值。
[0131]
合成处理部24基于图谱数据mg21和mg22执行合成处理a3以产生这种图谱数据mg3。类似地，合成处理部24基于图谱数据mb21和mb22执行合成处理a3以产生这种图谱数据mb3，并且基于图谱数据mr21和mr22执行合成处理a3以产生这种图谱数据mr3。图谱数据mb3中的像素值是图像图谱数据mpb中的像素值的大约两倍，并且图谱数据mr3中的像素值是图像图谱数据mpr中的像素值的大约两倍。
[0132]
如上所述，合成处理部24产生三个图谱数据mg3、mb3和mr3。随后，合成处理部24将三个图谱数据mg3、mb3和mr3作为图像信号dt2提供到信号处理部25。
[0133]
此处，图像图谱数据mpg、mpb和mpr分别对应于本公开中的“第一图像图谱数据”、“第二图像图谱数据”和“第三图像图谱数据”的特定示例。图谱数据mg11和mg12对应于本公开中的“多个第一图谱数据”的特定示例。图谱数据mg21和mg22对应于本公开中的“多个第二图谱数据”的特定示例。图谱数据mg3对应于本公开中的“第三图谱数据”的特定示例。图谱数据mb11和mb12对应于本公开中的“多个第四图谱数据”的特定示例。图谱数据mb21和mb22对应于本公开中的“第五图谱数据”的特定示例。图谱数据mb3对应于本公开中的“第六图谱数据”的特定示例。图谱数据mr11和mr12对应于本公开中的“多个第七图谱数据”的特定示例。图谱数据mr21和mr22对应于本公开中的“多个第八图谱数据”的特定示例。图谱数据mr3对应于本公开中的“第九图谱数据”的特定示例。
[0134]
如上所述，例如，在摄像设备1中，基于图像图谱数据mpg执行图像分割处理a1以产生图谱数据mg11和mg12，对这些图谱数据mg11和mg12分别执行插值处理a2以产生图谱数据mg21和mg22，并且基于这些图谱数据mg21和mg22执行合成处理a3以产生图谱数据mg3。这同样适用于图像图谱数据mpb和mpr。由此，可以提高摄像设备1的图谱数据mg3、mb3和mr3的信噪比(s/n比)。
[0135]
即，例如，通过对图谱数据mg21的区域x中的左上像素值和图谱数据mg22的区域x中的左上像素值求和，合成处理部24确定图谱数据mg3的区域x中的左上像素值。每个像素值具有信号分量和作为随机噪声的噪声分量。相应地，合成处理部24对图谱数据mg21的区域x中的左上像素值和图谱数据mg22的区域x中的左上像素值求和，以便将信号分量增加大约2倍并将噪声分量增加大约1.4倍。即，噪声分量是如上所述的随机噪声，并且图谱数据mg21的区域x中的左上像素值中包括的噪声分量和图谱数据mg22的区域x中的左上像素值中包括的噪声分量是相互独立的噪声分量；因此，噪声分量没有增加大约2倍而是增加大约1.4倍(2的平方根)。因而，在摄像设备1中，信号分量增加大约2倍并且噪声分量增加大约1.4倍，从而可以增加图谱数据mg3的信噪比(s/n比)。这同样适用于图谱数据mb3和mr3。因此可以提高摄像设备1中拍摄图像的图像质量。
[0136]
此外，在摄像设备1中，在图像分割处理a1中，像素值排列图案pat是棋盘格图案。相应地，如图8a和8b所示，不存在像素值的位置的上方、下方、左侧和右侧存在像素值；因此，通过执行插值处理a2，可以基于这四个像素值确定不存在像素值的位置处的像素值。如上所述，在摄像设备1中，可以基于上方、下方、左侧和右侧的像素值执行插值处理a2，由此使水平方向上的分辨率的降低和垂直方向上的分辨率的降低可以彼此基本上相等，并且抑制分辨率的降低。因此可以提高摄像设备1中拍摄图像的图像质量。
[0137]
此外，在摄像设备1中，在图像分割处理a1中，图谱数据mg11、mb11和mr11中的像素值排列图案pat彼此相同，并且图谱数据mg12、mb12和mr12中的像素值排列图案pat彼此相同。由此，图像分割处理部22可以通过相同方法基于三个图像图谱数据mpg、mpb和mpr来执行图像分割处理a1，与通过不同方法基于三个图像图谱数据mpg、mpb和mpr来执行图像分割处理a1的情况相比，可以简化图像分割处理部22的电路构造。
[0138]
此外，在摄像设备1中，在插值处理a2中，用于产生图谱数据mg21、mg22、mb21、mb22、mr21和mr22的插值方法彼此相同。由此，插值处理部23可以使用相同的插值方法产生六个图谱数据mg21、mg22、mb21、mb22、mr21和mr22，与使用不同的插值方法产生六个图谱数据mg21、mg22、mb21、mb22、mr21和mr22相比，可以简化插值处理部23的电路构造。
[0139]
此外，在摄像设备1中，在图像分割处理a1中，图谱数据mg11、mb11和mr11中的像素值排列图案pat彼此相同，并且图谱数据mg12、mb12和mr12中的像素值排列图案pat彼此相同。由此，可以抑制摄像设备1的拍摄图像中的伪色。即，例如，在基于位于不存在像素值的位置的上一行和下一行中的像素值执行插值处理a2以产生与绿色(g)有关的图谱数据mg21和mg22和基于位于不存在像素值的位置的左一列和右一列中的像素值执行插值处理a2以产生与蓝色相关的图谱数据mb21和mb22的情况下，插值处理a2中的插值方法根据颜色而不同，从而可以导致局部伪色。相反，在根据本实施例的摄像设备1中，在图像分割处理a1中，图谱数据mg11、mb11和mr11中的像素值排列图案pat彼此相同，并且图谱数据mg12、mb12和mr12中的像素值排列图案pat彼此相同。随后，在插值处理a2中，用于产生六个图谱数据
mg21、mg22、mb21、mb22、mr21和mr22的插值方法彼此相同。由此，可以降低摄像设备1中发生这种伪色的可能性。因此可以提高摄像设备1中拍摄图像的图像质量。
[0140]
此外，在摄像设备1中，可以控制是否执行图像分割处理、插值处理和合成处理，从而可以提高拍摄图像的图像质量。特别地，摄像设备1基于摄像部10中的转换增益gc来控制是否执行图像分割处理、插值处理和合成处理。具体地，在由增益信号sgain表示的转换增益gc高于预定阈值gth的情况下执行图像分割处理、插值处理和合成处理，并且在由增益信号sgain表示的转换增益gc低于预定阈值gth的情况下不执行图像分割处理、插值处理和合成处理。因而，例如，在摄像设备1拍摄阴暗被摄体的图像的情况下，转换增益gc增加；因此，执行图像分割处理a1、插值处理a2和合成处理a3。由此，可以提高摄像设备1的拍摄图像中的信噪比(s/n比)。即，在拍摄阴暗被摄体的图像的情况下，存在增大噪声的可能性；因此，通过执行图像分割处理a1、插值处理a2和合成处理a3，可以提高拍摄图像中的信噪比(s/n比)。此外，在摄像设备1拍摄明亮被摄体的图像的情况下，转换增益gc降低；因此，不执行图像分割处理a1、插值处理a2和合成处理a3。由此，可以提高摄像设备1的拍摄图像中的分辨率。即，在拍摄明亮被摄体的图像的情况下，产生较少的噪声，通过不执行图像分割处理a1、插值处理a2和合成处理a3，可以提高分辨率。因此，可以提高摄像设备1的拍摄图像的图像质量。
[0141]
[效果]
[0142]
如上所述，在本实施例中，执行图像分割处理、插值处理和合成处理，从而可以提高拍摄图像中的信噪比。由此，可以提高拍摄图像的图像质量。
[0143]
在本实施例中，在图像分割处理中，像素值排列图案是棋盘格图案，从而可以使水平方向上的分辨率的降低和垂直方向上的分辨率的降低基本上彼此相同，并且抑制分辨率的降低。由此，可以提高拍摄图像的图像质量。
[0144]
在本实施例中，在图像分割处理中，图谱数据mg11、mb11和mr11中的像素值排列图案彼此相同，并且图谱数据mg12、mb12和mr12中的像素值排列图案彼此相同，从而可以简化图像分割处理部的电路构造。
[0145]
在本实施例中，用于在插值处理中产生六个图谱数据的插值方法彼此相同，从而可以简化插值处理部的电路构造。
[0146]
在本实施例中，在图像分割处理中，图谱数据mg11、mb11和mr11中的像素值排列图案彼此相同，并且图谱数据mg12、mb12和mr12中的像素值排列图案彼此相同。此外，在插值处理中，用于产生六个图谱数据的插值方法彼此相同。由此，可以降低出现伪色的可能性，从而可以提高拍摄图像的图像质量。
[0147]
在本实施例中，可以控制是否执行图像分割处理、插值处理和合成处理，从而可以提高拍摄图像的图像质量。
[0148]
[变形例1-1]
[0149]
例如，在上述实施例中，合成处理部24对两个图谱数据mg21和mg22中的彼此相对应的位置处的像素值求和，以产生图谱数据mg3中的与上述位置相对应的位置处的像素值；然而，这不是限制性的。替代地，例如，如图11中的摄像设备1a所示，可以对两个图谱数据mg21和mg22中的彼此相对应的位置处的像素值求和，并且可以使像素值的和减半，由此产生图谱数据mg3中的与上述位置相对应的位置处的像素值。由此，图谱数据mg3中的像素值
可以基本上等于图像图谱数据mpg中的像素值。这同样适用于图谱数据mb3和mr3。由此，可以在保持信噪比的同时减少表示图谱数据mg3、mb3和mr3中的像素值的数字代码的位数。因此，可以便于设计信号处理部25中的动态范围。
[0150]
[变形例1-2]
[0151]
在上述实施例中，图像分割处理a1中的像素值排列图案pat是以单个像素值为单位的棋盘格图案，但这不是限制性的。下面使用一些示例详细说明本变形例。应当注意，作为示例，下面说明与绿色(g)有关的图谱数据，但这同样适用于与蓝色(b)有关的图谱数据和与红色(r)有关的图谱数据。
[0152]
(其他棋盘格图案)
[0153]
图12a和12b示出在像素值排列图案是以两行两列布置的四个像素值为单位的棋盘格图案的情况下图谱数据mg11和mg12的示例。在图12a和12b所示的排列图案pat中的水平方向(横向方向)上的间距是图8a和8b所示的排列图案中的水平方向上的间距的两倍。类似地，图12a和12b所示的排列图案pat中的垂直方向(纵向方向)上的间距是图8a和8b所示的排列图案中的垂直方向上的间距的两倍。图谱数据mg11和mg12中的像素值排列图案pat在水平方向和垂直方向上彼此偏移两个像素。
[0154]
图13a和13b示出通过基于图12a和12b所示的图谱数据mg11和mg12执行插值处理a2产生的图谱数据mg21和mg22的示例。例如，通过基于位于不存在像素值的位置的上两行、左两列、下两行和右两列中的像素值执行插值处理a2，插值处理部23可以确定不存在像素值的位置处的像素值。
[0155]
(条纹图案)
[0156]
图14a和14b示出在像素值排列图案pat是条纹图案的情况下图谱数据mg11和mg12的示例，在所述条纹图案中，存在像素值的位置和不存在像素值的位置在水平方向(横向方向)上交替布置。图谱数据mg11和mg12中的像素值排列图案pat在水平方向上彼此偏移一个像素。
[0157]
图15a和15b示出通过基于图14a和14b所示的图谱数据mg11和mg12执行插值处理a2产生的图谱数据mg21和mg22的示例。通过基于位于不存在像素值的位置的左一列和右一列中的像素值执行插值处理a2，插值处理部23可以确定不存在像素值的位置处的像素值。
[0158]
图16a和16b示出在像素值排列图案pat是条纹图案的情况下图谱数据mg11和mg12的示例，在所述条纹图案中，存在像素值的位置和不存在像素值的位置在垂直方向上交替布置。图谱数据mg11和mg12中的像素值排列图案pat在垂直方向上彼此偏移一个像素。
[0159]
图17a和17b示出通过基于图16a和16b所示的图谱数据mg11和mg12执行插值处理a2产生的图谱数据mg21和mg22的示例。通过基于位于不存在像素值的位置的上一行和下一行的像素值执行插值处理a2，插值处理部23可以确定不存在像素值的位置处的像素值。
[0160]
(其他图案)
[0161]
在上述示例中，例如，图像分割处理部22通过基于一个图像图谱数据mpg执行图像分割处理a1产生两个图谱数据mg11和mg12，插值处理部23通过对两个图谱数据mg11和mg12执行插值处理a2产生两个图谱数据mg21和mg22，并且合成处理部24通过基于两个图谱数据mg21和mg22执行合成处理a3产生图谱数据mg3，但这不是限制性的。替代地，例如，图像分割处理部22可以通过例如基于一个图像图谱数据mpg执行图像分割处理a1产生三个图谱数据
mg11、mg12和mg13，插值处理部23可以通过对三个图谱数据mg11、mg12和mg13执行插值处理a2产生三个图谱数据mg21、mg22和mg23，并且合成处理部24可以通过基于三个图谱数据mg21、mg22和mg23执行合成处理a3产生图谱数据mg3。
[0162]
图18a、18b和18c示出在像素值排列图案pat是诸如所谓的拜耳阵列之类的图案的情况下图谱数据mg11、mg12和mg13的示例。具体地，例如，在图谱数据mg11中，如图18a所示，区域x的左上部存在像素值，并且左下部、右上部和右下部不存在像素值。在图谱数据mg12中，如图18b所示，区域x的左下部和右上部存在像素值，并且左上部和右下部不存在像素值。在图谱数据mg13中，如图18c所示，区域x的右下部存在像素值，并且左上部、左下部和右上部不存在像素值。图谱数据mg11中的每个位置处的像素值与图像图谱数据mpg中的相应位置处的像素值相同，图谱数据mg12中的每个位置处的像素值与图像图谱数据mpg中的相应位置处的像素值相同，并且图谱数据mg13中的每个位置处的像素值与图像图谱数据mpg中相应位置处的像素值相同。
[0163]
图19a、19b和19c示出通过基于图18a、18b和18c所示的图谱数据mg11、mg12和mg13执行插值处理a2产生的图谱数据mg21、mg22和mg23的示例。在不存在像素值的位置的上方和下方存在像素值的情况下，插值处理部23基于这两个像素值对图谱数据mg11和mg13(图18a和18c)执行插值处理a2。在不存在像素值的位置的左侧和右侧存在像素值的情况下，插值处理部23基于这两个像素值对图谱数据mg11和mg13执行插值处理a2。在不存在像素值的位置的左上方、左下方、右上方和右下方存在像素值的情况下，插值处理部23基于这四个像素值对图谱数据mg11和mg13执行插值处理a2。因而，产生图谱数据mg21和mg23。此外，通过基于位于不存在像素值的位置的上方、下方、左侧和右侧的像素值对图谱数据mg12(图18b)执行插值处理a2，插值处理部23产生图谱数据mg22。
[0164]
图20示出通过基于图19a、19b和19c示出的图谱数据mg21、mg22和mg23执行合成处理a3产生的图谱数据mg3的示例。合成处理部24对三个图谱数据mg21、mg22和mg23中的彼此相对应的位置处的像素值求和，以产生数据mg3中的与上述位置相对应的位置处的像素值。在图20中，“3g”表示像素值通过合成处理a3变为图像图谱数据mpg中的像素值的三倍。
[0165]
[变形例1-3]
[0166]
在上述实施例中，插值处理部23执行插值处理a2，但插值处理a2中的插值方法能够改变。下面详细说明本变形例。
[0167]
图21示出根据本变形例的摄像设备2的构造示例。摄像设备2包括图像处理部30。图像处理部30包括插值控制器36和插值处理部33。
[0168]
插值控制器36基于图像信号dt中包括的图像图谱数据mpg、mpb和mpr执行插值控制处理b1，以确定插值处理部33的插值处理a2中的插值方法。插值控制器36对应于本公开中的“插值控制器”的特定示例。
[0169]
插值处理部33使用由插值控制器36指示的插值方法对从图像分割处理部22提供的六个图谱数据mg11、mg12、mb11、mb12、mr11和mr12分别执行插值处理a2，以产生六个图谱数据mg21、mg22、mb21、mb22、mr21和mr22。
[0170]
图22示意性地示出图像处理部30的图像分割处理a1、插值控制处理b1、插值控制a2和合成处理a3的示例。
[0171]
插值控制器36首先基于图像信号dt中包括的图像图谱数据mpg、mpb和mpr来执行
合成处理b2，以产生图谱数据mw。在该合成处理b2中，插值控制器36对三个图像图谱数据mpg、mpb和mpr中的彼此相对应的位置处的像素值求和，从而可以产生图谱数据mw中的与上述位置相对应的位置处的像素值。
[0172]
接着，插值控制器36基于该图谱数据mw来执行空间频率检测处理b3，以检测空间频率。在该空间频率检测处理b3中，插值控制器36将一帧图像划分成多个图像区域，并且基于图谱数据mw确定每个图像区域中的空间频率。
[0173]
随后，插值控制器36基于通过空间频率检测处理b3确定的空间频率来执行插值方法确定处理b4，以确定插值处理a2中的插值方法。
[0174]
图23a、23b和23c示出插值处理a2中的插值方法的示例。这些图示出通过执行插值处理a2产生的图谱数据mg21。在图23a所示的插值方法中，基于位于不存在像素值的位置的上一行和下一行中的像素值来确定不存在像素值的位置处的像素值。即，在图23a的示例中，执行插值处理所在的方向(插值方向)是垂直方向(纵向方向)。在图23b所示的插值方法中，基于位于不存在像素值的位置的左一列和右一列中的像素值来确定不存在像素值的位置处的像素值。即，在图23b所示的示例中，执行插值处理所在的方向(插值方向)是水平方向(横向方向)。此外，在图23c所示的插值方法中，基于位于不存在像素值的位置的上一行、下一行、左一列和右一列中的像素值来确定不存在像素值的位置处的像素值。即，在图23c所示的示例中，执行插值处理所在的方向(插值方向)是垂直方向和水平方向。应当注意，图23a至23c已经说明了三个示例，但是插值方法不限于此。
[0175]
在插值方法确定处理b4中，插值控制器36基于每个图像区域中的空间频率来确定插值处理a2中的插值方法。具体地，在插值控制器36基于特定图像区域中的空间频率来判定该特定图像区域中的图像是垂直条纹图案的情况下，插值控制器36选择插值方向是垂直方向的插值方法(图23a)。此外，例如，在插值控制器36基于特定图像区域中的空间频率来判定该特定图像区域中的图像是水平条纹图案的情况下，插值控制器36选择插值方向是水平方向的插值方法(图23b)。随后，插值控制器36将关于每个图像区域的插值方法的指令提供到插值处理部33。
[0176]
插值处理部33使用由插值处理器36指示的有关每个图像区域的插值方法对从图像分割处理部22提供的六个图谱数据mg11、mg12、mb11、mb12、mr11和mr12分别执行插值处理a2，以产生六个图谱数据mg21、mg22、mb21、mb22、mr21和mr22。用于产生六个图谱数据mg21、mg22、mb21、mb22、mr21和mr22的插值方法彼此相同。
[0177]
如上所述，在摄像设备2中，插值处理a2中的插值方法能够改变，从而可以根据摄像像素使用最优的插值方法。这可以提高拍摄图像的图像质量。
[0178]
特别地，在摄像设备2中，通过基于图像图谱数据mpg、mpb和mpr执行合成处理b2产生图谱数据mw，并且基于该图谱数据mw来检测空间频率。因而，可以在摄像设备2中高精度地检测空间频率，并且基于由此获得的空间频率执行插值处理a2，从而可以提高插值处理a2的精度。因此，摄像设备2可以实现更高的复原效果，从而可以提高拍摄图像的图像质量。
[0179]
应当注意，在该示例中，通过基于图像图谱数据mpg、mpb和mpr执行合成处理b2产生图谱数据mw，并且基于图谱数据mw来检测空间频率，但这不是限制性的。替代地，例如，如在图24所示的图像处理部30a中，可以基于与绿色(g)有关的图像图谱数据mpg执行空间频率检测处理b3，并且可以基于由该空间频率检测处理b3获得的每个图像区域中的空间频率
来确定插值处理a2中用于产生绿色(g)图谱数据mg21和mg22的插值方法。这同样适用于图像图谱数据mpb和mpr。此外，这不是限制性的。例如，可以基于与绿色(g)有关的图像图谱数据mpg执行空间频率检测处理b3，可以基于与蓝色(b)有关的图像图谱数据mpb执行空间频率检测处理b3，可以基于与红色(r)有关的图像图谱数据mpr执行空间频率检测处理b3，并且可以基于由空间频率检测处理b3获得的每个图像区域中的空间频率来针对每个图像区域共同确定插值处理a2中用于产生六个图谱数据mg21、mg22、mb21、mb22、mr21和mr22的插值方法。在这种情况下，可以使用于产生六个图谱数据mg21、mg22、mb21、mb22、mr21和mr22的插值方法彼此相同。
[0180]
[变形例1-4]
[0181]
在上述实施例中，图像处理部20基于与红色(r)有关的图像图谱数据mpr、与绿色(g)有关的图像图谱数据mpg和与蓝色(b)有关的图像图谱数据mpb来执行图像分割处理a1、插值处理a2和合成处理a3，但这不是限制性的。替代地，例如，可以基于亮度信号(luminance signal)执行图像分割处理a1、插值处理a2和合成处理a3。下面详细说明本变形例。
[0182]
图25示出根据本变形例的摄像设备1d的构造示例。该摄像设备1d包括图像处理部20d。图像处理部20d包括y/c分离部29d、图像分割处理部22d、插值处理部23d、合成处理部24d和信号处理部25d。
[0183]
y/c分离部29d通过执行y/c分离处理c1将图像信号dt中包括的rgb信号分离为亮度(y)信号和颜色(c)信号，并且输出亮度信号和颜色信号作为图像信号dt11。图像信号dt11包括图谱数据my、mcr和mcb。图谱数据my包括一帧与亮度(y)有关的图像的像素值，图谱数据mcr包括一帧与r-y色差(cr)有关的图像的像素值，并且图谱数据mcb包括一帧与b-y色差(cb)有关的图像的像素值。每个像素值由具有多个位的数字代码表示。y/c分离部29d对应于本公开中的“生成器”的特定示例。
[0184]
图像分割处理部22d基于经由切换部21从y/c分离部29d提供的图像信号dt11中包括的图谱数据my执行图像分割处理a1，以产生两个图谱数据my11和my12。此外，图像分割处理部22d保持原样地输出图像信号dt11中包括的图谱数据mcr和mcb。
[0185]
插值处理部23d分别对从图像分割处理部22d提供的两个图谱数据my11和my12执行插值处理a2，以产生两个图谱数据my21和my22。此外，插值处理部23d保持原样地输出从图像分割处理部22d提供的图谱数据mcr和mcb。
[0186]
合成处理部24d基于从插值处理部23d提供的两个图谱数据my21和my22执行合成处理a3，以产生一个图谱数据my3。随后，合成处理部24d将通过合成处理a3产生的图谱数据my3和从插值处理部23d提供的图谱数据mcr和mcb作为图像信号dt12提供到信号处理部25d。
[0187]
信号处理部25d基于经由切换部21从合成处理部24d提供的图像数据dt12或从y/c分离部29d提供的图像信号dt11来执行预定信号处理。随后，信号处理部25d输出预定信号处理的处理结果，作为图像信号dt13。
[0188]
图26示意性地示出图像处理部20d的图像分割处理a1、插值处理a2和合成处理a3的示例。
[0189]
y/c分离部29d执行y/c分离处理c1，以将图像信号dt中包括的rgb信号分离为亮度
(y)信号和颜色(c)信号。具体地，y/c分离部29d基于图像图谱数据mpg、mpb和mpr产生图谱数据my、mcb和mcr。y/c分离部29d例如使用下列表达式基于三个图像图谱数据mpg、mpb和mpr中的彼此相对应的位置处的像素值产生与亮度(y)有关的像素值。
[0190]
vy＝vg
×
0.59 vb
×
0.11 vr
×
0.3
[0191]
在该表达式中，“vy”是与亮度(y)有关的像素值，“vg”是与绿色(g)有关的像素值，“vb”是与蓝色(b)有关的像素值，并且“vr”是与红色(r)有关的像素值。
[0192]
图像分割处理部22d基于由此产生的图谱数据my执行图像分割处理a1，以产生两个图谱数据my11和my12。插值处理部23d对两个图谱数据my11和my12分别执行插值处理a2，以产生两个图谱数据my21和my22。合成处理部24d基于两个图谱数据my21和my22执行合成处理a3，以产生一个图谱数据my3。具体地，合成处理部24d对两个图谱数据my21和my22中的彼此相对应的位置处的像素值求和并使像素值的和减半，以产生图谱数据my3中的与上述位置相对应的位置处的像素值。图谱数据my对应于本公开中的“第一图像图谱数据”的特定示例。图谱数据my11和my12对应于本公开中的“多个第一图谱数据”的特定示例。图谱数据my21和my22对应于本公开中的“多个第二图谱数据”的特定示例。图谱数据my3对应于本公开中的“第三图谱数据”的特定示例。
[0193]
如上所述，在摄像设备1d中，可以增加亮度信号的信噪比(s/n比)，从而可以提高拍摄图像的图像质量。此外，在该示例中，只对与亮度(y)有关的图谱数据my执行图像分割处理a1、插值处理a2和合成处理a3，从而可以减少处理量。例如，因此可以减少摄像设备1d中的能耗。
[0194]
[另一变形例]
[0195]
此外，可以结合这些变形例中的两者或多者。
[0196]
《2.第二实施例》
[0197]
接下来，说明根据第二实施例的摄像设备3。本实施例与第一实施例的不同之处在于摄像部中的蓝色光电转换器和红色光电转换器的构造。应当注意，与根据上述第一实施例的摄像设备1的组件基本上相同的组件由相同的附图标记表示，并适当省略其说明。
[0198]
图27示出根据本实施例的摄像设备3的构造示例。摄像设备3包括摄像部40和图像处理部50。
[0199]
图28示意性地示出摄像部40中的摄像像素p的横截面构造。半导体基板100包括形成在与一个摄像像素p相对应的像素区域中的一个光电二极管pd。不同于根据上述第一实施例的光电二极管pdb和pdr，该光电二极管pd被构造为接收各种波长的光。在半导体基板100的位于成像表面s侧的表面上形成有绝缘膜101，并且在绝缘膜101上形成有滤色器111。具体地，在绝缘膜101上选择性地形成有滤色器111b或滤色器111r。滤色器111b允许蓝色(b)光穿过，并且阻挡红色(r)光和绿色(g)光。滤色器111r允许红色(r)光穿过，并且阻挡蓝色(b)光和绿色(g)光。滤色器111b和光电二极管pd被包括在用于接收蓝色(b)光的光电转换器中，并且滤色器111r和光电二极管pd被包括在用于接收红色(r)光的光电转换器中。在滤色器111上形成有绝缘膜112。例如，使用二氧化硅(sio2)来构造绝缘膜112。随后，在绝缘膜112上依次形成有透明电极102、光电转换膜103g、透明电极104和片上透镜105。
[0200]
图29示意性地示出布置有四个摄像像素p的区域x中的光电转换器的位置。因而，在摄像部40中，与绿色(g)有关的光电转换器和与蓝色(b)或红色(r)有关的光电转换器在
与一个摄像像素p相对应的像素区域中分别布置在上层和下层中。与蓝色(b)和红色(r)有关的光电转换器布置成棋盘格图案。即，在摄像部40中，滤色器111b和滤色器111r布置成棋盘格图案。因此，每个摄像像素能够在摄像部40中产生与绿色有关的像素信号和与蓝色或红色有关的像素信号。
[0201]
利用这种构造，摄像部40产生图像信号dt21和增益信号sgain。图像信号dt21包括两个图像图谱数据mpg和mpbr。图像图谱数据mpg包括一帧与绿色(g)有关的图像的像素值，并且图像图谱数据mpbr包括与蓝色(b)和红色(r)有关的一帧图像的像素值。在图像图谱数据mpbr中，与蓝色(b)有关的像素值和与红色(r)有关的像素值布置成与滤色器111b和111r的排列相对应的棋盘格图案。
[0202]
图像处理部50(图27)包括图像分割处理部52、插值控制器56、插值处理部53、合成处理部54和信号处理部55。
[0203]
图像分割处理部52基于经由切换部21从摄像部40提供的图像信号dt21中包括的图像图谱数据mpg和mpbr执行图像分割处理a1，以产生四个图谱数据mg11、mg12、mr11和mb12。
[0204]
插值控制器56基于图像信号dt21中包括的图像图谱数据mpg执行插值控制处理b1，以确定插值处理部53的插值处理a2中的插值方法。
[0205]
插值处理部53使用由插值控制器56指示的插值方法对从图像分割处理部52提供的四个图谱数据mg11、mg12、mr11和mb12分别执行插值处理a2，以产生四个图谱数据mg21、mg22、mr21和mb22。
[0206]
合成处理部54基于从插值处理部53提供的两个图谱数据mg21执行合成处理部a3，以产生一个图谱数据mg3。随后，合成处理部54将通过合成处理a3产生的图谱数据mg3和从插值处理部53提供的图谱数据mr21和mb22作为图像信号dt22提供到图像处理部55。
[0207]
信号处理部55基于经由切换部21从合成处理部54提供的图像信号dt22或从摄像部40提供的图像信号dt21执行预定信号处理。随后，信号处理部55输出该预定信号处理的处理结果作为图像信号dt23。
[0208]
图30示意性地示出图像处理部50中的图像分割处理a1、插值控制处理b1、插值处理a2和合成处理a3的示例。
[0209]
图像分割处理部52基于图像图谱数据mpg执行图像分割处理a1，以产生两个图谱数据mg11和mg12。此外，图像分割处理部52基于图像图谱数据mpbr执行图像分割处理a1，以产生两个图谱数据mr11和mb12。在图谱数据mr11中，如图30所示，区域x的左上部和右下部存在与红色(r)有关的像素值，并且区域x的左下部和右上部不存在像素值。此外，在图谱数据mb12中，区域x的左下部和右上部存在与蓝色(b)有关的像素值，并且区域x的左上部和右下部不存在像素值。即，在该示例中，图像分割处理a1中的像素值排列图案是与摄像部40中的滤色器111b和111r的棋盘格图案排列相对应的棋盘格图案。相应地，图像图谱数据mpbr中包括的与红色(r)有关的像素值只被包括在图像数据mr11中，并且图像图谱数据mpbr中包括的与蓝色(b)有关的像素值只被包括在图谱数据mb12中。如图30所示，图谱数据mg11和mr11具有相同的排列图案pat，并且图谱数据mg12和mb12具有相同的排列图案pat。
[0210]
插值控制器56基于与绿色(g)有关的图像图谱数据mpg执行空间频率检测处理b3，以检测空间频率。随后，插值控制器56执行插值方法确定处理b4，以便基于通过空间频率检
测处理b3确定的空间频率来针对每个图像区域确定插值处理a2中的插值方法。接着，插值控制器56将有关每个图像区域的插值方法的指令提供到插值处理部53。
[0211]
插值处理部53使用由插值控制器56针对每个图像区域指示的插值方法对从图像分割处理部52提供的四个图谱数据mg11、mg12、mr11和mb12分别执行插值处理a2，以产生四个图谱数据mg21、mg22、mr21和mb22。用于产生四个图谱数据mg21、mg22、mr21和mb22的插值方法彼此相同。
[0212]
合成处理部54基于两个图谱数据mg21和mg22执行合成处理a3，以产生一个图谱数据mg3。具体地，合成处理部54对两个图谱数据mg21和mg22中的彼此相对应的位置处的像素值求和，并且使像素值的和减半，以产生图谱数据mg3中的与上述位置相对应的位置处的像素值。
[0213]
图像图谱数据mpg和mpbr分别对应于本公开中的“第一图像图谱数据”和“第二图像图谱数据”的特定示例。图谱数据mr11和mb12对应于本公开中的“多个第四图谱数据”的特定示例。图谱数据mr21和mb22对应于本公开中的“多个第五图谱数据”的特定示例。
[0214]
如上所述，在摄像设备3中，例如，基于图像图谱数据mpg执行图像分割处理a1以产生图谱数据mg11和mg12，对图谱数据mg11和mg12分别执行插值处理a2以产生图谱数据mg21和mg22，并且基于图谱数据mg21和mg22执行合成处理a3以产生图谱数据mg3。如同上述第一实施例，从而可以增加图谱数据mg3中的信噪比(s/n比)，并提高摄像设备3中拍摄图像的图像质量。
[0215]
此外，在摄像设备3中，图像分割处理a1中的像素值排列图案pat是与摄像部40中的滤色器111b和111r的棋盘格图案排列相对应的棋盘格图案。图谱数据mg11和mr11中的像素值排列图案pat彼此相同，并且图谱数据mg12和mb12中的像素值排列图案pat彼此相同。由此，图像分割处理部52可以通过相同方法基于两个图谱数据mpg和mpbr执行图像分割处理a1，从而可以简化图像分割处理部52的电路构造。此外，如同摄像设备1的情况，可以降低出现伪色的可能性并提高拍摄图像的图像质量。
[0216]
此外，在摄像设备3中，插值处理a2中的用于产生图谱数据mg21、mg22、mr21和mb22的插值方法彼此相同。由此，插值处理部53可以使用相同的插值方法产生四个图谱数据mg21、mg22、mr21和mb22，从而可以简化插值处理部53的电路构造。此外，如同摄像设备1的情况，可以降低出现伪色的可能性并提高拍摄图像的图像质量。
[0217]
此外，在摄像设备3中，基于布满与绿色(g)有关的像素值的图像图谱数据mpg检测空间频率，并且基于所检测的空间频率确定插值处理a2中的插值方法。由此，摄像设备3可以高精度地检测空间频率，从而可以提高插值处理a2的精度。因此，摄像设备3能够实现更高的复原效果，从而可以提高拍摄图像的图像质量。
[0218]
此外，在摄像设备3中，如同在根据上述第一实施例的摄像设备1中，可以控制是否执行图像分割处理、插值处理和合成处理。相应地，在摄像设备3中，例如，在拍摄阴暗被摄体图像的情况下，通过执行图像分割处理a1、插值处理a2和合成处理a3，可以增加拍摄图像的信噪比(s/n比)。例如，在拍摄明亮被摄体图像的情况下，通过不执行图像分割处理a1、插值处理a2和合成处理a3，可以提高拍摄图像中的分辨率。因此，摄像设备3能够提高拍摄图像的图像质量。
[0219]
如上所述，在本实施例中，执行图像分割处理、插值处理和合成处理，可以提高拍
摄图像中的信噪比。这可以提高拍摄图像的图像质量。
[0220]
在本实施例中，图像分割处理中的像素值排列图案是与摄像部中的滤色器的棋盘格图案排列相对应的棋盘格图案，从而可以简化图像分割处理部的电路构造，并且降低出现伪色的可能性并提高拍摄图像的图像质量。
[0221]
在本实施例中，在插值处理中，用于产生四个图谱数据的插值方法彼此相同，从而可以简化插值处理部的电路构造，并且降低出现伪色的可能性并提高拍摄图像的图像质量。
[0222]
在本实施例中，基于布满与绿色(g)有关的像素值的图像图谱数据mpg检测空间频率，以确定插值处理中的插值方法，从而可以高精度地检测空间频率并提高拍摄图像的图像质量。
[0223]
在本实施例中，可以控制是否执行图像分割处理、插值处理和合成处理，从而可以提高拍摄图像的图像质量。
[0224]
《3.第三实施例》
[0225]
接下来，说明根据第三实施例的摄像设备4。本实施例与上述第一实施例的不同之处在于摄像部中的被构造为接收蓝色(b)光和红色(r)光的光电转换器的排列密度。应当注意，与根据上述第一实施例的成像装置1的组件基本上相同的组件用相同的附图标记表示，并适当地省略其说明。
[0226]
图31示出根据本实施例的摄像设备4的构造示例。摄像设备4包括摄像部60和图像处理部70。
[0227]
图32示意性地示出摄像部60中的摄像像素p的剖面构造。图33示意性地示出布置有四个摄像像素p的区域x中的光电转换器的位置。半导体基板100包括形成在与四个摄像像素p相对应的区域x中的光电二极管pdr2和pdb2。光电二极管pdr2是被构造为如在光电二极管pdr中那样接收红色(r)光的光电转换器，并且光电二极管pdb2是被构造为如在光电二极管pdb中那样接收蓝色(b)光的光电转换器。光电二极管pdr2和光电二极管pdb2在与四个摄像像素p相对应的区域x中以光电二极管pdb2位于摄像面s侧的方式形成并堆叠在半导体基板100中。即，在根据第一实施例的摄像部10中，光电二极管pdb和pdr形成并堆叠在与一个摄像像素p相对应的像素区域中，而在根据本实施例的摄像部60中，光电二极管pdb2和pdr2形成并堆叠在与四个摄像像素p相对应的区域x中。相应地，在摄像部60中，与绿色(g)有关的四个光电转换器、与蓝色(b)有关的一个光电转换器和与红色(r)有关的一个光电转换器形成并堆叠在与四个摄像像素p相对应的区域x中。换句话说，在摄像部60中，与蓝色(b)有关的光电转换器的排列密度是与绿色(g)有关的光电转换器的排列密度的1/4，并且与红色(r)有关的光电转换器的排列密度是与绿色(g)有关的光电转换器的排列密度的1/4。在滤色器111上形成有绝缘膜112。例如，使用二氧化硅(sio2)来构造绝缘膜112。在半导体基板100上形成有绝缘膜101，并且在绝缘膜101上有依次形成透明电极102、光电转换膜103g、透明电极104和片上透镜105。
[0228]
利用这种构造，摄像部60产生图像信号dt31和增益信号sgain。图像信号dt31包括三个图像图谱数据mpg、mpb和mpr。图像图谱数据mpg包括一帧与绿色(g)有关的图像的像素值。图像图谱数据mpb包括一帧与蓝色(b)有关的图像的像素值。图像图谱数据mpr包括一帧与红色(r)有关的图像的像素值。图像图谱数据mpb中的像素值的数量是图像图谱数据mpg
中的像素值的数量的1/4，并且图像图谱数据mpr中的像素值的数量是图像图谱数据mpg中的像素值的数量的1/4。图像图谱数据mpg中的四个像素值与图像图谱数据mpb中的一个像素值相关联，并且也与图像图谱数据mpr中的一个像素值相关联。
[0229]
图像处理部70(图31)包括图像分割处理部72、插值处理部73、合成处理部74和信号处理部75。
[0230]
图像分割处理部72基于经由切换部21从摄像部60提供的图像信号dt31中包括的图像图谱数据mpg、mpb和mpr执行图像分割处理a1，以产生六个图谱数据mg11、mg12、mb11、mb12、mr11和mb12。
[0231]
插值处理部73对从图像分割处理部72提供的六个图谱数据mg11、mg12、mb11、mb12、mr11和mb12分别执行插值处理a2，以产生六个图谱数据mg21、mg22、mb21、mb22、mr21和mb22。
[0232]
合成处理部74基于从插值处理部73提供的六个图谱数据mg21、mg22、mb21、mb22、mr21和mb22执行合成处理a3，以产生三个图谱数据mg3、mb3和mr3。随后，合成处理部74将通过合成处理a3产生的图谱数据mg3、mb3和mr3作为图像信号dt32提供到信号处理部75。
[0233]
信号处理部75基于经由切换部21从合成处理部74提供的图像信号dt32或从摄像部60提供的图像信号dt31执行预定信号处理。随后，信号处理部75输出该预定信号处理的处理结果作为图像信号dt33。
[0234]
图34示意性地示出图像处理部70中的图像分割处理a1、插值处理a2和合成处理a3的示例。
[0235]
图像分割处理部72基于图像图谱数据mpg、mpb和mpr执行图像分割处理a1，以产生六个图谱数据mg11、mg12、mb11、mb12、mr11和mr12。如图34所示，图谱数据mg11和mg12中的像素值排列图案pat是以四个像素值为单位的棋盘格图案(图12a和12b)。相反，图谱数据mb11、mb12、mr11、mr12中的像素值排列图案pat是以一个像素值为单位的棋盘格图案(图8a和8b)。即，与摄像部60中的与绿色(g)、蓝色(b)和红色(r)有关的光电转换器的排列密度相对应地，每个图谱数据mg11和mg12中的棋盘格图案的单位是每个图谱数据mb11、mb12、mr11和mr12中的棋盘格图案的单位的四倍。
[0236]
插座处理部73对从图像分割处理部22提供的六个图谱数据mg11、mg12、mb11、mb12、mr11和mr12分别执行插值处理a2，以产生六个图谱数据mg21、mg22、mb21、mb22、mr21和mr22。在对图谱数据mg11和mg12执行插值处理a2的情况下，插值处理部73可以使用图13a和13b所示的插值方法。用于产生图谱数据mb21、mb22、mr21和mr22的插值方法彼此相同。此外，用于产生每个图谱数据mg21和mg22的插值方法与用于产生每个图谱数据mb21、mb22、mr21和mr22的插值方法可以相同。具体地，例如，这两个插值方法中的插值方向可以彼此相同。
[0237]
合成处理部74基于六个图谱数据mg21、mg22、mb21、mb22、mr21和mr22执行合成处理a3，以产生三个图谱数据mg3、mb3和mr3。
[0238]
如上所述，在摄像设备4中，例如，基于图像图谱数据mpg执行图像分割处理a1以产生图谱数据mg11和mg12，对图谱数据mg11和mg12分别执行插值处理a2以产生图谱数据mg21和mg22，并且基于图谱数据mg21和mg22执行合成处理a3以产生图谱数据mg3。这同样适用于mpb和mpr。如同上述第一实施例，从而可以增加图谱数据mg3、mb3和mr3的信噪比(s/n比)，
并提高摄像设备4的拍摄图像的图像质量。
[0239]
此外，在摄像设备4中，与摄像部60中的与绿色(g)、蓝色(b)和红色(r)有关的光电转换器的排列密度相对应地，每个图谱数据mg11和mg12中的棋盘格图案的单位是每个图谱数据mb11、mb12、mr11和mr12中的棋盘格图案的单位的四倍。由此，图像分割处理部72可以通过类似方法基于三个图像图谱数据mpg、mpb和mpr来执行图像分割处理a1，从而可以简化图像分割处理部72的电路构造。此外，如同摄像设备1的情况，可以降低出现伪色的可能性并提高拍摄图像的图像质量。
[0240]
另外，在摄像设备4中，插值处理a2中的用于产生图谱数据mb21、mb22、mr21和mr22的插值方法彼此相同。由此，插值处理部73可以使用相同的插值方法产生四个图谱数据mb21、mb22、mr21和mr22，从而可以简化插值处理部73的电路构造。此外，在插值处理a2中，用于产生每个图谱数据mg21和mg22的插值方法类似于用于产生每个图谱数据mb21、mb22、mr21和mr22的插值方法，从而如同摄像设备1的情况，可以降低出现伪色的可能性并提高拍摄图像的图像质量。
[0241]
此外，在摄像设备4中，如同根据上述第一实施例的摄像设备1，可以控制是否执行图像分割处理、插值处理和合成处理。相应地，在摄像设备4中，例如，在拍摄阴暗被摄体图像的情况下，通过执行图像分割处理a1、插值处理a2和合成处理a3，可以增加拍摄图像的信噪比(s/n比)。例如，在拍摄明亮被摄体图像的情况下，通过不执行执行图像分割处理a1、插值处理a2和合成处理a3，可以提高拍摄图像的分辨率。因此，摄像设备4可以提高拍摄图像的图像质量。
[0242]
如上所述，在本实施例中，通过执行图像分割处理、插值处理和合成处理，可以增加拍摄图像的信噪比。这可以提高拍摄图像的图像质量。
[0243]
在本实施例中，与摄像部中的与绿色、蓝色和红色有关的光电转换器的排列密度相对应地，每个图谱数据mg11和mg12中的棋盘格图案中的单位是每个图谱数据mb11、mb12、mr11和mr12中的棋盘格图案中的单位的四倍，从而可以简化图像分割处理部的电路构造，并且降低出现伪色的可能性并提高拍摄图像的图像质量。
[0244]
在本实施例中，在插值处理中，用于产生图谱数据mb21、mb22、mr21和mr22的插值方法彼此相同，从而可以简化插值处理部的电路构造，并降低出现伪色的可能性。
[0245]
在本实施例中，在插值处理中，用于产生每个图谱数据mg21和mg22的插值方法类似于用于产生每个图谱数据mb21、mb22、mr21和mr22的插值方法，从而可以降低出现伪色的可能性并提高拍摄图像的图像质量。
[0246]
在本实施例中，可以控制是否执行图像分割处理、插值处理和合成处理，从而可以提高拍摄图像的图像质量。
[0247]
[变形例3-1]
[0248]
在上述实施例中，图像处理部70基于与红色(r)有关的图像图谱数据mpr、与绿色(g)有关的图像图谱数据mpg和与蓝色(b)有关的图谱数据mpb来执行图像分割处理a1、插值处理a2和合成处理a3。替代地，如图根据第一实施例的变形例的摄像设备1d的情况(图25)，可以基于亮度信号来执行图像分割处理a1、插值处理a2和合成处理a3。下面详细说明本变形例。
[0249]
图35示出根据本变形例的摄像设备4a的构造示例。摄像设备4a包括图像处理部
70a。图像处理部70a包括y/c分离部79a、图像分割处理部72a、插值处理部73a、合成处理部74a和信号处理部75a。
[0250]
y/c分离部79a通过执行y/c分离处理c1将图像信号dt31中包括的rgb信号分离为亮度(y)信号和颜色(c)信号，并且输出亮度信号和颜色信号作为图像信号dt41。图像信号dt41包括图谱数据my、mcr和mcb。图谱数据my包括一帧与亮度(y)有关的图像的像素值，图谱数据mcr包括一帧与r-y色差(cr)有关的图像的像素值，并且图谱数据mcb包括一帧与b-y色差(cb)有关的图像的像素值。图谱数据mcr中的像素值的数量是图谱数据my中的像素值的数量的1/4。类似地，图谱数据mcb中的像素值的数量是图谱数据my中的像素值的数量的1/4。
[0251]
图像分割处理部72a基于经由切换部21从y/c分离部79a提供的图像信号dt41中包括的图谱数据my来执行图像分割处理a1，以产生两个图谱数据my11和my12。此外，图像分割处理部72a保持原样地输出图像信号dt41中包括的图谱数据mcr和mcb。
[0252]
插值处理部73a对从图像分割处理部72a提供的两个图谱数据my11和my12分别执行插值处理a2，以产生两个图谱数据my21和my22。此外，插值处理部73a保持原样地输出从图像分割处理部72a提供的图谱数据mcr和mcb。
[0253]
合成处理部74a基于从插值处理部73a提供的两个图谱数据my21和my22执行合成处理a3，以产生一个图谱数据my3。随后，合成处理部74a将通过合成处理a3产生的图谱数据my3和从插值处理部73a提供的图谱数据mcr和mcb作为图像信号dt42提供到信号处理部75a。
[0254]
信号处理部75a基于经由切换部21从合成处理部74a提供的图像信号dt42或从y/c分离部79a提供的图像信号dt41来执行预定信号处理。随后，信号处理部75a输出该预定信号处理的处理结果作为图像信号dt43。
[0255]
图36示意性地示出图像处理部70a中的图像分割处理a1、插值处理a3和合成处理a3的示例。
[0256]
y/c分离部79a执行y/c分离以将图像信号dt31中包括的rgb信号分离为亮度(y)信号和颜色(c)信号。具体地，y/c分离部79a基于图像图谱数据mpg、mpb和mpr产生图谱数据my、mcb和mcr。例如，y/c分离部79a使用下列表达式基于三个图像图谱数据mpg、mpb和mpr中的彼此相对应的位置处的像素值产生与亮度(y)有关的像素值。
[0257]
vy1＝vg1
×
0.59 vb/4
×
0.11 vr/4
×
0.3
[0258]
vy2＝vg2
×
0.59 vb/4
×
0.11 vr/4
×
0.3
[0259]
vy3＝vg3
×
0.59 vb/4
×
0.11 vr/4
×
0.3
[0260]
vy4＝vg4
×
0.59 vb/4
×
0.11 vr/4
×
0.3
[0261]
在该表达式中，“vy1”至“vy4”均是与亮度(y)有关的像素值，“vg1”至“vg4”均是与绿色(g)有关的像素值，“vb”是与蓝色(b)有关的像素值，并且“vr”是与红色(r)有关的像素值。“vy1”和“vg1”均表示区域x的左上像素值。“vy2”和“vg2”均表示区域x的右上像素值。“vy3”和“vg3”均表示区域x的左下像素值。“vy4”和“vg4”均表示区域x的右下像素值。
[0262]
图像分割处理部72a基于由此产生的图谱数据my执行图像分割处理a1以产生两个图谱数据my11和my12。插值处理部73a对两个图谱数据my11和my12分别执行插值处理a2，以产生两个图谱数据my21和my22。合成处理部74a基于两个图谱数据my21和my22来执行合成
处理a3，以产生一个图谱数据my3。
[0263]
如上所述，在摄像设备4a中，可以增加亮度信号的信噪比(s/n比)，从而可以提高拍摄图像的图像质量。此外，在该示例中，只对与亮度(y)有关的图谱数据my执行图像分割处理a1、插值处理a2和合成处理a3，从而可以减少处理量。例如，因此可以降低摄像设备4a的功耗。
[0264]
[变形例3-2]
[0265]
第一实施例的每个变形例可以应用到根据上述实施例的摄像设备4。具体地，例如，如同根据上述第一实施例的变形例的摄像设备2(图21)，可以通过基于图像信号dt31中包括的图像图谱数据mpg、mpb和mpr执行插值控制处理b1来控制插值处理部73的插值处理a2中的插值方法。
[0266]
《4.第四实施例》
[0267]
接下来，说明根据第四实施例的摄像设备5。在本实施例中，除了被构造为接收绿色(g)光、蓝色(b)光和红色(r)光的光电转换器以外，摄像部还包括被构造为接收红外线(ir)的光电转换器。应当注意，与根据上述第一实施例的摄像设备1的组件基本上相同的组件用相同的附图标记表示，并且适当地省略其说明。
[0268]
图37示出根据本实施例的摄像设备5的构造示例。摄像设备5包括摄像部80和图像处理部90。
[0269]
图38示意性地示出摄像部80中的摄像像素p的剖面构造。图39示意性地示出布置有四个摄像像素p的区域x中的光电转换器的位置。半导体基板100包括形成在与一个摄像像素p相对应的像素区域中的光电二极管pd。该光电二极管pd被构造为接收对应于可见光的各种波长的光。在半导体基板100的位于摄像面s侧的表面上形成有绝缘膜101，并且在绝缘膜101上形成有滤色器111。具体地，在该示例中，红色(r)滤色器111r、绿色(g)滤色器111g和蓝色(b)滤色器111b在绝缘膜101上分别形成在与四个摄像像素p相对应的区域x的左上部、左下部和右上部以及右下部。滤色器111r允许红色(r)光穿过并阻挡蓝色(b)光和绿色(g)光。滤色器111g允许绿色(g)光穿过并阻挡红色(r)光和蓝色(b)光。滤色器111b允许蓝色(b)光穿过并阻挡红色(r)光和绿色(g)光。滤色器111r和光电二极管pd被包括在用于接收红色(r)光的光电转换器中。滤色器111g和光电转换器pd被包括在用于接收绿色(g)光的光电转换器中。滤色器111b和光电转换器pd被包括在用于接收蓝色(b)光的光电转换器中。滤色器111r、111g和111b布置成所谓的拜耳阵列。
[0270]
在滤色器111上形成有绝缘膜112。随后，在绝缘膜112上依次形成有透明电极102、光电转换膜103ir和透明电极104。透明电极102和104是允许红色光、绿色光、蓝色光和红外线穿过的电极。光电转换膜103ir是被构造为接收红外线(ir)并允许红色光、绿色光和蓝色光穿过的光电转换膜。光电转换膜103ir和透明电极102和104被包括在用于接收红外线(ir)的光电转换器中。在透明电极104上形成有片上透镜105。
[0271]
如上所述，如图39所示，在摄像部80中，与红外线(ir)有关的光电转换器和与红色(r)、绿色(g)或蓝色(b)有关的光电转换器分别布置在与一个摄像像素p相对应的像素区域中的上层和下层中。与红色(r)、绿色(g)或蓝色(b)有关的光电转换器布置为拜耳阵列。由此，摄像部80中的每个摄像像素p可以产生与红外线有关的像素信号和与红色、绿色或蓝色有关的像素信号。
[0272]
利用这种构造，摄像部80产生图像信号dt51和增益信号sgain。图像信号dt51包括两个图像图谱数据mpir和mprgb。图像图谱数据mpir包括一帧与红外线(ir)有关的图像的像素值，并且图像图谱数据mprgb包括一帧与红色(r)、绿色(g)和蓝色(b)有关的图像的像素值。
[0273]
图像处理部90(图37)包括图像分割处理部92、插值处理部93、合成处理部94和信号处理部95。
[0274]
图像分割处理部92基于经由切换部21从摄像部80提供的图像信号dt51中包括的图像图谱数据mpir执行图像分割处理a1以产生三个图谱数据mir12、mir11和mir13，并且基于图像信号dt51中包括的图像图谱数据mprgb执行图像分割处理a1以产生三个图谱数据mg12、mr11和mb13。
[0275]
插值处理部93对从图像分割处理部92提供的六个图谱数据mir12、mir11、mir13、mg12、mr11和mb13分别执行插值处理a2，以产生六个图谱数据mir22、mir21、mir23、mg22、mg21和mb23。
[0276]
合成处理部94基于从插值处理部93提供的三个图谱数据mir22、mir21和mir23执行合成处理a3，以产生图谱数据mir3。接着，合成处理部94将通过合成处理a3产生的图谱数据mir3和从插值处理部93提供的图谱数据mg22、mr21和mb23作为图像信号dt52提供到信号处理部95。
[0277]
信号处理部95基于经由切换部21从合成处理部94提供的图像信号dt52或从摄像部80提供的图像信号dt51执行预定信号处理。随后，信号处理部95输出该预定信号处理的处理结果作为图像信号dt53。
[0278]
图40示意性地示出图像处理部90中的图像分割处理a1、插值处理a2和合成处理a3。
[0279]
图像分割处理部92基于图像图谱数据mpir执行图像分割处理a1以产生三个图谱数据mir12、mir11和mir13，并且基于图像图谱数据mprgb执行图像分割处理a1以产生三个图谱数据mg12、mir11和mb13。如图40所示，图谱数据mir12、mir11和mir13中的像素值排列图案pat是对应于拜耳阵列的图案(图18a至18c)。这同样适用于图谱数据mg12、mr11和mb13中的像素值排列图案pat。即，在该示例中，图像分割处理a1中的像素值排列图案pat是与表示摄像部80中的滤色器111r、111g和111b的排列的拜耳阵列相对应的图案。相应地，图像图谱数据mprgb中包括的红色(r)像素值只被包括在图谱数据mr11中，图像图谱数据mprgb中包括的绿色(g)像素值只被包括在图谱数据mg12中，并且图像图谱数据mprgb中包括的蓝色(b)像素值只被包括在图谱数据mb13中。如图40所示，图谱数据mir12和mg12具有相同的排列图案pat，图谱数据mir11和mr11具有相同的排列图案pat，并且图谱数据mir13和mb13具有相同的排列图案pat。
[0280]
插值处理部93对从图像分割处理部92提供的六个图谱数据mir12、mir11、mir13、mg12、mr11和mb13分别执行插值处理a2，以产生六个图谱数据mir22、mir21、mir23、mg22、mr21和mb23。例如，在对图谱数据mir12、mir11和mir13执行插值处理a2的情况下，插值处理部93可以使用图19a至19c所示的插值方法。这同样适用于对图谱数据mg12、mr11和mb13的插值处理a2。用于产生各个图谱数据mir22和mg22的插值方法彼此相同。用于产生各个图谱数据mir21和mr21的插值方法彼此相同。用于产生各个图谱数据mir23和mb23的插值方法彼
此相同。
[0281]
合成处理部94基于三个图谱数据mir22、mir21和mir23执行合成处理a3以产生图谱数据mir3。
[0282]
图像图谱数据mpir和mprgb分别对应于本公开中的“第一图像图谱数据”和“第二图像图谱数据”的特定示例。图谱数据mir12、mir11和mir13对应于本公开中的“多个第一图谱数据”的特定示例。图谱数据mir22、mir21和mir23对应于本公开中的“多个第二图谱数据”的特定示例。图谱数据mir3对应于本公开中的“第三图谱数据”的特定示例。图谱数据mg12、mr11和mb13对应于本公开中的“多个第四图谱数据”的特定示例。图谱数据mg22、mr21和mb23对应于本公开中的“多个第五图谱数据”的特定示例。
[0283]
如上所述，在摄像设备5中，例如，基于图像图谱数据mipr执行图像分割处理a1以产生图谱数据mir12、mir11和mir13，对图谱数据mir12、mir11和mir13分别执行插值处理a2以产生图谱数据mir22、mir21和mir23，并且基于图谱数据mir22、mir21和mir23执行合成处理a3以产生图谱数据mir3。如同上述第一实施例，可以增加图谱数据mir3的信噪比(s/n比)，并提高摄像设备5中的拍摄图像的图像质量。
[0284]
此外，在摄像设备5中，图像分割处理a1中的像素值排列图案pat是与拜耳阵列相对应的图案，以对应于摄像部80中的滤色器111r、111g和111b的排列。图谱数据mir12和mg12中的像素值排列图案pat彼此相同。图谱数据mir11和mr11中的像素值排列图案pat彼此相同。图谱数据mir13和mb13中的像素值排列图案pat彼此相同。由此，图像分割处理部92可以通过相同的方法基于两个图像图谱数据mpir和mprgb执行图像分割处理a1，从而可以简化图像分割处理部92的电路构造。
[0285]
此外，在摄像设备5中，在插值处理a2中，用于产生图谱数据mir22和mg22的插值方法彼此相同，用于产生图谱数据mir21和mr21的插值方法彼此相同，并且用于产生图谱数据mir23和mb23的插值方法彼此相同，从而可以简化插值处理部93的电路构造。
[0286]
此外，在摄像设备5中，如同根据上述第一实施例的摄像设备1，可以控制是否执行图像分割处理、插值处理和合成处理。相应地，在摄像设备3中，例如，在拍摄阴暗被摄体图像的情况下，通过执行图像分割处理a1、插值处理a2和合成处理a3，可以增加拍摄图像的信噪比(s/n比)。例如，在拍摄明亮被摄体图像的情况下，通过不执行图像分割处理a1、插值处理a2和合成处理a3，可以提高拍摄图像的分辨率。因此，摄像设备5可以提高拍摄图像的图像质量。
[0287]
如上所述，在本实施例中，执行图像分割处理、插值处理和合成处理，从而可以增加拍摄图像的信噪比。由此，可以提高拍摄图像的图像质量。
[0288]
在本实施例中，图像分割处理中的像素值排列图案是与拜耳阵列相对应的图案以对应于摄像部中滤色器的排列，从而可以简化图像分割处理部的电路构造。
[0289]
在本实施例中，在插值处理中，用于产生图谱数据mir22和mg22的插值方法彼此相同，用于产生图谱数据mir21和mr21的插值方法彼此相同，并且用于产生图谱数据mir23和mb23的插值方法彼此相同，从而可以简化插值处理部93的电路构造。
[0290]
在本实施例中，可以控制是否执行图像分割处理、插值处理和合成处理，从而可以提高拍摄图像的图像质量。
[0291]
[变形例4-1]
[0292]
第一实施例的每个变形例可以应用到根据上述实施例的摄像设备5。具体地，例如，如同根据上述第一实施例的变形例的摄像设备2(图21)，可以通过基于图像信号dt51中包括的图像图谱数据mprgb执行插值控制处理b1来控制插值处理部93的插值处理a2中的插值方法。
[0293]
《5.摄像设备的使用示例》
[0294]
图41示出了根据上述实施例的摄像设备1等的使用示例。例如，上述的摄像设备1等能够用于感测诸如可见光、红外光、紫外光和x射线之类的光线的各种情况。
[0295]-用于拍摄鉴赏用图像的设备，例如数码摄像机或具有摄像机功能的移动设备
[0296]-用于交通的设备，例如拍摄汽车的前侧、后侧、外围、内部等以用于诸如自动停止、驾驶员状态识别等安全驾驶的车载传感器；监视行驶车辆或道路的监视摄像机；或测量车辆之间的距离的测距传感器
[0297]-用于家用电器的设备，例如拍摄用户的手势并根据该手势操作设备的电视、冰箱或空调
[0298]-用于医疗护理和健康保健的设备，例如内窥镜或通过接收红外光进行血管造影的设备
[0299]-用于安全的设备，例如用于预防犯罪的监视摄像机或用于个人身份验证的监控摄像机
[0300]-用于美容护理的设备，例如拍摄皮肤的皮肤测量设备或拍摄头皮的显微镜
[0301]-用于运动的设备，例如运动摄像机或用于运动用途的可穿戴式摄像机等
[0302]-用于农业的设备，例如监控农田或农作物状态的摄像机
[0303]
《6.应用示例》
[0304]
《体内信息获取系统的应用示例》
[0305]
此外，根据本公开的技术(本技术)可应用于各种产品。例如，根据本公开的技术可以应用于内窥镜手术系统。
[0306]
图42是描绘使用可以应用根据本公开实施例的技术(本技术)的胶囊型内窥镜的患者的体内信息获取系统的示意构造示例的框图。
[0307]
体内信息获取系统10001包括胶囊型内窥镜10100和外部控制装置10200。
[0308]
在检查时，患者吞咽胶囊型内窥镜10100。胶囊型内窥镜10100具有图像拍摄功能和无线通信功能，并在其被从患者自然排出之前的一定时段内通过蠕动运动等在诸如胃和肠等器官内部移动的同时以预定间隔连续地拍摄器官内部的图像(下文也称其为体内图像)。随后，胶囊型内窥镜10100通过无线传输连续将体内图像的信息传送到身体外部的外部控制装置10200。
[0309]
外部控制装置10200整体地控制体内信息获取系统10001的操作。此外，外部控制装置10200接收从胶囊型内窥镜10100传输到外部控制装置的体内图像的信息，并且基于所接收的体内图像的信息来生成用于在显示装置(未示出)上显示体内图像的图像数据。
[0310]
在体内信息获取系统10001中，可以在从胶囊型内窥镜10100被吞咽的时间之后一直到胶囊型内窥镜10100被排出的时段内以此方式在任何时间获取用于反映患者体内状态的体内图像。
[0311]
下面将更详细地说明胶囊型内窥镜10100和外部控制装置10200的构造和功能。
[0312]
胶囊型内窥镜10100包括胶囊型壳体10101，在该壳体中容纳有光源单元10111、图像拍摄单元10112、图像处理单元10113、无线通信单元10114、供电单元10115、电源单元10116和控制单元10117。
[0313]
光源单元10111例如包括诸如发光二极管(led)等光源，并且将光照射在图像拍摄单元10112的图像拍摄视野上。
[0314]
图像拍摄单元10112包括图像拍摄元件和包括设置在图像拍摄元件的前级处的多个透镜的光学系统。照射在作为观察目标的身体组织上的光中的反射光(下文将其称为观察光)被光学系统汇集并引入到图像拍摄元件上。在图像拍摄单元10112中，通过图像拍摄元件对入射的观察光进行光电转换，由此生成对应于观察光的图像信号。由图像拍摄单元10112生成的图像信号被提供给图像处理单元10113。
[0315]
图像处理单元10113包括诸如中央处理单元(cpu)或图形处理单元(gpu)等处理器，并且对从图像拍摄单元10112生成的图像信号执行各种信号处理。图像处理单元10113将由此已被执行信号处理的图像信号作为原始数据提供给无线通信单元10114。
[0316]
无线通信单元10114对已被图像处理单元10113执行信号处理的图像信号执行诸如调制处理等预定处理，并且通过天线10114a将获得的图像信号传输到外部控制装置10200。此外，无线通信单元10114通过天线10114a从外部控制装置10200接收与胶囊型内窥镜10100的驱动控制有关的控制信号。无线通信单元10114将从外部控制装置10200接收的控制信号提供给控制单元10117。
[0317]
供电单元10115例如包括用于电力接收的天线线圈、用于从天线线圈中产生的电流来再生电力的电力再生电路以及升压电路等。供电单元10115使用非接触充电原理产生电力。
[0318]
电源单元10116包括二次电池并存储由供电单元10115产生的电力。在图42中，为了避免复杂的图示，省略了用于表示来自电源单元10116的电力的供应目的地的箭头标记等。然而，存储在电源单元10116中的电力被提供给并用于驱动光源单元10111、图像拍摄单元10112、图像处理单元10113、无线通信单元10114和控制单元10117。
[0319]
控制单元10117包括诸如cpu等处理器，并根据从外部控制装置10200传输到控制单元的控制信号来适当地控制光源单元10111、图像拍摄单元10112、图像处理单元10113、无线通信单元10114和供电单元10115的驱动。
[0320]
外部控制装置10200包括诸如cpu和gpu等处理器、微型计算机或者混合地组合有处理器和诸如存储器等存储元件的控制板等。外部控制装置10200通过天线10200a将控制信号传输到胶囊型内窥镜10100的控制单元10117，以控制胶囊型内窥镜10100的操作。在胶囊型内窥镜10100中，例如，可以根据来自外部控制装置10200的控制信号来改变光源单元10111对观察目标的光照射的照射条件。此外，可以通过来自外部控制装置10200的控制信号来改变图像拍摄条件(例如，图像拍摄单元10112的帧速率、曝光水平等)。此外，可以根据来自外部控制装置10200的控制信号来改变图像处理单元10113中的处理的内容或从无线通信单元10114传输图像信号的条件(例如，传输间隔、传输的图像数量等)。
[0321]
此外，外部控制装置10200对从胶囊型内窥镜10100传输到外部控制装置的图像信号执行各种图像处理，以生成用于在显示装置上显示所拍摄的体内图像的图像数据。对于图像处理，可以执行各种信号处理，例如显影处理(去马赛克处理)、图像质量改善处理(谱
带增强处理、超分辨率处理、降噪(nr)处理和/或图像稳定处理)和/或放大处理(电子缩放处理)。外部控制装置10200控制显示装置的驱动，以使显示装置基于所生成的图像数据显示所拍摄的体内图像。或者，外部控制装置10200还可以控制记录装置(未示出)记录所生成的图像数据或控制打印装置(未示出)通过打印输出所生成的图像数据。
[0322]
上文已经说明了可以应用根据本公开的技术的体内信息获取系统的示例。根据本公开的技术可例如应用于上述部件之中的图像拍摄单元10112。这可以提高检测精度。
[0323]
《内窥镜手术系统的应用示例》
[0324]
根据本公开的实施例的技术(本技术)可以应用于各种产品。例如，根据本公开的技术可以应用于内窥镜手术系统。
[0325]
图43是描绘可以应用根据本公开实施例的技术(本技术)的内窥镜手术系统的示意性构造示例的图。
[0326]
在图43中，示出如下状态：外科医师(医生)11131正在使用内窥镜手术系统11000对病床11133上的患者11132执行手术。如图所示，内窥镜手术系统11000包括内窥镜11100、诸如气腹管11111和能量设备11112等其他手术工具11110、用于在其上支撑内窥镜11100的支撑臂装置11120以及安装有各种内窥镜手术装置的推车11200。
[0327]
内窥镜11100包括镜筒11101和与镜筒11101的近端连接的摄像机头11102，镜筒11101的从远端开始的预定长度的区域插入到患者11132的体腔中。在图示的示例中，内窥镜11100被描绘为作为硬型内窥镜包括硬型镜筒11101。然而，内窥镜11100也可以作为柔性型内窥镜包括柔性型镜筒11101。
[0328]
镜筒11101在其远端处具有开口，物镜适配在该开口中。光源装置11203连接到内窥镜11100，使得由光源装置11203产生的光通过在镜筒11101内部延伸的光导被引入到镜筒11101的远端，并通过物镜朝向患者11132的体腔中的观察目标照射。注意，内窥镜11100可以是前视内窥镜，或者可以是斜视内窥镜或侧视内窥镜。
[0329]
在摄像机头11102内部设置有光学系统和图像拍摄元件，使得来自观察目标的反射光(观察光)通过光学系统会聚在图像拍摄元件上。通过图像拍摄元件对观察光执行光电转换，以生成与观察光对应的电信号，即与观察图像对应的图像信号。图像信号作为原始数据被传输到ccu11201。
[0330]
ccu 11201包括中央处理单元(cpu)、图形处理单元(gpu)等，并且整体地控制内窥镜11100和显示装置11202的操作。另外，ccu 11201从摄像机头11102接收图像信号，并对图像信号执行诸如显影处理(去马赛克处理)等各种图像处理，以基于图像信号来显示图像。
[0331]
在ccu 11201的控制下，显示装置11202基于已被ccu 11201执行图像处理的图像信号来在其上显示图像。
[0332]
光源装置11203例如包括诸如发光二极管(led)等光源，并且在对手术区域摄像时向内窥镜11100提供照射光。
[0333]
输入装置11204是内窥镜手术系统11000的输入接口。用户可以通过输入装置11204在内窥镜手术系统11000中输入各种类型的信息或指令。例如，用户可以输入用于改变内窥镜11100的图像拍摄条件(照射光的类型、放大系数、焦距等)的指令等。
[0334]
治疗工具控制装置11205控制用于烧灼组织、切割组织和密封血管等的能量设备11112的驱动。气腹装置11206通过气腹管11111将气体馈送到患者11132的体腔中，以使体
腔膨胀，从而确保内窥镜11100的视野并确保治手术的工作空间。记录仪11207是能够记录与手术有关的各种信息的装置。打印机11208是能够以诸如文本、图像和图表等各种形式打印与手术有关的各种信息的装置。
[0335]
应注意，例如，在对手术区域摄像时向内窥镜11100提供照射光的光源装置11203可以包括白光源，白光源例如包括led、激光光源或它们的组合。在白光源包括红色、绿色和蓝色(rgb)激光光源的组合的情况下，由于可以高精度地控制每种颜色(每个波长)的输出强度和输出时序，因此能够通过光源装置11203调节拍摄图像的白平衡。另外，在这种情况下，如果通过以时分方式向观察目标照射来自rgb激光光源的激光束并以与发射时序同步的方式控制摄像机头11102的图像拍摄元件的驱动，则可以以时分方式拍摄分别对应于rgb的图像。根据该方法，即使不为图像拍摄元件设置滤色器，也能够获取彩色图像。
[0336]
另外，可以控制光源装置11203，使得以每段预定时间改变输出光的强度。通过以与光强度的改变时序同步的方式控制摄像机头11102的图像拍摄元件的驱动以便按照时分方式获取图像并且合成图像，可以生成不具有欠曝光遮挡阴影和过曝光高光的高动态范围图像。
[0337]
此外，光源装置11203可以被构造为提供具有用于特定光观察的预定波长带的光。在特定光观察中，例如，通过利用身体组织中的光吸收的波长依赖性来照射比正常观察时的照射光(即，白光)具有窄带的光，执行用于对诸如具有高对比度的诸如粘膜层表层部分的血管等预定组织的摄像(窄带摄像)。或者，在特定光观察中，可以执行用于根据由激发光的照射产生的荧光来获得图像的荧光观察。在荧光观察中，可以通过向身体组织照射来执行来自身体组织的荧光的观察(自发荧光观察)，或者通过局部地在身体组织中注射诸如吲哚菁绿(icg)等试剂并向身体组织照射与试剂的荧光波长相对应的激发光来获得荧光图像。光源装置11203可以被构造为提供适于如上所述的特定光观察的窄带光和/或激发光。
[0338]
图44是描绘图11描绘的摄像机头11102和ccu 11201的功能构造的示例的框图。
[0339]
摄像机头11102包括透镜单元11401、图像拍摄单元11402、驱动单元11403、通信单元11404和摄像机头控制单元11405。ccu 11201包括通信单元11411、图像处理单元11412和控制单元11413。摄像机头11102和ccu 11201经由传输电缆11400连接以彼此通信。
[0340]
透镜单元11401是设置在与镜筒11101连接的位置处的光学系统。从镜筒11101的远端获取的观察光被引导至摄像机头11102并被引入透镜单元11401中。透镜单元11401包括多个透镜的组合，这些透镜包括变焦透镜和聚焦透镜。
[0341]
图像拍摄单元11402所包括的图像拍摄元件的数量可以是一个(单板型)或多个(多板型)。在图像拍摄单元11402被构造成多板型的情况下，例如，通过图像拍摄元件生成分别对应于r、g和b的图像信号，并且可以通过合成这些图像信号来获得彩色图像。图像拍摄单元11402也可以被构造为具有一对图像拍摄元件，以用于获取用于三维(3d)显示的右眼图像信号和左眼图像信号。如果执行3d显示，则外科医师11131能够更准确地感知身体组织在手术部位处的深度。应注意，在图像拍摄单元11402被构造成为多板型的情况下，可以以与各个图像拍摄元件相对应的方式设置多个系统的透镜单元11401。
[0342]
另外，图像拍摄单元11402不必设置在摄像机头11102中。例如，图像拍摄单元11402可以设置成紧接镜筒11101内部的物镜之后。
[0343]
驱动单元11403包括致动器，并且在摄像机头控制单元11405的控制下，驱动单元
11403使透镜单元11401的变焦透镜和聚焦透镜沿着光轴移动预定距离。因此，可以适当地调整由图像拍摄单元11402拍摄的图像的放大倍数和焦点。
[0344]
通信单元11404包括用于向/从ccu 11201传送/接收各种信息的通信装置。通信单元11404通过传输电缆11400将从图像拍摄单元11402获得的图像信号作为原始数据传送到ccu 11201。
[0345]
另外，通信单元11404从ccu 11201接收用于控制摄像机头11102的驱动的控制信号，并将控制信号提供到摄像机头控制单元11405。例如，控制信号包括与摄像条件有关的信息，图像拍摄条件例如为用于指定拍摄图像的帧速率的信息和用于指定图像拍摄时的曝光值的信息和/或用于指定拍摄图像的放大倍数和焦点的信息。
[0346]
应注意，诸如帧速率、曝光值、放大倍数和焦点等图像拍摄条件可以由用户适当地指定或者由ccu 11201的控制单元11413基于获得的图像信号自动地设置。在后一种情况下，在内窥镜11100中组合有自动曝光(ae)功能、自动聚焦(af)功能和自动白平衡(awb)功能。
[0347]
摄像机头控制单元11405基于通过通信单元11404从ccu 11201接收的控制信号来控制摄像机头11102的驱动。
[0348]
通信单元11411包括用于向/从摄像机头11102传送/接收各种类型的信息的通信装置。通信单元11411通过传输电缆11400接收从摄像机头11102传送的图像信号。
[0349]
另外，通信单元11411将用于控制摄像机头11102的驱动的控制信号传送到摄像机头11102。可以通过电通信、光通信等传送图像信号和控制信号。
[0350]
图像处理单元11412对从摄像机头11102以原始数据的形式传送的图像信号执行各种图像处理。
[0351]
控制单元11413执行与内窥镜11100执行的手术区域等的图像拍摄以及通过手术区域的图像拍摄等获得的拍摄图像的显示有关的各种类型的控制。例如，控制单元11413产生用于控制摄像机头11102的驱动的控制信号。
[0352]
此外，控制单元11413基于已被图像处理单元11412执行图像处理的图像信号来控制显示装置11202显示用于描绘手术区域等的拍摄图像。此时，控制单元11413可以通过使用各种图像识别技术来识别拍摄图像中的各种物体。例如，控制单元11413可以通过检测拍摄图像中包括的物体的边缘的形状、颜色等来识别诸如镊子等手术工具、特定活体部位、出血、在使用能量设备11112时的雾等。在控制单元11413在控制显示装置11202显示拍摄图像时，控制单元11413可以通过使用识别结果以与手术区域的图像叠加的方式显示各种手术辅助信息。通过使手术辅助信息以叠加方式显示并呈现给外科医师11131，可以减轻外科医师11131的负担，或者能够使外科医师11131更可靠地进行手术。
[0353]
使摄像机头11102和ccu 11201彼此连接的传输电缆11400是用于电信号通信的电信号电缆、用于光学通信的光纤或者用于电通信和光学通信二者的复合电缆。
[0354]
这里，在示出的示例中，虽然通过使用传输电缆11400的有线通信执行通信，但摄像机头11102和ccu 11201之间的通信可以通过无线通信来执行。
[0355]
上文已经说明了可应用根据本公开的技术的内窥镜手术系统的示例。根据本公开的技术可以应用于上述部件之中的图像拍摄单元11402和图像处理单元11412。由此能够提高拍摄图像的图像质量，从而允许医生能够更精确地了解患者体内的状态。
[0356]
注意，这里作为示例说明了内窥镜手术系统，但根据本公开的技术可以应用于其它系统，例如显微镜手术系统等。
[0357]
《移动体的应用示例》
[0358]
根据本公开的技术可以应用到各种产品。例如，根据本公开实施例的技术可以实现为安装在任何类型的移动体上的设备的形式，移动体例如是汽车、电动车、混合动力电动车、摩托车、自行车、个人移动装置、飞机、无人机、船舶、机器人、建筑机器以及农业机器(拖拉机)。
[0359]
图45是描绘作为可应用根据本公开实施例的技术的移动体控制系统的示例的车辆控制系统的示意性构造的示例的框图。
[0360]
车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图45所示的示例中，车辆控制系统12000包括行驶系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040和集成控制单元12050。另外，微型计算机12051、声音/图像输出部12052和车载网络接口(i/f)12053被作为集成控制单元12050的功能构造示出。
[0361]
行驶系统控制单元12010根据各种类型的程序来控制与车辆的行驶系统相关的设备的操作。例如，行驶系统控制单元12010用作控制设备，以控制诸如内燃机或驱动马达等用于产生车辆驱动力的驱动力产生设备、用于将驱动力传送到车轮的驱动力传送机构、用于调节车辆的转向角的转向机构以及用于产生车辆的制动力的制动设备等。
[0362]
车身系统控制单元12020根据各种类型的程序来控制设置在车身上的各种设备的操作。例如，车身系统控制单元12020用作无钥匙进入系统、智能钥匙系统、电动车窗设备或诸如前照灯、倒车灯、刹车灯、转向灯或雾灯等各种灯的控制设备。在这种情况下，可以将从移动设备传送的代替钥匙的无线电波或各种类型的开关的信号输入到车身系统控制单元12020中。车身系统控制单元12020接收这些输入的无线电波或信号，并控制车辆的门锁设备、电动车窗设备、车灯等。
[0363]
车辆外部信息检测单元12030检测有关包括车辆控制系统12000的车辆的外部的信息。例如，车辆外部信息检测单元12030与摄像部12031连接。车辆外部信息检测单元12030使摄像部12031拍摄车辆外部的图像，并接收拍摄图像。基于所接收的图像，车辆外部信息检测单元12030可以执行用于检测诸如人、车辆、障碍物、标志、路面上的字符等物体的处理，或者执行用于检测至车辆的距离的处理。
[0364]
摄像部12031是光学传感器，其接收光并输出对应于所接收的光量的电信号。摄像部12031可以输出电信号作为图像，或者可以输出电信号作为有关测量距离的信息。另外，由摄像部12031接收的光可以是可见光，或者可以是诸如红外线等不可见光。
[0365]
车内信息检测单元12040检测有关车辆内部的信息。例如，车内信息检测单元12040与用于检测驾驶员状态的驾驶员状态检测部12041连接。驾驶员状态检测部12041例如包括对驾驶员进行摄像的摄像机。基于从驾驶员状态检测部12041输入的检测信息，车内信息检测单元12040可以计算驾驶员的疲劳程度或驾驶员的集中程度，或者可以确定驾驶员是否在打瞌睡。
[0366]
微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040获得的有关车辆内部或外部的信息来计算驱动力产生设备、转向机构或制动设备的控制目
标值，并可以将控制命令输出到行驶系控制单元统12010。例如，微型计算机12051可以执行旨在实现高级驾驶员辅助系统(adas)功能的协同控制，adas功能包括车辆碰撞避免或车辆碰撞减震、基于跟随距离的跟随行驶、车辆速度维持行驶、车辆碰撞警告、车辆偏离车道警告等。
[0367]
另外，通过基于由车外信息检测单元12030或车内信息检测单元12040获得的有关车辆内部或外部的信息控制驱动力产生设备、转向机构或制动设备等，微型计算机12051可以执行旨在实现自主行驶的协同控制，该协同控制使车辆自动行驶而不取决于驾驶员的操作。
[0368]
另外，微型计算机12051可以基于由车外信息检测单元12030获得的车辆外部信息向车身系统控制单元12020输出控制命令。例如，微型计算机12051可以执行旨在通过根据由车辆外部信息检测单元12030检测的前方车辆或迎面车辆的位置控制前照灯并将远光灯改变为近光灯以防止眩光的协同控制。
[0369]
声音/图像输出部12052将声音和图像中的至少一者的输出信号传送到能够在视觉上或听觉上将信息通知给车辆的乘客或车辆外部。在图45的示例中，音频扬声器12061、显示部12062和仪表板12063被作为输出设备的示例示出。显示部12062可以例如包括车载显示器和抬头显示器中的至少一者。
[0370]
图46是示出摄像部12031的安装位置的示例的图。
[0371]
在图46中，摄像部12031包括摄像部12101、12102、12103、12104和12105。
[0372]
例如，摄像部12101、12102、12103、12104和12105设置在诸如车辆12100的前鼻、后视镜、后保险杠和后门以及车辆内部挡风玻璃上部的位置。设置在前鼻处的摄像部12101和设置在车辆内部挡风玻璃上部处的摄像部12105主要获得车辆12100前方的图像。设置在后视镜处的摄像部12102和12103主要获得车辆12100两侧的图像。设置在后保险杠或后门处的摄像部12104主要获得车辆12100后方的图像。设置在车辆内部挡风玻璃上部处的12105主要用于检测前方车辆、行人、障碍物、交通灯、交通标志或车道等。
[0373]
注意，图46描绘了摄像部12101至12104的摄像范围的示例。摄像范围12111表示设置在前鼻处的摄像部12101的摄像范围。摄像范围12112和12113分别表示设置在后视镜处的摄像部12102和12103的摄像范围。摄像范围12114表示设置在后保险杠或后门处的摄像部12104的摄像范围。例如，通过使由摄像部12101至12104拍摄的图像数据叠加来获得车辆12100的如从上方观察的鸟瞰图像。
[0374]
摄像部12101至12104中的至少一者可以具有获得距离信息的功能。例如，摄像部12101至12104中的至少一者可以是由多个摄像元件组成的立体摄像机，或者可以是包括用于相位差检测的像素的摄像元件。
[0375]
例如，微型计算机12051能够基于从摄像部12101至12104获得的距离信息来确定距摄像范围12111到12114内的每个三维(3d)物体的距离以及该距离的时间变化(相对于车辆12100的相对速度)，并由此提取尤其存在于车辆12100的行驶路径上并且在与车辆12100基本上相同的方向上以预定速度(例如，等于或大于0km/h)行进的最近的三维物体，以作为前方车辆。此外，微型计算机12051可以预先设置前方车辆的前方所要维持的跟随距离，并执行自动制动控制(包括跟随停止控制)、自动加速控制(包括跟随启动驾驶控制)等。因而，可以执行旨在实现自主行驶的协同控制，自主行驶是车辆自动行驶而不取决于驾驶员的操
作等。
[0376]
例如，微型计算机12051可以基于从摄像部12101到12104获得的距离信息将三维物体的三维物体数据分类为两轮车辆、标准车辆、大型车辆、行人、电线杆或其它三维物体的三维物体数据，提取所分类的三维物体数据，并使用所提取的三维物体数据来自动避开障碍物。例如，微型计算机12051将车辆12100周围的障碍物识别为车辆12100的驾驶员可以在视觉上辨认的障碍物以及驾驶员难以在视觉上辨认的障碍物。然后，微型计算机12051确定用于指示与每个障碍物发生碰撞的危险水平的碰撞风险。在碰撞风险等于或高于预设值时并且因而存在碰撞可能的情形下，微型计算机12051经由音频扬声器12061或显示部12062向驾驶员输出警告，并且经由行驶系统控制单元12010执行强制减速或防撞转向。由此，微型计算机12051能够执行驾驶辅助以避免碰撞。
[0377]
摄像部12101至12104中的至少一者可以是检测红外光的红外摄像机。例如，微型计算机12051可以通过确定摄像部12101至12104的拍摄图像中是否存在行人来识别行人。行人的这种识别例如通过如下过程来执行：在作为红外摄像机的摄像部12101至12104的拍摄图像中提取特征点的过程；以及通过执行对表示物体轮廓的一系列特征点执行图案匹配来确定其是否是行人的过程。在微型计算机12051确定摄像部12101至12104的拍摄图像中存在行人并且因此识别出行人的情况下，声音/图像输出部12052控制显示部12062，使得以在所识别的行人上叠加的方式显示方形轮廓线以进行强调。声音/图像输出部12052还可以控制显示部12062，以将用于表示行人的图标等显示在期望位置。
[0378]
上文说明了可以应用根据本公开的技术的车辆控制系统的示例。根据本公开的技术可以应用到上述部件之中的摄像部12031。由此，能够提高拍摄图像的图像质量，从而允许车辆控制系统12000能够更精确地了解例如车辆外部环境。由此，能够执行更精确的驾驶辅助等。
[0379]
尽管参照一些实施例、变形例及其特定应用示例说明了本技术，但本技术不限于这些实施例等，且可以以任何方式进行修改。
[0380]
例如，在上述各个实施例中，摄像设备1使用摄像部10和图像处理部20来构造，但这不是限制性的。替代地，例如，不同于摄像设备1的操作设备可具有图像处理部20的功能。在这种情况下，操作设备被提供包括图像图谱数据mpr、mpg和mpb和转换增益gc的有关信息的图像数据文件。这允许操作设备能够基于图像数据文件来执行图像分割处理a1、插值处理部a2和合成处理a3。操作设备可包括执行图像处理程序的个人计算机。
[0381]
另外，在上述各个实施例中，例如，图像处理部20基于由增益信号sgain指示的转换增益cg来控制是否执行图像分割处理a1、插值处理a2和合成处理a3，但这不是示例性的。替代地，例如，摄像部10可以判定是否执行图像分割处理a1、插值处理a2和合成处理a3，并产生用于指示判定结果的模式信号。这种情况下，图像处理部20能够根据模式信号执行操作。
[0382]
应注意，这里描述的效果仅是说明性的和非限制的，且可以包括其他效果。
[0383]
应注意，本技术可以按照以下方式构造。
[0384]
(1)一种图像处理器，包括：
[0385]
图像分割处理部，其被构造成基于包括多个像素值的第一图像图谱数据产生多个第一图谱数据，所述多个第一图谱数据具有彼此不同的像素值排列图案，并包括位于彼此
不同的位置处的像素值；
[0386]
插值处理部，其被构造成通过以下方式产生与所述多个第一图谱数据相对应的多个第二图谱数据：利用插值处理，确定所述多个第一图谱数据的每者中不存在像素值的位置处的像素值；以及
[0387]
合成处理部，其被构造成通过以下方式产生第三图谱数据：基于所述多个第二图谱数据中彼此相对应的位置处的像素值，产生与所述彼此相对应的位置相对应的位置处的像素值。
[0388]
(2)根据(1)所述的图像处理器，其中，所述排列图案是棋盘格图案。
[0389]
(3)根据(1)或(2)所述的图像处理器，还包括插值控制器，所述插值控制器被构造成基于所述第一图像图谱数据确定所述插值处理中的处理方法。
[0390]
(4)根据(3)所述的图像处理器，其中，所述插值控制器被构造成通过以下方式确定所述处理方法：基于所述第一图像图谱数据，确定所述插值处理中的插值方向。
[0391]
(5)根据(3)或(4)所述的图像处理器，其中，所述插值控制器被构造成基于所述第一图像图谱数据确定空间频率信息，并基于所述空间频率信息确定所述处理方法。
[0392]
(6)根据(3)至(5)中任一项所述的图像处理器，其中，所述插值控制器被构造成基于所述第一图像图谱数据、第二图像图谱数据和第三图像图谱数据产生合成的图谱数据，并基于所述合成的图谱数据确定所述插值处理中的所述处理方法。
[0393]
(7)根据(1)至(6)中任一项所述的图像处理器，其中，
[0394]
所述图像分割处理部被构造成还基于包括多个像素值的第二图像图谱数据产生多个第四图谱数据，所述多个第四图谱数据具有彼此不同的像素值排列图案，并包括位于彼此不同的位置处的像素值，
[0395]
所述插值处理部被构造成通过以下方式产生与所述多个第四图谱数据相对应的多个第五图谱数据：利用所述插值处理，确定所述多个第四图谱数据的每者中不存在像素值的位置处的像素值，
[0396]
所述多个第一图谱数据中的所述像素值排列图案包括第一排列图案和第二排列图案，并且
[0397]
所述多个第四图谱数据中的所述像素值排列图案包括所述第一排列图案和所述第二排列图案。
[0398]
(8)根据(7)所述的图像处理器，其中，所述多个第一图谱数据的所述插值方法中的插值方法与所述多个第四图谱数据的所述插值处理中的插值方法相同。
[0399]
(9)根据(7)或(8)所述的图像处理器，其中，
[0400]
所述第一图像图谱数据中的所述多个像素值包括第一颜色的多个像素值，
[0401]
所述第二图像图谱数据中的所述多个像素值包括第二颜色的多个像素值和第三颜色的多个像素值。
[0402]
(10)根据(7)或(8)所述的图像处理器，其中，
[0403]
所述第一图像图谱数据中的所述多个像素值包括第一颜色的多个像素值，并且
[0404]
所述第二图像图谱数据中的所述多个像素值包括第二颜色的多个像素值、第三颜色的多个像素值和第四颜色的多个像素值。
[0405]
(11)根据(7)所述的图像处理器，其中，
[0406]
所述合成处理部被构造成通过以下方式产生第六图谱数据：基于所述多个第五图谱数据中彼此相对应的位置处的像素值，产生与所述彼此相对应的位置相对应的位置处的像素值，
[0407]
所述图像分割处理部被构造成还基于包括多个像素值的第三图像图谱数据产生多个第七图谱数据，所述多个第七图谱数据具有彼此不同的像素值排列图案，并包括位于彼此不同的位置处的像素值，
[0408]
所述插值处理部被构造成通过以下方式产生与所述多个第七图谱数据相对应的多个第八图谱数据：利用所述插值处理，确定所述多个第七图谱数据的每者中不存在像素值的位置处的像素值，
[0409]
所述合成处理部被构造成通过以下方式产生第九图谱数据：基于所述多个第八图谱数据中彼此相对应的位置处的像素值，产生与所述彼此相对应的位置相对应的位置处的像素值，并且
[0410]
所述多个第七图谱数据中的所述像素值排列图案包括所述第一排列图案和所述第二排列图案。
[0411]
(12)根据(11)所述的图像处理器，其中，
[0412]
所述多个第一图谱数据的所述插值方法中的插值方法与所述多个第四图谱数据的所述插值处理中的插值方法、所述多个第七图谱数据的所述插值处理中的插值方法相同。
[0413]
(13)根据(11)或(12)所述的图像处理器，其中，
[0414]
所述第一图像图谱数据中的所述多个像素值包括第一颜色的多个像素值，
[0415]
所述第二图像图谱数据中的所述多个像素值包括第二颜色的多个像素值，并且
[0416]
所述第三图像图谱数据中的所述多个像素值包括第三颜色的多个像素值。
[0417]
(14)根据(11)至(13)中任一项所述的图像处理器，其中，所述第一图像图谱数据中的所述多个像素值的数量不同于所述第二图像图谱数据中的所述多个像素值的数量。
[0418]
(15)根据(14)所述的图像处理器，其中，
[0419]
所述第一图像图谱数据中的所述多个像素值包括绿色的多个像素值，并且
[0420]
所述第一图像图谱数据中的两个以上的像素值与所述第二图像图谱数据中的一个像素值相关联。
[0421]
(16)根据(1)至(5)中任一项所述的图像处理器，其中，还包括生成器，所述生成器基于图像信号产生所述第一图像图谱数据，其中，所述第一图像图谱数据包括亮度图谱数据。
[0422]
(17)根据(1)至(16)中任一项所述的图像处理器，还包括处理控制器，所述处理控制器被构造成控制所述图像分割处理部、所述插值处理部和所述合成处理部是否执行处理。
[0423]
(18)根据(17)所述的图像处理器，其中，还包括处理部，所述处理部被构造成基于所述第一图像图谱数据或所述第三图谱数据执行预定信号处理，
[0424]
其中，所述处理控制器被构造成使所述处理部在第一操作模式中基于所述第一图像图谱数据执行所述预定信号处理并在第二操作模式中基于所述第三图谱数据执行所述预定信号处理。
[0425]
(19)根据(18)所述的图像处理器，其中，所述处理控制器被构造成基于参数控制所述图像分割处理部、所述插值处理部和所述合成处理部是否执行处理。
[0426]
(20)根据(19)所述的图像处理器，其中，
[0427]
所述第一图像图谱数据是从摄像部提供的，
[0428]
所述参数包括所述摄像部中的增益值，并且
[0429]
在所述增益值高于预定增益值的情况下，所述处理控制器执行控制以使所述图像分割处理部、所述插值处理部和所述合成处理部执行处理。
[0430]
(21)一种图像处理方法，包括：
[0431]
图像分割处理：基于包括多个像素值的第一图像图谱数据产生多个第一图谱数据，所述多个第一图谱数据具有彼此不同的像素值排列图案，并包括位于彼此不同的位置处的像素值；
[0432]
插值处理：通过利用插值处理确定所述多个第一图谱数据的每者中不存在像素值的位置处的像素值，确定与所述多个第一图谱数据相对应的多个第二图谱数据；以及
[0433]
合成处理：通过基于所述多个第二图谱数据中彼此相对应的位置处的像素值产生与所述彼此相对应的位置相对应的位置处的像素值，产生第三图谱数据。
[0434]
(22)一种摄像设备，包括：
[0435]
摄像部，其产生包括多个像素值的第一图像图谱数据；
[0436]
图像分割处理部，其被构造成基于所述第一图像图谱数据产生多个第一图谱数据，所述多个第一图谱数据具有彼此不同的像素值排列图案，并包括位于彼此不同的位置处的像素值；
[0437]
插值处理部，其被构造成通过以下方式产生与所述多个第一图谱数据相对应的多个第二图谱数据：利用插值处理，确定所述多个第一图谱数据的每者中不存在像素值的位置处的像素值；以及
[0438]
合成处理部，其被构造成通过以下方式产生第三图谱数据：基于所述多个第二图谱数据中彼此相对应的位置处的像素值，产生与所述彼此相对应的位置相对应的位置处的像素值。
[0439]
(23)根据(22)所述的摄像设备，其中，
[0440]
所述摄像部包括布置成预定颜色排列的多个像素，并且
[0441]
所述排列图案具有对应于所述颜色排列的图案。
[0442]
本技术要求2018年2月9日向日本专利局提交的日本优先权专利申请jp 2018-022143的权益，其全部内容通过引用的方式并入本文。
[0443]
本领域技术人员应当理解，在不脱离所附权利要求及其等同方案的范围的情况下，可以根据设计要求和其它因素做出各种变形、组合、子组合和改变。