拍摄系统的制作方法

拍摄系统
1.相关申请的交叉引用
2.本技术要求于2020年11月18日提交日本专利局、申请号为2020-192051、发明名称为“拍摄系统”的日本专利申请的优先权，其全部内容通过应用结合在本技术中。
技术领域
3.本发明涉及拍摄系统。


背景技术：

4.手机、智能手机、笔记本型个人电脑、平板型个人电脑、数码相机、数码摄像机、或车载摄像头等许多电子设备在具备显示装置的同时还具备固体拍摄装置(图像传感器)。在这些电子设备中，被摄体作为由图像传感器转换成电信号的图像被获取。
5.近年来，不仅显示装置，而且图像传感器的高分辨率化也不断发展，但在图像传感器的高分辨率化中，产生受光灵敏度的降低或噪声的增加等问题。
6.特别是在低照度下的视频的拍摄中，由于光量的不足，电信号的s/n降低。在视频的拍摄中，预先设定帧速率的情况也很多，限制图像传感器的曝光时间的上限的情况也不少。因此，为了提高电信号的s/n，已知有将图像传感器中包含的多个像素作为一个像素进行输出的合并处理(例如，参照专利文献1。)。
7.现有技术文献
8.专利文献
9.专利文献1：日本特开2019－5634号公报


技术实现要素：

10.发明所要解决的问题
11.但是，一般而言，电信号的s/n和分辨率处于折衷的关系。即，当执行合并处理时，实际的像素数减少，因此，存在图像传感器的分辨率降低的问题。
12.本发明是鉴于上述问题而研发的，其课题之一在于，提供一种拍摄系统，能够恢复由于合并处理而降低的图像的分辨率，且输出具有高灵敏度及高分辨率的图像信号。
13.用于解决问题的技术方案
14.本发明的一实施方式提供一种拍摄系统，其包含：合并处理部，其在连续的第一～第n帧中，将沿第一方向或第二方向排列的多个像素进行合并，生成第一～第n合并信号，其中n为2以上的整数；分辨率恢复处理，其合成第一～第n合并信号，生成恢复了分辨率的图像信号，合并的多个像素的组合按照第一～第n帧中的每一帧而不同。
15.也可以是，在第一～第n帧的任一帧中，合并的多个像素包含在第一方向上相邻的两个像素或在第二方向上相邻的两个像素。
16.也可以是，在第一～第n帧的任一帧中，合并的多个像素为相互相邻的四个像素。
17.也可以是，在第一～第n帧的至少两个帧中的每一帧中，合并的多个像素为包含在
第一方向上相邻的两个像素及在第二方向上相邻的两个像素中的一方的四个像素。另外，也可以是，四个像素相互相邻，在至少两个帧的一方合并的四个像素的位置相对于在至少两个帧的另一方合并的四个像素的位置，在第一方向或第二方向上位移。
18.也可以是，在第一～第n帧的至少一个帧中，合并的多个像素为第一方向上连续的四个像素。另外，也可以是，在第一～第n帧的至少一个帧中，合并的多个像素为第二方向上连续的四个像素。
19.也可以是，在第一～第n帧的至少一个帧中，合并的多个像素为第一方向上相邻的两个像素。另外，也可以是，在第一～第n帧的至少一个帧中，合并的多个像素为第二方向上相邻的两个像素。
20.发明效果
21.根据本发明一实施方式的拍摄系统，可以不变更帧速率或曝光时间，而恢复由于合并处理而降低的图像的分辨率，输出具有高灵敏度及高分辨率的图像信号，且显示具有高灵敏度及高分辨率的图像。
附图说明
22.图1是表示表示本发明一实施方式的拍摄系统的结构的框图。
23.图2是表示本发明一实施方式的拍摄系统的像素部的像素排列的示意图。
24.图3是说明在本发明一实施方式(第一实施方式)的拍摄系统中，在第一帧执行的第一合并图案的合并处理的示意图。
25.图4是说明在本发明一实施方式(第一实施方式)的拍摄系统中，在第二帧执行的第二合并图案的合并处理的示意图。
26.图5是说明在本发明一实施方式(第一实施方式)的拍摄系统中，在第三帧执行的第三合并图案的合并处理的示意图。
27.图6a是说明本发明一实施方式(第一实施方式)的拍摄系统中的分辨率的恢复处理的示意图。
28.图6b是说明本发明一实施方式(第一实施方式)的拍摄系统中的分辨率的恢复处理的示意图。
29.图6c是说明本发明一实施方式(第一实施方式)的拍摄系统中的分辨率的恢复处理的示意图。
30.图6d是说明本发明一实施方式(第一实施方式)的拍摄系统中的分辨率的恢复处理的示意图。
31.图7是说明在本发明一实施方式(第二实施方式)的拍摄系统中，在第一帧执行的第一合并图案的合并处理的示意图。
32.图8是说明在本发明一实施方式(第二实施方式)的拍摄系统中，在第二帧执行的第二合并图案的合并处理的示意图。
33.图9是说明在本发明一实施方式(第二实施方式)的拍摄系统中，基于第一合并信号合成第二合并信号的分辨率的恢复处理的示意图。
34.图10是说明本发明一实施方式(第三实施方式)的拍摄系统中的分辨率的恢复处理的示意图。
35.图11是说明在本发明一实施方式(第四实施方式)的拍摄系统中，在第一帧执行的第一合并图案的合并处理的示意图。
36.图12是说明在本发明一实施方式(第四实施方式)的拍摄系统中，在第二帧执行的第二合并图案的合并处理的示意图。
37.图13是说明在本发明一实施方式(第四实施方式)的拍摄系统中，在第三帧执行的第三合并图案的合并处理的示意图。
38.图14是说明在本发明一实施方式(第四实施方式)的拍摄系统中，在第四帧执行的第四合并图案的合并处理的示意图。
39.图15是说明本发明一实施方式(第四实施方式)的拍摄系统中的分辨率的恢复处理的示意图。
40.图16是说明在本发明一实施方式(第五实施方式)的拍摄系统中，在第一帧执行的第一合并图案的合并处理的示意图。
41.图17是说明在本发明一实施方式(第五实施方式)的拍摄系统中，在第二帧执行的第二合并图案的合并处理的示意图。
42.图18是说明在本发明一实施方式(第五实施方式)的拍摄系统中，在第三帧执行的第三合并图案的合并处理的示意图。
43.图19a是说明本发明一实施方式的拍摄系统中的分辨率的恢复处理的示意图。
44.图19b是说明本发明一实施方式的拍摄系统中的分辨率的恢复处理的示意图。
45.图20是说明在本发明一实施方式(第六实施方式)的拍摄系统中，在第一帧执行的第一合并图案的合并处理的示意图。
46.图21是说明在本发明一实施方式(第六实施方式)的拍摄系统中，在第二帧执行的第二合并图案的合并处理的示意图。
47.图22是说明在本发明一实施方式(第六实施方式)的拍摄系统中，在第三帧执行的第三合并图案的合并处理的示意图。
48.图23a是说明本发明一实施方式(第六实施方式)的拍摄系统中的分辨率的恢复处理的示意图。
49.图23b是说明本发明一实施方式(第六实施方式)的拍摄系统中的分辨率的恢复处理的示意图。
50.图24是说明在本发明一实施方式(第七实施方式)的拍摄系统中，在第一帧执行的第一合并图案的合并处理的示意图。
51.图25是说明在本发明一实施方式(第七实施方式)的拍摄系统中，在第二帧执行的第二合并图案的合并处理的示意图。
52.图26是说明在本发明一实施方式(第七实施方式)的拍摄系统中，基于第一合并信号合成第二合并信号的分辨率的恢复处理的示意图。
53.图27是说明在本发明一实施方式(第七实施方式)的拍摄系统中，基于第二合并信号合成第一合并信号的分辨率的恢复处理的示意图。
具体实施方式
54.下面，参照附图对本发明的各实施方式进行说明。此外，各实施方式的公开只不过
为一例。即，本领域技术人员通过在保持发明的宗旨的同时适当变更而可容易想到的结构当然包含在本发明的范围内。为了使说明更明确，与实际的方式相比，附图有时对于各部的宽度、厚度、或形状等示意性地表示。但是，这些只不过为一例，不限定本发明的解释。另外，在本说明书及本附图中，关于已经提出的附图，对于与上述的结构相同的结构，有时适当省略详细的说明。
55.在本说明书中，“α包含a、b、或c”的表达只要没有特别明示，则不排除α包含a～c的多个组合的情况。另外，“α包含a、b、或c”或“α包含a、b、及c”的表达只要没有特别明示，则不排除α包含其它结构的情况。
56.在本说明书中，对各结构备注的“第一”、“第二”、或“第三”等的文字是为了区分各结构而使用的便利的标识，只要没有特别说明，则就不具有进一步的含义。
57.在本说明书中，“相互相邻”的表达不仅表示在行方向及列方向上相邻，有时还表示在行方向、列方向、及对角方向上相邻。
58.在本说明书中，合并的像素为同色，“合并相邻的像素”或“合并连续的像素”的表达有时表示将其间经由不同颜色的像素相邻、或连续的同色的像素合并。
59.在本说明书及附图中，在将相同或类似的多个结构总体记载时使用相同的符号。另外，在将一个结构中的多个部分分别区分进行记载时，使用相同的符号，还有时使用连字符和自然数。
60.此外，以下的各实施方式只要不产生技术上的矛盾，就能够相互组合。
61.＜第一实施方式＞
62.参照图1～图6d对本发明一实施方式的拍摄系统100的结构进行说明。
63.[1.拍摄系统100]
[0064]
图1是表示本发明一实施方式的拍摄系统100的结构的框图。如图1所示，拍摄系统100包含：像素部110、合并处理部120、分辨率恢复处理部130、第一存储部140、传感器部150、图像信号处理部160、第二存储部170、及显示部180。
[0065]
像素部110能够将被摄体发出的光转换成电信号。即，像素部110能够将被摄体的信息作为电信号进行获取(以下，将像素部110获取的电信号设为“像素信号”。)。换言之，像素部110能够生成并输出像素信号。像素部110包含多个像素及控制多个像素的控制电路。在多个像素中的每一个设置有包含透镜、光电二极管、晶体管、或彩色滤光片等的受光元件。受光元件可以是通过光产生电动势的光电转换元件，或也可以是电导率通过光进行变化的光电转换元件。
[0066]
在此，参照图2对像素部110中包含的多个像素的排列(以下，设为“像素排列”。)进行说明。图2是表示本发明一实施方式的拍摄系统100的像素部110的像素排列的示意图。如图2所示，像素部110包含：第一绿色像素(g1)、在列方向上与第一绿色像素(g1)相邻的蓝色像素(b)、在行方向上与第一绿色像素(g1)相邻的红色像素(r)、及在列方向和行方向之间的对角方向上与第一绿色像素(g1)相邻的第二绿色像素(g2)。另外，第一绿色像素(g1)、蓝色像素(b)、红色像素(r)、及第二绿色像素(g2)在列方向及行方向上以等间隔配置。在此，当将相邻的一个第一绿色像素(g1)、一个蓝色像素(b)、一个红色像素(r)、及一个第二绿色像素(g2)设为像素单元200时，像素单元200被配置成矩阵状。图2所示的像素排列为所谓的拜耳排列。在拜耳排列中，人眼的视觉灵敏度高的绿色像素比蓝色像素及红色像素多地配
置。在本说明书中，方便起见，区分第一绿色像素(g1)和第二绿色像素(g2)进行说明，但也可以是具有相同的光学特性的绿色像素。
[0067]
合并处理部120能够接收像素信号，并对像素信号执行合并处理。即，合并处理部120能够将像素信号中包含的一些同色像素的模拟像素值相加或加法平均，并作为一个像素的像素值进行输出。换言之，合并处理部120能够对像素信号执行合并处理，根据像素信号生成并输出合并信号。在此，模拟像素值是反映像素中的图像信息的值，即与由受光元件获取的光的强度对应的值。另外，合并信号也可以是进行了a/d转换的数字信号。此外，后述合并处理的详情。
[0068]
分辨率恢复处理部130能够接收合并信号，并使用合并信号执行分辨率的恢复处理。换言之，分辨率恢复处理部130能够使用合并信号生成恢复分辨率的图像信号，并向图像信号处理部160输出图像信号。当由合并处理部120执行合并处理时，图像的分辨率降低。但是，在拍摄系统100中，能够利用分辨率恢复处理部130恢复降低的图像的分辨率。因此，拍摄系统100能够输出具有高分辨率的图像信号。
[0069]
第一存储部140能够储存与分辨率恢复处理部130执行的分辨率的恢复处理相关的数据。例如，第一存储部140能够在各帧中储存合并处理部120输出的合并信号。分辨率恢复处理部130能够从第一存储部140读出多个帧中的合并信号，并执行分辨率的恢复处理。作为第一存储部140，例如，能够使用存储器等。
[0070]
后述分辨率的恢复处理的详情，分辨率的恢复处理能够通过例如信息处理装置(计算机)执行。信息处理装置包含例如中央运算处理装置(central processing unit,cpu)等运算部及寄存器或存储器等存储部。分辨率的恢复处理能够通过利用运算部读入预先储存于存储部的程序而执行。
[0071]
传感器部150能够检测像素部110的动作(例如，像素部110的模糊量等)，并向分辨率恢复处理部130输出传感器检测信号。分辨率恢复处理部130能够基于传感器检测信号对合并信号进行校正(例如，模糊校正等)，并执行分辨率的恢复处理。传感器部150中包含的传感器的数量可以为1个，也可以为多个。作为传感器部150中包含的传感器，例如能够使用加速度传感器或角速度传感器等。
[0072]
在拍摄系统100中不包含传感器部150的情况下，分辨率恢复处理部130也可以根据合并信号计算像素部110的模糊量。分辨率恢复处理部130能够基于算出的模糊量来校正合并信号。
[0073]
图像信号处理部160能够接收图像信号，并对图像信号执行颜色插值(去马赛克)、噪声降低校正、边缘加强、或伽马校正等各种信号处理。另外，图像信号处理部160能够生成显示图像信号，并向显示部180输出显示图像信号。作为图像信号处理部160，例如能够使用图像信号处理器等。
[0074]
第二存储部170能够储存与图像信号处理部160执行的各种信号处理相关的数据。作为第二存储部170，例如能够使用存储器等。第二存储部170可以设置于与设置有第一存储部140的存储器不同的存储器，也可以设置于设置有第一存储部140的存储器的一部分区域。
[0075]
显示部180能够接收显示图像信号，并显示基于显示图像信号的图像。作为显示部180，例如能够使用液晶显示装置或oled显示装置等。
[0076]
合并处理部120对a/d转换之前的模拟信号执行合并处理，因此，合并处理部120也可以与像素部110一起包含于图像传感器中。另一方面，分辨率恢复处理部130只要能够对合并处理部120输出的合并信号执行分辨率的恢复处理即可。因此，分辨率恢复处理部130可以与图像传感器及图像信号处理器分开地设置，也可以包含于图像传感器或图像信号处理器中的任一方。
[0077]
[2.合并处理]
[0078]
在拍摄系统100中，按照每一帧执行不同的合并图案的合并处理。例如，在执行三个不同的合并图案的合并处理的情况下，在连续的第一帧、第二帧、及第三帧中，分别执行第一合并图案、第二合并图案、及第三合并图案的合并处理。在第四帧以后，重复进行该合并处理。因此，在拍摄系统100中，生成与多个不同的合并图案的合并处理对应的多个合并信号。以下，作为一例，对三个不同的合并图案(第一合并图案～第三合并图案)的合并处理进行说明。
[0079]
图3是说明在本发明一实施方式的拍摄系统100中，在第一帧执行的第一合并图案的合并处理的示意图。
[0080]
图3中示出包含各自进行了拜耳排列的4
×
4个像素单元200的像素单元组500。像素单元组500为像素部110的像素排列的一部分。第一合并图案是对像素单元组500中的四个被合并区域510(第一被合并区域510－1～第四被合并区域510－4)执行的合并处理。四个被合并区域510中的每一个包含相互相邻的4个(2
×
2个)像素单元200。另外，四个被合并区域510相互相邻地配置。在第一合并图案的合并处理中，合并被合并区域510内的四个像素单元200中包含的同色的四个像素。换言之，在第一合并图案的合并处理中，将被合并区域510内的四个像素单元200转换成合并后像素单元610(第一合并后像素单元610－1～第四合并后像素单元610－4)。
[0081]
因此，当在第一帧执行第一合并图案的合并处理时，生成包含4个(2
×
2个)合并后像素单元610(第一合并后像素单元610－1～第四合并后像素单元610－4)的第一合并信号600－1。
[0082]
此外，在第一合并图案的合并处理中，合并2
×
2个像素，因此，第一合并图案也可以称为2
×
2合并图案。
[0083]
图4是说明在本发明一实施方式的拍摄系统100中，在第二帧执行的第二合并图案的合并处理的示意图。
[0084]
图4示出包含图3所示的4
×
4个像素单元200的像素单元组500。第二合并图案是对像素单元组500中的被合并区域520(第一被合并区域520－1～第四被合并区域520－4)执行的合并处理。四个被合并区域520中的每一个包含在行方向上连续的4个(4
×
1个)像素单元200。另外，四个被合并区域520在列方向上连续地配置。在第二合并图案的合并处理中，合并被合并区域520内的四个像素单元200中包含的同色的四个像素。换言之，在第二合并图案的合并处理中，将被合并区域520内的四个像素单元200转换成合并后像素单元620(第一合并后像素单元620－1～第四合并后像素单元620－4)。
[0085]
因此，当在第二帧执行第二合并图案的合并处理时，生成包含4个(1
×
4个)合并后像素单元620(第一合并后像素单元620－1～第四合并后像素单元620－4)的第二合并信号600－2。
[0086]
此外，在第二合并图案的合并处理中，合并4
×
1个像素，因此，第二合并图案也可以称为4
×
1合并图案。
[0087]
图5是说明在本发明一实施方式的拍摄系统100中，在第三帧执行的第三合并图案的合并处理的示意图。
[0088]
图5中示出包含图3所示的4
×
4个像素单元200的像素单元组500。第三合并图案是对像素单元组500中的被合并区域530(第一被合并区域530－1～第四被合并区域530－4)执行的合并处理。四个被合并区域530中的每一个包含在列方向上连续的4个(1
×
4个)像素单元200。另外，四个被合并区域530在行方向上连续地配置。在第三合并图案的合并处理中，合并被合并区域530内的四个像素单元200中包含的同色的四个像素。换言之，在第三合并图案的合并处理中，将被合并区域530内的四个像素单元200转换成合并后像素单元630(第一合并后像素单元630－1～第四合并后像素单元630－4)。
[0089]
因此，当在第三帧执行第三合并图案的合并处理时，生成包含4个(4
×
1个)合并后像素单元630(第一合并后像素单元630－1～第四合并后像素单元630－4)的第三合并信号600－3。
[0090]
此外，在第三合并图案的合并处理中，合并1
×
4个像素，因此，第三合并图案也可以称为1
×
4合并图案。
[0091]
第一合并图案～第三合并图案的合并处理的顺序没有特别限定。即，在本实施方式的拍摄系统100的合并处理中，只要在连续的三个帧中生成第一合并信号600－1～第三合并信号600－3即可。
[0092]
在第一帧～第三帧，即使是相对于相同的像素组500中包含的像素的合并，被合并区域也不同。因此，合并的多个像素的组合按照第一帧～第三帧中的每一帧而不同。
[0093]
[3.分辨率的恢复处理]
[0094]
通过上述的合并处理，图像的分辨率降低。但是，在拍摄系统100中，能够合成多个不同的合并信号并恢复图像的分辨率。以下，参照图6a～图6d对合成第一合并信号600－1～第三合并信号600－3的分辨率的恢复处理进行说明。
[0095]
在本实施方式中，将第一合并信号600－1的第一合并后像素单元610－1～第四合并后像素单元610－4中包含的第一绿色像素(g1)的像素值分别设为k1～k4。同样，将第二合并信号600－2的第一合并后像素单元620－1～第四合并后像素单元620－4中包含的第一绿色像素(g1)的像素值分别设为l1～l4。同样，将第三合并信号600－3的第一合并后像素单元630－1～第四合并后像素单元630－4中包含的第一绿色像素(g1)的像素值分别设为l1～l4。另外，在本实施方式中，说明针对合并后像素单元610～630中包含的第一绿色像素(g1)的分辨率的恢复处理，但对于合并后像素单元610～630中包含的蓝色像素(b)、红色像素(r)、及第二绿色像素(g2)中的每一个，同样也能够应用分辨率的恢复处理。
[0096]
图6a～图6d是说明本发明一实施方式的拍摄系统100中的分辨率的恢复处理的示意图。
[0097]
首先，如图6a所示，执行将第一合并信号600－1中包含的合并后像素单元610的面积在列方向上扩张2倍的转换。即，第一合并后像素单元610－1～第四合并后像素单元610－4分别转换成第一扩张合并后像素单元611－1～第四扩张合并后像素单元611－4。此外，以下，在没有特别区分第一扩张合并后像素单元611－1～第四扩张合并后像素单元
611－4的情况下，有时作为扩张合并后像素单元611进行说明。
[0098]
扩张合并后像素单元611的面积为合并后像素单元610的面积的2倍，因此，扩张合并后像素单元611中包含的第一绿色像素(g1)的像素值成为合并后像素单元610中包含的第一绿色像素(g1)的像素值的2倍。因此，第一扩张合并后像素单元611－1～第四扩张合并后像素单元611－4中包含的第一绿色像素(g1)的像素值分别为2k1、2k2、2k3、及2k4。
[0099]
此外，在上述的说明中，是将合并后像素单元610的面积扩张2倍的转换，因此，将像素值的转换系数设为2，但转换系数不限于此。转换系数也可以考虑面积以外的加权。
[0100]
接着，如图6b所示，执行将扩张合并后像素单元611在列方向上分割成两个的转换。即，第一扩张合并后像素单元611－1被分割成第一合成合并后像素单元621－1及第二合成合并后像素单元621－2。同样，第二扩张合并后像素单元611－2、第三扩张合并后像素单元611－3、及第四扩张合并后像素单元611－4分别分割成第三合成合并后像素单元621－3及第四合成合并后像素单元621－4、第五合成合并后像素单元621－5及第六合成合并后像素单元621－6、以及第七合成合并后像素单元621－7及第八合成合并后像素单元621－8。此外，以下，在没有特别区分第一合成合并后像素单元621－1～第八合成合并后像素单元621－8的情况下，有时作为合成合并后像素单元621进行说明。
[0101]
就合成合并后像素单元621中包含的第一绿色像素(g1)的像素值而言，考虑第二合并信号600－2的两个合并后像素单元620中包含的第一绿色像素(g1)的像素值的比率。具体而言，就第一合成合并后像素单元621－1及第二合成合并后像素单元621－2中的每一单元中包含的第一绿色像素(g1)的像素值而言，考虑第二合并信号600－2的第一合并后像素单元620－1及第二合并后像素单元620－2中包含的第一绿色像素(g1)的像素值的比率。同样，就第三合成合并后像素单元621－3及第四合成合并后像素单元621－4中的每一单元中包含的第一绿色像素(g1)而言，考虑第二合并信号600－2的第一合并后像素单元620－1及第二合并后像素单元620－2中包含的第一绿色像素(g1)的像素值的比率。另外，同样，就第五合成合并后像素单元621－5及第六合成合并后像素单元621－6中的每一单元中包含的第一绿色像素(g1)的像素值而言，考虑第二合并信号600－2的第三合并后像素单元620－3及第四合并后像素单元620－4中包含的第一绿色像素(g1)的像素值的比率。另外，同样，就第七合成合并后像素单元621－7及第八合成合并后像素单元621－8中的每一单元中包含的第一绿色像素(g1)的像素值而言，考虑第二合并信号600－2的与第三合并后像素单元620－3及第四合并后像素单元620－4中包含的第一绿色像素(g1)的像素值的比率。因此，第一合成合并后像素单元621－1～第八合成合并后像素单元621－8的第一绿色像素(g1)的像素值即k1’
、k
1”、k2’
、k
2”、k3’
、k
3”、k4’
、及k
4”能够通过表1所示的公示计算。
[0102]
【表1】
[0103]
[0104][0105]
接着，如图6c所示，执行将合成合并后像素单元621的面积在行方向上扩张2倍的转换。即，第一合成合并后像素单元621－1～第八合成合并后像素单元621－8分别转换成第一扩张合并后像素单元622－1～第八扩张合并后像素单元622－8。此外，以下，在没有特别区分第一扩张合并后像素单元622－1～第八扩张合并后像素单元622－8的情况下，有时作为扩张合并后像素单元622进行说明。
[0106]
扩张合并后像素单元622的面积为合成合并后像素单元621的面积的2倍，因此，扩张合并后像素单元622中包含的第一绿色像素(g1)的像素值成为合成合并后像素单元621中包含的第一绿色像素(g1)的像素值的2倍。因此，第一扩张合并后像素单元622－1～第八扩张合并后像素单元622－8中包含的第一绿色像素(g1)的像素值分别成为2k1’
、2k
1”、2k2’
、2k
2”、2k3’
、2k
3”、2k4’
、及2k
4”。
[0107]
接着，如图6d所示，执行将扩张合并后像素单元622在行方向上分割成两个的转换。其结果，第一扩张合并后像素单元622－1～第八扩张合并后像素单元622－8被转换成第一恢复像素单元710－1～第十六恢复像素单元710－16。此外，以下，在没有特别区分第一恢复像素单元710－1～第十六恢复像素单元710－16的情况下，有时作为恢复像素单元710进行说明。
[0108]
就恢复像素单元710中包含的第一绿色像素(g1)的像素值而言，考虑第三合并信号600－3的两个合并后像素单元630中包含的第一绿色像素(g1)的像素值的比率。具体而言，就恢复像素单元710中包含的第一绿色像素(g1)的像素值而言，考虑第三合并信号600－3的第一合并后像素单元630－1及第二合并后像素单元630－2中包含的第一绿色像素(g1)的像素值的比率，或第三合并信号600－3的第三合并后像素单元630－3及第四合并后像素单元630－4中包含的第一绿色像素(g1)的像素值的比率。因此，第一恢复像素单元710－1～第十六恢复像素单元710－16中包含的第一绿色像素(g1)的像素值即p1～p
16
能够通过表2所示的公示计算。
[0109]
【表2】
[0110]
第一恢复像素单元710－1p1＝2k1’×
m1/(m1 m2)第二恢复像素单元710－2p2＝2k1’×
m2/(m1 m2)第三恢复像素单元710－3p3＝2k2’×
m3/(m3 m4)第四恢复像素单元710－4p4＝2k2’×
m4/(m3 m4)第五恢复像素单元710－5p5＝2k1”×
m1/(m1 m2)第六恢复像素单元710－6p6＝2k1”×
m2/(m1 m2)第七恢复像素单元710－7p7＝2k2”×
m3/(m3 m4)第八恢复像素单元710－8p8＝2k2”×
m4/(m3 m4)第九恢复像素单元710－9p9＝2k3’×
m1/(m1 m2)第十恢复像素单元710－10p
10
＝2k3’×
m2/(m1 m2)
第十一恢复像素单元710－11p
11
＝2k4’×
m3/(m3 m4)第十二恢复像素单元710－12p
12
＝2k4’×
m4/(m3 m4)第十三恢复像素单元710－13p
13
＝2k3”×
m1/(m1 m2)第十四恢复像素单元710－14p
14
＝2k3”×
m2/(m1 m2)第十五恢复像素单元710－15p
15
＝2k4”×
m3/(m3 m4)第十六恢复像素单元710－16p
16
＝2k4”×
m4/(m3 m4)
[0111]
图6d所示的4
×
4个恢复像素单元710与包含合并处理前的4
×
4个像素单元200的像素单元组500对应。因此，通过执行上述的分辨率的恢复处理，能够恢复由于合并处理而降低的分辨率。另外，恢复了分辨率的恢复像素单元710的噪声量比因随机噪声的性质而未合并的像素单元200的噪声量小。因此，包含通过分辨率的恢复处理而生成的恢复像素单元710的图像信号700的s/n提高，减轻图像的分辨率的降低。
[0112]
在第四帧以后，也依次生成第一合并信号600－1～第三合并信号600－3。即，在连续的三个帧中，包含第一合并信号600－1～第三合并信号600－3。因此，与各帧对应，依次生成图像信号700，因此，帧速率不改变。
[0113]
在上述的分辨率的恢复处理中，基于第一合并信号600－1合成第二合并信号600－2及第三合并信号600－3，但合成的顺序不限于此。可以基于第二合并信号600－2，合成第三合并信号600－3及第一合并信号600－1，也可以基于第三合并信号600－3合成第一合并信号600－1及第二合并信号600－2。
[0114]
此外，上述的合并处理及分辨率的恢复处理为一例，不限于此。
[0115]
本发明一实施方式的拍摄系统100可以不变更帧速率，而恢复由于合并处理而降低的图像的分辨率，并输出具有高灵敏度及高分辨率的图像信号700。
[0116]
＜第二实施方式＞
[0117]
在拍摄系统100中，用于分辨率的恢复处理的合并信号不限于三个。在此，参照图7～图9对两个不同的合并图案(第一合并图案及第二合并图案)的合并处理及分辨率的恢复处理进行说明。此外，以下，有时对与第一实施方式中说明的结构相同的结构省略说明。
[0118]
[1.合并处理]
[0119]
图7是说明在本发明一实施方式的拍摄系统100中，在第一帧执行的第一合并图案的合并处理的示意图。
[0120]
图7中示出包含各自进行了拜耳排列的2
×
2个像素单元200的像素单元组500a。像素单元组500a为像素部110的像素排列的一部分。第一合并图案是对像素单元组500a中的两个被合并区域510a(第一被合并区域510a－1及第二被合并区域510a－2)执行的合并处理。两个被合并区域510a中的每一个包含在列方向上相邻的2个(1
×
2个)像素单元200。另外，两个被合并区域510a在行方向上相邻地配置。在第一合并图案的合并处理中，合并被合并区域510a内的两个像素单元200中包含的同色的两个像素。换言之，在第一合并图案的合并处理中，将被合并区域510a内的两个像素单元200转换成合并后像素单元610a(第一合并后像素单元610a－1及第二合并后像素单元610a－2)。
[0121]
因此，当在第一帧执行第一合并图案的合并处理时，生成包含2个(2
×
1个)合并后像素单元610a(第一合并后像素单元610a－1及第二合并后像素单元610a－2)的第一合并信号600a－1。
[0122]
此外，在第一合并图案的合并处理中，合并1
×
2个像素，因此，第一合并图案也可以称为1
×
2合并图案。
[0123]
图8是说明在本发明一实施方式的拍摄系统100中，在第二帧执行的第二合并图案的合并处理的示意图。
[0124]
图8中示出包含图7所示的2
×
2个像素单元200的像素单元组500a。第二合并图案是对像素单元组500a中的被合并区域520a(第一被合并区域520a－1及第二被合并区域520a－2)执行的合并处理。两个被合并区域520a中的每一个包含在行方向上相邻的2个(2
×
1个)像素单元。另外，两个被合并区域520a在列方向上相邻地配置。另外，在第二合并图案的合并处理中，合并被合并区域520a内的两个像素单元200中包含的同色的两个像素。换言之，在第二合并图案的合并处理中，将被合并区域520a内的两个像素单元200转换成合并后像素单元620a(第一合并后像素单元620a－1及第二合并后像素单元620a－2)。
[0125]
因此，当在第二帧执行第二合并图案的合并处理时，生成包含2个(1
×
2个)合并后像素单元620a(第一合并后像素单元620a－1及第二合并后像素单元620a－2)的第二合并信号600a－2。
[0126]
此外，在第二合并图案的合并处理中，合并2
×
1个像素，因此，第二合并图案也可以称为2
×
1合并图案。
[0127]
在第一帧和第二帧中，相对于相同的像素组500a中包含的像素的被合并区域不同。因此，合并的多个像素的组合在第一帧和第二帧中不同。
[0128]
[2.分辨率的恢复处理]
[0129]
在本实施方式中，合成通过上述的合并处理而生成的连续的两个帧中包含的第一合并信号600a－1及第二合并信号600a－2而恢复分辨率。以下，参照图9对合成第一合并信号600a－1及第二合并信号600a－2的分辨率的恢复处理进行说明。
[0130]
在本实施方式中，将第一合并信号600a－1的第一合并后像素单元610a－1及第二合并后像素单元610a－2中包含的第一绿色像素(g1)的像素值分别设为k1及k2。同样，将第二合并信号600a－2的第一合并后像素单元620a－1及第二合并后像素单元620a－2中包含的第一绿色像素(g1)的像素值分别设为l1及l2。另外，在本实施方式中，说明相对于合并后像素单元610a及620a中包含的第一绿色像素(g1)的分辨率的恢复处理，但对于合并后像素单元610a及620a中包含的蓝色像素(b)，红色像素(r)、及第二绿色像素(g2)中的每一个，同样也能够应用分辨率的恢复处理。
[0131]
图9是说明在本发明一实施方式的拍摄系统100中，基于第一合并信号600a－1合成第二合并信号600a－2的分辨率的恢复处理的示意图。
[0132]
如图9所示，基于第一合并信号600a－1合成第二合并信号600a－2，生成包含恢复像素单元710a(第一恢复像素单元710a－1～第四恢复像素单元710a－4)的图像信号700a。
[0133]
恢复像素单元710a通过将第一合并信号600a－1的合并后像素单元610a的面积在列方向上扩张2倍后分割成两个的转换而生成。就恢复像素单元710a中包含的第一绿色像素(g1)的像素值而言，基于第一合并信号600a－1的合并后像素单元610a中包含的第一绿色像素(g1)，考虑第二合并信号600a－2的两个合并后像素单元620a中包含的第一绿色像素(g1)的像素值的比率。因此，第一恢复像素单元710a－1～第四恢复像素单元710a－4中包含的第一绿色像素(g1)即像素值p1～p4能够通过表3所示的公示计算。
[0134]
【表3】
[0135]
第一恢复像素单元710a－1p1＝2k1×
l1(l1 l2)第二恢复像素单元710a－2p2＝2k2×
l1(l1 l2)第三恢复像素单元710a－3p3＝2k1×
l2(l1 l2)第四恢复像素单元710a－4p4＝2k2×
l2(l1 l2)
[0136]
图9所示的2
×
2个恢复像素单元710a与包含合并处理前的2
×
2个像素单元200的像素单元组500a对应。因此，通过执行上述的分辨率的恢复处理，能够恢复由于合并处理而降低的分辨率。另外，恢复了分辨率的恢复像素单元710a的噪声量比因随机噪声的性质而未合并的像素单元200的噪声量小。因此，包含通过分辨率的恢复处理而生成的恢复像素单元710a的图像信号700a的s/n提高，减轻图像的分辨率的降低。
[0137]
在本实施方式中，在第三帧以后，也依次生成第一合并信号600a－1及第二合并信号600a－2。即，在连续的两个帧中包含第一合并信号600a－1及第二合并信号600a－2。因此，与各帧对应，依次生成图像信号700a，因此，帧速率不改变。
[0138]
在上述的分辨率的恢复处理中，基于第一合并信号600a－1合成第二合并信号600a－2，但合成的顺序不限于此。也可以基于第二合并信号600a－2合成第一合并信号600a－1。
[0139]
此外，上述的合并处理及分辨率的恢复处理为一例，不限于此。
[0140]
本发明一实施方式的拍摄系统100可以不变更帧速率，而恢复由于合并处理而降低的图像的分辨率，并输出具有高灵敏度及高分辨率的图像信号700a。
[0141]
＜第三实施方式＞
[0142]
在拍摄系统100中，在各帧合并的像素的数量也可以不同，也可以使用通过这种合并处理而生成的合并信号，执行分辨率的恢复处理。即，用于分辨率的恢复处理的多个合并信号中的每一信号中包含的合并后像素单元的数量也可以不同。在此，参照图10对合成合并后像素单元的数量不同的多个合并信号的分辨率的恢复处理进行说明。此外，以下，有时对与第一实施方式及第二实施方式中说明的结构相同的结构省略说明。
[0143]
图10是说明本发明一实施方式的拍摄系统100中的分辨率的恢复处理的示意图。图10中示出相对于包含2
×
2个像素单元200的像素单元组，在第一帧通过2
×
2合并图案的合并处理而生成的第一合并信号600b－1、在接着第一帧的第二帧通过2
×
1合并图案的合并处理而生成的第二合并信号600b－2、及在接着第二帧的第三帧通过1
×
2合并图案的合并处理而生成的第三合并信号600b－3。生成第一合并信号600b－1的合并处理与第一实施方式的2
×
2合并图案相同，生成第二合并信号600b－2的合并处理与第二实施方式的2
×
1合并图案相同，生成第三合并信号600b－3的合并处理与第二实施方式的1
×
2合并图案相同，因此，在此省略说明。
[0144]
第一合并信号600b－1包含一个合并后像素单元610b。第二合并信号600b－2包含在列方向上相邻的2个(1
×
2个)合并后像素单元620b(第一合并后像素单元620b－1及第二合并后像素单元620b－2)。第三合并信号600b－3包含在行方向上相邻的2个(2
×
1个)合并后像素单元630b(第一合并后像素单元630b－1及第二合并后像素单元630b－2)。因此，在第一合并信号600b－1～第三合并信号600b－3中，合并后像素单元的数量不一致。在该情况下，也与第一实施方式相同，执行将第一合并信号600b－1的合并后像素单元610b的面积
在列方向或行方向上扩张的转换，或执行在列方向或行方向上分割成两个的转换。由此，合成第一合并信号600a－1、第二合并信号600a－2、及第三合并信号600a－3，生成包含恢复像素单元710b(第一恢复像素单元710b－1～第四恢复像素单元710b－4)的图像信号700b。就恢复像素单元710b中包含的第一绿色像素(g1)的像素值而言，基于第一合并信号600b－1的合并后像素单元610b中包含的第一绿色像素(g1)，考虑第二合并信号600b－2的两个合并后像素单元620b及第三合并信号600b－3的两个合并后像素单元630b中包含的第一绿色像素(g1)的像素值的比率。恢复像素单元710b中包含的第一绿色像素(g1)的像素值的计算方法与第一实施方式或第二实施方式相同，因此，在此省略说明。
[0145]
图10所示的2
×
2个恢复像素单元710b与包含合并处理前的2
×
2个像素单元200的像素单元组对应。因此，通过执行上述的分辨率的恢复处理，能够恢复因合并处理而降低的分辨率。另外，恢复了分辨率的恢复像素单元710b的噪声量比因随机噪声的性质而未合并的像素单元200的噪声量小。因此，包含通过分辨率的恢复处理而生成的恢复像素单元710b的图像信号700b的s/n提高，减轻图像的分辨率的降低。
[0146]
在本实施方式中，在第四帧以后，也依次生成第一合并信号600b－1～第三合并信号600b－3。即，在连续的三个帧中包含第一合并信号600b－1～第三合并信号600b－3。因此，与各帧对应，依次生成图像信号700b，因此，帧速率不改变。
[0147]
在上述的分辨率的恢复处理中，基于第一合并信号600b－1合成第二合并信号600b－2及第三合并信号600b－3，但合成的顺序不限于此。可以基于第二合并信号600b－2合成第三合并信号600b－3及第一合并信号600b－1，也可以基于第三合并信号600b－3合成第一合并信号600b－1及第二合并信号600b－2。
[0148]
此外，上述的合并处理及分辨率的恢复处理为一例，不限于此。
[0149]
本发明一实施方式的拍摄系统100可以不变更帧速率，而恢复由于合并处理而降低的图像的分辨率，并输出具有高灵敏度及高分辨率的图像信号700b。
[0150]
＜第四实施方式＞
[0151]
在拍摄系统100中，用于分辨率的恢复处理的合并信号也可以是被合并区域的位置按照各帧中的每一帧进行位移的信号。在此，参照图11～图15对各帧的被合并区域的位置不同时的合并处理及分辨率的恢复处理进行说明。此外，以下，有时对与第一实施方式～第三实施方式中说明的结构相同的结构省略说明。
[0152]
[1.合并处理]
[0153]
图11是说明在本发明一实施方式的拍摄系统100中，在第一帧执行的第一合并图案的合并处理的示意图。
[0154]
图11中示出包含各自进行了拜耳排列的5
×
5个像素单元200的像素单元组500c。像素单元组500c为像素部110的像素排列的一部分。第一合并图案是对像素单元组500c中的四个被合并区域510c(第一被合并区域510c－1～第四被合并区域510c－4)执行的合并处理。四个被合并区域510c中的每一个包含相互相邻的4个(2
×
2个)像素单元200。另外，四个被合并区域510c相互相邻地配置。另外，在第一合并图案的合并处理中，合并被合并区域510c内的四个像素单元200中包含的同色的四个像素。换言之，在第一合并图案的合并处理中，将被合并区域510c内的四个像素单元200转换成合并后像素单元610c(第一合并后像素单元610c－1～第四合并后像素单元610－4)。
[0155]
因此，当在第一帧执行第一合并图案的合并处理时，生成包含4个(2
×
2个)合并后像素单元610c(第一合并后像素单元610c－1～第四合并后像素单元610c－4)的第一合并信号600c－1。
[0156]
图12是说明在本发明一实施方式的拍摄系统100中，在第二帧执行的第二合并图案的合并处理的示意图。
[0157]
图12中示出包含图11所示的5
×
5个像素单元200的像素单元组500c。第二合并图案是对像素单元组500c中的四个被合并区域520c(第一被合并区域520c－1～第四被合并区域520c－4)执行的合并处理。四个被合并区域520c中的每一个包含相互相邻的4个(2
×
2个)像素单元200。另外，四个被合并区域520c相互相邻地配置。在第二合并图案的合并处理中，合并被合并区域520c内的四个像素单元200中包含的同色的四个像素。换言之，在第二合并图案的合并处理中，将被合并区域520c内的四个像素单元200转换成合并后像素单元620c(第一合并后像素单元620c－1～第四合并后像素单元620－4)。
[0158]
因此，当在第二帧执行第二合并图案的合并处理时，生成包含4个(2
×
2个)合并后像素单元620c(第一合并后像素单元620c－1～第四合并后像素单元620－4)的第二合并信号600c－2。
[0159]
第二合并图案也可以称为2
×
2合并图案。但是，应用第二合并图案的被合并区域520c相对于应用第一合并图案的被合并区域510c，在行方向上位移一个像素单元200，被合并区域520c与被合并区域510c不同。因此，在第二帧合并的像素的组合与在第一帧合并的像素的组合不同。
[0160]
图13是说明在本发明一实施方式的拍摄系统100中，在第三帧执行的第三合并图案的合并处理的示意图。
[0161]
图13中示出包含图11所示的5
×
5个像素单元200的像素单元组500c。第三合并图案是对像素单元组500c中的四个被合并区域530c(第一被合并区域530c－1～第四被合并区域530c－4)执行的合并处理。四个被合并区域530c中的每一个包含相互相邻的4个(2
×
2个)像素单元200。另外，四个被合并区域530c相互相邻地配置。在第三合并图案的合并处理中，合并被合并区域530c内的四个像素单元200中包含的同色的四个像素。换言之，在第三合并图案的合并处理中，将被合并区域530c内的四个像素单元200转换成合并后像素单元630c(第一合并后像素单元630c－1～第四合并后像素单元630－4)。
[0162]
因此，当在第三帧执行第三合并图案的合并处理时，生成包含4个(2
×
2个)合并后像素单元630c(第一合并后像素单元630c－1～第四合并后像素单元630－4)的第三合并信号600c－3。
[0163]
第三合并图案也可以称为2
×
2合并图案。但是，应用第三合并图案的被合并区域530c相对于应用第一合并图案的被合并区域510c在列方向上位移一个像素单元200，被合并区域530c与被合并区域510c不同。另外，被合并区域530c也与应用第二合并图案的被合并区域520c不同。因此，在第三帧合并的像素的组合与在第一帧及第二帧合并的像素的组合不同。
[0164]
图14是说明在本发明一实施方式的拍摄系统100中，在第四帧执行的第四合并图案的合并处理的示意图。
[0165]
图14中示出包含图11所示的5
×
5个像素单元200的像素单元组500c。第四合并图
案是对像素单元组500c中的四个被合并区域540c(第一被合并区域540c－1～第四被合并区域540c－4)执行的合并处理。四个被合并区域540c中的每一个包含相互相邻的4个(2
×
2个)像素单元200。另外，四个被合并区域540c相互相邻地配置。在第四合并图案的合并处理中，合并被合并区域540c内的四个像素单元200中包含的同色的四个像素。换言之，在第四合并图案的合并处理中，将被合并区域540c内的四个像素单元200转换成合并后像素单元640c(第一合并后像素单元640c－1～第四合并后像素单元640－4)。
[0166]
因此，当在第四帧执行第四合并图案的合并处理时，生成包含4个(2
×
2个)合并后像素单元640c(第一合并后像素单元640c－1～第四合并后像素单元640－4)的第四合并信号600c－4。
[0167]
第四合并图案也可以称为2
×
2合并图案。但是，应用第四合并图案的被合并区域540c相对于应用第一合并图案的被合并区域510c，在行方向及列方向中的每一方向上(即，对角方向上)位移一个像素单元200，被合并区域540c与被合并区域510c不同。另外，被合并区域540c与应用第二合并图案的被合并区域520c及应用第三合并图案的被合并区域530c均不同。因此，在第四帧合并的像素的组合与在第一帧～第三帧合并的像素的组合不同。
[0168]
此外，有时在像素排列的端部不存在合并处理的像素。在这种情况下，可以忽视不存在的像素而执行合并处理，也可以对像素进行插值并执行合并处理。
[0169]
[2.分辨率的恢复处理]
[0170]
在本实施方式中，合成通过上述的合并处理而生成的连续的四个帧中包含的第一合并信号600c－1～第四合并信号600c－4而恢复分辨率。以下，参照图15对合成第一合并信号600c－1～第四合并信号600c－4的分辨率的恢复处理进行说明。
[0171]
在本实施方式中，将第一合并信号600c－1的第一合并后像素单元610c－1～第四合并后像素单元610c－4中包含的第一绿色像素(g1)的像素值分别设为k1～k4。同样，将第二合并信号600c－2的第一合并后像素单元620c－1～第四合并后像素单元620c－4中包含的第一绿色像素(g1)的像素值分别设为l1～l4。同样，将第三合并信号600c－3的第一合并后像素单元630c－1～第四合并后像素单元630c－4中包含的第一绿色像素(g1)的像素值分别设为m1～m4。同样，将第四合并信号600c－4的第一合并后像素单元640c－1～第四合并后像素单元640c－4中包含的第一绿色像素(g1)的像素值分别设为n1～n4。另外，在本实施方式中，说明相对于合并后像素单元610c～640c中包含的第一绿色像素(g1)的分辨率的恢复处理，但对于合并后像素单元610c～640c中包含的蓝色像素(b)、红色像素(r)、及第二绿色像素(g2)中的每一个，同样也能够应用分辨率的恢复处理。
[0172]
图15是说明本发明一实施方式的拍摄系统100中的分辨率的恢复处理的示意图。
[0173]
如图15所示，合成第一合并信号600c－1～第四合并信号600c－4，生成包含恢复像素单元710c(第一恢复像素单元710c－1～第十六恢复像素单元710c－16)的图像信号700c。
[0174]
在本实施方式的拍摄系统100的合并处理中，第一帧～第四帧中的被合并区域510c～540c的位置不同。因此，恢复了分辨率的恢复像素单元710c中包含的第一绿色像素(g1)的像素值能够考虑被合并区域510c～540c的相对的位置进行计算。如果将被合并区域510c的位置设为基准，则被合并区域520c的位置在行方向上位移，被合并区域530c的位置在列方向上位移，及被合并区域540c的位置在对角方向上位移。因此，能够将第一合并信号
600c－1的合并后像素单元610c设为基准，以第二合并信号600c－2的合并后像素单元620c在行方向上相邻、第三合并信号600c－3的合并后像素单元630c在列方向上相邻、及第四合并信号600c－4的合并后像素单元640c在对角方向上相邻的方式，配置合并后像素单元610c～640c，并将其设为恢复像素单元710。此外，第一恢复像素单元710c－1～第十六恢复像素单元710c－16中包含的第一绿色像素(g1)的像素值分别如图15所示。
[0175]
图15所示的4
×
4个恢复像素单元710c与合并处理前的像素单元组500c中包含的4
×
4个像素单元200对应。因此，通过执行上述的分辨率的恢复处理，能够恢复由于合并处理而降低的分辨率。另外，恢复了分辨率的恢复像素单元710c的噪声量比因随机噪声的性质而未合并的像素单元200的噪声量小。因此，包含通过分辨率的恢复处理而生成的恢复像素单元710c的图像信号700c的s/n提高，减轻图像的分辨率的降低。
[0176]
在本实施方式中，在第五帧以后，也依次生成第一合并信号600c－1～第四合并信号600c－4。即，在连续的四个帧中包含第一合并信号600c－1～第四合并信号600c－4。因此，与各帧对应，依次生成图像信号700c，因此，帧速率不改变。
[0177]
此外，上述的合并处理及分辨率的恢复处理为一例，不限于此。
[0178]
本发明一实施方式的拍摄系统100可以不变更帧速率，而恢复由于合并处理而降低的图像的分辨率，并输出具有高灵敏度及高分辨率的图像信号700c。
[0179]
＜第五实施方式＞
[0180]
在第四实施方式中，说明了使按照每个帧应用2
×
2合并图案的被合并区域位移的合并处理，但也可以将这些和与其不同的合并图案(例如，1
×
4合并图案)组合而进行分辨率的恢复处理。在此，参照图16～图19b对与第一实施方式～第四实施方式不同的合并处理及分辨率的恢复处理进行说明。
[0181]
[1.合并处理]
[0182]
图16是说明在本发明一实施方式的拍摄系统100中，在第一帧执行的第一合并图案的合并处理的示意图。
[0183]
图16中示出包含各自进行了拜耳排列的4
×
6个像素单元200的像素单元组500d。像素单元组500d为像素部110的像素排列的一部分。第一合并图案是对像素单元组500d中的四个被合并区域510d(第一被合并区域510d－1～第四被合并区域510d－4)执行的合并处理。四个被合并区域510d中的每一个包含相互相邻的4个(2
×
2个)像素单元200。另外，四个被合并区域510d相互相邻地配置。另外，在第一合并图案的合并处理中，合并被合并区域510d内的四个像素单元200中包含的同色的四个像素。换言之，在第一合并图案的合并处理中，将被合并区域510d内的四个像素单元转换成合并后像素单元610d(第一合并后像素单元610d－1～第四合并后像素单元610d－4)。
[0184]
因此，当在第一帧执行第一合并图案的合并处理时，生成包含4个(2
×
2个)合并后像素单元610d(第一合并后像素单元610d－1～第四合并后像素单元610d－4)的第一合并信号600d－1。
[0185]
图17是说明在本发明一实施方式的拍摄系统100中，在第二帧执行的第二合并图案的合并处理的示意图。
[0186]
图17中示出包含图16所示的4
×
6个像素单元200的像素单元组500d。第二合并图案是对像素单元组500d中的被合并区域520d(第一被合并区域520d－1～第六被合并区域
520d－6)执行的合并处理。6个被合并区域520d中的每一个包含相互相邻的4个(2
×
2个)像素单元200。另外，6个被合并区域520d相邻地配置。在第二合并图案的合并处理中，合并被合并区域520d内的四个像素单元200中包含的同色的四个像素。换言之，在第二合并图案的合并处理中，将被合并区域520d内的6个像素单元200转换成合并后像素单元620d(第一合并后像素单元620d－1～第六合并后像素单元620d－6)。
[0187]
因此，当在第二帧执行第二合并图案的合并处理时，生成包含6个(2
×
3个)合并后像素单元620d(第一合并后像素单元620d－1～第六合并后像素单元620d－6)的第二合并信号600d－2。
[0188]
第一合并图案和第二合并图案中，像素单元组500d中的被合并区域的位置及数量不同。具体而言，第二合并图案的被合并区域520d相对于第一合并图案的被合并区域510d，在列方向上位移1个像素单元200。此外，被合并区域520d可以向被合并区域510d的上侧位移，也可以向被合并区域510d的下侧位移。
[0189]
图18是说明在本发明一实施方式的拍摄系统100中，在第三帧执行的第三合并图案的合并处理的示意图。
[0190]
图18中示出包含图16所示的4
×
6个像素单元200的像素单元组500d。第三合并图案是对像素单元组500d中的被合并区域530d(第一被合并区域530d－1～第四被合并区域530d－4)执行的合并处理。四个被合并区域530d中的每一个包含在列方向上连续的4个(1
×
4个)像素单元200。另外，四个被合并区域530d在行方向上连续地配置。在第三合并图案的合并处理中，合并被合并区域530d内的四个像素单元200中包含的同色的四个像素。换言之，在第三合并图案的合并处理中，将被合并区域530d内的四个像素单元200转换成合并后像素单元630d(第一合并后像素单元630d－1～第四合并后像素单元630d－4)。
[0191]
因此，当在第三帧执行第三合并图案的合并处理时，生成包含4个(4
×
1个)合并后像素单元630d(第一合并后像素单元630d－1～第四合并后像素单元630d－4)的第三合并信号600d－3。
[0192]
应用第三合并图案的被合并区域530d与应用第一合并图案的被合并区域510d及应用第二合并图案的被合并区域520d不同。因此，在第三帧合并的像素的组合与在第一帧合并的像素的组合及在第二帧合并的像素的组合均不同。
[0193]
[2.分辨率的恢复处理]
[0194]
在本实施方式中，使用通过上述的合并处理而生成的连续的三个帧中包含的第一合并信号600d－1～第三合并信号600d－3恢复分辨率。以下，参照图19a及图19b对使用了第一合并信号600d－1～第三合并信号600d－3的分辨率的恢复处理进行说明。
[0195]
图19a及图19b是说明本发明一实施方式的拍摄系统100中的分辨率的恢复处理的示意图。此外，以下，说明相对于合并后像素单元610d～630d中包含的第一绿色像素(g1)的分辨率的恢复处理，但对于合并后像素单元610d～630d中包含的蓝色像素(b)、红色像素(r)、及第二绿色像素(g2)中的每一个，也同样能够应用分辨率的恢复处理。
[0196]
在本实施方式的分辨率的恢复处理中，合成第一合并信号600d－1和第二合并信号600d－2，然后，合成第三合并信号600d－3。
[0197]
在此，将通过第一合并处理而生成的第一合并后像素单元610d－1～第四合并后像素单元610d－4中包含的第一绿色像素(g1)的像素值分别设为k1～k4。同样，将通过第二
合并处理而生成的第一合并后像素单元620d－1～第六合并后像素单元620d－6中包含的第一绿色像素(g1)的像素值分别设为l1～l6。同样，将通过第三合并处理而生成的第一合并后像素单元630d－1～第四合并后像素单元630－4中包含的第一绿色像素(g1)的像素值分别设为m1～m4。
[0198]
首先，如图19a所示，使用第一合并信号600d－1及第二合并信号600d－2，生成第一合成合并后像素单元621d－1～第八合成合并后像素单元621d－8。此外，以下，在没有特别区分第一合成合并后像素单元621d－1～第四合成合并后像素单元621d－4的情况下，有时作为合成合并后像素单元621d进行说明。
[0199]
合成合并后像素单元621d能够通过线性插值而生成。例如，第一合成合并后像素单元621d－1为第一合并信号600d－1的第一合并后像素单元610d－1与第二合并信号600d－2的第一合并后像素单元620d－1的中间。另外，第二合成合并后像素单元621d－2为第一合并信号600d－1的第一合并后像素单元610d－1与第二合并信号600d－2的第三合并后像素单元620d－3的中间。第三合成合并后像素单元621d－3～第八合成合并后像素单元621d－8也同样。因此，合成合并后像素单元621d中包含的第一绿色像素(g1)的像素值即k1’
、k
1”、k2’
、k
2”、k3’
、k
3”、k4’
、及k
4”能够通过表4所示的公示进行计算。
[0200]
【表4】
[0201]
第一合成合并后像素单元621d－1k1’
＝(k1 l1)/2第二合成合并后像素单元621d－2k
1”＝(k1 l3)/2第三合成合并后像素单元621d－3k2’
＝(k2 l2)/2第四合成合并后像素单元621d－4k
2”＝(k2 l4)/2第五合成合并后像素单元621d－5k3’
＝(k3 l3)/2第六合成合并后像素单元621d－6k
3”＝(k3 l5)/2第七合成合并后像素单元621d－7k4’
＝(k4 l4)/2第八合成合并后像素单元621d－8k
4”＝(k4 l6)/2
[0202]
接着，如图19b所示，执行将合成合并后像素单元621d的面积在行方向上扩张2倍的转换，并执行在行方向上分割成两个的转换。其结果，第一合成合并后像素单元621d－1～第八合成合并后像素单元621d－8被转换成第一恢复像素单元710－1～第十六恢复像素单元710d－16。此外，以下，在没有特别区分第一恢复像素单元710d－1～第十六恢复像素单元710d－16的情况下，有时作为恢复像素单元710d进行说明。
[0203]
在行方向上的分割转换中，就恢复像素单元710d中包含的第一绿色像素(g1)的像素值而言，考虑第三合并信号600d－3。具体而言，就恢复像素单元710d中包含的第一绿色像素(g1)的像素值而言，考虑第三合并信号600d－3的第一合并后像素单元630d－1及第二合并后像素单元630d－2中包含的第一绿色像素(g1)的像素值的比率、或第三合并信号600d－3的第三合并后像素单元630d－3及第四合并后像素单元630d－4中包含的第一绿色像素(g1)的像素值的比率。因此，第一恢复像素单元710d－1～第十六恢复像素单元710d－16中包含的第一绿色像素(g1)的像素值即p1～p
16
能够通过表5所示的公示计算。
[0204]
【表5】
[0205]
第一恢复像素单元710d－1p1＝2k1’×
m1/(m1 m2)第二恢复像素单元710d－2p2＝2k1’×
m2/(m1 m2)
第三恢复像素单元710d－3p3＝2k2’×
m3/(m3 m4)第四恢复像素单元710d－4p4＝2k2’×
m4/(m3 m4)第五恢复像素单元710d－5p5＝2k1”×
m1/(m1 m2)第六恢复像素单元710d－6p6＝2k1”×
m2/(m1 m2)第七恢复像素单元710d－7p7＝2k2”×
m3/(m3 m4)第八恢复像素单元710d－8p8＝2k2”×
m4/(m3 m4)第九恢复像素单元710d－9p9＝2k3’×
m1/(m1 m2)第十恢复像素单元710d－10p
10
＝2k3’×
m2/(m1 m2)第十一恢复像素单元710d－11p
11
＝2k4’×
m3/(m3 m4)第十二恢复像素单元710d－12p
12
＝2k4’×
m4/(m3 m4)第十三恢复像素单元710d－13p
13
＝2k3”×
m1/(m1 m2)第十四恢复像素单元710d－14p
14
＝2k3”×
m2/(m1 m2)第十五恢复像素单元710d－15p
15
＝2k4”×
m3/(m3 m4)第十六恢复像素单元710d－16p
16
＝2k4”×
m4/(m3 m4)
[0206]
图19b所示的4
×
4个恢复像素单元710d与合并处理前的像素单元组500d中包含的4
×
4个像素单元200对应。因此，通过执行上述的分辨率的恢复处理，能够恢复由于合并处理而降低的分辨率。另外，恢复了分辨率的恢复像素单元710的噪声量比因随机噪声的性质而未合并的像素单元200的噪声量小。因此，包含通过分辨率的恢复处理而生成的恢复像素单元710d的图像信号700d的s/n提高，减轻图像的分辨率的降低。
[0207]
在第四帧以后，也依次生成第一合并信号600d－1～第三合并信号600d－3。即，在连续的三个帧中包含第一合并信号600d－1～第三合并信号600d－3。因此，与各帧对应，依次生成图像信号700d，因此，帧速率不改变。
[0208]
在上述的分辨率的恢复处理的说明中，将第一合并信号600d－1和第二合并信号600d－2合成，然后，合并第三合并信号600d－3，但合并合并信号600d的顺序不限于此。也可以将第二合并信号600d－2和第三合并信号600d－3合成，然后，合并第一合并信号600d－1。另外，也可以将第三合并信号600d－3和第一合并信号600d－1合成，然后，合并第二合并信号600d－2。
[0209]
此外，上述的合并处理及分辨率的恢复处理为一例，不限于此。
[0210]
本发明一实施方式的拍摄系统100可以不变更帧速率，而恢复由于合并处理而降低的图像的分辨率，并输出具有高灵敏度及高分辨率的图像信号700d。
[0211]
＜第六实施方式＞
[0212]
在拍摄系统100中，合并的像素不限于相邻或连续的像素。在此，参照图20～图23b说明应用于包含相邻或不连续的像素的被合并区域的合并图案的合并处理及分辨率的恢复处理。此外，以下，有时对与第一实施方式～第五实施方式中说明的结构相同的结构省略说明。
[0213]
[1.合并处理]
[0214]
图20是说明在本发明一实施方式的拍摄系统100中，在第一帧执行的第一合并图案的合并处理的示意图。
[0215]
图20中示出包含各自进行了拜耳排列的4
×
4个像素单元200的像素单元组500e。
像素单元组500e为像素部110的像素排列的一部分。第一合并图案是对像素单元组500e中的四个被合并区域510e(第一被合并区域510e－1～第四被合并区域510e－4)执行的合并处理。四个被合并区域51e中的每一个包含相互相邻的4个(2
×
2个)像素单元200。另外，四个被合并区域510e相互相邻地配置。在第一合并图案的合并处理中，合并被合并区域510e内的四个像素单元200中包含的同色的四个像素。换言之，在第一合并图案的合并处理中，将被合并区域510e内的四个像素单元转换成合并后像素单元610e(第一合并后像素单元610e－1～第四合并后像素单元610e－4)。
[0216]
因此，当在第一帧执行第一合并图案的合并处理时，生成包含4个(2
×
2个)合并后像素单元610e(第一合并后像素单元610e－1～第四合并后像素单元610e－4)的第一合并信号600e－1。
[0217]
图21是说明在本发明一实施方式的拍摄系统中，在第二帧执行的第二合并图案的合并处理的示意图。
[0218]
图21中示出包含图20所示的4
×
4个像素单元200的像素单元组500e。第二合并图案是对像素单元组500e中的被合并区域520e(第一被合并区域520e－1～第四被合并区域520e－4)执行的合并处理。第一被合并区域520e－1包含第一区域520e－1a及第二区域520e－1b，第一区域520e－1a及第二区域520e－1b中的每一个包含行方向上相邻的2个(2
×
1个)像素单元200。第一区域520e－1a和第二区域520e－1b不相邻，在列方向上分开一个像素单元200进行配置。即，第二合并图案是合并分开的像素的合并处理。
[0219]
同样，第二被合并区域520e－2包含第一区域520e－2a及第二区域520e－2b，第三被合并区域520e－3包含第一区域520e－3a及第二区域520e－3b，第四被合并区域520e－4包含第一区域520e－4a及第二区域520e－4b。
[0220]
如果着眼于相邻的两个列，则在一列中，将第一被合并区域的第一区域520e－1a及第二区域520e－1b和第三被合并区域的第一区域520e－3a及第二区域520e－3b交替地配置。另外，在另一列中，将第二被合并区域的第一区域520e－2a及第二区域520e－2b和第四被合并区域的第一区域520e－4a及第二区域520e－4b交替地配置。
[0221]
在行方向上，第一被合并区域的第一区域520e－1a及第二区域520e－1b分别与第二被合并区域的第一区域520e－2a及第二区域520e－2b相邻。同样，第三被合并区域的第一区域520e－3a及第二区域520e－3b分别与第四被合并区域的第一区域520e－4a及第二区域520e－4b相邻。
[0222]
在第二合并图案的合并处理中，合并被合并区域520e内的四个像素单元200中包含的同色的四个像素。换言之，在第二合并图案的合并处理中，将被合并区域520e内的四个像素单元200转换成合并后像素单元620e(第一合并后像素单元620e－1～第四合并后像素单元620e－4)。
[0223]
因此，当在第二帧执行第二合并图案的合并处理时，生成包含4个(2
×
2个)合并后像素单元620e(第一合并后像素单元620e－1～第四合并后像素单元620e－4)的第二合并信号600e－2。
[0224]
应用第二合并图案的被合并区域520e与应用第一合并图案的被合并区域510e不同。因此，在第二帧合并的像素的组合与在第一帧合并的像素的组合不同。
[0225]
图22是说明在本发明一实施方式的拍摄系统100中，在第三帧执行的第三合并图
案的合并处理的示意图。
[0226]
图22中示出包含图20所示的4
×
4个像素单元200的像素单元组500e。第三合并图案是对像素单元组500e中的被合并区域530e(第一被合并区域530e－1～第四被合并区域530e－4)执行的合并处理。四个被合并区域530e中的每一个包含在列方向上连续的4个(1
×
4个)像素单元200。另外，四个被合并区域530e在行方向上连续地配置。在第三合并图案的合并处理中，合并被合并区域530e内的四个像素单元200中包含的同色的四个像素。换言之，在第三合并图案的合并处理中，将被合并区域530e内的四个像素单元转换成合并后像素单元630e(第一合并后像素单元630e－1～第四合并后像素单元630e－4)。
[0227]
因此，当在第三帧执行第三合并图案的合并处理时，生成包含4个(4
×
1个)合并后像素单元630e(第一合并后像素单元630e－1～第四合并后像素单元630e－4)的第三合并信号600e－3。
[0228]
应用第三合并图案的被合并区域530e与应用第一合并图案的被合并区域510e及应用第二合并图案的被合并区域520e不同。因此，在第三帧合并的像素的组合与在第一帧合并的像素的组合及在第二帧合并的像素的组合均不同。
[0229]
[2.分辨率的恢复处理]
[0230]
在本实施方式中，合成通过上述的合并处理而生成的连续的三个帧中包含的第一合并信号600e－1～第三合并信号600e－3而恢复分辨率。以下，参照图23a及图23b对合成第一合并信号600e－1～第三合并信号600e－3的分辨率的恢复处理进行说明。
[0231]
在本实施方式中，将第一合并信号600e－1的第一合并后像素单元610e－1～第四合并后像素单元610e－4中包含的第一绿色像素(g1)的像素值分别设为k1～k4。同样，将第二合并信号600e－2的第一合并后像素单元620e－1～第四合并后像素单元620e－4中包含的第一绿色像素(g1)的像素值分别设为l1～l4。同样，将第三合并信号600e－3的第一合并后像素单元630e－1～第四合并后像素单元630e－4中包含的第一绿色像素(g1)的像素值分别设为m1～m4。另外，在本实施方式中，说明相对于合并后像素单元610e～630e中包含的第一绿色像素(g1)的分辨率的恢复处理，但对于合并后像素单元610e～630e中包含的蓝色像素(b)，红色像素(r)、及第二绿色像素(g2)中的每一个，也同样能够应用分辨率的恢复处理。
[0232]
图23a及图23b是说明本发明一实施方式的拍摄系统100中的分辨率的恢复处理的示意图。
[0233]
首先，如图23a所示，将第一合并信号600e－1和第二合并信号600e－2合成，生成合成合并后像素单元621e(第一合成合并后像素单元621e－1～第八合成合并后像素单元621e－8)。
[0234]
合成合并后像素单元621e通过将第一合并信号600e－1的合并后像素单元610e的面积在列方向上扩张2倍后，分割成两个的转换而生成。就合成合并后像素单元621e中包含的第一绿色像素(g1)的像素值而言，基于第一合并信号600e－1的合并后像素单元610e中包含的第一绿色像素(g1)，考虑第二合并信号600e－2的两个合并后像素单元620e中包含的第一绿色像素(g1)的像素值的比率。例如，第一合成合并后像素单元621e－1及第二合成合并后像素单元621e－2能够基于第一合并信号600e－1的第一合并后像素单元610e－1中包含的第一绿色像素(g1)的像素值，考虑第二合并信号600e－2的第一合并后像素单元
620e－1及第二合并后像素单元620e－2的第一绿色像素(g1)的像素值的比率而进行计算。因此，第一合成合并后像素单元621e－1～第八合成合并后像素单元621e－8中包含的第一绿色像素(g1)的像素值即k1’
、k
1”、k2’
、k
2”、k3’
、k
3”、k4’
、及k
4”能够通过表6所示的公示计算。
[0235]
【表6】
[0236]
第一合成合并后像素单元621e－1k1’
＝2k1×
l1/(l1 l2)第二合成合并后像素单元621e－2k
1”＝2k1×
l2/(l1 l2)第三合成合并后像素单元621e－3k2’
＝2k2×
l3/(l3 l4)第四合成合并后像素单元621e－4k
2”＝2k2×
l4/(l3 l4)第五合成合并后像素单元621e－5k3’
＝2k3×
l1/(l1 l2)第六合成合并后像素单元621e－6k
3”＝2k3×
l2/(l1 l2)第七合成合并后像素单元621e－7k4’
＝2k4×
l3/(l3 l4)第八合成合并后像素单元621e－8k
4”＝2k4×
l4/(l3 l4)
[0237]
接着，如图23b所示，合成第三合并信号600e－3，生成包含恢复像素单元710e(第一恢复像素单元710e－1～第十六恢复像素单元710e－16)的图像信号700e。
[0238]
恢复像素单元710e通过将合成合并后像素单元621e的面积在行方向上扩张2倍后，分割成两个的转换而生成。就恢复像素单元710e中包含的第一绿色像素(g1)的像素值而言，基于合成合并后像素单元621e中包含的第一绿色像素(g1)，考虑第三合并信号600e－3的两个合并后像素单元630e中包含的第一绿色像素(g1)的像素值的比率。例如，第一恢复像素单元710e－1及第二恢复像素单元710e－2能够基于第一合成合并后像素单元621e－1中包含的第一绿色像素(g1)的像素值，考虑第三合并信号600e－3的第一合并后像素单元630e－1及第二合并后像素单元630e－2中包含的第一绿色像素(g1)的像素值的比率而进行计算。因此，第一恢复像素单元710e－1～第十六恢复像素单元710e－16中包含的第一绿色像素(g1)的像素值即p1～p
16
能够通过表7所示的公示计算。
[0239]
【表7】
[0240]
[0241][0242]
图23b所示的4
×
4个恢复像素单元710e与合并处理前的像素单元组500e中包含的4
×
4个像素单元200对应。因此，通过执行上述的分辨率的恢复处理，能够恢复由于合并处理而降低的分辨率。另外，恢复了分辨率的恢复像素单元710e的噪声量比因随机噪声的性质而未合并的像素单元200的噪声量小。因此，包含通过分辨率的恢复处理而生成的恢复像素单元710e的图像信号700e的s/n提高，减轻图像的分辨率的降低。
[0243]
在本实施方式中，在第四帧以后，也依次生成第一合并信号600e－1～第三合并信号600e－3。即，在连续的三个帧中包含第一合并信号600e－1～第三合并信号600e－3。因此，与各帧对应，依次生成图像信号700e，因此，帧速率不改变。
[0244]
在上述的分辨率的恢复处理中，基于第一合并信号600e－1合成第二合并信号600e－2及第三合并信号600e－3，但合成的顺序不限于此。可以基于第二合并信号600e－2，合成第三合并信号600e－3及第一合并信号600e－1，也可以基于第三合并信号600e－3，合成第一合并信号600e－1及第二合并信号600e－2。
[0245]
此外，上述的合并处理及分辨率的恢复处理为一例，不限于此。
[0246]
本发明一实施方式的拍摄系统100可以不变更帧速率，而恢复由于合并处理而降低的图像的分辨率，并输出具有高灵敏度及高分辨率的图像信号700e。
[0247]
＜第七实施方式＞
[0248]
如第三实施方式中所说明，在拍摄系统100中，用于分辨率的恢复处理的多个合并信号中的每一信号中包含的合并后像素单元的数量也可以不同。在此，参照图24～图27对与第三实施方式不同的合并处理及分辨率的恢复处理进行说明。此外，以下，有时对于与第一实施方式～第六实施方式中说明的结构相同的结构省略说明。
[0249]
[1.合并处理]
[0250]
图24是说明在本发明一实施方式的拍摄系统100中，在第一帧执行的第一合并图案的合并处理的示意图。
[0251]
图24中示出包含各自进行了拜耳排列的2
×
8个像素单元200的像素单元组500f。
像素单元组500f为像素部110的像素排列的一部分。第一合并图案是对像素单元组500f中的四个被合并区域510f(第一被合并区域510f－1～第四被合并区域510f－4)执行的合并处理。四个被合并区域510f中的每一个包含相互相邻的4个(2
×
2个)像素单元200。另外，四个被合并区域510f在列方向上连续地配置。在第一合并图案的合并处理中，合并被合并区域510f内的四个像素单元200中包含的同色的四个像素。换言之，在第一合并图案的合并处理中，将被合并区域510f内的四个像素单元200转换成合并后像素单元610f(第一合并后像素单元610f－1～第四合并后像素单元610f－4)。
[0252]
因此，当在第一帧执行第一合并图案的合并处理时，生成包含4个(1
×
4个)合并后像素单元610f(第一合并后像素单元610f－1～第四合并后像素单元610f－4)的第一合并信号600f－1。
[0253]
图25是说明在本发明一实施方式的拍摄系统100中，在第二帧执行的第二合并图案的合并处理的示意图。
[0254]
图25中示出包含图24所示的2
×
8个像素单元200的像素单元组500f。第二合并图案是对像素单元组500f中的6个被合并区域520f(第一被合并区域520f－1～第六被合并区域520f－6)执行的合并处理。6个被合并区域520f中的每一个包含在列方向上相邻的2个(1
×
2个)像素单元200。另外，6个被合并区域520f相邻地配置。在第二合并图案的合并处理中，合并被合并区域520f内的两个像素单元中包含的同色的两个像素。换言之，在第二合并图案的合并处理中，将被合并区域520f内的两个像素单元200转换成合并后像素单元620f(第一合并后像素单元620f－1～第六合并后像素单元620f－6)。
[0255]
因此，当在第二帧执行第二合并图案的合并处理时，生成包含6个(2
×
3个)合并后像素单元620f(第一合并后像素单元620f－1～第六合并后像素单元620f－6)的第二合并信号600f－2。
[0256]
[2.分辨率的恢复处理]
[0257]
在本实施方式中，使用通过上述的合并处理而生成的连续的两个帧中包含的第一合并信号600f－1及第二合并信号600f－2而恢复分辨率。以下，对基于第一合并信号600f－1合成第二合并信号600f－2的分辨率的恢复处理(图26)及基于第二合并信号600f－2合成第一合并信号600f－1的分辨率的恢复处理(图27)进行说明。
[0258]
在本实施方式中，将第一合并信号600f－1的第一合并后像素单元610f－1～第四合并后像素单元610f－4中包含的第一绿色像素(g1)的像素值分别设为k1～k4。同样，将第二合并信号600f－2的第一合并后像素单元620f－1～第六合并后像素单元620f－6中包含的第一绿色像素(g1)的像素值分别设为l1～l6。另外，在本实施方式中，说明相对于合并后像素单元610f及620f中包含的第一绿色像素(g1)的分辨率的恢复处理，但对于合并后像素单元610f及620f中包含的蓝色像素(b)、红色像素(r)、及第二绿色像素(g2)中的每一个，也同样能够应用分辨率的恢复处理。
[0259]
图26是说明在本发明一实施方式的拍摄系统100中，基于第一合并信号600f－1合成第二合并信号600f－2的分辨率的恢复处理的示意图。
[0260]
如图26所示，基于第一合并信号600f－1合成第二合并信号600f－2，生成包含恢复像素单元710f(第一恢复像素单元710f－1～第八恢复像素单元710f－8)的图像信号700f。
[0261]
在基于第一合并信号600f－1恢复分辨率的情况下，也可以使用第一合并信号600f－1的合并后像素单元610f的一部分即第二合并后像素单元610f－2及第三合并后像素单元610f－3。恢复像素单元710f通过在列方向上对第二合并后像素单元610f－2及第三合并后像素单元610f－3进行插值，且将各自的面积在行方向上扩张2倍后，分割成两个的转换而生成。就恢复像素单元710f中包含的第一绿色像素(g1)的像素值而言，基于第一合并信号600f－1的合并后像素单元610f中包含的第一绿色像素(g1)，考虑第二合并信号600f－2的两个合并后像素单元620f中包含的第一绿色像素(g1)的像素值的比率。因此，第一恢复像素单元710f－1～第八恢复像素单元710f－8中包含的第一绿色像素(g1)即像素值p1～p8能够通过表8所示的公示计算。
[0262]
【表8】
[0263]
第一恢复像素单元710f－1p1＝2k2×
l1/(l1 l2)第二恢复像素单元710f－2p2＝2k2×
l3/(l3 l4)第三恢复像素单元710f－3p3＝2k2×
l2/(l1 l2)第四恢复像素单元710f－4p4＝2k2×
l4/(l3 l4)第五恢复像素单元710f－5p5＝2k3×
l3/(l3 l4)第六恢复像素单元710f－6p6＝2k3×
l5/(l5 l6)第七恢复像素单元710f－7p7＝2k3×
l4/(l3 l4)第八恢复像素单元710f－8p8＝2k3×
l6/(l5 l6)
[0264]
图26所示的2
×
4个恢复像素单元710f与合并处理前的像素单元组500f中包含的2
×
4个像素单元200对应。因此，通过执行上述的分辨率的恢复处理，能够恢复由于合并处理而降低的分辨率。另外，恢复了分辨率的恢复像素单元710f的噪声量比因随机噪声的性质而未合并的像素单元200的噪声量小。因此，包含通过分辨率的恢复处理而生成的恢复像素单元710f的图像信号700f的s/n提高，减轻图像的分辨率的降低。
[0265]
图27是说明在本发明一实施方式的拍摄系统100中，基于第二合并信号600f－2合成第一合并信号600f－1的分辨率的恢复处理的示意图。
[0266]
如图27所示，基于第二合并信号600f－2合成第一合并信号600f－1，生成包含恢复像素单元710f’(第一恢复像素单元710f’－1～第八恢复像素单元710f’－8)的图像信号700f’。
[0267]
恢复像素单元710f’通过在列方向上对第三合并后像素单元620f－3及第四合并后像素单元620f－4进行插值，且分割成两个的转换而生成。在此，对第三合并后像素单元620f－3及第四合并后像素单元620f－4进行了插值，但也可以对第一合并后像素单元620f－1～第六合并后像素单元620f－6的任一项进行插值。就恢复像素单元710f’中包含的第一绿色像素(g1)的像素值而言，基于第二合并信号600f－2的合并后像素单元620f中包含的第一绿色像素(g1)，考虑第一合并信号600f－1的两个合并后像素单元610f中包含的第一绿色像素(g1)的像素值的比率。因此，第一恢复像素单元710f’－1～第八恢复像素单元710f’－8中包含的第一绿色像素(g1)即像素值p’1～p’8能够通过表9所示的公示计算。
[0268]
【表9】
[0269]
第一恢复像素单元710f’－1p1’
＝l1×
k2/(k1 k2)
第二恢复像素单元710f’－2p2’
＝l3×
k2/(k2 k3)第三恢复像素单元710f’－3p3’
＝l2×
k2/(k1 k2)第四恢复像素单元710f’－4p4’
＝l4×
k2/(k2 k3)第五恢复像素单元710f’－5p5’
＝l3×
k3/(k2 k3)第六恢复像素单元710f’－6p6’
＝l5×
k3/(k3 k4)第七恢复像素单元710f’－7p7’
＝l4×
k3/(k2 k3)第八恢复像素单元710f’－8p8’
＝l6×
k3/(k3 k4)
[0270]
图27所示的2
×
4个恢复像素单元710f’与合并处理前的像素单元组500f中包含的2
×
4个像素单元200对应。因此，通过执行上述的分辨率的恢复处理，能够恢复由于合并处理而降低的分辨率。另外，恢复了分辨率的恢复像素单元710f’的噪声量比因随机噪声的性质而未合并的像素单元200的噪声量小。因此，包含通过分辨率的恢复处理而生成的恢复像素单元710f’的图像信号700f’的s/n提高，减轻图像的分辨率的降低。
[0271]
以上，参照附图说明了本发明的各实施方式，但本发明不限定于上述的实施方式，可以在不脱离本发明宗旨的范围内适当变更。例如，只要具备本发明的宗旨，则本领域技术人员基于各实施方式的拍摄系统适当进行结构的追加、删除或设计变更的内容也包含在本发明的范围内。另外，上述的各实施方式只要不相互矛盾，则就可适当组合，各实施方式中共同的技术事项即使没有明示的记载，也包含在各实施方式中。
[0272]
另外，可理解为即使是与通过上述的各实施方式的方式带来的作用效果不同的其它的作用效果，根据本说明书的记载可知的效果或本领域技术人员可容易预测的效果当然也是由本发明带来的。
[0273]
符号说明
[0274]
100：拍摄系统，
[0275]
110：像素部，120：合并处理部，130：分辨率恢复处理部，140：第一存储部，150：传感器部，160：图像信号处理部，170：第二存储部，180：显示部，
[0276]
200：像素单元，
[0277]
500、500a、500c、500d、500e、500f：像素单元组，
[0278]
510～530、510a～520a、510c～540c、510d～530d、510e～530e、510f～520f：被合并区域，
[0279]
600、600a、600b、600c、600d、600e、600f：合并信号，
[0280]
610～630、610a～620a、610b～630b、610c～640c、610d～630d、610e～630e、610f～620f：合并后像素单元，
[0281]
611：扩张合并后像素单元，
[0282]
621、621d、621e：合成合并后像素单元，
[0283]
622：扩张合并后像素单元，
[0284]
700、700a、700b、700c、700d、700e、700f、700f’：图像信号，
[0285]
710、710a、710b、710c、710d、710e、710f、710f’：恢复像素单元。