摄像设备及其控制方法和非暂时性计算机可读存储介质与流程

摄像设备及其控制方法和非暂时性计算机可读存储介质
1.(本技术是申请日为2019年6月25日、申请号为201910554373.6、发明名称为“摄像设备及其控制方法和非暂时性计算机可读存储介质”的申请的分案申请。)
技术领域
2.本发明涉及一种摄像设备及其控制方法和非暂时性计算机可读存储介质。


背景技术：

3.存在可以进行通过合成多个拍摄图像来获得一个合成图像并记录该合成图像的所谓的多重曝光摄像的数字照相机。存在可以在进行拍摄之前选择要合成的图像的数量或合成处理方法(诸如加权平均、相对亮部分的合成或相对暗部分的合成等)的数字照相机，并且还存在可以选择已经拍摄的图像作为基本图像并且可以通过在基本图像上合成要拍摄的图像来生成多重化图像的数字照相机。
4.日本特开2012-19343和日本特开2007-221237公开了一种用于改变多重曝光摄像途中的设置的技术。日本特开2012-19343公开了如下技术：在可以进行多重曝光摄像的数字照相机中，可以在拍摄途中改变要记录的图像的宽高比的设置。此外，日本特开2007-221237公开了如下技术：在可以进行多重曝光摄像的数字照相机中，可以在拍摄途中改变诸如记录质量和记录尺寸等的设置。
5.在可交换镜头型照相机中，可以在正进行多重曝光摄像的同时更换镜头单元。存在各种类型的可更换镜头单元，并且可以想到，根据所更换的镜头单元，生成了不自然的合成图像。


技术实现要素：

6.本发明在其第一方面提供一种摄像设备，其能够交换镜头单元，所述摄像设备包括：摄像单元，用于使用图像传感器来拍摄图像；合成单元，用于合成多个图像；以及控制单元，用于控制预定的合成处理，所述预定的合成处理用于通过使所述合成单元对通过所述摄像单元进行多次摄像所获得的多个图像进行合成来创建合成图像，其中，在判断为在获取到用于所述合成处理的第一图像之后所更换的镜头单元是具有与更换之前所安装的镜头单元的图像圈不同的图像圈的镜头单元的情况下，所述控制单元控制所述摄像单元以不拍摄用于创建所述合成图像的新图像。
7.本发明在其第二方面提供一种摄像设备，其能够交换镜头单元，所述摄像设备包括：摄像单元，用于使用图像传感器来拍摄图像；合成单元，用于合成多个图像；以及控制单元，用于控制预定的合成处理，所述预定的合成处理用于通过使所述合成单元对通过所述摄像单元进行多次摄像所获得的多个图像进行合成来创建合成图像，其中，在判断为在获取到用于所述合成处理的第一图像之后所更换的镜头单元是需要预定图像校正的镜头单元的情况下，所述控制单元控制所述摄像单元以不拍摄用于创建所述合成图像的新图像。
8.本发明在其第三方面提供一种摄像设备的控制方法，所述摄像设备能够交换镜头
单元并且包括用于使用图像传感器来拍摄图像的摄像单元，所述控制方法包括：合成步骤，用于合成多个图像；以及控制步骤，用于控制预定的合成处理，所述预定的合成处理用于通过使所述合成步骤对通过所述摄像单元进行多次摄像所获得的多个图像进行合成来创建合成图像，其中，在判断为在获取到用于所述合成处理的第一图像之后所更换的镜头单元是具有与更换之前所安装的镜头单元的图像圈不同的图像圈的镜头单元的情况下，所述摄像单元被控制为不拍摄用于创建所述合成图像的新图像。
9.本发明在其第四方面提供一种摄像设备的控制方法，所述摄像设备能够交换镜头单元并且包括用于使用图像传感器来拍摄图像的摄像单元，所述控制方法包括：合成步骤，用于合成多个图像；以及控制步骤，用于控制预定的合成处理，所述预定的合成处理用于通过使所述合成步骤对通过所述摄像单元进行多次摄像所获得的多个图像进行合成来创建合成图像，其中，在判断为在获取到用于所述合成处理的第一图像之后所更换的镜头单元是需要预定图像校正的镜头单元的情况下，所述摄像单元被控制为不拍摄用于创建所述合成图像的新图像。
10.本发明在其第五方面提供一种非暂时性计算机可读存储介质，其存储有程序，所述程序在由计算机读取并执行时使所述计算机执行摄像设备的控制方法的步骤，所述摄像设备能够交换镜头单元并且包括用于使用图像传感器来拍摄图像的摄像单元，所述控制方法包括：合成步骤，用于合成多个图像；以及控制步骤，用于控制预定的合成处理，所述预定的合成处理用于通过使所述合成步骤对通过所述摄像单元进行多次摄像所获得的多个图像进行合成来创建合成图像，其中，在判断为在获取到用于所述合成处理的第一图像之后所更换的镜头单元是具有与更换之前所安装的镜头单元的图像圈不同的图像圈的镜头单元的情况下，所述摄像单元被控制为不拍摄用于创建所述合成图像的新图像。
11.本发明在其第六方面提供一种非暂时性计算机可读存储介质，其存储有程序，所述程序在由计算机读取并执行时使所述计算机执行摄像设备的控制方法的步骤，所述摄像设备能够交换镜头单元并且包括用于使用图像传感器来拍摄图像的摄像单元，所述控制方法包括：合成步骤，用于合成多个图像；以及控制步骤，用于控制预定的合成处理，所述预定的合成处理用于通过使所述合成步骤对通过所述摄像单元进行多次摄像所获得的多个图像进行合成来创建合成图像，其中，在判断为在获取到用于所述合成处理的第一图像之后所更换的镜头单元是需要预定图像校正的镜头单元的情况下，所述摄像单元被控制为不拍摄用于创建所述合成图像的新图像。
12.本发明在其第七方面提供一种摄像设备，其能够交换镜头单元，所述摄像设备包括摄像单元，并且所述摄像设备用于根据通过所述摄像单元进行多次摄像所获得的多个图像来创建合成图像，所述摄像设备包括：检测单元，用于检测镜头单元的重新安装；确定单元，用于在所述检测单元检测到镜头单元的重新安装的情况下，基于重新安装的镜头单元的图像圈来确定区域，其中相对该区域提取所述摄像单元中所包括的图像传感器的图像数据；获取单元，用于从所述图像传感器获取与所述确定单元所确定的区域有关的图像数据；判断单元，用于在对所述获取单元所获取到的关注图像数据和要进行合成的图像数据进行合成的情况下，判断所述关注图像数据的图像尺寸是否与所述要进行合成的图像数据的图像尺寸相同；以及合成单元，用于通过基于所述判断单元的判断结果对所述关注图像数据和所述要进行合成的图像数据进行合成来创建新的要进行合成的合成图像数据，其中，所
述合成单元进行以下操作：在所述判断单元判断为所述关注图像数据的图像尺寸与所述要进行合成的图像数据的图像尺寸相同的情况下，通过对所述关注图像数据和所述要进行合成的图像数据进行合成来创建具有与所述要进行合成的图像数据相同的图像尺寸的所述新的要进行合成的图像数据，以及，在所述判断单元判断为所述关注图像数据的图像尺寸与所述要进行合成的图像数据的图像尺寸不同的情况下，设置由所述关注图像数据表示的图像和由所述要进行合成的图像数据表示的图像的合成位置以及由合成后的图像数据表示的图像的尺寸，并基于所述设置来创建所述新的要进行合成的图像数据。
13.本发明在其第八方面提供一种摄像设备的控制方法，所述摄像设备能够交换镜头单元，所述摄像设备包括摄像单元，并且所述摄像设备用于根据通过所述摄像单元进行多次摄像所获得的多个图像来创建合成图像，所述控制方法包括：检测步骤，用于检测镜头单元的重新安装；确定步骤，用于在所述检测步骤中检测到镜头单元的重新安装的情况下，基于重新安装的镜头单元的图像圈来确定区域，其中相对该区域提取所述摄像单元中所包括的图像传感器的图像数据；获取步骤，用于从所述图像传感器获取与在所述确定步骤中所确定的区域有关的图像数据；判断步骤，用于在对所述获取步骤中所获取到的关注图像数据和要进行合成的图像数据进行合成的情况下，判断所述关注图像数据的图像尺寸是否与所述要进行合成的图像数据的图像尺寸相同；以及创建步骤，用于通过基于所述判断步骤的判断结果对所述关注图像数据和所述要进行合成的图像数据进行合成来创建新的要进行合成的图像数据，其中，在所述创建步骤中，在所述判断步骤中判断为所述关注图像数据的图像尺寸与所述要进行合成的图像数据的图像尺寸相同的情况下，通过对所述关注图像数据和所述要进行合成的图像数据进行合成来创建具有与所述要进行合成的图像数据相同的图像尺寸的所述新的要进行合成的图像数据，以及在所述判断步骤中判断为所述关注图像数据的图像尺寸与所述要进行合成的图像数据的图像尺寸不同的情况下，设置由所述关注图像数据表示的图像和由所述要进行合成的图像数据表示的图像的合成位置，设置由合成后的图像数据表示的图像的尺寸，并基于所述设置来创建所述新的要进行合成的图像数据。
14.本发明在其第九方面提供一种非暂时性计算机可读存储介质，其存储程序，所述程序在由计算机读取并执行时使所述计算机执行摄像设备的控制方法的步骤，所述摄像设备能够交换镜头单元，所述摄像设备包括摄像单元，并且所述摄像设备用于根据通过所述摄像单元进行多次摄像所获得的多个图像来创建合成图像，所述控制方法包括：检测步骤，用于检测所述镜头单元的重新安装；确定步骤，用于在所述检测步骤中检测到所述镜头单元的重新安装的情况下，基于重新安装的镜头单元的图像圈来确定区域，其中相对该区域提取所述摄像单元中所包括的图像传感器的图像数据；获取步骤，用于从所述图像传感器获取与在所述确定步骤中所确定的区域有关的图像数据；判断步骤，用于在对所述获取步骤中所获取到的关注图像数据和要进行合成的图像数据进行合成的情况下，判断所述关注图像数据的图像尺寸是否与所述要进行合成的图像数据的图像尺寸相同；以及创建步骤，用于通过基于所述判断步骤的判断结果对所述关注图像数据和所述要进行合成的图像数据进行合成来创建新的要进行合成的图像数据，其中，在所述创建步骤中，在所述判断步骤中判断为所述关注图像数据的图像尺寸与所述要进行合成的图像数据的图像尺寸相同的情况下，通过对所述关注图像数据和所述要进行合成的图像数据进行合成来创建具有与所
述要进行合成的图像数据相同的图像尺寸的所述新的要进行合成的图像数据，以及在所述判断步骤中判断为所述关注图像数据的图像尺寸与所述要进行合成的图像数据的图像尺寸不同的情况下，设置由所述关注图像数据表示的图像和由所述要进行合成的图像数据表示的图像的合成位置，设置由合成后的图像数据表示的图像的尺寸，并基于所述设置来创建所述新的要进行合成的图像数据。
15.通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
16.图1是根据实施例的摄像设备的结构框图。
17.图2是示出与多重曝光摄像有关的设置菜单画面的一个示例的图。
18.图3a至3c是示出使用多重曝光摄像所要拍摄的图像的一个示例的图。
19.图4是示出根据第一实施例的摄像设备的操作的流程图。
20.图5a和5b是示出根据镜头单元的图像圈的差异的图。
21.图6是示出根据第一实施例的警告消息的一个示例的图。
22.图7是示出第二实施例中的摄像设备的操作的流程图。
23.图8是示出第二实施例中的警告消息的一个示例的图。
24.图9是示出第三实施例中的摄像设备的操作的流程图。
25.图10是示出第四实施例中的摄像设备的操作的流程图。
26.图11a和11b是示出图像圈与所获得图像的尺寸之间的关系的图。
27.图12是示出在第五实施例中更换镜头单元时的处理的流程图。
28.图13是示出在第五实施例中进行多重曝光拍摄时的处理的流程图。
29.图14是示出第五实施例中的图像合成处理的合成序列的一个示例的图。
30.图15是示出第五实施例中的图像合成处理的合成序列的一个示例的图。
31.图16是示出第五实施例中的图像合成处理的合成序列的一个示例的图。
32.图17是示出第五实施例中的图像合成处理的合成序列的一个示例的图。
33.图18是第五实施例中的多重合成处理的流程图。
34.图19是示出第五实施例中的用于指定合成位置的处理的流程图。
35.图20a和20b是示出在第五实施例中指定合成位置时的gui的示例的图。
具体实施方式
36.在下文中，将根据附图来详细描述本发明的实施例。注意，以下实施例中示出的结构仅是示例，并且本发明不限于所示的结构。
37.图1是在本实施例中以可交换镜头型数字照相机为代表的摄像设备的结构框图。本实施例中的摄像设备包括摄像设备的主体100以及可以相对于摄像设备的主体100安装/卸载的镜头单元180。
38.在摄像设备的主体100中，快门120控制稍后描述的摄像器件122的曝光量。摄像器件122包括图像传感器，该图像传感器包括用于将光学图像转换为电信号的ccd或cmos元件。r、g和b滤色器以拜尔(bayer)排列布置在图像传感器的表面上。因此，紧接在由摄像器件122获得图像之后的图像数据包括从拜尔排列的像素获得的像素数据。此外，摄像器件
122具有a/d转换处理功能。af评价值检测单元123根据从数字图像信号获得的对比度信息或从视差图像获得的相位差来计算af评价值，并且摄像器件122将所获得的af评价值输出到系统控制单元150。注意，本实施例中的图像传感器是所谓的全尺寸传感器。
39.图像处理单元124对从摄像器件122输出的图像数据或来自存储器控制单元115的图像数据进行预定的像素插值处理，诸如缩小等的调整大小处理和颜色转换处理。此外，图像处理单元124可以取得与被摄体和摄像设备之间的距离有关的信息。具体地，图像处理单元124通过检测两个给定视差图像之间的相位差来取得距被摄体的距离，并且针对各像素取得与从摄像设备到被摄体的距离有关的信息。此外，图像处理单元124使用通过拍摄图像获得的图像数据来进行预定计算处理，并且系统控制单元150基于计算结果来进行曝光控制和距离测量控制。因此，进行ttl(通过镜头)类型的ae(自动曝光)处理和ef(自动闪光调节)处理。此外，图像处理单元124进行af(自动调焦)处理，并且可以在进行af处理时使用包括在摄像器件122中的af评价值检测单元123的输出。此外，图像处理单元124还使用通过拍摄图像获得的图像数据来进行预定计算处理，并使用所获得的计算结果来进行ttl类型的awb(自动白平衡)处理。此外，图像处理单元124还通过进行用于合成多个图像的处理来生成多重化图像。此外，图像处理单元124通过进行去拜尔处理来将拜尔排列的raw图像数据转换为针对各像素包括三个分量的图像数据，并且还进行编码和解码处理。
40.摄像器件122的输出数据经由图像处理单元124和存储器控制单元115写入存储器132，或者经由存储器控制单元115直接写入存储器132。存储器132存储由摄像器件122取得并进行了a/d转换的图像数据、以及用以在显示单元128中的显示的图像数据。存储器132具有用于存储预定数量的静止图像以及预定长度的运动图像和音频的足够的存储容量。此外，存储器132用作图像显示用存储器(视频存储器)。d/a转换器113将存储在存储器132中的图像显示所用的数据转换为模拟信号，并将模拟信号提供给显示单元128。以这种方式，写入存储器132的显示所用的图像数据经由d/a转换器113显示在显示单元128中。显示单元128根据来自d/a转换器113的模拟信号在诸如lcd等的显示器上进行显示。由摄像器件122进行a/d转换所获得的并存储在存储器132中的数字信号由d/a转换器113转换为模拟信号，并且模拟信号被连续发送到显示单元128以进行显示，使得可以实现进行通过镜头图像显示的电子取景器。
41.非易失性存储器156是电可擦除和可记录存储器，并且是闪速存储器等。例如，用于操作系统控制单元150的常数和程序存储在非易失性存储器156中。在该上下文中，“程序”可以指用于执行稍后将描述的各种流程图的程序。此外，非易失性存储器156存储镜头表156a，在该镜头表156a中可以连接到摄像设备的主体100的镜头单元的型号名称与镜头单元的特征信息相关联。镜头单元的特征信息包括图像圈的尺寸。
42.系统控制单元150通过执行存储在上述非易失性存储器156中的程序来整体控制摄像设备的主体100的处理单元。附图标记152表示系统存储器，并且是ram。在系统存储器152中部署用于操作系统控制单元150的常数和变量以及从非易失性存储器156读出的程序等。
43.系统计时器153是用于测量各种类型的控制的时间周期和内置时钟的时间的计时器单元。模式切换开关160、包括在快门按钮161中的第一快门开关162和第二快门开关163以及操作单元170用作用于输入操作系统控制单元150的各种指示的操作构件。模式切换开
关160将系统控制单元150的操作模式切换到静止图像记录模式、运动图像记录模式和再现模式中的任何一个。静止图像记录模式包括自动拍摄模式、自动场景判断模式、手动模式，针对各个拍摄场景配置不同的设置的各种场景模式、程序ae模式、自定义模式以及多重曝光摄像模式等。通过使用模式切换开关160，可以将模式直接切换到这些模式中的任何模式。可选地，也可以使用模式切换开关160切换到静止图像记录模式，然后使用另一操作构件切换到静止图像记录模式中所包括的这些模式中的任何模式。同样地，运动图像记录模式也可以包括多个模式。
44.当设置在摄像设备的主体100中的快门按钮161被操作时，即被半按下(拍摄准备指示)时，第一快门开关162接通并生成第一快门开关信号sw1。在接收到第一快门开关信号sw1时，系统控制单元150开始af(自动调焦)处理、ae(自动曝光)处理、awb(自动白平衡)处理和ef(自动闪光调节)处理等。
45.当完成快门按钮161的操作时，即完全按下快门按钮161(拍摄指示)时，第二快门开关163接通并生成第二快门开关信号sw2。在接收到第二快门开关信号sw2时，系统控制单元150开始从读出来自摄像器件122的信号到将图像数据写入记录介质190的一系列拍摄处理。
46.通过选择显示单元128所上显示的各种功能图标，将针对各情形的适当功能分配给操作单元170的操作构件，并且操作构件因此用作各种功能按钮。这些功能按钮的示例包括结束按钮、返回按钮、图像滚动按钮、跳转按钮、缩小按钮和属性改变按钮。例如，通过按下菜单按钮，在显示单元128上显示使得能够对各种设置进行设置的菜单画面。用户可以通过使用显示在显示单元128中的菜单画面、四向(上、下、左、右)按钮和“设置”按钮来直观地设置各种设置。使得能够对各种设置进行设置的菜单画面包括用于在选择了多重曝光摄像模式时选择过去已经拍摄并作为基本图像记录在记录介质190中的图像的画面，并且还可以是在所选择的基本图像上合成拍摄图像的多重曝光摄像。此外，还包括用于使得能够选择是否将要作为拍摄图像读出的图像的尺寸裁剪为aps-c传感器尺寸的画面，并且如果选择了用于裁剪的设置，则即使在安装了全尺寸传感器的镜头单元的情况下，也可以以aps-c传感器尺寸进行拍摄。稍后将使用图5a和5b来描述该裁剪处理。
47.电源控制单元141包括例如电池检测电路、dc/dc转换器和用于切换要供电的块的开关电路，并检测电池是否已插入、电池的类型及其剩余容量。此外，电源控制单元141根据检测结果和系统控制单元150的指示来控制dc/dc转换器，并向包括记录介质190的各单元提供所需时间长度的所需电压。
48.电源单元140包括诸如碱性电池或锂电池等的主电池、诸如nicd电池、nimh电池或锂离子电池等的副电池、或者ac适配器等。存储介质i/f 118是与诸如存储卡或硬盘的记录介质190的接口。记录介质190是诸如用于记录拍摄图像的存储卡等的存储介质，并且由半导体存储器和磁盘等构成。
49.连接器171将摄像设备的主体100电连接到镜头单元180。连接器171在摄像设备的主体100和镜头单元180之间交换控制信号、状态信号和数据信号等，并且还具有以各种电压供给电流的功能。此外，通过镜头卸载/安装检测单元154来检测镜头单元180是否安装到连接器171。
50.接着，将描述镜头单元180的结构。摄像透镜181由包括用于通过在光轴方向上移
动来进行焦点调节的调焦透镜和用于进行变焦的变焦透镜的多个透镜构成。此外，光圈182调节到摄像设备的主体100的摄像器件122的光量。镜头单元控制单元183根据来自摄像设备的主体100的系统控制单元150的控制信号来控制整个镜头单元180，并控制摄像透镜181的调焦透镜和变焦透镜以及光圈182的驱动。此外，镜头单元控制单元183包括用于存储操作所用的常数和变量以及程序等的存储器。此外，镜头单元控制单元183还包括非易失性存储器，该非易失性存储器用于存储诸如镜头单元180特定的型号名称及其制造编号等的识别信息、管理信息、诸如最大光圈、最小光圈、焦距、像差量(诸如失真像差)等的功能信息、以及当前和过去的设置值等。连接器184将镜头单元180电连接到摄像设备的主体100。连接器184在摄像设备的主体100和镜头单元180之间交换控制信号、状态信号和数据信号等，并且还具有接收具有各种电压的电流的功能。
51.接着，将使用图2和3来描述多重曝光摄像的基本操作。图2是用于多重曝光摄像的设置菜单画面，以及图3示出在多重曝光摄像中要拍摄的图像。
52.当用户按下操作单元170的菜单按钮时，显示用于各种设置的菜单画面。当用户通过操作操作单元170的四向按钮来选择用于多重曝光摄像的设置项时，在显示单元128中显示图2所示的用于多重曝光摄像的子菜单画面200，并且用户可以改变多重曝光摄像的设置。
53.多重曝光摄像菜单画面200包括设置项201至204和用于选择基准图像的按钮205。在这些项中，设置项201是用于选择是否要进行多重曝光摄像的设置项，并且选择“是”和“否”中的一个。如果用户在选择“是”后退出该菜单并返回拍摄，则进入多重曝光摄像模式。
54.设置项202是用于在进行多重曝光摄像时选择重叠曝光的方法的设置项，并且用户可以选择“相加”、“算术平均”、“比较(亮)”和“比较(暗)”之一。当选择“相加”时，简单地将要合成的多个图像的各图像的亮度相加。当选择“算术平均”时，将要合成的多个图像的各图像的亮度相加，以获得作为后述的要重叠的图像的平均亮度的亮度。当选择“比较(亮)”时，进行重叠，使得在要合成的图像之间比较亮度，并保留较亮的部分。当选择“比较(暗)”时，进行重叠，使得在要合成的图像之间比较亮度，并保留较暗的部分。
55.设置项203是用于在进行多重曝光摄像时选择要合成的图像的数量的设置项，并且用户可以指定要重叠的图像的数量。在多重曝光摄像模式中，一旦拍摄了所设置的数量的图像并且记录了合成图像，则模式从多重曝光摄像模式返回到正常拍摄模式。
56.设置项204是用于在多重曝光摄像中选择要记录到记录介质190的图像的设置项，并且用户可以选择“所有图像”和“仅多重化图像”之一。当选择“所有图像”时，将在其基础上进行重叠的多个图像以及多重曝光合成图像这两者记录在记录介质190中。当选择“仅多重化图像”时，仅将多重曝光合成图像记录在记录介质190中，并且不记录在其基础上进行重叠的各个图像。
57.当用户按下按钮205时，将选择已经存储在记录介质190中的一个图像文件，并且将创建并记录多重曝光合成图像。注意，如果用户在设置项203中设置“5”，并通过按下按钮205来选择所记录的一个图像文件(raw图像文件)，则使用由所选择的图像文件指示的图像作为第一图像以及将拍摄的剩余的四个图像来创建多重曝光合成图像。
58.注意，结构可以使得能够选择两个或更多个图像文件。在这种情况下，例如，如果选择了两个图像文件，则可以根据由所选择的两个文件指示的两个图像和之后将要拍摄的
三个图像来创建多重曝光合成图像。
59.图3a中的附图标记301表示多重曝光摄像模式中的第一拍摄图像，以及图3b中的附图标记302表示第二拍摄图像。此外，图3c中的附图标记303表示第二拍摄结束时的多重曝光合成图像。
60.第一实施例
61.图4是表示根据第一实施例的系统控制单元150在多重曝光摄像模式下的处理过程的流程图。当用户使用模式切换开关160或通过在菜单设置中选择多重曝光摄像而选择多重曝光摄像模式时，摄像设备的主体100进入多重曝光摄像模式，并且执行图4中的处理。图4中的各步骤中的处理通过系统控制单元150将从非易失性存储器156读出的预定程序展开在系统存储器152中、并控制构成摄像设备的主体100的各单元的操作和处理来实现。注意，假设如下：用户已经进行了各种设置(诸如要合成的图像的数量和要合成的图像文件的指定等)，并且将所设置的信息存储在系统存储器152中。注意，该结构可以如下：除非特别改变，否则使得当进行前次的多重曝光摄像时要合成的图像的数量是此次要合成的图像的数量。在这种情况下，要合成的图像的数量可以存储在非易失性存储器156中。
62.在步骤s401中，系统控制单元150从系统存储器152或非易失性存储器156获取要被多重合成的图像的数量n，其是多重曝光摄像模式中的一个设置信息。接着，在步骤s402中，系统控制单元150基于存储在系统存储器152或非易失性存储器156中的信息，判断是否已经进行了基本图像选择，在所述基本图像选择中从已拍摄图像中选择基本图像作为第一图像，以便开始多重曝光摄像。如果判断为还没有进行基本图像选择(步骤s402中为“否”)，则系统控制单元150使处理进入步骤s403，并将初始值“0”代入用于对拍摄数量进行计数的变量n。另一方面，如果判断为已经进行了基本图像选择(步骤s402中为“是”)，则系统控制单元150使处理进入步骤s404，并且将初始值“1”代入变量n。
63.在步骤s405中，系统控制单元150基于来自镜头卸载/安装检测单元154的信号来判断是否已经进行了镜头单元的重新安装。镜头单元的重新安装例如包括将所安装的镜头单元移除一次然后再次安装的情况、以及所安装的镜头单元被更换为与该安装的镜头单元不同的镜头单元的情况。
64.如果判断为镜头单元已被重新安装(步骤s405中为“是”)，则系统控制单元150使处理进入步骤s406，以及如果判断镜头单元未被重新安装(步骤s405中为“否”)，则系统控制单元150使处理进入步骤s409。
65.在步骤s406中，系统控制单元150判断变量n是否为“0”(即在进入多重曝光摄像模式之后未选择基本图像并且没有拍摄图像)。换句话说，系统控制单元150判断是否存在要进行多重合成的图像。如果判断为变量n是“0”(步骤s406中为“是”)，则系统控制单元150使处理进入步骤s409。另外，如果变量n不是“0”(步骤s406中为“否”)，则系统控制单元150使处理进入步骤s407。
66.在步骤s407中，系统控制单元150判断新安装的镜头单元的图像圈是否与之前安装的镜头单元的图像圈不同。
67.具体地，系统控制单元150可以经由连接器171与所安装的镜头单元180通信，并获取诸如型号名称等的识别信息。此外，系统控制单元150可以通过使用所获取到的识别信息在非易失性存储器156中的镜头表156a中进行搜索来获取所安装的镜头单元的图像圈。系
统控制单元150通过比较重新安装镜头单元之前的镜头单元的图像圈(假设存储在非易失性存储器156的预定地址中)和重新安装之后的镜头单元的图像圈来进行步骤s407中的判断处理。
68.注意，可以基于是否需要根据所安装的镜头单元切换要从摄像器件122读出并且要记录的图像的尺寸来进行步骤s407中的判断处理。此外，可以基于通过使用图像处理单元124或系统控制单元150进行扫描而检测到的、从摄像器件122读出的图像的周边部分中的渐晕量是否与前次的渐晕量不同来进行判断处理。
69.这里，将使用图5a和5b来描述图像圈的差异。图5a和5b中的附图标记501和502示出已经穿过镜头单元的光在摄像器件122的图像传感器上形成图像的方式。附图标记501示出附接有全尺寸传感器的镜头单元的情况，以及附图标记502示出安装有aps-c尺寸传感器的镜头单元的情况。如上所述，本实施例中的图像传感器是全尺寸传感器。然而，当安装aps-c尺寸传感器的镜头单元时，光不会入射在图像传感器的周边部分上，并且在图像周围发生“渐晕”。因此，当安装aps-c尺寸传感器的镜头单元时，系统控制单元150通过控制摄像器件122来进行裁剪处理，在所述裁剪处理中，图像传感器内部的由图示的附图标记503表示的区域的图像作为拍摄图像被裁出。作为以这种方式进行裁剪处理的结果，尽管图像的尺寸减小，但是可以获得一个去除了渐晕部分的图像。
70.另一方面，在多重曝光摄像的情况下，由于图像如图3所示那样被合成，因此当图像圈不同的镜头单元在多重曝光摄像途中被安装时，如果照例进行合成，则渐晕部分也被合成，这导致不自然的合成图像。此外，当读出图像的尺寸减小到aps-c传感器尺寸(即光入射的部分被裁剪和读出)时，图像的尺寸不同并且无法进行合成。
71.因此，在本实施例中，如果判断为重新安装的镜头单元的图像圈与前次安装的镜头单元的图像圈相同(步骤s407中为“否”)，则系统控制单元150使处理进入步骤s409。此外，如果判断为重新安装的镜头单元的图像圈与前次安装的镜头单元的图像圈不同(步骤s407中为“是”)，则系统控制单元150使处理进入步骤s408，以中断此后的摄像处理。
72.在步骤s408中，系统控制单元150在显示单元28中显示表示多重曝光摄像已结束的消息(图6)。此外，系统控制单元150使处理进入步骤s415，以将通过已经进行的拍摄所获得的合成图像作为图像文件记录到记录介质190。
73.在步骤s409中，系统控制单元150判断第二快门开关163是否接通(是否生成了第二快门开关信号sw2)。如果判断为第二快门开关163没有接通(步骤s409中为“否”)，则系统控制单元150使处理返回到步骤s405，并等待第二快门开关163接通。然后，如果判断为第二快门开关163接通，则系统控制单元150使处理进入步骤s410。
74.在步骤s410中，系统控制单元150使用摄像器件122在静止图像帧中进行拍摄，将所获得的图像数据(拜尔排列的raw图像数据)存储在存储器132中，并且使处理进入步骤s411。在步骤s411中，系统控制单元150将变量n的值递增“1”，并使处理进入步骤s412。
75.在步骤s412中，系统控制单元150判断变量n的值是否大于“1”。也就是说，系统控制单元150判断是否已经存在合成处理中要处理的图像。如果判断为变量n是“1”或更小(步骤s412中为“否”)，则系统控制单元150使处理返回到步骤s405。另外，如果判断为变量n大于“1”(步骤s412中为“是”)，则系统控制单元150使处理进入步骤s413。
76.在步骤s413中，系统控制单元150通过控制图像处理单元24来对通过在步骤s410
中拍摄图像而获得并存储在存储器132中的多条图像数据进行合成，生成合成图像数据，并将合成图像数据存储存储器132中。如果变量n大于“2”，即，如果通过步骤s410中的拍摄获得的图像是第三或更晚的图像，则系统控制单元150将通过拍摄图像获得的图像数据与先前的合成处理中获得的合成图像数据进行合成，创建新的合成图像数据，并将新创建的合成图像数据存储在存储器132中。在步骤s413中的处理结束时，系统控制单元150使处理进入步骤s414。注意，在步骤s413的合成处理中，利用拜尔排列的图像数据照例进行合成处理。
77.在步骤s414中，系统控制单元150判断变量n是否等于“n”，即是否要结束多重曝光摄像。如果判断为变量n不等于“n”(步骤s414中为“否”)，则系统控制单元150使处理返回到步骤s405。另外，如果判断为变量n等于“n”，则系统控制单元150使处理进入步骤s415。
78.在步骤s415中，系统控制单元150通过控制图像处理单元124对步骤s413中所创建的合成图像数据进行显像处理(包括去拜尔处理)(即诸如白平衡调节和像素插值等的处理)，将所获得的图像数据转换为yuv数据，并将yuv数据写入存储器132。在完成步骤s415中的处理后，系统控制单元150使处理进入步骤s416。
79.在步骤s416中，控制图像处理单元24的系统控制单元150将步骤s415中创建的进行了显像处理的合成图像数据压缩编码成jpeg格式的静止图像数据，将jpeg格式的静止图像数据写入存储器132，并使处理进入步骤s417。
80.在步骤s417中，系统控制单元150将在步骤s416中被压缩编码的jpeg格式的静止图像数据经由存储介质i/f 118记录到记录介质190，并且结束一系列多重曝光摄像。注意，如果在图2中的设置项204中选择了“保存拍摄图像”，则在记录介质190中还记录已经存储在存储器132中并用于合成的拍摄图像(在步骤s410中获得的图像)。
81.如上所述，在进行多重曝光摄像期间检测到新镜头单元的重新安装、并且新安装的镜头单元的图像圈与前次安装的镜头单元的图像圈不同的情况下，显示消息并且结束多重曝光摄像。因此，在进行多重曝光摄像期间安装了图像圈与前次安装的镜头单元的图像圈不同的镜头单元的情况下，可以防止合成不正确的多重化图像。例如，在以安装了全尺寸传感器的镜头单元的状态下开始多重曝光摄像并在多重曝光摄像途中将镜头单元切换为aps-c尺寸传感器的镜头单元的情况下，可以防止合成不正确的多重化图像。此外，使用通过在切换镜头单元之前拍摄而获得的图像的合成图像可以存储在记录介质190中，尽管其数量小于最初设置的n。
82.第二实施例
83.接着，将描述根据第二实施例的摄像设备的处理。根据第二实施例的摄像设备的结构与第一实施例的结构(图1)相同，并且将省略其详细描述。
84.在第一实施例中，在正进行多重曝光摄像期间安装新的镜头单元的情况下，由该设备获取到的镜头特性是镜头的图像圈，并且如果新安装的镜头单元的图像圈与前次安装的镜头单元的图像圈不同，则显示消息并且结束多重曝光摄像。与此相对，在第二实施例中，在正进行多重曝光摄像期间安装新的镜头单元并且新安装的镜头单元的图像圈与前次安装的镜头单元的图像圈不同的情况下，显示警告消息，并且如果再次安装具有相同图像圈的镜头单元，则可以继续拍摄。以这种方式，该设备根据所获取到的镜头特性(在这种情况下为图像圈)来控制创建合成图像。由此，即使安装了图像圈与前次安装的镜头单元的图
像圈不同的镜头单元，也可以防止合成不正确的多重化图像。如果误安装了图像圈与前次安装的镜头单元的图像圈不同的镜头单元，则拍摄不会结束，并且在重新安装正确的镜头单元之后可以继续一系列多重曝光摄像。
85.图7是表示根据第二实施例的系统控制单元150在多重曝光摄像模式下的处理过程的流程图。注意，假设如下：用户已经进行了与多重曝光摄像有关的各种设置(诸如要合成的图像的数量和要合成的图像文件的指定等)，并且将所设置的信息存储在系统存储器152或非易失性存储器156中。
86.图7中的步骤s701至s707和步骤s709至s717中的处理与图4中的步骤s401至s407和步骤s409至s417中的处理相同，因此将省略其描述。图7中的步骤s721至s726，即在步骤s707中判断为“否”之后的步骤，(对应于图4中的步骤s407中判断为“否”之后的步骤)中的处理与图4中的处理不同。
87.在步骤s721中，系统控制单元150在显示单元128中显示消息(图8)，用于提示用户再次切换镜头单元，因为安装的镜头单元具有与前次安装的镜头单元的图像圈不同的图像圈。此外，系统控制单元150在显示单元128中显示菜单并使处理进入步骤s722，其中利用该菜单，用户可以选择是否要记录通过在重新安装之前进行的拍摄所获得的合成图像并结束多重曝光摄像，以及是否要丢弃合成图像并结束多重曝光摄像。
88.在步骤s722中，系统控制单元150判断用户是否已经利用在步骤s721中显示的菜单选择了用以结束多重曝光摄像的选项。如果判断为用户没有选择用以结束多重曝光摄像的选项(步骤s722中为“否”)，则系统控制单元150使处理进入步骤s724，以及如果判断为用户已经选择了用以结束多重曝光摄像的选项(步骤s722中为“是”)，系统控制单元150使处理进入步骤s723。
89.在步骤s723中，系统控制单元150判断用户是否已利用在步骤s721中显示的菜单选择了用以记录通过在重新安装之前进行的拍摄而获得的合成图像的选项。如果判断为用户没有选择用以记录合成图像的选项(步骤s723中为“否”)，则系统控制单元150结束一系列多重曝光摄像。另外，如果判断为用户已经选择了用以记录合成图像的选项(步骤s723中为“是”)，则系统控制单元150使处理进入步骤s715。
90.在步骤s724中，系统控制单元150使用镜头卸载/安装检测单元154来判断镜头单元是否已被重新安装。如果判断为镜头单元已被重新安装(步骤s724中为“是”)，则系统控制单元150使处理进入步骤s725，以及如果判断镜头单元尚未重新安装(步骤s724中为“否”)，则系统控制单元150使处理返回到步骤s721以等待重新安装。
91.在步骤s725中，系统控制单元150判断已经重新安装的镜头单元的图像圈是否与紧接在前的拍摄中使用的镜头单元的图像圈不同。如果判断为重新安装的镜头单元的图像圈仍与在紧接在前的拍摄中使用的镜头单元的图像圈相同(步骤s725中为“是”)，则系统控制单元150使处理到步骤s726。如果判断为已经重新安装的镜头单元的图像圈与紧接在前的拍摄中使用的镜头单元的图像圈不同(步骤s725中为“否”)，则系统控制单元150使处理返回到步骤s721。
92.在步骤s726中，系统控制单元150将在步骤s721中显示的警告消息隐藏，使处理返回到步骤s705，并且继续一系列多重曝光摄像。
93.从步骤s709到步骤s717的一系列多重曝光摄像的处理与根据第一实施例的步骤
s409到s417中的处理相同，因此将省略其描述。
94.根据如上所述的第二实施例，在进行多重曝光摄像期间安装了图像圈与前次安装的镜头单元的图像圈不同的镜头单元的情况下，显示警告消息，并且可以根据用户的选择来结束一系列多重曝光摄像。此外，在用户没有选择用以结束一系列多重曝光摄像的选项并重新安装了具有相同图像圈的镜头单元的情况下，可以继续一系列多重曝光摄像。由此，在安装了图像圈与前次安装的镜头单元的图像圈不同的镜头单元的情况下，可以防止合成不正确的多重化图像，并且如果误安装了这样的镜头单元，则拍摄不会结束，并且可以在安装另一镜头单元之后继续一系列多重曝光摄像。例如，在以安装了全尺寸传感器的镜头单元的状态下开始多重曝光摄像并且在多重曝光摄像途中将镜头单元切换到aps-c尺寸传感器的镜头单元的情况下，可以防止合成不正确的多重化图像。此外，如果重新安装了全尺寸传感器的镜头单元，则可以继续一系列多重曝光摄像。
95.第三实施例
96.接着，将描述根据第三实施例的摄像设备的处理。根据第三实施例的摄像设备的结构与第一实施例的结构(图1)相同，并且将省略其详细描述。
97.在第一实施例中，在正进行多重曝光摄像期间安装新的镜头单元的情况下，如果安装的镜头单元的图像圈与前次安装的镜头单元的图像圈不同，则显示消息并结束多重曝光摄像。
98.同样地，在第三实施例中，在正进行多重曝光摄像期间安装新的镜头单元的情况下，该设备获取镜头单元是否需要预定图像校正的镜头特性，并且如果新安装的镜头单元使诸如失真校正等的图像校正的设置生效，即如果安装了必须进行图像校正的镜头单元，则显示消息，并且结束多重曝光摄像。以这种方式，该设备根据所获取到的镜头特性来控制创建合成图像(在这种情况下，指示为镜头单元需要预定的图像校正)。由此，在正进行多重曝光摄像期间安装了必须进行图像校正的镜头单元的情况下，可以防止由于将不需要图像校正的图像和需要进行图像校正的图像合成而创建不自然的多重化图像。
99.图9是示出第三实施例中的系统控制单元150在多重曝光摄像模式下的处理过程的流程图。注意，假设如下：用户已经进行了与多重曝光摄像有关的各种设置(诸如要合成的图像的数量和要合成的图像文件的指定等)，并且将所设置的信息存储在系统存储器152或非易失性存储器156。此外，当开始多重曝光摄像模式时，诸如失真校正的图像校正的设置被固定为无效，并且在如此配置设置之后开始多重曝光摄像模式。
100.图9中的步骤s901至s905和步骤s909至s917中的处理与图4中的步骤s401至s405和步骤s409至s417中的处理相同，因此将省略其描述。图9中的作为在步骤s905中判断为“否”之后的步骤的步骤s921至s923(对应于图4的步骤s405中判断为“否”之后的步骤)中的处理与图4中的处理不同。
101.在步骤s921中，系统控制单元150判断新安装的镜头单元是否需要使图像校正的设置生效，即是否安装了必须进行图像校正的镜头单元。可以基于与镜头单元识别信息(型号名称)相关联地存储有关于是否需要校正的信息的镜头表156a来判断是否需要使图像校正的设置固定为生效。系统控制单元150可以通过经由连接器171从安装的镜头单元接收识别信息并且从镜头表156a获取与镜头单元是否需要进行校正有关的信息来进行判断。此外，根据情况，系统控制单元150可以使用与经由连接器171从镜头单元180获取到的与镜头
单元180的失真像差等的校正功能有关的信息来进行判断。此外，系统控制单元150可以通过自身或使用图像处理单元124对从摄像器件122读出的图像进行扫描并且通过检测图像的像差量来进行判断。
102.如果判断为新安装的镜头单元不需要使图像校正的设置固定为生效(步骤s921中为“否”)，则系统控制单元150使处理进入步骤s909。如果判断为新安装的镜头单元需要使图像校正的设置为生效(步骤s921中为“是”)，则系统控制单元150使处理进入步骤s922。
103.在步骤s922中，系统控制单元150在显示单元128中显示表示将结束多重曝光摄像的消息，并使处理进入步骤s923。在步骤s923中，系统控制单元150判断变量n的值是否大于“1”，即，是否已经针对多重曝光摄像拍摄了至少两个图像。如果变量n大于“1”(步骤s923中为“是”)，则系统控制单元150使处理进入步骤s915。如果判断为变量n是“1”或更小(步骤s923中为“否”)，则系统控制单元150结束一系列多重曝光摄像。
104.从步骤s909中的静止图像拍摄到步骤s917中的一系列多重曝光摄像的结束的处理与根据第一实施例的步骤s409至s417中的处理相同，因此将省略其描述。
105.根据如上所述的第三实施例，在正进行多重曝光摄像期间安装新的镜头单元的情况下，如果安装的镜头单元使诸如失真校正等的图像校正的设置固定为生效，即如果安装了必须进行图像校正的镜头单元，则显示消息并结束多重曝光摄像。因此，在图像校正的设置被固定为失效的多重曝光摄像期间安装了必须进行图像校正的镜头单元的情况下，可以防止合成不正确的多重化图像。例如，在正进行多重曝光摄像期间、镜头单元切换到尽管成本低但是失真像差大并且需要使图像校正的设置固定为生效的的镜头单元的情况下，可以防止创建不正确的多重化图像。
106.第四实施例
107.接着，将描述根据第四实施例的摄像设备的处理。根据第四实施例的摄像设备的结构与第一实施例的结构(图1)相同，并且将省略其详细描述。
108.在第三实施例中，在正进行多重曝光摄像期间新安装的镜头单元需要使诸如失真校正等的图像校正的设置生效的情况下(即，在安装必须进行图像校正的镜头单元的情况下)，显示消息并结束多重曝光摄像。与此相对，在第四实施例中，设备获取镜头单元是否需要预定图像校正的镜头特性，并且在正进行多重曝光摄像期间安装了必须进行图像校正的镜头单元的情况下，显示警告消息，以及在重新安装了不需要进行图像校正的镜头单元的情况下，可以继续拍摄。以这种方式，该设备根据所获取到的镜头特性(在这种情况下，指示镜头单元需要预定图像校正)来控制创建合成图像。由此，在进行使图像校正的设置无效的多重曝光摄像期间安装了必须进行图像校正的镜头单元的情况下，可以防止合成不自然的多重化图像。此外，如果误安装了这样的镜头单元，则不结束拍摄，并且可以在安装另一镜头单元之后继续一系列多重曝光摄像。
109.图10是示出第四实施例中的系统控制单元150在多重曝光摄像模式下的处理过程的流程图。注意，假设如下：用户已经进行了与多重曝光摄像有关的各种设置(诸如要合成的图像的数量和要合成的图像文件的指定等)，并且将所设置的信息存储在系统存储器152或非易失性存储器156中。此外，当开始多重曝光摄像模式时，诸如失真校正等的图像校正的设置被固定为无效，并且在如此配置设置之后开始多重曝光摄像模式。
110.步骤s1001至s1005和步骤s1009至s1017中的处理与第一实施例中的步骤s401至
s405和步骤s409至s417中的处理相同，因此将省略其描述。
111.在步骤s1021中，系统控制单元150判断是否已经安装了必须进行图像校正的镜头单元。如果判断为安装了不需要进行图像校正的镜头单元(步骤s1021中为“否”)，则系统控制单元150使处理进入步骤s1009。如果判断为安装了需要进行图像校正的镜头单元(步骤s1021中为“是”)，则系统控制单元150使处理进入步骤s1022。在步骤s1022中，由于已经安装了必须进行图像校正的镜头单元，因此系统控制单元150在显示单元128中显示用于提示用户再次切换镜头单元的消息。此外，系统控制单元150在显示单元128中显示菜单，利用该菜单用户可以选择记录通过在重新安装之前进行的拍摄所获得的合成图像并且结束多重曝光摄像的处理、或者丢弃合成图像并且结束多重曝光摄像的处理，并且处理进入步骤s1023。
112.在步骤s1023中，系统控制单元150判断用户是否在步骤s1022中显示的菜单上选择了用以结束多重曝光摄像的选项。如果判断为用户没有选择用以结束多重曝光摄像的选项(步骤s1023中为“否”)，则系统控制单元150使处理进入步骤s1025。另外，如果判断为用户已经选择了用以结束多重曝光摄像的选项(步骤s1023中为“是”)，则系统控制单元150使处理进入步骤s1024。
113.在步骤s1024中，系统控制单元150判断用户是否已经利用在步骤s1022中显示的菜单选择了用以记录通过在进行重新安装之前进行的拍摄而获得的合成图像的选项。如果判断为用户没有选择用以记录合成图像的选项(步骤s1024中为“否”)，则系统控制单元150结束一系列多重曝光摄像。另外，如果判断为用户已选择了用以记录合成图像的选项(步骤s1024中为“是”)，则系统控制单元150使处理进入步骤s1015。
114.在步骤s1025中，系统控制单元150使用镜头卸载/安装检测单元154来判断镜头单元是否已被重新安装。如果判断为镜头单元已被重新安装(步骤s1025中为“是”)，则系统控制单元150使处理进入步骤s1026，以及如果判断为镜头单元尚未重新安装(步骤s1025中为“否”)，则系统控制单元150使处理返回到步骤s1022。
115.在步骤s1026中，系统控制单元150判断重新安装的镜头单元是否需要使图像校正的设置生效，即是否已经安装了必须进行图像校正的镜头单元。如果判断为重新安装的镜头单元不需要使图像校正的设置生效(步骤s1026中为“否”)，则系统控制单元150使处理进入步骤s1027。如果判断为重新安装的镜头单元需要使图像校正的设置生效(步骤s1026中为“是”)，则系统控制单元150使处理返回到步骤s1022。
116.在步骤s1027中，系统控制单元150隐藏在步骤s1022中显示的警告消息，使处理返回到步骤s1005，并且继续一系列多重曝光摄像。
117.从步骤s1009至步骤s1017的多重曝光摄像的一系列处理与根据第一实施例的步骤s409至s417中的处理相同，因此将省略其描述。
118.根据如上所述的第四实施例，在正进行多重曝光摄像期间所安装的镜头单元需要使图像校正的设置固定为生效(即，安装了必须进行图像校正的镜头单元)的情况下，显示警告信息，并且可以根据用户的选择来结束一系列多重曝光摄像。此外，在用户没有选择用以结束一系列多重曝光摄像的选项并重新安装了不需要进行图像校正的镜头单元的情况下，可以继续一系列多重曝光摄像。由此，在正进行图像校正的设置被固定为无效的多重曝光摄像期间安装了必须进行图像校正的镜头单元的情况下，可以防止合成不正确的多重化
图像。另外，如果误安装了这样的镜头单元，则不结束拍摄，并且可以在安装了另一镜头单元之后继续一系列多重曝光摄像。
119.第五实施例
120.接着，将描述第五实施例中的多重曝光摄像模式。
121.首先，将参考图11a和11b来描述安装在摄像器件122中的图像传感器与所安装的镜头单元的图像圈之间的关系。
122.如图11a所示，如果图像圈大于图像传感器面(在全尺寸镜头单元的情况下)，则可以获得使用整个图像传感器的拍摄图像(拜尔排列的raw图像数据)。
123.另一方面，如图11b所示，在aps-c镜头单元的情况下，图像圈的尺寸小于图像传感器的尺寸。因此，必须将内接在该图像圈内的矩形范围1100设置为摄像范围。也就是说，当图像圈的尺寸小于图像传感器的尺寸时，如图11b所示，拍摄图像的尺寸需要减小到小于图11a所示的拍摄图像的尺寸。
124.系统控制单元150在基于来自镜头卸载/安装检测单元154的信号检测到镜头单元180的安装时或者在进行电源接通后的初始化处理时从所安装的镜头单元180接收识别信息(诸如型号名称等)。此外，系统控制单元150使用所接收到的识别信息作为关键字搜索镜头表156a，并获取所安装的镜头单元的图像圈。然后，系统控制单元150基于所获取到的图像圈来判断实现了图11a和11b中的哪个状态。在图11a中的状态的情况下，系统控制单元150设置图像处理单元124，使得使用图像传感器的整个区域来获取拍摄图像。此外，在图11b中的状态的情况下，系统控制单元150设置图像处理单元124，使得获取图像传感器内部的区域1100内的图像作为拍摄图像。
125.图12是示出系统控制单元150在从镜头卸载/安装检测单元154接收到指示已安装镜头单元的检测信号的情况下的处理的流程图。
126.在步骤s1201中，系统控制单元150经由连接器171与镜头单元控制单元183通信。在步骤s1202中，系统控制单元150获取镜头单元的诸如型号名称等的识别信息。另外，在步骤s1203中，系统控制单元150通过参考镜头表156a来获取所安装的镜头单元的图像圈，并判断该图像圈和摄像器件122中所包括图像传感器哪一个更大。
127.在步骤s1203中，如果判断为图像圈大于图像传感器，则系统控制单元150使处理进入步骤s1204。在步骤s1204中，系统控制单元150判断拍摄的raw图像尺寸是“大”。另一方面，如果判断为图像圈小于图像传感器的尺寸，则系统控制单元150使处理进入步骤s1205。在步骤s1205中，系统控制单元150判断为拍摄的raw图像尺寸是“小”。此外，在步骤s1206中，系统控制单元150基于所确定的尺寸来向图像处理单元124设置在从摄像器件122获取raw图像时的拜尔排列的raw图像的尺寸(本实施例中的图像传感器的整个区域或区域1100)。
128.图13是示出作为第五实施例的特征的图像处理单元124中的多重合成处理的流程的流程图。当用户使用模式切换开关160选择多重曝光摄像模式或在菜单设置中选择多重曝光摄像时，系统控制单元150进入多重曝光摄像模式并根据图13所示的流程图来进行多重曝光摄像的处理。注意，图13的各步骤中的处理通过系统控制单元150将从非易失性存储器156读出的预定程序部署系统存储器152中、执行程序并控制构成摄像设备的主体100的单元的操作和处理来实现。注意，假设如下：用户已经进行了各种设置(诸如要合成的图像
的数量和要合成的图像文件的指定等)，并且将所设置的信息存储在系统存储器152中。注意，该结构可以如下结构：除非特别改变，否则先前多重曝光摄像时要合成的图像的数量是此次要合成的图像的数量。在这种情况下，可以将要合成的图像的数量存储在非易失性存储器156中。
129.在步骤s1301中，系统控制单元150从系统存储器152或非易失性存储器156获取在多重曝光摄像模式下要多重合成的图像的数量n。接着，在步骤s1302中，系统控制单元150判断用户是否已经进行了设置以使用记录在记录介质190中的图像文件作为要在多重曝光摄像中使用的第一基本图像。如果判断为尚未选择基本图像(步骤s1302中为“否”)，则系统控制单元150使处理进入步骤s1303，以及如果判断为已经选择了基本图像(步骤s1302中为“是”)，则系统控制单元150使处理进入步骤s1304。
130.在步骤s1303中，系统控制单元150将表示拍摄图像的数量的变量n初始化为“0”，并使处理进入步骤s1305。此外，在步骤s1304中，系统控制单元150将变量n初始化为“1”，并使处理进入步骤s1305。
131.在步骤s1305中，系统控制单元150使用镜头卸载/安装检测单元154来判断是否已经新安装了镜头单元(是否重新安装了镜头单元)。镜头单元的重新安装例如包括移除所安装的镜头单元一次然后再次安装的情况以及将所安装的镜头单元更换为与所安装的镜头单元不同的镜头单元的情况。如果判断为已经新安装了镜头单元(步骤s1305中为“是”)，则系统控制单元150使处理进入步骤s1306，以及如果判断为镜头单元与进行前次拍摄时使用的镜头单元相同，即尚未进行卸载/安装(步骤s1305中为“否”)，则系统控制单元150使处理进入步骤s1308。
132.在步骤s1306中，系统控制单元150判断当前安装的镜头单元的图像圈是否与当获得要进行合成的图像数据时使用的镜头单元的图像圈不同。
133.具体地，系统控制单元150可以经由连接器171与所安装的镜头单元180通信，并获取诸如型号名称等的识别信息。此外，系统控制单元150可以通过使用所获取到的识别信息搜索非易失性存储器156中的镜头表156a来获取诸如所安装的镜头单元的图像圈等的镜头特性。系统控制单元150通过将在重新安装镜头单元之前进行拍摄时使用的镜头单元的图像圈(假设存储在非易失性存储器156的预定地址中)与镜头单元被重新安装后的镜头单元的图像圈进行比较，来进行步骤s1306中的判断处理。
134.注意，如果结构是使得根据所安装的镜头单元对要从摄像器件122读出并且要记录的图像的尺寸进行切换的结构，则可以基于从摄像器件122读出的图像的尺寸来进行判断处理。此外，可以通过使用图像处理单元124对从摄像器件122读出的图像进行图像处理并且通过检测图像的周边部分中的渐晕量来进行判断处理。
135.如果判断为当前安装的镜头单元的图像圈与当获得要进行合成的图像数据时所使用的镜头单元的图像圈不同(步骤s1306中为“是”)，则系统控制单元150使处理进入步骤s1307，否则(步骤s1306中为“否”)，系统控制单元150使处理进入步骤s1308。
136.在步骤s1307中，系统控制单元150进行用于指定合成位置的处理(稍后将描述细节)，并且使处理进入步骤s1308。
137.在步骤s1308中，系统控制单元150判断第二快门开关163是否接通(是否生成第二快门开关信号sw2)。如果判断为第二快门开关163没有接通(步骤s1308中为“否”)，则系统
控制单元150使处理返回到步骤s1305，以及如果判断为第二快门开关163接通(步骤s1308中为“是”)，则系统控制单元150使处理进入步骤s1309。
138.在步骤s1309中，系统控制单元150通过使摄像器件122进行静止图像帧的拍摄来获取图像数据，并将图像数据存储到存储器132。此外，在步骤s1310中，系统控制单元150将变量n的值递增“1”。在步骤s1311中，系统控制单元150判断变量n的值是否大于1，即拍摄图像是否是第二个或更晚的图像以及是否已经存在要进行合成处理的图像数据。如果判断变量n是“1”或更小(步骤s1311中为“否”)，则系统控制单元150使处理返回到步骤s1305，以及如果判断变量n大于“1”(步骤s1311中为“是”)，则系统控制单元150使处理进入步骤s1312。
139.在步骤s1312中，系统控制单元150通过控制图像处理单元124、通过对已经利用步骤s1309中拍摄图像而获得并存储在存储器132中的关注图像数据与要进行合成的图像数据进行合成来创建新的合成图像数据，并将新的合成图像数据存储在存储器132中。
140.这里，如果变量n的值是“2”，则在最近步骤s1309中获得的关注图像是第二个图像。因此，系统控制单元150将通过对关注的第二个图像和第一个图像进行合成而获得的合成图像存储到存储器132。此外，如果变量n的值大于“2”，则关注图像是第三个或更晚的图像。因此，在这种情况下，系统控制单元150通过对在最近步骤s1309中获得的关注图像和前次的合成图像进行合成来创建新的合成图像，并将新的合成图像存储到存储器132。
141.在步骤s1313中，系统控制单元150将变量n的值与“n”进行比较。也就是说，系统控制单元150判断多重曝光摄像中的图像数量是否达到设置数量。如果判断为变量n的值小于“n”(步骤s1313中为“否”)，则系统控制单元150使处理返回到步骤s1305。另外，如果判断为变量n的值是“n”(步骤s1313中为“是”)，则系统控制单元150使处理进入步骤s1314。
142.在步骤s1314中，系统控制单元150通过控制图像处理单元124对在步骤s1312中创建的合成图像数据进行显像处理(即诸如白平衡调节和像素插值等的处理)，将所获得的图像数据转换为yuv数据，并将yuv数据写入存储器132。此外，在步骤s1315中，系统控制单元150通过控制图像处理单元124，将在步骤s1314中生成的进行了显像处理的合成图像数据压缩编码成jpeg格式的静止图像数据，并将jpeg格式的静止图像数据写入存储器132。此外，在步骤s1316中，系统控制单元150经由存储介质i/f 118将在步骤s1315中被压缩编码的jpeg格式的静止图像数据记录到记录介质190，并且结束一系列多重曝光摄像。
143.接着，将参考图19来描述在步骤s1307中用于指定合成位置的处理。
144.在步骤s1901中，系统控制单元150判断在拍摄要进行合成处理的两个图像时的图像圈是否相同。如果判断为图像圈相同，或者如果要进行合成的图像数据以及要被合成的图像数据没有准备好(拍摄图像的数量小于2)，则系统控制单元150不进行用于指定合成位置的处理，并结束该处理。另外，如果判断为拍摄要进行合成处理的两个图像时的图像圈不同(步骤s1901中为“否”)，则系统控制单元150使处理进入步骤s1902。
145.在步骤s1902中，系统控制单元150通过控制显示单元128来显示用于指定合成位置的画面，并经由操作单元170接受用户操作。
146.为了简化描述，将描述要进行合成的图像数据的图像圈(第一图像数据或在最近步骤s1312的合成处理中获得的合成图像数据)小于当前安装的镜头单元的图像圈的情况。
147.图20a示出用于在这种状态下指定合成位置的画面的初始画面。系统控制单元150在显示单元128的区域2001的整个区域中显示通过当前安装的镜头单元所获得的实况视
频。然后，系统控制单元150在可以根据用户操作而移动的区域2002中显示要进行合成的图像。当用户观看该画面时，通过最近合成处理获得的合成图像可移动地显示在实况视频的图像中。此外，系统控制单元150根据在操作单元170上进行的用户操作来移动区域2001内的区域2002。在接收到经由操作单元170的、来自用户的用于确定位置的指示时，系统控制单元150确定区域2002的位置。也就是说，系统控制单元150确定要进行合成的图像相对于要被合成的图像的位置。
148.注意，如果要进行合成的图像的图像圈大于当前安装的镜头单元的图像圈，则系统控制单元150在区域2001的整个区域中显示要进行合成的图像，并在区域2002中显示实况视频。然后，与上述操作同样地，用户进行区域2002的位置的指定和确定指示。对于用户来说不同点是，要确定实况视频的位置而不是要进行合成的图像的位置。
149.在步骤s1903中，系统控制单元150提示用户选择具有由区域2001表示的图像圈的图像的尺寸(全尺寸)和由区域2002表示的图像圈较小的图像的尺寸其中之一作为最终合成尺寸。然后，系统控制单元150等待接收经由操作单元170的来自用户的选择指示。
150.在步骤s1904中，系统控制单元150判断用户选择的最终合成尺寸是否是全尺寸。如果判断为用户选择的最终合成尺寸是全尺寸(步骤s1904中为“是”)，则系统控制单元150使处理进入步骤s1906。另一方面，如果判断为用户选择的最终合成尺寸不是全尺寸(步骤s1904中为“否”)，则系统控制单元150使处理进入步骤s1905。
151.在步骤s1905中，系统控制单元150在从现在起直到第二快门开关163接通为止的时间段内将显示单元128的显示状态保持为图20a所示的状态。
152.在步骤s1906中，系统控制单元150在从现在起直到第二快门开关163接通为止的时间段内在显示单元128的区域2001的整个区域中显示图像圈较小的区域的实况合成图像。也就是说，如图20b所示，即使当前安装的镜头单元是全尺寸图像传感器的镜头单元，与较小图像圈的情况类似，系统控制单元150也在区域2001中显示通过裁剪获得的合成图像。简单地说，认为图20a的区域2002中的图像被放大到区域2001的整个区域的尺寸并进行显示是更容易理解的。
153.在步骤s1907中，系统控制单元150配置图像处理单元124的设置，使得使用表示如上所述确定的合成位置的信息来以最终合成尺寸进行合成。结果，系统控制单元150使图像处理单元124在图13所示的流程图的步骤s1312中以上述设置进行合成处理。当然，步骤s1312中所获得的合成图像是全尺寸图像和aps-c尺寸图像之一。
154.接着，将参考图14至17来描述通过图像处理单元124所进行的步骤s1307中的用于指定合成位置的处理来合成四个图像的处理的示例。
155.图14示出使用图像圈小的镜头单元(aps镜头单元)来拍摄第一图像和第二图像、使用图像圈大的镜头单元(全尺寸镜头单元)来拍摄第三图像和第四图像、并且用户指定的最终合成图像的尺寸是图像圈小的图像的尺寸的示例。
156.当拍摄第一图像和第二图像时，图像处理单元124通过从全尺寸图像中裁剪对应于aps图像圈的区域来获得图像1401和1402。由于图像1401和1402是使用具有小图像圈的镜头单元拍摄的图像(裁剪图像)，因此用户不进行对合成位置的指定。图像处理单元124通过简单地合成这两个图像1401和1402来创建合成图像1411(裁剪图像)。使用具有大图像圈的镜头单元拍摄第三图像，并且用户选择较小的图像尺寸作为最终合成图像的尺寸。因此，
图像处理单元124获取通过裁剪全尺寸图像而获得的图像作为第三图像1403。然后，图像处理单元124通过对合成图像1411和图像1403进行合成来创建新的合成图像1412(裁剪图像)。注意，这里，用户指定要从第三拍摄中获得的全尺寸图像中裁剪图像1403的位置。此外，使用具有大图像圈的镜头单元拍摄第四图像，并且用户选择较小的图像尺寸作为最终合成图像的尺寸。因此，图像处理单元124获取通过裁剪全尺寸图像而获得的图像作为第四图像1404。然后，图像处理单元124通过对合成图像1412和图像1404进行合成来创建最终合成图像1413(裁剪图像)。注意，这里，用户还指定要从第四拍摄中获得的全尺寸图像中裁剪图像1404的位置。
157.图15示出使用图像圈大的镜头单元(全尺寸镜头单元)拍摄第一图像和第二图像、使用图像圈小的镜头单元(aps镜头单元)拍摄第三图像和第四图像、并且用户指定的最终合成图像的尺寸是图像圈小的图像的尺寸的示例。
158.由于图像1501和1502是通过使用具有大图像圈的镜头单元进行拍摄而获得的全尺寸图像数据，因此在合成这些图像时用户不进行对合成位置的指定。图像处理单元124通过简单地合成这两个图像1501和1502来创建合成图像1511(全尺寸图像)。由于通过使用具有小图像圈的镜头单元拍摄第三图像，因此图像处理单元124通过裁剪由摄像器件122获得的全尺寸图像来创建图像1503。用户已选择较小的图像尺寸作为最终合成图像的尺寸。因此，图像处理单元124通过对合成图像1511(全尺寸图像)和图像1503(裁剪图像)进行合成来创建合成图像1512(裁剪图像)。注意，图像1503在合成图像1512上的合成位置由用户指定。此外，由于通过使用具有小图像圈的镜头单元来拍摄第四图像，因此图像处理单元124通过裁剪由摄像器件122获得的全尺寸图像来创建图像1504。用户已选择较小的图像尺寸作为最终合成图像的尺寸。因此，图像处理单元124通过对合成图像1512(裁剪图像)和第四图像1504(裁剪图像)进行合成来创建最终合成图像1513(裁剪图像)。注意，由于合成图像1512和图像1504是裁剪图像，因此用户不进行位置指定。
159.图16示出使用图像圈小的镜头单元(aps镜头单元)拍摄第一图像和第二图像、使用图像圈大的镜头单元(全尺寸镜头单元)拍摄第三图像和第四图像、并且用户指定的最终合成图像的尺寸是图像圈大的图像的尺寸的示例。
160.当拍摄第一图像和第二图像时，图像处理单元124通过从全尺寸图像裁剪对应于aps图像圈的区域来获得图像1601和1602。由于图像1601和1602是使用具有小图像圈的镜头单元拍摄的图像(裁剪图像)，因此用户不进行对合成位置的指定。图像处理单元124通过简单地合成这两个图像1601和1602来创建合成图像1611(裁剪图像)。使用具有大图像圈的镜头单元拍摄第三图像，并且用户选择较大的图像尺寸作为最终合成图像的尺寸。因此，图像处理单元124通过对合成图像1611(裁剪图像)和全尺寸图像1603进行合成来获得全尺寸合成图像1612。注意，这里，用户指定合成图像1611在第三拍摄中获得的全尺寸图像1603上的合成位置。使用具有大图像圈的镜头单元拍摄第四图像，并且用户选择较大的图像尺寸作为最终合成图像的尺寸。因此，图像处理单元124通过对全尺寸合成图像1612和第四全尺寸图像1604进行合成来创建最终合成图像1613(全尺寸图像)。注意，由于合成图像1612和图像1604是全尺寸图像，因此用户不进行位置指定。
161.图17示出使用图像圈大的镜头单元(全尺寸镜头单元)拍摄第一图像和第二图像、使用图像圈小的镜头单元(aps镜头单元)拍摄第三图像和第四图像、并且用户指定的最终
合成图像的尺寸是图像圈大的图像的尺寸的示例。
162.由于图像1701和1702是通过使用具有大图像圈的镜头单元进行拍摄而获得的全尺寸图像数据，因此在合成这些图像时用户不进行对合成位置的指定。图像处理单元124通过简单地合成这两个图像1701和1702来创建合成图像1711(全尺寸图像)。由于通过使用具有小图像圈的镜头单元拍摄第三图像，因此图像处理单元124通过裁剪由摄像器件122获得的全尺寸图像来创建图像1703。用户已选择较大的图像尺寸作为最终合成图像的尺寸。因此，图像处理单元124通过对合成图像1711(全尺寸图像)和图像1703(裁剪图像)进行合成来创建合成图像1712(全尺寸图像)。注意，图像1703在合成图像1711上的合成位置由用户指定。此外，由于通过使用具有小图像圈的镜头单元拍摄第四图像，因此图像处理单元124通过裁剪由摄像器件122获得的全尺寸图像来创建图像1704。用户已选择较大的图像尺寸作为最终合成图像的尺寸。因此，图像处理单元124通过对合成图像1712(全尺寸图像)和第四图像1704(裁剪图像)进行合成来创建最终合成图像1713(全尺寸图像)。注意，图像1704在合成图像1712上的合成位置由用户指定。
163.接着，将参考图18来描述本实施例中的图像处理单元124的多重合成处理。该多重合成处理是图13中的步骤s1312中的处理。
164.在步骤s1801中，图像处理单元124判断在步骤s1309中获得的raw拍摄图像的尺寸是否与要进行合成的图像的尺寸一致。如果判断为尺寸相同(步骤s1801中为“是”)，则图像处理单元124使处理进入步骤s1807，否则(步骤s1801中为“否”)，图像处理单元124使处理进入步骤s1802。
165.在步骤s1802中，图像处理单元124判断在菜单设置中是否已经选择比较合成作为多重曝光摄像的合成方法。如果判断为已经选择了比较合成作为多重曝光摄像的合成方法(步骤s1802中为“是”)，则图像处理单元124使处理进入步骤s1803，以及如果判断为没有选择比较合成作为多重曝光摄像的合成方法(步骤s1802中为“否”)，则图像处理单元124使处理进入步骤s1804。
166.在步骤s1803中，图像处理单元124将设置配置为使得将全尺寸图像的在裁剪的raw图像的区域之外的像素值保持在100％，并且使处理进入步骤s1807。
167.在步骤s1804中，图像处理单元124判断在菜单设置的比较合成中选择了亮和暗中的哪一个。如果判断为已经选择了相对亮部分的合成(步骤s1804中为“是”)，则图像处理单元124使处理进入步骤s1806，以及如果判断为已经选择了相对暗部分的合成(步骤s1804中为“否”)，则图像处理单元124使处理进入步骤s1805。
168.在步骤s1806中，图像处理单元124将设置配置为使得裁剪的raw图像的区域外的区域是黑色区域(所有分量都处于最小亮度)，并且使处理进入步骤s1807。在步骤s1805中，图像处理单元124将设置配置为使得裁剪的raw图像的区域外的区域是白色区域(所有分量都处于最大亮度)，并且使处理进入步骤s1807。
169.在步骤s1807中，如果合成位置已被用户指定，则图像处理单元124根据在步骤s1803、s1805和s1806中设置的条件在指定的合成位置处进行合成处理，并将合成图像数据存储到存储器132。
170.根据如上所述的本实施例，即使在可以卸载和安装镜头单元的照相机中镜头单元切换到具有不同图像圈尺寸的镜头单元的情况下，也可以继续多重曝光摄像，此外，可以在
图像中用户期望的位置处进行合成。
171.注意，在上述实施例中，当进行多重曝光摄像时，在显示单元128中显示至少实况图像，但是结构可以是使得可以仅在合成处理中进行定位时显示两个图像的合成图像的结构。此外，在上述实施例中，每次合成不同图像圈的图像时用户都选择最终合成图像的尺寸，但是结构可以是使得提供最终合成尺寸作为用于图12中的多重曝光摄像的设置项并且在配置该设置时确定最终合成尺寸的结构。
172.其它实施例
173.本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
174.尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。