图像处理设备、摄像设备和图像处理方法与流程

1.本发明涉及用于对准图像的图像处理设备、包括图像处理设备的摄像设备以及图像处理设备的控制方法。


背景技术：

2.已知存在被称为图像合成稳定(stabilization)的传统技术，其通过将短时间内连续拍摄到的图像对准之后对它们进行合成来获得与没有照相机抖动的长时间曝光图像等效的图像(照相机抖动校正图像)。存在通过消除图像之间的取景偏差来使当前图像和前一图像对准的方法(在下文中称为序列对准合成(sequential alignment combination))作为图像合成稳定的方法(例如，参见日本专利4418632)。
3.然而，当使用上述公开所示的序列对准合成来进行图像合成稳定时，如果一旦发生对准错误，则后续图像将与发生对准错误的图像对准，这放大了由于对准错误而导致的图像劣化的影响。应当注意，由于对准错误而导致的图像劣化不仅发生在图像合成稳定中，而且还发生在通过对多个图像进行合成来生成高动态范围图像的hdr图像合成中。即，类似的问题发生在对准多个图像的技术中，并且该问题随着要对准的图像的数量增加而变得显著。


技术实现要素：

4.本发明提供图像处理设备、包括图像处理设备的摄像设备以及图像处理设备的控制方法，其可以通过减少多个图像的对准错误来获得高清图像。
5.因此，本发明的方面提供一种图像处理设备，包括：对准单元，其被配置为进行序列对准和基准对准，所述序列对准用于对相邻图像进行对准，所述基准对准用于将除基准图像以外的图像与所述基准图像进行对准；以及控制单元，其被配置为控制所述对准单元，以通过组合所述序列对准和所述基准对准，来对由摄像单元按时间序列连续拍摄到的包括相同被摄体的多个图像进行对准。
6.一种摄像设备，包括：摄像单元，其具有图像传感器，并且输出所拍摄到的图像；对准单元，其被配置为进行序列对准和基准对准，所述序列对准在相邻图像之间进行对准，所述基准对准用于将除基准图像以外的图像与所述基准图像进行对准；以及控制单元，其被配置为控制所述对准单元，以通过组合所述序列对准和所述基准对准，来对由摄像单元按时间序列连续拍摄到的包括相同被摄体的图像进行对准。
7.一种图像处理方法，用于对由具有图像传感器的摄像单元按时间序列连续拍摄到的包括相同被摄体的多个图像进行对准，所述图像处理方法的特征在于：通过组合序列对准和基准对准来对所述多个图像进行对准，所述序列对准用于对相邻图像进行对准，所述基准对准用于将除基准图像以外的图像与所述基准图像进行对准。
8.根据本发明，可以减少多个图像的对准错误，并且可以获得高清图像。
9.从以下参照附图对示例性实施例的描述中，本发明的其它特征将变得清楚。
附图说明
10.图1是示出包括本发明的图像处理设备的照相机的硬件配置的框图。
11.图2是示出根据第一实施例的图像对准合成被应用于利用图1所示的摄像单元连续拍摄到的12个图像的示例的图。
12.图3是示出根据第一实施例的对准合成处理的流程图。
13.图4是示出根据第二实施例的图像对准合成被应用于通过摄像单元进行摄像而按时间序列连续输出的10个图像的示例的图。
14.图5是示出根据第二实施例的对准合成处理的流程图。
15.图6是示出根据第二实施例的变型例的图像对准合成被应用于通过利用摄像单元进行长时间摄像而按时间序列连续输出的10个图像的示例的图。
16.图7是示出根据第三实施例的图像对准合成被应用于通过前帘同步摄像所生成的图2所示的12个图像的示例的图。
17.图8是示出根据第三实施例的图像对准合成被应用于通过后帘同步摄像所生成的图2所示的12个图像的示例的图。
18.图9是示出在图2所示的第二序列对准组的最后图像的摄像条件不同的情况下应用根据第三实施例的图像对准合成的示例的图。
19.图10是示出根据第三实施例的对准合成处理的流程图。
20.图11是示出在图6所示的基准对准组包括摄像条件不同的图像的情况下应用根据第三实施例的变型例的对准合成的示例的图。
21.图12是示出根据第三实施例的变型例的对准合成处理的流程图。
具体实施方式
22.在下文中，将参照附图详细描述根据本发明的实施例。
23.图1是示出作为包括根据本发明第一实施例的图像处理设备的摄像设备的照相机101的硬件配置的框图。
24.如图1所示，照相机101设置有摄像单元102、图像合成单元103、图像合成控制器104、摄像条件输出单元105、记录单元106、照相机抖动检测单元107、图像稳定系统108、rtc 109、操作单元110和焦距检测单元111。此外，摄像镜头112可拆卸地附接到照相机101。在本实施例中，图像合成单元103和图像合成控制器104构成根据本发明的图像处理设备。此外，本实施例的照相机101具有通过控制照相机101的相应组件来实现照相机101的功能的控制器(未示出)。控制器例如是cpu，其将存储在rom(未示出)中的程序读取到ram(未示出)中，并执行该程序，以通过控制照相机101的相应组件来实现照相机101的功能。rom是可重写的非易失性存储器，并且存储了控制器可以运行的程序、设置值、gui数据等。ram用于读取控制器运行的程序，并且保存在程序的执行期间所需的值。图1中的图像合成单元103和图像合成控制器104是当控制器运行程序时实现的功能。
25.操作单元110包括释放按钮、触摸传感器、用于开启图像合成稳定模式的图像稳定开关等。在描述中，图像合成稳定模式是如下的模式：通过将在短时间内连续拍摄到的图像对准之后对它们进行合成，来生成与没有照相机抖动的长时间曝光图像等效的照相机抖动校正图像。
26.摄像单元102具有诸如ccd或cmos等的图像传感器。当在图像稳定开关接通的状态下完全按下释放按钮时，摄像单元102按时间序列连续生成预设数量(在本实施例中为12)的图像，并将预设数量的图像顺次输出到图像合成单元103。
27.在从摄像单元102接收到预设数量的图像的情况下，图像合成单元103通过将所获得的图像对准之后对它们进行合成(图像对准合成)来生成照相机抖动校正图像。图像合成单元103可以将从摄像单元102获得的图像临时存储到诸如可拆卸存储卡或内部存储器等的存储器(未示出)中，并且将从存储器读取的图像对准之后对它们进行合成。在下文中，从摄像单元102获得的图像和摄像单元102所获得的图像不仅是指从摄像单元102输出的图像，还是指如上所述从存储器读取的图像。
28.图像合成单元103可以执行两个图像对准合成方法。第一方法是序列对准合成，其将前一图像和后一图像(连续两个图像)对准，以在摄像单元102所获得的多个连续图像中消除这两个图像之间的取景偏差，并对这两个图像进行合成。第二方法是基准对准合成，其从多个连续图像中选择基准图像，将剩余图像中的各个图像与基准图像对准，以消除相对于基准图像的取景偏差，并对这些图像进行合成。序列对准合成的优点在于要对准的两个图像之间的取景偏差小。原因在于要对准的两个图像是相邻图像，并且相邻图像的拍摄定时之间的时间间隔极短。因此，可以缩小搜索取景偏差的范围，并且可高速进行对准合成。相比之下，在基准对准合成中，基准图像的拍摄定时和对准图像的拍摄定时之间的时间间隔越大，取景偏差就越大。因此，需要扩大搜索取景偏差的范围，并且对准合成需要更多的时间。然而，由于基准对准合成将所有剩余图像与基准图像对准并合成，因此只有导致对准错误的图像成为合成图像的劣化原因。因此，在组中发生对准错误的情况下，基准对准合成中的合成图像的劣化程度变得小于序列对准合成中的合成图像的劣化程度。
29.在图像稳定开关接通的状态下半按下释放按钮的情况下，摄像条件输出单元105将摄像条件输出到图像合成控制器104。在本实施例中，摄像条件输出单元105将摄像焦距作为由焦距检测单元111检测到的摄像条件输出到图像合成控制器104。由于摄像焦距的检测是公知的技术，因此省略细节。
30.在从摄像条件输出单元105获得照相机101的摄像条件(本实施例中为摄像焦距)的情况下，图像合成控制器104控制图像合成单元103基于所获得的摄像条件执行序列对准合成和基准对准合成其中至少之一。
31.记录单元106将利用图像合成单元103而生成的照相机抖动校正图像记录到存储器中，或者临时记录以下所提到的对准图像和合成图像。
32.照相机抖动检测单元107具有诸如角速度传感器和加速度传感器等的惯性传感器，并且检测照相机101中所发生的诸如照相机抖动等的振动。
33.图像稳定系统108通过协同控制摄像单元102和摄像镜头112来发挥光学图像稳定性能。
34.rtc(实时时钟)109是具有时间检查功能的ic，并且检查时间。
35.应当注意，构成本发明的图像处理设备的图像合成控制器104和图像合成单元103可以设置在与照相机101不同的外部装置中。在这样的配置中，利用摄像单元102所获得的图像应通过例如存储卡的记录介质或与照相机101的通信而输入到外部装置。
36.图2是示出根据本实施例的图像对准合成被应用于利用摄像单元102连续拍摄到
的12个图像21a至21l的示例的图。
37.如图2所示，在图像稳定开关接通的状态下完全按下释放按钮的情况下，摄像单元102按时间序列连续拍摄作为图像对准合成的对象的图像21a至21l，并且将这些图像输出到图像合成单元103。在图2中，图像21a至21l中的被摄体22的位置在垂直方向上不同。这示出由于照相机抖动而导致的图像的取景相互不同，即，示出发生了取景偏差。尽管可能实际发生图2的水平方向上的取景偏差，但是为了简化描述，在本实施例中描述了图2中仅在垂直方向上发生取景偏差的情况。此外，为了简化描述，在描述中，被摄体22应当是静止的，并且图像的摄像条件(曝光时间、光圈值、焦距等)应当固定。
38.图像合成控制器104指示图像合成单元103按照从摄像单元102获得的图像的顺序来对指定数量(在本实施例中为4)的图像进行序列对准合成。
39.响应于该指示，图像合成单元103对从摄像单元102获得的图像21a至21d进行序列对准合成。
40.具体地，图像合成单元103首先检测被摄体22在图像21a中的位置与被摄体22在图像21b中的位置之间的偏差(取景偏差)，并且调整图像21b的位置以消除取景偏差。在下文中，位置调整之后的图像21b被称为图像21b’。以相同的方式，图像合成单元103检测被摄体22在图像21b’中的位置与被摄体22在图像21c中的位置之间的偏差(取景偏差)，并且调整图像21c的位置以消除取景偏差。在下文中，位置调整之后的图像21c被称为图像21c’。此外，图像合成单元103检测被摄体22在图像21c’中的位置与被摄体22在图像21d中的位置之间的偏差(取景偏差)，并且调整图像21d的位置以消除取景偏差。在下文中，位置调整之后的图像21d被称为图像21d’。
41.图像21a至21l中的两个连续拍摄图像(在后文中称为相邻图像)的摄像定时之间的时间间隔短。由此，相邻图像之间的取景偏差变小，这可以缩短用于图像合成单元103检测和计算取景偏差的时间段。在上述处理中，可以使用公知的方法来检测相邻图像之间的取景偏差。例如，可以采用使用通过比较图像的特征点的位置而找到的运动矢量的方法、使用惯性传感器(角速度传感器、加速度传感器等)的检测结果的方法、或者使用运动矢量和惯性传感器的检测结果这两者的方法。
42.接着，图像合成单元103在对合成期间不重叠的区域的亮度和裁切进行调整之后，通过将图像21a与对准图像21b’、21c’和21d’进行合成来生成合成图像23a。
43.以这种方式，对由图像合成控制器104指定数量的图像(本实施例中为四个图像)进行序列对准并将其合成为一个组。属于一个组的图像的数量是有限的。这旨在降低合成图像的质量的劣化程度。即，在经过序列对准合成的组中一旦发生对准错误时，该错误影响该组的后面所有的图像。因此，一个组中的图像数量越多，合成图像的质量的劣化程度越大。为了防止这种情况，图像的数量受到限制。
44.在图像合成单元103已生成的合成图像的数量未达到规定数量(本实施例中为3)的情况下，图像合成控制器104重复地指示图像合成单元103对新获得的四个图像进行序列对准合成。
45.由此，图像合成单元103对图像21e至21h进行序列对准并进行合成，并生成合成图像23e。此外，图像合成单元103对图像21i至21l进行序列对准并进行合成，并生成合成图像23i。
46.在图像合成单元103已生成的合成图像的数量达到规定数量的情况下，图像合成控制器104指示图像合成单元103进行基准对准合成处理，该基准对准合成处理选择第一合成图像作为基准图像，将剩余的合成图像与基准图像进行对准和合成。
47.响应于该指示，图像合成单元103进行合成图像23a、23e和23i的基准对准合成。
48.具体地，图像合成单元103首先检测被摄体22在合成图像23a中的位置与被摄体22在合成图像23e和23i各自中的位置之间的偏差(取景偏差)，并且调整合成图像23e和23i的位置以消除取景偏差。在下文中，位置调整之后的合成图像23e和23i被称为合成图像23e’和23i’。
49.在此之后，图像合成单元103在对合成期间不重叠的区域的亮度和裁切进行调整之后，通过将合成图像23a和对准合成图像23e’和23i’进行合成，来生成照相机抖动校正图像。
50.应当注意，合成图像23a、23e和23i中的相邻图像之间的取景偏差被估计为大于图像21a至21l中的相邻图像之间的取景偏差。这是因为序列对准合成组的第一图像21a、21e和21i的摄像定时之间的时间间隔比图像21a至21l中的相邻图像的摄像定时之间的时间间隔长。因此，合成图像23a、23e和23i不进行序列对准合成，而是进行基准对准合成，使得对准合成精度变高。
51.在图2中，尽管在图像组21a至21d、图像组21e至21h以及图像组21i至21l各自中对四个图像顺次进行对准并进行合成，但是经过序列对准合成的图像的指定数量根据作为摄像条件的摄像焦距而改变。具体地，随着摄像焦距变长，经过序列对准合成的图像的指定数量减少。这是因为在照相机101的摄像焦距长的情况下，相邻图像之间的取景偏差的量趋于变大，并且导致对准错误。在这种情况下，随着经过序列对准合成的图像的指定数量越少，对准合成精度变得越高。相反，在照相机101的摄像焦距短的情况下，由于即使发生对准错误，取景偏差也小且不显著。在这种情况下，通过增加经过序列对准合成的图像的规定数量来提高对准合成的速度。
52.图3是示出根据第一实施例的对准合成处理的流程图。该处理在图像稳定开关接通时开始。
53.首先，在步骤s301中，当半按下释放按钮时，摄像条件输出单元105通过焦距检测单元111来检测摄像焦距，并将其输出到图像合成控制器104。
54.在步骤s302中，图像合成控制器104基于在步骤s301中从摄像条件输出单元105输出的摄像焦距，将属于一个序列对准合成组的图像的数量(指定数量)设置到图像合成单元103。具体地，当摄像焦距落在预定的中间范围内时，指定数量设置为4。当摄像焦距长于中间范围中的最大值时，指定数量设置为3。并且当摄像焦距短于中间范围的最小值时，指定数量设置为6。尽管在本实施例中指定数量设置为3、4或6，但是可以基于摄像焦距更精细地设置指定数量。即，足以满足针对短摄像焦距设置的指定数量大于针对长摄像焦距设置的指定数量的条件。
55.在步骤s303中，当完全按下释放按钮时，摄像单元102开始摄像。由此，摄像单元102按时间序列拍摄连续图像，并将这些图像输出到图像合成单元103。应当注意，无论在步骤s302中设置的指定数量如何，摄像单元102在步骤s303中都拍摄设置数量(本实施例中为12)的图像。因此，例如，在步骤s302中将指定数量设置为4的情况下，图像合成控制器104设
置3作为为了生成照相机抖动校正图像而要生成的合成图像的数量(规定数量)。
56.在步骤s304中，图像合成控制器104指示图像合成单元103进行指定数量的图像的序列对准合成。图像合成单元103响应于该指示进行图2中的图像21a至21d的序列对准合成，并且生成合成图像23a。
57.在步骤s305中，图像合成控制器104向图像合成单元103重复发出步骤s304的指示，直到生成规定数量的合成图像为止。在已生成规定数量的合成图像的情况下(步骤s305中为是)，处理进行到步骤s306。由此，生成图2中的合成图像23a、23e和23i。
58.在步骤s306中，图像合成控制器104指示图像合成单元103进行基准对准合成，并完成该处理。由此，进行合成图像23a、23e和23i的基准对准合成，并生成照相机抖动校正图像。
59.由于以这种方式基于照相机101的摄像焦距来改变由图像合成单元103进行序列对准合成的图像的数量(指定数量)，因此由于对准错误而导致的照相机抖动校正图像的劣化减少。
60.尽管在本实施例中仅基于摄像焦距来设置经过序列对准合成的图像的数量(指定数量)，但是可以通过考虑其它摄像条件来设置该指定数量。例如，可以考虑以下摄像条件(a)至(e)。这进一步减少图像合成稳定中的对准错误，从而使得能够获得高清照相机抖动校正图像。
61.(a)照相机抖动量
62.当利用照相机抖动检测单元107检测到的照相机抖动量大时，经过序列对准的合成图像的数量减少。在这种情况下，摄像条件输出单元105将利用照相机抖动检测单元107检测到的照相机抖动量输出为摄像条件。可以使用在开始步骤s303的摄像处理之前检测到的照相机抖动量。
63.(b)光学图像稳定性能
64.在图像稳定系统108通过与照相机101和摄像镜头112协作而发挥光学图像稳定性能的情况下，光学图像稳定性能根据照相机101和摄像镜头112的组合而变化。因此，由于图像稳定性能低的组合放大了由照相机抖动而引起的取景偏差，因此减少序列对准的合成图像的数量。在这种情况下，摄像条件输出单元105基于照相机101和摄像镜头112的组合来将光学图像稳定性能输出为摄像条件。例如，在使用照相机101或摄像镜头112进行光学图像稳定的情况下，与使用照相机101和摄像镜头112这两者进行光学图像稳定的情况相比，序列对准的合成图像的数量减少。
65.(c)照相机抖动的频率特性
66.通常，对于低频照相机抖动，安装在照相机101中的图像稳定系统108的图像稳定精度低。因此，当照相机抖动检测单元107检测到低频照相机抖动时，序列对准的合成图像的数量减少。在这种情况下，摄像条件输出单元105将利用照相机抖动检测单元107检测到的照相机抖动输出为摄像条件。例如，当利用照相机抖动检测单元107检测到的照相机抖动的主分量的频率低时，与利用照相机抖动检测单元107检测到的照相机抖动的主分量的频率高的情况相比，序列对准的合成图像的数量减少。
67.(d)从图像稳定开始起经过的时间
68.由于安装在照相机101中的图像稳定系统108的图像稳定精度在图像稳定的早期
阶段低，因此在从图像稳定开始起的第一时间段(例如，一秒)中序列对准的合成图像的数量减少。在这种情况下，摄像条件输出单元105将由安装在照相机101中的rtc 109测量到的从图像稳定开始起经过的时间输出为摄像条件。例如，在从图像稳定开始起经过第一时间段之前开始摄像的情况下，与在从图像稳定开始起经过第一时间段之后开始摄像的情况相比，序列对准的合成图像的数量减少。在图像稳定开关接通或半按下释放按钮的情况下，开始进行图像稳定。
69.(e)从开始摄像起经过的时间
70.当用户通过保持照相机101来摄像时，照相机抖动随着从开始摄像起经过的时间而增加。这是因为用户在摄像期间无法通过取景器目镜来检查被摄体。因此，在摄像期间，在从摄像开始起经过第二时间段(例如，两秒)之后，序列对准的合成图像的数量减少。在这种情况下，摄像条件输出单元105将由安装在照相机101中的rtc 109测量到的从摄像开始起经过的时间输出为摄像条件。例如，在从开始摄像起经过的时间长于第二时间段的情况下，与从开始摄像起经过的时间短于第二时间段的情况相比，序列对准的合成图像的数量减少。
71.如上所述，在本实施例中，图像合成控制器104控制图像合成单元103以在根据摄像条件组合序列对准合成和基准对准合成的情况下进行序列对准合成和基准对准合成。这减少了对准错误在图像合成稳定中的影响，使得能够获得高清的照相机抖动校正图像。
72.接着，将描述本发明的第二实施例。序列对准合成的优点在于要对准的两个图像之间的取景偏差小。原因在于要对准的两个图像是相邻图像，并且相邻图像的摄像定时之间的时间间隔极短。因此，可以缩小搜索取景偏差的范围，并且可高速进行对准合成。相比之下，在基准对准合成中，基准图像的拍摄定时和对准图像的拍摄定时之间的时间间隔越大，取景偏差就越大。因此，需要扩大搜索取景偏差的范围，并且对准合成需要更多的时间。然而，由于基准对准合成将所有剩余图像与基准图像对准并合成，因此只有导致对准错误的图像成为合成图像的劣化原因。因此，在组中发生对准错误的情况下，基准对准合成中的合成图像的劣化程度变得小于序列对准合成中的合成图像的劣化程度。
73.因此，本实施例采用如下配置：当要对准的两个图像之间的取景偏差小时，进行基准对准合成，但不进行序列对准合成。
74.应当注意，本实施例的硬件配置中与第一实施例的硬件配置相同的配置由相同的附图标记表示，并且省略其描述。
75.在本实施例中，当在图像稳定开关接通的状态下完全按下释放按钮时，摄像单元102按时间序列连续输出10个图像作为图像对准合成的对象。
76.此外，在本实施例中，摄像条件输出单元105不仅将由焦距检测单元111检测到的摄像焦距，而且还将由照相机抖动检测单元107检测到的照相机101的照相机抖动量作为摄像条件输出到图像合成控制器104。
77.图4是示出根据第二实施例的图像对准合成被应用于通过摄像单元102进行摄像而按时间序列连续输出的10个图像41a至41j的示例的图。
78.图4示出摄像条件输出单元105在摄像的前半部分(拍摄图像41a至41f的第一时间段)中输出小的照相机抖动量并且在摄像的后半部分(拍摄图像41g至41j的第二时间段)中输出大的相机抖动量的情况。为了简化描述，从摄像条件输出单元105输出的摄像焦距应在
不太大和太小的中间范围内。
79.在这种情况下，图像合成控制器104基于从摄像条件输出单元105输出的照相机抖动量，指示图像合成单元103进行对在第一时间段中拍摄到的图像41a至41f的基准对准合成。
80.响应于该指示，图像合成单元103将图像41b至41f各自与作为基准图像的图像41a对准，以消除各个取景偏差，并对图像41a至41f进行合成以生成合成图像42a。
81.此外，图像合成控制器104基于从摄像条件输出单元105输出的照相机抖动量，指示图像合成单元103对在第二时间段中拍摄到的图像41g至41j进行序列对准合成。
82.响应于该指示，图像合成单元103调整图像41h的位置，以消除图像41h相对于图像41g的取景偏差。在下文中，位置调整之后的图像41h被称为图像41h’。同样地，调整图像41i的位置以消除图像41i相对于图像41h’的取景偏差。在下文中，位置调整之后的图像41i被称为图像41i’。同样地，调整图像41j的位置以消除图像41j相对于图像41i’的取景偏差。在下文中，位置调整之后的图像41j被称为图像41j’。
83.接着，图像合成单元103在对合成期间不重叠的区域的亮度和裁切进行调整之后，通过将图像41g与对准图像41h’、41i’和41j’进行合成来生成合成图像42g。
84.以这种方式，图像合成控制器104指示图像合成单元103对在照相机抖动量小于阈值的第一时间段中拍摄到的图像的组进行基准对准合成。另一方面，图像合成控制器104指示图像合成单元103对在照相机抖动量大于阈值的第二时间段中拍摄到的图像的组进行序列对准合成。
85.结果，图像合成单元103生成合成图像42a和42g。在此之后，图像合成控制器104指示图像合成单元103进行合成图像42a和42g的基准对准合成。
86.响应于该指示，图像合成单元103进行合成图像42a和42g的基准对准合成，以生成照相机抖动校正图像。
87.这样的配置减少了由于各组中的对准错误而导致的合成图像的劣化，并且缩短了对准合成所需的时间段。
88.图5是示出根据第二实施例的对准合成处理的流程图。该处理在图像稳定开关接通时开始。
89.应当注意，相同的步骤编号分配给执行图3中的相同处理的步骤。
90.首先，执行步骤s301至s303的处理。
91.在步骤s501中，摄像条件输出单元105使用照相机抖动检测单元107来检测照相机101的当前照相机抖动量，并将检测结果作为摄像条件输出到图像合成控制器104。
92.在步骤s502中，图像合成控制器104判断在步骤s501中从摄像条件输出单元105输出的照相机抖动量与摄像焦距的乘积是否小于阈值。在乘积小于阈值的情况下，处理进行到步骤s503。在乘积不小于阈值的情况下，处理进行到步骤s504。将描述计算摄像焦距与照相机抖动量的乘积的原因。即使照相机抖动量小，当摄像焦距长时，摄像单元102的摄像面上的取景偏差也变得大。相反，即使摄像焦距短，当照相机抖动量大时，摄像单元102的摄像面上的取景偏差也变得大。因此，通过求出摄像焦距和照相机抖动量的乘积来确定摄像面上的取景偏差量。应当注意，作为另一方法，阈值可以根据摄像焦距而改变。例如，第一阈值设置成与第一摄像焦距相对应，并且第二阈值设置成与第二摄像焦距相对应。以这种方式，
通过将所设置的阈值与照相机抖动量进行比较，获得与计算摄像焦距与照相机抖动量的乘积的方法同样的效果。
93.在步骤s503中，图像合成控制器104指示图像合成单元103进行基准对准合成，并将处理进行到步骤s505。由此，图像合成单元103能够进行几乎不受对准错误影响的合成处理。此外，由于理解为要对准的两个图像之间的取景偏差小，因此图像合成控制器104指示图像合成单元103缩小取景偏差的搜索范围。由此，图像合成单元103能够缩短对准合成时间。
94.在步骤s504中，图像合成控制器104指示图像合成单元103进行序列对准合成，并将处理进行到步骤s505。由此，图像合成单元103能够高速进行对准合成。
95.在步骤s505中，图像合成控制器104判断摄像单元102是否已拍摄设置数量(在图4的示例中为10)的图像，并且是否已经对所有图像进行了对准和合成。如果条件不满足，则处理返回到步骤s501。重复从步骤s501起的处理，直到满足步骤s505的条件为止。由此，生成图2的合成图像23a、23e和23i。
96.在步骤s306中，图像合成控制器104指示图像合成单元103进行基准对准合成，并完成该处理。由此，进行合成图像42a和42g的基准对准合成，并生成照相机抖动校正图像。
97.根据该处理，在摄像期间，当摄像焦距和照相机抖动量的乘积小时，处理从步骤s502进行到步骤s503，并且进行基准对准合成。另一方面，在摄像期间，当摄像焦距和照相机抖动量的乘积大时，处理从步骤s502进行到步骤s504，并且进行序列对准合成。因此，通过组合基准对准合成和序列对准合成来减少经过序列对准合成的图像的数量。结果，与通过对所有图像41a至41j进行序列对准合成来生成照相机抖动校正图像的情况相比，减少了由于对准错误而导致的照相机抖动校正图像的质量的劣化。
98.在由于照相机抖动量变大而将基准对准合成改变为序列对准合成之后照相机抖动量变小的情况下，可以再次使用基准对准合成。
99.此外，当基准对准合成改变为序列对准合成时，可以考虑剩余图像的数量。例如，在图4中的图像41a至41i的照相机抖动量小并且图像41j的照相机抖动量大的情况下，即使从图像41j起将方法改变为序列对准合成，其实质上也变成图像41a和41j的基准对准合成。因此，在剩余图像的数量小于预定数量(例如，少于两个图像)的情况下，可以不改变合成方法。
100.图6是示出根据第二实施例的变型例的图像对准合成被应用于通过利用摄像单元102进行长时间摄像而按时间序列连续输出的十个图像61a至61j的示例的图。
101.如图6所示，在长时间摄像的情况下，在摄像早期阶段(拍摄图像61a至61d的时间段)进行序列对准合成，并生成合成图像62a。另一方面，在后期阶段(拍摄图像61e至61j的时间段)进行基准对准合成，并生成合成图像62e。
102.在长时间摄像中的摄像后期阶段进行基准对准合成的原因在于，抖动量在摄像后期阶段趋于变得比摄像早期阶段更大，并且在后期阶段容易发生对准错误。因此，对在摄像后期阶段拍摄到的图像61e至61j进行使用图像61e作为基准图像的基准对准合成，并且在扩展取景偏差的搜索范围的情况下将剩余图像61f至61j与图像61e对准，并生成合成图像62e。
103.在此之后，图像合成控制器104在完成利用图像合成单元103的合成图像62a和62e
的生成之后，指示图像合成单元103进行合成图像62a和62e的基准对准合成。
104.响应于该指示，图像合成单元103进行合成图像62a和62e的基准对准合成，以生成照相机抖动校正图像。
105.在如图6的示例中，尽管对准合成时间变长，但是可进行精确的对准合成。因此，可以根据摄像模式等从基准对准合成和序列对准合成中选择在照相机抖动量大的情况下所执行的对准合成方法。例如，可以在高图像质量模式下照相机抖动量大的情况下进行基准对准合成，并且可以在其它模式下照相机抖动量大的情况下进行序列对准合成。
106.接着，将描述本发明的第三实施例。第一实施例和第二实施例假定：在几乎相同的条件下拍摄用作对准对象的多个图像，并且正确地获得图像之间的运动矢量，以检测取景偏差。然而，在用作对准对象的多个图像包括拍摄条件不同(例如，使用在其它图像的拍摄中未使用的照明)的图像的情况下，可能无法获得图像之间的正确的运动矢量。
107.因此，第三实施例被配置为即使摄像条件不同的图像也能够实现稳定的对准合成。在下文中，具体描述本实施例的配置。
108.应当注意，本实施例的硬件配置中与第一实施例相同的配置由相同的附图标记表示，并且省略其描述。
109.图7是示出在通过前帘同步摄像生成图2所示的12个图像21a至21l的情况下应用根据第三实施例的图像对准合成的示例的图。即，图2所示的图像21b是在闪光灯发光的状态下拍摄到的。其它图像21a和21c至21l是在没有闪光灯发光的状态下拍摄到的。
110.在已知的前帘同步摄像中，在曝光的早期阶段使闪光灯发光。在本实施例中，紧挨在获得通过闪光摄像所生成的图像21b之前，在没有闪光灯发光的状态下拍摄图像21a。这使得能够通过获得如下所述的运动矢量轨迹71来校正图像21b的取景偏差。在下文中，对其进行具体描述。
111.在本实施例中，在摄像早期阶段在闪光灯发光的状态下拍摄图像21b的情况下，紧挨在图像21b的摄像之前和之后在闪光灯不发光的状态(相同的摄像条件)下拍摄图像21a和21c。应当注意，在前帘同步摄像中，以比其它图像21a和21c至21l各自的曝光时间短的曝光时间来拍摄图像22b。因此，图像21b的取景偏差量变为图像21a和21c的取景偏差量的中间量。因此，在通过序列对准合成将图像21b与图像21a对准的情况下，首先检测图像21c的取景偏差，调整图像21c的位置以消除取景偏差，并生成对准图像21c’。接着，计算图像21a和图像21c’之间的运动矢量轨迹71，并且使用计算出的运动矢量轨迹71来对准图像21b。即，即使没有检测到图像21b的取景偏差，也校正图像21b的取景偏差，并且获得对准图像21b’。
112.应当注意，在闪光灯发光图像21b之前拍摄到的图像21a可以是在完全按下释放按钮之前拍摄到的图像(所谓的实时取景图像)，并且可以不用于合成。即，在完全按下释放按钮之后进行闪光灯发光摄像。当对闪光灯发光图像和之后的闪光灯不发光图像进行合成时，可以使用在完全按下释放按钮之前拍摄到的实时取景图像21a来对准图像21b。以这种方式，通过使用实时取景图像来对准闪光灯发光图像，缩短了完全按下释放按钮和闪光灯发光之间的时间段，并且可减少摄像机会的错过。
113.图8是示出当通过后帘同步摄像生成图2所示的12个图像21a至21l的情况下应用根据第三实施例的图像对准合成的示例的图。即，图2所示的图像21k是在闪光灯发光的状
态下拍摄到的。其它图像21a至21j和21l是在没有闪光灯发光的状态下拍摄到的。
114.在已知的后帘同步摄像中，在曝光的后期阶段使闪光灯发光。在本实施例中，紧接在获得通过闪光灯摄像所生成的图像21k之后，在没有闪光灯发光的状态下拍摄图像21l。这使得能够通过获得运动矢量轨迹81来校正图像21k的取景偏差。在下文中，对其进行具体描述。
115.在本实施例中，在摄像后期阶段在闪光灯发光的状态下拍摄图像21k的情况下，紧挨在图像21k的摄像之前和之后在闪光灯不发光的状态(相同的摄像条件)下拍摄图像21j和21l。应当注意，在后帘同步摄像中，以比其它图像21a至21j和21l各自的曝光时间短的曝光时间来拍摄图像22k。因此，图像21k的取景偏差量变为图像21j和21l的取景偏差量的中间量。因此，在通过序列对准合成将图像21k与图像21j对准的情况下，首先检测图像21l的取景偏差，调整图像21l的位置以消除取景偏差，并生成对准图像21l’。接着，计算图像21j和图像21l’之间的运动矢量轨迹81，并且使用计算出的运动矢量轨迹81来对准图像21k。即，即使没有检测到图像21k的取景偏差，也校正图像21k的取景偏差，并且获得对准图像21k’。
116.应当注意，在闪光灯发光图像21k之后拍摄到的图像21l可以仅用于校正闪光摄像所生成的图像21k的取景偏差，并且可以不用于合成。这是因为被摄体趋于在闪光灯发光之后移动。当图像21l包括移动的被摄体时，照相机抖动校正图像的质量可能劣化。
117.以这种方式，在图2中的图像21a至21l包括摄像条件与其它图像的摄像条件不同的图像的情况下，图像合成单元103使用紧挨在此之前和之后拍摄到的图像中检测到的取景偏差，来校正具有不同摄像条件的图像的取景偏差。
118.图9是示出在图2所示的第二序列对准组中的最后图像的摄像条件不同的情况下应用根据第三实施例的图像对准合成的示例的图。在描述中，序列对准组是指包括用于通过序列对准来生成合成图像的图像的组。
119.在烟花燃放的定时拍摄到的图像21h和紧挨在此之前拍摄到的图像21g在亮度上不同。在这种情况下，无法正确地获得图像21g和21h之间的取景偏差。因此，在本实施例中，首先使用以与图7和图8相同的方式紧挨在图像21h之前和之后拍摄到的图像21g和21i来校正图像21h的取景偏差。具体地，检测图像21i相对于图像21g的取景偏差，调整图像21i的位置以消除取景偏差，并生成对准图像21i’。接着，计算图像21g和图像21i’之间的运动矢量轨迹91，并使用计算出的运动矢量轨迹91来对准图像21k。即，即使没有检测到图像21h的取景偏差，也校正图像21h的取景偏差，并且获得对准图像21h’。
120.如图9所示，从图像21e起直到紧接在通过烟花摄像而生成的图像21h之后拍摄到的图像21i为止的图像被分组到序列对准组中。然而，图像21i仅用于计算用于校正图像21h的取景偏差的运动矢量轨迹91，并且不用于生成合成图像23e。即，尽管在图2、图7和图8中图像21e到21h属于序列对准组，但是在图9中图像21e到21i属于序列对准组。另一方面，在图2、图7、图8和图9的每个情况下，通过使用图像21e、21f’、21g’和21h’来生成合成图像23e。原因在于，当针对每个组使经过序列对准合成的图像的数量一致时，对准精度均一化。因此，当烟花拍摄图像是图像21g并且不是组中的最后图像21h时，图像21e至21h被分组到序列对准组中，并且通过使用图像21e、21f’、21g’和21h’来生成合成图像23e。
121.图9例示摄像条件不同的图像是被摄体的亮度与序列对准组中的其它图像的亮度
不同的图像的情况。然而，摄像条件不限于亮度。例如，在摄像定时处存在或不存在闪光灯发光可以是摄像条件。
122.图10是示出根据第三实施例的对准合成处理的流程图。该处理在图像稳定开关接通时开始。该处理被应用于图7、图8和图9所示的每个图案。
123.应当注意，相同的步骤编号被分配给执行图3中的相同处理的步骤。
124.首先，执行步骤s301至s303的处理。
125.在步骤s1001中，图像合成控制器104指示图像合成单元103检测从摄像单元102输出的图像的取景偏差。响应于该指示，图像合成单元103检测输出图像和紧挨在此之前获得的图像之间的取景偏差。
126.在步骤s1002中，图像合成控制器104指示图像合成单元103检测从摄像单元102输出的图像的亮度值。响应于该指示，图像合成单元103检测输出图像的亮度值。
127.在步骤s1003中，图像合成控制器104判断是否已经针对(在步骤s302中设置的)指定数量的图像检测了取景偏差和亮度值。在判断为尚未检测到这些值的情况下，图像合成控制器104指示图像合成单元103重复步骤s1001和s1002的处理。由此，完成对属于当前序列对准组的图像的取景偏差和亮度值的检测。
128.在步骤s1004中，图像合成控制器104基于从属于当前序列对准组的图像检测到的亮度值，判断是否存在亮度值与当前序列对准组中的其它图像的亮度值不同的图像。在存在亮度值不同的图像(不同亮度图像)的情况下，处理进行到步骤s1005，否则，处理进行到步骤s1007。
129.在步骤s1005中，图像合成控制器104判断在步骤s1004中判断的不同亮度图像是否是当前序列对准组的最后图像。在不是最后图像的情况下，处理进行到步骤s1006。在是最后图像的情况下，处理返回到步骤s1001，以检测下一序列对准组的最初图像的取景偏差和亮度值。因此，在当前序列对准组的最后图像是不同亮度图像的情况下，通过使用紧接在最后图像之后拍摄到的图像，来获得用于校正最后图像的取景偏差的矢量轨迹。在不存在下一序列对准组的情况下，图像合成控制器104控制摄像单元102以拍摄包括被摄体22的附加图像，并且处理进行到步骤s1006。该处理不包括在图10的流程图中。
130.在步骤s1006中，图像合成控制器104计算不同亮度图像的取景偏差。例如，当图9中的图像21h的亮度值不同时，获得紧挨在图像21h之前和之后拍摄到的图像21g和21i之间的取景偏差，并且调整图像21i的位置以消除取景偏差。接着，计算对准图像21i’相对于图像21g的运动矢量轨迹91。然后，基于运动矢量轨迹91来计算图像21h的取景偏差。应当注意，图像21h的取景偏差变为相邻图像21g和21i的取景偏差量的中间量。
131.在步骤s1007中，图像合成控制器104指示图像合成单元103，以在基于步骤s1001和s1006中所检测和计算出的取景偏差来对属于当前序列对准组的图像进行对准之后，对这些图像进行合成。根据该处理，例如，基于图9中的图像21a至21d来生成图像21b’、21c’和21d’，并且通过对图像21a、21b’、21c’和21d’进行合成来获得合成图像23a。此外，基于图9中的图像21e到21i来生成图像21f’到21i’，并且通过对图像21e和21f’到21i’进行合成来获得合成图像23e。
132.在步骤s1008中，图像合成控制器104判断是否已生成规定数量的合成图像。图像合成控制器104重复进行从步骤s1001起的处理，直到生成规定数量的合成图像为止。在已
生成规定数量的合成图像的情况下(步骤s1008中为是)，处理进行到步骤s1009。由此，生成图9中的合成图像23a、23e和23i。
133.在步骤s1009中，图像合成控制器104指示图像合成单元103进行基准对准合成，并完成该处理。响应于该指示，图像合成单元103进行合成图像23a、23e和23i的基准对准合成，以生成照相机抖动校正图像。
134.以这种方式，在图像稳定开关接通的状态下在摄像期间生成不同亮度图像的情况下，图像合成单元103通过使用紧挨在不同亮度图像的拍摄之前和之后拍摄到的图像之间的取景偏差(轨迹)来检测不同亮度图像的取景偏差。然后，在不同亮度图像是当前序列对准组中的最后图像的情况下，还通过使用下一序列对准组的图像来检测不同亮度图像的取景偏差。
135.因此，即使在图像稳定开关接通的状态下在摄像期间生成不同亮度图像的情况下，也可以进行高精度的对准合成。
136.如上所述，已描述在不同亮度图像处于序列对准组中的情况下使用的取景偏差检测方法。接着，将描述在如下的情况下使用的取景偏差检测方法：在诸如图4的图像41a至41f和图6的图像61e至61j等的、为了生成合成图像而进行基准对准的图像的组(在下文中称为基准对准组)中，包括亮度值不同的图像。
137.如上所述，在第二实施例中，在用照相机抖动检测单元107检测到的照相机101的照相机抖动量小的时间段(图4)中拍摄到的图像、以及在长时间摄像的后期阶段(图6)拍摄到的图像被包括在基准对准组中。
138.图11是示出在图6所示的基准对准组包括摄像条件不同的图像的情况下应用根据第三实施例的变型例的对准合成的示例的图。即，通过摄像单元102的长时间摄像来按时间序列连续输出10个图像1101a至1101j。在这10个图像中的6个图像1101e至1101j(对应于在长时间摄像的后期阶段拍摄到的图6的图像61e至61j)属于基准对准组。并且该组包括亮度值不同的图像1101i。
139.对图像1101a至1101d(对应于在长时间摄像的早期阶段拍摄到的图6中的图像61a至61d)进行序列对准合成，并生成合成图像1002a。
140.图像合成单元103计算运动矢量轨迹1103，该运动矢量轨迹1103示出紧挨在不同亮度图像1101i之前和之后拍摄到的图像1101h和1101j相对于基准图像1101e的取景偏差之间的差。基于运动矢量轨迹1103来计算不同亮度图像1101i的取景偏差。图像1101i的取景偏差变为相邻图像1101h和1101j的取景偏差量的中间量。在此之后，通过基于取景偏差对各个图像进行对准之后对图像进行合成来获得合成图像1102e。
141.在此之后，图像合成控制器104在利用图像合成单元103完成合成图像1102a和1102e的生成之后，指示图像合成单元103进行合成图像1102a和1102e的基准对准合成。
142.响应于该指示，图像合成单元103进行合成图像1102a和1102e的基准对准合成，以生成照相机抖动校正图像。
143.图12是示出根据第三实施例的变型例的对准合成处理的流程图。当在图像稳定开关接通的状态下完全按下释放按钮时，摄像单元102开始连续摄像。图12的处理在进入摄像后期阶段的定时开始。
144.在步骤s1201中，图像合成控制器104指示图像合成单元103检测从摄像单元102输
出的图像的亮度值。响应于该指示，图像合成单元103检测输出图像的亮度值。
145.在步骤s1202中，图像合成控制器104判断在步骤s1201中检测到的从摄像单元102输出的图像的亮度值是否不同于紧挨在此之前从摄像单元102输出的图像的亮度值。作为判断的结果，在亮度值不同的情况下，处理跳过步骤s1203而进行到步骤s1204，否则(步骤s1202中为否)，处理进行到步骤s1203。
146.在步骤s1203中，图像合成控制器104指示图像合成单元103检测从摄像单元102输出的图像的取景偏差。响应于该指示，图像合成单元103检测输出图像与其基准图像之间的取景偏差。
147.在步骤s1204中，图像合成控制器104判断是否已检测了在摄像后期阶段拍摄到的设置数量(在图11的示例中为6)的图像的取景偏差。图像合成控制器104重复从步骤s1201起的处理，直到检测了设置数量的图像的取景偏差为止。即，求出从摄像单元102顺次输出的各个图像1101f至1101j相对于基准图像1101e的取景偏差。然而，不检测不同亮度图像1101i相对于基准图像1101e的取景偏差。
148.在步骤s1205中，图像合成控制器104判断不同亮度图像是否是基准对准组的最后图像。在是最后图像的情况下，处理进行到步骤s1206，否则(步骤s1205中为否)，处理进行到步骤s1207。
149.在步骤s1206中，图像合成控制器104控制摄像单元102拍摄包括被摄体22的附加图像，并且指示图像合成单元103检测该附加图像相对于基准图像的取景偏差。然后，图像合成控制器104将处理进行到步骤s1207。由此，即使不同亮度图像是基准对准组的最后图像，也获得紧接在此之后拍摄到的附加图像相对于基准图像的取景偏差。
150.在步骤s1207中，图像合成控制器104根据紧挨在此之前和之后拍摄到的图像相对于基准图像的取景偏差来计算不同亮度图像的取景偏差。在图11的示例中，基于运动矢量轨迹1103来计算图像1101i的取景偏差，该运动矢量轨迹示出图像1101h和1101j的取景偏差之间的差。
151.在步骤s1208中，图像合成控制器104基于在步骤s1203中计算出的取景偏差以及在步骤s1206中计算出的取景偏差，进行基准对准组的图像的基准对准合成。然后，图像合成控制器104完成该处理。
152.以这种方式，在基准对准组的摄像期间生成不同亮度图像的情况下，通过使用紧挨在此之前和之后拍摄到的图像相对于基准图像的取景偏差之间的差(运动矢量轨迹)，来检测不同亮度图像的取景偏差。即使在基准对准组的摄像期间生成不同亮度的图像的情况下，也可以进行高精度对准合成。
153.尽管图12示出在图6的长时间摄像的后期阶段生成不同亮度图像的情况，但是相同的处理适用于图4中的在照相机101的照相机抖动量小的时间段生成不同亮度图像的情况。
154.如上所述，在本实施例中，通过满足以下配置，可以进行稳定的图像对准合成。
155.1.在存在摄像条件(诸如闪光灯发光和被摄体的亮度变化等)不同的不同条件图像的情况下，通过使用紧挨在拍摄不同条件图像之前和之后拍摄到的图像的取景偏差的差(运动矢量轨迹(对准轨迹))来计算不同条件图像的取景偏差。然后，对不同条件图像进行对准，以消除分幅偏差。
156.2.在获得不同条件图像的情况下，紧挨在不同条件图像的拍摄之前和之后获得摄像条件一致的图像。具体地，在前帘同步摄像的情况下，紧挨在获得闪光灯发光图像之前获得闪光灯不发光图像。在后帘同步摄像的情况下，紧接在获得闪光灯发光图像之后获得闪光灯不发光图像。
157.3.在不同条件图像是组中的最后图像的情况下，通过使用下一组的最初图像来计算该最后图像的取景偏差，并且对该最后图像进行对准以消除取景偏差。然而，下一组的最初图像不用于包括不同条件图像的组的图像合成。此外，在不存在下一组的情况下，摄像单元102拍摄包括被摄体22的附加图像，并且使用该附加图像来计算最后图像的取景偏差。
158.4.在不同条件图像被包括在基准对准组中的情况下，计算紧挨在不同条件图像之前和之后拍摄到的图像的取景偏差之间的差，并且通过使用计算出的差来计算不同条件图像的取景偏差。
159.此外，当不使用不用于包括不同条件图像的组的图像合成的图像来计算不同条件图像的取景偏差时，变得容易获得用户意图的图像。具体地，在前帘同步摄像中的闪光灯发光图像之前的闪光灯不发光图像、以及在后帘同步摄像中的闪光灯发光图像之后的闪光灯不发光图像可以不用于图像合成。
160.尽管上述实施例描述了为了图像合成稳定的目的而对多个图像进行合成的情况，但是本发明可适用于对多个图像进行对准和合成的其它技术，诸如hdr图像合成等。此外，本发明的对准技术也适用于不对多个图像进行合成的技术。
161.其它实施例
162.本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
163.尽管已经参照示例性实施例描述了本发明，但是可以理解，本发明不限于所公开的示例性实施例。所附权利要求的范围将被给予最广泛的解释，以涵盖所有这样的修改以及等同的结构和功能。
164.本技术要求于2020年9月9日提交的日本专利申请2020-151561的权益，其全部内容通过引用并入本文。