图像模糊校正装置及其控制方法和摄像装置与流程

图像模糊校正装置及其控制方法和摄像装置
1.(本技术是申请日为2019年1月17日、申请号为201910044086.0、发明名称为“图像模糊校正装置及其控制方法和摄像装置”的申请的分案申请。)
技术领域
2.本发明涉及用于拍摄图像的图像模糊校正处理。


背景技术：

3.针对随着摄像装置的小型化或者光学系统的倍率增大、手抖动等对图像的影响变大这一事件，设置了图像模糊校正功能。在使用角速度传感器来检测摄像装置的抖动的情况下，根据角速度检测信号来进行抖动校正透镜(以下简称为校正透镜)或图像传感器等的移动控制。诸如由于个体差异引起的基准电压的变化等的直流分量(偏移分量)包括在角速度传感器的输出信号中，并且由于温度的变化而发生漂移。因此，通常进行以下操作：使用高通滤波器(以下也称为hpf)来从角速度传感器的输出信号中去除低频分量，并且抑制由于低频误差分量引起的图像模糊校正精度的下降。
4.另一方面，在使摄像装置的摄像方向改变为一个方向的操作(例如，用户所进行的平摇或俯仰(以下称为平摇等))的情况下，在角速度传感器的输出中包括大量的低频分量。在与抖动检测信号相对应的图像模糊校正中，在超过可以驱动校正透镜等的行程范围时，图像模糊校正性能有可能下降。因此，进行基于角速度传感器的输出来判断平摇等的处理。在判断平摇等时，hpf的截止频率改变到更高频率侧，因此进行用于抑制针对低频率的图像模糊校正的控制。日本特开平5-323436公开了平摇状态等中的图像模糊校正控制，其中在抑制低频率的响应的同时进行高频率处的图像模糊的校正。
5.在日本特开平5-323436所公开的使用hpf来去除偏移分量的方法中，有可能发生以下现象。需要将hpf的截止频率设置得尽可能低，以在去除角速度传感器的输出的偏移分量的同时对诸如拍摄者的身体摇摆等的低频抖动进行良好的图像模糊校正。在hpf的截止频率降低时，由于滤波器的时间常数的影响而导致完全去除偏移分量需要很长时间。如果在没有去除偏移分量的情况下、通过进行用于将角速度信号转换成角度信号的积分处理而在该角度信号中发生了积分误差(漂移误差)，则图像模糊校正性能有可能在长时间内下降。另外，存在以下担忧：在平摇时发生大的摆动之后、由于hpf的影响而导致发生生成与平摇方向相反的方向上的信号的回摆现象的情况下，紧接在平摇之后的图像模糊校正性能可能下降。


技术实现要素：

6.本发明提供即使在发生大的抖动的情况下也在宽的频带中进行稳定的图像模糊校正的图像模糊校正装置。
7.本发明的方面的一种图像模糊校正装置，包括：估计单元，其被配置为估计抖动检测单元的输出的偏移分量，所述抖动检测单元被配置为检测摄像装置的抖动；改变单元，其
被配置为基于所述抖动检测单元的输出来计算作为频带中的多个分量的第一抖动量和第二抖动量，并且根据所述第一抖动量和所述第二抖动量来改变所述估计单元的特性；以及控制单元，其被配置为使用通过从所述抖动检测单元的输出中减去所述估计单元所估计的偏移分量而获得的输出，来进行图像模糊校正，其中，所述改变单元随着所述第一抖动量变大而将所述估计单元的特性改变为用于延迟所述估计单元的偏移分量的估计值的更新的特性，或者随着作为比所述第一抖动量低的频率分量的所述第二抖动量变大而将所述估计单元的特性改变为用于提前所述估计单元的偏移分量的估计值的更新的特性。
8.本发明的方面的一种摄像装置，包括上述的图像模糊校正装置。
9.本发明的方面的一种图像模糊校正装置的控制方法，所述控制方法包括：估计抖动检测单元的输出的偏移分量，所述抖动检测单元被配置为检测摄像装置的抖动；基于所述抖动检测单元的输出来计算作为频带中的多个分量的第一抖动量和第二抖动量，并且根据所述第一抖动量和所述第二抖动量来改变估计特性；以及使用通过从所述抖动检测单元的输出中减去所估计出的偏移分量而获得的输出，来进行图像模糊校正，其中，改变所述估计特性包括：随着所述第一抖动量变大而将所述估计特性改变为用于延迟所述偏移分量的估计值的更新的特性，或者随着处于比所述第一抖动量低的频率的所述第二抖动量变大而将所述估计特性改变为用于提前所述偏移分量的估计值的更新的特性。
10.根据本发明的图像模糊校正装置，即使在发生大的抖动的情况下，也可以在宽的频带中进行稳定的图像模糊校正。
11.通过以下(参考附图)对示例的说明，本发明的更多特征将显而易见。
附图说明
12.图1a是本发明的摄像装置的中央截面图，并且图1b是示出摄像装置的电气结构的框图。
13.图2是示出根据第一实施例的图像模糊校正控制单元的结构的框图。
14.图3是示出手抖动角度的频谱的示例的图。
15.图4是说明根据第一实施例的目标值计算的流程图。
16.图5是说明图4之后的处理的流程图。
17.图6是用于说明图4之后的并行处理的流程图。
18.图7a～7d是示出偏移估计所使用的评价值和各噪声之间的关系的图。
19.图8a和8b是示出三角架检测状态下的角速度输出和偏移估计值之间的关系的图。
20.图9a和9b是示出手持状态下的角速度输出和偏移估计值之间的关系的图。
21.图10a和10b是示出平摇操作时的角速度输出和偏移估计值之间的关系的图。
22.图11是示出根据第二实施例的图像模糊校正控制单元的结构的框图。
23.图12是说明根据第二实施例的目标值计算的流程图。
24.图13a～13b是示出运动矢量的可靠性、系统噪声和观测噪声之间的关系的图。
25.图14是示出三角架检测状态下的角速度输出和偏移估计值之间的关系的图。
26.图15是示出手持状态下的角速度输出和偏移估计值之间的关系的图。
27.图16是示出平摇操作时的角速度输出和偏移估计值之间的关系的图。
具体实施例
28.以下将参考附图来详细说明本发明的实施例。本发明可应用于摄像机、数字静态照相机、诸如照相机的可更换镜头等的光学仪器以及包括摄像单元的电子装置。
29.第一实施例
30.将参考图1a和1b来说明本发明的第一实施例。图1a是示出根据第一实施例的包括图像模糊校正装置的摄像装置的结构的概述的中央截面图。图1b是示出摄像装置的电气结构的框图。在第一实施例中，将说明可更换镜头型照相机的示例。将说明各个单元之间的位置关系，其中将被摄体侧定义为前侧。
31.图1a所示的摄像装置1可以在镜头单元2安装至摄像装置1的本体(以下称为装置本体单元)的状态下进行摄像。镜头单元2包括由多个透镜配置成的摄像光学系统3，并且光轴4表示摄像光学系统3的光轴。镜头单元2中的校正透镜单元19包括用于校正由于用户的手抖动等引起的拍摄图像的图像模糊的校正透镜。装置本体单元在内部包括图像传感器6并且在后部包括背面显示装置10a。电气触点14电气连接装置本体单元和镜头单元2。
32.在图1b中，装置主体单元包括照相机系统控制单元(以下称为照相机控制单元)5，并且镜头单元2包括镜头系统控制单元(以下称为镜头控制单元)15。照相机控制单元5和镜头控制单元15可以经由电气触点14彼此进行通信。
33.首先，将说明镜头单元2内的结构。镜头侧操纵单元16包括用户所操作的操纵构件，并且向镜头控制单元15通知用户的操纵指示。镜头侧抖动检测单元(以下称为抖动检测单元)17包括角速度传感器，检测镜头单元2的抖动量，并且将抖动检测信号输出至镜头控制单元15。例如，可以使用陀螺仪传感器来检测相对于摄像光学系统3的光轴4的俯仰方向、横摆方向和侧倾方向上的转动。
34.图像模糊校正单元18根据来自镜头控制单元15的控制命令来进行校正透镜单元19的驱动控制以校正图像模糊。校正透镜单元19包括在与光轴4垂直的平面内被移位驱动或倾斜驱动的校正透镜、以及该校正透镜的驱动机构。透镜位置检测单元20进行校正透镜单元19的位置检测，并且将位置检测信号输出至镜头控制单元15。焦距改变单元22根据来自镜头控制单元15的控制命令来进行变焦透镜的驱动控制，并且改变摄像光学系统3的焦距。
35.接着，将说明摄像装置1的装置主体单元内的结构。构成摄像单元的图像传感器6对经由摄像光学系统3形成的被摄体的光学图像进行光电转换并且输出电气信号。使被摄体的物体光经由摄像光学系统3在图像传感器6的摄像面上成像，并且在图像传感器6中获得焦点调节所用的评价量或适当的曝光量。通过调整摄像光学系统3，可以将图像传感器6曝光于适当光量的物体光，并且在图像传感器6的附近形成被摄体图像。
36.图像处理单元7获取图像传感器6的输出信号，进行图像处理，并且将图像数据存储在存储单元8中。图像处理单元7在内部例如包括a(模拟)/d(数字)转换器、白平衡调整电路、伽玛校正电路和插值运算电路，并且生成记录所用的图像数据。图像处理单元7包括颜色插值处理单元，并且根据拜耳阵列的信号进行颜色插值(去马赛克)的处理以生成彩色图像数据。此外，图像处理单元7使用预定压缩方案对图像、运动图像和声音等进行数据压缩。图像处理单元7比较图像传感器6所获取到的多个图像，并且进行运动矢量检测以获取图像的运动量。也就是说，图像处理单元7包括用于基于拍摄图像来计算作为运动量的运动矢量
的运动矢量计算单元7a。
37.照相机控制单元5进行包括装置本体单元和镜头单元2的照相机系统的整体控制。照相机控制单元5控制图像处理单元7和存储单元8。照相机侧操纵单元9包括操纵构件，并且向照相机控制单元5通知用户的操纵指示。显示单元10例如包括背面显示装置10a、设置在装置本体单元的上表面上的用于显示摄像信息的小显示面板(未示出)、以及电子取景器(evf)。显示单元10根据来自照相机控制单元5的控制命令来进行图像显示以向用户呈现图像信息等。在照相机控制单元5的控制下，使用图像处理单元7和存储单元8来执行用于记录和再现图像数据的处理。例如，将所拍摄到的图像数据记录在记录介质上、或者经由外部接口发送至外部装置。
38.照相机系统的各组件的控制由照相机控制单元5和镜头控制单元15进行，并且可以根据用户操纵来进行静止图像摄像和运动图像摄像。照相机控制单元5和镜头控制单元15各自包括中央处理单元(cpu)，并且通过执行预定程序来进行各组件的操作控制或处理。例如，镜头控制单元15与照相机控制单元5进行通信，并且进行校正透镜单元19的驱动控制、根据调焦透镜(未示出)的驱动的焦点调节控制、光圈控制和变焦控制等。
39.照相机控制单元5在摄像时生成定时信号等，将该定时信号等输出至各构成单元，并且响应于用户操纵而执行摄像处理、图像处理以及记录和再现处理。例如，在用户操纵了照相机侧操纵单元9中所包括的快门释放按钮的情况下，照相机控制单元5检测到开关信号并且控制图像传感器6和图像处理单元7等。此外，照相机控制单元5控制显示单元10中所包括的信息显示装置。另外，背面显示装置10a在显示屏幕部中包括触摸面板，检测用户操纵，并且向照相机控制单元5通知该用户操纵。在这种情况下，背面显示装置10a包括操纵功能和显示功能这两者。
40.接着，将说明摄像光学系统3的调整操作。图像处理单元7获取图像传感器6的输出信号，并且基于拍摄者针对照相机侧操纵单元9的操纵来获得摄像光学系统3的适当的焦点位置和光圈位置。照相机控制单元5将控制命令经由电气触点14发送至镜头控制单元15。镜头控制单元15根据来自照相机控制单元5的控制命令来适当地控制焦距改变单元22和光圈驱动单元(未示出)。
41.在设置了图像模糊校正模式的情况下，镜头控制单元15在从照相机控制单元5接收到用于转变为图像模糊校正模式的命令时，开始图像模糊校正的控制。镜头控制单元15从抖动检测单元17获取抖动检测信号，从透镜位置检测单元20获取位置检测信号，并且进行图像模糊校正单元18的控制。图像模糊校正单元18例如使用利用磁体和扁平线圈的致动器来驱动校正透镜单元19。透镜位置检测单元20例如包括磁体和霍尔元件。作为具体的控制方法，首先，镜头控制单元15从抖动检测单元17获取抖动检测信号，并且计算用于进行图像模糊校正的校正透镜单元19的驱动量。镜头控制单元15将所计算出的驱动量输出为针对图像模糊校正单元18的命令值以驱动校正透镜单元19。进行反馈控制，使得透镜位置检测单元20的检测位置遵循该命令值。
42.图2是示出与镜头控制单元15中的图像模糊校正控制有关的结构示例的框图。应当注意，由于针对作为图像模糊校正轴的俯仰方向、横摆方向和侧倾方向上的各轴采用相同的结构，因此将说明仅一个轴。此外，假定加法器301、305、307、311和316所进行的计算包括负值的相加(相减)。
43.在图2中，抖动检测单元17将抖动检测信号输出至加法器301、带限滤波器303和噪声项计算单元300。将频带已被带限滤波器303限制的抖动信号输出至偏移估计单元304和加法器305。将表示偏移估计单元304的估计结果的信号输出至加法器301和加法器305。加法器301的输出由积分滤波器302进行积分，并且计算校正透镜的驱动目标值。以下将详细说明用于计算镜头控制单元15中的驱动目标值的处理、噪声项计算单元300和偏移估计单元304。
44.镜头控制单元15从抖动检测单元17获取抖动检测信号，并且生成频带已被带限滤波器303限制的抖动信号。以下将参考图3来说明带限滤波器303的效果。
45.偏移估计单元304获取频带已被带限滤波器303限制的抖动信号，并且估计抖动检测单元17的角速度传感器的输出的偏移分量。加法器301从抖动检测单元17的抖动检测信号中减去偏移估计值。积分滤波器302对通过减去作为加法器301的输出的偏移估计值所获得的抖动的角速度信号进行积分，以生成抖动角度信号。使用该信号作为驱动目标值，图像模糊校正单元18驱动校正透镜单元19，使得进行图像模糊校正操作。
46.另一方面，加法器305从频带已被带限滤波器303限制的抖动信号中减去偏移估计单元304的偏移估计值。噪声项计算单元300中的积分滤波器306对加法器305的输出信号进行积分以生成噪声计算所用的抖动角度信号。
47.在第一实施例中，基于噪声计算所用的抖动角度信号来进行用于改变偏移估计单元304的滤波器特性的处理。偏移估计单元304包括频率特性可变的滤波器，并且进行用于根据带限滤波器303的输出信号来估计偏移分量的处理。因此，在偏移估计单元304可以正确地估计偏移分量的情况下，加法器305所计算出的值是无偏移分量的抖动信号。在这种情况下，积分滤波器306所计算出的噪声计算所用的抖动角度信号具有作为基准值的以零为中心的值。另一方面，在偏移估计单元304不能正确地估计偏移分量的情况下，由于抖动检测信号中的偏移误差的影响而导致积分滤波器306所计算出的噪声计算所用的抖动角度信号的值变为缓慢漂移的值。
48.低频截止滤波器313从积分滤波器306获取噪声计算所用的抖动角度信号，并且通过去除低频分量来提取高频分量。设置低频截止滤波器313的截止频率，以截除包括抖动检测单元17的输出中所包含的偏移分量、低频波动和漂移分量的频带。通过这样，可以从来自抖动检测单元17的抖动检测信号中分离出作为估计对象的低频偏移分量和由于实际抖动而产生的高频抖动分量。
49.加法器307从噪声计算所用的抖动角度信号(积分滤波器306的输出)中减去从低频截止滤波器313输出的高频分量。因此，提取抖动角度信号的低频分量。也就是说，可以将噪声计算所用的抖动角度信号分离成低频分量和高频分量。求幂计算单元309获取加法器307的输出，并且通过对噪声计算所用的抖动角度信号的低频分量求平方来计算绝对值。增益单元310将求幂计算单元309的输出乘以预定增益。因此，可以主要计算表示低频抖动检测信号的偏移分量和漂移分量的大小和影响程度的低频抖动角度的评价值。以下将该评价值称为系统噪声项。
50.另一方面，求幂计算单元314获取低频截止滤波器313的输出，并且通过对噪声计算所用的抖动角度信号的高频分量求平方来计算绝对值。增益单元315将求幂计算单元314的输出乘以预定增益。因此，可以计算表示高频抖动检测信号的大小的高频抖动角度的评
价值。以下将该评价值被称为观测噪声项。
51.在偏移估计单元304的偏移估计值不正确的情况下，积分之后的噪声计算所用的抖动角度信号的低频分量发生偏移并且增加，因此系统噪声项增大。
52.三脚架状态检测单元317检测摄像装置1的抖动小的状态。例如，三脚架状态检测单元317使用抖动检测单元17的检测信号或者图像处理单元7的运动矢量计算单元7a所计算出的运动矢量来检测摄像装置1的抖动量。在抖动量小于预定阈值的状态持续了预定阈值时间以上的情况下，判断为摄像装置处于静止状态。静止状态是摄像装置安装至三脚架等并且基本上不存在抖动的状态。在三脚架状态检测单元317判断为摄像装置处于静止状态的情况下，三脚架状态检测单元317将该判断信号输出至照相机状态噪声计算单元318。
53.照相机状态噪声计算单元318将预设的预定值作为三脚架检测状态噪声输出至加法器311。加法器311将作为增益单元310的输出的系统噪声项与三脚架检测状态噪声相加。
54.p/t检测部319检测到拍摄者正在进行平摇等。例如，p/t检测单元319使用抖动检测单元17的检测信号或者图像处理单元7的运动矢量计算单元7a所计算出的运动矢量来检测摄像装置1的抖动量。在抖动量大于预定阈值的状态持续了预定阈值时间以上的情况下，判断为拍摄者通过平摇或俯仰进行了构图改变等。在p/t检测单元319判断为摄像装置处于平摇状态等的情况下，p/t检测单元319将该判断信号输出至照相机状态噪声计算单元318。
55.照相机状态噪声计算单元318将预设的预定值作为平摇/俯仰(p/t)检测状态噪声输出至加法器316。加法器316将作为增益单元315的输出的观测噪声项与p/t检测状态噪声相加。噪声项计算单元300将加法器311和316所计算出的噪声项的信号输出至偏移估计单元304。以下将说明偏移估计单元304所进行的估计处理的详情。
56.在第一实施例中，在三脚架状态检测和摇摄等的检测中一起使用抖动检测单元17的检测信号以及运动矢量。由于可以通过像素级的匹配比较来计算仅使用抖动检测单元17难以检测的诸如平摇等的慢动作的变化，因此可以更正确地检测摄像装置的抖动。
57.接着，将参考图3来说明带限滤波器303的效果。图3是在横轴示出频率[hz]的轴并且在纵轴示出抖动角度的振幅[度]的轴的图。实线所表示的图形g1表示通过对抖动检测单元17所检测到的抖动角速度信息进行积分而获得的抖动角的频谱信息(相对于频率的振幅信息)的示例。
[0058]
通常，已知：拍摄者的手抖动的频率分布在1hz～10hz的范围内，低频率处的抖动的角度大，并且随着频率变高、抖动角度变小。在特定频带中是否存在大的抖动分量根据拍摄者和摄像状态(乘车或乘船中的摄像或者步行期间的摄像等)而不同，但在相同的摄像状况下，与拍摄者无关地，经常在一定程度上相同的频率范围内存在大的抖动分量。在第一实施例中，偏移估计单元304针对抖动检测单元17所检测到的抖动信息正确地估计偏移分量。难以根据大幅波动的抖动信号来正确地估计偏移分量。为了正确地估计偏移分量，优选尽可能地从抖动信号中去除除偏移分量以外的大的抖动频率分量。因此，进行如下的处理：基于图3的实线g1所示的抖动频谱分布信息，使用带限滤波器(更具体地为使用陷波滤波器等)来减少频谱振幅大的频率分量。因此，可以提高偏移分量的估计精度。
[0059]
还存在使用低通滤波器来使除偏移分量以外的所有高频成分衰减的方法。然而，在该方法中，由于低通滤波器的处理中的相位滞后，因而发生用于改变偏移估计单元304的滤波器特性的噪声计算所用的抖动角度信号的相移。因此，优选使用其它频带中的相移的
影响尽可能小的陷波滤波器。此外，可以根据摄像状况而改变陷波滤波器的目标频率和衰减因子。图3的虚线所示的图形g2表示在通过陷波滤波器减少0.1hz～1hz的频带中的手抖动的频率分量时手抖动的频率的分布特性。
[0060]
将参考图4～6的流程图来说明镜头控制单元15中的计算驱动目标值的处理。按恒定周期重复地执行s2及其后续处理。在s1中，镜头控制单元15判断按预定周期的操作的开始。在判断出该操作的开始时，处理进入s2。在步骤s2中，抖动检测单元17检测抖动。抖动检测单元17包括角速度传感器等，并且输出用于图像模糊校正的抖动检测信号。
[0061]
在s3中，镜头控制单元15判断当前时间点是否是与图像处理单元7中的运动矢量计算单元7a所计算出的运动矢量的获取周期相对应的时间点。在判断为当前时间点对应于获取周期的情况下，处理进入s4，并且在判断为当前时间点不是获取周期的情况下，处理进入s5。在步骤s4中，获取运动矢量。运动矢量计算单元7a分析所输出的视频信号的帧图像之间的模糊以检测运动矢量。因此，s3中的运动矢量的获取周期变为与帧频(例如，30hz或60hz)相对应的周期。另一方面，在当前时间点不是与图像处理单元7针对各帧频所执行的运动矢量的获取周期相对应的时间点的情况下，处理进入s5并且保持在与先前周期相对应的时间点处获取到的运动矢量。
[0062]
在s6中，镜头控制单元15判断当前时间点是否是与偏移估计处理的执行周期相对应的时间点。偏移估计处理的执行周期可以与s2中的抖动检测信号的获取周期匹配，或者可以与s3中的运动矢量的获取周期匹配。可选地，尽管可以按其它周期执行偏移估计处理，但按长周期执行偏移估计处理以遵循估计极低频率的偏移分量的目的，使得可以减少估计处理的计算负荷。在s6中，在判断为当前时间点是与偏移估计处理的执行周期相对应的时间点的情况下，处理进入s7。另一方面，在判断为当前时间点不是与偏移估计处理的执行周期相对应的时间点的情况下，处理进入图5的s33。在s33中，保持在与偏移估计处理的先前执行周期相对应的时间点处估计的偏移估计值，然后处理进入s34。
[0063]
在s7中，镜头控制单元15设置带限滤波器303的频率特性以去除特定频率的抖动分量或使该抖动分量衰减。基于根据摄像状态和摄像条件的抖动的频谱数据来进行该设置。在s8中，在s7中设置了频率特性的带限滤波器303从来自抖动检测单元17的抖动检测信号中去除特定频带的抖动分量。将带限滤波器303的输出输入至加法器305。
[0064]
在步骤s9中，加法器305从去除了特定频率分量的抖动信号中减去偏移估计单元304在先前执行估计处理时估计的并在s33中存储的偏移估计值(存储值)。
[0065]
然后，在s10中，积分滤波器306对加法器305所计算出的抖动信号进行积分以计算抖动角度信号。积分滤波器306的处理是简单的数值积分处理，但也可以是使用低通滤波器的伪积分处理。伪积分处理是不对低于特定截止频率的低频分量进行积分的积分处理。在加法器305从抖动信号中减去的偏移估计值大大偏离真的偏移值的情况下，积分之后的抖动角度信号大幅漂移。因此，系统噪声项或观测噪声项的计算值在计算中有可能溢出。因此，优选进行伪积分处理以减少漂移量。此外，如以下将说明的，估计偏移估计单元304的偏移估计值以随时间的经过而接近真的偏移值。因此，进行用于随着偏移估计值的估计的进展而将伪积分的截止频率向低频侧改变的处理。
[0066]
在s11中，低频截止滤波器(高通滤波器)313从抖动角度信号中去除低频分量并且提取高频分量。在s12中，求幂计算单元314对抖动角度信号的高频分量求平方。在步骤s13
中，增益单元315将通过使求幂计算单元314的输出乘以预定增益所获得的信号设置为评价值，并且在步骤s14中将该评价值保持为观测噪声项。
[0067]
在图5的s15中，加法器307从积分滤波器306所计算出的角度抖动信号中减去低频截止滤波器313所计算出的抖动角度信号的高频分量，以计算抖动角度信号的低频分量。在步骤s16中，求幂计算单元309对抖动角度信号的低频分量求平方。在s17中，增益单元310将通过在求幂计算单元309的输出中乘以预定增益所获得的信号设置为评价值，并且在s18中将该评价值保持为系统噪声项。
[0068]
图6中的s19～s29的处理与图4中的s4至图5中的s18的处理并行地执行。在s19中，镜头控制单元15判断当前时间点是否是与执行照相机状态噪声计算处理的周期相对应的时间点。照相机状态噪声计算的周期可以是与偏移估计周期相同的周期，或者可以是与偏移估计周期不同的周期。在s19中判断为当前时间点不是与照相机状态噪声计算周期相对应的时间点的情况下，处理进入s28，并且在判断为当前时间点是与照相机状态噪声计算周期相对应的时间点的情况下，处理进入s20。
[0069]
在s20中，三角架状态检测单元317基于s2中所获取到的抖动的角速度和s4中所获取到的运动矢量来判断摄像装置1的抖动小的状态是否持续了阈值时间以上，以检测三脚架状态。在s21中，在照相机状态噪声计算单元318判断为检测到诸如摄像装置安装至三脚架的三脚架检测状态等的静止状态的情况下，照相机状态噪声计算单元318进入s22的处理，并且在照相机状态噪声计算单元318判断为没有检测到静止状态的情况下，照相机状态噪声计算单元318进入s23。
[0070]
在s22中，照相机状态噪声计算单元318对三角架检测状态噪声设置预定值。此外，在s23中，照相机状态噪声计算单元318将直到先前计算周期为止所设置的三脚架检测状态噪声的值清零。在s24中，p/t检测单元319基于s2中所获取到的抖动的角速度和s4中所获取到的运动矢量来检测平摇操作或俯仰操作。在s25中，在判断为检测到平摇状态等的情况下，照相机状态噪声计算单元318进入s26的处理，并且在判断为没有检测到平摇状态等的情况下，照相机状态噪声计算单元318进入s27的处理。
[0071]
在s26中，照相机状态噪声计算单元318在平摇等的检测状态噪声中设置预定值。在s27中，照相机状态噪声计算单元318将直到先前计算周期为止所示设置的平摇等的检测状态噪声的值清零。
[0072]
在s28中，镜头控制单元15存储在先前的照相机状态噪声计算周期中计算出的三脚架检测状态噪声的值。在s29中，镜头控制单元15存储在先前的照相机状态噪声计算周期中计算出的p/t检测状态噪声的值，然后进入图5的s30。在s30中，加法器316将观测噪声项和平摇等的检测状态噪声相加。在s31中，加法器311将系统噪声项和三脚架检测状态噪声相加。在s32中，偏移估计单元304基于s30和s31中所计算出的信息来进行偏移估计计算。
[0073]
在s33中，镜头控制单元15保持在s32中偏移估计单元304所计算出的偏移估计值。在s34中，加法器301从抖动的角速度中减去偏移估计值。在s35中，积分滤波器302进行积分处理以生成抖动角度信号，由此生成图像模糊校正控制的目标值。与积分滤波器306相同，积分滤波器302所进行的滤波处理可以是随着偏移估计值的估计的进展而将伪积分的截止频率向低频侧改变的伪积分处理。在s36中，镜头控制单元15结束按当前计算周期计算目标值的处理。
[0074]
接着，将使用等式来说明在s32中偏移估计单元304所进行的用于估计抖动检测单元17的输出的偏移的处理。如果偏移估计单元304由线性卡尔曼滤波器配置成，则可以通过以下的等式(1)～(7)来表示线性卡尔曼滤波器。
[0075]
x
t
＝ax
t-1
bu
t
∈
t
ꢀꢀꢀꢀꢀꢀ
···
(1)
[0076]zt
＝cx
t
δ
t
ꢀꢀꢀꢀꢀ
···
(2)
[0077]
等式(1)表示状态空间表示法中的操作模型，并且等式(2)表示观测模型。各个符号的含义如下。
[0078]
a：操作模型中的系统矩阵
[0079]
b：输入矩阵
[0080]
c：观测模型中的输出矩阵
[0081]
εt：过程噪声
[0082]
δt：观测噪声
[0083]
t：离散时间。
[0084][0085][0086]
等式(3)表示预测步骤中的先验估计值，并且等式(4)表示先验误差协方差。此外，σ
x
表示操作模型的噪声的方差。
[0087][0088][0089][0090]
等式(5)表示滤波步骤中的卡尔曼增益的计算式，并且上标t表示矩阵转置。此外，等式(6)表示卡尔曼滤波器的后验估计值，并且等式(7)表示后验误差协方差。此外，σz表示观测模型的噪声的方差。
[0091]
在第一实施例中，将偏移值设置为x
t
并且将所观测到的抖动量设置为z
t
，以估计抖动检测单元17的偏移分量。可以通过以下的一阶线性模型等式来表示偏移分量的模型，其中在等式(1)中不存在输入项u
t
并且在等式(1)和(2)中a＝c＝1。
[0092]
x
t
＝x
t-1
∈
t
ꢀꢀꢀꢀꢀꢀꢀ
···
(8)
[0093]zt
＝x
t
δ
t
ꢀꢀꢀꢀꢀꢀ
···
(9)
[0094]
等式(4)中的操作模型的噪声的方差σ
x
由系统噪声σ
x
和三脚架检测状态噪声σ
t
的总和表示。此外，等式(5)中的观测模型的噪声的方差σz由观测噪声σz和p/t(平摇/俯仰)检测状态噪声σ
p
的总和表示。
[0095]
此外，先验偏移估计值由表示，并且时刻t处的误差协方差估计值由表示。
[0096]
将时刻t处的卡尔曼增益表示为k
t
。将观测噪声表示为σz，将p/t检测状态噪声表示为σ
p
，将抖动检测单元17所观测到的抖动量表示为z
t
，并且可以通过以下等式来配置卡尔曼滤波器。
[0097][0098][0099][0100][0101][0102]
使用包括等式(10)～(14)的计算式来配置偏移估计单元304。
[0103]
是估计计算的更新周期的时刻t-1处的偏移估计值。根据该偏移估计值来获得时刻t处的先验偏移估计值
[0104]
使用加法器311所输出的系统噪声σ
x
、三脚架检测状态噪声σ
t
和时刻t-1处的误差协方差估计值计算时刻t处的先验误差协方差估计值
[0105]
基于先验误差协方差估计值、观测噪声σz和p/t检测状态噪声σ
p
来计算卡尔曼增益k
t
。使用等式(13)，利用通过将所观测到的抖动量z
t
和先验偏移估计值之间的误差乘以卡尔曼增益k
t
所获得的值来校正先验偏移估计值，并且计算出偏移估计值
[0106]
此外，使用等式(14)来校正先验误差协方差估计值并且计算出误差协方差估计值使用这些计算来按各操作周期重复先验估计更新和校正，由此计算偏移估计值。
[0107]
将使用等式(11)、(12)和(13)以及图7a～7d来说明如上所述配置成的卡尔曼滤波器中的、由于各噪声的大小的变化引起的偏移估计操作的变化。各个噪声是系统噪声σ
x
、观测噪声σz、三脚架检测状态噪声σ
t
和p/t检测状态噪声σ
p
。图7a～7d是示出抖动的大小和根据摄像状态的各噪声的大小之间的关系的图。
[0108]
图7a是示出横轴上的抖动角度信号的低频分量和纵轴上的系统噪声之间的关系的图。随着在积分滤波器306所计算出的抖动角度信号中低频分量增加，系统噪声σ
x
增大。这意味着在抖动检测单元17的输出中存在偏移误差，并且加法器305所减去的偏移估计值不是真的偏移值。也就是说，这表示由于仍存在相对于真的偏移值的误差、因此积分滤波器306的积分之后的噪声计算所用的抖动角度信号的低频分量的漂移大。这表示偏移估计单元304处于偏移估计单元304不能正确地估计偏移的状态。
[0109]
图7c是示出横轴上的三脚架检测时的抖动的振幅和纵轴上的三脚架检测状态噪声之间的关系的图。随着三脚架状态检测单元317中的三脚架检测时的抖动变小，三脚架检测状态噪声增大。这表示摄像装置1处于摄像装置1放置在三脚架上的静止状态。
[0110]
在等式(11)中，由于系统噪声和三脚架检测状态噪声，先验误差协方差估计值的值变大。考虑到观测噪声和平摇等的检测状态噪声不改变时的状态，使用等式(12)所计算出的卡尔曼增益k
t
随着该计算式的分子与分母的值的比变大而接近1。相反，使用等式(12)所计算出的卡尔曼增益k
t
随着系统噪声和三脚架检测状态噪声变小而接近零。
[0111]
通过以上，使用等式(13)所计算出的偏移估计值被校正为随着卡尔曼增益k
t
接近1而接近所观测到的抖动量z
t
，并且被更新为随着卡尔曼增益k
t
接近0而维持先验偏移估计值
[0112]
通过这样的操作，在抖动检测单元17的输出的偏移误差大的情况下或者在偏移估计值相对于真的偏移值存在误差的情况下，在s32的偏移估计计算中卡尔曼增益接近1。这用于更新偏移估计值，使得使用等式(13)来校正所观测到的抖动量和估计值之间的误差。随着低频振动量(系统噪声σ
x
)变大，偏移估计单元304的特性改变，使得偏移估计的更新速度变高。
[0113]
此外，随着三脚架检测状态下的抖动的振幅变小，等式(11)中的操作模型的噪声方差进一步变大并且卡尔曼增益接近1。这使得偏移估计值接近所观测到的抖动量。这是因为，在三脚架检测状态下抖动小的情况下，由于拍摄者的实际抖动引起的抖动的频率分量未包括在所观测到的抖动量中，因此所观测到的抖动量的低频分量主要包括偏移分量并且偏移估计的精度高。因此，积极地进行更新处理，使得偏移的估计值接近所观测到的抖动量。
[0114]
图7b是示出横轴上的抖动角度信号的高频分量和纵轴上的观测噪声之间的关系的图。随着积分滤波器306所计算出的抖动角度信号中的高频分量变大，观测噪声σz增大。这表示抖动检测单元17所检测到的抖动量中的包含手抖动的频带的高频分量大。也就是说，这表示在诸如步行期间的摄像等的存在大抖动的摄像条件下保持摄像装置1。
[0115]
图7d是示出横轴上的平摇等的检测时的抖动的振幅和纵轴上的p/t检测状态噪声之间的关系的图。随着p/t检测单元319中的平摇检测时的抖动的振幅变大，p/t检测状态噪声增大。这表示拍摄者进行平摇操作或俯仰操作以有意地改变构图并且摄像装置1的抖动大。由于抖动大，因此关于平摇操作等的判断可以被关于观测噪声的判断替代。然而，针对诸如平摇操作等的特定方向上的预定时间的运动，与仅简单地检测抖动的大小的情况相比，第一实施例具有运动变化的检测精度高的优点。
[0116]
在系统噪声和三脚架检测状态噪声不改变的状态下，等式(11)中的先验估计误差协方差值不改变。在观测噪声和p/t检测状态噪声增大时，使用等式(12)所计算出的卡尔曼增益k
t
由于该计算式的分母值与分子的比变高因而接近0。相反，随着观测噪声和p/t检测状态噪声变小，使用等式(12)所计算出的卡尔曼增益k
t
接近1。通过以上，使用等式(13)所计算出的偏移估计值被校正为随着卡尔曼增益k
t
接近1而接近所观测到的抖动量z
t
。随着卡尔曼增益k
t
接近0，更新了先验偏移估计值以维持
[0117]
通过这样的操作，随着抖动检测单元17所检测到的抖动量变大，由于s23中的偏移估计计算而使得卡尔曼增益接近0。这用于延迟偏移估计值的更新(或者不更新偏移估计值)，使得不使用等式(13)校正所观测到的抖动量和估计值之间的误差。随着高频抖动量(观测噪声σz)变大，偏移估计单元304的特性改变，使得偏移估计的更新速度变低。
[0118]
同样，在检测平摇操作等的情况下，等式(12)中的观测模型的噪声的方差进一步变大并且卡尔曼增益接近0，这用于延迟偏移估计的更新。
[0119]
偏移估计单元304如上所述地操作，由此即使在由于拍摄者的运动而导致在抖动
检测单元17所检测到的抖动量中包含大的抖动的摄像条件下、也避免误提取出由于拍摄者的运动所引起的抖动分量作为偏移分量。也就是说，无论摄像条件或摄像状态如何，都可以正确地进行偏移估计。另外，进行在如三脚架检测状态那样的摄像装置的静止状态下提前偏移估计值的更新的处理。进行如下的处理：在例如紧接在向摄像装置1供给电力之后、偏移估计值和真的偏移值之间的误差大的状态下，提前偏移估计的更新。可以通过在提高直到偏移估计完成为止的速度的同时避免不正确的估计，来提高图像模糊校正性能。
[0120]
将参考图8a～图10b示出各摄像状况下的偏移估计值的时间序列变化的示例。图8a和8b示出摄像装置1的三脚架检测状态(即，静止状态)下的抖动角速度、偏移去除之后的角速度和偏移估计值的时间变化。横轴是时间轴，并且以毫秒(msec)为单位表示。纵轴表示来自抖动检测单元17的抖动的角速度信号、偏移估计值和减去偏移估计值之后的抖动的角速度信号。
[0121]
图8a示出抖动检测单元17的偏移分量被具有固定截止频率的低通滤波器提取并被去除的波形示例作为比较例。图8b示出第一实施例中的波形的示例。在比较例中，使用具有极低的截止频率(例如，0.01hz)的低通滤波器来估计偏移分量，以提高图像模糊校正的低频性能。因此，如图8a所示，需要约220msec的时间来去除偏移分量，并且图像模糊校正性能有可能下降，直到可以正确地去除偏移分量为止。另一方面，在第一实施例中，根据通过三脚架状态检测而判断为摄像装置处于静止状态的判断结果、或者根据判断为偏移估计值和真值之间的误差大的判断结果，来提前偏移估计值的更新。可以看出，如图8b所示正确地去除偏移分量所需的时间约为50msec，并且与比较例中相比变短。
[0122]
图9a和9b示出在诸如步行期间的摄像等的存在大抖动的摄像条件下的波形的示例。以与图8a和8b相同的方式设置横轴和纵轴。图9a示出比较例中的波形示例。为了防止在抖动大的状态下撞击抖动校正构件(校正透镜等)的控制端(以下称为端接触)，将去除低频分量的低通滤波器的截止频率设置得高于静止状态下的截止频率。因此，由于低通滤波器引起的偏移估计值变为在时间序列中在振幅方向上大幅波动的偏移估计值，该偏移估计值不仅包括要去除的具有恒定值的偏移分量，而且还包括由于摄像时的抖动引起的频率分量。结果，由于从抖动检测值中去除了除作为本质上要经过图像模糊校正的抖动分量的偏移分量以外的频率分量，因此图像模糊校正性能下降。
[0123]
图9b示出第一实施例中的波形的示例。在判断抖动的高频分量的大小并且检测到大振动的发生时，进行用于延迟偏移估计的更新的处理。偏移估计单元304可以仅估计偏移分量的频率。结果，偏移去除之后的角速度可以在不会使摄像时发生的抖动频率分量衰减的情况下仅去除偏移分量，因此图像模糊校正性能不会下降。
[0124]
图10a和10b示出拍摄者通过平摇操作改变构图时的波形的示例。以与图8a和8b相同的方式设置横轴和纵轴。图10a示出比较例中的波形示例。所假定的拍摄者的平摇操作是如下的操作：摄像装置在该图的时间轴上在70msec附近沿预定方向移动并且在120msec附近停止。尽管在比较例中可以在静止状态下良好地进行图像模糊校正，但与平摇操作的开始同时误提取了平摇期间的角速度的变化作为偏移分量。在平摇操作停止之后恢复为正确的偏移分量需要时间。因此，计算出偏移去除之后的角速度值作为在平摇操作停止之后在与平摇方向相反的方向上的抖动角速度的变化。该反向抖动在拍摄图像中作为所谓的回摆运动而出现。
[0125]
图10b示出第一实施例中的波形的示例。可以通过用于与平摇操作的开始同时对由于平摇操作引起的偏移估计的更新进行延迟的处理，来防止平摇操作期间的偏移分量的误估计。在平摇操作期间，进行用于停止抖动校正、使抖动校正构件返回到基准位置(中央位置等)、并且紧接在平摇操作结束之后重新开始抖动校正的处理，以防止抖动校正构件(校正透镜等)的端接触。在第一实施例中，在平摇操作期间停止偏移估计值的更新，并且从平摇操作的结束时间点起重新开始偏移更新。因此，由于紧接在平摇操作结束之后的偏移去除之后的角速度信号中没有发生反向抖动，因此可以防止由于反向抖动引起的回摆。
[0126]
在第一实施例中，将摄像装置的抖动信号分离成不同频带中的多个抖动量的分量，判断多个频率分量的大小，并且基于与判断摄像状况的结果有关的信息来控制偏移估计的更新速度。进行控制，以随着高频抖动量的分量变大而将特性改变为用于延迟偏移估计值的更新的特性，或者随着低频抖动量的分量变大而将特性改变为用于提前偏移估计值的更新的特性。因此，无论摄像状态如何，都可以正确地估计偏移分量。根据第一实施例，即使在由于平摇等而发生大的抖动的情况下，也可以在宽的频带中实现稳定的图像模糊校正。
[0127]
第二实施例
[0128]
接着，将说明第二实施例。在第二实施例中，将仅说明与第一实施例的结构和处理单元有所不同的结构和处理单元，并且将省略对重复部分的说明。图11是示出根据第二实施例的与镜头控制单元15的图像模糊校正控制有关的结构的框图。在第一实施例中，说明了通过使用带限滤波器303从来自抖动检测单元17的抖动量中去除由于手抖动而产生的主要频率分量来提高偏移估计的精度的方法。第二实施例与第一实施例的不同之处在于以下几点。
[0129]
·
不存在带限滤波器303。
[0130]
·
从输入至偏移估计单元的抖动量中减去运动矢量信息和校正透镜单元19的检测位置的微分值。
[0131]
·
设置有运动矢量可靠性判断单元404。
[0132]
透镜位置检测单元20所检测到的位置信息由微分器403进行微分，并且将透镜速度信息输出至加法器402。此外，将运动矢量计算单元7a所计算出的运动矢量信息输入至加法器402。加法器402将透镜速度信息和运动矢量信息的相加结果输出至加法器401。加法器401从抖动检测单元17的抖动检测信号中减去与加法器402所输出的透镜速度信息和运动矢量信息相对应的信号，并且将相减的结果输出至偏移估计单元304和加法器305。
[0133]
运动矢量可靠性判断单元(以下简称为可靠性判断单元)404判断运动矢量的可靠性。该判断基于所计算出的运动矢量、以下要说明的图像处理信息、以及照相机侧操纵单元9和镜头侧操纵单元16所设置的摄像用的设置信息来进行。可靠性判断单元404根据与所判断出的可靠性有关的信息来将增益单元310和增益单元315的各个增益值设置为预定值。也就是说，增益单元310和增益单元315这两者都是可变增益单元，并且分别确定偏移估计单元304中的偏移估计所使用的系统噪声和观测噪声的大小。
[0134]
将参考图12的流程图来说明摄像装置中的目标值计算处理。将仅说明与图4的部分有所不同的部分，并且将省略对图5和图6的处理的说明。在s4之后的s37中，透镜位置检测单元20获取校正透镜单元19的检测位置。由于透镜速度信息被添加到运动矢量信息并被
使用，因此镜头控制单元15将获取周期设置成等于或大于在s3中判断出的运动矢量的获取周期。在s38中，可靠性判断单元404基于所计算出的运动矢量、图像处理信息以及照相机侧操纵单元9和镜头侧操纵单元16所设置的摄像所用的设置信息来判断运动矢量的可靠性。在s39中，可靠性判断单元404根据运动矢量的可靠性信息来将增益单元310和增益单元315的增益值设置为预定值。
[0135]
在s6中，镜头控制单元15判断当前时间点是否是与偏移估计处理的执行周期相对应的时间点。如果镜头控制单元15判断为当前时间点是与偏移估计处理的执行周期相对应的时间点，则镜头控制单元15进入s40。在s40中，微分器403计算透镜位置检测单元20所获取到的校正透镜单元19的检测位置的微分值。按预先设置的预定离散定时执行偏移估计处理。因此，在s40中的微分计算中，计算在一个周期之前的时间点处获取到的校正透镜位置与在当前周期的时间点处获取到的校正透镜位置之间的差。计算校正透镜单元19的位置之间的差的结果表示通过图像模糊校正所驱动的校正透镜单元19的驱动速度(校正透镜速度)。
[0136]
如果图像模糊校正单元18正在进行图像模糊校正操作，则在s41中，加法器402将所计算出的运动矢量和作为校正透镜单元19的位置微分值的校正透镜速度相加。在该处理中，通过对通过图像模糊校正进行校正后的抖动速度和通过运动矢量所检测到的剩余抖动速度进行求和来计算摄像装置1的抖动速度。此外，在不进行图像模糊校正的情况下，校正透镜速度变为零，因此，即使在不必加上校正透镜速度的情况下，运动矢量信息也直接表示摄像装置1的抖动的检测结果。
[0137]
这里，由于运动矢量是通过检测摄像面上的图像的移动量所获得的信息，因此严格来说，运动矢量除包括摄像装置1的角度抖动外，还包括移位抖动等的影响。然而，在移位抖动的影响小的摄像条件下，在摄像面上所观察到的移动量中，角度抖动的影响占主导。在这种条件下，对通过图像模糊校正进行校正后的抖动速度和通过运动矢量所检测到的剩余抖动速度进行求和并用作摄像装置1的抖动速度。通过使用利用运动矢量所计算出的摄像装置1的抖动速度，可以以比抖动检测单元17小的偏移误差正确地检测摄像装置1的抖动本身。在s42中，加法器401从抖动检测单元17的抖动检测信号中减去摄像装置1的抖动速度(加法器402的输出信号)。因此，可以正确地分离出抖动检测单元17的偏移分量。
[0138]
在第一实施例中，采用了通过针对摄像装置1的抖动使用陷波滤波器使特定频率分量衰减来降低影响的方法。在第二实施例中，通过使用运动矢量正确地分离出抖动检测单元17的偏移分量，可以进一步提高偏移分量的估计精度。然而，在运动矢量的计算中，由于将所获取到的图像的一帧或多帧之前的图像与在当前时间点所获取到的图像进行比较以计算图像移位，因此在不能获取图像信息的情况下，不能计算运动矢量。根据摄像条件，拍摄图像中的模糊量可能大，并且所计算出的运动矢量可能不正确。在这种情况下，使用第一实施例的方法。应当注意，对于用于计算可靠性的方法，已知有各种方法，并且在第二实施例中可以采用任何方法。
[0139]
在根据摄像条件不能获得运动矢量信息的情况、或者如以下所述的根据摄像条件不能正确地获取到运动矢量信息的情况下，可靠性判断单元404判断运动矢量信息的可靠性。根据可靠性的判断结果，进行用于改变偏移估计所使用的系统噪声和观测噪声的大小的处理。将参考图13a和13b来说明运动矢量的可靠性与偏移估计所使用的系统噪声和观测
噪声的大小之间的关系。
[0140]
图13a是示出横轴上的增益单元310所计算出的噪声计算所用的抖动角度信号的低频分量的大小与纵轴上的系统噪声之间的关系的图。图13b是示出横轴上的增益单元315所计算出的噪声计算所用的抖动角度信号的高频分量的大小与纵轴上的观测噪声之间的关系的图。实线所示的图形表示第一实施例中的系统噪声和观测噪声的大小。虚线所示的图形表示在判断为运动矢量的可靠性高的情况下的系统噪声和观测噪声的大小。点划线所示的图形表示在判断为运动矢量的可靠性低的情况下的系统噪声和观测噪声的大小。
[0141]
在运动矢量的可靠性高的情况下，与可靠性低的情况相比，针对相同的噪声计算所用的抖动角度信号值，系统噪声被设置得较大并且观测噪声被设置得较小。在可靠性高的情况下，可以正确地检测加法器401所计算出的摄像装置1的抖动。通过从抖动检测单元17所检测到的包含摄像操作时的抖动的抖动量中减去使用运动矢量所计算出的摄像装置1的抖动，可以正确地分离出抖动检测单元17的偏移分量。因此，可以针对在等式(13)中输入至卡尔曼滤波器的所观测到的抖动量z
t
来提取抖动检测单元17的偏移分量的频率分量。因此，通过增大系统噪声或减小观测噪声，进行校正，使得卡尔曼增益接近1并且偏移估计值接近所观测到的的抖动量。
[0142]
另一方面，在运动矢量的可靠性低的情况下，与可靠性高的情况相比，针对相同的噪声计算所用的抖动角度信号值，系统噪声被设置得较小并且观测噪声被设置得较大。在可靠性低的情况下，在加法器401所计算出的摄像装置1的抖动中误差大，并且不能进行正确的检测。因此，在从抖动检测单元17所检测到的包含摄像操作时的抖动的抖动量中减去使用运动矢量所计算出的摄像装置1的抖动的情况下，获得了叠加有除抖动检测单元17的偏移分量以外的运动矢量检测误差的抖动信号。执行以下的处理：在等式(13)中，减小系统噪声或增大观测噪声，以使卡尔曼增益接近零并且延迟偏移估计值的更新。可选地，可以通过不进行更新的限制来提高偏移估计值的更新速度和精度。
[0143]
接着，将说明可靠性判定单元404中的运动矢量的可靠性判定所用条件。
[0144]
·
与移动被摄体相对应的移动物体区域相对于整个拍摄图像占据预定值以上的情况
[0145]
第二实施例的目的是使用运动矢量来检测摄像装置1的抖动。然而，在移动物体区域占据整个拍摄图像的情况下，将移动被摄体的移动速度检测为运动矢量。因此，随着移动物体区域相对于整个拍摄图像的占据比例变高，可靠性判断单元404将可靠性设置得更低。
[0146]
·
拍摄者使用照相机侧操纵单元9所设置的iso感光度设置值高于预定值的情况
[0147]
在iso感光度设置值高的情况下，在摄像单元的电气信号被放大时，噪声分量也被放大。因此，随着iso感光度变高，在从图像检测到的运动矢量中混入了噪声，并且运动矢量的可靠性下降。因此，随着摄像单元的摄像感光度的设置值变高，可靠性判断单元404将可靠性设置得低。
[0148]
·
被摄体的对比度值低于预定值的情况
[0149]
在计算运动矢量时在块匹配处理中被摄体的对比度值小的情况下，则难以判断图像的相似点，并且在匹配结果中发生错误。因此，随着被摄体的对比度值变小，可靠性判断单元404将可靠性设置得更低。
[0150]
·
具有重复图案的被摄体区域相对于整个拍摄图像占据预定值以上的情况
[0151]
在周期性图案(诸如条纹图案等的重复图案)存在于拍摄图像中并且占据摄像面上的整个图像的情况下，可以通过块匹配处理来检测错误的运动矢量。因此，随着周期性图案在拍摄图像的整个区域中的占据比例变高，可靠性判断单元404将可靠性设置得更低。
[0152]
·
从摄像装置起直到第一被摄体为止的距离和从摄像装置起直到在不同于第一被摄体的距离处的第二被摄体为止的距离之间的差等于或大于预定值、并且这两个被摄体的被摄体区域相对于整个拍摄图像占据预定值以上的情况
[0153]
摄像面上的图像的运动量和被摄体的实际移动速度之间的关系根据从摄像装置起直到被摄体为止的距离而不同。因此，在离摄像装置的距离大的被摄体和离摄像装置的距离小的被摄体这两者都存在于运动矢量的检测所使用的图像中、并且被摄体区域相对于整个拍摄图像占据预定值以上的情况下，在运动矢量之间可能发生误差。因此，在从摄像装置起直到第一被摄体为止的距离和从摄像装置起直到第二被摄体为止的距离之间的差等于或大于预定值的情况下，随着被摄体区域在整个拍摄图像中的占据比例变高，可靠性判断单元404将可靠性设置得更低。
[0154]
·
卷帘快门失真的量大于预定值的情况
[0155]
在摄像单元包括互补金属氧化物半导体(cmos)图像传感器的情况下，如果对高速移动的被摄体进行摄像，则由于拍摄时间差而在图像之间产生差异，并且在将高速移动的被摄体摄像为运动图像时，发生失真。在使用失真图像检测到了运动矢量的情况下，在运动矢量的检测中可能发生误差。因此，随着拍摄图像的卷帘快门失真的量变大，可靠性判断单元404将可靠性设置得更低。
[0156]
·
被摄体的纹理的相关值的最大值低的情况
[0157]
在检测运动矢量时匹配的基准区域和搜索区域之间的相关值的最大值低的情况下，基准区域和搜索区域之间的相似度被视为低并且可靠性被判断为低。随着被摄体的纹理的相关值的最大值变小，可靠性判断单元404将可靠性设置为更低。
[0158]
·
被摄体的纹理的相关值的最大值和最小值之间的差与该相关值的最大值和平均值之间的差的比率小的情况
[0159]
相关值的最大值和最小值之间的差与最大值和平均值之间的差的比率表示相关值的峰的陡度。在该比率小的情况下，则基准区域和搜索区域之间的相似度被视为低并且可靠性被判断为低。随着被摄体的纹理的相关值的最大值和最小值之间的差与该相关值的最大值和平均值之间的差的比率变小，可靠性判断单元404将可靠性设置得低。应当注意，计算相关值的方法包括使用绝对差值和(sum of absolute difference)的方法，但可以使用任何计算方法。
[0160]
图14、15和16示出抖动的角速度和偏移估计单元304的偏移估计值的时间序列变化的示例。所假定的各波形的摄像状况分别对应于图8a和8b、图9a和9b以及图10a和10b。在图14中，在运动矢量可靠性高的情况下，如图14的下部所示，预先从偏移估计所使用的抖动角速度的值中去除由于摄像引起的抖动频率分量。在第二实施例中，与第一实施例相比，由于系统噪声可被设置得大并且观测噪声可被设置得小，因此可以提前偏移估计值的更新。在图15中也可以获得相同的效果。
[0161]
在图16中，使用运动矢量来检测平摇操作期间的角速度的变化，并且将该角速度的变化从偏移估计所使用的抖动角速度中去除。因此，与第一实施例相比，可以进一步提高
偏移估计的精度。
[0162]
在第二实施例中，可以使用运动矢量来更正确地分离出摄像装置的抖动分量和抖动检测单元的输出的偏移分量，并且可以提高偏移估计的更新速度和估计精度。
[0163]
在本实施例中，说明了通过摄像光学系统的校正透镜的移动控制来进行图像模糊校正的装置。本发明不限于此，并且可以应用于通过图像传感器的移动控制来进行图像模糊校正的装置、或者结合校正透镜的移动控制和图像传感器的移动控制来进行图像模糊校正的装置。
[0164]
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
[0165]
本技术要求2018年1月18日提交的日本专利申请2018-6640的优先权，在此通过引用包含其全部内容。