图像校正方法、装置、电子设备、存储介质与流程

1.本发明涉及图像处理技术领域，尤其是涉及一种图像校正方法、 装置、电子设备、存储介质。


背景技术：

2.现有通用的ois(光学防抖)、dis(数码防抖)、eis(电子防 抖)防抖方法可以减弱镜头焦距低倍率下的防抖问题。但是dis与 eis需要进行图像校正，例如在图像传感器横向高速转动时，画面需 大量裁剪，这会减小视场，ois的方案成本高昂。另外，超高镜头焦 距倍率下如摄像机端出现高频振动时，画面出现横向抖动和纵向压缩 问题，具体如图1所示，图1为超高镜头焦距倍率下如摄像机端出现 高频振动时，画面出现横向抖动问题的示意图。现有的通用的防抖方 法均无法解决该问题。


技术实现要素：

3.本发明提供一种图像校正方法、装置、电子设备、存储介质。该 方法能够减弱图像横向抖动以及纵向压缩问题，同时实现横向快速运 动倾斜偏移校准。
4.为解决上述技术问题，本发明提供的第一个技术方案为：提供一 种图像校正方法，包括：调高图像传感器的行运动频率，以使得所述 图像传感器的行运动频率大于预设行运动频率；利用所述图像传感器 进行图像拍摄，以得到第一图像。
5.其中，所述行运动频率小于10us/行。
6.其中，所述方法还包括：获取所述第一图像对应的陀螺仪参数； 利用所述陀螺仪参数得到图像传感器的姿态；基于所述图像传感器的 姿态以及所述陀螺仪参数计算得到校正参数；利用所述校正参数对所 述第一图像进行校正，以得到第二图像。
7.其中，所述利用所述陀螺仪参数得到图像传感器的姿态的步骤， 包括：获取所述陀螺仪的旋转矩阵；基于所述旋转矩阵以及所述陀螺 仪参数得到所述图像传感器的姿态。
8.其中，所述方法还包括：利用卡尔曼滤波算法对所述旋转矩阵进 行滤波。
9.其中，所述基于所述图像传感器的姿态以及所述陀螺仪参数计算 得到校正参数的步骤，包括：利用所述陀螺仪的旋转矩阵计算得到三 维旋转矩阵；利用所述三维旋转矩阵以及所述图像传感器的姿态计算 得到所述陀螺仪的参数矩阵；利用所述第一图像的像素点坐标、所述 陀螺仪的参数矩阵以及世界坐标计算得到所述图像传感器的内参，所 述校正参数为所述图像传感器的内参。
10.其中，所述方法包括：利用所述陀螺仪第一方向的旋转矩阵、第 二方向的旋转矩阵以及第三方向的旋转矩阵计算得到所述三维旋转 矩阵。
11.为解决上述技术问题，本发明提供的第二个技术方案为：提供一 种图像校正方法，包括：配置图像传感器的行运动频率为预设运动频 率；利用所述图像传感器进行图像拍摄，以得到第一图像；获取所述 第一图像对应的陀螺仪参数；利用所述陀螺仪参数得到所述图像传感 器的姿态；基于所述图像传感器的姿态以及所述陀螺仪参数计算得到 校正
参数；利用所述校正参数对所述第一图像进行校正，以得到第二 图像。
12.为解决上述技术问题，本发明提供的第三个技术方案为：提供一 种图像校正装置，包括：配置模块，调高图像传感器的行运动频率， 以使得所述图像传感器的行运动频率大于预设行运动频率；图像获取 模块，用于利用所述图像传感器进行图像拍摄，以得到第一图像。
13.为解决上述技术问题，本发明提供的第四个技术方案为：提供一 种图像校正装置，包括：配置模块，用于配置图像传感器的行运动频 率为预设运动频率；图像获取模块，用于利用所述图像传感器进行图 像拍摄，以得到第一图像；参数获取模块，用于获取所述第一图像对 应的陀螺仪参数；姿态计算模块，用于利用所述陀螺仪参数得到所述 图像传感器的姿态；计算模块，基于所述图像传感器的姿态以及所述 陀螺仪参数计算得到校正参数；校正模块，利用所述校正参数对所述 第一图像进行校正，以得到第二图像。
14.为解决上述技术问题，本发明提供的第三个技术方案为：提供一 种电子设备，包括：存储器和处理器，其中，存储器存储有程序指令， 处理器从存储器调取程序指令以执行上述任一项的方法。
15.为解决上述技术问题，本发明提供的第四个技术方案为：提供一 种计算机可读存储介质，存储有程序文件，程序文件能够被执行以实 现上述任一项的方法。
16.本发明的有益效果，区别于现有技术的情况，本发明调高图像传 感器的行运动频率，以使得所述图像传感器的行运动频率大于预设行 运动频率，然后利用所述图像传感器进行图像拍摄，以得到第一图像。 通过使得图像传感器运动在行高频运动频率下，进而减弱图像的横向 抖动以及纵向压缩问题，同时实现横向快速运动倾斜偏移校准。
附图说明
17.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例 描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的 附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在 不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图， 其中：
18.图1为图像横向抖动的第一实施例的示意图；
19.图2为本发明图像校正方法的第一实施例的流程示意图；
20.图3为图1所示的图像经过图2所示的方法后得到的图像示意 图；
21.图4为图像横向快速运动的第一实施例的示意图；
22.图5为图4所示的图像经过图2所示的方法后得到的图像示意 图；
23.图6为本发明图像校正方法的第二实施例的流程示意图；
24.图7为本发明图像校正装置的第一实施例的结构示意图；
25.图8为本发明图像校正方法的第三实施例的流程示意图；
26.图9为本发明图像校正装置的第二实施例的结构示意图；
27.图10为本发明电子设备的一实施例的结构示意图；
28.图11为本发明计算机可读存储介质的一实施例的结构示意图。
具体实施方式
29.cmos与ccd传感器是当前被普遍采用的两种图像传感器，两 者都是利用感光二极管进行光电转换，将图像转换为数字数据，两者 的主要差异是数字数据传送的方式不同。卷帘式cmos传感器的工 作原理是采用逐行曝光方式，各行像素曝光存在非同步性，导致同一 帧图像的不同行之间存在时差，当高速运动时，由于cmos传感器 逐行曝光的特性会产生果冻效应，即图像存在不同程度的畸变现象， 需要采取校正措施。
30.果冻效应是一个一直未能很好解决的问题，特别是在高倍率高频 抖动的场景，视频的防抖效果较差。现有通用的ois、dis、eis防 抖方法可以减弱镜头低倍率下的防抖问题，但是在超高倍率下如摄像 机端出现高频振动，画面出现横向抖动和纵向压缩问题，通用的防抖 方法均无法解决该问题。因此有必要提出一种解决上述果冻效应(或 rolling shutter效应)的技术方案，解决摄像机在拍摄视频过程中的抖 动，提升图像传感器画质。
31.本发明提供一种图像校正方法，该方法能够有效的降低图像的横 向抖动和纵向压缩问题。下面将结合本技术实施例中的附图，对本申 请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施 例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中 的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得 的所有其他实施例，都属于本技术保护的范围。
32.请参见图2，为本发明图像校正方法的第一实施例的流程示意图。 具体包括：
33.步骤s11：调高图像传感器的行运动频率，以使得所述图像传感 器的行运动频率大于预设行运动频率；
34.经过研究人员的长期研究发现，图像传感器工作在行高频速率 下，可极大减缓图像传感器行读出时间对高频振动物体的振动记录， 能够有效的解决果冻效应(或rolling shutter效应)，例如横向抖动和 纵向压缩问题，并且大大提高了画质。
35.因此，在本实施例中，在进行拍摄之前，调高图像传感器的行运 动频率，使得图像传感器的行运动频率大于预设运动频率。需要说明 的是，预设运动频率为图像传感器正常进行拍摄时的正常行运动频 率，具体根据图像传感器的需求进行设置。在一实施例中，可以调高 图像传感器的行运动频率，使得图像传感器的行运动频率为图像传感 器能够支持的最大的运动频率。例如在一实施例中，可以调高图像传 感器的行运动频率，使得图像传感器的行运动频率小于10um/行。
36.在一实施例中，可以调高图像传感器的行运动频率，以使得所述 图像传感器的行运动频率大于预设行运动频率，并且配置图像传感器 工作在正常帧率下进行拍摄。
37.图像传感器的行运动频率的计算方法为：
38.row_frequency＝hts/sclk；
39.其中，hts(horizontal timing length)为横向时序长度，sclk 指系统时钟，当图像传感器正常工作状态时，行运动频率较低，此时 需要根据调高图像传感器的行运动频率。例如将图像传感器的行运动 频率调至图像传感器能够支持的最大运动频率。在一实施例中，提高 图像传感器的行运动频率的方式包括：降低系统时钟的时间，或者， 还可以增加横向时序长度。
40.调高图像传感器的行运动频率，使得图像传感器工作在行高频速 率下，可极大减缓图像传感器行读出时间对高频振动物体的振动记 录，可通过修改保持图像传感器在行
高频速率模式下的低帧率实现， 不影响曝光时间和低照性能。例如，在可热融合应用方案中，热成像 设备制冷机带有高频振动的制冷设备，可见光设备使用的图像传感器 为rolling shutter(卷帘快门)图像传感器，其逐行曝光的特性记录 高频振动的制冷设备振动，使得图像画面产生横向抖动和纵向压缩特 性，如图1所示，图1为横向抖动问题效果。
41.步骤s12：利用图像传感器进行图像拍摄，以得到第一图像。
42.利用图像传感器进行图像拍摄，以得到第一图像。具体的，在本 实施例中，调高图像传感器的行运动频率，以使得所述图像传感器的 行运动频率大于预设行运动频率，然后利用调节后的图像传感器进行 图像拍摄，得到的图像为图3所示。
43.具体的，图1中，由于运动物体(例如制冷机)的高频振动，图 像画面出现明显横向抖动问题。由上图3可看出，使用行高频速率校 正图像方案可大幅度缓解高频振动情况下的滚动横向抖动问题，纵向 压缩问题也是相同的解决方案。
44.在一具体实施例中，在ptz图像传感器横向转动方案中，可见 光设备使用的为rolling shutter图像传感器，其逐行曝光的特性记录 快速横向转动瞬时图像，使得图像纵向竖线变斜，具体如图4所示。 使用行高频速率读出方案可大幅缓解快速横向转动时的倾斜问题，具 体如图5所示。图像传感器工作在行高频速率读出速率时，图像传感 器的行间间隔时间短，由于此时图像传感器每行快速读出，等效时间 内读出的行数更多，横向偏移更小，进而缓解横向抖动问题，同时 实现横向快速运动倾斜偏移校准。
45.在一具体实施例中，如图4所示，使用行高频速率读出方案可大幅 缓解快速横向转动时的倾斜问题，图像传感器工作在行高频速率读出速 率时，图像传感器的行间间隔时间短，由于此时图像传感器每行快速读 出，等效时间内读出的行数更多，横向偏移更小。如果图像传感器本身 支持的最大行高频速率不足的情况下，可在此基础上添加rolling shutter 校正方法，方法如下：根据rolling shutter曝光原理，记录第i帧视频图 像中某一像素点的曝光时间，进一步可根据各行像素点的曝光时间用陀 螺仪角度和相应时间进行插值得到每行的实际抖动值。然后基于每行的 实际抖动至进行校正。
46.具体的，像素点记为u＝[u
x
，u
y
]
t
，像素点u的曝光时间表示为：
[0047][0048]
其中，t
i
是第i帧的时间戳，h是每帧图像的总行数，t
r
是每帧读 出时间。
[0049]
本实施例中，图像传感器工作在行高频速率时，图像传感器行运 行频率高，此时图像传感器曝光处于高频运动状态，其等效工作频率 增高，记录制冷机振动时间频率变短，横向振动与纵向压缩问题明显 减弱。图像传感器工作在行高频速率下，可极大减缓ptz图像传感 器快速横向运动导致的rolling shutter效应，可通过修改图像传感器的 运动频率，使其保持在低帧率模式下，不影响曝光时间和低照性能。
[0050]
请参见6，为本发明图像校正方法的第二实施例的流程示意图， 其中步骤s61、步骤s62与上述图2所示的第一实施例中的步骤s11、 步骤s12相同，区别在于，步骤s62之后还包括：
[0051]
步骤s63：获取所述第一图像对应的陀螺仪参数。
[0052]
具体的，由于陀螺仪的工作频率与图像传感器的工作频率不同， 为了确保陀螺仪与图像传感器的运动位移同步，则需要将陀螺仪与图 像传感器的时间戳同步。使得图像传
感器在输出第一图像时，陀螺仪 同时输出第一图像所对应的时间的陀螺仪参数。陀螺仪参数为角速度 值。
[0053]
步骤s64：利用所述陀螺仪参数得到图像传感器的姿态。
[0054]
可以通过陀螺仪的参数得到图像传感器的姿态。在一实施例中， 首先获取陀螺仪的旋转矩阵；基于所述旋转矩阵以及所述陀螺仪参数 得到所述图像传感器的姿态。具体的，可以根据陀螺仪角频率配置陀 螺仪旋转矩阵。
[0055]
在一实施例中，例如陀螺仪x方向的旋转矩阵为：
[0056][0057]
陀螺仪y方向的旋转矩阵为：
[0058][0059]
陀螺仪z方向的旋转矩阵为：
[0060][0061]
其中，θ
x
为陀螺仪x方向的旋转角度，θ
y
为陀螺仪y方向的旋 转角度，θ
z
为陀螺仪z方向的旋转角度。
[0062]
此时，已知陀螺仪的旋转矩阵和陀螺仪参数，利用陀螺仪参数乘 以陀螺仪的旋转矩阵即可得到图像传感器的姿态。
[0063]
在另一实施例中，由于实际在图像传感器防抖时需要排除主观运 动校正，仅校正主观抖动部分，可以利用卡尔曼滤波算法对所述旋转 矩阵进行滤波。使用卡尔曼滤波进行路径平滑，使得主观运动与抖动 分离，实际仅校正抖动部分，提高算法的鲁棒性。具体的，也可以使 用非线性滤波算法进行本步骤。利用陀螺仪参数乘以滤波后的陀螺仪 的旋转矩阵即可得到图像传感器的姿态。
[0064]
步骤s65：基于所述图像传感器的姿态以及所述陀螺仪参数计算 得到校正参数。
[0065]
在一实施例中，利用陀螺仪的旋转矩阵计算得到三维旋转矩阵。 具体的，陀螺仪的旋转矩阵包括陀螺仪第一方向(x方向)的旋转矩 阵rx，陀螺仪第二方向(y方向)的旋转矩阵ry，陀螺仪第三方向 (z方向)的旋转矩阵rz。三维旋转矩阵为r3d＝rx
×
ry
×
rz。
[0066]
利用三维旋转矩阵以及所述图像传感器的姿态计算得到所述陀 螺仪的参数矩阵。假设图像传感器的姿态为rp，陀螺仪参数矩阵r＝rp
×
r3d。
[0067]
利用所述第一图像的像素点坐标、所述陀螺仪的参数矩阵以及世 界坐标计算得到所述图像传感器的内参，所述校正参数为所述图像传 感器的内参。具体计算方式为：x＝krx；其中，x为第一图像的像素 点坐标，x为世界坐标，k为图像传感器的内参，r为陀螺仪的参数 矩阵。计算得到图像传感器的内参k后，即可得到校正参数。具体 的，图像传感器的内参k即为校正参数。
[0068]
在一实施例中，可以采用参数搜索的方式得到最优的校正参数。
[0069]
步骤s66：利用所述校正参数对所述第一图像进行校正，以得到 第二图像。
[0070]
具体的，将校正参数带入第一图像中对第一图像进行校正，进而 得到第二图像。
[0071]
在校正过程中，会出现部分运动超出画面幅值，部分角落无细节 等问题，需对第一图像四周画面进行裁剪。为保证出现较大抖动时画 面仍正常，需进行对四周像素的最大偏移量做限制，防止画面偏移幅 度过大。
[0072]
通过本实施例的方法，能够进一步解决图像抖动问题。
[0073]
本发明的图像校正方法中，调高图像传感器的行运动频率，使得 图像传感器工作在行高频频率下，即可在一定程度上减弱横向抖动和 纵向压缩问题，操作简单，成本低。为了进一步减弱图像抖动问题， 引入了图像传感器的内参以及陀螺仪的参数进行校正。
[0074]
具体的，本技术中，利用图2所示的图像校正方法，部分sensor 支持的行运动频率过低，可能导致校正效果不足，但是操作简单，成 本低，不需要对图像进行裁剪。利用图6所示的图像校正方法，需要 引入图像传感器的内参以及陀螺仪的参数的计算，计算复杂，需要对 图像进行裁剪，但是校正精度高。因此在实际应用中，可以根据需求 选择合适的校正方法。
[0075]
请参见图7，为本发明图像校正装置的第一实施例的结构示意图。 具体包括：配置模块71、图像获取模块72。
[0076]
其中，配置模块71用于调高图像传感器的行运动频率，以使得 所述图像传感器的行运动频率大于预设行运动频率。
[0077]
经过研究人员的长期研究发现，图像传感器工作在行高频速率 下，可极大减缓图像传感器行读出时间对高频振动物体的振动记录， 能够有效的解决果冻效应(或rolling shutter效应)，例如横向抖动和 纵向压缩问题，并且大大提高了画质。
[0078]
因此，在本实施例中，在进行拍摄之前，利用配置模块71调高 图像传感器的行运动频率，使得图像传感器的行运动频率大于预设运 动频率。需要说明的是，预设运动频率为图像传感器正常进行拍摄时 的正常行运动频率，具体根据图像传感器的需求进行设置。在一实施 例中，可以调高图像传感器的行运动频率，使得图像传感器的行运动 频率为图像传感器能够支持的最大的运动频率。例如在一实施例中， 可以调高图像传感器的行运动频率，使得图像传感器的行运动频率小 于10um/行。
[0079]
在一实施例中，可以利用配置模块71调高图像传感器的行运动 频率，以使得所述图像传感器的行运动频率大于预设行运动频率，并 且配置图像传感器工作在正常帧率下进行拍摄。
[0080]
图像传感器的行运动频率的计算方法为：
[0081]
row_frequency＝hts/sclk；
[0082]
其中，hts(horizontal timing length)为横向时序长度，sclk 指系统时钟，当图像传感器正常工作状态时，行运动频率较低，此时 需要根据调高图像传感器的行运动频率。例如将图像传感器的行运动 频率调至图像传感器能够支持的最大运动频率。在一实施例中，利用 配置模块71提高图像传感器的行运动频率的方式包括：利用配置模 块71降低系统时钟的时间，或者，还可以利用配置模块71增加横向 时序长度。
[0083]
利用配置模块71调高图像传感器的行运动频率，使得图像传感 器工作在行高频
速率下，可极大减缓图像传感器行读出时间对高频振 动物体的振动记录，可通过修改保持图像传感器在行高频速率模式下 的低帧率实现，不影响曝光时间和低照性能。例如，在可热融合应用 方案中，热成像设备制冷机带有高频振动的制冷设备，可见光设备使 用的图像传感器为rolling shutter(卷帘快门)图像传感器，其逐行 曝光的特性记录高频振动的制冷设备振动，使得图像画面产生横向抖 动和纵向压缩特性，如图1所示，图1为横向抖动问题效果。
[0084]
图像获取模块72用于利用所述图像传感器进行图像拍摄，以得 到第一图像。
[0085]
具体的，图像获取模块72利用图像传感器进行图像拍摄，以得 到第一图像。具体的，在本实施例中，利用配置模块71调高图像传 感器的行运动频率，以使得所述图像传感器的行运动频率大于预设行 运动频率，然后图像获取模块72利用调节后的图像传感器进行图像 拍摄，得到的图像为图3所示。
[0086]
具体的，图1中，由于运动物体(例如制冷机)的高频振动，图 像画面出现明显横向抖动问题。由上图3可看出，使用行高频速率校 正图像方案可大幅度缓解高频振动情况下的滚动横向抖动问题，纵向 压缩问题也是相同的解决方案。
[0087]
在一具体实施例中，在ptz图像传感器横向转动方案中，可见 光设备使用的为rolling shutter图像传感器，其逐行曝光的特性记录 快速横向转动瞬时图像，使得图像纵向竖线变斜，具体如图4所示。 使用行高频速率读出方案可大幅缓解快速横向转动时的倾斜问题，具 体如图5所示。图像传感器工作在行高频速率读出速率时，图像传感 器的行间间隔时间短，由于此时图像传感器每行快速读出，等效时间 内读出的行数更多，横向偏移更小，进而缓解横向抖动问题。
[0088]
本实施例中，图像传感器工作在行高频速率时，图像传感器行运 行频率高，此时图像传感器曝光处于高频运动状态，其等效工作频率 增高，记录制冷机振动时间频率变短，横向振动与纵向压缩问题明显 减弱。图像传感器工作在行高频速率下，可极大减缓ptz图像传感 器快速横向运动导致的rolling shutter效应，可通过修改图像传感器的 运动频率，使其保持在低帧率模式下，不影响曝光时间和低照性能。
[0089]
请参见图8，为本发明图像校正方法的第三实施例的流程示意图， 其中，步骤s83至步骤s86与上述图6所示的第二实施例相同，区别 在于，本实施例在步骤s83之前还包括：
[0090]
步骤s81：配置图像传感器的行运动频率为预设运动频率。
[0091]
本实施例中，配置图像传感器的行运动频率为预设运动频率，预 设运动频率为图像传感器进行工作时的正常运动频率。
[0092]
步骤s82利用所述图像传感器进行图像拍摄，以得到第一图像。
[0093]
利用图像传感器进行图像拍摄，以得到第一图像。本实施例中， 第一图像为图1所示的图像。具体的，在可热融合应用方案中，热成 像设备制冷机带有高频振动的制冷设备，可见光设备使用的图像传感 器为rolling shutter(卷帘快门)图像传感器，其逐行曝光的特性记 录高频振动的制冷设备振动，使得图像画面产生横向抖动和纵向压缩 特性，如图1所示，图1为横向抖动问题效果。
[0094]
本实施例中，通过步骤s83至步骤s86的方式对第一图像进行校 正，进而得到第二图像，以此解决横向抖动或者纵向压缩问题。具体 的，本实施例引入图像传感器的内参以及陀螺仪的参数进行校正，可 在一定程度上缓解图像抖动或者纵向压缩问题。
[0095]
利用图8所示的图像校正方法，需要引入图像传感器的内参以及 陀螺仪的参数的计算，计算复杂，需要对图像进行裁剪，但是校正精 度高。
[0096]
请参见图9，为本发明图像校正装置的第二实施例的结构示意图， 具体包括：配置模块91、图像获取模块92、参数获取模块93、姿态 计算模块94、计算模块95以及校正模块96。
[0097]
其中，配置模块91用于配置图像传感器的行运动频率为预设运 动频率。
[0098]
本实施例中，配置模块91配置图像传感器的行运动频率为预设 运动频率，预设运动频率为图像传感器进行工作时的正常运动频率。
[0099]
图像获取模块92用于利用所述图像传感器进行图像拍摄，以得 到第一图像。本实施例中，第一图像为图1所示的图像。具体的，在 可热融合应用方案中，热成像设备制冷机带有高频振动的制冷设备， 可见光设备使用的图像传感器为rolling shutter(卷帘快门)图像传 感器，其逐行曝光的特性记录高频振动的制冷设备振动，使得图像画 面产生横向抖动和纵向压缩特性，如图1所示，图1为横向抖动问题 效果。
[0100]
参数获取模块93用于获取所述第一图像对应的陀螺仪参数。具 体的，由于陀螺仪的工作频率与图像传感器的工作频率不同，为了确 保陀螺仪与图像传感器的运动位移同步，参数获取模块93则需要将 陀螺仪与图像传感器的时间戳同步。使得图像传感器在输出第一图像 时，陀螺仪同时输出第一图像所对应的时间的陀螺仪参数。陀螺仪参 数为角速度值。
[0101]
姿态计算模块94用于利用所述陀螺仪参数得到所述图像传感器 的姿态。在一实施例中，姿态计算模块94可以通过陀螺仪的参数得 到图像传感器的姿态。在另一实施例中，姿态计算模块94首先获取 陀螺仪的旋转矩阵；基于所述旋转矩阵以及所述陀螺仪参数得到所述 图像传感器的姿态。具体的，可以根据陀螺仪角频率配置陀螺仪旋转 矩阵。
[0102]
在一实施例中，例如陀螺仪的旋转矩阵包括x方向的旋转矩阵、 y方向的旋转矩阵以及z方向的旋转矩阵。
[0103]
此时，已知陀螺仪的旋转矩阵和陀螺仪参数，姿态计算模块94 利用陀螺仪参数乘以陀螺仪的旋转矩阵即可得到图像传感器的姿态。
[0104]
在另一实施例中，由于实际在图像传感器防抖时需要排除主观运 动校正，仅校正主观抖动部分，姿态计算模块94可以利用卡尔曼滤 波算法对所述旋转矩阵进行滤波。使用卡尔曼滤波进行路径平滑，使 得主观运动与抖动分离，实际仅校正抖动部分，提高算法的鲁棒性。 具体的，也可以使用非线性滤波算法进行本步骤。利用陀螺仪参数乘 以滤波后的陀螺仪的旋转矩阵即可得到图像传感器的姿态。
[0105]
计算模块95基于所述图像传感器的姿态以及所述陀螺仪参数计 算得到校正参数。
[0106]
在一实施例中，计算模块95利用陀螺仪的旋转矩阵计算得到三 维旋转矩阵。具体的，陀螺仪的旋转矩阵包括陀螺仪第一方向(x方 向)的旋转矩阵rx，陀螺仪第二方向(y方向)的旋转矩阵ry，陀 螺仪第三方向(z方向)的旋转矩阵rz。三维旋转矩阵为r3d＝rx
×ꢀ
ry
×
rz。
[0107]
计算模块95利用三维旋转矩阵以及所述图像传感器的姿态计算 得到所述陀螺仪的参数矩阵。假设图像传感器的姿态为rp，陀螺仪 参数矩阵r＝rp
×
r3d。
[0108]
计算模块95利用所述第一图像的像素点坐标、所述陀螺仪的参 数矩阵以及世界坐标计算得到所述图像传感器的内参，所述校正参数 为所述图像传感器的内参。具体计算方式为：x＝krx；其中，x为第 一图像的像素点坐标，x为世界坐标，k为图像传感器的内参，r为 陀螺仪的参数矩阵。计算模块95计算得到图像传感器的内参k后， 即可得到校正参数。具体的，图像传感器的内参k即为校正参数。
[0109]
校正模块96利用所述校正参数对所述第一图像进行校正，以得 到第二图像。
[0110]
具体的，校正模块96将校正参数带入第一图像中对第一图像进 行校正，进而得到第二图像。
[0111]
在校正过程中，会出现部分运动超出画面幅值，部分角落无细节 等问题，校正模块96在进行校正时，需对第一图像四周画面进行裁 剪。为保证出现较大抖动时画面仍正常，需进行对四周像素的最大偏 移量做限制，防止画面偏移幅度过大。
[0112]
本实施例的图像校正装置，需要引入图像传感器的内参以及陀螺 仪的参数的计算，计算复杂，需要对图像进行裁剪，但是校正精度高。
[0113]
请参见图10，为本发明电子设备的一实施例的结构示意图，电 子设备包括相互连接的存储器202和处理器201。
[0114]
存储器202用于存储实现上述任意一项的方法的程序指令。
[0115]
处理器201用于执行存储器202存储的程序指令。
[0116]
其中，处理器201还可以称为cpu(central processing unit，中 央处理单元)。处理器201可能是一种集成电路芯片，具有信号的处 理能力。处理器201还可以是通用处理器、数字信号处理器(dsp)、 专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编 程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理 器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0117]
存储器202可以为内存条、tf卡等，可以存储设备的电子设备 中全部信息，包括输入的原始数据、计算机程序、中间运动结果和最 终运动结果都保存在存储器中。它根据控制器指定的位置存入和取出 信息。有了存储器，电子设备才有记忆功能，才能保证正常工作。电 子设备的存储器按用途可分为主存储器(内存)和辅助存储器(外存),也 有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或 光盘等，能长期保存信息。内存指主板上的存储部件，用来存放当前 正在执行的数据和程序，但仅用于暂时存放程序和数据，关闭电源或 断电，数据会丢失。
[0118]
在本技术所提供的几个实施例中，应该理解到，所揭露的方法和 装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式 仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划 分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结 合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另 一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是 通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机 械或其它的形式。
[0119]
作为分离部件说明的单元可以是或者也可以不是物理上分开的， 作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一 个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选 择其中的部分或者全部单元来实现本实施方式方案的目的。
[0120]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理 单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单 元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现， 也可以采用软件功能单元的形式实现。
[0121]
集成的单元如果以软件功能单元的形式实现并作为独立的产品 销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样 的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分 或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计 算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计 算机设备(可以是个人计算机，系统服务器，或者网络设备等)或处 理器(processor)执行本技术各个实施方式方法的全部或部分步骤。
[0122]
请参阅图11，为本发明计算机可读存储介质的结构示意图。本 申请的存储介质存储有能够实现上述所有方法的程序文件203，其中， 该程序文件203可以以软件产品的形式存储在上述存储介质中，包括 若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或 者网络设备等)或处理器(processor)执行本技术各个实施方式方法 的全部或部分步骤。而前述的存储装置包括：u盘、移动硬盘、只读 存储器(rom，read
‑
only memory)、随机存取存储器(ram，randomaccess memory)、磁碟或者光盘等各种可以存储程序代码的介质， 或者是计算机、服务器、手机、平板等终端设备。
[0123]
以上仅为本发明的实施方式，并非因此限制本发明的专利范围， 凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换， 或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专 利保护范围内。