一种面向扑翼飞行机器人的航拍视频稳像系统

1.本发明涉及仿生扑翼飞行机器人航拍技术领域，特别涉及一种面向扑翼飞行机器人的航拍视频稳像系统。


背景技术：

2.仿生扑翼飞行机器人是一种模仿鸟类飞行方式的新型无人飞行器，与传统四旋翼和固定翼无人飞行器相比，它是使用一对翅膀通过有规律的扑动为飞行提供升力和推力。其调节姿态的方式也类似于鸟类，通过调节尾翼的姿态，即俯仰和滚转角度来改变飞行的高度和方向。具有飞行性能好，灵活性强，外观隐蔽性高等特点，可应用于军事侦查、环境勘测和生命救援。为实现上述功能，仿生扑翼飞行机器人需要有视觉监控的功能。
3.扑翼飞行机器人需要通过翅膀扑动产生动力，导致飞行过程中的机身抖动幅度较大，航拍画面抖动严重，严重影响从航拍视频中获取有用的信息，且对视频图像的后续处理及利用造成很大不便。由于飞行过程中的机身姿态及质心变化大，无法为相机提供稳定的空中拍摄条件，且现有的扑翼飞行机器人机身尺寸有限，负载能力普遍不高，为视觉航拍功能的开发带来了难度。
4.在四旋翼无人机和固定翼无人机上，消除视频抖动、改善成像质量，常用的方法是通过云台稳像系统，或者电子稳像系统。但由于扑翼飞行机器人的特殊飞行工况，现有的航拍稳像系统无法在仿生扑翼飞行机器人上达到很好的稳像效果。
5.云台稳像系统通过对摄像系统的机械运动进行逆向机械补偿，进而实现稳像。但是传统基于机械稳像的云台稳像系统，往往只能补偿由于旋转运动引起的图像旋转量，无法有效的补偿平移运动导致的图像偏移量。扑翼飞行机器人在飞行过程中，视觉系统受到来自机身的抖动，是旋转运动和平移运动复合形成的抖动，故现有云台稳像无法在仿生扑翼飞行机器人上达到很好的稳像效果。
6.电子稳像是直接对摄像机获取的图像序列在成像面上进行处理，以获得清晰稳定视频的方法。与传统机械稳像相比，电子稳像不需要机械设备，根据获取的图像序列计算得到运动矢量，然后直接对图像进行运动补偿。但是，电子稳像算法对于低幅度的抖动有较好的消抖效果。而扑翼飞行机器人的抖动恰恰是高幅度的抖动，且电子稳像对视频中的旋转抖动不敏感，很难通过纯算法处理视频图像中的旋转等复杂运动。
7.因此对于扑翼飞行机器人稳像系统的研究重在与扑翼机器人的飞行特点结合，但现有研究很少，发明专利202110391333.1公开了一种基于扑翼飞行系统的实时电子稳像方法，但该方法仅针对电子稳像算法在扑翼飞行机器人的应用进行了研究，没有融合云台稳像这一常见的稳像方法，且对扑翼飞行机器人的飞行工况信息利用较少，仅依靠电子稳像一种方法，稳像效果很难在扑翼飞行机器人实际飞行的复杂工况下得到保证。
8.基于目前尚无成熟适用于扑翼飞行机器人的航拍稳像系统，因此面向扑翼飞行机器人来设计一种新的航拍稳像系统是很有意义的。


技术实现要素：

9.针对上述问题，本发明的目的在于提供一种面向扑翼飞行机器人的航拍视频稳像系统，将现有的常见稳像技术，云台机械稳像与电子滤波稳像深度融合，并针对应用场景，将机械稳像和电子稳像与扑翼飞行机器人飞行状态结合，提出一套解决扑翼飞行机器人的航拍画面抖动问题的视频稳像系统。
10.为解决上述技术问题，本发明的实施例提供如下方案：
11.一种面向扑翼飞行机器人的航拍视频稳像系统，包括云台模块、相机模块和处理模块；
12.所述处理模块用于接收扑翼飞行机器人飞行过程中的机翼扑动频率、机翼扑动幅度、机身姿态信息，还用于接收所述相机模块的旋转运动信息和所述相机模块采集的视频图像，并对上述接收的信息进行处理，基于处理结果控制整个稳像系统的运行，最终由所述处理模块输出稳像后的视频图像到地面接收机；
13.所述云台模块用于实时检测与之固连的相机模块的旋转运动信息，将所述旋转运动信息发送给所述处理模块，所述处理模块根据所述旋转运动信息控制云台模块中的无刷电机旋转，进行机械稳像，对所述相机模块的运动进行补偿；
14.所述处理模块通过接收扑翼飞行机器人飞行过程中的机翼扑动频率、机翼扑动幅度和机身姿态信息，将上述信息与云台机械稳像进行融合，控制云台模块中的无刷电机旋转，进行机械稳像，对所述相机模块的运动进行补偿；
15.所述处理模块还用于对所述相机模块采集的视频图像进行处理，通过图像序列特征点匹配方法对所述相机模块的旋转运动进行估计；
16.所述处理模块还用于通过所述旋转运动信息对所述相机模块的旋转运动进行估计，并将得到的估计结果与通过图像序列特征点匹配方法得到的估计结果进行融合，对采集的视频图像进行基于旋转运动的电子稳像滤波处理；
17.所述处理模块还用于通过图像序列特征点匹配方法对相机模块的平移运动进行估计，并与接收到的扑翼飞行机器人飞行过程中的机翼扑动频率、机翼扑动幅度和机身姿态信息进行融合，对采集的视频图像进行基于平移运动的电子稳像滤波处理；
18.所述处理模块还用于将经过稳像系统处理后的视频图像传输到地面接收机。
19.优选地，所述云台模块包括惯性测量单元、无刷电机和机械连接件；所述惯性测量单元与相机模块通过机械连接件固连，用于实时检测所述相机模块的旋转运动信息，并发送给所述处理模块；所述旋转运动信息包括姿态信息；
20.所述处理模块根据所述旋转运动信息输出spwm波信号控制所述云台模块中的无刷电机进行反向转动，以补偿由于扑翼飞行机器人抖动带来的相机模块旋转运动，达到机械稳像的效果。
21.优选地，所述惯性测量单元包括三轴陀螺仪和三轴加速度计。
22.优选地，所述处理模块通过接收扑翼飞行机器人飞行过程中的机身姿态信息，将机身姿态信息与惯性测量单元的信息融合，使惯性测量单元得到的相机模块旋转运动信息更加准确。
23.优选地，所述相机模块为微型摄像头，所述摄像头用于拍摄周围环境的视频图像，所述相机模块与所述处理模块通过线路连接，将拍摄的视频图像发送给所述处理模块。
24.优选地，所述处理模块根据图像序列特征点匹配方法对所述相机模块的旋转运动进行估计，同时将所述云台模块中惯性测量单元检测的旋转运动信息，以及扑翼飞行机器人的机翼扑动频率、机翼扑动幅度和机身姿态信息，与图像序列特征点匹配方法得到的运动信息进行融合，计算得到视频图像中相邻两帧图像的旋转矩阵；
25.根据所述旋转矩阵，估计所述相机模块旋转时的旋转角度与方向，对采集的视频图像进行基于旋转运动的电子稳像滤波处理。
26.优选地，所述处理模块对采集的视频图像进行基于旋转运动的电子稳像滤波处理具体包括：
27.所述处理模块基于估计出的旋转角度与方向，对当前帧图像进行逆向补偿，消除旋转抖动。
28.优选地，所述处理模块通过图像序列特征点匹配方法对所述相机模块的平移运动进行估计，并将扑翼机器人的机翼扑动频率、机翼扑动幅度和机身姿态信息与图像序列特征点匹配方法得到的估计结果进行融合，得到所述相机模块的平移运动矢量；
29.根据所述平移矢量，估计所述相机模块平移时的平移距离与方向，对采集的视频图像进行基于平移运动的电子稳像滤波处理。
30.优选地，所述处理模块对采集的视频图像进行基于平移运动的电子稳像滤波处理具体包括：
31.所述处理模块基于估计出的平移距离与方向对视频图像进行逆向补偿，消除平移抖动。
32.优选地，由于在扑翼飞行机器人的飞行工况下，惯性测量单元检测到的加速度不再是重力加速度，而是重力加速度与运动加速度的合加速度，而惯性测量单元的计算姿态角方法，是通过使用重力加速度来计算的。在这种情况下，会造成较大的相机模块姿态测量误差。
33.优选地，所述处理模块还用于通过将扑翼飞行机器人姿态信息与云台机械稳像融合，提高云台模块稳像性能。具体方法为：
34.在处理模块中，也包含一个惯性测量单元，由于扑翼机身和云台相机之间是固定连接的方式，因此云台模块的惯性测量单元和处理模块的惯性测量单元受到的加速度是相同的。通过云台坐标系与机身坐标系之间的转换关系，可得到由于运动加速度带来的扰动加速度在相机坐标系中的表示，将相机坐标系中的和向量减去扰动加速度，即可得到准确的重力加速度，然后再带入姿态解算算法进行计算，即可减小误差，得到相对准确的姿态数据，提高云台模块稳像性能。
35.优选地，所述稳像系统应用的平台为一种模仿鸟类飞行方式的仿生扑翼飞行机器人，所述云台模块和相机模块，安装于扑翼飞行机器人的头部，模仿鸟类眼睛的位置。
36.优选地，现有的扑翼飞行机器人机身尺寸有限，负载能力普遍不高，除飞行所需的必要电池负载，留给视觉、飞控等系统的负载重量小于200g。
37.所述安装于扑翼飞行机器人头部的云台模块和相机模块。结合扑翼飞行机器人实际应用工况，总重量控制在52g，其中惯性测量单元1g，无刷电机总重量30g，相机模块8g，机械连接件重量为13g。云台模块和相机模块安装于扑翼飞行机器人的头部时，总重量满足扑翼飞行机器人的负载能力。
38.所述处理模块搭载于扑翼飞行机器人上，具体安装于扑翼飞行机器人的机腹位置，包括机载处理单元、飞行器控制单元、图像传输单元。
39.所述机载处理单元用于对采集的视频图像及各项信息，如机身姿态信息、旋转运动信息等进行接收处理，包括输出反馈信息到飞行控制单元控制云台机械自稳，对视频画面进行电子稳像滤波处理；所述飞行器控制单元用于对扑翼飞行机器人和云台模块的运动进行控制；所述图像传输单元用于将处理后的视频图像传输到地面接收机。处理模块总重130g。
40.优选地，本发明所述视觉稳像系统总重量为182g，云台模块和相机模块安装于扑翼飞行机器人的头部，处理模块安装于扑翼飞行机器人的腹部。视觉稳像系统重心与扑翼飞行机器人自身重心位置接近重合，满足扑翼飞行机器人的实际使用负载能力。
41.优选地，本发明所述视觉稳像系统除了地面接收机，视频稳像处理及稳像系统控制均在扑翼飞行机器人上机载处理完成，实时性好。
42.优选地，所述处理模块通过图像序列特征点匹配方法对所述相机模块的旋转运动进行估计具体包括：
43.输入视频图像的灰度图像，构建尺度空间，进行极值检测及定位，确定特征点的主方向，生成特征描述子，确定特征点描述向量，得到所述相机模块的旋转运动量。这里的旋转运动量指前文估计出的旋转角度与方向。
44.优选地，所述处理模块对采集的视频图像进行基于旋转运动的电子稳像滤波处理具体包括：
45.所述处理模块基于所述旋转运动量对视频图像当前帧进行逆向补偿，消除旋转抖动。
46.所述处理模块还用于根据所述云台模块描述的相机模块旋转运动信息，与通过图像序列特征点匹配方法得到的运动估计进行融合，提高对采集的视频图像进行基于旋转运动的电子稳像滤波处理稳像性能；具体方法为：
47.根据云台模块中惯性测量单元检测的旋转运动信息，得到视频图像中相邻两帧绕x、y、z三轴的旋转角度；根据旋转矩阵原理，计算旋转矩阵；根据所述旋转矩阵，来计算图像帧间的运动矢量，并将此运动矢量信息与通过图像序列特征点匹配方法得到的运动矢量信息进行融合修正，提高运动估计的准确性，最后通过电子稳像滤波处理对视频进行针对旋转运动的稳像处理。
48.优选地，所述处理模块通过图像序列特征点匹配方法对所述相机模块的平移运动进行估计具体包括：
49.输入视频图像的灰度图像，构建尺度空间，进行极值检测及定位，确定特征点的主方向，生成特征描述子，确定特征点描述向量，得到所述相机模块的平移运动量。这里的平移运动量指前文估计出的平移距离与方向。
50.优选地，所述处理模块对采集的视频图像进行基于平移运动的电子稳像滤波处理具体包括：
51.所述处理模块基于所述平移运动量对视频图像进行逆向补偿，消除平移抖动。
52.所述处理模块还用于根据所述扑翼飞行机器人的机翼扑动频率、机翼扑动幅度、机身姿态信息，与通过图像序列特征点匹配方法得到的运动估计进行融合，提高对采集的
视频图像进行基于平移运动的电子稳像滤波处理稳像性能；具体方法为：
53.根据扑翼飞行机器人的机翼扑动频率、机翼扑动幅度、机身姿态信息，实时得到扑翼飞行机器人头部位置的平移运动的距离和方向，并计算平移矢量；根据所述平移矢量，来计算图像帧间的平移运动矢量，并将此运动矢量信息与通过图像序列特征点匹配方法得到的运动矢量信息进行融合修正，提高运动估计的准确性，最后通过电子稳像滤波处理对视频进行针对平移运动的稳像处理。
54.本发明实施例提供的技术方案带来的有益效果至少包括：
55.本发明实施例提供的面向扑翼飞行机器人的航拍视频稳像系统，通过实时检测扑翼飞行机器人上相机模块的旋转运动信息，根据旋转运动信息，通过机械稳像对相机模块进行运动补偿；通过相机模块采集视频图像，并通过电子稳像消除视频图像的旋转抖动；通过采用图像序列特征点匹配的方法，对相机模块的平移运动进行运动估计，并通过电子稳像算法进行消除。并将上述机械稳像，电子稳像过程，与扑翼机器人飞行过程中机身信息进行深度融合，从而达到扑翼飞行机器人航拍视频稳像的目的。本发明将云台机械稳像系统和电子稳像系统以及扑翼飞行机器人飞行工况进行融合，取两种稳像方法的优点，弥补各自的不足，并根据实际应用场景做出了优化，解决了实际应用中目前尚无成熟适用于扑翼飞行机器人的航拍稳像系统的这一问题。本发明能够满足稳像的精度和实时性要求，也能满足扑翼飞行机器人的低负载工况，适用于扑翼飞行机器人航拍使用。
附图说明
56.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
57.图1是本发明实施例提供的一种面向扑翼飞行机器人的航拍视频消抖系统的结构框图；
58.图2是本发明实施例提供的一种面向扑翼飞行机器人的航拍视频消抖系统的整体实物结构示意图；
59.图3a-图3d是本发明实施例提供的一种面向扑翼飞行机器人的航拍视频消抖系统的惯性测量单元、无刷电机、机械连接件、相机模块的示意图；
60.图4是本发明实施例提供的一种面向扑翼飞行机器人的航拍视频消抖系统的工作流程图；
61.图5是本发明实施例提供的云台模块机械稳像总体控制框图；
62.图6是本发明实施例提供的基于旋转运动的电子稳像滤波过程示意图；
63.图7是本发明实施例提供的基于平移运动的电子稳像滤波过程示意图。
具体实施方式
64.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实
施例，都属于本发明保护的范围。
65.本发明的实施例提供了一种面向扑翼飞行机器人的航拍视频稳像系统，图1是所述航拍视频稳像系统的结构框图，图2是所述航拍视频稳像系统的整体实物结构示意图，图3a-图3d是本发明实施例提供的一种面向扑翼飞行机器人的航拍视频消抖系统的惯性测量单元、无刷电机、机械连接件、相机模块的示意图，所述视频稳像系统安装于扑翼飞行机器人上，包括：云台模块101、相机模块102和处理模块103；
66.处理模块103用于接收扑翼飞行机器人飞行过程中的机翼扑动频率、机翼扑动幅度、机身姿态信息，还用于接收相机模块102的旋转运动信息和相机模块102采集的视频图像，并对上述接收信息进行处理，基于处理结果控制整个稳像系统的运行，最终由处理模块103输出稳像后的视频图像到地面接收机；
67.云台模块101用于实时检测与之固连的相机模块的旋转运动信息，将所述旋转运动信息发送给处理模块103，处理模块103根据所述旋转运动信息控制云台模块101中的无刷电机旋转，进行机械稳像，对相机模块102的运动进行补偿；
68.处理模块103通过接收扑翼飞行机器人飞行过程中的机翼扑动频率、机翼扑动幅度和机身姿态信息，将上述信息与云台机械稳像进行融合，控制云台模块101中的无刷电机旋转，进行机械稳像，对相机模块102的运动进行补偿；
69.处理模块103还用于对相机模块102采集的视频图像进行处理，通过图像序列特征点匹配方法对相机模块102的旋转运动进行估计；
70.处理模块103还用于通过所述旋转运动信息对相机模块102的旋转运动进行估计，并将得到的估计结果与通过图像序列特征点匹配方法得到的估计结果进行融合，对采集的视频图像进行基于旋转运动的电子稳像滤波处理；
71.处理模块103还用于通过图像序列特征点匹配方法对相机模块102的平移运动进行估计，并与接收到的扑翼飞行机器人飞行过程中的机翼扑动频率、机翼扑动幅度和机身姿态信息进行融合，对采集的视频图像进行基于平移运动的电子稳像滤波处理；
72.处理模块103还用于将经过稳像系统处理后的视频图像传输到地面接收机。
73.本发明将云台机械稳像系统和电子稳像系统进行融合，取两种稳像方法的优点，弥补各自的不足，并根据实际应用场景做出了优化，解决了实际应用中，目前尚无成熟适用于扑翼飞行机器人的航拍稳像系统的这一问题。本发明能够满足稳像的精度和实时性要求，并且重量轻，也能满足扑翼飞行机器人的低负载工况，适用于扑翼飞行机器人航拍使用。
74.进一步地，云台模块101包括惯性测量单元、无刷电机和机械连接件；惯性测量单元与相机模块102通过机械连接件固连，用于实时检测相机模块102的旋转运动信息，并发送给处理模块103；
75.处理模块103根据所述旋转运动信息输出spwm(sinusoidal pulse width modulation)波信号控制云台模块101中的无刷电机进行反向转动，以补偿由于扑翼飞行机器人抖动带来的相机模块102旋转运动，达到机械稳像的效果。
76.进一步地，所述惯性测量单元包括陀螺仪和加速度计。处理模块103通过接收扑翼飞行机器人飞行过程中的机身姿态信息，将机身姿态信息与惯性测量单元的信息融合，使惯性测量单元得到的相机模块102的旋转运动信息更加准确。
77.进一步地，相机模块102为微型摄像头，所述微型摄像头用于拍摄周围环境的视频图像，相机模块102与处理模块103通过线路连接，将拍摄的视频图像发送给处理模块103。
78.具体地，本发明实施例中的稳像过程分为三个阶段：
79.第一个阶段，通过惯性测量单元实时检测由于扑翼飞行机器人抖动导致的摄像头旋转运动信息，并与扑翼飞行机器人自身姿态信息进行融合，得到准确的旋转运动信息，反馈给飞行器控制单元，飞行器控制单元控制无刷电机来重新调整摄像头的位置以补偿摄像系统的旋转运动。
80.第二个阶段，将惯性测量单元实时检测的旋转运动信息与图像序列特征点匹配的电子稳像信息融合。云台模块中的陀螺仪记录旋转角速度后，将相关数据信息与电子稳像信息融合，进行旋转矢量估计，增强电子稳像对视频中的旋转运动估计的可靠性，并通过电子稳像算法进行抖动消除。
81.经过以上两阶段的稳像，已经可以将扑翼飞行机器人运动时的旋转运动带来的图像抖动很好的消除。
82.第三个阶段，将扑翼飞行机器人实时检测的扑动频率、幅度和机身姿态信息与图像序列特征点匹配的电子稳像融合。对摄像头的平移运动进行运动估计，并通过电子稳像算法进行抖动消除。
83.经过上述三个阶段，可对扑翼飞行机器人航拍时的视频画面起到很好的稳像效果。
84.本发明的具体实施过程如图4所示，包括以下步骤：
85.201：云台模块机械稳像。
86.图5为云台模块机械稳像总体控制框图。云台模块机械稳像采用的控制算法是双闭环串级pid控制算法，第一环控制被称为角度闭环控制，第二环控制被称为速度闭环控制。
87.反馈控制处理流程为：
88.给定整个系统的输入值，即整个云台的角度期望，将其与实际的姿态角度信息做差，具体的，实际的姿态角度信息在本系统中是由云台模块中的惯性测量单元和处理模块中的惯性测量单元数据融合后获取，具体如下：
89.在云台模块和处理模块，即微型相机上和扑翼飞行机器人机身上各放置一个惯性测量单元。由于扑翼飞行机器人与视觉稳像系统之间是固定连接的方式。因此两个惯性测量单元测量的加速度信息是一致的。由于相机和扑翼飞行机器人处于不同的坐标系中，两个惯性测量单元测量的加速度相当于同一个加速度在不同坐标系中的表示。通过四元数的方法得到两个坐标系之间的转换关系。具体关系如下：
90.[q
0 q
1 q
2 q3]＝[cos(θ/2)sin(θ/2)u
x sin(θ/2)u
y sin(θ/2)uz]
[0091]
上式表示坐标系a绕旋转轴u旋转θ角度得到坐标系b。其中q0为四元数的标量部分，q1，q2，q3为四元数的矢量部分，θ为转角，u为旋转轴。
[0092]
再将机体坐标系中的运动加速度通过转换关系转换到相机坐标系，即可得到由于扑翼飞行机器人运动带来的扰动加速度在相机坐标系中的表示，将相机坐标系中的惯性测量单元测量得到的加速度减去扰动加速度，即可得到准确的姿态解算所需加速度信息，然后再带入姿态解算算法进行计算，具体如下：
[0093][0094]
其中θ、ψ分别表示云台模块中惯性测量单元当前滚转角、俯仰角和偏航角。q0为四元数标量部分，q1、q2、q3组成四元数矢量部分。
[0095]
即可减小误差，得到相机模块相对准确的姿态数据。
[0096]
给定云台模块的输入值，即云台的角度期望，将其与实际的姿态角度信息(该值在本系统中是由云台模块中的惯性测量单元和处理模块中的惯性测量单元数据融合后获取)做差，作为角度pid控制的输入，计算第一环的pid。具体如下关系：
[0097][0098]
u(k)为第一环pid控制器的输出，k
p
为比例放大系数，e(k)为第一环pid控制器的输入，即第k次采样时际姿态角度与期望角度的差值；ki为积分系数，为积分项；kd为微分系数，[e(k)-e(k-1)]为微分项。
[0099]
角度pid控制的输出值直接作为速度pid控制的输入，将其与电机转动角速度的反馈值(该值在本系统中是由云台模块中的云台编码器的反馈角度值进行差分获得角速度)做差，具体如下关系：
[0100][0101]
u(k0)为第二环pid控制器的输出，e(k0)为第二环pid控制器的输入，即第k0次采样时实际电机角速度与期望(第一环pid的输出)的差值；
[0102]
得到速度控制器的输出u(k0)，该输出值直接给到云台控制板对电机的控制中，通过得到电机控制的输入值u(k0)，输出spwm波控制电机的转动。
[0103]
spwm波即为呈正弦规律变化的正弦波，通过连续向电机的三个相线输入相位差为1/3正弦波周期且电压幅值呈正弦规律变化的电压来控制电机的转动。下个周期继续执行上述过程，从而达到云台机械稳像效果，消除旋转抖动。
[0104]
202：相机模块图像序列的获取。
[0105]
本步骤中，通过摄像头和图传设备获得航拍视频图像。
[0106]
203：获取云台和机身的运动信息。
[0107]
本步骤从处理模块中获取的当前云台中相机模块实际的姿态角度信息，从处理模块中获取扑翼飞行机器人飞行的扑动频率、幅度和机身姿态信息。
[0108]
204：对由电子稳像方法确定的旋转运动进行运动滤波。
[0109]
如图6所示，该过程包括：根据云台模块中惯性测量单元检测的旋转运动信息，得到视频图像中相邻两帧绕x、y、z三轴的旋转角度；根据旋转矩阵原理，计算旋转矩阵；根据所述旋转矩阵，估计所述相机模块旋转时的旋转矢量。根据特征点匹配方法，计算旋转矩阵，估计相机模块旋转时的旋转矢量。将上述两种方法得到的旋转矢量进行融合，得到结果可靠的旋转矢量。之后，基于所述旋转矢量对当前帧进行逆向补偿，消除旋转抖动。
[0110]
具体地，相机模块在三维世界中的任何旋转都可以分解到x、y、z三个方向上，通过
陀螺仪数据获取，可以得到视频中相邻两帧绕x、y、z三轴的旋转角度根据旋转矩阵原理，可以得到旋转矩阵为：
[0111][0112]
假设三维世界中一点p，在视频序列第k-1帧中的投影点为p
k-1
(像素坐标系中的点)，在第k帧中的投影点为pk(像素坐标系中的点)。在相机模块没有抖动时，存在如下关系：
[0113]
pk＝p
k-1
＝krpw[0114]
式中，k为相机内参矩阵，r为刚体变换矩阵，pw为世界坐标系中的坐标。而当相机模块存在旋转时，
[0115][0116]
上式即为相机模块旋转时像素坐标的变换，为了实现稳像，只需执行上述逆过程，对当前帧逆向补偿就可以让pk点回到抖动前的位置：
[0117][0118]
下个周期继续执行上述过程，从而达到对由相机模块姿态角度信息确定的旋转运动进行电子稳像滤波处理的效果，消除旋转抖动。
[0119]
205：对由电子稳像方法确定的平移运动进行运动滤波。
[0120]
如图7所示，该过程包括：输入视频图像的灰度图像，构建尺度空间，进行极值检测及定位，确定特征点的主方向，生成特征描述子，具体方法与上述确定相机模块旋转运动特征点匹配方法原理相同。
[0121]
并与机身数据，包括扑动频率、幅度和机身姿态信息确定的平移运动特征进行融合。具体的，根据机身扑动频率和机身姿态信息，可以准确得出相机模块平移运动的主方向。根据扑动幅度信息和机身姿态信息，可以估计位于扑翼飞行机器人头部相机模块的平移运动距离。
[0122]
根据上述信息的融合，确定特征点描述向量，得到所述相机模块的平移运动量。并对由融合计算确定的相机模块的平移运动进行运动补偿。
[0123]
本步骤中，基于所述平移运动量对视频图像进行逆向补偿，消除平移抖动。
[0124]
206：获得最终稳定的视频图像序列并输出。
[0125]
本发明实施例中，处理模块103包括机载处理单元、飞行器控制单元、图像传输单元。所述机载处理单元用于对采集的视频图像、机身姿态信息、旋转运动信息等进行接收处理，包括对视频画面进行电子稳像滤波处理，输出反馈信息到飞行控制单元控制云台机械自稳。所述飞行器控制单元用于对扑翼飞行机器人和云台模块的运动进行控制。所述图像传输单元用于将处理后的视频图像传输到地面接收机。
[0126]
经过上述步骤，循环进行，最终得到消除旋转抖动和平移抖动的扑翼飞行机器人
稳定航拍视频。
[0127]
综上所述，本发明针对扑翼飞行机器人在飞行过程中，由大幅度旋转运动和平移运动，导致的航拍画面抖动的问题，提出一种航拍视频稳像系统，将机械稳像、电子稳像和扑翼飞行机器人的飞行工况进行深度融合，通过三个阶段的稳像，实现了对于扑翼飞行机器人中大幅度旋转运动和平移运动引起航拍视频抖动的消除，较好的解决了扑翼飞行机器人的航拍画面抖动问题。
[0128]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。