基于云台的成像方法和装置、电子设备与流程
本公开涉及图像处理及云台控制,涉及基于云台配合的帧级视频防抖方法,特别是涉及基于云台的成像方法和装置、电子设备。
背景技术:
1、视频防抖技术是用于减少或消除因摄像设备移动、震动等引起的视频抖动,提升视频稳定性和观赏性的技术。当前的视频防抖技术主要依赖于电子防抖(eis)和光学防抖(ois)系统。电子防抖通过软件算法对图像进行数字处理来补偿抖动,而光学防抖则通过移动镜头或传感器来抵消抖动。
2、然而,这些技术在以下方面存在缺陷和不足:1、在高速运动或大幅度抖动的情况下,电子防抖和光学防抖难以完全消除画面模糊;2、云台虽然能够提供一定程度的稳定,但未能充分利用云台的进行每一帧的精确调整,导致在某些复杂或高速运动场景下,画面仍然不够清晰;3、缺乏一种能够实时、动态地根据每一帧图像的抖动情况调整云台姿态的系统,从而无法确保每一帧图像的清晰度;4、通常通过多帧图像融合与数字信号处理来实现画面的稳定。这种方法虽然能在一定程度上减少抖动,但存在一定的局限性,即可能在裁剪和平滑处理过程中牺牲部分图像的清晰度;5、卷帘曝光是一种常见的曝光方式,但它可能在连续拍摄过程中导致每一帧的曝光不一致。
3、与现有技术相比,本公开旨在通过融合图像位移数据与云台姿态数据,结合模型预测控制(mpc)实现前瞻性调整,以解决复杂场景下的抖动补偿不足问题。
技术实现思路
1、本公开实施例提供基于云台的成像方法和装置、电子设备,其能够降低图像抖动,提供更清晰的视频图像。
2、第一方面,本公开实施例提供一种基于云台的成像方法。所述基于云台的成像方法包括:获取拍摄到的当前帧图像的位移数据,并获取与所述当前帧图像相对应的云台的运动数据;对所述当前帧图像的位移数据和所述云台的运动数据进行数据融合以得到所述当前帧图像的抖动数据;根据所述当前帧图像的抖动数据和所述云台的运动数据预测所述当前帧图像之后的至少一个未来帧图像的抖动数据,并基于未来帧图像的抖动数据计算所述云台在所述当前帧图像要调整的六自由度调整参数;以及基于所述六自由度调整参数对所述云台进行调整,以用于基于调整后的云台进行曝光拍摄。
3、在第一方面的一些实现方式中,获取拍摄到的当前帧图像的位移数据包括:获取表示拍摄所述当前帧图像的成像设备的抖动状态的所述位移数据;获取与所述当前帧图像相对应的云台的运动数据包括:获取表示所述成像设备的运动状态的所述运动数据。
4、在第一方面的一些实现方式中,获取拍摄到的当前帧图像的位移数据包括:获取由图像传感器采集的所述当前帧图像的图像序列;对所述当前帧图像的图像序列进行特征提取以获取所述当前帧图像的特征点;以及结合所述当前帧图像的特征点及其前一帧图像中对应的特征点计算所述当前帧图像相对于所述前一帧图像的位移向量,以获取所述当前帧图像的位移数据。
5、在第一方面的一些实现方式中,获取与所述当前帧图像相对应的云台的运动数据包括:获取由所述云台的姿态传感器采集的与所述当前帧图像相对应的云台的移动数据,所述云台的移动数据包括加速度计数据及角速度数据;对所述加速度计数据及所述角速度数据进行数据融合,以得到融合后的移动数据;以及结合所述姿态传感器的设备信息对所述融合后的移动数据进行处理,以获取所述云台的运动数据。
6、在第一方面的一些实现方式中,所述当前帧图像的抖动数据包括三维空间中的平移信息和旋转信息,其中根据所述当前帧图像的抖动数据和所述云台的运动数据预测所述当前帧图像之后的至少一个未来帧图像的抖动数据包括:根据所述当前帧图像的抖动数据和所述云台的运动数据获取所述云台的平移参数及旋转参数;以及利用模型预测控制算法,处理所述云台的平移参数及旋转参数,以得到所述未来帧图像的抖动数据。
7、在第一方面的一些实现方式中,所述云台的平移参数包括水平方向上的位移变化量、垂直方向上的位移变化量及深度方向上的位移变化量,所述成像方法包括:获取场景信息及图像内容;以及根据所述场景信息及所述图像内容调整所述云台的平移参数分别在水平方向、垂直方向、深度方向的权重。
8、在第一方面的一些实现方式中,所述云台的旋转参数包括x轴的旋转变换量、y轴的旋转变化量、z轴的旋转变化量,所述成像方法还包括:获取场景信息及图像内容;以及根据所述场景信息及所述图像内容调整所述云台的旋转参数分别在x轴、y轴、z轴的权重。
9、在第一方面的一些实现方式中,基于所述未来帧图像的抖动数据计算所述云台在所述当前帧图像要调整的六自由度调整参数包括:获取所述云台的物理限制数据,所述云台的物理限制参数包括最大转动角度、速度、加速度;以及通过优化目标函数及所述云台的物理限制数据,处理所述未来帧图像的抖动数据,以得到所述云台在所述当前帧图像处的六自由度调整参数。
10、在第一方面的一些实现方式中,基于所述六自由度调整参数对所述云台进行调整包括:根据所述六自由度调整参数输出电机驱动信号,以调整所述云台的姿态;实时获取所述云台的实际运动状态;对比所述云台的实际运动状态与所述六自由度调整参数,并基于对比结果输出电机驱动修正信号;以及根据所述电机驱动修正信号控制所述云台进行姿态调整。
11、在第一方面的一些实现方式中,该方法还包括:从所述云台的姿态传感器获取包含加速度和角速度的运动数据;对所述运动数据进行滤波以去除噪声干扰,并计算包括加速度变化率和角速度峰值的特征参数;以及基于所述当前帧图像的位移数据和所述特征参数获取抖动类型,其中根据所述当前帧图像的抖动数据和所述云台的运动数据预测所述当前帧图像之后的至少一个未来帧图像的抖动数据包括:进一步根据所述抖动类型输出所述抖动数据。
12、在第一方面的一些实现方式中,该方法还包括:基于调整后的云台进行曝光拍摄,其包括:获取当前场景的光线信息以及图像内容;根据所述当前场景的光线信息及所述图像内容得到优化曝光参数;以及利用调整后的云台基于所述优化曝光参数获取清晰图像。
13、第二方面,本公开实施例提供一种基于云台的成像装置。所述基于云台的成像装置包括:数据获取模块,被配置为获取拍摄到的当前帧图像的位移数据,并且获取与所述当前帧图像相对应的云台的运动数据;抖动检测与分析模块,被配置为对所述当前帧图像的位移数据和所述云台的运动数据进行数据融合以得到所述当前帧图像的抖动数据;调整参数生成模块,被配置为根据所述当前帧图像的抖动数据和所述云台的运动数据预测所述当前帧图像之后的至少一个未来帧图像的抖动数据,并基于所述未来帧图像的抖动数据计算所述云台在所述当前帧图像要调整的六自由度调整参数;姿态调整模块,被配置为基于所述六自由度调整参数对所述云台进行调整;以及成像模块,被配置为基于调整后的云台进行曝光拍摄。
14、第三方面,本公开实施例提供一种电子设备。所述电子设备包括:存储器,被配置为存储与图像相关联的信息;以及至少一个处理器,被电耦合到所述存储器,并且被配置为执行根据本公开实施例第一方面中任一项所述的基于云台的成像方法。
15、如上所述,本公开实施例提供基于云台的成像方法和装置、电子设备。本公开实施例利用图像数据和传感器数据相结合的方式获取抖动数据,并结合设备运动模型及基于模型预测控制的优化方法对抖动数据进行处理,以确定当前帧云台的六自由度调整参数,进一步调整云台的姿态,能够有效补偿各种抖动,减少画面模糊,显著提高视频拍摄过程中每一帧画面的清晰度,提升视频拍摄的整体质量和用户体验。
16、在一些实施例中,本公开通过对图像序列中每一帧的详细分析,包括图像中心点到目标中心点的向量关系等,来确定云台需要进行的精确调整,确保每一帧图像的清晰度。并且在调整过程中,充分考虑了连续时刻的图像变化关系,使云台的转动更加精准和平滑,避免了过度补偿或补偿不足的情况。
17、在一些实施例中,本公开通过限制云台的最大转动量,确保在追踪目标过程中视频采集器能够获取清晰图像。同时,在处理过程中注重避免因裁剪和平滑处理等操作过度牺牲图像清晰度,通过精确的向量计算和云台控制,最大程度地保留图像的原始信息,提高画面的整体清晰度。
18、在一些实施例中,本公开综合考虑了成像装置的高频抖动、低频晃动以及在不同场景下(如高速运动、大幅度抖动、复杂场景等)的抖动特性,制定了更为全面的抖动处理策略。除了通过向量计算来确定云台转动量外,还针对不同类型的抖动进行了分类处理,并在特殊场景下(如目标跟踪、变焦等)优化了抖动补偿方式,以适应更多样化的拍摄需求,确保每一帧图像的清晰度。
19、在一些实施例中,本公开能够根据每一帧图像的抖动情况及时调整云台姿态。在处理过程中,不断监测图像序列的变化,实时更新抖动参数,并根据这些参数快速调整云台,确保在各种动态场景下都能保持图像的清晰稳定。
20、在根据本公开实施例的技术方案中,通过融合图像位移数据与云台姿态数据,结合模型预测控制(mpc)实现前瞻性调整,解决了复杂场景下的抖动补偿不足问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com