一种基于单目深度估计的三轴云台自适应控制方法与流程
本发明涉及智能手持影像稳定设备与ai视觉伺服云台闭环控制,具体是一种基于单目深度估计的三轴云台自适应控制方法。
背景技术:
1、在手持影像拍摄领域,随着短视频创作、户外直播、运动跟拍等场景的普及,用户对手持三轴云台的智能化跟拍能力提出了更高要求;为满足用户对拍摄目标自动锁定与跟随的需求,当前主流的ai手持三轴云台普遍依赖纯二维图像跟踪技术,即利用设备自带的单目摄像头采集实时画面,通过目标检测与跟踪算法计算拍摄目标在画面中的像素偏移量,并以此为误差信号驱动三轴电机进行姿态闭环调整,实现对拍摄目标的平面跟随,少数高端设备则通过额外搭载双目立体视觉模组、微型激光雷达或毫米波测距传感器等硬件,获取拍摄目标的空间距离信息以辅助云台控制。
2、然而,上述现有技术仍存在以下显著缺陷:其一,依赖纯二维图像跟踪的云台不具备空间纵深感知能力,当拍摄目标快速靠近、远离或前后穿梭移动时,固定的伺服控制参数无法匹配空间距离的剧烈变化,极易出现跟随滞后、画面抽搐卡顿及目标短暂脱框丢失的问题,成片流畅度差;其二,采用外置测距传感器的方案虽能获取深度信息,但额外硬件的堆叠不仅显著拉高整机物料成本与功耗,更破坏了手持云台的轻量化一体化结构,难以适配口袋级便携应用场景,量产落地性价比极低;此外,传统云台的三轴伺服控制参数均为出厂固化标定模式,无法随拍摄距离的远近进行自适应动态优化,近距离特写时灵敏度过高易引发镜头过冲抖动,远距离跟拍时灵敏度不足又导致目标脱框,全场景适配性极差。因此,如何在不增加额外测距硬件的前提下,赋予手持云台实时精准的空间深度感知能力,并联动三轴控制参数实现全场景自适应动态调校,是我们所需要解决的问题,为此,现提供一种基于单目深度估计的三轴云台自适应控制方法。
技术实现思路
1、本发明的目的在于提供一种基于单目深度估计的三轴云台自适应控制方法。
2、本发明的目的可以通过以下技术方案实现:一种基于单目深度估计的三轴云台自适应控制方法,包括:
3、获取单目摄像头拍摄的实时图像和惯性测量单元imu采集的云台姿态数据;
4、对所述实时图像进行目标检测与跟踪,获得预设拍摄目标相对画面中心的二维像素偏移值,并对实时图像进行单目深度估计,获得拍摄目标的真实物理纵深距离;
5、对所述真实物理纵深距离进行预处理,得到有效深度数据;将所述有效深度数据与预设的多个深度阈值区间进行匹配,确定所述拍摄目标当前所属的深度分区,并根据所述深度分区,动态调整三轴云台的控制参数;
6、将所述二维像素偏移值、有效深度数据和云台姿态数据进行融合,生成三轴驱动指令。
7、进一步的,在获取单目摄像头拍摄的实时图像和惯性测量单元imu采集的云台姿态数据之前还包括:
8、预设所述多个深度阈值区间,并标定每个深度阈值区间对应的三轴云台初始控制参数,所述初始控制参数包括pid增益、角速度上限、力矩阈值;
9、标定单目摄像头的内参和云台安装参数,并加载深度换算查找表。
10、进一步的,所述多个深度阈值区间包括近距离特写区间、中距离常规跟拍区间和远距离广角运动区间。
11、进一步的,对所述实时图像进行目标检测与跟踪,获得预设拍摄目标相对画面中心的二维像素偏移值的过程包括:
12、采用轻量化目标跟踪算法对所述实时图像中的预设拍摄目标进行检测与目标追踪锁定,获取所述拍摄目标相对画面中心点的横向像素偏移量和纵向像素偏移量,作为所述二维像素偏移值。
13、进一步的,对实时图像进行单目深度估计,获得拍摄目标的真实物理纵深距离的过程包括:
14、对所述实时图像进行预处理,并调用深度估计轻量化模型,通过u-net解码结构逐像素输出场景的初始相对深度值;
15、所述预处理包括图像归一化、高斯模糊去噪、边缘增强处理;
16、通过初始相对深度值结合标定的单目摄像头的内参和所述深度换算查找表,将初始相对深度值换算为真实物理纵深距离。
17、进一步的,对所述真实物理纵深距离进行预处理,得到有效深度数据的过程包括:
18、对所述真实物理纵深距离执行多帧时序滑动加权滤波,以剔除异常跳变值;
19、将所述滤波后的真实物理纵深距离与时间对齐后的云台姿态数据进行交叉校验,得到所述有效深度数据。
20、进一步的,将滤波后的真实物理纵深距离与时间对齐后的云台姿态数据进行交叉校验,得到有效深度数据的过程包括:
21、计算相邻两帧执行所述滤波后的真实物理纵深距离的差值;
22、若所述差值超过预设允许突变偏差阈值,且所述差值的变化方向与云台姿态变化方向不匹配,则将当前帧的真实物理纵深距离判定为无效噪声数据并屏蔽;
23、若所述差值未超过预设允许突变偏差阈值,或者所述差值虽超过预设允许突变偏差阈值但其变化方向与云台姿态变化方向匹配,则判定当前帧的真实物理纵深距离为有效深度数据,予以保留。
24、进一步的,所述多帧时序滑动加权滤波具体为预设滑动窗口大小为n帧,对滑动窗口内的n帧真实物理纵深距离执行加权平均运算,得到当前帧滤波后的真实物理纵深距离。
25、进一步的,将所述二维像素偏移值、有效深度数据和云台姿态数据进行融合,生成三轴驱动指令的过程包括:
26、对所述二维像素偏移值、有效深度数据和云台姿态数据进行融合,并叠加深度前置预判补偿量,得到三轴驱动单元的协同控制指令。
27、进一步的,所述深度前置预判补偿量通过以下方式获得:
28、基于所述拍摄目标的二维像素坐标和真实物理纵深距离,提取运动特征,构建一阶线性预测模型;
29、利用所述一阶线性预测模型预测拍摄目标在未来预设时间内的预测像素坐标和预测深度值;
30、根据所述预测像素坐标与画面中心坐标的偏差,结合所述预测深度值所对应深度分区的控制参数,生成三轴预判补偿角度,作为所述深度前置预判补偿量。
31、与现有技术相比,本发明的有益效果是:本发明通过对单目摄像头采集的实时图像进行单目深度估计,获得拍摄目标的真实物理纵深距离,在不增加任何额外测距硬件的前提下,首次在单目同源架构上赋予了手持云台实时精准的空间纵深感知能力,从根本上解决了传统云台“不知远近”的缺陷,同时规避了外置测距传感器带来的成本、功耗与体积问题;通过将有效深度数据与预设的多个深度阈值区间进行匹配以确定拍摄目标当前所属的深度分区,并根据深度分区动态调整三轴云台的控制参数,创造性地将连续的距离信息映射为离散的分区控制策略,实现了“近距柔化防抖、远距提速稳跟”的分区自适应调控,解决了传统云台全域固定控制参数无法同时兼顾近景防抖求稳与远景追踪求快的核心矛盾,显著提升了全场景手持拍摄的跟拍流畅度与目标锁定稳定性。本发明实现了单目同源架构下的实时深度感知与分区自适应控制,解决了传统手持云台因缺乏空间纵深感知能力和全域固定控制参数所导致的跟拍不稳、目标易丢的问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com