一种基于飞行姿态数据的航拍球幕影像几何校正方法与流程
本发明涉及图像几何处理与球幕影像制作,尤其涉及一种基于飞行姿态数据的航拍球幕影像几何校正方法。
背景技术:
1、航拍球幕影像制作需要将飞行平台采集的广角或鱼眼影像转换为适于球幕显示的片源。飞行平台的俯仰、横滚和航向变化会改变相机拍摄方向,相机安装于云台时,其实际姿态还受到云台转动的影响;对于采用滚动快门的相机,同一帧内各行具有不同曝光时刻,姿态数据与图像数据之间的时间偏差会进一步引起位置相关的投影误差。因此,球幕影像校正不仅需要确定目标观看方向,还需要使像素曝光时刻、实际相机姿态与球幕映射相互对应。
2、现有处理可以利用姿态数据建立几何映射,并通过局部网格形变减小剩余对齐误差。然而,当姿态参数校准与局部网格分别执行时,同一残差可能同时由方向参数变化和网格位移解释,局部网格由此可能吸收尚未校正的姿态误差,使像素对齐结果掩盖姿态参数的不准确;后续姿态参数重新标定时,继续沿用已有网格又可能造成重复补偿,表现为局部轮廓摆动、非必要伸缩或方向基准变化。
3、另外,球幕片源不同位置的像素位移并不具有完全相同的角度意义,直接采用统一像素距离比较姿态补偿与局部补偿,可能使二者的误差分配失去一致的几何依据。因此,有必要对姿态参数与局部形变共同参与的残差建立明确的补偿约束,并在参数变化后同步更新该约束及局部形变。
技术实现思路
1、本发明的目的在于提供一种基于飞行姿态数据的航拍球幕影像几何校正方法,以解决姿态参数校准与局部网格形变对同一残差的补偿相互掩盖,以及姿态更新后沿用既有局部形变导致重复补偿的问题。
2、为实现上述目的,本发明提供一种基于飞行姿态数据的航拍球幕影像几何校正方法,包括:根据逐行曝光时刻、机身姿态及相机相对姿态建立原始像素至球幕坐标的基准映射,根据对应曝光时刻的相机光心和独立于当前校正片段确定的静态控制点建立参考方向;在同一求解控制点集合上计算参考方向与基准映射之间的重投影残差,利用球幕逆映射导数和测量误差建立权重矩阵,并根据残差对时间及方向待估参数增量的响应形成响应矩阵;以局部网格的全部顶点修正量表示总局部形变,使其在控制点处的插值修正量与响应矩阵满足加权正交等式;对每一候选参数重建曝光时刻、相机光心、基准映射、参考方向、残差、权重矩阵及响应矩阵,在新的加权正交约束下重新求解总局部形变;仅在残差目标、网格几何及按控制点身份分离的验证点角度误差均满足预设验收条件时共同采纳候选参数与总局部形变,并由原始影像一次重采样输出球幕影像。
3、在一些实施方式中,像素曝光时刻根据首行曝光起始时间、残余时间偏差、归一化行序号、整帧读出时间和单行曝光持续时间确定;归一化行序号根据真实读出方向确定,待估参数包括残余时间偏差和方向偏差,整帧读出时间采用独立标定值;相机单位视线经相机安装旋转、云台旋转、机身姿态、方向偏差旋转及目标球幕旋转转换为球幕坐标系中的单位方向。
4、在一些实施方式中,静态控制点由独立测量或由当前校正片段之外的测绘数据建立并预先冻结的地理配准模型提供;以对应像素曝光时刻的相机光心位置确定控制点的参考方向,待估参数变化时,同步重算光心位置和参考方向,以使真实相机位置变化与姿态误差校正相区分。
5、在一些实施方式中,通过球幕逆映射的导数将像素位移转换为单位方向增量,并结合输入测量误差和匹配置信度形成球面误差度量;姿态更新和局部形变求解使用相同的度量及控制点集合,当度量或集合变化时,同步重建响应矩阵和形变约束。
6、在一些实施方式中,对待估参数进行尺度归一化,并通过参数扰动计算完整残差链路的响应矩阵;根据加权响应矩阵的奇异值及参数不确定度确定允许更新的参数,在时间偏差与方向偏差不能可靠区分时冻结时间偏差;对于已经能够计算但不允许更新的姿态响应模式,仍维持相应局部形变约束。
7、在一些实施方式中,在原始图像上建立三角网格,以重心插值得到控制点处的局部修正量,并在加权残差、空间平滑及幅值正则约束下求解总局部形变;所述总局部形变与姿态响应空间之间的加权正交约束针对当前全部形变量建立,防止历史形变量继续保留可由姿态参数解释的补偿。
8、在一些实施方式中,以相邻帧中同一静态验证控制点为对象,分别根据各帧真实光心计算参考方向,在同一世界坐标系内比较最终映射相对于各自参考方向的误差;无可靠独立静态控制点时不执行该跨帧检查,并限制未被有效观测区域的形变自由度。
9、在一些实施方式中,对每一候选参数步长重新生成基准映射、参考方向、残差、权重矩阵、响应矩阵和形变约束,并重新求解总局部形变;在同一次候选步长比较中固定求解点及评价权重和正则矩阵,求解点超出有效标定域、几何可行性或固定评价目标未满足条件时,同时拒绝候选参数与候选网格,缩小步长后重新求解。
10、在一些实施方式中,采用与求解数据按控制点身份分离的验证数据检查球面角度误差,并检查基准映射及最终映射的网格方向、局部伸缩、非邻接三角形重叠、覆盖范围及加权正交误差;通过检查的参数和网格被记录为同一验收版本,复合映射直接作用于原始影像,经一次图像重采样输出球幕影像和有效像素掩膜。
11、与现有技术相比,本发明具有如下有益效果:按实际曝光时刻合成飞行姿态、云台姿态和相机安装关系,能够减小时间错配及单帧姿态近似引起的方向误差;采用受空间平滑和幅值约束的局部网格,能够减小姿态模型未解释的剩余投影误差,并限制局部折叠及过度伸缩;进一步地,姿态参数更新与总局部形变共用同一响应矩阵和球面误差度量,使二者在可观测响应空间内具有明确的补偿分工,参数变化时重新求解总局部形变,从而减少局部网格对姿态误差的掩盖以及新姿态映射叠加历史补偿产生的重复校正。
1.一种基于飞行姿态数据的航拍球幕影像几何校正方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述逐行曝光时刻根据转换至姿态时间基准的首行曝光起始时间、残余时间偏差、归一化行序号、整帧读出时间及单行曝光持续时间确定,所述归一化行序号由图像行数及实际读出方向确定;
3.根据权利要求2所述的方法,其特征在于,所述静态控制点的位置由独立测量或由独立于当前校正片段的测绘数据建立并预先冻结的地理配准模型提供;
4.根据权利要求1所述的方法,其特征在于,对每一求解控制点,在其参考球幕坐标处计算所述球幕逆映射的导数,由、该控制点的匹配置信度及角度测量误差形成对应权重块,将各权重块组成所述权重矩阵;
5.根据权利要求2所述的方法,其特征在于,对所述残余时间偏差及方向偏差进行尺度归一化,并通过对完整重投影残差计算链进行参数扰动,确定所述响应矩阵;
6.根据权利要求4所述的方法,其特征在于,在原始航拍影像上建立三角网格,通过原始像素在源三角形内的重心坐标确定插值矩阵;
7.根据权利要求6所述的方法,其特征在于,利用相邻帧中属于同一静态控制点且未参与求解的验证观测建立跨帧检查;
8.根据权利要求6所述的方法,其特征在于,所述待估参数的更新采用候选步长,对每一候选步长重新计算基准映射、参考方向、重投影残差、响应矩阵及权重矩阵,并在重建的形变约束下重新求解总局部形变;
9.根据权利要求8所述的方法,其特征在于,所述联合验收包括:
10.根据权利要求9所述的方法,其特征在于,将同次联合验收通过的基准映射与总局部形变复合为原始像素至球幕坐标的最终映射,依据映射后的三角形进行目标像素覆盖计算,并回算原始像素取样坐标,对原始航拍影像进行一次图像重采样;
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com