基于关键点检测的航空器地面单目测姿方法

本发明涉及计算机视觉、航空安全监测，特别涉及一种基于关键点检测的航空器地面单目测姿方法。

背景技术：

1、进近着陆阶段是民航运输飞行中操作负荷高、状态变化快且对外界扰动敏感的关键阶段。航空器在有限距离和时间内需要完成下滑道保持、姿态调整、速度控制、构型转换和触地准备。若姿态角出现异常，可能诱发硬着陆、擦尾、侧向失稳、场外接地或冲偏跑道等安全风险。因此，面向进近着陆阶段构建地面端独立、实时、稳定的航空器姿态感知能力，对于飞行安全主动预警和运行风险识别具有重要意义。

2、现有航空器姿态信息主要依赖机载惯性测量单元、组合导航系统和快速访问记录器等机载设备获取。这类数据虽然具有较高精度，但主要服务于机载控制、飞行记录和事后分析，地面端通常无法直接、实时、独立地获取完整姿态角信息。地面监视雷达和广播式自动相关监视系统能够提供航空器位置、速度、高度或航向等信息，但通常不包含完整的横滚角、俯仰角和偏航角。管制员目视判断则依赖人工经验，易受能见度、观测角度、距离和复杂背景影响，难以形成定量化的连续姿态输出。

3、基于视觉的姿态测量方法能够通过图像特征与航空器三维几何先验之间匹配关系实现非接触式姿态估计，具有设备部署灵活、成本较低、信息维度丰富以及与机载系统解耦等优势。现有视觉姿态估计方法主要包括基于合作标记的方法、基于轮廓或线特征匹配的方法、基于三维模型整体匹配的方法以及基于深度学习关键点检测的方法。然而，这些方法在进近着陆地面单目视觉场景中仍存在以下不足：基于合作标记的方法依赖预先布设的人工标记，难以适用于普通民航航空器的非合作观测场景；基于轮廓或线特征匹配的方法受到复杂背景、光照变化、远距离小目标成像、局部遮挡和特征退化的影响；基于三维模型整体匹配的方法虽然能够实现较高精度，但模型构建、维护和匹配计算成本较高，且对背景干扰、目标遮挡和图像质量变化较为敏感；基于深度学习关键点检测的方法多停留在关键点定位精度评估层面，尚未充分构建从关键点检测、pnp姿态解算、置信度加权优化、时序一致性约束到导航坐标系下真实三轴姿态输出的完整测量链路。

技术实现思路

1、本发明的目的在于提供一种基于关键点检测的航空器地面单目测姿方法，用于解决传统视觉姿态估计方法难以在地面端独立获得航空器完整姿态信息、现有方法对合作标记或完整三维模型依赖较强、关键点误检易导致姿态跳变，以及图像二维姿态结果难以准确地转换到参考坐标系下的问题。

2、为了实现上述发明目的，本发明实施例提供了以下技术方案：

3、基于关键点检测的航空器地面单目测姿方法，包括以下步骤：

4、获取航空器进近着陆视频图像，建立三维稀疏关键点模型；

5、基于yolov11改进得到关键点检测模型，使用进近着陆视频图像对关键点检测模型进行训练，使得关键点检测模型输出航空器的关键点；

6、基于多维不确定度建模的自适应ransac方法、三维稀疏关键点模型对关键点检测模型输出的关键点进行筛选，剔除异常关键点，得到内点集合；

7、基于筛选的内点集合进行pnp初始位姿求解，得到初始旋转矩阵和初始平移向量；

8、通过多维不确定度感知的加权重投影误差函数精化初始旋转矩阵和初始平移向量，得到精化后的旋转矩阵和平移向量；

9、基于信息熵驱动自适应带宽，对精化后的旋转矩阵和平移向量进行因果双边时域滤波，得到滤波后的旋转矩阵和平移向量；

10、基于滤波后的旋转矩阵和平移向量，将航空器姿态从航空器机体坐标系转换到参考坐标系，并在参考坐标系下进行欧拉角分解，得到航空器进近着陆过程中连续姿态角序列。

11、更进一步地，所述三维稀疏关键点模型为：

12、；

13、其中，p为三维稀疏关键点模型；plw为左机翼翼尖；prw为右机翼翼尖；ple为左发动机涡扇中心点；pre为右发动机涡扇中心点；plg为左主起落架轮毂中心点；prg为右主起落架轮毂中心点；png为前起落架轮毂中心点；pnose为机头雷达罩中心点。

14、更进一步地，所述关键点检测模型包括主干网络、颈部网络、头部网络；

15、所述主干网络包括依次连接的conv-1、conv-2、c3k2-1、conv-3、c3k2-2、conv-4、c3k2-3、conv-5、c3k2-4、sppf、c2psa；

16、用light dff表示轻量化动态特征融合模块；

17、所述颈部网络包括light dff-1、c3k2-5、light dff-2、c3k2-6、conv-6、c3k2-7、conv-7、c3k2-8；c2psa输出的特征f3经过上采样后输入light dff-1，c3k2-3输出的特征f2输入light dff-1，light dff-1输出特征f4至c3k2-5；c3k2-5输出的特征f5经上采样后输入light dff-2，c3k2-2输出的特征f1输入light dff-2，light dff-2输出的特征经c3k2-6后输出特征f6；特征f6经过conv-6输出特征f7，特征f7与c3k2-5输出的特征f5融合后输入c3k2-7；c3k2-7输出的特征f8经conv-7后输出特征f9；特征f9与c2psa输出的特征f3融合后输入c3k2-8；

18、用gcnpose表示关键点回归头；

19、所述头部网络包括gcnpose-1、gcnpose-2、gcnpose-3；c3k2-6输出的特征f6输入gcnpose-3，c3k2-7输出的特征f8输入gcnpose-2，c3k2-8输出的特征f10输入gcnpose-1。

20、更进一步地，所述轻量化动态特征融合模块的内部计算过程为：

21、；

22、其中，fout为轻量化动态特征融合模块输出的融合特征；fl为浅层高分辨率细节特征；fh为深层低分辨率语义特征；up为上采样操作；conv1×1为1×1卷积操作；al为fl的动态融合权重；ah为fh的动态融合权重；as为空间注意力权重；为逐元素乘法。

23、更进一步地，所述关键点回归头引入图卷积结构约束，图卷积结构约束的对称归一化邻接矩阵为：

24、；

25、其中，为对称归一化邻接矩阵中第i行第j列的元素；aij为邻接矩阵a中第i行第j列的元素；dii为度矩阵d中第i行第i列的元素；djj为度矩阵d中第i行第j列的元素；α为度数平衡系数；

26、第l+1层图卷积中所有节点的特征矩阵为：

27、；

28、其中，h(l+1)为第l+1层图卷积中所有节点的特征矩阵；h(l)为第l层图卷积中所有节点的特征矩阵；relu为relu激活函数；w(l)为可学习的权重矩阵；为残差项。

29、更进一步地，所述基于多维不确定度建模的自适应ransac方法、三维稀疏关键点模型对关键点检测模型输出的关键点进行筛选，剔除异常关键点，得到内点集合的步骤，包括：

30、估计第i个关键点的检测误差方差：

31、；

32、其中，为第i个关键点的检测误差方差；为基础像素误差方差；为目标尺度调节项；为尺度影响幅度系数；为尺度衰减指数；dt为关键点检测模型输出的航空器目标检测框的对角线长度；为常数；为置信度指数调节项，ci为置信度；为置信度误差调节系数；为置信度非线性指数；为第i个关键点的结构先验调节项；

33、确定第t帧图像的自适应ransac内点判定阈值：

34、；

35、其中，clip(.)为截断限幅函数；为阈值放大系数；为最小允许阈值；为最大允许阈值；为第t帧所有关键点检测误差方差的加权算数均值；

36、第i个关键点在第j次随机采样的候选位姿下的重投影误差eij为：

37、；

38、其中，pi为第i个关键点的二维坐标；k为相机内参矩阵；rj为第j次随机采样的候选旋转矩阵；为第i个关键点的三维坐标；tj为第j次随机采样的候选平移向量；为透视投影函数；表示二范数；

39、若满足，则第i个关键点被确定为内点，经多次随机采样后，得到内点集合。

40、更进一步地，所述基于筛选的内点集合进行pnp初始位姿求解，得到初始旋转矩阵和初始平移向量的步骤，包括：

41、对于筛选得到的内点集合，根据相机成像模型构建对应关系：

42、；

43、其中，i=1,2,...,np，np为内点集合中关键点的数量；rac为航空器机体坐标系到相机坐标系的旋转矩阵；tac为航空器机体坐标系到相机坐标系的平移向量；si为尺度因子；

44、pnp初始位姿求解算法为：

45、；

46、其中，和分别为初始旋转矩阵和初始平移向量。

47、更进一步地，所述通过多维不确定度感知的加权重投影误差函数精化初始旋转矩阵和初始平移向量，得到精化后的旋转矩阵和平移向量的步骤，包括：

48、第i个关键点的多维不确定度通过马氏距离的各向异性权重权重建模：

49、；

50、其中，为由图卷积结构约束输出的关键点局部边缘主方向角；i为单位矩阵；v为主方向角对应的单位向量；

51、基于上述多维不确定度建模，加权重投影误差函数定义为：

52、；

53、其中，ri表示第i个关键点在当前位姿估计下的二维重投影残差向量；

54、通过levenberg-marquardt算法最小化加权重投影误差函数：

55、；

56、其中，分别为精化后的旋转矩阵和平移向量。

57、更进一步地，所述基于信息熵驱动自适应带宽，对精化后的旋转矩阵和平移向量进行因果双边时域滤波，得到滤波后的旋转矩阵和平移向量的步骤，包括：

58、第i个历史帧对当前帧k的双边滤波权重为：

59、；

60、其中，δti为第i个历史帧与当前帧k之间的时间间隔；为时间带宽；为姿态带宽；为第i个历史帧精化后的旋转矩阵；log(.)为三维旋转群so(3)上的对数映射；为当前帧k精化后的旋转矩阵；

61、对当前帧k精化后的旋转矩阵采用李群加权测地线平均迭代求解：

62、；

63、其中，表示对当前帧k精化后的旋转矩阵的第n次迭代；表示对当前帧k精化后的旋转矩阵的第n+1次迭代；

64、迭代收敛判据为相邻两次迭代下的旋转矩阵之间的测地线距离，为阈值，迭代收敛后得到当前帧k滤波后的旋转矩阵；

65、滤波后的平移向量采用标准线性加权均值：

66、；

67、其中，为当前帧k滤波后的平移向量；为精化后的平移向量。

68、与现有技术相比，本发明的有益效果：

69、（1）本发明能够在不依赖机载数据、不依赖合作标记的条件下，通过地面固定单目相机实现航空器进近着陆姿态角的外部独立测量。

70、（2）本发明采用三维稀疏关键点模型对关键点检测模型进行训练，而非航空器完整轮廓或高精度三维cad整体匹配进行姿态求解，降低了关键点检测模型的构建成本和匹配计算复杂度。

71、（3）本发明通过改进yolov11得到关键点检测模型，提高了对实时性要求高、多尺度场景下的航空器关键点检测能力，引入的轻量化动态特征融合模块（light dff）有利于提高航空器由远及近过程中关键点检测的稳定性，并在关键点回归头（gcnpose）中引入图卷积结构约束，使关键点检测结果符合航空器物理连接关系，降低关键点误检和局部漂移对姿态求解的影响。

72、（4）本发明根据航空器目标尺寸、关键点置信度和像素检测的多维不确定度构建自适应ransac内点判定阈值，使不同距离和不同图像尺寸下的内点筛选更合理。

73、（5）本发明提出多分量乘积融合建模方式，通过目标尺度调节项、置信度指数调节项、结构先验调节项三者融合，相比单一置信度加权方式更准确的描述了不同距离、不同关键点类型下的检测不确定性，使自适应ransac内点判定阈值在不同进近阶段均能合理筛选内点。

74、（6）本发明提出通过马氏距离的各向异性权重建模加权重投影误差函数，在各残差分量上施加差异化的权重，使翼尖、机头等具有强方向性检测误差的关键点在优化中得到更合理的贡献，提高了姿态精化精度。

75、（7）本发明提出基于基于信息熵驱动自适应带宽的因果双边时域滤波，使时间带宽和姿态带宽随飞行阶段动力学特性的实时变化自动调整，相比固定带宽滤波方式在进近后期机动阶段具有更好的响应性，在稳定下滑阶段具有更强的平滑性。

76、（8）本发明构建了从航空器机体坐标系到相机坐标系，相机坐标系到地面平台坐标系，地面平台坐标系到参考坐标系的完整坐标系转换链路，能够输出具有航空安全监测意义的横滚角、俯仰角和偏航角。