基于可见光图像深度学习的直升机飞行姿态探测方法、装置及飞行控制系统与流程

摘要: 本技术涉及摄影测量的,具体涉及一种基于可见光图像深度学习的直升机飞行姿态探测方法、系统及终端设备。背景技术:1、直升机飞行姿态探测是航空安全与自主飞行的核心技术...
基于可见光图像深度学习的直升机飞行姿态探测方法、装置及飞行控制系统与流程

本技术涉及摄影测量的,具体涉及一种基于可见光图像深度学习的直升机飞行姿态探测方法、系统及终端设备。

背景技术:

1、直升机飞行姿态探测是航空安全与自主飞行的核心技术之一,其目标是通过传感器数据实时解算出飞行器的空间方位、俯仰角、滚转角和偏航角,然后根据这些数据对直升机进行精准的飞行控制。传统上,惯性测量单元(imu)和全球卫星导航系统(gnss)是该领域的主流解决方案,imu通过陀螺仪和加速度计直接测量角速度和线性加速度,gnss则提供绝对位置参考。然而,在复杂电磁环境、卫星信号遮挡或强干扰场景下,纯惯性导航系统存在累积误差,gnss则可能失效或精度下降,最终会影响直升机飞行控制的精准度。

2、cn202410781304.x提出一种基于双目视觉的海上作业直升机位姿测量方法及系统,方法包括:建立快速系留装置坐标系和甲板坐标系;标定相机的内外参数;相机实时采集直升机尾轮运动区域当前图像,并将当前图像传输到数据处理模块;计算直升机中的尾轮旋转轴在快速系留装置坐标系中的位置坐标;计算直升机的尾轮在快速系留装置坐标系中沿舰艏方向的切向量;计算直升机机身轴线在快速系留装置坐标系中沿舰艏方向的方向向量;计算直升机系留杆在甲板坐标系中的位置坐标、直升机在甲板坐标系中的机身偏角和尾轮偏角;重复执行以上步骤,实时输出直升机位姿信息,直至直升机自动牵引出入库完成。

3、以上方案存在场景局限性强、抗干扰能力弱、测量维度单一,且图像处理与特征提取方式存在较为传统的明显缺陷,仅能适配海上作业直升机的系留阶段位姿测量,无法满足直升机飞行过程中的姿态探测和飞行控制需求。以上方案以双目视觉的空间坐标解算为核心技术支撑,对双相机的安装与校准精度有着严苛要求,不仅提升了硬件的现场部署难度,也大幅增加了后续的设备维护成本。更重要的是,方案的图像处理仅依赖左右差分、灰度与计数阈值分割等传统算法,缺乏对图像噪声、畸变的专项抑制策略,针对云层干扰、高空气压变化引发光折射畸变的问题,在云层、低光照、大气折射等复杂环境中,极易出现特征点提取错误的情况,检测鲁棒性表现不佳。

技术实现思路

1、为了解决上述技术缺陷之一,本技术提供了一种基于可见光图像深度学习的直升机飞行姿态探测方法、装置及飞行控制系统。

2、根据本技术的第一个方面,提供了一种基于可见光图像深度学习的直升机飞行姿态探测方法,包括:

3、对获取到的用于在视觉上体现直升机飞行姿态的可见光原始图像进行预处理;

4、对预处理后的可见光图像进行多尺度边缘检测,从可见光图像中提取出直升机与云层的轮廓边缘特征,得到第一图像;

5、对第一图像进行频域分离与云层干扰抑制,识别出直升机目标轮廓信号与云层干扰信号,得到第二图像;

6、对第二图像进行自适应滤波,在滤波过程中,根据第二图像的畸变程度和直升机飞行环境中的气压实时变化对滤波强度进行动态调整;

7、将经过自适应滤波后的图像输入深度学习检测网络中进行目标检测,得到目标视觉数据;其中,所述的深度学习检测网络还具有一个基于频域约束的、用于限制网络输出高频成分的云层抗干扰损失函数;

8、最后,采用卡尔曼滤波算法将目标视觉数据与通过直升机已有的惯性测量单元采集到的目标传感数据进行姿态融合计算,得到直升机最终的抗畸变姿态角速度信息。

9、优选地,所述的对预处理后的可见光图像进行多尺度边缘检测,从可见光图像中提取出直升机与云层的轮廓边缘特征,得到第一图像,具体包括:

10、将预处理后的可见光图像分别输入原始分辨率层、1/2下采样层和1/4下采样层中;

11、在所述的原始分辨率层、1/2下采样层和1/4下采样层中均分别执行以下操作:先对输入的图像进行高斯滤波,然后计算图像在每个像素点上的梯度幅值,再通过非极大值抑制定位出边缘候选点,最后根据动态阈值提取出对应尺度的直升机与云层的轮廓边缘特征;其中,动态阈值由图像中局部区域的实时灰度方差进行自动调整;

12、将提取出的三个不同尺度的边缘特征进行特征融合,得到第一图像。

13、优选地,所述的对第一图像进行频域分离与云层干扰抑制,识别出直升机目标轮廓信号与云层干扰信号,得到第二图像,具体包括:

14、采用小波包变换对第一图像进行四层分解,将第一图像分解为多个频带;其中,多个频带中包含用于体现直升机目标轮廓信号的低频子带和用于体现云层干扰信号的高频子带;

15、根据各个频带的能量分布对各个频带进行不同程度的保留或衰减,得到第二图像:在低频子带中,保留ll4子带的全部系数;在高频子带中,根据对应频带的能量权重计算得到对应的衰减系数,再根据该衰减系数对频带进行对应程度的衰减;其中,每个高频子带的能量权重由其目标参考能量与云层干扰能量之间的差异所确定。

16、优选地,所述的根据第二图像的畸变程度对滤波强度进行动态调整,具体包括:

17、将第二图像划分为多个区块,计算出每个区块的梯度熵,并根据每个梯度熵将对应的区块标记为强畸变区块或弱畸变区块;

18、分别对各强畸变区块进行离散余弦变换,并根据变换结果中高频成分的比例,计算出各强畸变区块对应的频域畸变度;

19、根据每个区块的梯度熵和频域畸变度,生成对应区块的滤波掩模;其中,弱畸变区块的频域畸变度为0;

20、在对第二图像进行自适应滤波的过程中,根据各区块的滤波掩模对双边滤波器的空间域标准差和色彩域标准差进行第一次动态调整。

21、优选地,所述的根据直升机飞行环境中的气压实时变化对滤波强度进行动态调整,具体包括:

22、采集直升机飞行环境中的实时气压,并根据气压与大气密度之间的关系、以及图像因光线折射而引起的折射畸变量与大气密度和图像梯度幅值之间的关系,计算得到第二图像的折射畸变量;

23、根据第二图像的折射畸变量,计算得到滤波强度修正系数;

24、在对第二图像进行自适应滤波的过程中,当根据各区块的滤波掩模对双边滤波器的空间域标准差和色彩域标准差进行第一次动态调整后,再根据计算得到的滤波强度修正系数对双边滤波器的空间域标准差和色彩域标准差进行第二次动态调整。

25、优选地,所述的深度学习检测网络为yolov5网络,其具有的基于频域约束的、用于限制网络输出高频成分的云层抗干扰损失函数为,该云层抗干扰损失函数的计算公式为:

26、

27、其中:表示卷积运算,为经过卷积操作后输出的特征图,为高频掩模、其包含80hz以上的高频成分、用于对图像中频率高于80hz的部分进行权重调整;

28、在权重更新方面,使用adamw优化算法更新卷积核权重,其更新公式为:

29、

30、其中:为神经网络训练过程中当前时刻未进行迭代更新的原始模型权重,为t时刻完成单次迭代更新后的模型权重,为类别相似度损失函数、用于约束图像内目标类别特征匹配的精准程度,为学习率,为损失函数对权重的梯度,为权重衰减因子;

31、在卷积核内部各个权重像素点的约束方面,采用卷积核的中心权重与边缘权重的比值对各个权重像素点进行约束:

32、

33、其中:为卷积核的权重比值阈值、用于限定边缘权重相对中心权重的最大占比。

34、优选地,所述的将经过自适应滤波后的图像输入深度学习检测网络中进行目标检测,得到目标视觉数据,具体包括:

35、将经过自适应滤波后的图像输入yolov5网络中进行目标检测,输出对应的目标二维特征数据;其中,目标二维特征数据的形式为:2d边界框、类别置信度和关键特征点像素坐标;

36、根据公式,计算出目标二维特征数据中的每个特征点的权重;其中,为各特征点在自适应滤波过程中对应的滤波掩模值;

37、采用pnp算法,将带有权重信息的目标二维特征数据解算为目标三维姿态四元数数据,形成最终的目标视觉数据。

38、优选地,所述的采用卡尔曼滤波算法将目标视觉数据与通过惯性测量单元采集到的目标传感数据进行姿态融合计算,得到直升机最终的抗畸变姿态角速度信息,具体包括:

39、采用四元数卡尔曼滤波算法将均为四元数表示形式的目标视觉数据与通过惯性测量单元采集到的目标传感数据进行融合计算,得到融合姿态四元数;

40、采用李群映射算法对融合姿态四元数作推导运算,最终得到直升机的抗畸变三角姿态角速度。

41、根据本技术的第二个方面,提供了一种基于可见光图像深度学习的直升机飞行姿态探测装置,包括用于实现如前所述的基于可见光图像深度学习的直升机飞行姿态探测方法的模块。

42、根据本技术的第三个方面,提供了一种直升机飞行控制系统,包括如前所述的基于可见光图像深度学习的直升机飞行姿态探测装置。

43、本技术的有益效果为:

44、1、为了解决现有技术中存在的问题,本技术将在直升机飞行过程中获取到的可见光图像进行一系列的特征提取、去噪、畸变校正等优化操作后,得到纯净的、高质量的用于在视觉上体现直升机飞行姿态的视觉数据,然后将该视觉数据与直升机自身的惯性测量单元测量得到的传感数据进行卡尔曼滤波姿态融合,通过在视觉层面与传感层面上的的相互弥补、相互匹配以及共同作用,最后输出稳定、可靠、精准的用于体现直升机飞行姿态的角速度信息,以使得系统能够根据该角速度信息对直升机进行精准的飞行控制。本技术无需获取特定的双目视觉数据,只需采用普通的设备获取到直升机飞行过程中的可见光图像即可,硬件部署难度及成本较低;采用多尺度边缘检测方法,能够对原始图像进行不同尺度的边缘信息捕获,进而能够针对不同的云层类型和光照条件对图像进行有效的边缘提取;对图像进行频域分离和云层干扰抑制,有效地分离出目标信号和干扰信号,提高了目标检测的准确性和鲁棒性;在对图像进行滤波时,根据直升机飞行过程中图像遭遇的畸变程度和气压实时变化对双边滤波器的参数进行动态优化,以使双边滤波器对图像进行不同程度的自适应滤波,特别在高空低压环境下可以通过增强滤波强度有效补偿大气折射引起的几何畸变,确保了后续处理阶段的图像的质量一致性与可靠性;将图像输入深度学习检测网络中后,因为云层抗干扰损失函数的存在,能够进一步地引导网络学习忽略云层引起的伪特征,增强了模型在复杂气象条件下的泛化能力。

45、2、本技术在进行边缘检测时通过设置原始分辨率层、1/2下采样层和1/4下采样层这三层金字塔结构,以及在检测过程中引入了动态阈值机制,有效解决了传统边缘检测方法在卷云薄雾区域产生的梯度断裂问题;动态阈值机制根据局部灰度方差自适应调整检测灵敏度,使系统能够在不同光照条件和云层类型下保持稳定的边缘提取性能;相比传统的边缘检测算法,本方法对云层边缘的连续性检测能力大大提升,确保了直升机轮廓特征在复杂气象条件下的有效保留,为后续姿态识别奠定了准确的视觉基础。

46、3、本技术采用小波包变换与能量加权策略,通过多层次频带分解精准区分直升机目标轮廓与云层噪声的频谱特征;基于目标先验数据库建立的频带能量权重机制,能够识别并强化目标主导的低频子带,同时抑制云层干扰集中的高频成分;衰减系数实现了对不同强度干扰的自适应响应,使系统在云层纹理复杂区域仍能保持目标轮廓的结构完整性,为特征提取提供了噪声抑制后的清晰频域特征。

47、4、本技术结合空间梯度熵与频域畸变度的双重视角评估图像质量,在此基础上又进一步引入气压参数建立物理感知的滤波调整机制;这种空间域、频域与物理参数的三重融合,使系统能够根据图像局部纹理复杂度、频域噪声分布及实时飞行环境,动态优化双边滤波参数;特别是在高空低压环境下,系统通过增强滤波强度有效补偿大气折射引起的几何畸变,确保了后续处理阶段输入图像的质量一致性与可靠性。

48、5、本技术在深度学习检测框架中嵌入了云纹抑制功能,通过频域约束的损失函数引导网络学习忽略云层引起的伪特征,增强了模型在复杂气象条件下的泛化能力;然后采用视觉层面+传感层面的融合策略,将经过多重优化的视觉特征与imu数据进行卡尔曼滤波融合,并结合畸变区域置信度加权,最终输出稳定可靠的三轴角速度估计(也就是三角姿态角速度);整个系统形成了从像素级预处理到高层姿态解算的完整技术链路,在云层干扰、光照变化和飞行姿态快速变动等多重挑战下仍能保持稳定的检测与估计性能。

49、本技术的其它特征和优点将在随后的说明书中进行阐述,并且,部分地从说明书中变得显而易见,或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书以及附图中所指出的内容来实现和获得。