一种基于注意力机制的无人机自主着陆视觉引导方法与流程

技术特征：
1.一种基于注意力机制的无人机自主着陆视觉引导方法，其特征在于，包括步骤如下：步骤一、机载平台安装超低照度夜视宽光谱相机，辅以图像采集与处理端，实现对待降落跑道进行昼间、傍晚和黑夜环境下高清成像，得到跑道在不同姿态、背景及光线下的图像，得到超低照度夜视宽光谱相机采集的跑道图像，并用于后续的图像处理和偏航估计；步骤二、基于步骤一中超低照度夜视宽光谱相机采集的跑道图像，利用深度卷积神经网络对跑道图像进行跑道目标的检测，采用基于侧向卷积的注意力机制对跑道图像特征信息进行提取，所述跑道图像特征信息包括跑道在不同距离即不同尺度跑道图像特征信息提取，得到并融合跑道特征图中的通道和空间特征信息，使得跑道图像特征提取网络更注重于对跑道目标通道和空间特征提取，增强跑道目标检测模型的抗复杂背景的能力，提升跑道目标的检测精度；步骤三、基于步骤二中提取的跑道图像特征信息，采用赋权iou(intersection of union)损失函数对跑道目标进行位置回归，通过对不同尺度跑道目标赋予不同权重，提高跑道目标检测模型对远距离即1km
‑
5km以及中距离即0.2km
‑
1km条件下跑道目标检测性能，实现在远距离条件下跑道目标的准确检测，并得到跑道目标在图像中的位置信息；步骤四、基于步骤三得到的跑道目标在图像中的位置信息，利用跑道中轴线和透视投影原理计算出无人机沿跑道目标着陆区域的偏航角，进而辅助无人机在中距离和远距离下自主着陆中的视觉导航。2.根据权利要求1所述的基于注意力机制的无人机自主着陆视觉引导方法，其特征在于：步骤一中，在机载平台的吊舱中安装超低照度夜视宽光谱相机，能够实现对待降落跑道进行全天候高动态成像，包括白天、傍晚以及黑夜各类复杂环境下均能够实现高清晰度成像，辅以集成高速并行图像采集与嵌入式智能处理终端，实现对跑道目标进行图像采集与数据处理；无人机待降落的跑道目标进入超低照度夜视宽光谱相机可视范围内开启超低照度夜视宽光谱相机与处理终端，实现对待着陆跑道目标实时成像。3.根据权利要求1所述的基于注意力机制的无人机自主着陆视觉引导方法，其特征在于：所述步骤二中，基于侧向卷积的注意力机制由通道注意力模块和空间注意力模块两个模块构成；两个模块分别实现对通道特征和空间特征的自适应提取与调整，采用两个模块并联的方式进行连接，通过跑道目标检测模型的不断学习确定两个模块的权重分布，两个模块均利用特征图重组、转置以及卷积来实现特征图中的通道特征和空间特征的融合和利用；通道注意力模块首先利用池化来降低模块整体的复杂度，再通过对特征图分别沿着长、宽两个方向分别进行不同的特征图重组，实现特征图内空间特征的重构，再经过卷积、归一化操作得到两组空间特征在通道方向上的不同的权重映射，并利用跑道目标检测模型的不断学习和整合两组权重映射；通过通道注意力模块，实现跑道目标检测模型对特征图中通道特征的自适应调整，增强特征图中与跑道定位相关的特征通道的重要性；空间注意力模块采用池化操作，为保留特征图在长或宽方向上的维度信息，分别对特征图在单一宽和长方向上进行池化操作，然后分别对特征图沿着宽和长方向进行特征图重构，实现特征图内空间信息到通道信息的转化，在经过卷积、归一化操作得到特征图分别在宽和长方向上的权重映射，并通过向量运算得到整体特征图在空间上的权重映射结果；通过空间注意力模块，实现跑道目标检测模型对特征图中空间特征的自适应调整，增强特征图中与跑道定位相关的空间特征的重要性。
4.根据权利要求1所述的基于注意力机制的无人机自主着陆视觉引导方法，其特征在于：步骤二中，所述赋权iou损失函数wiou如下：wiou＝1
‑
β
·
iou其中wiou为所提出的赋权iou损失函数，β是所提出的自适应调整的权重系数，公式表示为：其中y为真实标签值，f(x)代表跑道目标检测模型的预测结果，α是所设定的超参数，设置为0.5。5.根据权利要求1所述的基于注意力机制的无人机自主着陆视觉引导方法，其特征在于：所述步骤四具体实现过程如下：设跑道坐标系为oxyz，o
c
x
c
y
c
z
c
为超低照度夜视宽光谱相机坐标系，跑道起始点与终点坐标分别为q
b
、q
e
；跑道起始与终点对应成像点分别为p
b
、p
e
，分别近似为预测检测框的下边界中点和上边界中点，理想跑道成像点为p1、p2，这里取其坐标为图像中心线处坐标即p1＝[0，h/2]
t
，p2＝[0，
‑
h/2]
t
，其中w和h分别代表图像的宽度和高度；跑道目标中轴线起始点在超低照度夜视宽光谱相机坐标系下方向向量为跑道目标中轴线起始点在超低照度夜视宽光谱相机坐标系下方向向量为其中o
c
为超低照度夜视宽光谱相机坐标系原点，p
b
为跑道目标中轴线的起始点图像坐标，p
e
为跑道目标在图像位置中轴线的终点坐标；理想跑道中轴线起始点在超低照度夜视宽光谱相机坐标系方向向量为其中p1为理想跑道中轴线起始点图像坐标，p2为理想跑道中轴线终点图像坐标；相应地，令v＝v1×
v2，u＝u1×
u2，矩阵r为实际跑道到理想跑道位置处变换矩阵，且二者满足v＝r
·
u，其中绕超低照度夜视宽光谱相机坐标系y
c
轴旋转角度即超低照度夜视宽光谱相机需要调整的偏航角度；设绕超低照度夜视宽光谱相机坐标系x轴旋转角为ψ，绕y轴旋转角为θ，绕z轴旋转角为φ，得到矩阵r；超低照度夜视宽光谱相机坐标系下，其中f代表焦距，得到v是沿着x轴的向量：v＝k(1，0，0)
t
；；其中h为跑道目标在图像中位置区域的预测框的大小，f代表超低照度夜视宽光谱相机焦距，u为超低照度夜视宽光谱相机坐标系内方向向量：u＝(x
u
，0，z
u
)
t
，得到，ψ＝φ＝0r退化为，
通过结合上述公式v＝r
·
u得到偏航角θ：

技术总结
本发明公开一种基于注意力机制的无人机自主着陆视觉引导方法，包括基于侧向卷积的注意力机制，能够充分融合图像通道和空间特征信息，且不增加额外参数与计算量，有效提升户外复杂环境下跑道检测准确性；赋权IOU损失函数，通过对小目标赋予更高的损失函数权重，实现远距条件下跑道的准确检测；基于检测出跑道信息，根据透视投影模型计算出偏航角，实现无人机自主着陆中的视觉引导；基于侧向卷积的注意力机制与赋权IOU损失函数嵌入到常规检测网络中，具有通用性，有效提升户外复杂环境中小目标检测精度，并适用于机载嵌入式环境；提高户外复杂光线环境下机场远/中距离跑道的定位能力，增强无人机远距离视觉导航的可靠性和稳定性。性。性。


技术研发人员：潘晓 刘胜同 刘震
受保护的技术使用者：北京航空航天大学
技术研发日：2021.08.18
技术公布日：2021/10/11