一种基于注意力机制的无人机自主着陆视觉引导方法与流程

1.本发明涉及无人机视觉导航的技术领域，具体涉及一种基于注意力机制的无人机自主着陆视觉导航方法。


背景技术：

2.无人机由远距离飞行到着陆区的整个过程中，当无人机在当前视图中检测到目标跑道时，可根据跑道在图像中的位置调整飞行方向，确保着陆前保持正确飞行方向。因此，跑道的实时定位和航向估计是实现无人机视觉导航的前提。基于传统特征的跑道检测已经不能满足各种复杂场景的应用需求。基于深层特征的目标检测算法已经被广泛应用于工业缺陷检测等领域。然而基于深度学习的跑道检测仍然具有挑战性。由于外界环境干扰和光线变化，跑道颜色保真度和对比度会丧失，因此跑道特征会变得模糊不清。同时各种图像尺寸和成像角度会改变跑道原有特征信息，从而导致探测器漏检或误检跑道。在远距离下的跑道具有小目标特征，许多详细特征丢失，只能提供有限的特征。这些因素阻碍了可靠实用的无人机视觉导航系统的实现。
3.无人机远程视觉导航分为三个部分，图像采集、跑道检测和偏航角计算，主要目的是在复杂环境下准确高效地检测出跑道，并计算无人机偏航角用于无人机自主着陆视觉引导。其中跑道目标检测由两部分构成，分别为侧向注意力机制和和赋权iou损失函数组成，偏航角计算基于检测得到跑到目标在图像中位置信息计算得出目前无人机相对跑道坐标系下偏航角，最后无人机利用该偏航角来调整自身姿态参数。现有注意力机制使检测器聚焦于目标的本质特征，以有效提高模型的抗干扰能力，它们有助于增强相关特征的表述能力，即关注基本特征，同时抑制不必要的特征。然而现有注意力机制仍然有缺点：第一，大多数现有通道注意力模块都经过全局池化，如“squeeze
‑
and
‑
excitation networks”和“sa
‑
net:shuffle attention for deep convolutional neural networks”，然后使用各种策略进行特征转换或加强，但它们不可避免地会导致大量特征的丢失；第二，大多数现有空间注意力模块，如“cbam:convolutional block attention module”和“sa
‑
net:shuffle attention for deep convolutional neural networks”，是通过压缩通道信息或使用空间统计来构建的。它们是使用单一维度构建的，没有结合来自其他维度的相邻信息；第三，现有注意力机制不能同时将参数和计算量保持在较低的水平，从而限制了在资源有限的嵌入式平台中的应用。
4.综上，采用现有注意力机制的无人机自主着陆视觉引导方法在现场复杂光线环境的情况下尤其跑道在远距离即跑道目标占图像比例较小时的检测精度较低。


技术实现要素：

5.本发明解决的技术问题包括，提供一种基于侧向注意力机制的无人机自主着陆视觉引导方法，充分融合图像通道和空间特征信息，且不增加额外参数与计算量，能够在现场复杂光线环境的情况下尤其跑道实现远/中距离条件下的高精度检测，进而完成无人机自
主着陆中远/中距离下的视觉导航，有效提升户外复杂环境下跑道检测准确性。
6.为达到上述目的，本发明的技术方案是这样实现的：
7.一种基于注意力机制的无人机自主着陆视觉引导方法，该方法包括：
8.步骤一、机载平台安装超低照度夜视宽光谱相机(光谱响应范围达400nm
‑
1200nm)，辅以图像采集与处理端，实现对待降落跑道进行昼间、傍晚和黑夜环境下高清成像，得到跑道在不同姿态、背景及光线下的图像，得到超低照度夜视宽光谱相机采集的跑道图像，并用于后续的图像处理和偏航估计；
9.步骤二、基于步骤一中超低照度夜视宽光谱相机采集的跑道图像，利用深度卷积神经网络对跑道图像进行跑道目标的检测，采用基于侧向卷积的注意力机制对跑道图像特征信息进行提取，所述跑道图像特征信息包括跑道在不同距离即不同尺度跑道图像特征信息提取，得到并融合跑道特征图中的通道和空间特征信息，使得跑道图像特征提取网络更注重于对跑道目标通道和空间特征提取，增强跑道目标检测模型的抗复杂背景的能力，提升跑道目标的检测精度；
10.步骤三、基于步骤二中提取的跑道图像特征信息，采用赋权iou(intersection of union)损失函数对跑道目标进行位置回归，通过对不同尺度跑道目标赋予不同权重，提高跑道目标检测模型对远距离(1km
‑
5km)以及中距离(0.2km
‑
1km)条件下跑道目标检测性能，实现在远距离条件下跑道目标的准确检测，并得到跑道目标在图像中的位置信息；
11.步骤四、基于步骤三得到的跑道目标在图像中的位置信息，利用跑道中轴线和透视投影原理计算出无人机沿跑道目标着陆区域的偏航角，进而辅助无人机在中距离和远距离下自主着陆中的视觉导航。
12.所述步骤一中，在机载平台的吊舱中安装超低照度夜视宽光谱相机，能够实现对待降落跑道进行全天候高动态成像，包括白天、傍晚以及黑夜各类复杂环境下均能够实现高清晰度成像，辅以集成高速并行图像采集与嵌入式智能处理终端，实现对跑道目标进行图像采集与数据处理，具有小型化、低功耗、高吞吐量优点，适用于机载等嵌入式；无人机待降落的跑道目标进入超低照度夜视宽光谱相机可视范围内开启超低照度夜视宽光谱相机与处理终端，实现对待着陆跑道目标实时成像，为后续跑道定位与视觉导航奠定基础。
13.所述步骤二中，基于侧向卷积的注意力机制，采用卷积的空间通用性和通道特异性来重建跑道图像特征图，从而实现通道
‑
空间或空间内的重新排列，并利用卷积实现通道和空间特征的有效融合方法如下：
14.(1)基于侧向卷积的注意力机制几乎不增加模型的参数和计算量，同时保留丰富的特征并有效融合通道和空间特征，主要包括两个注意力模块：通道注意力模块(cam)和空间注意力模块(pam)；
15.(2)通道注意力模块中通过对特征图进行池化，将特征图分别在横纵方向分组，转置后对其进行卷积得到其在通道方向的权重映射，整合两组权重对特征通道赋予不同权重来强化相关特征信息通道并抑制无关特征信息通道，进而模型实现通道特征响应的自适应调整；
16.(3)空间注意力模块中通过对特征图分别沿横纵方向上进行池化分组，转置后对齐进行卷积得到在横纵方向上的最大响应值，整合两组权重对特征图进行加权融合。空间注意力模块能够结合周边信息和相邻通道信息提高对感兴趣区域的表述能力；
17.(4)提出的基于侧向卷积的方式来构建通道注意力机制，在几乎不增加原模型参数量和计算量的前提下实现对大量特征信息的充分利用。
18.所述基于侧向卷积的注意力机制由通道注意力模块和空间注意力模块两个模块构成；两个模块分别实现对通道特征和空间特征的自适应提取与调整，采用两个模块并联的方式进行连接，通过跑道目标检测模型的不断学习确定两个模块的权重分布，两个模块均利用特征图重组、转置以及卷积来实现特征图中的通道特征和空间特征的融合和利用；通道注意力模块首先利用池化来降低模块整体的复杂度，再通过对特征图分别沿着长、宽两个方向分别进行不同的特征图重组，实现特征图内空间特征的重构，再经过卷积、归一化操作得到两组空间特征在通道方向上的不同的权重映射，并利用跑道目标检测模型的不断学习和整合两组权重映射；通过通道注意力模块，实现跑道目标检测模型对特征图中通道特征的自适应调整，增强特征图中与跑道定位相关的特征通道的重要性；
19.空间注意力模块同样采用池化操作，为保留特征图在长或宽方向上的维度信息，分别对特征图在单一宽和长方向上进行池化操作，然后分别对特征图沿着宽和长方向进行特征图重构，实现特征图内空间信息到通道信息的转化，在经过卷积、归一化操作得到特征图分别在宽和长方向上的权重映射，并通过向量运算得到整体特征图在空间上的权重映射结果；通过空间注意力模块，实现跑道目标检测模型对特征图中空间特征的自适应调整，增强特征图中与跑道定位相关的空间特征的重要性。
20.所述步骤二中，赋权iou损失函数，实现不同尺度目标权重的自适应调节；
21.(1)借鉴了n范数损失中损失函数与目标尺寸大小具有关联性，基于此设计了权重参数的计算模式；
22.(2)wiou充分考虑目标大小与损失函数的关联性，确保小目标的赋予更大权重；
23.所述赋权iou损失函数wiou如下：
24.wiou＝1
‑
β
·
iou
25.其中wiou为所提出的赋权iou损失函数，β是所提出的自适应调整的权重系数，公式表示为：
[0026][0027]
其中y为真实标签值，f(x)代表跑道目标检测模型的预测结果，α是所设定的超参数，设置为0.5，用于避免模型在训练初期由于预测结果和真实标签差异太大导致无法收敛。
[0028]
wiou方便移植到已有iou类损失框架中，实现损失函数自适应调节，wiou具有以下性质：
[0029]
(1)设计包含自适应参数的赋权iou损失函数，实现不同尺度目标权重的自适应调节；
[0030]
(2)借鉴了n范数损失中损失函数与目标尺寸大小具有关联性，基于此设计了权重参数的计算模式；
[0031]
(3)wiou充分考虑目标大小与损失函数的关联性，确保小目标的赋予更大权重；
[0032]
(4)wiou具有通用性，可以有效、方便的嵌入到已有的iou类损失框架中。
[0033]
所述步骤四中，基于步骤三得到的跑道目标在图像中的位置信息，进而提取跑道中轴线图像坐标，根据超低照度夜视宽光谱相机内参数，参考跑道图像在相机中理想位置下的信息，解算出无人机在跑道坐标下的偏航角度，实现无人机远/中距离自主着陆视觉导航，具体过程如下所下：
[0034]
设跑道坐标系为oxyz，x
c
o
c
y
c
为超低照度夜视宽光谱相机坐标系，跑道起始点与终点坐标分别为q
b
、q
e
；跑道起始与终点对应成像点分别为p
b
、p
e
，分别可以近似为预测检测框的下边界中点和上边界中点，理想跑道成像点为p1、p2，这里取其坐标为图像中心线处坐标即p1＝[0，h/2]
t
，p2＝[0，
‑
h/2]
t
，其中w和h分别代表图像的宽度和高度；
[0035]
跑道目标中轴线起始点在超低照度夜视宽光谱相机坐标系下方向向量为跑道目标中轴线起始点在超低照度夜视宽光谱相机坐标系下方向向量为其中o
c
为超低照度夜视宽光谱相机坐标系原点，p
b
为跑道目标中轴线的起始点图像坐标，p
e
为跑道目标在图像位置中轴线的终点坐标；理想跑道中轴线起始点在超低照度夜视宽光谱相机坐标系方向向量为其中p1为理想跑道中轴线起始点图像坐标，p2为理想跑道中轴线终点图像坐标；
[0036]
相应地，令v＝v1×
v2，u＝u1×
u2，矩阵r为实际跑道到理想跑道位置处变换矩阵，且二者满足v＝r
·
u，其中绕超低照度夜视宽光谱相机坐标系y
c
轴旋转角度即超低照度夜视宽光谱相机需要调整的偏航角度；
[0037]
设绕超低照度夜视宽光谱相机坐标系x轴旋转角为ψ，绕y轴旋转角为θ，绕z轴旋转角为φ，可以得到旋转矩阵r。超低照度夜视宽光谱相机坐标系下，角为φ，可以得到旋转矩阵r。超低照度夜视宽光谱相机坐标系下，其中f代表焦距，得到v是沿着x轴的向量：v＝k(1，0，0)
t
。
[0038]
由于跑道目标在远距离时成像所占整个图像比例较小，因此近似为：
[0039][0040][0041]
其中h为跑道目标在图像中位置区域的预测框的大小，f代表超低照度夜视宽光谱相机焦距。令u为超低照度夜视宽光谱相机坐标系内方向向量：u＝(x
u
，0，z
u
)
t
，可得到，
[0042]
ψ＝φ＝0
[0043]
r退化为，
[0044][0045]
通过结合上述公式v＝r
·
u得到偏航角θ：
[0046][0047]
本发明与现有技术相比的优点在于：
[0048]
(1)本发明首先提出一种基于侧向卷积的注意力机制，大多数先进的通道注意力模块都经过全局池化，然后使用各种策略进行特征转换或加强，但它们不可避免地会导致
大量特征的丢失，而在构建侧向卷积的注意力机制时，避免使用全局池和全连接层，利用卷积块的空间通用性和通道特异性来利用更多特征。第二，大多数先进的空间注意力模块，是通过压缩通道信息或使用空间统计来构建的。它们是使用单一维度构建的，没有结合来自其他维度的相邻信息。而侧向卷积的注意力机制进行了通道特征和空间特征的重排列和空间特征内部的重排列，有利于多维度信息的融合。第三，先进的注意力机制不能同时将参数和计算量保持在较低的水平，从而限制了它们在资源有限的嵌入式平台中的应用。而侧向卷积的注意力机制则同时可以将计算量和参数量平衡在较低的水平。
[0049]
(2)本发明提出一种赋权iou损失函数(weighted iou loss)，当前已有方法利用iou的尺度不变特征赋予模型对目标大小变化具有较好的鲁棒性，但在对于小目标检测时仍然存在不足。本发明中借鉴了n范数损失中损失函数与目标尺寸大小具有关联性，通过对小目标赋予更高的损失函数权重，可实现在远距离下对小目标的定位，使得模型对小目标的检测性能得到进一步的提升。
[0050]
(3)基于上述方法实现在复杂背景下对远距离跑道的定位，再根据透视投影模型计算出偏航角，可实现无人机自主着陆中的视觉引导。基于传统特征的跑道检测已经不能满足各种复杂场景的应用需求。基于深层特征的目标检测算法已经被广泛应用于工业缺陷检测等领域。然而基于深度学习的跑道检测仍然具有挑战性。由于外界环境干扰和光线变化，跑道颜色保真度和对比度会丧失，因此跑道特征会变得模糊不清。同时各种图像尺寸和成像角度会改变跑道原有特征信息，从而导致探测器漏检或误检跑道。在远距离下的跑道具有小目标特征，许多详细特征丢失，只能提供有限的特征。这些因素阻碍了可靠实用的无人机视觉导航系统的实现。而所提方法可有效提升户外复杂环境中小目标检测精度，并可适用于机载嵌入式环境；同时该技术可提高户外复杂光线环境下机场中距离和远距离下对跑道目标的定位能力，增强无人机远距离视觉导航的准确性和稳定性。
附图说明
[0051]
图1为本发明一种基于注意力机制的无人机自主着陆视觉引导方法流程图；
[0052]
图2为无人机自主着陆远程视觉导航过程框架图；
[0053]
图3为侧向注意力机制示意图；
[0054]
图4为通道注意力模块结构图示意图；
[0055]
图5为空间注意力模块结构图示意图；
[0056]
图6为偏航角计算原理示意图。
具体实施方式
[0057]
本发明的基本思想是：提出一种基于侧向卷积的注意力机制，能够充分融合图像通道和空间特征信息，且不增加额外参数与计算量，有效提升户外复杂环境下跑道检测准确性；其次提出一种赋权iou损失函数(weighted iou loss)，通过对小目标赋予更高的损失函数权重，可实现远距条件下跑道的准确检测；最后基于检测出跑道信息，根据透视投影模型计算出偏航角，可实现无人机自主着陆中的视觉引导。
[0058]
下面以无人机自主着陆视觉导航系统为例，对本发明作进一步详细说明。
[0059]
如图1所示，本发明基于注意力机制的无人机自主着陆视觉引导方法流程主要包
括以下步骤：
[0060]
步骤11：在机载平台吊舱安装超低照度夜视宽光谱相机，可实现全天候高动态成像，辅以集成高速并行图像采集与嵌入式智能处理终端；待飞机降落前跑道目标可视范围内开启超低照度夜视宽光谱相机与处理终端，实现对待着陆跑道目标的实时成像。在获取包含跑道的图像后，利用定位模块实现对跑道区域的定位，并将定位结果输入到视觉导航模块中，为无人机的偏航角的计算与修正奠定基础，实现整体视觉导航流程。
[0061]
这里采用fpga并行图像采集与智能处理终端，作为无人机自主着陆视觉引导系统的处理核心装置；采用超低照度夜视宽光谱相机，实现机场跑道的全天候成像，确保在复杂天气环境下能够及时捕获机场跑道，为后续自主着陆视觉引导奠定重要基础。
[0062]
步骤12：图像特征提取过程中为了给模型训练提供更为有效的训练方案，采用与centernet“x.zhou，d.wang，and p.kr
¨
ahenb
¨
uhl，“objects as points，”arxiv preprint arxiv：1904.07850，2019.”作者完全一样方式的数据增强，具体来说将输入图像resize为512
×
512分辨率，然后进行随机翻转、随机缩放(0.6
‑
1.3)、裁剪和颜色抖动等。初始学习率的设置与梯度下降参考centernet进行设置，训练批次设置为16，并进行800个周期的训练，在第300、500和650个周期时设置学习速率下降10倍。
[0063]
步骤13：如图3所示为基于侧向卷积的注意力机制，其中包括通道注意力模块与空间注意力模块，两个模块采用并联的方式进行连接，并最终通过模型的不断学习确定两个模块的权重分布。两个模块均利用了卷积的空间通用性和通道特异性来重建特征图，从而实现通道
‑
空间或空间内的重新排列，并利用卷积实现通道和空间特征的有效融合。
[0064]
步骤131：如图4所示为通道注意力模块结构图。对特征图的池化和分组操作是保证模型参数和计算量优于现有方法的关键，从图中可以看到给定输入特征图a∈r
c
×
h
×
w
，首先通过池化操作和分组操作得到可以a2∈r
c
×
(hg/p)
×
(w/gp)
和a3∈r
c
×
(h/gp)
×
(wg/p)
，通过池化和分组操作可以将模型的数量减小到原来1/pg，计算量降低到原来的1/p2，有效降低了模型的复杂度。
[0065]
将a2、a3转置分别得到新的特征图b∈r
(w/gp)
×
(hg/p)
×
c
以及d∈r
(h/gp)
×
(wg/p)
×
c
。以特征图b计算流程为例，对特征图b沿着原w方向进行卷积：
[0066]
e＝σ(w3×3*b b)
ꢀꢀꢀ
(1)
[0067]
其中w3×3表示可训练参数，b代表偏差，σ代表relu激活函数。
[0068]
将特征图e沿着h方向计算最大响应值得到特征图b在c方向上的最大响应f∈r1×
c
：
[0069][0070]
f
i
代表矩阵f第i列的数值，代表矩阵e第二维度序列为i第三维度序列为j的列元素，f中每个数值代表了在充分结合空间和通道信息后对应特征层内特征的最大响应。
[0071]
再通过softmax计算最终在c方向上的映射为g∈r
c
×1×1：
[0072][0073]
g
n
表示经过softmax归一化后第n层特征图对应的特征响应。
[0074]
特征图d的计算流程与特征图b计算流程类似，可以得到在c方向上的映射j∈r
c
×1×1，引入两个可变化的影响因子将g与j进行加权后和处理，采用残差结构将经过通道处理
后的特征图与原特征图a进行结合，得到最终经过通道注意力机制的输出k∈r
c
×
h
×
w
：
[0075]
k
m
＝a
m
(α1·
g
m
α2·
j
m
) a
m
(m＝1，2，3
…
c)
ꢀꢀꢀ
(4)
[0076]
其中k
m
是经过通道注意力机制调整后的第m层特征图的输出结果，a
m
是第m层原始输入特征图，g
m
和j
m
是分别通过不同通道后第m层的特征响应值，α1和α2是分别对应特征响应通道g和j的权重因子，初始化均设置为0，随着模型的不断学习得到最优值。通过对特征通道赋予不同权重来强化相关特征信息通道并抑制无关特征信息通道，进而模型实现通道特征响应的自适应调整。
[0077]
步骤132：如图5所示为空间注意力模块，与通道注意力模块不同，为了不损失在h方向上的权重系数，只将特征图a∈r
c
×
h
×
w
沿着w方向进行池化操作后进行分组得到a2∈r
(cg)
×
h
×
(w/pg)
，同理可得到特征图a4∈r
(cg)
×
(h/pg)
×
w
。a2、a4通过两种不同的转置方式分别得到两个新的特征图b∈r
(w/pg)
×
h
×
cg
以及d∈r
(h/pg)
×
w
×
cg
，通过对b和d的卷积、softmax等一系列操作后分别获得特征图在h和w方向上的权重分布。以计算h方向的权重分布为例，对特征图b沿着原w方向进行卷积：
[0078]
e＝σ(w3×3*b b)
ꢀꢀꢀ
(5)
[0079]
其中f表示可训练参数，b代表偏差，σ代表relu激活函数。
[0080]
将特征图e沿着原c方向计算最大响应值，得到特征图b在h方向上的最大响应值f∈r
h
×1：
[0081][0082]
这里f
i
代表矩阵f第i行的数值，代表矩阵e第一维度序列为i且第三维度序列为j的行元素。f中每个数值代表了特征图a在充分结合空间和通道信息后对应h方向的特征的最大响应。
[0083]
最后利用softmax来计算最终在h方向上的映射为g∈r1×
h
：
[0084][0085]
g
n
表示经过softmax归一化后在h方向上对应的特征响应。
[0086]
特征图d在w方向上的映射计算方法与h方向上计算映射类似，可得到w方向上的映射为j∈r
w
×1，通过矩阵运算可以得到空间权重图s∈r
h
×
w
，将该权重图与特征图a相乘提高目标在局部特征上的表述能力。同时引入一个可变参数因子，采用残差结构将经过空间自适应处理后的特征图与原始特征图a进行结合，最终的输出结果k∈r
c
×
h
×
w
：
[0087]
k
m
＝α
·
(s
·
a
m
) a
m
(k＝1，2，3
…
c)
ꢀꢀꢀ
(8)
[0088]
其中k
m
是经过空间注意力机制调整后的第m层特征图的输出结果，a
m
是原始第m层输入特征图，s是空间权重分布图，α是可学习的参数，初始值设为0。空间注意力模块能够结合周边信息和相邻通道信息提高对感兴趣区域的表述能力。
[0089]
步骤14：加载赋权iou损失函数。损失函数有助于精确回归，这直接决定了最终的检测效果。n范数损失函数通常用于包围盒回归，但是它们对不同的尺度较为敏感。因此，本发明提出了一种weighted iou loss(wiou)损失函数，wiou根据惩罚项的不同还可以扩展为wgiou、wdiou等。wiou损失函数对于基于centernet以及一些包含预定位的目标检测算法具有较好友好性，且具有一定通用性。基于wiou的损失函数定义为：
[0090]
l(β)＝1
‑
wiou＝1
‑
β(iou
‑
r(b，b
gt
)
ꢀꢀꢀ
(10)
[0091]
其中β为引入的权重因子，它需要同时满足以下几个条件：
[0092]
(1)损失函数l(β)非负，即β(iou
‑
r(b，b
gt
))≤1；
[0093]
(2)β应该同时满足l
s
(β)＞l
b
(β)且β
s
＜β
b
，即iou
‑
r(b，b
gt
)≥0；
[0094]
(3)当两个检测框b与b
gt
非常接近时，β
→
1，即
[0095]
借鉴了n范数损失中损失函数与目标尺寸大小具有关联性，基于此设计了
[0096][0097]
其中y为真实标签，f(x)为对样本的预测值，α是超参数，避免模型在训练初期由于f(x)过小导致无法收敛的问题。
[0098]
wiou作为新的度量具有以下性质：
[0099]
(1)wiou保留了原有度量的所有性质，如非负性、不可辨识性、可对称性以及三角形不等式等；
[0100]
(2)wiou充分考虑到被测目标的大小与损失函数的关联性；
[0101]
(3)wiou方便移植到已有的iou类损失框架上；
[0102]
(4)wiou具有通用性，可以有效、方便的嵌入到已有的iou类损失框架中。
[0103]
步骤15：基于步骤12
‑
14实现跑道数据集的训练后，代入新采集跑道图像进行跑道目标检测，返回跑道在图像中的位置信息。
[0104]
步骤16：如图6为偏航角计算与远程视觉引导过程。基于已检测到的跑道信息，远程视觉导航就开始在无人机自主着陆中发挥重要作用。其中偏航角在整个过程中起着至关重要的作用，因为它决定了着陆的方向，并确保无人机最终将在准确的区域着陆。因此，在远程视觉导航中，计算偏航比计算俯仰和滚转更重要。
[0105]
设跑道坐标系为oxyz，x
c
o
c
y
c
为超低照度夜视宽光谱相机坐标系，跑道起始点与终点坐标分别为q
b
、q
e
；跑道起始与终点对应成像点分别为p
b
、p
e
，分别可以近似为预测检测框的下边界中点和上边界中点，理想跑道成像点为p1、p2，这里取其坐标为图像中心线处坐标即p1＝[0，h/2]
t
，p2＝[0，
‑
h/2]
t
，其中h为图像高度；
[0106]
令跑道成像在超低照度夜视宽光谱相机坐标系下方向向量为理想跑道点在超低照度夜视宽光谱相机坐标系方向向量为
[0107]
令v＝v1×
v2，u＝u1×
u2，矩阵r为实际跑道到理想跑道位置处变换矩阵，且二者满足v＝r
·
u，其中绕超低照度夜视宽光谱相机坐标系y
c
轴旋转角度即超低照度夜视宽光谱相机需要调整的偏航角度。
[0108]
设绕着x轴旋转ψ角，绕y轴旋转θ角，绕z轴旋转φ角，可以得到旋转矩阵r定义为：
[0109][0110]
上述分析可知在超低照度夜视宽光谱相机坐标系下，其中f代表焦距，得到v是沿着x轴的向量：v＝k(1，0，0)
t
[0111]
由于远距离时被测检测框较小，因此可以近似认为
[0112][0113][0114]
其中w和h分别代表图像的宽度和高度，h代表预测框的大小，f代表焦距。可以得到u是在x
c
o
c
y
c
内方向向量：u＝(x
u
，0，z
u
)
t
，可得，
[0115]
ψ＝φ＝0
ꢀꢀꢀ
(14)
[0116]
r退化为，
[0117][0118]
通过结合公式(12)
‑
(16)，根据v＝r
·
u可得，
[0119]