基于双路径融合上下文网络的机场跑道小目标分割方法

本发明涉及图像处理，尤其涉及基于双路径融合上下文网络的机场跑道小目标分割方法。

背景技术：

1、随着人民生活水平的提高，飞机成为了人们外出游玩必不可少的交通工具，飞机为人们的生活带来巨大便利的同时也存在着巨大的隐患，天气气候的多变性和不稳定性极大程度上影响了飞机驾驶安全，由此造成的事故不计其数。由国际飞机安全委员会提供的相关统计显示，民用飞机相关飞行事故多半发生在进近着陆阶段，在飞机进近着陆过程中，飞行员需要承受身体和心理上的双重负荷，对于航空飞行器来说同样也是最具挑战性的阶段。

2、为飞机开发先进的智能导航系统已成为现代航空业的一个关键焦点，旨在提高安全性、效率和态势感知能力。机场跑道小目标快速分割识别方法旨在解决当飞行员在飞机进近精准着陆时由于机场目标尺寸变化快，视角变化剧烈，实时性要求高而出现难以准确识别机场跑道目标从而带来安全隐患的问题。

3、目前常用的图像网络算法主要基于深度学习的方法和基于传统算法的方法。基于传统算法的方法主要包括基于边缘检测和模板匹配的方法，并借助canny算子和harris算子角点检测方法，不能快速地检测出跑道及角点信息，不能满足实时性的要求。同时，传统方法结果较差且无法适应细节较多的真实机场跑道场景。

4、关于机场跑道小目标实时分割的深度学习方法仍处于起步阶段，主要基于的深度学习的方法有包括基于yolo-v5算法，基于mask r-cnn的算法，基于deeplabv3语义分割网络的相关算法。然而目前所借助的基础网络模型很难满足实时分割机场跑道及精确检测角点信息的任务，特别是针对远距离机场跑道小目标仍然存在像素点分割不清楚的情况，且分割结果对场景较为依赖，未考虑到复杂环境的干扰。

5、因此，如何设计准确快速的机场跑道场景下的图像分割算法成为当前亟待解决的问题。

技术实现思路

1、本发明的目的是提供基于双路径融合上下文网络的机场跑道小目标分割方法，采用双分支网络结构，细节分支引入基于transformer的长距离注意力模块，增强网络的全局细节感知能力和长距离依赖建模能力；语义分支嵌入混合卷积上下文，提升多维度特征语义信息的提取效率和感受野；训练过程中，结合两种损失函数有效优化语义分割头的输出结果，实现对远距离机场跑道进行实时语义分割的效果。

2、为实现上述目的，本发明提供了基于双路径融合上下文网络的机场跑道小目标分割方法，包括以下步骤：

3、步骤s1、使用摄像头拍摄机场跑道场景视频，控制飞行员的飞行高度在进近着陆阶段的高度区间内；将拍摄的视频抽帧提取，得到机场跑道原始图像，并随机划分为训练数据与测试数据；

4、步骤s2、采用双分支结构的神经网络，构建小目标分割网络模型，其结构包括细节分支，语义分支，指导优化分支以及融合双分支模块；

5、步骤s3、将训练集的远距离机场跑道图片输入至小目标分割网络模型进行训练，通过损失函数优化机场跑道小目标分割网络模型的参数；

6、步骤s4、将原始采集的机场跑道图像输入至训练好的机场跑道小目标分割网络模型当中，得到完成图像分割后的蒙版图像。

7、优选的，在步骤s2中，细节分支，由四层深度可分离卷积层和基于transformer结构的长距离注意力模块组成；

8、首先，将待处理图像输入至细节分支，通过前四层深度可分离卷积层进行细节信息学习和下采样；其中，深度可分离卷积层在使用步长为2的3*3卷积操作的基础上，还引入了dw卷积和pw卷积操作；

9、然后，通过跳跃连接将合并结果输入至基于transformer结构的长距离注意力模块gct，使得细节分支拥有长距离全局上下文信息捕捉能力。

10、优选的，基于transformer结构的长距离注意力模块的具体实现过程如下：

11、对于一个大小为h*w*3的图像，将其划分为大小为4*4的图像块；transformer模块中的q、k、v的维度是n*c，其中n大小为h*w，即为序列长度，高效多头自注意力机制允许模型关注序列当中不同维度的信息，且能够并行捕捉局部和全局特征、物体关系、纹理的多重特征信息，提高模型对图像的理解能力，如下所示：

12、；

13、其中，是指查询矩阵；是指键矩阵；是指值矩阵；表示查询、键、值向量的维度，起到缩放因子的作用；对每个查询维度进行归一化；h为图像高度；w为图像宽度；c为通道数；

14、为了减少计算量，对的大小进行变换，首先经过reshape变为（，)大小，每个注意力头序列的大小变为，如下所示：

15、；

16、其中，是指变换结果；是指将向量结果重新变换大小形状；是指形状缩放因子；是指向量序列数量；

17、然后，通过concat来整合不同维度的上下文信息，最后经过linear层将通道数改变为c，如下所示：

18、；

19、其中，是指变换通道数的操作。

20、优选的，语义分支，由一个stem层及三个gel层组成，接入混合卷积上下文模块进行多方位多尺度特征语义提取；

21、stem层是为了将图片进行下采样和特征学习，被安排在语义分支第一层，分为两路进行下采样及特征学习；分别采用3*3卷积层和最大池化层进行有效下采样；

22、gel层是聚集扩展层，包括一个跳跃连接结构，分为两路进行处理；其中一路先经过3*3卷积将特征映射到更高维，设置步长为2，并连续采用两个3*3深度卷积作用在每个单独输出通道上，增加语义分支感受野，最后用1*1卷积将特征图投射到低通道空间，并与另一路dw卷积和1*1卷积组成的残差结构进行连接；

23、混合卷积上下文模块，通过深度可分离卷积层、2个空洞卷积层和非对称卷积层构成，用于提升网络的计算效率和感受野大小。

24、优选的，混合卷积上下文模块，采用深度可分离卷积和e-net网络所提出的非对称卷积，提升计算效率；深度可分离卷积，将标准卷积分解为dw深度卷积和pw点卷积，在通道数较多时，将dw卷积和pw卷积进行组合，并采用spatial dropout策略降低计算量；

25、多尺度深度可分离卷积层，利用三个卷积核大小分别为1*1、3*3、5*5的dw卷积模块计算不同感受野的特征，实现感受野的提升；将特征图在通道维度进行拼接后，使用pw卷积降维到原始通道数，经过relu激活函数后与原始输入特征相加得到特征图。

26、优选的，混合卷积上下文模块，还采用空洞卷积和非对称卷积；

27、其中，空洞卷积在不损失特征图分辨率的前提下提升语义分支的感受野，采用2和4两种空洞率捕获输入图像不同尺度的上下文信息；

28、在第一个空洞卷积层之后再添加一个空洞卷积层，并采用交错增长的空洞率序列，使得后续的空洞卷积层能够采样到前一层跳过的像素；

29、非对称卷积，帮助语义分支捕捉不同方向和尺度的特征，其卷积核为1*7和7*1大小。

30、优选的，指导优化分支，由多种损失函数组成，具体包括中值频率平衡交叉熵损失函数和对数尺度不变损失函数；

31、中值频率平衡交叉熵损失函数，如下所示：

32、；

33、其中，表示种类数；通过0或者1表示在处像素是否为第类；表示像素为第类的概率；表示分配给类的中值频率权重；

34、对数尺度不变损失函数，如下所示：

35、；

36、其中，表示第i个样本的真实值；表示第i个样本的预测值；表示样本总数量；避免平方根为零；

37、总损失函数，如下所示：

38、；

39、其中，和为两种损失函数的混合权重。

40、优选的，融合双分支，用于接收并处理细节分支和语义分支的信息；

41、对于细节分支进行处理得到两种特征图像，一个通过深度可分离卷积层处理得到特征图，另一个是经过卷积层及平均池化层将特征图宽和高分别缩小4倍，作为权重与语义分支特征图进行点乘；

42、对于语义分支进行处理同样得到两种特征图像，一个与细节分支处理相同得到特征图，另一个是经过上采样将特征图像大小恢复为用于与细节分支特征图结果进行点乘；

43、最后，将两部分信息进行直接相加得到最后的融合结果。

44、优选的，在步骤s3中，将训练集的远距离机场跑道图片输入至小目标分割网络模型进行训练，通过损失函数优化机场跑道小目标实时分割网络模型的参数，具体过程如下：

45、步骤s31、在pytorch2.0框架基础上，对小目标分割网络模型进行搭建，将训练集的远距离机场跑道图像输入至网络中，并在gpu上进行训练；

46、步骤s32、在训练时将图像随机裁剪至256*256，并同时加入上下翻转、水平翻转的数据增强操作；

47、设置训练的批量大小为16，使用adam优化器，初始学习率设置为2×10-4，使用余弦学习率衰减策略，学习率逐渐衰减至初始学习率的0.01倍；

48、步骤s33、将机场跑道小目标分割网络模型进行训练，通过指导优化分支的损失函数不断优化模型，得到模型的最终权重参数。

49、因此，本发明采用上述基于双路径融合上下文网络的机场跑道小目标分割方法，有益效果如下：

50、（1）本发明提出的机场跑道小目标实时分割方法，很好地适应了飞机在进近着陆阶段所遇到的远距离小目标分割不准确的难题，该架构通过同时利用局部特征和全局上下文信息，能够更全面地捕捉目标的细节和背景信息，从而提高小目标的分割精度；还为航空安全提供了更为可靠的技术支持，具有广泛的应用前景和重要的实际意义。

51、（2）本发明在细节分支中通过跳跃连接将结果输入至基于transformer结构的长距离注意力模块，增强了网络的全局细节感知上下文提取能力；在语义分支中，通过stem模块和gel模块逐步捕捉语义信息然后通过混合卷积上下文模块捕捉图像中的多维度特征语义信息。

52、（3）本发明针对机场跑道场景复杂的特点设计了指导优化分支中的损失函数，优化了机场跑道小目标分割结果，并利用融合双分支结构有效利用了细节分支和语义分支的特征信息，提升了网络的全局感受野。

53、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。