一种无人机航拍图像视觉定位方法及系统

本发明涉及图像处理，尤其涉及一种无人机航拍图像视觉定位方法及系统。

背景技术：

1、视觉定位作为无人机具身智能感知系统的核心技术之一，是解决智能系统在复杂开放环境中根据自然语言指令精准识别并锁定目标的重要方法，视觉定位利用跨模态学习算法，旨在消除不同模态之间的语义差异，建立非结构化文本描述和图像特定实体之间边界框或像素级的细粒度映射关系。

2、跨模态视觉定位的主要挑战是如何在视觉表征与自然语言语义之间实现高效对齐并进行准确的空间推理；现有的大多数主流视觉定位方法在常规视角的自然图像场景中已取得显著进展，但无人机航拍场景存在由飞行高度引起的剧烈尺度变化，以及大视场角下同类目标的高密度聚集等客观挑战，现有的跨模态融合方法普遍存在过度依赖全局扁平化映射的问题，粗略地将多尺度特征直接展平交互，容易导致极小目标的细粒度特征在深层网络中被高阶抽象语义稀释，造成语义偏移与对齐偏差，此外，现有多模态模型多单纯依赖数据驱动的隐式表观特征匹配，缺乏对目标实体间空间拓扑结构的显式建模，导致在面对视觉外观高度相似的密集目标集群时，极易引发实例级的定位歧义与匹配失效，从而导致无人机航拍图像视觉定位的准确率不高。

技术实现思路

1、有鉴于此，有必要提供一种无人机航拍图像视觉定位方法及系统，用以解决无人机航拍图像视觉定位的准确率不高的技术问题。

2、为了解决上述问题，第一方面，本发明提供一种无人机航拍图像视觉定位方法，用于基于构建的航拍图像视觉定位模型对待定位的航拍图像进行视觉定位，所述航拍图像视觉定位模型包括双流特征提取模块、跨尺度双向协同特征对齐模块、语义引导的目标查询解码器以及空间关系自适应模块；

3、所述无人机航拍图像视觉定位方法，包括：

4、基于所述双流特征提取模块对所述航拍图像以及与所述航拍图像对应的自然语言文本指令进行特征提取，获得多尺度视觉特征和文本特征；

5、基于所述跨尺度双向协同特征对齐模块对所述多尺度视觉特征以及文本特征进行对齐，得到对齐后的跨模态视觉特征以及对齐后的文本特征；

6、基于所述语义引导的目标查询解码器对所述跨模态视觉特征以及对齐后的文本特征进行解码，得到候选目标的预测边界框以及与所述预测边界框对应的目标查询特征；

7、基于所述空间关系自适应模块对所述预测边界框以及目标查询特征进行融合，生成综合关系图谱，基于所述对齐后的文本特征对所述综合关系图谱进行推理，获得无人机航拍图像最终的目标边界框。

8、在一种可能的实现方式中，所述双流特征提取模块包括视觉主干网络、文本主干网络，所述基于所述双流特征提取模块对所述航拍图像以及与所述航拍图像对应的自然语言文本指令进行特征提取，获得多尺度视觉特征和文本特征，包括：

9、基于所述视觉主干网络对所述航拍图像进行分块与层级特征提取，获得多尺度视觉特征；

10、基于所述文本主干网络对所述自然语言文本指令进行序列化编码，获得文本特征。

11、在一种可能的实现方式中，所述基于所述跨尺度双向协同特征对齐模块对所述多尺度视觉特征以及文本特征进行对齐，得到对齐后的跨模态视觉特征以及对齐后的文本特征，包括：

12、对所述多尺度视觉特征进行动态切分，获得多个尺度特征序列；

13、基于全连接层对所述多个尺度特征序列进行映射，得到多个视觉查询向量；

14、基于全连接层对所述文本特征进行映射，得到文本特征的键向量和值向量，对所述多个视觉查询向量、文本特征的键向量和值向量进行交叉注意力计算，生成多个增强视觉序列，对所述多个增强视觉序列进行拼接组合，得到初步跨模态对齐的视觉特征；

15、基于全连接层对文本特征进行映射，得到文本查询向量；

16、基于全连接层对所述多尺度视觉特征进行映射，得到视觉键向量和视觉值向量，基于多头注意力机制对所述文本查询向量、视觉键向量进行处理，得到初始全局图文相似度矩阵；

17、对所述初始全局图文相似度矩阵进行动态切分与反展平操作，得到多个二维层级相似度矩阵；

18、对所述多个二维层级相似度矩阵进行动态更新，并将更新后的多个二维层级相似度矩阵进行拼接组合，得到全局协同更新相似度矩阵；

19、利用视觉掩码矩阵对所述全局协同更新相似度矩阵进行负无穷掩码处理，对负无穷掩码处理后的全局协同更新相似度矩阵进行归一化，得到跨尺度图文注意力权重分布，基于所述跨尺度图文注意力权重分布对所述视觉值向量进行加权求和，得到对齐后的文本特征；

20、基于多层感知机对文本特征的全局上下文特征进行降维与非线性映射，生成调制向量；

21、对初步跨模态对齐的视觉特征进行归一化处理，得到查询向量；

22、对所述调制向量以及查询向量进行多头跨注意力计算，得到融合全局文本语义的增强视觉特征，将融合全局文本语义的增强视觉特征与所述初步跨模态对齐的视觉特征进行残差相加，得到对齐后的跨模态视觉特征。

23、在一种可能的实现方式中，所述基于所述语义引导的目标查询解码器对所述跨模态视觉特征以及对齐后的文本特征进行解码，得到候选目标的预测边界框以及与所述预测边界框对应的目标查询特征，包括：

24、基于所述对齐后的跨模态视觉特征以及对齐后的文本特征确定点积相似度矩阵，对所述点积相似度矩阵进行最大值池化操作，获得全局语义响应分数；

25、基于所述全局语义响应分数确定候选锚点集合以及候选锚点集合中各个候选锚点的空间位置；

26、基于所述各个候选锚点的空间位置以及预设的初始锚点的宽和高确定候选目标的初始预测边界框；

27、基于所述各个候选锚点的空间位置以及对齐后的跨模态视觉特征确定初始目标查询特征；

28、对所述初始预测边界框以及初始目标查询特征进行特征交互，生成初始目标查询向量；

29、将所述初始目标查询向量与所述对齐后的跨模态视觉特征以及对齐后的文本特征依次进行交叉注意力计算，以获得候选目标的目标查询特征以及边界框残差预测量；

30、基于所述候选目标的目标查询特征以及边界框残差预测量确定候选目标的预测边界框。

31、在一种可能的实现方式中，所述基于所述空间关系自适应模块对所述预测边界框以及目标查询特征进行融合，生成综合关系图谱，包括：

32、基于所述候选目标的预测边界框构建空间关系邻接矩阵；

33、基于所述候选目标的目标查询特征构建语义关系邻接矩阵；

34、对所述语义关系邻接矩阵以及空间关系邻接矩阵进行融合，生成综合关系图谱。

35、在一种可能的实现方式中，所述基于所述候选目标的预测边界框构建空间关系邻接矩阵，包括：

36、对所述候选目标的预测边界框进行自适应跨尺度归一化以及对数非线性变换，获得候选目标之间的相对空间几何特征；

37、采用高频傅里叶位置编码函数对所述相对空间几何特征进行映射，并基于多层感知机对映射后的相对空间几何特征进行非线性映射与维度对齐，得到空间关系邻接矩阵。

38、在一种可能的实现方式中，所述基于所述候选目标的目标查询特征构建语义关系邻接矩阵，包括：

39、对所述候选目标的目标查询特征进行特征余弦相似度计算，以构建语义关系邻接矩阵。

40、在一种可能的实现方式中，所述对所述语义关系邻接矩阵以及空间关系邻接矩阵进行融合，生成综合关系图谱，包括：

41、对所述语义关系邻接矩阵以及空间关系邻接矩阵沿特征通道维度进行拼接组合，将拼接组合后的矩阵输入至自适应门控网络中，生成动态门控路由权重；

42、基于所述动态门控路由权重对所述语义关系邻接矩阵以及空间关系邻接矩阵进行自适应加权融合，生成综合关系图谱。

43、在一种可能的实现方式中，所述基于所述对齐后的文本特征对所述综合关系图谱进行推理，获得无人机航拍图像最终的目标边界框，包括：

44、以所述综合关系图谱为查询向量以及所述对齐后的文本特征为键向量和值向量，对所述查询向量、键向量和值向量进行交叉注意力计算，得到聚合对齐后文本特征的综合关系图谱；

45、对所述聚合对齐后文本特征的综合关系图谱进行自注意力计算，得到更新后的关系图谱特征；

46、对所述更新后的关系图谱特征分别沿不同矩阵维度进行池化聚合处理，获取特征残差增量；

47、将所述特征残差增量与所述候选目标的目标查询特征进行残差相加，得到校准后的目标查询特征；

48、将所述校准后的目标查询特征输入至线性投影层，计算获得所述候选目标的匹配得分，并基于所述匹配得分从所述候选目标的预测边界框中进行筛选，得到无人机航拍图像最终的目标边界框。

49、第二方面，本发明还提供一种无人机航拍图像视觉定位系统，用于基于构建的航拍图像视觉定位模型对待定位的航拍图像进行视觉定位，所述航拍图像视觉定位模型包括双流特征提取模块、跨尺度双向协同特征对齐模块、语义引导的目标查询解码器以及空间关系自适应模块；

50、所述无人机航拍图像视觉定位系统，包括：

51、特征提取模块，用于基于所述双流特征提取模块对所述航拍图像以及与所述航拍图像对应的自然语言文本指令进行特征提取，获得多尺度视觉特征和文本特征；

52、特征对齐模块，用于基于所述跨尺度双向协同特征对齐模块对所述多尺度视觉特征以及文本特征进行对齐，得到对齐后的跨模态视觉特征以及对齐后的文本特征；

53、特征解码模块，用于基于所述语义引导的目标查询解码器对所述跨模态视觉特征以及对齐后的文本特征进行解码，得到候选目标的预测边界框以及与所述预测边界框对应的目标查询特征；

54、目标边界框确定模块，用于基于所述空间关系自适应模块对所述预测边界框以及目标查询特征进行融合，生成综合关系图谱，基于所述对齐后的文本特征对所述综合关系图谱进行推理，获得无人机航拍图像最终的目标边界框。

55、本发明的有益效果是：基于双流特征提取模块对航拍图像以及与航拍图像对应的自然语言文本指令进行特征提取，获得多尺度视觉特征和文本特征；基于跨尺度双向协同特征对齐模块对多尺度视觉特征以及文本特征进行对齐，得到对齐后的跨模态视觉特征以及对齐后的文本特征；基于语义引导的目标查询解码器对跨模态视觉特征以及对齐后的文本特征进行解码，得到候选目标的预测边界框以及与预测边界框对应的目标查询特征；基于空间关系自适应模块对预测边界框以及目标查询特征进行融合，生成综合关系图谱，基于对齐后的文本特征对综合关系图谱进行推理，获得无人机航拍图像最终的目标边界框，通过跨尺度双向协同特征对齐模块实现多尺度视觉特征和文本特征的对齐，利用解耦的多尺度逐层交互与双向更新机制，实现任意尺度目标与文本指令的高精度细粒度对齐，为密集场景下的目标识别提供更可靠的多维判断依据，通过空间关系自适应模块的推理，空间关系自适应模块根据预测边界框提取候选目标间的空间几何关系，并结合目标查询特征计算语义相似度关系，将预测边界框以及目标查询特征融合生成综合关系图谱，在对齐后的文本特征的引导下进行图谱推理，通过图谱与文本意图的匹配置信度，完成排他性消歧，在海量相似的干扰项中，排他性地精准锁定唯一目标，提升了无人机航拍图像视觉定位的准确率。