无人机开放词汇语义分割特征校准方法及系统与流程

摘要: 本申请涉及人工智能计算机视觉与无人机自主导航,尤其涉及一种无人机开放词汇语义分割特征校准方法及系统。背景技术:1、在无人机自主飞行场景中,障碍物识别是保障飞行安...
无人机开放词汇语义分割特征校准方法及系统与流程

本申请涉及人工智能计算机视觉与无人机自主导航,尤其涉及一种无人机开放词汇语义分割特征校准方法及系统。

背景技术:

1、在无人机自主飞行场景中,障碍物识别是保障飞行安全、实现自主避障的核心环节。现有基于监督学习的语义分割方法仅能识别训练集中的固定类别,无法应对复杂多变的低空环境中出现的未知障碍物,存在本质的闭集局限。现有开放词汇语义分割方案仍存在多方面不足,包括:

2、1.免训练方案的局部特征不稳定、语义判别力弱,分割结果存在大量噪声、边界模糊与目标碎片化问题,在无人机视角多变、目标尺度差异大的场景下缺陷尤为突出;

3、2.高精度方案依赖标注数据进行微调,会严重损害模型的零样本泛化能力,无法识别差异较大的未知障碍物;

4、3.多数方案计算复杂度高,推理速度慢,难以适配无人机机载边缘设备的算力限制与实时性要求。

5、因此,亟需一种方法,以解决上述至少一个问题。

技术实现思路

1、本申请提供了一种无人机开放词汇语义分割特征校准方法及系统,旨在解决现有基于监督学习的语义分割方法仅能识别训练集中的固定类别,无法应对复杂多变的低空环境中出现的未知障碍物,存在本质的闭集局限。现有开放词汇语义分割方案仍存在多方面不足的问题。

2、第一方面,本申请实施例提供了一种无人机开放词汇语义分割特征校准方法,所述方法包括:

3、获取无人机采集的待检测飞行图像,将预设的障碍物类别文本描述输入冻结的文本编码模块得到对应文本特征向量,将待检测飞行图像输入冻结的图像编码模块得到空间对齐的图像块特征;

4、计算每个图像块特征与全部文本特征向量的相似度,生成每个图像块对应不同障碍物类别的注意力分布;

5、根据注意力分布将文本语义信息加权融合至原始图像块特征中,生成经过语义校准的图像特征;将语义校准后的图像特征输入后续分割推理流程,输出待检测飞行图像对应的像素级语义分割结果。

6、在一些实施例中,所述获取无人机采集的待检测飞行图像,将预设的障碍物类别文本描述输入冻结的文本编码模块得到对应文本特征向量,包括:采集无人机实时飞行的待检测图像,对待检测图像执行尺寸归一化与像素值归一化预处理;输入预设的多个障碍物类别的文本描述内容,将文本描述内容输入冻结的文本编码模块;通过文本编码模块对每个文本描述进行编码处理,生成对应类别的文本特征向量,对所有文本特征向量执行单位归一化处理。

7、在一些实施例中,所述将待检测飞行图像输入冻结的图像编码模块得到空间对齐的图像块特征,包括:将预处理后的待检测飞行图像输入冻结的图像编码模块;将图像划分为固定尺寸的图像块,对每个图像块执行特征提取;生成与图像空间位置对齐的图像块特征集合。

8、在一些实施例中,所述计算每个图像块特征与全部文本特征向量的相似度,生成每个图像块对应不同障碍物类别的注意力分布,包括:逐个计算每个图像块特征与所有类别文本特征向量的相似度数值;对每个图像块对应的所有相似度数值执行归一化处理;生成每个图像块对应不同障碍物类别的注意力分布结果。

9、在一些实施例中,所述根据注意力分布将文本语义信息加权融合至原始图像块特征中,生成经过语义校准的图像特征,包括:根据注意力分布与对应文本特征向量计算得到文本语义校准项;按照预设融合权重将文本语义校准项与原始图像块特征进行相加融合;对融合后的特征执行单位归一化处理,生成经过语义校准的图像特征。

10、在一些实施例中,所述将语义校准后的图像特征输入后续分割推理流程,输出待检测飞行图像对应的像素级语义分割结果,包括:计算语义校准后每个图像块特征与所有文本特征向量的相似度,得到像素级的分割概率图;对分割概率图执行逐像素的类别判定,将每个像素分配给相似度最高的障碍物类别;生成包含障碍物类别、位置与轮廓信息的语义分割图,作为最终识别结果输出。

11、在一些实施例中,所述方法还包括:将原始待检测飞行图像分别缩放到多个预设尺度,同时对每个尺度的图像执行水平翻转,生成多个不同视角与尺度的输入图像;对每个输入图像均执行语义特征校准与后续分割推理流程,分别得到对应视角与尺度的分割概率图。

12、在一些实施例中,所述方法还包括:根据语义校准后的图像特征与注意力分布,为每个障碍物类别选取置信度最高的若干图像块作为支撑集;利用支撑集的特征与对应注意力权重,加权计算得到每个类别的初始原型向量;计算初始原型的可靠性指标,根据可靠性将初始原型与对应文本特征向量加权融合,得到校准后的最终原型向量;利用最终原型向量对所有图像块特征执行二次增强,生成经过原型优化的最终特征。

13、在一些实施例中,所述方法还包括:对不同尺度与不同视角下生成的分割概率图分别执行坐标映射,将翻转视角的概率图还原至原始图像坐标系;将所有尺度的概率图对齐至原始图像分辨率,对所有概率图执行平均融合处理;对融合后的概率图执行逐像素类别判定,生成最终的像素级语义分割结果。

14、第二方面,本申请提供了一种无人机开放词汇语义分割特征校准系统,所述系统包括:

15、图像获取单元,用于获取无人机采集的待检测飞行图像,将预设的障碍物类别文本描述输入冻结的文本编码模块得到对应文本特征向量,将待检测飞行图像输入冻结的图像编码模块得到空间对齐的图像块特征;

16、分布计算单元,用于计算每个图像块特征与全部文本特征向量的相似度,生成每个图像块对应不同障碍物类别的注意力分布;

17、结果输出单元,用于根据注意力分布将文本语义信息加权融合至原始图像块特征中,生成经过语义校准的图像特征;将语义校准后的图像特征输入后续分割推理流程,输出待检测飞行图像对应的像素级语义分割结果。

18、本申请所提供的方法具有以下有益效果:

19、1.零样本泛化能力完整。方案基于完全冻结的预训练视觉语言模型实现,所有优化步骤均在推理阶段完成,无需任何像素级标注数据,也无需对模型执行微调或训练额外模块,可根据任意文本描述识别从未见过的障碍物类别,真正实现通用障碍物识别。

20、2.分割精度显著提升。通过文本引导语义校准与自适应原型增强的渐进式优化,有效增强局部特征的语义判别力,提升目标级语义一致性,显著减少分割噪声、边界模糊与目标碎片化问题,对小目标与薄型障碍物的识别能力提升明显。

21、3.实时性适配机载部署。方案仅使用单一预训练视觉语言模型,不引入额外的大体积模块,计算开销低、推理效率高,可在主流边缘计算设备上达到满足自主避障需求的处理速度,适配无人机机载部署的算力与功耗限制。

22、4.部署灵活适应性强。方案采用模块化推理优化架构,可直接移植至各类无人机计算平台,无需针对不同场景进行专项训练或参数调整,支持动态更新障碍物类别文本,部署成本低、场景适配范围广。

23、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。

1.一种无人机开放词汇语义分割特征校准方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述获取无人机采集的待检测飞行图像,将预设的障碍物类别文本描述输入冻结的文本编码模块得到对应文本特征向量,包括:

3.根据权利要求2所述的方法,其特征在于,所述将待检测飞行图像输入冻结的图像编码模块得到空间对齐的图像块特征,包括:

4.根据权利要求1所述的方法,其特征在于,所述计算每个图像块特征与全部文本特征向量的相似度,生成每个图像块对应不同障碍物类别的注意力分布,包括:

5.根据权利要求1所述的方法,其特征在于,所述根据注意力分布将文本语义信息加权融合至原始图像块特征中,生成经过语义校准的图像特征,包括:

6.根据权利要求1所述的方法,其特征在于,所述将语义校准后的图像特征输入后续分割推理流程,输出待检测飞行图像对应的像素级语义分割结果,包括:

7.根据权利要求1所述的方法,其特征在于,所述方法还包括:

8.根据权利要求1所述的方法,其特征在于,所述方法还包括:

9.根据权利要求7所述的方法,其特征在于,所述方法还包括:

10.一种无人机开放词汇语义分割特征校准系统,用于实现如权利要求1-9中任一项所述的方法,其特征在于,包括: