针对非结构化环境的跨域零样本语义分割方法、系统、存储介质

摘要: 本发明涉及图像处理,具体涉及一种针对非结构化环境的跨域零样本语义分割方法、系统、存储介质。背景技术:1、语义分割为无人驾驶地面车辆提供了至关重要的场景理解能力,...
针对非结构化环境的跨域零样本语义分割方法、系统、存储介质

本发明涉及图像处理,具体涉及一种针对非结构化环境的跨域零样本语义分割方法、系统、存储介质。

背景技术:

1、语义分割为无人驾驶地面车辆提供了至关重要的场景理解能力,使其能够在非结构化环境中识别障碍物并规划路径。然而,针对此类场景而设计的现有方法通常需要采用线性探测或精细调整的方式以适应新情况,由此存在零样本迁移能力不足的问题。

2、无人地面车辆(ugvs)的快速发展促使针对户外自主移动技术的研究激增,尤其是在复杂、无结构化领域的研究。这一应用领域涵盖了穿越崎岖地形以及应对精密农业、灾害救援行动、采矿和生态监测等领域中常见的复杂情况。

3、在ugv在非标准化地形中移动这一特定领域内,视觉语义分割构成了一个关键的技术支柱。与仅依赖几何数据或预先设定的轨迹的传统导航框架不同,这种方法使系统具备了全面解读环境的能力通过对视觉输入的颗粒状分析,将单个像素分类为不同的类别一一如植被、刚性结构或地形一一ugv(无人驾驶地面车辆)实现了对场景理解的复杂程度这种增强的感知灵敏度有助于提升决策能力,使ugv能够可靠地区分可通行路径与障碍物特征。

4、然而,针对非结构化环境的当代细分框架中一个显著的瓶颈在于,它们在应用于新环境时依赖于再训练阶段,如线性探测或微调这种依赖性源于不同数据集间分类标注的差异性,这阻碍了预训练模型的直接、零样本迁移能力。

5、现有技术中,无人地面车辆开展野外作业、农业巡检、灾害救援、矿区勘探等任务时,需要依靠视觉语义分割完成环境感知,区分可通行区域、障碍物、地形地貌,实现路径规划与障碍物规避。传统导航仅依赖几何信息、预设轨迹,无法完整理解复杂野外场景;像素级语义分割可对植被、土石、水体、建筑等目标分类,提升自主决策可靠性。对比语言图像预训练模型(clip)具备天然零样本识别能力,通过对比学习构建图文共享特征空间,仅输入类别文本描述即可识别训练集未出现物体;在此基础上衍生出改进型视觉语言预训练模型,依托大规模掩码图像预训练初始化视觉编码器,无需海量图文标注即可生成高迁移性视觉特征,跨模态对齐能力更强,成为零样本分割主流主干网络。基于transformer的语义分割方案(如segvit)采用注意力掩码解码思路,通过图像块视觉特征与类别文本特征计算相似度,直接输出像素分割掩码;行业内现有适配野外地形的分割网络,采用分组注意力、嵌套u型结构、域归一化等手段优化不规则场景分割效果;常规提示调优方法通过少量可学习参数微调预训练模型,相比全量微调大幅降低算力消耗。现有专用野外数据集包含多种自然地形、不规则物体标注,业内通常将原始多类别标签按地形可通行性划分为平滑可通行、粗糙可通行、颠簸可通行、禁行区、障碍物、背景六大层级统一评测;现有训练方案多采用交叉熵损失搭配softmax激活,部分方案引入dice损失优化小目标分割精度,依靠卷积、transformer骨干完成像素预测。

6、综上所示,现有技术跨域泛化能力弱,新场景必须重新微调/线性探测,单一文本提示存在语义偏差,分割精度受限,视觉编码器适配野外不规则地形能力不足,图文匹配仅利用局部图像块,丢失全局场景信息,softmax互斥假设不适用于野外模糊边界分割,三大缺陷叠加难以同时解决,跨域零样本性能远低于有监督微调方案。

技术实现思路

1、本发明克服了现有技术的不足,提供了一种针对非结构化环境的跨域零样本语义分割方法、系统、存储介质。

2、为达到上述目的,本发明采用的技术方案为:一种针对非结构化环境的跨域零样本语义分割方法,包括以下步骤:

3、获取文本数据和视觉数据;

4、通过文本编码解析所述文本数据中的语义类别标签,作为文本嵌入向量;通过视觉编码对输入的视觉数据进行分解,从而得到具有层次结构的全局与局部特征表示,作为视觉特征向量;

5、通过文本嵌入向量与视觉特征向量之间的语义共振效应,进行文本-图像匹配的跨模态语义对齐,通过文本引导的视觉特征解码,获得q特征向量、k特征向量、v特征向量;所述q特征向量是从文本嵌入向量中获取的查询向量,所述k特征向量和v特征向量分别从视觉特征向量中获取的键向量和值向量,

6、基于所述q特征向量、k特征向量、v特征向量通过注意力转掩码解码头推导出分类结果,作为预测结果。

7、本发明一个优选的实施方案中,还包括,损失优化训练步骤,采用损失函数中的与联合监督模型训练:

8、将预测结果通过损失函数与真实数据进行对比评估,损失函数通过误差反向传播过程推动可训练网络组件的优化。

9、本发明一个优选的实施方案中,文本特征向量的提取包括:

10、采用集成式提示工程策略构建多套适配非结构化地形的文本提示模板,在嵌入空间对多模板文本特征做均值融合得到统一类别文本嵌入,将输入的文本数据通过集成式提示工程策略获得文本提示数据,将文本提示数据作为eva-clip文本编码器的输入,通过eva-clip文本编码器的文本编码解析对文本提示数据进行解析,获得文本嵌入向量;

11、视觉特征向量的提取包括:

12、将输入的视觉数据采用深度提示调优dpt与eva-clip图像编码器,对输入图像进行分解,从而生成层级结构化的全局与局部特征表示,作为视觉特征向量。

13、本发明一个优选的实施方案中,集成式提示工程策略包含多组专用提示模板,模板句式包含非结构化环境限定语义,尺寸分为小型、中型、大型三类物体描述句式;

14、将同一类别全部模板输入eva-clip文本编码器得到多组文本嵌入,取均值作为该类别最终文本类别嵌入。

15、本发明一个优选的实施方案中,在eva-clip图像编码器所依托的基于vit框架的语境下,令第层多头注意力模块的输入嵌入形式化为:;其中,用于表示独特[cls]标记的嵌入向量,而图像片段嵌入向量集则被定义为:;

16、通过深度提示调优dpt集成可训练的标记,可训练的标记为:;可训练的标记在eva-clip视觉编码器的每一层中,与已有的标记序列拼接;第层的mha单元对融合了视觉数据与指示信息的增强序列进行运算,运算公式包括:

17、;即,的输出嵌入被丢弃,记为“-”,且不会传递到下一层;仅作为可学习参数;用于适配多头注意力(mha)模型;其中,为第l层的可训练提示标记集合。

18、本发明一个优选的实施方案中,注意力转掩码解码头将类别特定嵌入与从主vit骨干网络中提取的特征图一同输入,计算这两种组件之间的亲和度,通过内部注意力机制划分出与不同语义类别对应的图像区域,随后将这些相似度分数转换为最终的分割,输出分类结果,并作为预测结果;

19、每个标记序列经过线性投影操作,q特征向量、k特征向量、v特征向量(获得注意力机制中的查询、键、值向量),算法包括:

20、;

21、其中,将文本类嵌入标记定义为,表示文本类别嵌入,形状为:类别数×通道维度,其中n表示语义类别的总数量;视觉嵌入标记为,表示视觉嵌入,形状为:图像块数×通道维度,其中l对应图像补丁的总数;基于vit基础设施:则,其中h和w分别表示图像的高度和宽度,而p表示图像块分辨率;在和这两个张量中,变量c表示通道维度,hw为图像分辨率p2为块分辨率的平方;每个令牌序列均会经历线性投影操作;

22、执行亲和度矩阵的计算,以关联查询向量与键表征。依据缩放点积注意力的基本原理,对应分数与最终注意力分布的推导通过如下公式完成:

23、;

24、;其中,是缩放因子,对应键向量的维度;相似度图s(q,k)的形状取决于两个标记序列的长度n和l;

25、注意力机制通过对视觉特征向量v进行加权聚合,来精化文本嵌入g。对应的注意力权重是通过在l个标记维度上对亲和度矩阵s应用softmax操作得到的,从而捕捉每个图像块与对应语义类别的空间相关性;

26、生成此掩码的数学公式为;

27、掩码张量初始维度为n×l(类别数×图像块数),n为类别数,l为图像块总数;空间张量格式为n×h/p×w/p(类别数×特征图高度×特征图宽度);采用转置卷积(反卷积)操作进行上采样恢复原始分辨率n×h×w(类别数×原图高度×原图宽度),其中每个独立通道都对应于中定义的一个独特语义类别,为文本类别嵌入集合,每个嵌入对应一个语义类别。

28、本发明一个优选的实施方案中,注意力转掩码解码头采用timo架构,全局-局部文本图像匹配优化timo模块改造流程包括:

29、eva-clip视觉编码器输出局部图像块表征和全局视觉描述符,全局视觉描述符由cls标记推导而来,q特征向量、k特征向量、v特征向量的算法包括:

30、;

31、;

32、重构后的查询向量量化了全局视觉描述符与语言嵌入之间的差异;在由映射函数ϕgc、ϕkc和ϕvc所支配的线性投影流形中进行;

33、配置包括:文本类别标记在注意力模块中同时充当查询向量和值向量;全局视觉特征则承担键向量的角色;

34、在注意力机制的运算范围内,单个文本类别标记与全局视觉特征进行交互,以推导亲和度度量。

35、本发明一个优选的实施方案中,损失函数是与的加权组合,包括:

36、;引入α和β为权重系数,用于平衡wce损失与dice损失的贡献;

37、为加权交叉熵损失,为每一类设置权重因子wc缓解类别不平衡,算法包括:

38、;

39、其中,c表示语义类别的总数,wc表示分配给类别c的加权因子,变量和分别代表像素i关于类别c的独热编码真实标签和预测后验概率;

40、为dice损失提升分割交并比,算法包括:

41、;

42、本发明一个优选的实施方案中,一种针对非结构化环境的跨域零样本语义分割系统,用于实现一种针对非结构化环境的跨域零样本语义分割方法的步骤;包括:

43、文本特征提取单元,包括互联的提示集成策略epe(ensemblepromptengineering)和eva-clip文本编码器,用于用于解析语义类别标签,其中的标签既涵盖训练过程中观察到的内容,以及推理过程中引入的新类别一一生成文本嵌入向量(作为稳健的文本嵌入);将获取的文本特征提供给跨模态对齐机制;

44、视觉特征提取单元,包括深度提示调优dpt(deepprompttuning)与eva-clip图像编码器,用于对输入图像进行分解,从而生成层级结构化的全局与局部特征表示,作为视觉特征向量;将获取的视觉特征提供给跨模态对齐机制;

45、所述跨模态匹配解码单元包含timo全局-局部匹配优化子模块与atm注意力掩码解码头,融合全局cls视觉特征与文本嵌入生成混合查询,输出逐像素语义分割掩码;所述模型训练优化单元配置加权交叉熵与dice联合损失函数,采用sigmoid激活实现多类别独立预测;完成源域数据集训练后,对全新未知域非结构化图像推理,识别语义类别。

46、本发明一个优选的实施方案中,一种针对非结构化环境的跨域零样本语义分割存储介质,其上存储有计算机程序/指令,该计算机程序/指令被处理器执行时,实现一种针对非结构化环境的跨域零样本语义分割方法的步骤。

47、本发明解决了技术背景中存在的缺陷,本发明有益的技术效果是:

48、一种针对非结构化环境的跨域零样本语义分割方法、系统、存储介质,优化了文本与图像之间的对应关系,能适应非结构化地形特征,实现了跨模态对齐,具有出色的分割效果,提高了分割精度。