一种基于视觉-语言提示协同的开放词汇全景图像分割方法、装置与电子设备

本发明涉及全景图像处理、计算机视觉、视觉语言处理和开放词汇语义分割等，具体涉及一种基于视觉-语言提示协同的开放词汇全景图像分割方法、装置与电子设备。

背景技术：

1、等距柱状投影全景图像能够在单幅图像中覆盖水平方向三百六十度场景，可用于自动驾驶环境理解、机器人导航、室内空间感知、数字孪生以及沉浸式场景理解。与普通透视图像相比，等距柱状投影图像具有随纬度变化的非均匀形变，高纬度区域存在明显拉伸，左右边界具有周期连续性，跨边界目标还可能出现视觉割裂，因此直接使用普通视场图像训练的分割模型时容易产生几何域差异。

2、开放式全景图像分割还要求模型在目标类别集合与源域训练类别集合不完全一致的情况下，根据部署阶段给定的目标类别名称对全景图像进行像素级分类。目标类别可能包含训练阶段未出现的类别，也可能与源域类别存在别名、上下位关系、语义相关关系或者类别粒度差异。由于目标全景图像的逐像素标注成本较高，仅使用带标注的普通视场源域图像进行训练并直接部署到目标全景图像，是具有实际应用价值的技术路线。

3、现有开放式全景分割技术主要关注普通视场图像到等距柱状投影全景图像之间的几何迁移，而掩码分类通常仍主要依赖类别名称形成的文本表示。单纯依赖文本表示时，源域像素级标注区域中已经包含的局部外观、上下文、尺度和边界信息未被充分利用；另一方面，如果直接以普通视场源域区域的视觉特征替换目标类别文本原型，又会由于普通视场视觉提示缺少随纬度变化的全景畸变而导致视觉证据与全景掩码查询之间的几何分布不匹配，并且在源域与目标域词表不一致时容易放大源类别偏置。

4、因此，本领域亟需一种能够在不利用目标全景图像构建或更新视觉提示库的条件下，使源域局部视觉证据与全景几何分布相匹配，并由目标类别文本控制源域视觉证据的检索范围和作用强度，同时保留文本开放词汇识别主路径的开放式全景图像分割技术。

技术实现思路

1、为克服相关技术中存在的问题，本发明提出了一种基于视觉-语言提示协同的开放词汇全景图像分割方法、装置与电子设备。

2、具体地，本发明是通过如下技术方案实现的：

3、根据本说明书实施例的第一方面，提供一种基于视觉-语言提示协同的开放词汇全景图像分割方法，所述方法包括：

4、获取待分割的等距柱状投影全景图像及预定义的目标类别名称集合并输入训练后的开放词汇掩码分割模型，通过所述模型生成所述全景图像的类别分割结果；其中，所述开放词汇掩码分割模型执行下述步骤：

5、步骤s1，对所述全景图像进行特征提取，生成至少一个候选掩码及对应的掩码查询特征；

6、步骤s2，对各所述目标类别名称进行文本编码，生成目标类别文本特征；

7、步骤s3，从源域视觉提示库中查询与所述目标类别文本特征匹配的多个候选区域视觉提示；所述源域视觉提示库在训练阶段离线构建并保持冻结，其存储有各源域类别对应的一个或多个视觉提示槽，各所述视觉提示槽至少包含源域透视样本图像对应的区域视觉特征；

8、步骤s4，根据所述多个候选区域视觉提示的整体视觉特征与所述目标类别文本特征之间的相似度生成兼容门控值，以及根据所述目标类别文本特征对所述多个候选区域视觉提示进行融合，生成协同视觉特征；

9、步骤s5，针对各所述候选掩码，基于其掩码查询特征分别与所述目标类别文本特征和所述协同视觉特征的相似度，确定文本分类项和经所述兼容门控值调制的视觉残差项，根据所述文本分类项和所述视觉残差项得到所述候选掩码相对于各目标类别的文本视觉协同分类分数；

10、步骤s6，根据各所述候选掩码及其对应的所述文本视觉协同分类分数进行类别分配，生成所述类别分割结果。

11、根据本说明书实施例的第二方面，提供基于视觉-语言提示协同的开放词汇全景图像分割装置，所述装置用于执行第一方面所述方法，所述装置包括：

12、数据获取单元，用于获取待分割的等距柱状投影全景图像及预定义的目标类别名称集合并输入训练后的开放词汇掩码分割模型；

13、数据处理单元，用于通过所述模型生成所述全景图像的类别分割结果；其中，所述开放词汇掩码分割模型执行下述步骤：

14、步骤s1，对所述全景图像进行特征提取，生成至少一个候选掩码及对应的掩码查询特征；

15、步骤s2，对各所述目标类别名称进行文本编码，生成目标类别文本特征；

16、步骤s3，从源域视觉提示库中查询与所述目标类别文本特征匹配的多个候选区域视觉提示；所述源域视觉提示库在训练阶段离线构建并保持冻结，其存储有各源域类别对应的一个或多个视觉提示槽，各所述视觉提示槽至少包含源域透视样本图像对应的区域视觉特征；

17、步骤s4，根据所述多个候选区域视觉提示的整体视觉特征与所述目标类别文本特征之间的相似度生成兼容门控值，以及根据所述目标类别文本特征对所述多个候选区域视觉提示进行融合，生成协同视觉特征；

18、步骤s5，针对各所述候选掩码，基于其掩码查询特征分别与所述目标类别文本特征和所述协同视觉特征的相似度，确定文本分类项和经所述兼容门控值调制的视觉残差项，根据所述文本分类项和所述视觉残差项得到所述候选掩码相对于各目标类别的文本视觉协同分类分数；

19、步骤s6，根据各所述候选掩码及其对应的所述文本视觉协同分类分数进行类别分配，生成所述类别分割结果。

20、根据本说明书实施例的第三方面，提供一种电子设备，包括：处理器；计算机可读存储介质，在所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使所述处理器执行如第一方面所述方法。

21、本发明实施例至少具有下述技术效果：

22、（1）本发明能够实现开放词汇的全景图像分割。本发明的开放词汇掩码分割模型通过对目标类别名称进行文本编码生成目标类别文本特征，并基于该文本特征从源域视觉提示库中检索候选区域视觉提示，使得模型能够根据部署阶段给定的任意目标类别名称进行像素级分类，而无需目标类别名称与源域类别名称完全一致。由此，在目标类别集合与源域训练类别集合不完全相同的条件下，仍可实现对全景图像的开放式类别分割。

23、（2）本发明的源域视觉提示库在训练阶段离线构建并保持冻结，其存储有各源域类别对应的视觉提示槽，各视觉提示槽包含源域透视样本图像对应的区域视觉特征。由此，推理阶段仅需从该提示库中检索即可获得源域视觉证据，无需利用待分割全景图像构建或更新视觉提示库，也无需对目标全景图像进行标注或生成伪标签。

24、（3）本发明根据候选区域视觉提示的整体视觉特征与目标类别文本特征之间的相似度生成兼容门控值，并经该兼容门控值对视觉残差项进行调制。当源域视觉证据与目标类别文本的兼容程度较低时，视觉残差项被衰减，源域视觉信息对分类结果的影响受到限制，从而降低了源域与目标域词表不一致时源类别偏置被放大的风险。因此，本发明通过兼容门控机制限制了源域视觉证据的作用强度，避免了源类别偏置的放大。

25、（4）本发明基于掩码查询特征与目标类别文本特征的相似度确定文本分类项，并基于掩码查询特征与协同视觉特征的相似度确定视觉残差项，最终分类分数由文本分类项和视觉残差项共同得到。由此，文本分类路径始终参与分类决策，视觉证据仅作为辅助修正项加入，避免了以源域视觉原型完全替换文本原型所导致的开放词汇识别能力下降。

26、（5）本发明根据目标类别文本特征对多个候选区域视觉提示进行融合，生成协同视觉特征。由此，从源域视觉提示库中检索到的视觉证据并非以固定方式直接使用，而是以目标类别文本为条件进行自适应聚合，使得协同视觉特征能够根据当前目标类别的语义需求进行动态调整。

27、综上所述，本发明的源域视觉提示库存储的是源域透视样本图像对应的区域视觉特征，推理阶段处理的是等距柱状投影全景图像。由此，在不使用目标全景图像参与训练的条件下，通过文本特征检索和门控调制的协同视觉特征，实现了由源域透视样本图像向全景目标图像的开放式分割迁移。