一种无标注文本原型自适应的开放词汇语义分割方法

摘要: 本发明属于开放词汇语义分割,更为具体地讲,涉及一种无标注文本原型自适应的开放词汇语义分割方法。背景技术:1、开放词汇语义分割的目标是在不重新训练封闭类别分类头的...
一种无标注文本原型自适应的开放词汇语义分割方法

本发明属于开放词汇语义分割,更为具体地讲,涉及一种无标注文本原型自适应的开放词汇语义分割方法。

背景技术:

1、开放词汇语义分割的目标是在不重新训练封闭类别分类头的情况下,通过输入任意类别文本名称,对图像中的每个像素进行类别判别。近年来,clip等视觉-语言模型将图像与文本映射到统一特征空间,使得像素级视觉特征可以通过与文本原型的相似度匹配来完成开放词汇分割。典型做法是:冻结视觉编码器和文本编码器,将“a photo of a{class}”等提示模板输入文本编码器得到类别文本原型,再将图像经视觉编码器或上采样模块得到密集像素特征,最后依据余弦相似度将像素分配给最近的文本原型。

2、现有开放词汇语义分割主要包括三类:

3、第一类是带监督或弱监督的开放词汇分割方法,如lseg、openseg、san、cat-seg、fc-clip等,其通常依赖标注掩码、区域-文本对或任务特定训练模块来改善像素级视觉表示。

4、第二类是训练自由或少训练的clip密集预测方法,如clearclip、clip-dinoiser、segearth-ov等,其通过处理clip视觉特征、融合dino特征或构建遥感图像开放词汇分割流程来提升密集特征质量。

5、第三类是视觉-语言模型适配方法,如coop、cocoop、maple、clip-adapter、tip-adapter以及若干测试时提示适配方法,其试图通过提示向量或轻量模块改变模型行为。

6、上述方法在自然图像或特定数据集上取得了较好效果,但其共同特点是:文本侧原型通常直接来自冻结文本编码器,或者需要额外标注样本学习提示/适配器。在遥感、无人机、自动驾驶等目标域中,同一类别名称对应的视觉外观可能与clip预训练语料中的自然图像先验存在显著差异。例如,遥感红外-红-绿组合中植被呈红色,而自然图像语义中的“vegetation、tree”通常对应绿色纹理;道路、水体、建筑等类别也会因视角、光谱波段和空间分辨率改变而呈现不同视觉簇。此时,即使像素视觉特征本身具有较强可分性,固定文本原型仍可能作为偏置锚点把像素拉向错误类别。

7、现有技术至少存在以下客观缺点:

8、(1)、冻结文本原型携带自然图像语言先验,在目标域发生域偏移时容易与真实像素视觉簇错位,导致相似度匹配边界错误。

9、(2)、多数开放词汇分割方法重点改进视觉编码器、上采样器或分割头,而没有显式修正文本原型这一像素判别锚点;当文本锚点偏置较强时,改进视觉特征仍不能彻底消除匹配误差。

10、(3)、基于提示学习或适配器的方法通常需要有标签样本,并且会更新模型参数或引入额外训练模块,不符合目标域无标注、即插即用、保持开放词汇扩展性的应用需求。

11、(4)、简单地用伪标签像素平均值更新文本原型会受到错误伪标签和边界像素噪声影响;若对所有类别采用统一更新步长,早期错误会在多轮更新中形成反馈放大。

12、(5)、目标域中不同类别的证据质量不均衡。大目标类别可能有大量高置信像素,小目标、稀有类别或易混淆类别可能只有少量可靠像素;现有统一策略难以根据每类证据质量自适应控制更新强度。

13、(6)、相似类别的视觉原型在目标域中可能靠得很近,独立更新文本原型会造成原型塌缩,进而加剧森林/农业、道路/停车场、车辆/道路等类别混淆。

技术实现思路

1、本发明的目的在于克服现有技术的不足,提供一种无标注文本原型自适应的开放词汇语义分割方法,在保持视觉-语言模型全部网络权重冻结的条件下,仅利用目标域无标注图像迭代修正类别文本原型,使文本原型由自然图像语言先验锚点转变为符合目标域视觉分布的判别锚点。

2、为实现上述发明目的,本发明无标注文本原型自适应的开放词汇语义分割方法,其特征在于,包括以下步骤:

3、(1)、初始化文本原型并获取像素特征

4、先确定待分割的类别名称表,对其中第个类别名称, 为类别总数,构造提示模板,并输入冻结的文本编码器,得到文本原型,然后进行归一化,并作为第类初始文本原型:

5、

6、其中,表示求模运算;

7、给定目标域张无标注图像,经视觉编码器和上采样器得到像素特征,其中,为无标注图像的索引,为像素位置索引;

8、(2)、像素匹配与置信间隔计算

9、在第轮中,依次扫描目标域的张无标注图像,对第张图像中的像素特征,使用上一轮文本原型进行相似度匹配,记和分别为与像素特征相似度第一名和第二名类别,则像素置信间隔定义为:

10、

11、(3)、可靠像素筛选与视觉原型构造

12、对全部 张无标注图像统一筛选像素:对每张无标注图像和每个像素位置,仅保留满足像素置信间隔的像素,并归入类,这样形成第轮第类可靠像素集合,并统计其像素数量,记为 ,其中,为筛选阈值;

13、使用可靠像素集合中的像素特征计算类别视觉原型:

14、

15、(4)、类别可靠性得分估计

16、在可靠像素集合上统计平均置信间隔:

17、

18、以及间隔标准差 :

19、

20、评估每个类别的证据质量,得到类别可靠性得分:

21、

22、其中,是设定的最小像素数量,为为防止分母为0的小常数;

23、(5)、可靠性控制的文本原型更新

24、首先,令实际更新步长,其中,为可靠性得分缩放最大步长,然后,将文本原型沿单位超球面朝视觉原型方向插值更新,得到临时文本原型:

25、

26、(6)、可靠性感知的原型间隔保持

27、先按类别可靠性得分从大到小处理类别即从高可靠类别开始向低可靠类别进行处理,对当前类别,已处理的类别构成高可靠类别集合,并执行加权正交化,得到正交化的文本原型:

28、

29、其中,权重为:

30、

31、然后进行归一化,得到归一化原型:

32、

33、从开始,执行轮步骤(2)~(6),得到最终归一化文本原型:

34、

35、(7)、开放词汇语义分割

36、以归一化文本原型替换初始冻结文本原型,对图像中的每个像素进行类别判别。

37、本发明的目的是这样实现的。

38、本发明无标注文本原型自适应的开放词汇语义分割方法可称为视觉原型引导的文本自适应方法(visual prototype-guided text adaptation,vpta),包括可靠性得分贯穿置信像素筛选、文本原型更新和原型间隔保持三大核心步骤,在不训练视觉编码器、不学习提示参数、不依赖人工标注情况下,从目标域图像的高置信像素中挖掘可靠视觉证据,进一步地,不对所有类别采取同一更新幅度,而是根据每类像素数量、预测间隔强度和间隔稳定性计算可靠性得分,并用该得分同时控制文本原型更新步长和原型正交化优先级,通过这种方式,本发明能够抑制噪声伪标签的累积放大,同时保持相似类别之间的原型间隔。这样本发明在保持视觉-语言模型全部网络权重冻结的条件下,仅利用目标域无标注图像迭代修正类别文本原型,使文本原型由自然图像语言先验锚点转变为符合目标域视觉分布的判别锚点。