一种基于CLIP的开放词汇语义分割方法及存储介质
本发明属于图像处理、计算机视觉,尤其是涉及一种基于clip的开放词汇语义分割方法及存储介质。
背景技术:
1、语义分割是计算机视觉中的基础任务之一,通常用于自动驾驶、智能监控等场景,为图像中的每个像素标注语义类别。然而,传统语义分割方法严重依赖人工标注的训练数据,识别能力局限于训练时给定的固定类别,对新出现或未标注的类别往往无法正确分割,且训练成本高、标注耗时。
2、近年来,以大模型为代表的通用大规模视觉-语言模型取得了突破性进展。此类模型(如clip等)通过在海量互联网图像-文本对上进行对比学习预训练,成功建立了强有力的跨模态语义对齐空间,具备极其优异的零样本开放词汇识别与泛化能力。为实现该通用开放能力向下游密集预测任务的迁移,现有方法主要分为两类:一类是以ovseg、maskclip为代表的两阶段掩码分类范式;另一类是以san、cat-seg为代表、基于固定或可学习提示的单阶段微调方案。两阶段方案先利用掩码生成器生成类别无关的掩码,再用视觉语言模型进行分类。该方案计算开销大,性能高度依赖于第一阶段掩码生成器的质量,并且当分类模型(如clip)处理掩码裁剪出的图像区域时,其本身是为完整图像分类设计的,在处理掩码区域时性能会大幅下降。单阶段旨在通过一个统一的端到端框架,实现像素级的分组与分类。该方案由于视觉语言模型提供的隐式语义信息有限,难以支撑复杂场景中丰富的细粒度分割需求,并且端到端框架对数据分布更敏感,在部署到全新的、差异大的场景时,泛化能力可能不如两阶段方案灵活。
技术实现思路
1、本发明要解决的问题是提供一种在轻量化架构下,实现任意开放类别像素级精准分割,提升物体边缘与细小目标分割精度,强化模型对未知类别的零样本泛化性能的基于clip的开放词汇语义分割方法及存储介质。
2、为解决上述技术问题,本发明采用的技术方案是:一种基于clip的开放词汇语义分割方法,包括以下步骤:
3、s1、图像、文本特征及动态提示参数初始化:
4、将待分割的输入图像
i进行尺寸归一化预处理,并经由冻结的预训练clip视觉编码器的图像块嵌入层转换为视觉标记序列;所述视觉标记序列包括类别标记cls token以及
n个图像网格标记;
5、在clip视觉编码器前
l个transformer网络层嵌入动态提示分配模块dpa,设置可学习的图像提示参数池,所述图像提示参数池包含
m组视觉提示参数,每组视觉提示参数均包含视觉提示嵌入以及对应的指示向量;同时构建开放词汇类别文本词表,送入冻结的clip文本编码器得到类别文本特征矩阵;
6、在训练过程中,所述clip视觉编码器、clip文本编码器参数冻结,所述图像提示参数池内的视觉提示嵌入以及对应的指示向量作为可学习参数进行优化。
7、具体地,在步骤s1中,设clip视觉编码器包含h个transformer网络层,在其中前l个网络层中逐层嵌入动态提示分配模块dpa,其中:
8、;
9、式中,
l表示当前执行动态提示分配的网络层编号;
10、对于第
l个网络层,记输入该层动态提示分配模块dpa之前的类别标记为:
11、;
12、式中,
c为特征通道数,为实数集;
13、所述图像网格标记集合为:
14、
15、式中,
n为图像网格标记数量。
16、在所述动态提示分配模块dpa中设置图像提示参数池:
17、
18、式中,表示用于图像网格标记的第
n个可学习视觉提示嵌入,表示与对应视觉提示嵌入关联的可学习指示向量;
m为所述图像提示参数池中包含的视觉提示参数数量。其中,指示向量作为对应视觉提示嵌入的匹配指示,用于衡量当前视觉标记与对应视觉提示嵌入之间的匹配程度。
19、在训练过程中,预训练clip视觉编码器参数保持冻结,所述图像提示参数池中的视觉提示嵌入及其对应的指示向量作为可学习参数进行优化。
20、与此同时,根据本次分割任务所需识别的目标类别构建开放词汇类别文本词表,并将所述开放词汇类别文本词表输入冻结的预训练clip文本编码器,获得类别文本特征矩阵:
21、;
22、式中,为当前分割任务待识别类别的数量,
ct为文本特征维度。
23、s2、逐层计算图像网格标记与视觉提示嵌入之间的关联度:
24、针对clip视觉编码器前
l层中的第
l层,计算各图像网格标记与图像提示参数池内各指示向量之间的余弦相似度,得到关联度矩阵。
25、具体地,在步骤s2中,对于clip视觉编码器前
l个网络层中的当前第
l层,获取当前层的图像网格标记集合:
26、;
27、式中,为任一图像网格标记,即第
l层里,第m个图像网格token的特征向量;
m为图像网格标记的序号,从1遍历到
n;
28、对于其中任一图像网格标记,分别计算其与图像提示参数池i中各可学习指示向量之间的余弦相似度:
29、;
30、式中,矩阵元素用于表征第m个图像网格标记与第n个图像视觉提示嵌入之间的匹配程度;其值越大,表明对应图像网格标记与该视觉提示嵌入所关联的指示向量在特征方向上越一致,二者的关联程度越高。
31、将第
l层图像网格标记全部计算完成,得到当前第
l层的图像网格标记和视觉提示嵌入的关联度矩阵:
32、。
33、s3、基于关联度执行局部视觉提示嵌入的动态分配:
34、对所述关联度矩阵按行执行高关联提示排序筛选,选取每个图像网格标记关联度最高的前
r个视觉提示嵌入,构建二值提示分配矩阵。
35、具体地,在步骤s3中,为了避免每一个图像网格标记与图像提示参数池中的全部视觉提示嵌入发生无差别交互,对步骤s2得到的关联度矩阵按行执行高关联提示筛选。
36、按照关联度由高至低进行排序,从
m个候选视觉提示嵌入中选取关联度最高的前
r个视觉提示嵌入,其中:
37、;
38、并根据筛选结果构建二值提示分配矩阵:
39、;
40、其中:
41、;
42、当时,将图像提示参数池中与第
n个指示向量相对应的视觉提示嵌入,确定为第
m个图像网格标记在当前层的关联视觉提示嵌入;
43、当时,则认为该视觉提示嵌入与当前图像网格标记不存在有效关联。
44、由此,使不同空间位置及不同语义区域中的图像网格标记能够根据自身当前层特征,从图像提示参数池中自适应选择与其最匹配的一组视觉提示嵌入。
45、所述视觉提示嵌入为可学习参数,视觉提示嵌入自身并非由当前输入图像临时生成;动态性体现在不同输入图像、不同图像网格标记以及不同视觉编码器层能够根据各自特征,自适应获得不同的视觉提示嵌入分配结果。
46、s4、构建动态提示分配掩码并执行限制性注意力交互:
47、根据所述二值提示分配矩阵构建动态提示注意力掩码,并将所述动态提示注意力掩码转换为注意力偏置矩阵;将类别标记、图像网格标记、视觉提示嵌入共同输入多头自注意力模块,在softmax计算前加入注意力偏置矩阵,得到掩码约束后的注意力权重,进而获得掩码约束后的注意力输出,同时抑制非关联视觉提示嵌入的信息交互。
48、具体地,在步骤s4中,根据步骤s3得到的二值提示分配矩阵,构建当前第
l层对应的动态提示注意力掩码。
49、将类别标记cls、
n个图像网格标记以及图像提示参数池中的
m个可学习视觉提示嵌入组成当前层输入序列,所述输入序列长度为:
50、
51、所述动态提示注意力掩码满足:
52、
53、将所述二值提示分配矩阵映射至所述动态提示注意力掩码中,以图像网格标记为查询、以视觉提示嵌入为键的对应子矩阵。
54、对于图像网格标记与其关联视觉提示嵌入之间的注意力位置,将对应掩码值设置为1;对于图像网格标记与非关联视觉提示嵌入之间的注意力位置,将对应掩码值设置为0;对于类别标记cls与图像网格标记之间,以及各图像网格标记彼此之间的注意力位置,将对应掩码值均设置为1,以保持原始视觉标记之间的注意力交互关系。
55、将类别标记cls、图像网格标记以及所述视觉提示嵌入共同输入当前第
l层的多头自注意力模块,并由输入特征经线性映射得到查询矩阵、键矩阵和值矩阵。
56、将动态提示注意力掩码转换为注意力偏置矩阵。对于矩阵中的第
i行第
j列,所述注意力偏置满足:
57、;
58、式中,表示代表第
l层网络。
59、在softmax计算前加入所述注意力偏置矩阵,得到掩码约束后的注意力权重:
60、;
61、式中,表示每个注意力头中键向量的维度,表示沿键向量对应的维度进行归一化。
62、进而获得掩码约束后的注意力输出:
63、;
64、由此,使每个图像网格标记在与视觉提示嵌入进行注意力交互时,仅能访问步骤s3所确定的关联视觉提示嵌入,同时保持原始视觉标记之间的注意力交互,并抑制非关联视觉提示嵌入对当前图像网格标记的干扰。
65、其中,上标带圆括号(
l),用来标记该变量属于网络第
l层;不加括号
l也表示第
l层,(
l)只是为了视觉区分,避免和幂次(
l次方)混淆。
66、s5、融合动态提示信息并在前
l层逐层更新视觉特征:
67、经过步骤s4的限制性多头自注意力交互后,与当前图像网格标记相关联的视觉提示嵌入信息被融合至对应的图像网格标记特征中;若当前层未到达第
l层,则进入下一层重新执行步骤s2~s5;若当前层到达第
l层,则将增强后的视觉特征送入clip视觉编码器剩余网络层继续前向传播,在后续网络层中不再执行动态提示分配。
68、具体地,在步骤s5中,从当前第
l层的注意力输出序列中提取更新后的类别标记、以及更新后的图像网格标记集合,并继续经过当前transformer层对应的归一化层、前馈神经网络以及残差连接,得到当前层最终输出视觉特征。
69、当时,将当前第
l层更新后的视觉特征作为第
l+1层的输入,并在第
l+1层重新执行步骤s2~s5,即利用该层最新生成的图像网格标记特征重新计算第
l+1层的关联度矩阵,重新执行top-r视觉提示嵌入筛选,并重新生成第
l+1层当前层动态提示分配掩码,从而使同一个图像网格标记同视觉编码层能够随着其语义表征的逐层变化,自适应匹配不同的视觉提示嵌入。
70、当时,完成前
l个网络层中的动态提示分配过程,并将第
l层更新后的视觉特征输入clip视觉编码器的第
l+1层至第
h层继续执行后续前向传播,在后续网络层中不再执行动态提示分配。
71、s6、训练阶段频域高通滤波提纯几何形状特征:
72、对输入图像
i转换得到的视觉token序列执行二维快速傅里叶变换,通过二维高通滤波器掩码滤除低频成分,再经逆傅里叶变换得到纯化的几何形状特征。
73、具体地,在步骤s6中,spe(形状感知增强)通道同样是基于visiontransformer结构的,与dpa(动态提示分配)通道并行,形状感知增强方法仅在训练阶段被激活。
74、训练阶段,输入图像
i首先通过patch embedding将其转换为视觉token序列,将沿空间维度执行二维快速傅里叶变换(2d fft),将其从空间域投影转换至高维频域,得到频域特征;然后构建一个二维高通滤波器掩码,该的中央低频区域全部设为0,四周的高频区域全部设为1。将得到的频域特征与进行元素点乘,从而过滤掉位于频域中心区域的低频成分,得到高频频域特征;随后,利用逆快速傅里叶变换(2d ifft)将过滤后的高频频域特征重新投影还原至空间域,输出纯化后的几何形状特征,。
75、s7、训练阶段空间域随机打乱破坏连续纹理:
76、对所述几何形状特征做空间维度随机打乱,得到空间扰动特征。
77、具体地,在步骤s7中,训练阶段,在空间域上,对经过步骤s6频域纯化后得到的几何形状特征的空间位置索引实施随机打乱扰动;将原本空间连续的几何图像标记打碎为一组不连续、离散的“拼图块”特征,得到空间扰动特征。
78、s8、双域扰动特征动态混合生成增强特征:
79、将原始未扰动的输入特征、频域纯化后的几何形状特征、空间扰动特征进行加权混合得到形状增强特征,然后将形状增强特征重新馈送回spe通道的下一层中,完成后续的前向传播计算。
80、具体地,在步骤s8中,引入一个自适应调节因子(或可学习的平衡系数),将通道输入原始未扰动的输入特征、频域纯化后的几何形状特征以及空间位置打乱的空间扰动特征进行动态加权混合,生成最终的形状增强特征,。
81、s9、掩码预测与跨模态匹配输出分割图:
82、spe通道输出候选区域掩码;利用注意力偏置引导经过dpa增强的clip视觉特征聚焦各候选区域掩码;将各候选区域视觉特征与类别文本特征矩阵做余弦相似度匹配,得到各候选区域语义类别;将类别标签回填至原图对应像素位置,最终输出逐像素的语义分割图。
83、具体地,在步骤s9中,spe通道通过mlp(多层感知机)预测并提取出图像中可能存在目标的多个候选区域掩码(mask proposals),接着,利用attention bias(注意力偏置)机制,显式地引导经过动态提示分配(dpa)增强的clip视觉特征聚焦于上述对应的每一个候选区域掩码,将聚焦后生成的各候选区域视觉特征,与步骤s1中利用clip文本编码器生成的类别文本特征矩阵
t,在共享的跨模态对齐空间内进行余弦相似度匹配,精确预测出每个候选区域对应的语义类别;再根据每个候选区域在原图中的空间位置坐标,将其预测得到的语义类别标签逐一填充至对应位置,最终生成一张与输入图像分辨率相同的二维网格图,即逐像素的语义分割图。
84、进一步地,整体模型可在coco-stuff数据集上进行训练阶段,训练阶段采用mask2former中常用的分割损失函数作为基础优化目标,式中分别代表二元交叉熵损失、dice损失和分类损失,为各损失项对应的权重系数,在本实施例中分别设置为5、5、2。
85、本发明还包括计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现本发明的基于clip的开放词汇语义分割方法。
86、本发明在冻结的clip预训练视觉编码器前
l层中逐层嵌入动态提示分配模块dpa,以增强clip对图像局部区域语义信息的感知能力。即针对图像网格标记设置可学习图像提示参数池,每个图像提示参数包括视觉提示嵌入及与其对应的可学习指示向量;在clip视觉编码器前
l层中的每一当前层,计算该层各图像网格标记与各视觉提示嵌入所对应的指示向量之间的余弦相似度,得到图像网格标记与视觉提示嵌入之间的关联度矩阵;根据所述关联度矩阵,对每个图像网格标记筛选关联度最高的若干个视觉提示嵌入,并据此构建二值化的动态提示分配掩码,使不同空间位置的图像网格标记能够根据自身当前层特征自适应选择与其最相关的视觉提示嵌入;在当前层多头自注意力计算过程中,利用所述动态提示分配掩码对注意力权重进行限制,使图像网格标记主要与其关联视觉提示嵌入进行信息交互,并抑制非相关视觉提示嵌入的干扰。通过在前l层中逐层重新计算图像网格标记与视觉提示嵌入之间的关联关系,实现视觉提示嵌入随输入图像内容及网络层级特征变化而动态分配,在保持clip原有开放词汇泛化能力的同时,提高其对局部细粒度视觉信息的表征能力。
87、同时,本发明在训练阶段引入空间与频域双域联合扰动的形状感知正则化机制;该扰动通道在推理阶段可完全关闭。包括频域样式抑制:对中间特征进行二维快速傅里叶变换(2d fft),利用高通滤波器(high-pass filter)点乘掩码过滤掉代表大面积背景、平滑颜色和整体色调的低频成分,通过逆变换(2d ifft)输出纯化的几何形状特征;空间纹理洗牌:在空间域上对高频形状特征的空间位置索引实施随机打乱(token shuffling),破坏空间连续的表面纹理,将其打碎为离散的拼图块;双域特征动态混合:引入自适应调节因子,将原始特征、频域纯化形状特征和空间打乱特征进行动态加权混合后送回骨干网络。
88、由于采用上述技术方案,本发明具有如下有益效果:
89、本发明在clip视觉编码器前
l层中逐层嵌入动态提示分配模块dpa,基于图像网格标记与视觉提示嵌入之间的关联度自适应分配相关视觉提示嵌入,并通过动态提示分配掩码抑制非相关视觉提示嵌入的干扰,从而增强clip对局部细粒度语义信息的感知与表征能力,提高复杂场景下边界区域及细小目标的分割精度,同时尽可能保留clip原有的开放词汇泛化能力。
90、本发明独创性地在训练阶段引入了形状感知增强(spe)双域扰动机制。通过二维快速傅里叶变换和高通滤波器,显式过滤掉代表色彩和光照的低频样式,提取出纯粹的边缘、轮廓等高频几何形状特征;同时在空间域上对标记位置实施随机打乱,破坏局部的连续纹理。这种强力的正则化迫使网络必须聚焦并强化对本质的全局几何形状和结构语义的理解,泛化能力显著优于现有技术。
91、可见,本发明通过动态提示分配方法隔绝跨语义区域的远距离背景噪声,防止特征污染,以极少的参数量显著增强模型对边缘、细小物体及复杂背景交界处的像素级鉴别性能与边界对齐精度。通过形状感知增强方法利用双域扰动剥离易诱发过拟合的浅层风格样式,破坏微观连续纹理,倒逼网络必须聚焦并强化对本质的全局几何形状和结构语义的理解,这减缓了模型对可见类别的偏置,提升了跨域测试和未见类别的零样本泛化能力。本发明在极低参数量的轻量化设计下,在最大化保留clip原始强大的开放词汇与泛化能力的同时,增强了模型的局部感知敏感度,实现了极高的参数效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com