基于稀疏双向状态空间适配器的指代图像分割方法及系统

摘要: 本发明属于图像分割,尤其涉及一种基于稀疏双向状态空间适配器的指代图像分割方法及系统。背景技术:1、指代表达图像分割用于根据自然语言指代表达,在待处理图像中确定表...
基于稀疏双向状态空间适配器的指代图像分割方法及系统

本发明属于图像分割,尤其涉及一种基于稀疏双向状态空间适配器的指代图像分割方法及系统。

背景技术:

1、指代表达图像分割用于根据自然语言指代表达,在待处理图像中确定表达所指示的目标对象,并输出该目标对象的像素级分割掩膜。与仅按预设类别进行语义分割不同,指代表达图像分割还需要结合对象属性、空间关系以及场景上下文,使视觉特征与文本特征在像素层面建立对应关系。

2、为降低大规模预训练模型在特定分割任务上的训练成本,可以冻结视觉编码网络和文本编码网络,并在其间设置少量可训练的适配模块。现有参数高效方案通常利用卷积运算保持局部结构和多尺度空间信息,并利用注意力机制建立跨模态联系。然而,在以卷积视觉适配为主要空间特征调整手段的冻结视觉骨干中,中间图像块特征之间的长距离上下文传播仍有改进空间。当目标对象需要借助空间上分离的参照物、场景级位置或者多个同类对象之间的关系来确定时,仅依赖局部适配可能难以充分传递相关上下文。

3、近年来,基于状态空间模型(state space model,ssm)的方案开始被引入视觉任务。有文献提出了将双向状态空间模型作为通用视觉骨干,以替代传统的transformer骨干网络。然而,将双向状态空间模型作为骨干网络本身的架构设计,需要替换整个视觉编码网络,无法以轻量级适配模块的形式嵌入已有冻结模型。有文献提出将窗口mamba融合引入指代图像分割任务,在视觉编码器之后构建颈部模块进行多尺度特征的中间融合。然而,该方案将状态空间模型置于编码器之后进行融合,未在冻结视觉骨干内部为各特征处理阶段补充跨图像块的上下文传播。

4、若将原有局部卷积适配模块全部替换为全局序列建模模块,又可能削弱对边界和局部结构有用的空间先验。此外,新设置的适配分支若在训练开始时直接向冻结视觉特征注入非零残差,可能改变预训练表示的初始映射。因此,需要一种能够在保留局部空间适配能力的同时,以较少可训练参数在骨干内部补充跨图像块上下文传播、结合指代表达筛选相关信息并控制残差注入的技术方案。

技术实现思路

1、本发明旨在解决的技术问题是:在冻结视觉编码网络和文本编码网络的参数高效指代表达图像分割中,如何在保留局部空间结构适配能力的同时,使空间上分离的图像块特征能够传播互补上下文,并利用自然语言指代表达筛选所传播的信息,以及在训练初始阶段避免新适配分支扰动冻结视觉表示。

2、为解决上述技术问题,本发明提供一种基于稀疏双向状态空间适配器的指代图像分割方法。

3、s1、获取待处理图像以及用于指示所述待处理图像中目标对象的自然语言指代表达。

4、s2、将所述待处理图像输入视觉编码网络进行视觉特征提取,获得包括多个图像块特征的视觉特征序列,并将所述自然语言指代表达输入文本编码网络进行文本特征提取,获得文本特征序列。

5、s3、在所述视觉编码网络的多个特征处理阶段中的部分特征处理阶段设置状态空间适配模块,并在未设置所述状态空间适配模块的至少部分特征处理阶段保留用于局部空间特征适配的视觉适配模块。

6、s4、在设置有所述状态空间适配模块的特征处理阶段,将所述图像块特征映射至适配特征空间,分别沿第一序列方向和与所述第一序列方向相反的第二序列方向执行状态空间特征传播,获得第一方向状态空间特征和第二方向状态空间特征,并对所述第一方向状态空间特征和所述第二方向状态空间特征进行融合,获得双向上下文视觉特征。

7、s5、基于所述文本特征序列对所述双向上下文视觉特征进行跨模态特征交互,获得与所述自然语言指代表达相关的文本条件视觉特征。

8、s6、基于所述文本条件视觉特征形成残差特征,利用可学习门控参数调制所述残差特征,并将调制后的残差特征加入对应的视觉特征序列,获得适配后的视觉特征。

9、s7、基于所述适配后的视觉特征生成所述自然语言指代表达所指示目标对象的目标对象分割掩膜。

10、进一步优选,所述多个特征处理阶段中设有多个预设视觉适配位置;所述状态空间适配模块设置于所述视觉编码网络中部至后部的部分预设视觉适配位置,且所述状态空间适配模块的设置数量小于所述预设视觉适配位置的总数;其余至少一个预设视觉适配位置设置有所述视觉适配模块,所述视觉适配模块包括基于多尺度卷积运算的卷积视觉适配模块。

11、进一步优选,所述视觉特征序列包括非图像块标记特征和图像块特征;所述非图像块标记特征绕过所述状态空间适配模块的状态空间传播分支并保持不变,所述状态空间适配模块仅针对所述图像块特征生成文本条件残差特征;将保持不变的非图像块标记特征与经过适配的图像块特征共同形成所述适配后的视觉特征序列。由于非图像块标记特征(如类别标记和寄存器标记)在视觉transformer中承载全局语义信息,使其绕过状态空间传播分支可避免在适配过程中丢失全局语义先验。

12、进一步优选,所述分别沿第一序列方向和第二序列方向执行状态空间特征传播,包括:

13、对所述图像块特征进行层归一化处理,再利用可学习降维矩阵将层归一化后的图像块特征从所述视觉编码网络的特征通道维度映射至适配特征空间维度,获得紧凑视觉特征,所述适配特征空间维度低于所述视觉编码网络的特征通道维度;

14、保持所述图像块特征对应的空间光栅扫描顺序,将所述紧凑视觉特征输入第一状态空间模型沿所述第一序列方向进行状态传播,获得所述第一方向状态空间特征;

15、对所述紧凑视觉特征的序列顺序进行反转,将反转后的紧凑视觉特征输入第二状态空间模型进行状态传播,并将所述第二状态空间模型的输出恢复至原序列顺序,获得所述第二方向状态空间特征。

16、进一步优选,所述第一状态空间模型和所述第二状态空间模型具有相互独立的模型参数;将所述第一方向状态空间特征和所述第二方向状态空间特征沿特征通道维度进行拼接,并利用可学习映射矩阵将拼接后的特征从两倍适配特征空间维度映射回所述适配特征空间维度,获得融合后的双向特征;将所述融合后的双向特征与状态空间特征传播前的紧凑视觉特征进行残差相加,再对残差相加结果进行层归一化处理,得到所述双向上下文视觉特征。采用两个具有独立参数的mamba块分别处理两个方向的状态传播,可避免同一组参数在双向传播中产生方向混叠;将双向特征与传播前的输入进行残差连接,可保留原始局部信息。

17、进一步优选,所述跨模态特征交互包括:利用可学习键投影矩阵和可学习值投影矩阵分别将所述文本特征序列映射为与所述双向上下文视觉特征处于同一适配特征空间的键特征和值特征;以所述双向上下文视觉特征作为查询特征,以所述键特征和所述值特征作为多头跨模态注意力运算的键输入和值输入,执行多头跨模态注意力运算,获得注意力输出特征;将所述注意力输出特征与所述双向上下文视觉特征进行残差相加,再对残差相加结果进行层归一化处理,得到所述文本条件视觉特征。通过跨模态特征交互利用注意力机制使各图像块所传播的上下文按照自然语言指代表达进行筛选,仅保留与指代目标相关的信息。

18、进一步优选,所述步骤s6包括:

19、利用可学习上投影矩阵将与图像块特征对应的文本条件视觉特征从所述适配特征空间映射至所述视觉编码网络的特征通道维度,获得图像块残差特征;

20、设置与所述视觉编码网络各特征通道一一对应的可学习通道门控参数,利用所述可学习通道门控参数对所述图像块残差特征进行逐通道调制;

21、构造一个残差序列,所述残差序列中非图像块标记特征位置处的残差值为零、图像块特征位置处的残差值为经逐通道调制后的图像块残差特征;

22、将所述残差序列与所述状态空间适配模块的输入视觉特征序列逐元素相加,获得所述适配后的视觉特征。

23、进一步优选,所述可学习通道门控参数在模型训练开始时初始化为零,以使所述残差序列在初始化状态下为零,并使所述状态空间适配模块输出的适配后视觉特征序列严格等于其输入视觉特征序列;在模型训练过程中,将所述可学习通道门控参数作为待训练参数进行更新,以允许任务相关的图像块残差特征被注入所述视觉特征序列。

24、进一步优选,所述视觉编码网络包括十二个视觉特征处理块,在第六、第八和第十视觉特征处理块设置所述状态空间适配模块,并在第二、第四和第十二视觉特征处理块设置基于多尺度卷积运算的视觉适配模块;所述状态空间适配模块的适配特征空间维度为128,所述第一序列方向和所述第二序列方向的状态空间特征传播分别由一个状态空间模型块执行,两个状态空间模型块的模型参数相互独立,状态维度均为16,局部卷积宽度均为4;所述文本编码网络的输出经可训练文本适配模块形成所述文本特征序列,所述目标对象分割掩膜由分割解码模块生成;在模型训练过程中,保持所述视觉编码网络和所述文本编码网络的参数冻结,并训练所述视觉适配模块、所述状态空间适配模块、所述文本适配模块和所述分割解码模块。

25、本发明还提供一种基于稀疏双向状态空间适配器的指代图像分割系统,包括:

26、输入获取模块,用于获取待处理图像以及用于指示所述待处理图像中目标对象的自然语言指代表达;

27、特征编码模块,包括视觉编码网络和文本编码网络,所述视觉编码网络用于对所述待处理图像进行视觉特征提取以获得包括多个图像块特征的视觉特征序列,所述文本编码网络用于对所述自然语言指代表达进行文本特征提取以获得文本特征序列;

28、状态空间适配模块,设置于所述视觉编码网络的部分特征处理阶段,用于将所述图像块特征映射至适配特征空间,分别沿第一序列方向和与所述第一序列方向相反的第二序列方向执行状态空间特征传播,并对获得的第一方向状态空间特征和第二方向状态空间特征进行融合以获得双向上下文视觉特征;

29、视觉适配模块,设置于未设置所述状态空间适配模块的至少部分特征处理阶段,用于进行局部空间特征适配;

30、跨模态融合模块,用于基于所述文本特征序列对所述双向上下文视觉特征进行跨模态特征交互,获得文本条件视觉特征;

31、门控残差更新模块,用于基于所述文本条件视觉特征形成残差特征,利用可学习门控参数调制所述残差特征,并将调制后的残差特征加入对应的视觉特征序列以获得适配后的视觉特征;

32、分割预测模块,用于基于所述适配后的视觉特征生成所述自然语言指代表达所指示目标对象的目标对象分割掩膜。

33、本发明还提供一种电子设备,包括处理器以及与所述处理器通信连接的存储器;所述存储器存储有能够由所述处理器执行的计算机程序,所述计算机程序被所述处理器执行时,使所述处理器执行上述方法。

34、本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现上述方法。

35、本发明具有以下优点:

36、1.通过仅在部分视觉特征处理阶段设置状态空间适配模块,并在其他部分阶段保留卷积视觉适配模块,使跨图像块上下文传播与局部空间结构适配在同一冻结视觉骨干中发挥互补作用,避免将局部多尺度适配全部移除。

37、2.沿相反序列方向执行状态空间传播并融合两个方向的特征,可使各图像块在进入文本条件筛选之前获得来自两个扫描方向的互补上下文,降低单一扫描方向造成的方向信息缺失。

38、3.以双向上下文视觉特征为查询、以文本特征为键和值执行跨模态注意力,可使已传播的视觉上下文按照自然语言指代表达进行筛选,减少与所指目标无关的上下文被直接注入视觉序列。

39、4.利用零初始化的通道级门控参数调制图像块残差,并在非图像块标记位置补零,使状态空间适配模块在初始化时保持精确恒等映射;训练过程中再学习门控参数,以允许任务相关修正被注入。

40、5.在模型训练过程中,仅训练视觉适配模块、状态空间适配模块、文本适配模块和分割解码模块,视觉编码网络和文本编码网络保持冻结,可训练参数占整模型的比例小,实现了参数高效的指代图像分割。