基于视觉与语言解耦机制的免训练广义参考图像分割方法

本发明涉及计算机视觉与图像处理，具体为基于视觉与语言解耦机制的免训练广义参考图像分割方法。

背景技术：

1、参考图像分割旨在根据给定的自然语言文本描述，在图像中定位并实现像素级分割出文本所指代的特定目标，该技术在人机交互、自动驾驶以及智能机器人视觉导航等领域具有广泛的应用需求。

2、现有的参考图像分割方法构建端到端的多模态融合网络，将图像提取的视觉特征与文本提取的语义特征在网络底层进行深度的跨模态耦合，随后通过解码器输出预测的像素掩码，然而，这种特征高度耦合的网络架构严重依赖大规模的像素级图文对齐标注数据进行联合训练，该训练机制不仅需要消耗大量的计算资源，而且导致模型特征分布受限于训练数据集，在面临跨域场景或需要分割未见目标类别时，模型的泛化能力受限，分割精度会下降，同时，由于视觉空间信息与文本语义信息在底层网络中被强制捆绑，现有方法难以直接调用或灵活替换目前快速发展的独立预训练视觉基座模型与大型语言模型，导致系统的模块化程度低，升级维护成本高。

3、此外，现有的大多数参考图像分割模型采用一次性的前向推理机制，在面对图像背景复杂或自然语言指代存在歧义的工况时，模型在全局特征匹配阶段会发生目标漏检，由于现有系统在推理过程中缺乏针对中间状态的异常校验机制，当模型未能准确提取到指代目标时，系统无法自适应地缩小搜索范围进行局部重推理，也无法对生成的错误掩码进行拦截，最终导致图像分割任务在复杂场景下的漏报率与误报率难以得到控制。

技术实现思路

1、针对现有技术的不足，本发明提供了基于视觉与语言解耦机制的免训练广义参考图像分割方法，解决了现有参考图像分割方法因图文特征高度耦合而依赖大规模标注数据联合训练导致跨域泛化能力受限，以及在发生目标漏检时缺乏自适应校验与局部重推理纠错机制的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：基于视觉与语言解耦机制的免训练广义参考图像分割方法，所述方法包括以下步骤：

3、获取原始图像与自然语言指代文本，提取所述自然语言指代文本的实体词集合作为文本提示条件，调用广义零样本图像分割网络处理所述原始图像生成初始候选掩码及对应的置信度分数，结合所述初始候选掩码的相对面积占比与所述置信度分数执行自适应过滤并剔除嵌套的局部掩码，输出目标候选掩码；

4、提取所述目标候选掩码的相对坐标、几何宽高比与相对面积占比，为各个所述目标候选掩码分配唯一标识符并建立索引映射关系，将所述唯一标识符、所述相对坐标、所述几何宽高比与所述相对面积占比序列化封装生成几何结构化数据；

5、基于所述目标候选掩码在所述原始图像上生成叠加有所述唯一标识符的视觉渲染图，比对所述视觉渲染图与所述几何结构化数据输出标识符匹配结果，并计算全局语义相似度；基于所述标识符匹配结果与所述全局语义相似度，结合所述索引映射关系输出最终目标掩码、空集，或者启动异常纠错流程生成救援掩码并进行校验输出。

6、采用上述技术方案，本发明通过在原始图像上渲染带有唯一标识符的目标候选掩码，并同步将局部几何特征序列化为文本数据，使得图像分割任务转化为结构化文本与视觉渲染图像的匹配判定，该机制实现底层像素特征与高层语义特征的解耦，使系统能够在参数冻结状态下直接串联多模态模型完成分割任务；同时结合全局语义相似度与标识符的联合判定，实现自适应的漏检识别与纠错输出。

7、进一步的，所述提取自然语言指代文本的实体词集合作为文本提示条件的步骤包括：

8、通过分词器与自注意力编码层构建依存句法树，识别并剔除指示代词与不定代词后提取核心名词节点；

9、当检测到所述核心名词节点存在修饰性的复合节点时，提取对应的修饰词并与所述核心名词节点进行文本字符拼接生成实体词，汇总构建为实体词集合；

10、当所述实体词集合为空时，将所述自然语言指代文本的完整文本或预设通用目标提示作为所述文本提示条件。

11、采用上述技术方案，通过依存句法树解析文本，可剔除冗余代词并提取修饰关系，降低长文本输入时的语义歧义，提高文本提示条件的指向明确性；在实体词集合为空时采用预设提示的机制，可保证系统在无明确实体词输入情况下的基础检测能力，提高文本解析阶段的鲁棒性。

12、进一步的，所述结合所述初始候选掩码的相对面积占比与所述置信度分数执行自适应过滤并剔除嵌套的局部掩码的步骤包括：

13、将所述初始候选掩码的相对面积占比划分为不同的尺度区间，并为相对面积占比越大的所述尺度区间配置越高的动态置信度下限，采用分段判别函数进行判定，截留满足条件的掩码汇编为中间掩码集合；

14、提取所述中间掩码集合中发生空间重叠的掩码对，将所述掩码对标记为小面积掩码与大面积掩码，计算所述小面积掩码针对所述大面积掩码的包含度；

15、当所述包含度大于设定的空间重叠度界限值，且所述小面积掩码的置信度分数不大于所述大面积掩码的置信度分数与预设的置信度差值裕度之和时，从所述中间掩码集合中删除所述小面积掩码。

16、采用上述技术方案，通过设定基于面积占比的动态置信度下限，根据目标尺寸分配不同的过滤标准，可减少大面积目标的过分割和小面积目标的漏分割；结合空间包含度与置信度差值的判定条件，能够识别并剔除嵌套在主体内部的冗余掩码，保证候选掩码的空间独立性。

17、进一步的，所述提取所述目标候选掩码的相对坐标、几何宽高比与相对面积占比的步骤包括：

18、计算所述目标候选掩码的零阶矩、横向一阶矩与纵向一阶矩，通过所述横向一阶矩与所述零阶矩的比值以及所述纵向一阶矩与所述零阶矩的比值运算获取包含横轴分量与纵轴分量的绝对质心坐标；

19、遍历所述目标候选掩码的非零像素点，记录所有非零像素点在横轴与纵轴上的极值，将最小横坐标、最小纵坐标、最大横坐标以及最大纵坐标组合生成绝对外接边界框坐标；

20、将所述绝对质心坐标的横轴分量与纵轴分量，以及所述绝对外接边界框坐标的各个极值分别除以所述原始图像的全局宽度与全局高度，转换为相对质心坐标与相对外接边界框坐标共同作为所述相对坐标，将所述绝对外接边界框坐标的像素宽度除以像素高度计算得到所述几何宽高比，将所述零阶矩除以所述原始图像的总像素面积计算得到所述相对面积占比。

21、采用上述技术方案，基于矩运算与非零像素的极值提取空间边界，并将绝对像素坐标转换为相对几何参量，消除不同输入图像分辨率差异带来的尺度影响，提取出的相对坐标与比例参量具有尺度不变性，为后续的结构化数据封装提供统一的数据格式。

22、进一步的，所述将所述唯一标识符、所述相对坐标、所述几何宽高比与所述相对面积占比序列化封装生成几何结构化数据的步骤包括：

23、建立包含标识字段、相对中心坐标字段、相对边界框坐标字段、宽高比例字段以及面积比例字段的序列化数据字典结构；

24、将对应的所述唯一标识符、所述相对坐标、所述几何宽高比以及所述相对面积占比转化为键值对；

25、将所述键值对存入所述序列化数据字典结构中生成纯文本数值模态数据，完成视觉空间模态到纯文本数值模态的特征解耦转换，以生成所述几何结构化数据。

26、采用上述技术方案，利用数据字典结构将视觉掩码的几何参量转换为键值对形式，实现图像局部特征到文本数值数据的模态转换，该转换使得后续支持文本输入的推理模型能够直接解析目标的空间分布特征，无需进行像素级别的特征对齐。

27、进一步的，所述基于所述目标候选掩码在所述原始图像上生成叠加有所述唯一标识符的视觉渲染图的步骤包括：

28、依据所述相对面积占比对所有所述目标候选掩码进行降序排列，构建渲染序列；

29、克隆所述原始图像的像素矩阵作为渲染底图，按照所述渲染序列的先后顺序，在所述渲染底图上逐层叠加对应所述目标候选掩码的边界轮廓以及基于所述绝对质心坐标确定的中心节点；

30、生成视觉指引线将所述中心节点连接至对应目标候选掩码的绝对外接边界框外部的偏置位置，并添加对应的所述唯一标识符生成所述视觉渲染图。

31、采用上述技术方案，按照面积降序叠加掩码轮廓的顺序，防止大面积掩码层覆盖小面积掩码层；通过生成视觉指引线将标识符设置在边界框外部，避免文本标识符遮挡图像目标的局部纹理，提高后续模型读取图文对应关系时的准确性。

32、进一步的，所述基于所述标识符匹配结果与所述全局语义相似度，结合所述索引映射关系输出最终目标掩码、空集，或者启动异常纠错流程生成救援掩码并进行校验输出的步骤包括：

33、当所述标识符匹配结果不为空值标识时，根据匹配的所述唯一标识符调用对应的所述目标候选掩码作为所述最终目标掩码输出；

34、当所述标识符匹配结果为空值标识，且所述全局语义相似度大于预设存在阈值时，判定发生目标漏检，启动所述异常纠错流程生成所述救援掩码并进行校验输出；

35、当所述标识符匹配结果为空值标识，且所述全局语义相似度小于或等于所述预设存在阈值时，判定所述原始图像中不存在匹配实体，直接输出所述空集。

36、采用上述技术方案，结合标识符匹配结果与全局语义相似度进行联合判定，可区分原始图像中确实不存在实体与模型漏检这两种情况，在判定为漏检时启动异常纠错流程，为潜在目标提供重检测路径，从而降低图像分割任务的漏报率。

37、进一步的，所述启动所述异常纠错流程生成所述救援掩码的步骤包括：

38、通过文本指令引导视觉语言对齐推理网络输出包含缺失目标在水平方向与垂直方向上的最小相对比例边界与最大相对比例边界的相对百分比坐标框；

39、对所述相对百分比坐标框执行边界截断处理与有效性校验，若通过校验则将所述相对百分比坐标框的各个相对比例边界值分别乘以所述原始图像的全局宽度与全局高度生成绝对物理像素坐标框；

40、将所述绝对物理像素坐标框作为空间边界提示输入广义零样本图像分割网络，在局部图像区域内重新执行像素级分类解码生成所述救援掩码。

41、采用上述技术方案，在确认漏检后，通过获取目标边界框并将其作为空间边界提示输入至分割网络，引导网络在限定的局部区域内重新进行解码计算，该处理将全局特征搜索缩小为局部提示分割，有利于提取出前期全局处理时遗漏的目标。

42、进一步的，所述生成所述救援掩码后，所述进行校验输出的步骤包括：

43、依据所述救援掩码的像素分布边界向外围扩展预设比例的上下文像素裕度，从所述原始图像中裁剪出图像子区域；

44、将所述图像子区域的边缘执行对称零值像素填充并扩展至标准输入分辨率后，提取局部视觉特征向量；

45、提取所述自然语言指代文本的文本特征向量，计算所述局部视觉特征向量与所述自然语言指代文本的文本特征向量的局部一致性得分，当所述局部一致性得分大于设定的安全检验阈值时，将所述救援掩码作为所述最终目标掩码输出，否则输出所述空集。

46、采用上述技术方案，围绕救援掩码裁剪出局部图像并提取局部视觉特征，通过计算其与文本特征的一致性得分进行校验，该局部校验排除全局背景图像的干扰，可过滤由于错误提示产生的无效掩码，保证最终输出结果与指代文本的匹配度。

47、进一步的，所述免训练是指：在系统部署执行图像分割运算时，所调用各网络模型的参数均处于完全冻结状态，仅加载预训练特征权重进行前向推理计算，不进行针对当前图像分割任务的反向传播参数更新。

48、采用上述技术方案，规定系统在参数冻结状态下进行前向推理，省去针对不同细分场景进行数据集标注与模型重新训练的过程，降低算力开销并提升方法在部署时的效率和适用性。

49、本发明提供了基于视觉与语言解耦机制的免训练广义参考图像分割方法。具备以下有益效果：

50、1、本发明通过在原始图像上叠加带有唯一标识符的视觉渲染图，并将目标候选掩码的绝对质心坐标、相对面积占比等几何参量序列化封装为几何结构化数据，实现视觉空间模态与纯文本数值模态的特征解耦，该技术特征使得系统能够在网络模型参数完全冻结的状态下，直接进行结构化文本与视觉渲染图像的匹配判定，免去针对特定图像分割任务进行端到端联合训练与反向传播参数更新的过程，从而降低系统部署的算力开销以及对大规模像素级对齐标注数据的依赖。

51、2、本发明通过将目标候选掩码的相对面积占比划分尺度区间并配置动态置信度下限，结合重叠掩码间的空间包含度与置信度差值执行自适应过滤，该技术特征能够根据不同尺寸的目标分配差异化的截留标准，识别并剔除嵌套在主体目标内部的局部冗余掩码，抑制参考图像分割中常见的大面积目标过分割以及小面积目标漏分割现象，提高最终输出掩码的空间独立性与形态完整性。

52、3、本发明通过比对全局语义相似度与标识符匹配结果构建漏检判定条件，在判定发生漏检后生成相对百分比坐标框，转换为绝对物理像素坐标框作为局部空间边界提示重新输入分割网络进行解码，并裁剪图像子区域计算局部一致性得分进行校验，该技术特征在常规的全局提示分割之外增加一条自启动的局部重检测路径，能够利用显式的空间提示引导网络提取前期被遗漏的目标，在降低系统整体漏报率的同时，通过局部图像的一致性校验过滤错误提示产生的无效掩码，保证纠错结果的准确度。