一种基于动态颜色分配的零样本指代与实例分割方法及系统与流程

本发明涉及计算机视觉领域，尤其涉及一种基于动态颜色分配的零样本指代与实例分割方法及系统。

背景技术：

1、在计算机视觉的实例分割与指代表达分割（referring expressionsegmentation, res）任务中，当前主流现有技术主要分为两类方案：

2、第一类为基于专用网络架构的有监督分割模型，典型代表为unigs。该方案提出统一扩散模型表征方式，对传统unet架构进行改造并增设掩码生成分支；采用位置感知调色板，通过硬编码规则为图像实体分配色彩并生成颜色图（colormap），最终将颜色图解码得到分割掩码。该方案训练与微调高度依赖大量带掩码标注的数据集。

3、第二类为基于提示指令驱动的图像级分类模型，典型代表为instructcv。该方案通过指令微调，将文本-图像扩散模型转换为通用视觉模型；其核心采用颜色编码（color-coding）策略，依托“图像包含对应类别则输出指定色彩”类自然语言提示，引导扩散模型生成全局纯色区块，以此完成图像级分类。

4、上述现有技术方案存在以下技术缺陷：

5、其一，零样本（zero-shot）泛化性能不足，数据标注依赖性强。unigs等主流实例分割模型，若不开展针对性微调、不补充额外标注数据，难以对任意自由文本（free-formtext）指代目标实现零样本精准分割；当输入训练集未出现的新类别、复杂指代描述时，模型易出现推理失效问题。

6、其二，缺少像素空间匹配关系，难以直接生成高精度像素级掩码。instructcv等大模型虽可依据文本指令输出对应色彩，但输出结果仅表征整张图像的全局类别，无法建立与图内各实例局部区域的空间对应关系；常规图像生成模型输出为带有光影、纹理的连续rgb图像，同类不同实例视觉特征易混淆，不能低成本、直接提取边界离散、定位精准的像素级实例掩码。

7、其三，核心流程缺少标准化算法化记载，方案可复现性较差。现有文献针对动态色彩分配规则、局部区域纯色生成引导逻辑、基于聚类的掩码提取等关键步骤仅作概念层面阐述，未提供清晰数学表达式与标准化算法步骤，降低了方案落地可实施性与技术核验支撑能力。

技术实现思路

1、鉴于目前计算机视觉的实例分割与指代表达分割存在的上述不足，本发明提供一种基于动态颜色分配的零样本指代与实例分割方法及系统，能实现免训练的像素级精准语义分割。

2、为达到上述目的，本发明采用如下技术方案：

3、一种基于动态颜色分配的零样本指代与实例分割方法，其特征在于，所述方法包括：

4、获取多模态数据并对其进行预处理，所述多模态数据包括图像数据和自然语言任务指令；

5、根据所述图像数据和自然语言任务指令，执行动态颜色分配算法，生成渲染提示指令；

6、将所述渲染提示指令、所述图像数据输入图像生成模型，进行交叉注意力引导去噪，输出纯色渲染图；

7、对所述纯色渲染图进行颜色解析与掩码提取，最终生成二值掩码。

8、根据本发明的一个方面，所述多模态数据还包括待分割目标数量n，通过所述待分割目标数量n识别任务类型，所述任务类型包括指代表达分割和实例分割，当时，判定任务类型为指代表达分割，当时，判定任务类型为实例分割。

9、根据本发明的一个方面，所述执行动态颜色分配算法，生成渲染提示指令具体为：

10、建立感知均匀色彩度量基准；

11、根据所述任务类型及所述待分割目标数量n，在所述感知均匀色彩度量空间中执行动态颜色分配算法，生成颜色集合；

12、基于所述颜色集合，通过预设的结构化模板将颜色映射关系编码为渲染提示指令。

13、根据本发明的一个方面，所述动态颜色分配算法包括：

14、当任务类型为指代表达分割时，根据所述自然语言任务指令确定背景颜色，并从预设高辨识度纯色集合中选取与所述背景颜色的感知色差大于预设阈值的颜色作为指代目标颜色；

15、当任务类型为实例分割时，采用最大最小距离贪心策略，在候选池中迭代选取颜色，使新选颜色与已选颜色集合之间的最小感知色差最大化，并强制所述最小感知色差大于等于预设阈值。

16、根据本发明的一个方面，所述预设的结构化自然语言模板包括指代表达分割模板和实例分割模板。

17、根据本发明的一个方面，所述将所述渲染提示指令、所述图像数据输入图像生成模型，进行交叉注意力引导去噪具体为：

18、对所述渲染提示指令和所述图像数据进行条件编码，生成文本嵌入序列和视觉特征图；

19、根据所述文本嵌入序列和视觉特征图，通过u-net的交叉注意力层将颜色分配映射至空间区域并进行引导；

20、基于引导结果，采用分类器自由引导执行条件扩散去噪。

21、根据本发明的一个方面，所述对所述纯色渲染图进行颜色解析与掩码提取，最终生成二值掩码具体为：

22、对所述纯色渲染图进行色彩空间转换，得到像素特征集合；

23、对所述像素特征集合执行对应的聚类策略，生成聚类簇；

24、对各所述聚类簇计算簇内平均色差，将平均色差超过预设噪声阈值的簇进行去噪处理；

25、将去噪后的聚类簇映射为二值掩码。

26、根据本发明的一个方面，所述聚类策略根据所述任务类型及所述待分割目标数量n确定：当所述任务类型为指代表达分割且时，采用k-means聚类，聚类数固定为2；当所述任务类型为实例分割且n为已知固定值时，采用k-means聚类，聚类数固定为n；当所述任务类型为实例分割且n未知或极大时，采用dbscan密度聚类。

27、根据本发明的一个方面，所述图像生成模型包括文本编码器、图像编码器、去噪u-net和图像解码器。

28、一种基于动态颜色分配的零样本指代与实例分割系统，所述系统应用于上述任一所述的零样本指代与实例分割方法，所述系统包括：

29、数据获取模块，获取多模态数据并对其进行预处理，所述多模态数据包括图像数据和自然语言任务指令；

30、指令生成模块，根据所述图像数据和自然语言任务指令，执行动态颜色分配算法，生成渲染提示指令；

31、图像生成模块，将所述渲染提示指令、所述图像数据输入图像生成模型，进行交叉注意力引导去噪，输出纯色渲染图；

32、结果生成模块，对所述纯色渲染图进行颜色解析与掩码提取，最终生成二值掩码。

33、本发明实施的优点在于：能够在不进行任何模型训练或微调的前提下，实现对任意自然语言文本指代的精准像素级分割。具体为：

34、第一，通过动态颜色分配算法，能够根据任务类型（指代表达分割或实例分割）及目标数量n，自适应地生成满足最小色差约束的高辨识度纯色集合，突破了传统方法对固定类别和预置调色板的依赖；

35、第二，通过将复杂的自然语言指代关系降维转化为色彩渲染任务，并利用图像到图像条件扩散模型中的交叉注意力机制进行空间引导，能够在不修改任何网络参数的情况下，生成与原图实例保持严格像素级空间对应关系的纯色渲染图，有效避免了对大规模标注数据的依赖以及自然图像中纹理、光影导致的实例混淆问题；

36、第三，通过执行颜色聚类（k-means或dbscan）并引入色彩距离阈值进行噪声过滤，能够稳定地从纯色渲染图中提取离散且精确的二值掩码，有效抑制了生成模型在边缘区域可能产生的颜色渐变与伪影干扰，最终实现了高精度、高鲁棒性的零样本指代与实例分割。