一种基于SAM2的支持引导提示式图像快速分割方法及系统

摘要: 本发明涉及图像处理,特别是指一种基于sam2的支持引导提示式图像快速分割方法及系统。背景技术:1、随着图像采集设备和视觉感知技术的快速发展,各类图像数据已广泛应...
一种基于SAM2的支持引导提示式图像快速分割方法及系统

本发明涉及图像处理,特别是指一种基于sam2的支持引导提示式图像快速分割方法及系统。

背景技术:

1、随着图像采集设备和视觉感知技术的快速发展,各类图像数据已广泛应用于工业检测、遥感监测、无人机巡检、安防监控、自动驾驶、材料分析、视频理解以及智能识别等场景。图像分割是图像分析中的关键环节,其目的在于从图像中准确提取目标区域、结构区域或感兴趣区域。准确的分割结果能够为目标定位、区域测量、缺陷检测、目标跟踪、场景理解以及后续智能识别提供重要依据。因此,实现快速、准确且稳定的图像分割具有重要意义。

2、目前,图像分割方法主要包括传统图像处理方法和深度学习方法。传统方法通常依赖阈值分割、区域生长、边缘检测、聚类分割等方式,虽然实现较为简单,但对图像质量、光照条件、噪声水平和人工参数设置依赖较强。在目标边界模糊、背景复杂、目标形态变化较大或目标区域较小的情况下,分割效果不够稳定。近年来,卷积神经网络、u型网络、transformer等深度学习模型被广泛应用于图像分割任务,并取得了较好的效果。然而,这类方法通常需要大量像素级标注数据,并且多针对特定场景、特定目标或特定数据类型进行训练,模型的通用性和泛化能力有限。当应用场景发生变化时,往往需要重新标注数据并重新训练模型,增加了实际部署成本。segment anything model(sam),即分割一切模型,为通用图像分割提供了新的技术思路。其后续模型sam2在图像和视频目标分割方面具有较强的泛化能力,并通过提示驱动机制和记忆交互机制实现对目标的持续分割。然而,将sam2直接应用于多类型图像快速分割任务时,仍存在明显不足。

3、然而,现有sam2图像分割方法主要存在以下两个缺点:一方面,现有方法通常依赖点、框或掩膜等人工初始提示来确定待分割目标,且未能充分利用支持样本及其标注信息中的目标结构先验,导致在批量自动分割、目标边界模糊、小目标或复杂背景场景下容易出现目标定位不准确、边界分割不完整以及分割稳定性不足的问题;另一方面,其在高分辨率图像、批量图像及连续图像处理中,通常需要对整幅图像区域和大量历史记忆进行无差别的特征编码与记忆交互,容易产生背景区域冗余计算和低相关历史信息检索,从而造成计算及存储开销较大,影响模型的推理速度和资源利用效率。

技术实现思路

1、为了解决现有方法通常依赖点、框或掩膜等人工初始提示来确定待分割目标,且未能充分利用支持样本及其标注信息中的目标结构先验,导致在批量自动分割、目标边界模糊、小目标或复杂背景场景下容易出现目标定位不准确、边界分割不完整以及分割稳定性不足的问题;同时,其在高分辨率图像、批量图像及连续图像处理中,通常需要对整幅图像区域和大量历史记忆进行无差别的特征编码与记忆交互,容易产生背景区域冗余计算和低相关历史信息检索,从而造成计算及存储开销较大,影响模型的推理速度和资源利用效率的技术问题,本发明提供了一种基于sam2的支持引导提示式图像快速分割方法及系统。

2、本发明实施例提供的技术方案如下:

3、第一方面

4、本发明实施例提供的一种基于sam2的支持引导提示式图像快速分割方法,包括:

5、s1:获取包括多个已标注图像及对应的标注掩膜的已标注图像数据集,并根据所述已标注图像及对应的标注掩膜,构建支持样本库;

6、s2:对所述已标注图像数据集进行预处理,得到目标图像数据集;

7、s3:基于sam2网络架构,构建包括自适应支持条件提示模块、目标感知的空间稀疏窗口路由模块以及结构一致性约束下的稀疏记忆检索模块的支持引导提示式图像快速分割模型;

8、s4:基于所述目标图像数据集和所述支持样本库中的支持样本,对所述支持引导提示式图像快速分割模型进行训练;

9、s5:获取待分割图像;

10、s6:将所述待分割图像输入至训练后的支持引导提示式图像快速分割模型,输出图像分割结果。

11、第二方面

12、本发明实施例提供的一种基于sam2的支持引导提示式图像快速分割系统,其特征在于,包括:

13、处理器;

14、存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,实现如第一方面所述的基于sam2的支持引导提示式图像快速分割方法的步骤。

15、第三方面

16、本发明实施例提供的一种可读存储介质,其特征在于,所述可读存储介质上存储有程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的基于sam2的支持引导提示式图像快速分割方法的步骤。

17、本发明实施例提供的技术方案带来的有益效果至少包括:

18、在本发明实施例中,通过获取已标注图像及其对应的标注掩膜并构建支持样本库,在对已标注图像数据集进行预处理的基础上,基于sam2网络架构构建包含自适应支持条件提示模块、目标感知的空间稀疏窗口路由模块以及结构一致性约束下的稀疏记忆检索模块的支持引导提示式图像快速分割模型,并利用目标图像数据集和支持样本库中的支持样本进行训练,使训练后的模型能够利用支持样本及其标注信息形成与待分割目标相关的条件提示和目标结构先验,减少对人工点、框或掩膜等初始提示的依赖,从而提高批量自动分割过程中目标定位的准确性,并改善目标边界模糊、小目标及复杂背景场景下的边界完整性和分割稳定性。同时,通过目标感知的空间稀疏窗口路由和结构一致性约束下的稀疏记忆检索,使模型能够针对与待分割目标相关的图像区域和历史记忆信息进行选择性处理,减少背景区域的冗余特征计算以及低相关历史记忆的无效交互,降低高分辨率图像、批量图像及连续图像处理过程中的计算开销和存储开销,进而提高模型的推理速度和资源利用效率。

1.一种基于sam2的支持引导提示式图像快速分割方法,其特征在于,包括:

2.根据权利要求1所述的基于sam2的支持引导提示式图像快速分割方法,其特征在于,所述已标注图像的图像类型包括工业检测图像、遥感图像、无人机巡检图像、安防监控图像、自动驾驶场景图像以及材料表面图像。

3.根据权利要求1所述的基于sam2的支持引导提示式图像快速分割方法,其特征在于,所述s2具体包括:

4.根据权利要求1所述的基于sam2的支持引导提示式图像快速分割方法,其特征在于,所述s3中自适应支持条件提示模块的实现流程包括:

5.根据权利要求4所述的基于sam2的支持引导提示式图像快速分割方法,其特征在于,所述s3中目标感知的空间稀疏窗口路由模块的实现流程包括:

6.根据权利要求5所述的基于sam2的支持引导提示式图像快速分割方法,其特征在于,所述s3中结构一致性约束下的稀疏记忆检索模块的实现流程包括:

7.根据权利要求1所述的基于sam2的支持引导提示式图像快速分割方法,其特征在于,所述s4具体包括:

8.根据权利要求7所述的基于sam2的支持引导提示式图像快速分割方法,其特征在于,在所述s408之后还包括:

9.一种基于sam2的支持引导提示式图像快速分割系统,其特征在于,包括:

10.一种可读存储介质,其特征在于,所述可读存储介质上存储有程序或指令,所述程序或指令被处理器执行时实现如权利要求1至8中任一项所述的基于sam2的支持引导提示式图像快速分割方法的步骤。