一种基于大模型的通用医学图像交互式分割系统的制作方法

本发明涉及图像识别领域，尤其涉及一种基于大模型的通用医学图像交互式分割系统。

背景技术：

1、图像分割是医学影像分析的一个重要分支，精确的分割可以获得准确的解剖结构，包括人体器官、组织和病灶等，这对于临床诊断有重大意义。人工标注的分割图像费时费力，效率低下，近年来随着人工智能的发展，大量的卷积神经网络被提出，并证实在许多医学图像上展现了很好的分割效果。这些网络往往存在局限性，一方面这些网络针对于某一个特定的任务开展，如器官分割、病灶分割，针对单一种类的数据进行训练和测试，这样训练出来的网络在另一个不同模态的数据上往往效果很差，无法适配新数据；另一方面，医学领域缺少大规模的，可以作为基准的数据集，而且这些网络相对较小，无法学习庞大的数据集及其图像特征，这就限制了网络的能力和普适性。近年来基于图像的大模型横空出世，但在医学图像领域却效果不佳，成像方式的不同导致这些大模型无法直接在医疗数据上使用。当前的医学图像分割模型基于特定的数据集，往往在另一个模态下表现不佳。另外还存在分割效果不佳，以及需要使用大量时间并占用大量资源的问题。在当今医疗快速发展的大环境下，面对日益增多的数据，必须有一个通用的大模型，能够灵活处理新的需求，在任何新的场景都能表现出不错的效果。

技术实现思路

1、本发明的目的在于提供一种基于大模型的通用医学图像交互式分割方法和系统，以解决上述背景技术中提出的问题。

2、为实现上述发明目的，本发明的一个方面提供一种基于大模型的通用医学图像交互式分割方法，根据输入图像类型自适应选择模型，对于网络分割不佳的情况通过调整提示词，不断迭代分割结果，提升分割效果，包括以下步骤：

3、步骤s1，针对不同模态的数据进行预处理；

4、步骤s2，分析输入图像的大小，根据预设阈值，选择合适的模型；

5、步骤s3，对图像进行分割并使用提示词进行掩码解码，获得掩码输出；

6、步骤s4，若对掩码输出不满意，调整提示词并再次调用分割模型，以获得更加准确的结果，并不断迭代这一过程，直到得到满意的结果。

7、进一步的，对于2d图像，所述步骤s3为在界面上选择感兴趣的区域，选择提示框的左上角和右下角坐标作为提示词输入到提示编码器中编码，与经过图像编码器生成的特征向量一起作为输入进行掩码解码，获得掩码输出。

8、进一步的，对于3d图像，所述步骤s3为将3d图像面积最大的一层作为分割起始层做2d分割，得到分割掩码，以起始层分割结果作为提示词，从向上和向下两个方向并行计算相邻层的掩码，以此类推直到图像边界。

9、进一步的，所述方法应用于标注平台上使用，实现医学图像半自动分割。

10、本发明的另一个方面提供一种基于大模型的通用医学图像交互式分割系统，根据输入图像类型自适应选择模型，对于网络分割不佳的情况通过调整提示词，不断迭代分割结果，提升分割效果，包括预处理模块，模型选择模块，分割模块，迭代模块，其中：

11、预处理模块用于针对不同模态的数据进行预处理；

12、模型选择模块用于分析输入图像的大小，根据预设阈值，选择合适的模型；

13、分割模块用于对图像进行分割并使用提示词进行掩码解码，获得掩码输出；

14、迭代模块，若对掩码输出不满意，调整提示词并再次调用分割模型，以获得更加准确的结果，并不断迭代这一过程，直到得到满意的结果。

15、进一步的，对于2d图像，所述分割模块为在界面上选择感兴趣的区域，选择提示框的左上角和右下角坐标作为提示词输入到提示编码器中编码，与经过图像编码器生成的特征向量一起作为输入进行掩码解码，获得掩码输出。

16、进一步的，对于3d图像，所述分割模块为将3d图像面积最大的一层作为分割起始层做2d分割，得到分割掩码，以起始层分割结果作为提示词，从向上和向下两个方向并行计算相邻层的掩码，以此类推直到图像边界。

17、进一步的，所述系统应用于标注平台上使用，实现医学图像半自动分割。

18、由于采用本系统和方法，与现有技术相比，具有以下优点：

19、1.本发明通过使用大模型和大数据进行训练得到一个通用的医疗图像分割工具，能够在任何数据上获得较好的分割结果，更高效辅助标注和临床分析。

20、2.本发明通过可以交互的分割方式，使分割更加灵活，对于标注不满意的情况，可以很轻松的调整提示词，获得满意的结果。

21、3.本发明通过模型选择功能，更加高效。

1.一种基于大模型的通用医学图像交互式分割方法，其特征在于，根据输入图像类型自适应选择模型，对于网络分割不佳的情况通过调整提示词，不断迭代分割结果，提升分割效果，包括以下步骤：

2.根据权利要求1所述的一种基于大模型的通用医学图像交互式分割方法，其特征在于，对于2d图像，所述步骤s3为在界面上选择感兴趣的区域，选择提示框的左上角和右下角坐标作为提示词输入到提示编码器中编码，与经过图像编码器生成的特征向量一起作为输入进行掩码解码，获得掩码输出。

3.根据权利要求1所述的一种基于大模型的通用医学图像交互式分割方法，其特征在于，对于3d图像，所述步骤s3为将3d图像面积最大的一层作为分割起始层做2d分割，得到分割掩码，以起始层分割结果作为提示词，从向上和向下两个方向并行计算相邻层的掩码，以此类推直到图像边界。

4.根据权利要求1所述的一种基于大模型的通用医学图像交互式分割方法，其特征在于，所述方法应用于标注平台上使用，实现医学图像半自动分割。

5.一种基于大模型的通用医学图像交互式分割系统，其特征在于，根据输入图像类型自适应选择模型，对于网络分割不佳的情况通过调整提示词，不断迭代分割结果，提升分割效果，包括预处理模块，模型选择模块，分割模块，迭代模块，其中：

6.根据权利要求5所述的一种基于大模型的通用医学图像交互式分割系统，其特征在于，对于2d图像，所述分割模块为在界面上选择感兴趣的区域，选择提示框的左上角和右下角坐标作为提示词输入到提示编码器中编码，与经过图像编码器生成的特征向量一起作为输入进行掩码解码，获得掩码输出。

7.根据权利要求5所述的一种基于大模型的通用医学图像交互式分割系统，其特征在于，对于3d图像，所述分割模块为将3d图像面积最大的一层作为分割起始层做2d分割，得到分割掩码，以起始层分割结果作为提示词，从向上和向下两个方向并行计算相邻层的掩码，以此类推直到图像边界。

8.根据权利要求5所述的一种基于大模型的通用医学图像交互式分割系统，其特征在于，所述系统应用于标注平台上使用，实现医学图像半自动分割。