基于超体素聚类及原型优化的图像分割、训练方法及装置与流程

1.本发明涉及计算机视觉领域，尤其是涉及基于超体素聚类及原型优化的图像分割、训练方法及装置。


背景技术：

2.近年来，深度神经网络在多种计算机视觉任务中取得了显著的进展，如图像分割、物体识别与检测等，其成功因素之一在于使用了大规模的有标签训练数据集。然而，在医疗图像处理领域，考虑到以下因素，通常只有很少量的有标签数据：（1）从数据标注的角度，医学图像数据通常需要临床专家花费大量的时间、精力进行精确标注，大规模有标签数据的标注代价较高；（2）从数据的角度，不同医疗设备、不同医院之间图像采集过程存在一定差距，搜集所有可能的病变类型、组织解剖结构等具有较大难度。医疗图像分割是医疗图像处理领域的关键任务，对疾病诊断、治疗规划、组织量化等实际问题起到重要的支撑作用。因此，如何在小样本情境下进行准确的医疗图像分割正引起越来越多研究人员的关注。
3.通常，小样本图像分割技术首先从具有大量有标签数据的基础类别中学习出具有迁移能力的先验知识，其次将该知识泛化到只有少量有标签数据的全新类别上，以提升目标类的分割性能。与自然图像上的小样本分割技术相比，医疗图像分割具有一些显著的特点。首先，基础类的训练数据较少，通常只有数十个左右，而自然图像的基础类数据多达上千个，这就导致自然图像的小样本分割技术无法直接用于求解医疗图像分割问题。其次，医疗图像中的单一组织类别内部具有同质化特征，不同图像里组织器官的大小存在较大差异，如同一组织在不同mri图像切片上的大小不同。再次，医疗图像中的背景信息通常呈现异质化特征，可能存在多种不同类别的组织器官。仅仅使用少量的有标签数据很难同时求解上述难点。


技术实现要素：

4.为解决现有技术的不足，实现提升未知类图像分割性能的目的，本发明采用如下的技术方案：一种基于超体素聚类及原型优化的图像分割训练方法，包括如下步骤：步骤s1：对基础类的有标签图像进行无监督超体素（supervoxel）学习，并将每个超体素当作一个对象类；步骤s2：基于超体素的聚类结果，构造基于伪标签的元学习情景训练数据集，包括如下步骤：步骤s2.1：将每个超体素作为一种类别伪标签，从每个超体素所包含的图像中，选取一组图像作为该类别对应的有标签训练数据，标注超体素所在的位置，构造图像所对应的分割掩码，得到超体素的训练数据集；步骤s2.2：从每个超体素的训练数据中抽取多组训练数据，每组训练数据划分支持图像和查询图像，构成整个元学习情景训练数据集；
步骤s3：使用元学习情景训练数据集，训练基于原型优化的图像分割网络，包括如下步骤：步骤s3.1：将支持图像与相应的真实分割掩码输入特征提取网络，分别提取深度特征及同等大小的分割掩码，根据分割掩码中超体素所在位置，抽取前景对象的深度特征；步骤s3.2：将前景对象的深度特征沿深度方向进行均值池化，得到前景原型向量；步骤s3.3：将前景对象的深度特征输入阈值学习器，得到前景分类阈值；步骤s3.4：将查询图像输入特征提取网络，从提取的深度特征中，计算每个位置处的特征向量与前景原型向量之间的相似度，并将相似度与前景分类阈值进行比较，得到查询图像的分割结果；步骤s3.5：基于查询图像的分割结果，对前景原型向量进行一次全局优化，获得优化后的前景原型向量；步骤s3.6：重复步骤s3.4，计算查询图像的深度特征与优化后的前景原型向量之间相似度，并获得最终的预测分割结果，通过预测分割结果与真实分割结果进行比较，优化整个图像分割网络。
5.进一步地，所述步骤s3.3中，阈值学习器为自适应阈值学习器，采用两层全连接得到。
6.进一步地，所述步骤s3.4中，计算查询图像的深度特征与前景原型向量的余弦相似度为：其中，表示查询图像的深度特征中第m行第n列的特征向量，表示尺度缩放值。
7.进一步地，所述步骤s3.4中，对比相似度与前景分类阈值的大小，得到如下分割结果：其中，表示查询图像的深度特征中第m行第n列的特征向量与前景原型向量的相似度，t表示前景分类阈值，σ表示sigmoid激活函数。
8.进一步地，所述步骤s3.5中的全局优化，是从分割结果中挑选预测得分最大的k个特征向量，采用加权求和方式，对前景原型向量进行优化更新，更新后的前景原型向量为：为：为：其中，表示第j个最相似的查询图像的深度特征，表示规整化后的权重，
表示第j个最相似的查询图像的深度特征与前景原型向量之间的规整化权重，表示指数函数，用于对权重进行规整化，上标为超参数，表示与的余弦相似度。
9.进一步地，所述步骤s3.6中，图像分割网络的优化，采用交叉熵损失：其中，h表示特征向量的行数，w表示特征向量的列数，表示第m行第n列的特征向量的真实分割结果，表示第m行第n列的特征向量的预测分割结果。
10.同时考虑交叉熵损失和分类阈值损失，总损失函数表示为：其中，β为超参数，通过最小化总损失函数l，优化整个图像分割网络。
11.一种基于超体素聚类及原型优化的图像分割方法，基于所述的基于超体素聚类及原型优化的图像分割训练方法，还包括：步骤s4：在测试过程中，输入测试类的有标签图像，提取相应的图像特征，根据图像所对应的真实分割掩码，计算该类别的前景原型向量；步骤s5：将测试图像输入通过训练好的图像分割网络，提取特征，计算测试图像特征与前景原型向量之间的相似度，并基于相似度对前景原型向量进行优化，迭代后得到预测分割结果，并基于真实分割结果进行验证。
12.一种基于超体素聚类及原型优化的图像分割训练装置，用于所述的基于超体素聚类及原型优化的图像分割训练方法，包括超体素学习模块、训练数据集构建模块和图像分割网络训练模块；所述超体素学习模块，对基础类的有标签图像进行无监督超体素（supervoxel）学习，并将每个超体素当作一个对象类；所述训练数据集构建模块，基于超体素的聚类结果，构造基于伪标签的元学习情景训练数据集，包括：超体素训练数据集构建模块和元学习情境训练数据集构建模块；所述超体素训练数据集构建模块，将每个超体素作为一种类别伪标签，从每个超体素所包含的图像中，选取一组图像作为该类别对应的有标签训练数据，标注超体素所在的位置，构造图像所对应的分割掩码，得到超体素的训练数据集；所述元学习情境训练数据集构建模块，从每个超体素的训练数据中抽取多组训练数据，每组训练数据划分支持图像和查询图像，构成整个元学习情景训练数据集；所述图像分割网络训练模块，使用元学习情景训练数据集，训练基于原型优化的图像分割网络，包括：前景对象深度特征提取模块、前景原型向量生成模块、前景分类阈值生成模块、查询图像分割结果生成模块、前景原型向量优化模块和图像分割网络优化模块；所述前景对象深度特征提取模块，将支持图像与相应的真实分割掩码输入特征提取网络，分别提取深度特征及同等大小的分割掩码，根据分割掩码中超体素所在位置，抽取前景对象的深度特征；所述前景原型向量生成模块，将前景对象的深度特征沿深度方向进行均值池化，得到前景原型向量；
所述前景分类阈值生成模块，将前景对象的深度特征输入阈值学习器，得到前景分类阈值；所述查询图像分割结果生成模块，将查询图像输入特征提取网络，从提取的深度特征中，计算每个位置处的特征向量与前景原型向量之间的相似度，并将相似度与前景分类阈值进行比较，得到查询图像的分割结果；所述前景原型向量优化模块，基于查询图像的分割结果，对前景原型向量进行一次全局优化，获得优化后的前景原型向量；所述图像分割网络优化模块，返回查询图像分割结果生成模块，计算查询图像的深度特征与优化后的前景原型向量之间相似度，并获得最终的预测分割结果，通过预测分割结果与真实分割结果进行比较，优化整个图像分割网络。
13.一种基于超体素聚类及原型优化的图像分割装置，基于所述的基于超体素聚类及原型优化的图像分割训练装置，还包括测试图像前景原型向量获取模块和测试图像分割结果生成模块；所述测试图像前景原型向量获取模块，在测试过程中，输入测试类的有标签图像，提取相应的图像特征，根据图像所对应的真实分割掩码，计算该类别的前景原型向量；所述测试图像分割结果生成模块，将测试图像输入通过训练好的图像分割网络，提取特征，计算测试图像特征与前景原型向量之间的相似度，并基于相似度对前景原型向量进行优化，迭代后得到预测分割结果，并基于真实分割结果进行验证。
14.本发明的优势和有益效果在于：本发明的基于超体素聚类及原型优化的图像分割、训练方法及装置，通过将少量的有标签基础类数据进行超体素聚类，并基于超体素聚类结果构造出大规模的训练数据对，从而缓解数据量较少所带来的模型困境；在此基础上，进一步采用元学习的情景训练策略，在分割预测过程中对类别原型进行全局迭代，即通过原型优化网络引入测试数据全局信息，从而改善全新类的分割性能。本发明实现简单、灵活，通过元学习训练数据集可有效提升特征学习网络的泛化能力，进而通过引入测试图片的全局信息进行原型优化，可以有效提高特征学习网络的泛化能力，有效提升测试类对象的图像分割性能。
附图说明
15.图1是本发明的基于超体素聚类及原型优化的图像分割训练方法流程图。
16.图2是本发明实施例中基于超体素聚类及原型优化的图像分割训练方法架构图。
17.图3是本发明的基于超体素聚类及原型优化的图像分割方法流程图。
18.图4是本发明实施例中基于超体素聚类及原型优化的图像分割训练设备的结构示意图。
具体实施方式
19.以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
20.如图1、图2所示，一种基于超体素聚类及原型优化的小样本图像分割训练方法，包括以下步骤：
步骤s1：对基础类的有标签数据进行无监督超体素（supervoxel）学习，并将每个超体素当作一个对象类。
21.步骤s2：基于超体素聚类结果，构造基于伪标签的元学习情景训练数据集，包括如下步骤：步骤s2.1：将每个超体素作为一种类别伪标签，从每个超体素所包含的图像中，选取一组图像作为该类别对应的有标签训练数据，标注超体素所在的位置，构造图像所对应的分割掩码，得到超体素的训练数据集；具体地，假设步骤s1有n个超体素，每个超体素作为一种伪标签。对于每个超体素，从该超体素中所包含的所有图像中，随机选取张图像，作为该类别所对应的有标签训练数据。假设第j张图像记为()，在中，超体素所在位置标注为1，其他位置标注为0，构造出图像所对应的分割掩码。第i个超体素中的所有训练数据记为；步骤s2.2：从每个超体素的训练数据中抽取多组训练数据，每组训练数据划分支持图像和查询图像，构成整个元学习情景训练数据集；具体地，从每个超体素的训练数据中随机抽取组训练数据，每组训练数据包括1 k张图像，其中一张图像为支持图像，其余k张图像为查询图像，所有组训练数据构成整个元学习情景训练数据集。
22.步骤s3：使用元学习情景训练数据集，训练基于原型优化的小样本医疗图像分割网络，包括如下步骤：步骤s3.1：将支持图像与相应的真实分割掩码输入特征提取网络，分别提取深度特征及同等大小的分割掩码，根据分割掩码中非零值所在位置，抽取前景对象的深度特征，记为；步骤s3.2：将前景对象的深度特征沿深度方向进行均值池化，得到前景原型向量，记为；步骤s3.3：将前景对象的深度特征输入自适应阈值学习器，得到前景分类阈值，即，其中学习器采用两层全连接得到，全连接层参数记为；步骤s3.4：将查询图像输入特征提取网络，得到相应的深度特征，从提取的深度特征中，计算每个位置处的特征向量与前景原型向量之间的余弦相似度，并余弦相似度与与分类阈值进行比较，得到查询图像的分割结果，具体为：首先，计算深度特征与前景原型向量的余弦相似度为：其中，表示中第m行第n列的特征向量，为尺度缩放值，通常为-20。
23.其次，对比上述相似度与分类阈值的大小，得到如下分割结果：
其中σ表示sigmoid激活函数；步骤s3.5：基于查询图像的分割结果，对前景原型向量进行一次全局优化，获得优化后的前景原型向量，具体为：挑选中预测得分最大的k个特征向量，采用加权求和方式，对前景原型进行优化更新，更新后的原型为：化更新，更新后的原型为：化更新，更新后的原型为：其中，表示第j个最相似的特征向量，为规整化后的权重，表示第j个最相似的特征向量与之间的规整化权重，表示指数函数，用于对权重进行规整化，上标为超参数，表示与的余弦相似度。
24.步骤s3.6：重复步骤s3.4，计算查询图像的深度特征与优化后的前景原型向量之间余弦相似度，并获得最终的分割结果，通过预测分割结果与真实分割结果进行比较，优化整个医疗图像分割网络，具体为：采用步骤s3.4余弦相似度及分割结果公式，获取最终的分类结果，计算交叉熵损失为：其中，h表示特征向量的行数，w表示特征向量的列数；同时，考虑分类阈值损失，总损失函数表示为：其中，β为超参数，通过最小化上述总损失函数l，来学习整个小样本医疗图像分割网络。
25.如图3所示，一种基于超体素聚类及原型优化的图像分割方法，基于所述的基于超体素聚类及原型优化的图像分割训练方法，还包括：步骤s4：在测试过程中，输入测试类的有标签图像，提取相应的图像特征，根据图像所对应的真实分割掩码，计算该类别的前景原型向量；步骤s5：将测试图像输入通过训练好的图像分割网络，提取特征，计算测试图像特征与前景原型向量之间的相似度，并基于相似度对前景原型向量进行优化，迭代后得到预测分割结果，并基于真实分割结果进行验证。
26.这部分内容中训练方法的实施方式与上述方法实施例的实施方式类似，此处不再
赘述。
27.一种基于超体素聚类及原型优化的图像分割训练装置，用于所述的基于超体素聚类及原型优化的图像分割训练方法，包括超体素学习模块、训练数据集构建模块和图像分割网络训练模块；所述超体素学习模块，对基础类的有标签图像进行无监督超体素（supervoxel）学习，并将每个超体素当作一个对象类；所述训练数据集构建模块，基于超体素的聚类结果，构造基于伪标签的元学习情景训练数据集，包括：超体素训练数据集构建模块和元学习情境训练数据集构建模块；所述超体素训练数据集构建模块，将每个超体素作为一种类别伪标签，从每个超体素所包含的图像中，选取一组图像作为该类别对应的有标签训练数据，标注超体素所在的位置，构造图像所对应的分割掩码，得到超体素的训练数据集；所述元学习情境训练数据集构建模块，从每个超体素的训练数据中抽取多组训练数据，每组训练数据划分支持图像和查询图像，构成整个元学习情景训练数据集；所述图像分割网络训练模块，使用元学习情景训练数据集，训练基于原型优化的图像分割网络，包括：前景对象深度特征提取模块、前景原型向量生成模块、前景分类阈值生成模块、查询图像分割结果生成模块、前景原型向量优化模块和图像分割网络优化模块；所述前景对象深度特征提取模块，将支持图像与相应的真实分割掩码输入特征提取网络，分别提取深度特征及同等大小的分割掩码，根据分割掩码中超体素所在位置，抽取前景对象的深度特征；所述前景原型向量生成模块，将前景对象的深度特征沿深度方向进行均值池化，得到前景原型向量；所述前景分类阈值生成模块，将前景对象的深度特征输入阈值学习器，得到前景分类阈值；所述查询图像分割结果生成模块，将查询图像输入特征提取网络，从提取的深度特征中，计算每个位置处的特征向量与前景原型向量之间的相似度，并将相似度与前景分类阈值进行比较，得到查询图像的分割结果；所述前景原型向量优化模块，基于查询图像的分割结果，对前景原型向量进行一次全局优化，获得优化后的前景原型向量；所述图像分割网络优化模块，返回查询图像分割结果生成模块，计算查询图像的深度特征与优化后的前景原型向量之间相似度，并获得最终的预测分割结果，通过预测分割结果与真实分割结果进行比较，优化整个图像分割网络。
28.这部分内容实施方式与上述方法实施例的实施方式类似，此处不再赘述。
29.一种基于超体素聚类及原型优化的图像分割装置，基于所述的基于超体素聚类及原型优化的图像分割训练装置，还包括测试图像前景原型向量获取模块和测试图像分割结果生成模块；所述测试图像前景原型向量获取模块，在测试过程中，输入测试类的有标签图像，提取相应的图像特征，根据图像所对应的真实分割掩码，计算该类别的前景原型向量；所述测试图像分割结果生成模块，将测试图像输入通过训练好的图像分割网络，提取特征，计算测试图像特征与前景原型向量之间的相似度，并基于相似度对前景原型向
量进行优化，迭代后得到预测分割结果，并基于真实分割结果进行验证。
30.这部分内容实施方式与上述装置实施例的实施方式类似，此处不再赘述。
31.与前述基于超体素聚类及原型优化的图像分割训练方法的实施例相对应，本发明还提供了基于超体素聚类及原型优化的图像分割训练设备的实施例。
32.参见图4，本发明实施例提供的基于超体素聚类及原型优化的图像分割训练设备，包括存储器和一个或多个处理器，存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述实施例中的基于超体素聚类及原型优化的图像分割训练方法。
33.本发明基于超体素聚类及原型优化的图像分割训练设备的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本发明基于超体素聚类及原型优化的图像分割训练设备所在任意具备数据处理能力的设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
34.上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
35.对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
36.本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于超体素聚类及原型优化的图像分割训练方法。
37.所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（smart media card，smc）、sd卡、闪存卡（flash card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
38.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。