基于无监督学习的图像分割方法及相关设备与流程

1.本技术涉及人工智能及数字医疗领域，尤其涉及一种基于无监督学习的图像分割方法及相关设备。


背景技术：

2.图像分割是人工智能领域内基本的任务之一，在数字医疗、智慧城市等众多领域中都有广泛应用，在全监督下的图像分割需要大量的人力物力对所有图像进行像素级别的人工标注，然而，基于无监督学习的图像分割可在不需要人工标注的情况下实现图像分割，在实际应用中可以避免由图像标注带来的人力和资金的消耗。
3.目前，通常借助神经网络的特征提取能力，基于局部特征对像素点进行聚类，从而给每个像素点赋予语义信息，并将图像中各像素点的语义信息的互信息一致性作为无监督学习的约束条件，实现基于无监督学习的图像分割，然而，这种方法没有考虑图像的全局特征对各像素点语义信息的影响，且将互信息一致性作为约束条件会带来神经网络收敛不稳定的问题，导致图像分割的精度较低。


技术实现要素：

4.鉴于以上内容，有必要提出一种基于无监督学习的图像分割方法及相关设备，以解决如何提高图像分割的精度这一技术问题，其中，相关设备包括基于无监督学习的图像分割装置、电子设备及存储介质。
5.本技术提供基于无监督学习的图像分割方法，所述方法包括：
6.s10，搭建无监督初始分割网络，所述无监督初始分割网络包括局部特征提取模块、全局特征提取模块、特征融合模块和解码模块；
7.s11，采集多张不带标签信息的样本图像作为训练集；
8.s12，从所述训练集中随机挑选预设数量的样本图像作为训练批次；
9.s13，将所述训练批次分别输入所述全局特征提取模块和所述局部特征提取模块以获取全局特征和多个局部特征，所述局部特征与所述训练批次中的样本图像一一对应；
10.s14，将所述全局特征和所述多个局部特征输入所述特征融合模块得到所述训练批次中各样本图像的分割结果，并基于所述分割结果计算各样本图像的重构表征；
11.s15，将所述重构表征输入所述解码模块以获取各样本图像的重构图，并基于所述重构图和对应的样本图像计算代价函数，对所述无监督初始分割网络进行迭代训练；
12.s16，返回步骤s12，执行多次迭代训练，直到所述迭代训练的次数达到预设次数或所述代价函数的数值小于预设数值时停止，得到无监督目标分割网络，所述无监督目标分割网络的输入为待分割图像，输出为所述特征融合模块得到的所述待分割图像的分割结果。
13.在一些实施例中，所述将所述训练批次分别输入所述全局特征提取模块和所述局部特征提取模块以获取全局特征和多个局部特征包括：
14.所述局部特征提取模块对所述训练批次中每个样本图像进行局部特征提取，得到每个样本图像的局部特征，所述局部特征包括对应的样本图像中各像素点的像素特征；
15.所述全局特征提取模块对所述训练批次中所有样本图像进行全局特征提取，得到所述训练批次的全局特征，所述全局特征包括每个像素类别的类别特征，所述像素类别的数量为至少两个。
16.在一些实施例中，所述将所述全局特征和所述多个局部特征输入所述特征融合模块得到所述训练批次中各样本图像的分割结果包括：
17.对于每一个样本图像，匹配所述全局特征和所述样本图像的局部特征以获取所述样本图像的掩码全局特征，所述掩码全局特征反应所述样本图像中包含的像素类别；
18.将所述样本图像中任意像素点作为目标像素点；
19.基于所述目标像素点的像素特征和所述掩码全局特征计算所述目标像素点的分割向量，所述分割向量包括所述目标像素点属于各像素类别的概率，所述分割向量满足关系式：
[0020][0021]
其中，qn为目标像素点的像素特征，表示掩码全局特征的转置向量，为全局特征的列数，fn为所述目标像素点的分割向量；
[0022]
遍历所述样本图像中所有像素点，得到每一个像素点的分割向量；
[0023]
将所有像素点的分割向量作为所述样本图像的分割结果。
[0024]
在一些实施例中，所述对于每一个样本图像，匹配所述全局特征和所述样本图像的局部特征以获取所述样本图像的掩码全局特征，包括：
[0025]
从所述全局特征中获取每一种像素类别的类别特征；
[0026]
基于所述类别特征计算所述像素类别与所述样本图像的局部特征之间的匹配度；
[0027]
若所述匹配度大于匹配度阈值，则将所述全局特征中所述像素类别的类别特征保留；
[0028]
若所述匹配度不大于所述匹配度阈值，则将所述全局特征中所述像素类别的类别特征置为0；
[0029]
遍历完所有像素类别之后，将所述全局特征作为所述样本图像的掩码全局特征。
[0030]
在一些实施例中，所述基于所述分割结果计算各样本图像的重构表征包括：
[0031]
对于每一个样本图像，将所述样本图像中任意像素点作为待重构像素点；
[0032]
基于所述待重构像素点的分割向量和所述全局特征计算所述待重构像素点的重构向量，所述重构向量满足关系式：
[0033]cm
＝fm·s[0034]
其中，fm为所述待重构像素点的分割向量，s表示所述全局特征，cm为所述待重构像素点的重构向量；
[0035]
遍历所述样本图像中所有像素点，得到每一个像素点的重构向量；
[0036]
基于所有像素点的重构向量构建所述样本图像的重构表征。
[0037]
在一些实施例中，所述重构图的尺寸与所述样本图像的尺寸相同，所述代价函数
满足关系式：
[0038][0039]
其中，b为所述训练批次中样本图像的数量，w和h分别为所述样本图像的宽高尺寸，gk(x,y)为样本图像k中(x,y)位置处像素点的像素值，为样本图像k对应的重构图中(x,y)位置处像素点的像素值，loss为所述代价函数的取值。
[0040]
在一些实施例中，所述对所述无监督初始分割网络进行迭代训练包括：
[0041]
基于所述代价函数对所述无监督初始分割网络中的网络参数进行求导，得到每一个网络参数的梯度，所述网络参数包括所述局部特征提取模块、所述全局特征提取模块和所述解码模块中的可训练参数；
[0042]
基于所述梯度和预设学习率沿着梯度下降的方向更新所述无监督初始分割网络的网络参数，完成一次迭代训练，所述更新过程满足关系式：
[0043][0044]
其中，θ为所述无监督初始分割网络中更新前的网络参数，η
t
为预设学习率，为网络参数θ的梯度，θ
′
为所述无监督初始分割网络中更新后的网络参数。
[0045]
本技术实施例还提供一种基于无监督学习的图像分割装置，所述装置包括：
[0046]
搭建单元，用于搭建无监督初始分割网络，所述无监督初始分割网络包括局部特征提取模块、全局特征提取模块、特征融合模块和解码模块；
[0047]
采集单元，用于采集多张不带标签信息的样本图像作为训练集；
[0048]
挑选单元，用于从所述训练集中随机挑选预设数量的样本图像作为训练批次；
[0049]
特征提取单元，用于将所述训练批次分别输入所述全局特征提取模块和局部特征提取模块以获取全局特征和多个局部特征，所述局部特征与所述训练批次中的样本图像一一对应；
[0050]
融合单元，用于将所述全局特征和所述多个局部特征输入所述特征融合模块得到所述训练批次中各样本图像的分割结果，并基于所述分割结果计算各样本图像的重构表征；
[0051]
训练单元，用于将所述重构表征输入所述解码模块以获取各样本图像的重构图，并基于所述重构图和对应的样本图像计算代价函数，对所述无监督初始分割网络进行迭代训练；
[0052]
迭代单元，用于继续挑选训练批次，执行迭代训练，直到所述迭代训练的次数达到预设次数或所述代价函数的数值小于预设数值时停止，得到无监督目标分割网络，所述无监督目标分割网络的输入为待分割图像，输出为所述特征融合模块得到的所述待分割图像的分割结果。
[0053]
本技术实施例还提供一种电子设备，所述电子设备包括：
[0054]
存储器，存储至少一个指令；
[0055]
处理器，执行所述存储器中存储的指令以实现所述的基于无监督学习的图像分割方法。
[0056]
本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现所述的基于无监督学习的图像分割方法。
[0057]
综上，本技术利用局部特征提取模块获取输入图像的局部特征，局部特征可以反应各像素点的像素特征；利用全局特征提取模块获取图像的全局特征，全局特征可以反应不同像素类别的类别特征；融合局部特征和全局特征得到输入图像的分割结果，提高了图像分割的精度，同时，在无监督初始分割网络的训练过程中，将重构图作为监督信息，更好地保证全局语义信息和局部像素信息的一致性，进一步提高了图像分割的精度。本技术可以应用在数字医疗领域，提高医学影像如ct、x光图像等的分割精度，可以支持更为精准的疾病辅助诊断。
附图说明
[0058]
图1是本技术所涉及的基于无监督学习的图像分割方法的较佳实施例的流程图。
[0059]
图2是本技术所涉及的无监督初始分割网络的结构示意图。
[0060]
图3是本技术所涉及的基于无监督学习的图像分割装置的较佳实施例的功能模块图。
[0061]
图4是本技术所涉及的基于无监督学习的图像分割方法的较佳实施例的电子设备的结构示意图。
具体实施方式
[0062]
为了能够更清楚地理解本技术的目的、特征和优点，下面结合附图和具体实施例对本技术进行详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互结合。在下面的描述中阐述了很多具体细节以便于充分理解本技术，所述描述的实施例仅是本技术一部分实施例，而不是全部的实施例。
[0063]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0064]
除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
[0065]
本技术实施例提供一种基于无监督学习的图像分割方法，可应用于一个或者多个电子设备中，电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit，asic)、可编程门阵列(field－programmable gate array，fpga)、数字处理器(digital signal processor，dsp)、嵌入式设备等。
[0066]
电子设备可以是任何一种可与客户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(personal digital assistant，pda)、游戏机、交互式
网络电视(internet protocol television，iptv)、智能式穿戴式设备等。
[0067]
电子设备还可以包括网络设备和/或客户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(cloud computing)的由大量主机或网络服务器构成的云。
[0068]
电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(virtual private network，vpn)等。
[0069]
如图1所示，是本技术基于无监督学习的图像分割方法的较佳实施例的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。本技术实施例提供的基于无监督学习的图像分割方法能够应用于任一种需要进行图像分割的场景中，且该方法能够应用于这些场景的产品中，例如，医疗领域内的肿瘤分割、智慧城市领域内的车道线分割等。
[0070]
s10，搭建无监督初始分割网络，所述无监督初始分割网络包括局部特征提取模块、全局特征提取模块、特征融合模块和解码模块。
[0071]
请参见图2，图2为本技术所涉及的无监督初始分割网络的结构示意图。在一个可选的实施例中，所述搭建无监督初始分割网络包括：
[0072]
所述无监督初始分割网络的输入为至少一张图像数据；
[0073]
所述局部特征提取模块用于对每个所述图像数据进行局部特征提取，得到每个图像数据的局部特征，所述局部特征包括所述图像数据中各像素点的像素特征；
[0074]
所述全局特征提取模块用于提取所有图像数据的全局特征，所述全局特征包括每个像素类别的类别特征；
[0075]
所述特征融合模块用于基于所述局部特征和所述全局特征得到每个图像数据的分割结果；
[0076]
所述特征融合模块还用于基于所述分割结果计算每个图像数据的重构表征；
[0077]
所述解码模块用于对所述重构表征进行解码，得到每个图像数据的重构图，所述重构表征和所述重构图用于在训练过程中计算代价函数的数值。
[0078]
其中，所述像素类别的数量为至少两个，具体的像素类别与具体的应用场景有关。所述局部特征提取模块可以选取resnet、shufflenet等现有的任意一个卷积神经网络的特征提取结构；所述全局特征提取模块可以选取transformer、lstm等现有的任意一个循环神经网络的特征提取结构；所述解码模块可以采用unet、deeplab等现有的任意一个语义分割网络的解码器结构。
[0079]
所述特征融合模块中用于基于所述分割结果计算每个图像数据的重构表征的功能，以及所述解码模块在所述无监督初始分割网络的迭代训练过程中才会起到作用，以约束所述特征融合模块输出的分割结果的准确性；在所述无监督初始分割网络完成迭代训练过程之后，将所述特征融合模块中得到的每个图像数据的分割结果作为所述无监督初始分割网络的输出。
[0080]
如此，完成所述无监督初始分割网络的搭建，为实现无监督学习的图像分割提供了网络基础。
[0081]
s11，采集多张不带标签信息的样本图像作为训练集。
[0082]
在一个可选的实施例中，样本图像可以为医学影像，样本图像包含的对象所属类
型为病灶，即机体上发生病变的部分。医学影像是指为了医疗或医学研究，以非侵入方式取得的内部组织，例如，胃部、腹部、心脏、膝盖、脑部的影像，比如，ct(computed tomography，电子计算机断层扫描)、mri(magnetic resonance imaging，磁共振成像)、us(ultrasonic，超声)、x光图像、脑电图以及光学摄影灯由医学仪器生成的图像。
[0083]
在一个可选的实施例中，所述无监督初始分割网络为参数化模型，为了约束无监督初始分割网络能够学习到不同像素类别之间的差异，得到准确的图像分割结果，需要对所述无监督初始分割网络进行训练。
[0084]
在一个可选的实施例中，为了对所述无监督初始分割网络进行训练，首先采集多张不带标签信息的样本图像作为训练集，且所有样本图像中包含所有像素类别。
[0085]
如此，得到训练集，为所述无监督初始分割网络的训练提供数据基础。
[0086]
s12，从所述训练集中随机挑选预设数量的样本图像作为训练批次。
[0087]
在一个可选的实施例中，所述预设数量取值为32，所述训练批次用于对所述无监督初始分割网络进行一次迭代训练，所述预设数量为一个训练批次中的样本图像数量。
[0088]
如此，通过随机挑选的方式得到对所述无监督初始分割网络执行一次迭代训练的数据，确保所述无监督初始分割网络在一次迭代训练中可学习到每一种像素类别的特征。
[0089]
s13，将所述训练批次分别输入所述全局特征提取模块和所述局部特征提取模块以获取全局特征和多个局部特征，所述局部特征与所述训练批次中的样本图像一一对应。
[0090]
在一个可选的实施例中，所述将所述训练批次分别输入所述局部特征提取模块和所述全局特征提取模块以获取全局特征和多个局部特征包括：
[0091]
所述局部特征提取模块对所述训练批次中每个样本图像进行局部特征提取，得到每个样本图像的局部特征，所述局部特征包括对应的样本图像中各像素点的像素特征；
[0092]
所述全局特征提取模块对所述训练批次中所有样本图像进行全局特征提取，得到所述训练批次的全局特征，所述全局特征包括每个像素类别的类别特征，所述像素类别的数量为至少两个。
[0093]
其中，所述像素特征反应样本图像中各像素点的特征信息，所述类别特征反应不同像素类别的特征信息。
[0094]
该可选的实施例中，将样本图像的宽高尺寸记为w和h，则一个样本图像对应的局部特征中包括w
×
h个尺寸为1行p列的像素特征，将所述训练批次中样本图像的数量记为b，则所述局部特征提取模块的输出结果包括b个样本图像的局部特征，其尺寸为(b,w,h,p)；将所述像素类别的数量记为n，像素类别的类别特征的尺寸同样为1行p列，则所述全局特征提取模块的输出结果为训练批次的全局特征，其尺寸为(n,p)。其中，p为预先设定，与所述局部特征提取模块的具体结构有关。
[0095]
如此，借助局部特征提取模块获取训练批次中各样本图像的局部特征，所述局部特征实现了样本图像的各像素点的特征信息的精准量化；同时，借助全局特征提取模块获取训练批次的全局特征，所述全局特征实现了各像素类别的特征信息的精准量化。
[0096]
s14，将所述全局特征和所述多个局部特征输入所述特征融合模块得到所述训练批次中各样本图像的分割结果，并基于所述分割结果计算各样本图像的重构表征。
[0097]
在一个可选的实施例中，所述将所述全局特征和所述多个局部特征输入所述特征融合模块得到所述训练批次中各样本图像的分割结果包括：
[0098]
对于每一个样本图像，匹配所述全局特征和所述样本图像的局部特征以获取所述样本图像的掩码全局特征，所述掩码全局特征反应所述样本图像中包含的像素类别；
[0099]
将所述样本图像中任意像素点作为目标像素点；
[0100]
基于所述目标像素点的像素特征和所述掩码全局特征计算所述目标像素点的分割向量，所述分割向量包括所述目标像素点属于各像素类别的概率，所述分割向量满足关系式：
[0101][0102]
其中，qn为目标像素点的像素特征，表示掩码全局特征的转置向量，为全局特征的列数，fn为所述目标像素点的分割向量；
[0103]
遍历所述样本图像中所有像素点，得到每一个像素点的分割向量；
[0104]
将所有像素点的分割向量作为所述样本图像的分割结果。
[0105]
其中，所述目标像素点的特征向量qn的尺寸为1行p列；所述掩码全局特征尺寸与全局特征相同，为n行p列，n为所有像素类别的数量；的取值为p；经softmax函数处理后，所述目标像素点的分割向量fn的尺寸信息为1行n列，表示目标像素点属于各像素类别的概率，且各像素类别的概率之和为1。
[0106]
在一个可选的实施例中，所述对于每一个样本图像，匹配所述全局特征和所述样本图像的局部特征以获取所述样本图像的掩码全局特征，包括：
[0107]
从所述全局特征中获取每一种像素类别的类别特征；
[0108]
基于所述类别特征计算所述像素类别与所述样本图像的局部特征之间的匹配度；
[0109]
若所述匹配度大于匹配度阈值，则将所述全局特征中所述像素类别的类别特征保留；
[0110]
若所述匹配度不大于所述匹配度阈值，则将所述全局特征中所述像素类别的类别特征置为0；
[0111]
遍历完所有像素类别之后，将所述全局特征作为所述样本图像的掩码全局特征。
[0112]
其中，所述匹配度阈值的取值为0.5；所述匹配度为所述类别特征与所述样本图像的局部特征中所有像素特征之间的相似度均值。
[0113]
在一个可选的实施例中，所述基于所述分割结果计算各样本图像的重构表征包括：
[0114]
对于每一个样本图像，将所述样本图像中任意像素点作为待重构像素点；
[0115]
基于所述待重构像素点的分割向量和所述全局特征计算所述待重构像素点的重构向量，所述重构向量满足关系式：
[0116]cm
＝fm·s[0117]
其中，fm为所述待重构像素点的分割向量，s表示所述全局特征，cm为所述待重构像素点的重构向量；
[0118]
遍历所述样本图像中所有像素点，得到每一个像素点的重构向量；
[0119]
基于所有像素点的重构向量构建所述样本图像的重构表征。
[0120]
其中，所述待重构像素点的分割向量fm的尺寸1行n列，所述全局特征s尺寸为n行p列，则所述待重构像素点的重构向量cm的尺寸为1行p列，所述重构表征包括所述样本图像中每一个像素点的重构向量。
[0121]
需要说明的是，所述像素点的重构向量可以视为基于像素点的分割向量对各像素类别的类别特征进行加权求和的结果，则所述重构表征为综合考虑各像素点的分割向量和全局特征而重新构建的表征，可以反应像素点与像素类别的归属情况。所述分割向量和所述全局特征的准确性直接影响所述重构表征的精度，所述重构表征的精度越高，则后续步骤中获取各样本图像的重构图越接近对应的样本图像，故所述重构表征可以作为监督信息来约束所述无监督初始分割网络的训练。
[0122]
如此，综合全局特征和局部特征得到所述训练批次中各样本图像的分割结果，并基于分割结果对所述全局特征中各像素类别的类别特征进行加权求和得到每一个样本图像的重构表征，所述重构表征可作为监督信息用于约束约束所述无监督初始分割网络的训练，提高图像分割的精度。
[0123]
s15，将所述重构表征输入所述解码模块以获取各样本图像的重构图，并基于所述重构图和对应的样本图像计算代价函数，对所述无监督初始分割网络进行迭代训练。
[0124]
在一个可选的实施例中，所述解码模块对每个样本图像的重构表征执行多次上采样操作得到各样本图像的重构图，所述重构图的尺寸与所述样本图像的尺寸相同。
[0125]
在一个可选的实施例中，所述代价函数满足关系式：
[0126][0127]
其中，b为所述训练批次中样本图像的数量，w和h分别为所述样本图像的宽高尺寸，gk(x,y)为样本图像k中(x,y)位置处像素点的像素值，为样本图像k对应的重构图中(x,y)位置处像素点的像素值，loss为所述代价函数的取值。
[0128]
在一个可选的实施例中，所述对所述无监督初始分割网络进行迭代训练包括：
[0129]
基于所述代价函数对所述无监督初始分割网络中的网络参数进行求导，得到每一个网络参数的梯度，所述网络参数包括所述局部特征提取模块、所述全局特征提取模块和所述解码模块中的可训练参数；
[0130]
基于所述梯度和预设学习率沿着梯度下降的方向更新所述无监督初始分割网络的网络参数，完成一次迭代训练，所述更新过程满足关系式：
[0131][0132]
其中，θ为所述无监督初始分割网络中更新前的网络参数，η
t
为预设学习率，为网络参数θ的梯度，θ
′
为所述无监督初始分割网络中更新后的网络参数。
[0133]
其中，所述预设学习率取值为0.01；所述无监督初始分割网络包括多个网络参数，当所有网络参数更新一次时，表示完成一次迭代训练。
[0134]
所述局部特征提取模块和所述全局特征提取模块的可训练参数包括所有卷积层或池化层中的卷积核的参数。所述解码模块中的可训练参数包括所有反卷积层或池化层中的卷积核的参数。
[0135]
如此，将所述重构图作为监督信息对所述无监督初始分割网络进行迭代训练，更好地保证全局语义信息和局部像素信息的一致性；实现了所述无监督初始分割网络中网络参数的更新，通过更新网络参数可以使所述无监督初始分割学习到不同像素类别的区别特征。
[0136]
s16，返回步骤s12，执行多次迭代训练，直到所述迭代训练的次数达到预设次数或所述代价函数的数值小于预设数值时停止，得到无监督目标分割网络，所述无监督目标分割网络的输入为待分割图像，输出为所述待分割图像的分割结果。
[0137]
在一个可选的实施例中，返回步骤s12，从所述训练集中获取新的训练批次，不断执行迭代训练。所述预设次数为2000，所述预设数值为0.001，当所述迭代训练的次数达到预设次数或所述代价函数的数值小于预设数值时，表示此时的无监督初始分割已经学习到不同像素类别的区别特征，停止迭代训练，得到无监督目标分割网络。
[0138]
在一个可选的实施例中，得到无监督目标分割网络之后，将至少一张待分割图像，将所述特征融合模块得到的所述待分割图像的分割结果作为所述无监督目标分割网络的输出结果。
[0139]
如此，在无需标签信息的情况下实现了图像分割，得到任意待分割图像的分割结果。
[0140]
由以上技术方案可以看出，本技术利用局部特征提取模块获取输入图像的局部特征，局部特征可以反应各像素点的像素特征；利用全局特征提取模块获取图像的全局特征，全局特征可以反应不同像素类别的类别特征；融合局部特征和全局特征得到输入图像的分割结果，提高了图像分割的精度，同时，在无监督初始分割网络的训练过程中，将重构图作为监督信息，更好地保证全局语义信息和局部像素信息的一致性，进一步提高了图像分割的精度。本技术可以应用在数字医疗领域，提高医学影像如ct、x光图像等的分割精度，可以支持更为精准的疾病辅助诊断。
[0141]
请参见图3，图3是本技术基于无监督学习的图像分割装置的较佳实施例的功能模块图。基于无监督学习的图像分割装置11包括搭建单元110、采集单元111、挑选单元112、特征提取单元113、融合单元114、训练单元115、迭代单元116。本技术所称的模块/单元是指一种能够被处理器13所执行，并且能够完成固定功能的一系列计算机可读指令段，其存储在存储器12中。在本实施例中，关于各模块/单元的功能将在后续的实施例中详述。
[0142]
在一个可选的实施例中，搭建单元110用于搭建无监督初始分割网络，所述无监督初始分割网络包括局部特征提取模块、全局特征提取模块、特征融合模块和解码模块。
[0143]
在一个可选的实施例中，采集单元111用于采集多张不带标签信息的样本图像作为训练集。
[0144]
在一个可选的实施例中，挑选单元112用于从所述训练集中随机挑选预设数量的样本图像作为训练批次。
[0145]
在一个可选的实施例中，特征提取单元113用于将所述训练批次分别输入所述全局特征提取模块和所述局部特征提取模块以获取全局特征和多个局部特征，所述局部特征与所述训练批次中的样本图像一一对应。
[0146]
在一个可选的实施例中，所述将所述训练批次分别输入所述全局特征提取模块和所述局部特征提取模块以获取全局特征和多个局部特征包括：
[0147]
所述局部特征提取模块对所述训练批次中每个样本图像进行局部特征提取，得到每个样本图像的局部特征，所述局部特征包括对应的样本图像中各像素点的像素特征；
[0148]
所述全局特征提取模块对所述训练批次中所有样本图像进行全局特征提取，得到所述训练批次的全局特征，所述全局特征包括每个像素类别的类别特征，所述像素类别的数量为至少两个。
[0149]
在一个可选的实施例中，融合单元114用于将所述全局特征和所述多个局部特征输入所述特征融合模块得到所述训练批次中各样本图像的分割结果，并基于所述分割结果计算各样本图像的重构表征。
[0150]
在一个可选的实施例中，所述将所述全局特征和所述多个局部特征输入所述特征融合模块得到所述训练批次中各样本图像的分割结果包括：
[0151]
对于每一个样本图像，匹配所述全局特征和所述样本图像的局部特征以获取所述样本图像的掩码全局特征，所述掩码全局特征反应所述样本图像中包含的像素类别；
[0152]
将所述样本图像中任意像素点作为目标像素点；
[0153]
基于所述目标像素点的像素特征和所述掩码全局特征计算所述目标像素点的分割向量，所述分割向量包括所述目标像素点属于各像素类别的概率，所述分割向量满足关系式：
[0154][0155]
其中，qn为目标像素点的像素特征，表示掩码全局特征的转置向量，为全局特征的列数，fn为所述目标像素点的分割向量；
[0156]
遍历所述样本图像中所有像素点，得到每一个像素点的分割向量；
[0157]
将所有像素点的分割向量作为所述样本图像的分割结果。
[0158]
在一个可选的实施例中，所述对于每一个样本图像，匹配所述全局特征和所述样本图像的局部特征以获取所述样本图像的掩码全局特征，包括：
[0159]
从所述全局特征中获取每一种像素类别的类别特征；
[0160]
基于所述类别特征计算所述像素类别与所述样本图像的局部特征之间的匹配度；
[0161]
若所述匹配度大于匹配度阈值，则将所述全局特征中所述像素类别的类别特征保留；
[0162]
若所述匹配度不大于所述匹配度阈值，则将所述全局特征中所述像素类别的类别特征置为0；
[0163]
遍历完所有像素类别之后，将所述全局特征作为所述样本图像的掩码全局特征。
[0164]
在一个可选的实施例中，所述基于所述分割结果计算各样本图像的重构表征包括：
[0165]
对于每一个样本图像，将所述样本图像中任意像素点作为待重构像素点；
[0166]
基于所述待重构像素点的分割向量和所述全局特征计算所述待重构像素点的重构向量，所述重构向量满足关系式：
[0167]cm
＝fm·s[0168]
其中，fm为所述待重构像素点的分割向量，s表示所述全局特征，cm为所述待重构像
素点的重构向量；
[0169]
遍历所述样本图像中所有像素点，得到每一个像素点的重构向量；
[0170]
基于所有像素点的重构向量构建所述样本图像的重构表征。
[0171]
在一个可选的实施例中，训练单元115用于将所述重构表征输入所述解码模块以获取各样本图像的重构图，并基于所述重构图和对应的样本图像计算代价函数，对所述无监督初始分割网络进行迭代训练。
[0172]
在一个可选的实施例中，所述重构图的尺寸与所述样本图像的尺寸相同，所述代价函数满足关系式：
[0173][0174]
其中，b为所述训练批次中样本图像的数量，w和h分别为所述样本图像的宽高尺寸，gk(x,y)为样本图像k中(x,y)位置处像素点的像素值，为样本图像k对应的重构图中(x,y)位置处像素点的像素值，loss为所述代价函数的取值。
[0175]
在一个可选的实施例中，所述对所述无监督初始分割网络进行迭代训练包括：
[0176]
基于所述代价函数对所述无监督初始分割网络中的网络参数进行求导，得到每一个网络参数的梯度，所述网络参数包括所述局部特征提取模块、所述全局特征提取模块和所述解码模块中的可训练参数；
[0177]
基于所述梯度和预设学习率沿着梯度下降的方向更新所述无监督初始分割网络的网络参数，完成一次迭代训练，所述更新过程满足关系式：
[0178][0179]
其中，θ为所述无监督初始分割网络中更新前的网络参数，η
t
为预设学习率，为网络参数θ的梯度，θ
′
为所述无监督初始分割网络中更新后的网络参数。
[0180]
在一个可选的实施例中，迭代单元116用于继续挑选训练批次，执行迭代训练，直到所述迭代训练的次数达到预设次数或所述代价函数的数值小于预设数值时停止，得到无监督目标分割网络，所述无监督目标分割网络的输入为待分割图像，输出为所述特征融合模块得到的所述待分割图像的分割结果。
[0181]
由以上技术方案可以看出，本技术利用局部特征提取模块获取输入图像的局部特征，局部特征可以反应各像素点的像素特征；利用全局特征提取模块获取图像的全局特征，全局特征可以反应不同像素类别的类别特征；融合局部特征和全局特征得到输入图像的分割结果，提高了图像分割的精度，同时，在无监督初始分割网络的训练过程中，将重构图作为监督信息，更好地保证全局语义信息和局部像素信息的一致性，进一步提高了图像分割的精度。
[0182]
请参见图4，是本技术实施例提供的一种电子设备的结构示意图。电子设备1包括存储器12和处理器13。存储器12用于存储计算机可读指令，处理器13用执行所述储器中存储的计算机可读指令以实现上述任一实施例所述的基于无监督学习的图像分割方法。
[0183]
在一个可选的实施例中，电子设备1还包括总线、存储在所述存储器12中并可在所述处理器13上运行的计算机程序，例如基于无监督学习的图像分割程序。
[0184]
图4仅示出了具有存储器12和处理器13的电子设备1，本领域技术人员可以理解的是，图4示出的结构并不构成对电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
[0185]
结合图1，电子设备1中的所述存储器12存储多个计算机可读指令以实现一种基于无监督学习的图像分割方法，所述处理器13可执行所述多个指令从而实现：
[0186]
s10，搭建无监督初始分割网络，所述无监督初始分割网络包括局部特征提取模块、全局特征提取模块、特征融合模块和解码模块；
[0187]
s11，采集多张不带标签信息的样本图像作为训练集；
[0188]
s12，从所述训练集中随机挑选预设数量的样本图像作为训练批次；
[0189]
s13，将所述训练批次分别输入所述全局特征提取模块和所述局部特征提取模块以获取全局特征和多个局部特征，所述局部特征与所述训练批次中的样本图像一一对应；
[0190]
s14，将所述全局特征和所述多个局部特征输入所述特征融合模块得到所述训练批次中各样本图像的分割结果，并基于所述分割结果计算各样本图像的重构表征；
[0191]
s15，将所述重构表征输入所述解码模块以获取各样本图像的重构图，并基于所述重构图和对应的样本图像计算代价函数，对所述无监督初始分割网络进行迭代训练；
[0192]
s16，返回步骤s12，执行多次迭代训练，直到所述迭代训练的次数达到预设次数或所述代价函数的数值小于预设数值时停止，得到无监督目标分割网络，所述无监督目标分割网络的输入为待分割图像，输出为所述特征融合模块得到的所述待分割图像的分割结果。
[0193]
具体地，所述处理器13对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
[0194]
本领域技术人员可以理解，所述示意图仅仅是电子设备1的示例，并不构成对电子设备1的限定，电子设备1可以是总线型结构，也可以是星形结构，电子设备1还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置，例如电子设备1还可以包括输入输出设备、网络接入设备等。
[0195]
需要说明的是，电子设备1仅为举例，其他现有的或今后可能出现的电子产品如可适应于本技术，也应包含在本技术的保护范围以内，并以引用方式包含于此。
[0196]
其中，存储器12至少包括一种类型的可读存储介质，所述可读存储介质可以是非易失性的，也可以是易失性的。所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：sd或dx存储器等)、磁性存储器、磁盘、光盘等。存储器12在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。存储器12在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(smart media card,smc)、安全数字(secure digital,sd)卡、闪存卡(flash card)等。存储器12不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如基于无监督学习的图像分割程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
[0197]
处理器13在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(central processing unit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器13是电子设备1的控制核心(control unit)，利用各种接口和
线路连接整个电子设备1的各个部件，通过运行或执行存储在所述存储器12内的程序或者模块(例如执行基于无监督学习的图像分割程序等)，以及调用存储在所述存储器12内的数据，以执行电子设备1的各种功能和处理数据。
[0198]
所述处理器13执行所述电子设备1的操作系统以及安装的各类应用程序。所述处理器13执行所述应用程序以实现上述各个基于无监督学习的图像分割方法实施例中的步骤，例如图1所示的步骤。
[0199]
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器12中，并由所述处理器13执行，以完成本技术。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机程序在电子设备1中的执行过程。例如，所述计算机程序可以被分割成搭建单元110、采集单元111、挑选单元112、特征提取单元113、融合单元114、训练单元115、迭代单元116。
[0200]
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、计算机设备，或者网络设备等)或处理器(processor)执行本技术各个实施例所述的基于无监督学习的图像分割方法的部分。
[0201]
电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指示相关的硬件设备来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。
[0202]
其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存储器及其他存储器等。
[0203]
进一步地，计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
[0204]
本技术所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
[0205]
总线可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，在图4中仅用一根箭头表示，但并不表示仅有一根总线或一种类型的总线。所述总线被设置为实现所述存储器12以及至少一个处理器13等之间的连接通信。
[0206]
本技术实施例还提供一种计算机可读存储介质(图未示)，计算机可读存储介质中
存储有计算机可读指令，计算机可读指令被电子设备中的处理器执行以实现上述任一实施例所述的基于无监督学习的图像分割方法。
[0207]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0208]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0209]
另外，在本技术各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
[0210]
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。说明书陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
[0211]
最后应说明的是，以上实施例仅用以说明本技术的技术方案而非限制，尽管参照较佳实施例对本技术进行了详细说明，本领域的普通技术人员应当理解，可以对本技术的技术方案进行修改或等同替换，而不脱离本技术技术方案的精神和范围。