图像分割方法、装置、电子设备和可读介质与流程

1.本公开涉及图像处理技术领域，具体而言，涉及一种图像分割方法、装置、电子设备和可读介质。


背景技术：

2.目前，对医疗影像中的病灶分析，器官轮廓检测等，都需要对目标图像进行精准分割，便于医生进行精准判断。
3.在相关技术中，机器视觉被广泛应用于医疗影像的处理场景中，通过机器视觉产品将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号。
4.但是，由于大多数的医疗影像中，目标区域与背景区域之间的颜色毕竟解决，且经常存在边缘不清晰、不连贯和缺失等问题，因此，医学影像的图像分割的可靠性差、准确性低且速度慢。
5.需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

6.本公开的目的在于提供一种图像分割方法、装置、电子设备和可读介质，用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的图像分割准确性差的问题。
7.根据本公开实施例的第一方面，提供一种图像分割方法，包括：对待分割图像进行分块处理，以得到分块图像；根据目标图像占分块图像的比例对所述分块图像进行分类标注；将分类标注后的分块图像输入至训练后的卷积神经网络，以得到分割图像；通过先验知识指导机器学习算法对所述卷积神经网络输出的图像进行边缘修正，以获得修正后的分割图像。
8.在本公开的一种示例性实施例中，所述卷积神经网络包括依次连接的特征提取层和反卷积层，所述特征提取层包括依次连接的一个初始卷积层、一个最大池化层和多个卷积层，所述特征提取层用于提取所述分块图像的特征向量，所述反卷积层用于对所述特征向量进行上采样处理，以得到所述分块图像的特征矩阵。
9.在本公开的一种示例性实施例中，所述初始卷积层的卷积核大小为7
×
7，所述初始卷积层的采样间隔为2，所述初始卷积层的通道数为64。
10.在本公开的一种示例性实施例中，所述最大池化层的采样间隔为2。
11.在本公开的一种示例性实施例中，所述特征提取层包括最大池化层、第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层，所述最大池化层的输出结果输入至所述第一卷积层，所述第一卷积层包括两个bottleneck层，所述第一卷积层的卷积核大小为3
×
3，所述第一卷积层的采样间隔为1，所述第一卷积层的通道数为64，所述第一卷积层的输出结果输入至所述第二卷积层，所述第二卷积层包括两个bottleneck层，所述第二卷积层
的卷积核大小为3
×
3，所述第二卷积层的采样间隔为2，所述第二卷积层的通道数为128，所述第二卷积层的输出结果输入至所述第三卷积层，所述第三卷积层包括两个bottleneck层，所述第三卷积层的卷积核大小为3
×
3，所述第三卷积层的采样间隔为1，所述第三卷积层的通道数为256，所述第三卷积层的输出结果输入至所述第四卷积层，所述第四卷积层包括两个bottleneck层，所述第四卷积层的卷积核大小为3
×
3，所述第四卷积层的采样间隔为2，所述第四卷积层的通道数为512。
12.在本公开的一种示例性实施例中，所述反卷积层包括第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层和第五卷积层，所述特征提取层的输出结果输入至所述第一反卷积层，所述第一反卷积层包括两个bottleneck层，所述第一反卷积层的卷积核大小为3
×
3，所述第一反卷积层的采样间隔为2，所述第一反卷积层的通道数为256，所述第一反卷积层的输出结果输入至所述第二反卷积层，所述第二反卷积层包括两个bottleneck层，所述第二反卷积层的卷积核大小为3
×
3，所述第二反卷积层的采样间隔为2，所述第二反卷积层的通道数为128，所述第二反卷积层的输出结果输入至所述第三反卷积层，所述第三反卷积层包括两个bottleneck层，所述第三反卷积层的卷积核大小为3
×
3，所述第三反卷积层的采样间隔为2，所述第三反卷积层的通道数为64，所述第三反卷积层的输出结果输入至所述第四反卷积层，所述第四反卷积层包括两个bottleneck层，所述第四反卷积层的卷积核大小为3
×
3，所述第四反卷积层的采样间隔为2，所述第三反卷积层的通道数为64，所述第四反卷积层的输出结果输入至所述第五反卷积层，所述第五反卷积层包括两个bottleneck层，所述第五反卷积层的卷积核大小为3
×
3，所述第五反卷积层的采样间隔为2，所述第五反卷积层的通道数为1。
13.在本公开的一种示例性实施例中，在对待分割图像进行分块处理前，还包括：
14.将分类标注的分块图像的特征矩阵样本输入至所述卷积神经网络的全连接层，以得到所述卷积神经网络的全连接层输出的特征向量样本；
15.根据所述全连接层输出的特征向量样本的类间距离构建三元损失函数。
16.在本公开的一种示例性实施例中，在对待分割图像进行分块处理前，还包括：构建各个所述反卷积层的多层感知机，所述多层感知机包括依次连接的输入层、隐藏层和输出层，所述分块图像的特征向量样本输入至所述输入层，所述隐藏层用于完成对所述特征向量样本的深度提取，所述输出层用于执行对所述深度提取后的特征向量样本的分类。
17.在本公开的一种示例性实施例中，在对待分割图像进行分块处理前，还包括：对所述反卷积层输出的特征矩阵样本进行平铺操作，以得到二维向量样本；将所述二维向量样本输入至所述多层感知机的输入层，所述多层感知机输出所述二维向量样本的分类结果；通过交叉熵算法确定所述分类结果对应的分类损失函数。
18.在本公开的一种示例性实施例中，在对待分割图像进行分块处理前，还包括：将分类标注的分块图像样本输入至卷积神经网络；根据所述卷积神经网络的输出结果样本和所述分块图像样本确定回归损失函数。
19.根据本公开实施例的第二方面，提供一种图像分割装置，包括：分块模块，设置为对待分割图像进行分块处理，以得到分块图像；标注模块，设置为根据目标图像占分块图像的比例对所述分块图像进行分类标注；神经网络模块，设置为将分类标注后的分块图像输入至训练后的卷积神经网络，以得到分割图像；修正模块，设置为通过先验知识指导机器学
习算法对所述卷积神经网络输出的图像进行边缘修正，以获得修正后的分割图像。
20.根据本公开的第三方面，提供一种电子设备，包括：存储器；以及耦合到所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上述任意一项所述的方法。
21.根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上述任意一项所述的图像分割方法。
22.本公开实施例，通过卷积神经网络对分类标注的分块图像进行识别，得到分割图像，并进一步地结合机器学习算法对神经网络输出的图像进行边缘修正，获得了修正后的分割图像，提高了获得分割图像的准确度、可靠性和图像处理速度。
23.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
24.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
25.图1示出了本公开的一个示例性实施例中图像分割方法的流程图；
26.图2示出了本公开的另一个示例性实施例中图像分割方法的流程图；
27.图3示出了本公开的另一个示例性实施例中图像分割方法的流程图；
28.图4示出了本公开的另一个示例性实施例中图像分割方法的流程图；
29.图5示出了本公开的另一个示例性实施例中图像分割方法的流程图；
30.图6示出了本公开的一个示例性实施例中图像分割方案中的卷积层的示意图；
31.图7示出了本公开的另一个示例性实施例中图像分割方案中的全连接层的示意图；
32.图8示出了本公开的另一个示例性实施例中图像分割方案中的mlp层的示意图；
33.图9示出了本公开的另一个示例性实施例中图像分割方案中的改进的unet网络的示意图；
34.图10示出了本公开的一个示例性实施例中图像分割方案处理的图像的示意图；
35.图11示出了本公开的另一个示例性实施例中图像分割方案处理的图像的示意图；
36.图12示出了本公开的另一个示例性实施例中图像分割方案处理的图像的示意图；
37.图13示出了本公开的另一个示例性实施例中图像分割方案处理的图像的示意图；
38.图14示出了本公开的一个示例性实施例中一种图像分割装置的方框图；
39.图15示出了本公开的一个示例性实施例中一种电子设备的方框图。
具体实施方式
40.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结
构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
41.此外，附图仅为本公开的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
42.下面结合附图对本公开示例实施方式进行详细说明。
43.图1是本公开示例性实施例中图像分割方法的流程图。
44.参考图1，图像分割方法可以包括：
45.步骤s102，对待分割图像进行分块处理，以得到分块图像。
46.步骤s104，根据目标图像占分块图像的比例对所述分块图像进行分类标注。
47.步骤s106，将分类标注后的分块图像输入至训练后的卷积神经网络，以得到分割图像。
48.步骤s108，通过先验知识指导机器学习算法对所述卷积神经网络输出的图像进行边缘修正，以获得修正后的分割图像。
49.本公开实施例，通过卷积神经网络对分类标注的分块图像进行识别，得到分割图像，并进一步地结合机器学习算法对神经网络输出的图像进行边缘修正，获得了修正后的分割图像，提高了获得分割图像的准确度、可靠性和图像处理速度。
50.在本公开的一种示例性实施例中，机器学习算法可以采用分水岭算法，使用基于标记图像的分水岭算法，并通过先验知识来指导分水岭算法，以便获得更好的图像分段效果。
51.在本公开的一种示例性实施例中，将分块图像记为image，其经过卷积神经网络处理后得到的分割图像，记为segimage(该图像为二值化图像)。对segimage进行形态学的腐蚀操作得到二值化图像segimage_erode，segimage_eorde即为分水岭算法中的标记图像，通过分水岭算法对分割图像修正后，输出了精确分割的分割图像。
52.下面对图像分割方法的各步骤进行详细说明。
53.在本公开的一种示例性实施例中，所述卷积神经网络包括依次连接的特征提取层和反卷积层，所述特征提取层包括依次连接的一个初始卷积层、一个最大池化层和多个卷积层，所述特征提取层用于提取所述分块图像的特征向量，所述反卷积层用于对所述特征向量进行上采样处理，以得到所述分块图像的特征矩阵。
54.在本公开的一种示例性实施例中，所述初始卷积层的卷积核大小为7
×
7，所述初始卷积层的采样间隔为2，所述初始卷积层的通道数为64。
55.在本公开的一种示例性实施例中，所述最大池化层的采样间隔为2。
56.在本公开的一种示例性实施例中，所述特征提取层包括最大池化层、第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层，所述最大池化层的输出结果输入至所
述第一卷积层，所述第一卷积层包括两个bottleneck层，所述第一卷积层的卷积核大小为3
×
3，所述第一卷积层的采样间隔为1，所述第一卷积层的通道数为64，所述第一卷积层的输出结果输入至所述第二卷积层，所述第二卷积层包括两个bottleneck层，所述第二卷积层的卷积核大小为3
×
3，所述第二卷积层的采样间隔为2，所述第二卷积层的通道数为128，所述第二卷积层的输出结果输入至所述第三卷积层，所述第三卷积层包括两个bottleneck层，所述第三卷积层的卷积核大小为3
×
3，所述第三卷积层的采样间隔为1，所述第三卷积层的通道数为256，所述第三卷积层的输出结果输入至所述第四卷积层，所述第四卷积层包括两个bottleneck层，所述第四卷积层的卷积核大小为3
×
3，所述第四卷积层的采样间隔为2，所述第四卷积层的通道数为512。
57.在本公开的一种示例性实施例中，所述反卷积层包括第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层和第五卷积层，所述特征提取层的输出结果输入至所述第一反卷积层，所述第一反卷积层包括两个bottleneck层，所述第一反卷积层的卷积核大小为3
×
3，所述第一反卷积层的采样间隔为2，所述第一反卷积层的通道数为256，所述第一反卷积层的输出结果输入至所述第二反卷积层，所述第二反卷积层包括两个bottleneck层，所述第二反卷积层的卷积核大小为3
×
3，所述第二反卷积层的采样间隔为2，所述第二反卷积层的通道数为128，所述第二反卷积层的输出结果输入至所述第三反卷积层，所述第三反卷积层包括两个bottleneck层，所述第三反卷积层的卷积核大小为3
×
3，所述第三反卷积层的采样间隔为2，所述第三反卷积层的通道数为64，所述第三反卷积层的输出结果输入至所述第四反卷积层，所述第四反卷积层包括两个bottleneck层，所述第四反卷积层的卷积核大小为3
×
3，所述第四反卷积层的采样间隔为2，所述第三反卷积层的通道数为64，所述第四反卷积层的输出结果输入至所述第五反卷积层，所述第五反卷积层包括两个bottleneck层，所述第五反卷积层的卷积核大小为3
×
3，所述第五反卷积层的采样间隔为2，所述第五反卷积层的通道数为1。
58.在本公开的一种示例性实施例中，如图6所示，bottleneck层600中，nc表示数据的通道数，relu为激活函数，3x3为卷积核大小。
59.在本公开的一种示例性实施例中，如图2所示，在对待分割图像进行分块处理前，还包括：
60.步骤s202，将分类标注的分块图像的特征矩阵样本输入至所述卷积神经网络的全连接层，以得到所述卷积神经网络的全连接层输出的特征向量样本。
61.步骤s204，根据所述全连接层输出的特征向量样本的类间距离构建三元损失函数。
62.在本公开的一种示例性实施例中，如图3所示，在对待分割图像进行分块处理前，还包括：
63.步骤s302，构建各个所述反卷积层的多层感知机，所述多层感知机包括依次连接的输入层、隐藏层和输出层，所述分块图像的特征向量样本输入至所述输入层，所述隐藏层用于完成对所述特征向量样本的深度提取，所述输出层用于执行对所述深度提取后的特征向量样本的分类。
64.在本公开的一种示例性实施例中，如图8所示，多层感知机(multilayer perceptron，简称mlp)模块，圆圈代表单个神经元，输入层802与隐藏层804中的每个神经元
都有连接，隐藏层804与输出层806中的每个神经元都有连接，即相邻层的每个神经元都会互相影响，隐藏层804完成对特征的深度提取，输出层806完成对类别的分类。。
65.在本公开的一种示例性实施例中，如图4所示，在对待分割图像进行分块处理前，还包括：
66.步骤s402，对所述反卷积层输出的特征矩阵样本进行平铺操作，以得到二维向量样本。
67.步骤s404，将所述二维向量样本输入至所述多层感知机的输入层，所述多层感知机输出所述二维向量样本的分类结果。
68.步骤s406，通过交叉熵算法确定所述分类结果对应的分类损失函数。
69.在本公开的一种示例性实施例中，如图5所示，在对待分割图像进行分块处理前，还包括：
70.步骤s502，将分类标注的分块图像样本输入至卷积神经网络。
71.步骤s504，根据所述卷积神经网络的输出结果样本和所述分块图像样本确定回归损失函数。
72.在本公开的一种示例性实施例中，如图6、图7、图8和图9所示，对于解码过程中第一特征矩阵d1 700，通过全连接层模块(full connected，简称fc)，得到归一化的特征向量v1。采用同样的方式，对第二特征矩阵d2、第三特征矩阵d3、第四特征矩阵d4分别通过全连接层输出其对应的第二特征向量v2、第三特征矩阵v3、第四特征矩阵v4，flatten表示平铺特征矩阵，batchnorm表示批归一化，full connected表示全连接层，normalization表示单个特征向量归一化。
73.在本公开的一种示例性实施例中，如图9所示，卷积神经网络采用改进的unet网络，也即在unet网络的反卷积层增加全连接层fc，以及为反卷积层构建如图8所示的多层感知机mlp。
74.如图9所示，网络输入将固定大小的图像块900由分辨率1024
×
1024放缩至分辨率224
×
224，对卷积神经网络进行训练的过程包括：
75.(1)网络的输入：图像尺寸为224x224的rgb(红绿蓝三通道)图片。
76.(2)通过卷积神经网络提取不同尺度特征，具体结构如下：
77.(2.1)1个卷积层，输入为224x224x3大小图片，卷积核大小为7x7，采样间隔为2，通道数为64，输出记为e1。
78.(2.2)一个maxpool层，输入为e1，采样间隔为2，输出记为maxpool
79.(2.3)2个bottlenetck层，输入为maxpool，卷积核大小为3
×
3，采样间隔为1，通道数为64，输出记为e2。
80.(2.4)2个bottlenetck层，输入为e2，卷积核大小为3
×
3，采样间隔为2，通道数为128，输出记为e3。
81.(2.5)2个bottleneck层，输入为e3，卷积核大小为3x3，采样间隔为1，通道数为256，输出记为e4。
82.(2.6)2个bottleneck层，输入为e4，卷积核大小为3x3，采样间隔为2，通道数为512，输出记为e5。
83.(3)卷积神经网络的反卷积层，具体结构如下：
84.(3.1)图像上采样，2个bottleneck层，输入为e5，卷积核大小为3x3，采样间隔为2，通道数为256，输出记为d1。
85.(3.2)图像上采样，2个bottleneck层，输入为d1，卷积核大小为3x3，采样间隔为2，通道数为128，输出记为d2。
86.(3.3)图像上采样，2个bottleneck层，输入为d2，卷积核大小为3x3，采样间隔为2，通道数为64，输出记为d3。
87.(3.4)图像上采样，2个bottleneck层，输入为d3，卷积核大小为3x3，采样间隔为2，通道数为64，输出记为d4。
88.(3.5)图像上采样，2个bottleneck层，输入为d4，卷积核大小为3x3，采样间隔为2，通道数为1，输出记为output。
89.如图9所示，对四个不同尺度的特征模块完成类别的分类，对不同尺度的目标图像分类具有一定的鲁棒性，具体的如下所述：
90.(1)构建第一mlp模块，将特征矩阵d1进行平铺操作，得到一个二维向量vf1。将vf1作为第一mlp模块的输入，输出为分类个数。采用crossentropy(交叉熵)作为损失函数，该分类器记为cls1。
91.(2)构建第二mlp模块，将特征矩阵d2进行平铺操作，得到一个二维向量vf2。将vf2作为第二mlp模块的输入，输出为分类个数。采用crossentropy(交叉熵)作为损失函数，该分类器记为cls2。
92.(3)构建第三mlp模块，将特征矩阵d3进行平铺操作，得到一个二维向量vf3。将vf3作为第三mlp模块的输入，输出为分类个数。采用crossentropy(交叉熵)作为损失函数，该分类器记为cls3。
93.(4)构建第四mlp模块，将特征矩阵d4进行平铺操作，得到一个二维向量vf4。将vf4作为第四mlp模块的输入，输出为分类个数。采用crossentropy(交叉熵)作为损失函数，该分类器记为cls4。
94.基于上述卷积神经网络的改进结构，记label为1的图片输出向量为v1，label为0的图片输出向量记为v0，参考样本的特征向量v
anchor
(参考样本为label为1的输出向量)，三元损失其原理即最大化类间距离，最小化类内距离，三元损失triplet loss的计算方法如公式(一)所示：
95.tripletloss＝min(||v
anchor-v1||
2-||v
anchor-v0||2，
ꢀꢀ
公式(一)。
96.其中，v1表示label为1的特征向量，v0表示label为0的特征向量。
97.对于(1)中得到的特征向量，分别计算其对应的三元损失，4个特征向量对应的三元损失值的平均值作为最终的三元损失值，三元损失值avetri loss的计算方法如下公式(二)所示：
[0098][0099]
基于上述卷积神经网络的改进结构，分类损失classification loss的计算方法如公式(三)所示：
[0100][0101]
如图10所示的肾小球切面图1000，肾小球切面图1000包括肾小球区域1002、非肾小球区域1004和医学影像的背景区域1006。
[0102]
如图11和图12所示，对肾小球切面图1000进行分块处理得到非肾小球切面分块图像1100和肾小球切面分块图像1200，肾小球切面分块图像1200显示有肾小球区域1202。
[0103]
如图13所示，对肾小球切面分块图像1300的肾小球区域1302进行标注，非标记区域1304不进行标注，得到了标记图像1300。
[0104]
基于上述卷积神经网络的改进结构，将output记作网络输出，mask为标记图像1300(二值化图像)，则回归损失regression loss的计算方法如公式(四)所示：
[0105]
regressionloss＝‖output-mask‖2，
ꢀꢀ
公式(四)。
[0106]
根据三元损失、分类损失和回归损失，得到卷积神经网络的总损失，总损失loss的计算方法如公式(五)所示：
[0107]
loss＝avetrilosss
×
wt wc
×
classificationloss regressionloss
×
wr，
ꢀꢀ
公式(五)。
[0108]
其中，wt为三元损失权重，wc为分类误差权重，wr为回归损失权重。
[0109]
对应于上述方法实施例，本公开还提供一种图像分割装置，可以用于执行上述方法实施例。
[0110]
图14是本公开示例性实施例中一种图像分割装置的方框图。
[0111]
参考图14，图像分割装置1400可以包括：
[0112]
分块模块1402，设置为对待分割图像进行分块处理，以得到分块图像。
[0113]
标注模块1404，设置为根据目标图像占分块图像的比例对所述分块图像进行分类标注。
[0114]
神经网络模块1406，设置为将分类标注后的分块图像输入至训练后的卷积神经网络，以得到分割图像。
[0115]
修正模块1408，设置为通过先验知识指导机器学习算法对所述卷积神经网络输出的图像进行边缘修正，以获得修正后的分割图像。
[0116]
在本公开的一种示例性实施例中，所述卷积神经网络包括依次连接的特征提取层和反卷积层，所述特征提取层包括依次连接的一个初始卷积层、一个最大池化层和多个卷积层，所述特征提取层用于提取所述分块图像的特征向量，所述反卷积层用于对所述特征向量进行上采样处理，以得到所述分块图像的特征矩阵。
[0117]
在本公开的一种示例性实施例中，所述初始卷积层的卷积核大小为14
×
14，所述初始卷积层的采样间隔为2，所述初始卷积层的通道数为64。
[0118]
在本公开的一种示例性实施例中，所述最大池化层的采样间隔为2。
[0119]
在本公开的一种示例性实施例中，所述特征提取层包括最大池化层、第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层，所述最大池化层的输出结果输入至所述第一卷积层，所述第一卷积层包括两个bottleneck层，所述第一卷积层的卷积核大小为3
×
3，所述第一卷积层的采样间隔为1，所述第一卷积层的通道数为64，所述第一卷积层的输出结果输入至所述第二卷积层，所述第二卷积层包括两个bottleneck层，所述第二卷积层
的卷积核大小为3
×
3，所述第二卷积层的采样间隔为2，所述第二卷积层的通道数为128，所述第二卷积层的输出结果输入至所述第三卷积层，所述第三卷积层包括两个bottleneck层，所述第三卷积层的卷积核大小为3
×
3，所述第三卷积层的采样间隔为1，所述第三卷积层的通道数为256，所述第三卷积层的输出结果输入至所述第四卷积层，所述第四卷积层包括两个bottleneck层，所述第四卷积层的卷积核大小为3
×
3，所述第四卷积层的采样间隔为2，所述第四卷积层的通道数为512。
[0120]
在本公开的一种示例性实施例中，所述反卷积层包括第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层和第五卷积层，所述特征提取层的输出结果输入至所述第一反卷积层，所述第一反卷积层包括两个bottleneck层，所述第一反卷积层的卷积核大小为3
×
3，所述第一反卷积层的采样间隔为2，所述第一反卷积层的通道数为256，所述第一反卷积层的输出结果输入至所述第二反卷积层，所述第二反卷积层包括两个bottleneck层，所述第二反卷积层的卷积核大小为3
×
3，所述第二反卷积层的采样间隔为2，所述第二反卷积层的通道数为128，所述第二反卷积层的输出结果输入至所述第三反卷积层，所述第三反卷积层包括两个bottleneck层，所述第三反卷积层的卷积核大小为3
×
3，所述第三反卷积层的采样间隔为2，所述第三反卷积层的通道数为64，所述第三反卷积层的输出结果输入至所述第四反卷积层，所述第四反卷积层包括两个bottleneck层，所述第四反卷积层的卷积核大小为3
×
3，所述第四反卷积层的采样间隔为2，所述第三反卷积层的通道数为64，所述第四反卷积层的输出结果输入至所述第五反卷积层，所述第五反卷积层包括两个bottleneck层，所述第五反卷积层的卷积核大小为3
×
3，所述第五反卷积层的采样间隔为2，所述第五反卷积层的通道数为1。
[0121]
在本公开的一种示例性实施例中，神经网络模块1406还用于：将分类标注的分块图像的特征矩阵样本输入至所述卷积神经网络的全连接层，以得到所述卷积神经网络的全连接层输出的特征向量样本；根据所述全连接层输出的特征向量样本的类间距离构建三元损失函数。
[0122]
在本公开的一种示例性实施例中，神经网络模块1406还用于：构建各个所述反卷积层的多层感知机，所述多层感知机包括依次连接的输入层、隐藏层和输出层，所述分块图像的特征向量样本输入至所述输入层，所述隐藏层用于完成对所述特征向量样本的深度提取，所述输出层用于执行对所述深度提取后的特征向量样本的分类。
[0123]
在本公开的一种示例性实施例中，神经网络模块1406还用于：对所述反卷积层输出的特征矩阵样本进行平铺操作，以得到二维向量样本；将所述二维向量样本输入至所述多层感知机的输入层，所述多层感知机输出所述二维向量样本的分类结果；通过交叉熵算法确定所述分类结果对应的分类损失函数。
[0124]
在本公开的一种示例性实施例中，神经网络模块1406还用于：将分类标注的分块图像样本输入至卷积神经网络；根据所述卷积神经网络的输出结果样本和所述分块图像样本确定回归损失函数。
[0125]
由于装置1400的各功能已在其对应的方法实施例中予以详细说明，本公开于此不再赘述。
[0126]
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多
模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
[0127]
在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
[0128]
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
[0129]
下面参照图15来描述根据本发明的这种实施方式的电子设备1500。图15显示的电子设备1500仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0130]
如图15所示，电子设备1500以通用计算设备的形式表现。电子设备1500的组件可以包括但不限于：上述至少一个处理单元1510、上述至少一个存储单元1520、连接不同系统组件(包括存储单元1520和处理单元1510)的总线1530。
[0131]
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1510执行，使得所述处理单元1510执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元1510可以执行如本公开实施例所示的方法。
[0132]
存储单元1520可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)15201和/或高速缓存存储单元15202，还可以进一步包括只读存储单元(rom)15203。
[0133]
存储单元1520还可以包括具有一组(至少一个)程序模块15205的程序/实用工具15204，这样的程序模块15205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0134]
总线1530可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
[0135]
电子设备1500也可以与一个或多个外部设备1540(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1500交互的设备通信，和/或与使得该电子设备1500能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口1550进行。并且，电子设备1500还可以通过网络适配器1560与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器1560通过总线1530与电子设备1500的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0136]
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
[0137]
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能
够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
[0138]
根据本发明的实施方式的用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0139]
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0140]
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0141]
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
[0142]
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c 等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0143]
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
[0144]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和构思由权利要求指出。