一种基于深度特征融合的病理图像分类装置、方法及装置的使用方法与流程

1.本发明涉及病理图像分类领域，更具体的，涉及一种基于深度特征融合的病理图像分类技术。


背景技术：

2.近年来，随着深度学习的发展，基于卷积神经网络的病理图像分类方法得到了一定的发展，并且应用于一些计算机辅助诊断系统中，然而由于采集和标注病理图像数据的限制，数据量小、噪音数据等问题，严重影响了模型的准确性与可靠性。
3.因此，领域内的专家对基于卷积神经网络的病理图像分类方法进行了一系列的探索和研究。2016年，h.kallen使用卷积神经网络提取的卷积特征训练随机森林和svm分类器对前列腺癌病理图像进行分类，以降低医生的工作强度。2018年，k.nagpal使用inception网络对前列腺癌病理图像进行分类，使模型精度有了进一步的提高。2018年，e.arvaniti使用小块图像训练轻量化网络mobilenet，获得了更高的分类准确率。2019年，j.wang提出了一种利用图卷积网络对组织微阵列进行分级的弱监督方法，该方法将细胞的空间组织建模为图，以更好地捕捉肿瘤细胞的增殖和群落结构。上述方法所采用的卷积神经网络仅仅对病理图像进行了逐层映射，致力于如何提高分类的准确率，但卷积特征并没有与病理图像进行融合，因此限制了模型的分类性能，局限了模型的分类精度。
4.因此一种新的将深度特征与病理图像进行融合，以获得更具判别性的特征表示，从而提高模型的分类精度的技术亟待出现。


技术实现要素：

5.本发明的目的在于提供一种基于深度特征融合的病理图像分类技术，达到构造深度卷积神经网络，提取不同视野下的卷积特征以获得高分类精度模型的技术手段。
6.为了实现上述目的，本发明公开了一种基于深度特征融合的病理图像分类装置，所述装置包含：
7.图像数据集获取单元，用于对前列腺病理图像形态数字切片中的特征区域进行采样，获取小块图像数据集；
8.特定数量的集成单元，用于接收所述图像数据集获取单元获取的小块图像数据集中的小块图像，根据设定的网络训练参数使所述小块图像通过卷积核与加权通道的运算、维度深化的级联，重复获取进一步加权和深化的图像卷积特征，提取深层图像卷积特征和浅层图像卷积特征；
9.特征融合单元，用于对集成单元获取的所述深层图像卷积特征和所述浅层图像卷积特征进行运算后与向量化的深层图像卷积特征进行级联，获得图像深度融合特征；
10.分类器，用于根据所述特征融合模块获取的图像深度融合特征，结合预置分类标准，获得图像的分类标签。
11.其中，集成单元进一步包含：
12.特定数量的注意力机制模块，用于使所述小块图像通过卷积核与加权通道的运算，获得重复加权后的图像卷积特征；
13.降采样模块，用于对经过所述特定数量的注意力机制模块重复加权后的图像卷积特征，进行不同视野的特征提取，并通过级联的方式对特征进行融合，获得深化的图像卷积特征；
14.所述特定数量的集成单元依次堆叠，对上一个集成单元提取的卷积特征再次进行卷积特征的提取，最后一个集成单元提取的卷积特征为深层图像卷积特征，倒数第二个集成单元提取的卷积特征为浅层图像卷积特征。
15.优选的：
16.所述特征融合模块将所述深层图像卷积特征和所述浅层图像卷积特征转换为相同维度的特征矩阵后进行外积运算，将所述深层图像卷积特征经卷积运算转换为全卷积向量，将所述全卷积向量与外积运算的结果进行级联获得图像深度融合特征。
17.为了提高装置的精确程度，优选的：
18.所述装置还包含误差分析单元和参数设置单元；
19.所述误差分析单元用于根据所述分类器的分类结果计算分类误差；
20.所述参数设置单元用于根据所述误差分析单元计算的分类误差更新设定所述网络训练参数；
21.所述图像数据集获取单元获取的小块图像数据集为训练集和测试集。
22.具体的：
23.将不同的所述分类器预置不同的分类标准，根据判定需求使用相应的分类器对所述图像深度融合特征进行分类。
24.本发明还公开一种基于深度特征融合的病理图像分类方法，所述方法包含：
25.对前列腺病理图像形态数字切片中的特征区域进行采样，获取小块图像数据集；
26.根据设定的网络训练参数对所述小块图像数据集中的小块图像通过卷积核与加权通道的运算、维度深化的级联，重复获取进一步加权和深化的图像卷积特征，提取深层图像卷积特征和浅层卷积特征；
27.对所述深层图像卷积特征和所述浅层卷积图像特征进行运算后与向量化的深层图像卷积特征进行级联，获得图像深度融合特征；
28.根据所述获取的图像深度融合特征，结合预置的分类标准，获得图像的分类标签。
29.进一步的，所述根据设定的网络训练参数对所述小块图像数据集中的小块图像通过卷积核与加权通道的运算、维度深化的级联，重复获取进一步加权和深化的图像卷积特征，提取深层图像卷积特征和浅层卷积特征的方法具体为：
30.使所述小块图像通过卷积核与加权通道的运算，获得重复加权后的图像卷积特征；
31.对所述重复加权后的图像卷积特征，进行不同视野的特征提取，并通过级联的方式对特征进行融合，获得深化的图像卷积特征；
32.对所述图像卷积特征再次进行卷积特征的提取，最后一次提取的卷积特征为深层图像卷积特征，倒数第二次提取的卷积特征为浅层图像卷积特征。
33.优选的：
34.将所述深层图像卷积特征和所述浅层图像卷积特征转换为相同维度的特征矩阵后进行外积运算，将所述深层图像卷积特征经卷积运算转换为全卷积向量，将所述全卷积向量与外积运算的结果进行级联获得图像深度融合特征。
35.为了提高分类的精确度，优选的，所述方法还包含：
36.根据所述获得的图像的分类标签计算分类误差；
37.根据所述误差更新设定所述网络训练参数；
38.所述小块图像数据集为训练集和测试集。
39.具体的：
40.预置不同的分类标准，根据判定需求使用相应的分类标准对所述图像深度融合特征进行分类。
41.本发明还公开一种基于深度特征融合的病理图像分类装置的使用方法，根据此方法可将所述装置训练为高精度的分类装置，所述方法包含：
42.图像数据集获取单元对前列腺病理图像形态数字切片中的特征区域进行采样，获取小块图像数据集，根据特定比例将所述小块图像数据集划分为训练集和测试集；
43.特定数量的集成单元接收所述图像数据集获取单元获取的小块图像数据集中的所述训练集中的小块图像，根据设定的初始化网络训练参数使所述小块图像通过卷积核与加权通道的运算、维度深化的级联，重复获得进一步加权和深化的图像卷积特征，提取深层图像卷积特征和浅层图像卷积特征；
44.特征融合单元对所述集成单元获取的所述深层图像卷积特征和所述浅层图像卷积特征进行运算后与向量化的深层图像卷积特征进行级联，获得图像深度融合特征；
45.分类器根据所述特征融合模块获取的图像深度融合特征，结合预置的分类标准获得图像的分类标签；
46.误差分析单元根据所述分类器的图像分类标签结果计算分类误差；
47.参数设置单元根据所述误差分析单元计算的分类误差更新设定所述网络训练参数；
48.重复执行上述步骤直到根据所述网络训练参数中设定的训练代数执行完相应的次数。
49.本发明还公开一种基于深度特征融合的病理图像分类装置的使用方法，应用此方法可通过本装置对病理图像进行准确的分类，所述方法包含：
50.图像数据集获取单元对前列腺病理图像形态数字切片中的特征区域进行采样，获取小块图像数据集，根据特定比例将所述小块图像数据集划分为训练集和测试集；
51.特定数量的集成单元接收所述图像数据集获取单元获取的小块图像数据集中的所述测试集中的小块图像，根据参数设置单元最终更新设定的网络训练参数使所述小块图像通过卷积核与加权通道的运算、维度深化的级联，重复获得进一步加权和深化的图像卷积特征，提取深层图像卷积特征和浅层图像卷积特征；
52.特征融合单元对所述集成单元获取的所述深层图像卷积特征和所述浅层图像卷积特征进行运算后与向量化的深层图像卷积特征进行级联，获得图像深度融合特征；
53.分类器根据所述特征融合模块获取的图像深度融合特征，结合预置的分类标准获
得图像的分类标签。
54.本发明公开了一种基于深度特征融合的病理图像分类技术，将现有技术中的卷积模型和图像分类更好的结合起来，有效提升前列腺病理图像的分类精度。通过构造数据集，将数据中的形态学数字切片划分为训练集、测试集；根据标注信息，对形态学数字切片的标注区域进行裁剪，获得小块图像，用于训练和测试深度卷积神经网络；构造注意力机制模块、降采样模块和特征融合模块，堆叠模块构造深度卷积神经网络；借助随机梯度下降法训练深度卷积神经网络，优化深度卷积神经网络的参数；由深度卷积神经网络提取的卷积特征进行外积运算，计算获得双线性特征；卷积特征经卷积操作获得卷积特征向量；卷积特征向量与双线性特征进行级联获得级联向量，级联向量输入分类器获得预测标签。本发明构造的网络模型将卷积特征向量与双线性特征进行级联，保证级联向量具有更丰富的语义信息，提升模型的图像分类性能，使前列腺病理图像的分类精度踏上一个新的台阶。
附图说明
55.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
56.图1为本技术实施例提供的一种基于深度特征融合的病理图像分类装置的结构示意图；
57.图2为本技术实施例二提供的结构示意图；
58.图3-1为本技术实施例三提供的注意力机制模块结构示意图；
59.图3-2为本技术实施例三提供的降采样模块结构示意图；
60.图3-3为本技术实施例三提供的特征融合单元结构示意图；
61.图4为本技术实施例四提供的一种基于深度特征融合的病理图像分类方法的流程示意图；
62.图5为本技术实施例五提供的方法流程示意图；
63.图6为本技术实施例六提供的一种基于深度特征融合的病理图像分类装置的使用方法的流程示意图；
64.图7为本技术实施例七提供的一种基于深度特征融合的病理图像分类装置的使用方法的流程示意图。
具体实施方式
65.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
66.下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
67.如图1所示，一种基于深度特征融合的病理图像分析装置，所述装置包含：
68.图像数据集获取单元1，用于对前列腺病理图像形态数字切片中的特征区域进行采样，获取小块图像数据集。
69.数字切片(wsi)是利用全自动显微镜扫描系统，结合虚拟切片软件系统，把传统玻璃切片进行扫描、无缝拼接，生成一整张全视野(whole slide image),简称wsi的数字切片。形态数字切片中的特征区域，为使用者感兴趣的区域，将图中的特征区域标注为格里森分级类型0、类型3、类型4或类型5等。当然也可以采用其他标注方式确定特征区域，对其进行采样。本发明不限定对特征区域的确定和采样方式。
70.一般情况下，根据特征区域，对形态学数字切片进行采样，构造用于神经网络模型需要的图像数据集，以尺寸l、步长s的滑动窗口对形态学数字切片进行平铺采样，当采样图片中心边长为的区域隶属于标注区域的面积达到比例系数r时，将该采样图片放入数据集x中，并获取标签，x＝[x1,x2,...,xn]代表所有图片构成的样本集，每一张图像记作xi,{i＝1,2,...,n，其中n为图像样本个数；y＝[y1,y2,...,ym]代表图像数据集x对应的标签。这里的标签用于记录特征区域的标注。
[0071]
特定数量的集成单元2，用于接收所述图像数据集获取单元获取的小块图像数据集中的小块图像，根据设定的网络训练参数使所述小块图像通过卷积核与加权通道的运算、维度深化的级联，重复获取进一步加权和深化的图像卷积特征，提取深层图像卷积特征和浅层图像卷积特征。
[0072]
为了清楚的描述各集成单元的关系，在图中展示了多个集成单元、最后两个集成单元为第n-1集成单元、第n集成单元(n是正整数)。
[0073]
为了使获得一定深度且多层次的丰富图像特征，采用了多个集成单元进一步的提取卷积特征。这些集成单元依次堆叠，对上一个集成单元提取的卷积特征进行再一次提取，经过多个集成单元多次提取的特征更为抽象和典型，为后续的特征融合打下了良好的数据基础。
[0074]
集成单元将小块图像通过卷积核与加权通道的运算，使图像特征获得加权，再通过维度深化的级联，使图像的维度增加了，特征表达更加丰富。本文中所说的级联是将向量或矩阵按照某一维度进行拼接。
[0075]
网络训练参数可以根据实际经验进行初始化设置，也可以根据分类误差进行更新设置，以提高整个神经网络的精确程度。
[0076]
网络训练参数主要包含：学习率(learning rate)，可设置为0.0001，动量(momentum)，可设置为0.9，训练代数可设置为50。需要说明的是上述网络训练参数的值可根据实际情况进行修改，并不局限于本文中列出的参数值。
[0077]
特征融合单元3，用于对集成单元获取的所述深层图像卷积特征和所述浅层图像卷积特征进行运算后与向量化的深层图像卷积特征进行级联，获得图像深度融合特征。
[0078]
浅层图像卷积特征对病理图像的表示能力不强，因此使用浅层图像卷积特征和深层图像卷积特征共同加入运算，获得图像深度融合特征。
[0079]
分类器4，用于根据所述特征融合模块获取的图像深度融合特征，结合预置分类标准，获得图像的分类标签。
[0080]
分类器可以预置分类标准，与分类标准相符合，则输出相应的分类标签。
[0081]
由此可以看出，本实施例对小块图像进行了多次多维度的特征提取，并通过浅层卷积特征和深层卷积特征的运算实现特征融合，再结合分类器输出相应的分类标签，将经过深度特征融合的病理图像与分类方法相结合，达到精确分类效果。
[0082]
为了更好的说明本发明，给出实施例二，详细阐述各个单元和模块的工作原理，如图2所示。
[0083]
图像数据集获取单元1，用于对前列腺病理图像形态数字切片中的特征区域进行采样，获取小块图像数据集。
[0084]
图像数据集获取单元获取的小块图像数据集为训练集和测试集，训练集记为x
train
，测试集记为x
test
。
[0085]
测试集、验证集以wsi为单位，按一定比例随机进行划分。例如：可将35张形态学数字切片用于构造训练集，其余9张形态学数字切片用于构造测试集。当然也可以采用其他数量的数字切片构造训练集和测试集，根据实际需要可以有很多的选择。
[0086]
根据标注信息，对形态学数字切片进行采样来构成图像数据集，可根据特定的比例将图像数据集分成训练集和测试集两部分，当以训练集作为装置的目标数据时，按照设定的网络训练参数完成神经网络的训练，已达到一定水平的精度后，将网络训练参数确定下来，形成固定的神经网络模型。当以测试集作为装置的目标数据时，则根据固定的神经网络模型，对测试集中的小块数据进行分类，得到准确的分类结果。
[0087]
特定数量的集成单元2：
[0088]
集成单元的数量根据需要灵活设定，需要与图像所包含的信息相匹配，以能够清晰的表现图像特征为设定标准。
[0089]
为了简洁在附图2中仅展示了一个集成单元的结构，这些集成单元都具有相同的结构。
[0090]
其中集成单元2进一步包含：
[0091]
特定数量的注意力机制模块21，用于使所述小块图像通过卷积核与加权通道的运算，获得重复加权后的图像卷积特征。
[0092]
注意力机制模块提取图像的突出特征，忽略图像中不突出的部分，通过一定数量的注意力机制模块，将图像中的突出特征进行加权，即使其更加显著。
[0093]
注意力机制模块的数量也可以根据实际情况灵活设定。
[0094]
注意力机制模块将图像通过卷积和最大池化后，增加图像特征的线性映射，获得增加权重的图像特征后，与卷积特征进行相乘的运算，最后与卷积特征进行相加的运算，获得加权后的图像卷积特征。
[0095]
降采样模块22，用于对经过所述特定数量的注意力机制模块重复加权后的图像卷积特征，进行不同视野的特征提取，并通过级联的方式对特征进行融合，获得深化的图像卷积特征。
[0096]
降采样模块的卷积层和最大池化层对经过多个注意力机制模块提取的图像卷积特征进行不同视野的特征提取，再将提取的结果通过级联的方式进行融合，获得深化的图像卷积特征。
[0097]
所述特定数量的集成单元依次堆叠，对上一个集成单元提取的卷积特征再次进行卷积特征的提取，最后一个集成单元提取的卷积特征为深层图像卷积特征，倒数第二个集
成单元提取的卷积特征为浅层图像卷积特征。
[0098]
特征融合单元3，所述特征融合模块将所述深层图像卷积特征和所述浅层图像卷积特征转换为相同维度的特征矩阵后进行外积运算，将所述深层图像卷积特征经卷积运算转换为全卷积向量，将所述全卷积向量与外积运算的结果进行级联获得图像深度融合特征。
[0099]
深层卷积特征hd和浅层卷积特征hs进入特征融合单元，经卷积层和池化层转化为相同维度的特征矩阵md和ms，由双线性池化层计算获得双线性特征mb，其计算公式如下：
[0100][0101]
双线性特征mb重新排列为双线性向量vb。深层卷积特征hd经卷积层转化为全卷积向量v
fc
。双线性向量vb和全卷积向量v
fc
级联获得向量v，其计算公式如下：
[0102]
v＝[v
fc
,vb]
[0103]
至此完成特征融合。
[0104]
分类器4，用于根据所述特征融合模块获取的图像深度融合特征，结合预置分类标准，获得图像的分类标签。
[0105]
误差分析单元5，用于根据所述分类器的分类结果计算分类误差。
[0106]
通常以分类器的softmaxloss为损失函数，使用随机梯度下降法训练深度卷积神经网络以获得最优参数。
[0107]
例如：将特征融合单元输出的级联向量2
×
1的向量，即对应2个类别标签的取值，经softmax处理为2
×
1的预测概率向量，计算softmaxloss损失。或者将级联向量v映射为3
×
1的向量，即对应3个类别标签的取值，经softmax处理为3
×
1的预测概率向量，计算softmaxloss损失。
[0108]
参数设置单元6，用于根据所述误差分析单元计算的分类误差更新设定所述网络训练参数。
[0109]
根据初始误差进行反向传播，更新网络训练参数。在迭代过程中，错误率随着网络训练参数中的训练代数的增加逐渐减小。在训练过程中，网络训练参数微调，直至达到收敛状态，确定最优深度卷积神经网络。
[0110]
为了更详细的说明本装置的工作原理和工作过程，下面给出本发明的实施例三，结合实例进行说明：
[0111]
本实施例采用tcga图像数据集作为实例数据集，挑选该数据集44例患者的形态学数字切片，这些图像的感兴趣区域被标注为4个类别：g0、g3、g4和g5。本实施例基于一种基于深度特征融合的病理图像分类装置构建的有无癌深度卷积神经网络，先判定有无癌，再通过一种基于深度融合特征的病理图像分类装置构建的癌症分类深度卷积神经网络判定癌症类型。
[0112]
图像数据获取单元采集图像和划分数据集。
[0113]
图像数据获取单元挑选前列腺癌公开数据集tcga中44张高质量的形态学数字切片，其中35张形态学数字切片用于构造训练集，其余9张形态学数字切片用于构造测试集。
[0114]
使用尺寸为1200、步长为300的滑动窗口采样小块图像。当小块图像边长为600的中心区域位于标注区域的面积大于90％时，该小块图像将被放入训练集或测试集。训练集用于模型训练，测试集图像用于模型测试。医生对病理切片上的区域进行标注，并给出类别
标签。采集的小块图像标签与其对应的标注区域标签相同。这里的标签采用格里森分级：类别0、类别3、类别4、类别5，四个标签，共采集获得61854张图像。为适应卷积神经网络，图像放缩为224
×
224。构造为图像数据集x＝[x1,x2,
…
,x
61854
]，数据集x的4个类别标签表示为y＝[y1,y2,y3,y4]，x中的每个样本xi,{i＝1,2,
…
,61854}均包含图像特征及标签。
[0115]
特定数量的集成单元和特征融合单元以及分类器构成了深度卷积神经网络模型。在本实施例中采用了5个集成单元、1个特征融合单元和1个分类器构成1个深度卷积神经模型，其中每个集成单元中又包含2个注意力机制模块和1个降采样模块。
[0116]
构造两个基于深度特征融合的病理图像分类装置，即构造两个深度卷积神经网络，第一个深度卷积神经网络用于判定有无癌，第二个深度卷积神经网络用于判定癌症类型。需要说明的是两个基于深度特征融合的病理图像分类装置的结构完全相同，其区别在于，设定的网络训练参数不同，分类器预置的分类标准不同，第一个深度卷积神经网络采用的是有无癌分类器，而第二个深度卷积神经网络采用的是癌症类型分类器。
[0117]
深度卷积神经网络的集成单元由两个注意力机制模块和一个降采样模块堆叠而成。
[0118]
第一个注意力机制模块3
×
3卷积核个数设置为64。降采样模块的卷积层和最大池化层分别提取视野为3
×
3和2
×
2的特征，通过级联的方式对特征进行融合。注意力机制模块如图3-1所示，降采样模块如图3-2所示。
[0119]
将五个集成单元和特征融合单元依次堆叠而成。特征融合单元如图3-3所示。对五个集成单元分别命名为第一集成单元、第二集成单元、第三集成单元、第四集成单元、第五集成单元。五个集成单元一次堆叠，对上一个集成单元输出的结果再次进行运算，第四集成单元输出的结果为浅层图像卷积特征，第五集成单元输出的结果为深层图像卷积特征，特征融合单元对第四集成单元和第五集成单元提取的卷积特征进行外积运算，再与全卷积向量进行级联，以实现对卷积特征的融合。因为越往后的集成单元提取的特征越抽象，特征表示能力越强。使用不同集成单元提取的特征进行外积操作进行实验，发现使用第四集成单元(倒数第二个)和第五集成单元(最后一个)提取的特征进行外积操作，模型分类效果最好。
[0120]
通过训练集对深度卷积神经网络进行训练，设定初始化参数，根据训练的误差通过参数设置单元调整网络训练参数，使模型达到收敛状态。
[0121]
(1)网络训练参数初始化，设置训练的学习率为10-4
，权重下降率为0.9，设置训练批次为100，训练代数为50，图像特征前向传播。
[0122]
将训练集x
train
中的小块图像输入深度卷积神经网络，提取集成单元4和集成单元5的卷积特征，映射为1
×
1024维的双线性向量和1
×
2408维的全卷积向量，两者级联获得1
×
3425维的级联向量v，级联向量v输入分类器获得预测标签。
[0123]
(2)误差反向传播：
[0124]
在判定有无癌的深度卷积神经网络中，全连接层将级联向量v映射为2
×
1的向量，即对应2个类别标签的取值，经softmax处理为2
×
1的预测概率向量，计算softmaxloss损失。
[0125]
在判定癌症类型的深度卷积神经网络中，全连接层将级联向量v映射为3
×
1的向量，即对应3个类别标签的取值，经softmax处理为3
×
1的预测概率向量，计算softmaxloss
损失。本实例设置训练代数为50代。
[0126]
此时根据该初始误差进行反向传播，更新网络训练参数。在迭代过程中，错误率随着训练代数增加逐渐减小。在训练过程中，网络训练参数微调，直至达到收敛状态，确定最优深度卷积神经网络。
[0127]
通过测试集对深度卷积神经网络进行测试，这是采用的网络训练参数是经过参数设置单元经训练集误差调整后确定下来的网络训练参数。直接使用即可。
[0128]
将测试集的小块图像输入深度卷积神经网络，获得小块图像的预测标签。计算装置的分类准确率。分类准确率：是将测试集中被装置正确分类的图像数量除以测试集中图像总数量。
[0129]
根据测试集样本预测标签与真实标签是否一致，计算图像层面的分类准确率。如下表1是模型的分类准确率，在tcga数据集上与基于resnet-50的方法比较，其结果更占优势。
[0130]
表1 tcga数据集上的分类准确率
[0131][0132]
本发明的实施例四公开一种基于深度特征融合的病理图像分类方法，如图4所示。
[0133]
步骤s41：对前列腺病理图像形态数字切片中的特征区域进行采样，获取小块图像数据集。
[0134]
步骤s42：根据设定的网络训练参数对所述小块图像数据集中的小块图像通过卷积核与加权通道的运算、维度深化的级联，重复获取进一步加权和深化的图像卷积特征，提取深层图像卷积特征和浅层卷积特征。
[0135]
步骤s43：对所述深层图像卷积特征和所述浅层卷积图像特征进行运算后与向量化的深层图像卷积特征进行级联，获得图像深度融合特征。
[0136]
步骤s44：根据所述获取的图像深度融合特征，结合预置的分类标准，获得图像的分类标签。
[0137]
为了更好的说明各步骤的工作原理，给出本发明的实施例五，如图5所示。
[0138]
步骤s51：对前列腺病理图像形态数字切片中的特征区域进行采样，获取小块图像数据集。
[0139]
所述小块图像数据集为训练集和测试集。
[0140]
步骤s521：使所述小块图像通过卷积核与加权通道的运算，获得重复加权后的图像卷积特征。
[0141]
步骤s522：对所述重复加权后的图像卷积特征，进行不同视野的特征提取，并通过级联的方式对特征进行融合，获得深化的图像卷积特征。
[0142]
步骤s523：对所述图像卷积特征再次进行卷积特征的提取，最后一次提取的卷积特征为深层图像卷积特征，倒数第二次提取的卷积特征为浅层图像卷积特征。
[0143]
步骤s53:将所述深层图像卷积特征和所述浅层图像卷积特征转换为相同维度的特征矩阵后进行外积运算，将所述深层图像卷积特征经卷积运算转换为全卷积向量，将所述全卷积向量与外积运算的结果进行级联获得图像深度融合特征。
[0144]
步骤s54：预置不同的分类标准，根据判定需求使用相应的分类标准对所述图像深度融合特征进行分类。
[0145]
步骤s55：根据所述获得的图像的分类标签计算分类误差。
[0146]
步骤s56：根据所述误差更新设定所述网络训练参数。
[0147]
本方法部分的发明内容与前述装置部分的内容相似，具体描述可参照前述装置部分，在此不再赘述。
[0148]
为了详细说明针对训练集时一种基于深度特征融合的病理图像分类装置的工作原理，特给出本发明的实施例六，包含如下步骤：
[0149]
步骤61：图像数据集获取单元对前列腺病理图像形态数字切片中的特征区域进行采样，获取小块图像数据集，根据特定比例将所述小块图像数据集划分为训练集和测试集。
[0150]
步骤62：特定数量的集成单元接收所述图像数据集获取单元获取的小块图像数据集中的所述训练集中的小块图像，根据设定的初始化网络训练参数使所述小块图像通过卷积核与加权通道的运算、维度深化的级联，重复获得进一步加权和深化的图像卷积特征，提取深层图像卷积特征和浅层图像卷积特征。
[0151]
步骤63：特征融合单元对所述集成单元获取的所述深层图像卷积特征和所述浅层图像卷积特征进行运算后与向量化的深层图像卷积特征进行级联，获得图像深度融合特征。
[0152]
步骤64：分类器根据所述特征融合模块获取的图像深度融合特征，结合预置的分类标准获得图像的分类标签。
[0153]
步骤65：误差分析单元根据所述分类器的图像分类标签结果计算分类误差。
[0154]
步骤66：参数设置单元根据所述误差分析单元计算的分类误差更新设定所述网络训练参数。
[0155]
步骤67：判断是否执行完成所述网络训练参数中设定的训练代数的相应次数，如果没有执行完，则返回步骤62，执行完成，结束。
[0156]
本实施例是使用一种基于深度特征融合的病理图像分类装置完成了训练的过程，通过使用训练集的数据、根据初始化的网络训练参数对图像进行深度特征融合的分类，并参照分类误差对网络训练参数进行调整，最终使一种基于深度特征融合的病理图像分类装置的网络训练参数处于最佳的状态，其分类结果误差最小，准确度最高。
[0157]
为了详细说明针对测试集时一种基于深度特征融合的病理图像分类装置的工作原理，特给出本发明的实施例七，包含如下步骤：
[0158]
步骤s71：图像数据集获取单元对前列腺病理图像形态数字切片中的特征区域进行采样，获取小块图像数据集，根据特定比例将所述小块图像数据集划分为训练集和测试集。
[0159]
步骤s72：特定数量的集成单元接收所述图像数据集获取单元获取的小块图像数据集中的所述测试集中的小块图像，根据参数设置单元最终更新设定的网络训练参数使所述小块图像通过卷积核与加权通道的运算、维度深化的级联，重复获得进一步加权和深化
的图像卷积特征，提取深层图像卷积特征和浅层图像卷积特征。
[0160]
步骤s73：特征融合单元对所述集成单元获取的所述深层图像卷积特征和所述浅层图像卷积特征进行运算后与向量化的深层图像卷积特征进行级联，获得图像深度融合特征。
[0161]
步骤s74：分类器根据所述特征融合模块获取的图像深度融合特征，结合预置的分类标准获得图像的分类标签。
[0162]
本实施例主要将一种基于深度特征融合的病理图像分类装置使用测试集进行测试的过程，根据上述实施例六中训练的步骤，使得一种基于深度特征融合的病理图像分类装置已经达到了较精确的状态，在使用测试集中的图像测试其准确率。在上文的实施例中已列出其测试的实例，在此不再赘述。
[0163]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0164]
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的部分，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术实施例能够在除了这里图示的以外的顺序实施。
[0165]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。