基于计算机视觉的病理图像识别方法与流程

1.本发明涉及一种图像识别方法，特别是涉及一种基于计算机视觉的病理图像识别方法。


背景技术：

2.组织病理学是指病理医生在显微镜下观察研究组织切片的科学，被认为是临床上肿瘤诊断的金标准(nature，2017)。组织病理学的研究对象是组织切片，通常是手术或活检中收集的组织样品，通过固定、包埋、切片和染色等步骤制成几微米厚的薄片组织，附着于载玻片上。病理医生通过显微镜观察这些切片，对病理图像进行分析，从而作出诊断。病理图像分析是一项复杂且繁重的工作，费时费力，不同病理医生对同一病理图像的诊断存在分歧，且经验丰富的病理学专家较为稀缺。针对上述情况，需将计算机视觉应用于病理图像诊断的分类、分割、特征识别和细胞计数等。
3.最近十几年来，随着图像数字化和数字存储技术的快速发展，病理组织切片制作全数字化图像成为可能。因此，普遍认为，病理组织切片的数字化将会是病理学发展过程中的重要转折点。数字化的病理组织切片可以使得阅片者不通过显微镜而直接在计算机上阅读数字病理组织切片。而且，全片数字化图像(whole slide images，wsi)出现，使病理组织切片的保存、传输也更加方便和安全。但由于数字病理组织切片的制作首先需要经过组织染色，随后通过显微相机数字化为数字病理切片。这导致最初的数字切片质量受制于成像领域硬件发展，因此早期的普及度并不高。但是随着近些年全球科技领域相关技术的长足发展，越来越多的高精度成像设备已广泛应用。这大大推动了数字病理组织切片的发展，医生借助高精度的数字病理组织切片，已可非常方便的做出相对准确的判断。而且，随着人工智能技术走进病理分析领域，病理图像分析不再局限于传统的定性分析，逐渐向定量分析过渡。定性分析是对切片性质特点的一种概括，并没有形成量化指标，因此定性分析的结果不可复现，且受主观因素影响较大。而定量分析是指依据统计数据，建立数学模型，从而计算出与病变相关的各项指标，如有丝分裂数目、肿瘤的实质与间质的比例、黏液湖和癌细胞的比例等定量化指标；并根据定量指标给出病理诊断，其诊断结果更加客观。因此，病理医生也越来越认识到定量分析的重要性。
4.根据有关媒体报道，来自百度、谷歌、谷歌大脑与verily公司的科学家们开发出一款能用来诊断乳腺癌的人工智能，它的表现甚至超过了专业的病理学家。以百度研究院发表的全新病理切片分析算法为例，该算法公开的肿瘤定位froc分数可以达到0.8096，,而人类病理学家的平均成绩是0.8074，可以看到，这个算法事实上超过了专业病理医生的水平。但同时，也有国内部分专家指出，人工智能在肿瘤病理诊断领域的优异表现，并不能代表着人工智能会逐渐替代病理医生。理由是，针对一个病理图像，人工智能算法能够帮助病理医生提供几个意向性的可能作为参考，是比较现实的，这已经很不容易，只关注特定实例的准确性数值，而忽略这一准确率实际上来源于大量的临床数据来训练这个机器，是不全面的。换句话说，针对计算机视觉研究机构来说，其临床数据量，实际的医疗机构的数据量，存在
着数量级以上的差距，因此，特定机构针对特定实例，制定的特定算法，再重复的训练后，可以达到非常高的准确率，这毋庸置疑。但是，实际临床中，肿瘤的形态往往具有远超出算法训练集的复杂性，因此这注定了实验室算法无论做到何种精准的程度，现阶段仍只能将其定位在辅助诊断的范畴。
5.仍参考百度研究院公开文献，其表明，目前的数字病理切片，一张40倍放大的电子化病理切片通常由超过10亿个像素点组成，磁盘空间大小超过1gb。然而淋巴结附近微转移肿瘤细胞群可能最小只有不到1000像素的直径。一旦发现微转移肿瘤细胞群，病人的治疗方案和预后可能就会有极大差别。因此，即使针对计算机视觉算法的病理切片阅读，要做到不漏掉任何一处具有临床价值的病灶，也是需要极大的存储和算力支持，并非目前公共医疗领域可以承受。
6.由此，发明人认为，可以显而易见地是，目前基于计算机视觉算法的病理切片识别，在相当长的时间内，仅能作为辅助参考，因此，提升识别速率将变得更具现实意义。


技术实现要素：

7.鉴于现有技术存在的上述问题，本发明的目的在于提供一种基于计算机视觉的病理图像识别方法，该方法基于卷积神经网络，且相对于目前常规的病理切片识别算法来说可以较大程度提高识别效率。
8.为了实现上述目的，本发明一方面实施例提供的基于计算机视觉的病理图像识别方法，该方法包括：
9.获取数字病理切片样本，构造训练集；
10.构建卷积神经网络，并以所述训练集对所述卷积神经网络进行训练；该卷积神经网络至少包括第一卷积神经网络、第二卷积神经网络和全连接层；且所述第一卷积神经网络至少包括第一卷积层，所述第二卷积神经网络至少包括第二卷积层；
11.从训练后的卷积神经网络的所述第一卷积层和所述第二卷积层中至少提取一个卷积层，每个所述卷积层至少包括一卷积核矩阵，且在所述卷积核矩阵的输出通道中形成至少一卷积过滤器，该卷积过滤器表征肿瘤部位和/或恶化程度；
12.确定所述卷积核矩阵中每个卷积核的权重，将所述卷积过滤器中每个卷积过滤器中的每个卷积核的权重求和以确定每个卷积过滤器的深度；
13.将每个卷积过滤器的深度与一阈值比较，移除低于阈值的卷积过滤器；
14.依据被移除的卷积过滤器，对所述卷积神经网络进行剪枝；
15.对经过剪枝的卷积神经网络进行重新训练，并通过剪枝后的卷积神经网络对数字病理切片进行识别。
16.作为优选，所述第一卷积神经网络还包括第一池化层，所述第二卷积神经网络还包括第二池化层。
17.作为优选，对所述卷积神经网络进行训练，包括：
18.将所述训练集分为第一样本集和第二样本集，所述第一样本集或第二样本集的样本数量之比介于7:1
‑
7:3，并将所述第二样本集由病理医生进行人工标定；
19.通过所述第一样本集和所述第二样本集对所述卷积神经网络进行有监督的学习。
20.作为优选，所述第一卷积层的所述卷积核矩阵的输出通道中形成的所述卷积过滤
器表征肿瘤部位；所述第二卷积层的所述卷积核矩阵的输出通道中形成的所述卷积过滤器表征恶化程度。
21.作为优选，对所述卷积神经网络进行剪枝，包括：
22.针对所述第一卷积神经网络进行权重稀疏；
23.针对所述第二卷积神经网络进行神经元稀疏。
24.作为优选，针对所述第一卷积神经网络进行权重稀疏，包括：
25.针对第一卷积层的所述卷积核矩阵生成权重矩阵；
26.从所述权重矩阵中移除卷积过滤器的深度低于阈值的卷积核，生成剪枝后的权重矩阵；
27.依据剪枝后的权重矩阵，重新生成第一卷积神经网络。
28.作为优选，针对所述第二卷积神经网络进行神经元稀疏，包括依据第一相关系数r
ik
对第二卷积神经网络的神经元进行消除，其中第一相关系数r
ik
通过如下方式确定：
[0029][0030]
其中，a
im
是第二卷积神经网络的第二卷积层的第i个特征图(feature map)中的第m神经元，该特征图中共有m个神经元；k为第二卷积层的卷积过滤器大小；b
mk
第m个神经元的权重系数；μ和σ训练集上计算得到的均值与方差。
[0031]
作为优选，对所述卷积神经网络进行剪枝，还包括对全连接层进行剪枝。
[0032]
作为优选，对全连接层进行剪枝，包括依据第二相关系数r
ik
对全连接层进行剪枝，其中第二相关系数r
ik
通过如下方式确定：
[0033][0034]
其中，a
i
是全连接层的一个神经元，k为第二卷积层的神经元的个数，μ和σ训练集上计算得到的均值与方差。
[0035]
作为优选，通过剪枝后的卷积神经网络对数字病理切片进行识别，包括：
[0036]
将数字病理切片测试集输入剪枝后的卷积神经网络；
[0037]
将剪枝后的卷积神经网络的输出作为循环神经网络(rnn)的输入；
[0038]
将循环神经网络的输出通过预测结果展示模块展示。
[0039]
与现有技术相比较，本发明提供的基于计算机视觉的病理图像识别方法，通过适当样本集训练卷积神经网络，该卷积神经网络设置多个卷积层和全连接层。每个卷积层和全连接层均经过适当剪枝处理，在不大幅度降低准确率的前提下，大大提高了模型执行效率，同时降低资源占用，使得该项技术在医院临床应用的可能性大大提升。
[0040]
应当理解，前面的一般描述和以下详细描述都仅是示例性和说明性的，而不是用于限制本公开。
[0041]
本技术文件提供本公开中描述的技术的各种实现或示例的概述，并不是所公开技术的全部范围或所有特征的全面公开。
附图说明
[0042]
图1为本发明的基于计算机视觉的病理图像识别方法的卷积神经网络的网络模型结构示意图。
[0043]
图2为现有一般卷积神经网络的网络结构示意图。
[0044]
图3为本发明的基于计算机视觉的病理图像识别方法的第一卷积神经网络经权重剪枝后的网络结构示意图。
[0045]
图4为本发明的基于计算机视觉的病理图像识别方法的第二卷积神经网络经神经元剪枝后的网络结构示意图。
[0046]
图5为本发明的基于计算机视觉的病理图像识别方法的第一卷积神经网络经权重剪枝后的准确性与稀疏性的关系示意图。
[0047]
图6为本发明的基于计算机视觉的病理图像识别方法的第二卷积神经网络经神经元剪枝后的模型大小与稀疏性的关系示意图。
[0048]
图7为本发明的基于计算机视觉的病理图像识别方法的方法流程图。
[0049]
图8为实施本发明的基于计算机视觉的病理图像识别方法的系统的结构示意图。
具体实施方式
[0050]
为了使得本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。
[0051]
显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0052]
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，还可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
[0053]
为了保持本公开实施例的以下说明清楚且简明，本公开省略了已知功能和已知部件的详细说明。
[0054]
如图1所示，在本发明提出的技术方案中，采用了卷积神经网络(cnn)来实现数字病理切片的计算机视觉范畴的识别。在本发明方法中，该cnn网络包括两层卷积神经网络和全连接层，两层卷积神经网络分别为第一卷积神经网络和第二卷积神经网络，其中，第一卷积神经网络和第二卷积神经网络结构类似，分别包括第一卷积层、第一池化层以及第二卷积层、第二池化层。针对卷积层的概念和作用在本发明中不做进一步解释说明。而对于池化层来说，在本发明中的作用是提取局部均值和最大值，根据计算出来的值不一样就分为均值池化层与最大值池化层。具体来说，第一池化层为均值池化层。而第二池化层为最大值池化层。进一步结合附图8可知，在本发明中，可从现有数字病理切片扫描系统获取数字病理切片作为训练样本构成训练集。考虑到现实应用的可行性，在本发明中，示例性可以7000
‑
10000个数字病理切片样本构造训练集。并且，为了保持一定的准确率，该训练集中的数字
病理切片样本可进一步由病理医生进行人工标定，制定肿瘤部位、种类、恶化程度等标签。进而以该训练集对cnn网络进行训练。进一步参考图8，训练后的cnn网络可经过cnn剪枝模块进行剪枝，以获得剪枝后的cnn网络。图2示出了现有cnn网络的结构示意图。而图3至图6则示出了本发明方法经多次剪枝处理后的cnn网络结构以及实际的准确率及模型大小与稀疏性的比较示意图。从图中可以看出，经剪枝处理后的cnn网络，在保证准确率少量下降的情况下。模型的稀疏性及模型大小都有了大幅度的改善。如此一来可使得该算法更易于在现实环境中应用，并作为病理或临床医生的辅助诊断手段。再进一步地，本发明的方法在实际应用时，通过构造数字病理切片测试集，并将测试集输入到剪枝后的cnn网络，而后在一些应用中。剪枝后的cnn网络的输出被进而输入到以rnn神经网络进行进一步迭代后再输出至预测结果展示模块，该预测结果展示模块被配置为与医生工作站连接并提供病理切片的识别结果。针对本发明提出的方法，更具体请参考图7所示，本发明实施例提供的基于计算机视觉的病理图像识别方法包括：
[0055]
s1、获取数字病理切片样本，构造训练集；
[0056]
s2、构建卷积神经网络，并以所述训练集对所述卷积神经网络进行训练；该卷积神经网络至少包括第一卷积神经网络、第二卷积神经网络和全连接层；且所述第一卷积神经网络至少包括第一卷积层，所述第二卷积神经网络至少包括第二卷积层；其中，所述第一卷积层的所述卷积核矩阵的输出通道中形成的所述卷积过滤器表征肿瘤部位；所述第二卷积层的所述卷积核矩阵的输出通道中形成的所述卷积过滤器表征恶化程度。
[0057]
进一步地，对所述卷积神经网络进行训练，包括：将所述训练集分为第一样本集和第二样本集，所述第一样本集或第二样本集的样本数量之比介于7:1
‑
7:3，并将所述第二样本集由病理医生进行人工标定；也就是说，对于8000个数字病理切片样本情况下，至少需包括1000个病理样本由病理医生进行标定。而考虑到工作量及准确率提升预期，本发明方法中，最多可以有2400个数字病理样本由病理医生进行标定。进一步地，在训练过程中，可通过所述第一样本集和所述第二样本集对所述卷积神经网络进行有监督的学习。
[0058]
s3、从训练后的卷积神经网络的所述第一卷积层和所述第二卷积层中至少提取一个卷积层，每个所述卷积层至少包括一卷积核矩阵，且在所述卷积核矩阵的输出通道中形成至少一卷积过滤器，该卷积过滤器表征肿瘤部位和/或恶化程度；
[0059]
s4、确定所述卷积核矩阵中每个卷积核的权重，将所述卷积过滤器中每个卷积过滤器中的每个卷积核的权重求和以确定每个卷积过滤器的深度；
[0060]
s5、将每个卷积过滤器的深度与一阈值比较，移除低于阈值的卷积过滤器；
[0061]
s6、依据被移除的卷积过滤器，对所述卷积神经网络进行剪枝；对所述卷积神经网络进行剪枝，包括：针对所述第一卷积神经网络进行权重稀疏；针对所述第二卷积神经网络进行神经元稀疏。在一些实施例中，对所述卷积神经网络进行剪枝，还包括对全连接层进行剪枝。
[0062]
其中，针对所述第一卷积神经网络进行权重稀疏，包括：针对第一卷积层的所述卷积核矩阵生成权重矩阵；从所述权重矩阵中移除卷积过滤器的深度低于阈值的卷积核，生成剪枝后的权重矩阵；依据剪枝后的权重矩阵，重新生成第一卷积神经网络。针对所述第二卷积神经网络进行神经元稀疏，包括依据第一相关系数r
ik
对第二卷积神经网络的神经元进行消除，其中第一相关系数r
ik
通过如下方式确定：
[0063][0064]
其中，a
im
是第二卷积神经网络的第二卷积层的第i个特征图(feature map)中的第m神经元，该特征图中共有m个神经元；k为第二卷积层的卷积过滤器大小；b
mk
第m个神经元的权重系数；μ和σ训练集上计算得到的均值与方差。
[0065]
而对全连接层进行剪枝，包括依据第二相关系数r
ik
对全连接层进行剪枝，其中第二相关系数r
ik
通过如下方式确定：
[0066][0067]
其中，a
i
是全连接层的一个神经元，k为第二卷积层的神经元的个数，μ和σ训练集上计算得到的均值与方差。
[0068]
s7、对经过剪枝的卷积神经网络进行重新训练，并通过剪枝后的卷积神经网络对数字病理切片进行识别。
[0069]
最后，在本发明提供的方法中，通过剪枝后的卷积神经网络对数字病理切片进行识别，具体包括：
[0070]
将数字病理切片测试集输入剪枝后的卷积神经网络；
[0071]
将剪枝后的卷积神经网络的输出作为循环神经网络(rnn)的输入；
[0072]
将循环神经网络的输出通过预测结果展示模块展示。
[0073]
以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。