基于重点关注区域提取的乳腺癌病理图像识别方法与流程

1.本发明涉及乳腺癌病理图像识别技术领域，尤其涉及一种基于重点关注区域提取的乳腺癌病理图像识别方法。


背景技术：

2.统计数字表明乳腺癌在全球女性癌症中的发病率为24.2％，随着科技的进步尤其是数字显微镜和扫描仪的出现，可以将传统载玻片数字化为数字病理切片 (whole slide image，wsi)。一方面有利于病理学家摆脱在光学显微镜下耗时地搜寻病变区域，另一方面也让精准医疗出现可能，降低病理医生人工检查的主观性。因此众多学者将研究精力投入到计算机辅助诊断乳腺癌方向。
3.一般地，病理图像的分类会经过三个步骤：1)图像预处理；2)特征提取； 3)预测建模。传统特征提取主要依赖人工提取特征并结合机器学习学习人工所提取的特征，从而进行新的病历图像的判断。虽然这种方法能够得到较为有代表性的特征信息，但是存在耗时耗力的缺陷且需要专业的病理学知识。此外，通过人工提取特征难以覆盖到整个特征空间，导致这类方法的泛化能力不强，无法应用到临床诊断当中。


技术实现要素：

4.本发明的目的在于提供一种基于重点关注区域提取的乳腺癌病理图像识别方法，旨在有效提高图像识别的准确率和运行效率，为投入实际临床辅助诊断提供可能。
5.为了实现上述目的，本发明提供一种基于重点关注区域提取的乳腺癌病理图像识别方法，包括：
6.基于预设窗口，对全切片病理图像进行划分为多个相同尺寸的划分区域；
7.在每一个划分区域上基于软注意力机制赋予每一个像素点一个权重值，并将每一个划分区域裁剪为多个尺寸相同的图像块，获得包含重要信息的区域，其中，所述包含重要信息的区域为图像块的权重值不小于预设阈值；
8.将所述包含重要信息的区域输入到分类网络，以通过分类网络计算出每一个图像块的患癌概率值；
9.针对所述全切片病理图像的图像块，根据患癌概率值进行排序，并在基于网格筛选机制去除异常值，获取第一数量个图像块的特征，其中，所述第一数量个图像块由患癌概率值所对应的图像块的数量所决定；
10.将所获取的特征输入到lstm网络模型中，计算所述全切片病理图像的图像级分类结果。
11.一种实现方式中，所述对全切片病理图像进行划分为多个相同尺寸的划分区域的步骤，包括：
12.通过openslide库对全切片病理图像进行读取，并按预设倍数对所述全切片病理图像进行缩小处理；
13.针对缩小后的全切片病理图像，去除超过预设比例的白色背景区域，得到去背景后全切片病理图像；
14.采用尺寸为1024
×
1024像素的滑动窗口，对所述去背景后全切片病理图像进行区域划分，以得到多个相同尺寸的划分区域。
15.一种实现方式中，所述在每一个划分区域上基于软注意力机制赋予每一个像素点一个权重值，并将每一个划分区域裁剪为多个尺寸相同的图像块，获得包含重要信息的区域的步骤后，包括：
16.在每一个划分区域上，基于软注意力机制赋予每一个像素点一个权重值，
17.将每一个划分区域裁剪为若干个大小为224
×
224像素的图像块，若图像块的权重均值超过预设阈值，则确定为包含重要信息的区域。
18.一种实现方式中，所述对全切片病理图像进行划分为多个相同尺寸的划分区域的步骤，包括：
19.将全切片病理图像缩放至原来的16倍，然后将rgb色彩空间的图像转化为灰度图，在灰度图上使用otsu算法得到阈值，用该阈值进行图像阈值二值化；
20.利用形态学操作，先使用开运算去除病理图像掩码中的小点和毛刺，通过闭运算填平掩码中的间隙；
21.通过大小为1024
×
1024像素值的滑动窗口，在所述掩码，以1000像素值的步长进行划分区域，以获得多个相同尺寸的划分区域。
22.一种实现方式中，所述将每一个划分区域裁剪为若干个大小为224
×
224像素的图像块，若图像块的权重均值超过预设阈值，则确定为包含重要信息的区域的步骤，包括：
23.将每一个划分区域输入到选择网络中，得到一个大小为1024
×
1024像素的权重矩阵；并将其进行裁剪为224
×
224像素值大小的图像块，相邻的图像块之间重叠像素值为20；
24.判断图像块的权重均值是否大于指定阈值；
25.将权重均值大于指定阈值的图像块确定为包含重要信息的区域。
26.一种实现方式中，所述将所述包含重要信息的区域输入到分类网络，以通过分类网络计算出每一个图像块的患癌概率值的步骤，包括：
27.包含重要信息的区域输入到分类网络中，经过卷积运算判定该patch是否癌变；
28.保存每一个包含重要信息的区域的癌变概率值，及其在分类网络中特征提取层的向量，作为特征向量。
29.一种实现方式中，所述针对所述全切片病理图像的图像块，根据患癌概率值进行排序，并在基于网格筛选机制去除异常值，获取第一数量个图像块的特征的步骤，包括：
30.s41：对同一个全切片病理图像中的所有图像块根据其患癌概率值进行排序；
31.s42：按照排序结果，对每一个图像块pi，将与其相邻的多张图像块，记作 p
i k
，，输入到分类网络中判别其癌变性质，其中，p
i n
的相关系数设定为第一相关系数数值，p
i m
的相关系数设定为第二相关系数数值，p
i r
的相关系数设定为第三相关系数数值，对pi图像块执行网格筛选策略，其中，n是与图像块pi具有第一位置关系的图像块的数量，m是与图像块pi具有第二位置关系的图像块的数量，k是与图像块pi具有第三位置关系的图像块的数量；其具体策略如下：
32.a)若pi判为第一结果，并且在设定的网格中，基于位置关系和设定的相关系数值
判别为第一结果的图像块的相关系数累加和大于总和的一半，则认为该图像块判别结果正确，所述第一结果为有癌症或者无癌症中的一种；
33.b)若pi判为第二结果，并且在设定的网格中，基于位置关系判别为第二结果的图像块的相关系数累加和小于等于总和的一半，则认为该图像块的判别结果为异常值，所述第二结果为有癌症或者无癌症中的一种，其中，所述总和为所述设定的网格中所有图像块的相关系数之和；
34.s43：重复步骤s42，直到选择出第一数量个判读正确的图像块，取其在分类网络的特征提取层中的特征向量；
35.s44：将提取出的第一数列个图像块的特征作为序列数据，输入到s5中计算得到图像级预测结果。
36.一种实现方式中，所述将所获取的特征输入到lstm网络模型中，计算所述全切片病理图像的分类结果的步骤，包括：
37.s51：在时刻t时，lstm网络的输入包括当前的图像块p
t
、上一个时刻的输出值h
t-1
以及上一时刻的单元状态c
t-1，其中，在初始时刻，h0和c0初始化为零张量；
38.s52：将前一个时刻t-1的输出值h
t-1
和p
t
进行拼接，然后通过矩阵运算得到一个遗忘门的输出f
t
(0≤f
t
≤1)；
39.s53：通过f
t
与c
t-1
进行按元素相乘，记作f
t
，以确定上一时刻的单元状态 c
t-1
中，其每个元素的值有多少保留到当前时刻c
t
；
40.s54：将前一个时刻t-1的输出值h
t-1
和p
t
进行拼接，然后通过矩阵运算得到一个输入门的输出i
t
和一个当前输入的单元状态其中，0≤i
t
≤1
41.s55：将i
t
与进行按元素相乘，结果记作i
t
；
42.s56：将i
t
与f
t
相加得到最终时刻t的单元状态c
t
；
43.s57：重复步骤s51至s56，当最后一个图像块的特征输入到lstm网络中，得到该时间步对应的单元状态c
ε
，然后连接全连接层，得到全切片病理图像的分类结果，其中，ε为图像块的数量。
44.本发明所提出的方法能够筛除乳腺病理图像中大部分与癌变无关区域，从而有效提高模型的精度和效率。
45.本发明实施例中，首先针对基于滑动窗口裁剪全图乳腺病理图像产生的大量图像块patch，以及基于硬注意力机制的方法会造成信息丢失和冗余的问题。然后，本发明提出的重要区域提取方法能够有效降低模型计算量，提高模型的精度；再通过重点区域提取，在该区域中使用多示例方法更具针对性；针对病理图像中存在困难样本的情况，本发明提出基于网格筛选机制的方法去除异常值。本发明的技术途径更符合临床病理医生对切片进行判读的过程，契合临床应用场景。
附图说明
46.图1是本发明一种基于重点关注区域提取的乳腺癌病理图像识别方法的一种流程示意图。
47.图2是本发明实施例提供的网格图。
具体实施方式
48.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
49.乳腺癌病理图像的分类和定位是一个极具挑战的问题。主要来源于以下几个方面：1)病理图像尺寸规模过大，通常一张乳腺癌全切片图像(whole slideimage)的大小为数十亿像素(比如64000
×
64000)，受限于目前的算力，直接处理整张病理图像比较困难；2)来自不同病理实验室和不同光学显微镜扫描形成的数字病理图像一般会存在染色上的差异。
50.由于数字病理图像的超像素特性，难以通过一个阶段就解决图像分类问题。一般需要经过两个阶段，1)将全切片图像裁剪成patch，然后输入到卷积神经网络中进行训练；2)利用训练好的卷积神经网络提取patch特征，然后进行融合，最后输入到分类器中(常用的分类器有随机森林，支持向量机等)。l.hou等人训练一个patch级分类器，然后基于期望最大值方法去自动定位有判别力的 patch，进而融合基于patch的分类结果。但是直接融合patch的特征存在缺陷，因为数字病理图像中存在很多与癌变区域颜色、形态和纹理类似的正常组织(本发明称之为困难样本)，而这些困难样本会导致将无癌patch识别为有癌patch，使得基于patch的特征融合过程出现偏差。本发明把patch性质被判错的情况称为异常值。针对基于patch提取特征容易出现异常值的问题，xi wang等人研究了不同的上下文感知块选择和特征聚合策略，以生成整体的wsi特征描述符。他们所提出的block思想是将一个较大尺寸的图像(884
×
884像素)看成多个 patch(244
×
244像素)的组合。他们假设同一个block中的patch具有相似的性质。然后对block中的所有patch患癌概率取均值，若该block是无癌的区域，则通过取均值可以将无癌判为有癌的patch过滤；若其是有癌区域，则可以通过取均值可以将有癌判为无癌的patch过滤，最终达到去除异常值的作用。block 思想能够通过取均值过滤模型判错的情况，但是在一个block中，相邻patch的重叠区域一般会超过86％，这导致某个异常值的周围大概率也是异常值。一般地，使用滑动窗口的方法能够避免在裁剪patch的过程中丢失异常组织区域，但是会产生众多与癌变区域无关的patch，导致计算量和噪声的大幅增加，从而会降低模型的分类性能。
51.鉴于此，本发明首先提出一种重要区域选择的方法，将原始全切片数字病理图像划分为重要区域和非重要区域，然后主要针对重要区域进行特征提取和癌症判别。其次，本发明还提出基于网格筛选去除异常值的方法。在考虑patch 上下文信息的同时，通过网格筛选机制避免相邻patch的互相影响。然后在获取 wsi全局特征描述时，结合摩尔近邻思想去除异常值。本发明通过对国内外现有文献和国内现有发明的调研发现，和本发明提出的网格筛选机制类似的思想还未见报道。
52.判别组织病理图像中的区域是否重要，一般包括两种方法：1)基于硬注意力机制的方法；2)基于软注意力机制的方法。硬注意力机制的目的是从病理图像中找出感兴趣区域(region of interest，roi)，然后在roi中进行细致划分 patch；而软注意力机制是给予每一个像素点一个权重，从而区分不同像素之间的重要性。由于全切片图像尺寸过大，更多的研究倾向于使用硬注意力机制。 talha qaiser等人构建了一种基于深度强化学习方法
的新模型，能够从分辨率为千兆像素的全切片图像中，依次识别出一些与诊断相关的感兴趣区域，有效地降低了组织病理图像分析的计算量。bolei xu等人提出一种新的混合注意力方法来进行乳腺图像有无癌变的分类。他们先是通过硬视觉注意力从原始图像中选取一系列粗糙区域，然后基于软注意力机制对每个区域进行研究。但这些基于硬注意力机制的方法，是根据坐标点从原始图像中随机选取感兴趣区域，然后从中裁剪patch。因此会造成过多信息丢失和冗余的情况。针对这些问题，本发明提出基于软注意力机制区分重要区域与非重要区域的方法，然后将权重高于阈值的patch输入到分类网络中，进行训练分类网络。通过大小为1024
×
1024 像素的窗口从原图中滑动选取区域，能够在考虑原图全部信息之后提取出重点关注区域，避免信息丢失和冗余。
53.本发明实施例中，首先针对基于滑动窗口裁剪全图乳腺病理图像产生的大量图像块patch，以及基于硬注意力机制的方法会造成信息丢失和冗余的问题。然后，本发明提出的重要区域提取方法能够有效降低模型计算量，提高模型的精度；再通过重点区域提取，在该区域中使用多示例方法更具针对性；针对病理图像中存在困难样本的情况，本发明提出基于网格筛选机制的方法去除异常值。本发明的技术途径更符合临床病理医生对切片进行判读的过程，契合临床应用场景。
54.如图1本发明提供一种基于重点关注区域提取的乳腺癌病理图像识别方法，包括：
55.s101，基于预设窗口，对全切片病理图像进行划分为多个相同尺寸的划分区域。
56.本发明实施例中，可以通过openslide库对全切片病理图像进行读取，然后将图像缩小为原来的1/16倍，再使用otsu方法去除占比过大的白色背景，随后通过一个大小为1024
×
1024像素的滑动窗口进行区域(big region，br)划分。
57.具体操作中，例如，将原始乳腺病理图像缩放至原来的16倍，然后将rgb 色彩空间的图像转化为灰度图，在灰度图上使用otsu算法得到阈值，用该阈值进行图像阈值二值化。在此基础之上，利用形态学操作，先使用开运算去除病理图像掩码中孤立的小点和毛刺等，然后通过闭运算填平掩码中的间隙。然后通过大小为1024
×
1024像素值的滑动窗口，在所获得的组织掩码上，以1000 像素值的步长进行区域的划分，以得到划分区域。
58.s102，在每一个划分区域上基于软注意力机制赋予每一个像素点一个权重值，并将每一个划分区域裁剪为多个尺寸相同的图像块，获得包含重要信息的区域，其中，所述包含重要信息的区域为图像块的权重值不小于预设阈值。
59.针对每一个每一个划分区域上，基于软注意力机制赋予每一个像素点一个权重值。然后将其裁剪为若干个大小为224
×
224像素的patch。若一个patch的权重均值超过指定阈值，则认为它是包含重要信息的区域。
60.具体的，通过稀疏染色分离的方法对patch进行颜色标准化操作，从而将其颜色分布转换到和目标图像一致，并保留其组织结构信息。
61.基于软注意力机制的方法具体实施过程如下：
62.a)通过尺寸为1024
×
1024像素的滑动窗口从原图上选取区域；
63.b)将该区域输入到选择网络中，得到一个大小为1024
×
1024像素的权重矩阵；并将其进行裁剪为224
×
224像素值大小的图像块，或者称为patch，相邻的 patch之间重叠像素值为20；
64.c)然后判断patch的权重均值是否大于指定阈值；
65.d)将权重均值大于指定阈值的patch作为包含重要信息的区域，并在接下来输入分类网络。
66.s103，将所述包含重要信息的区域输入到分类网络，以通过分类网络计算出每一个图像块的患癌概率值。
67.本发明实施例中的分类网络可以预先通过包含重要信息的区域对网络进行训练，在达到成熟的网络后可以直接使用。
68.本发明实施例中对每一个筛选出的patch，输入到分类网络中，经过卷积运算判定该patch是否癌变；保存每一个patch的癌变概率值，及其在分类网络中倒数第二层的向量，以作为特征向量。
69.s104，针对所述全切片病理图像的图像块，根据患癌概率值进行排序，并在基于网格筛选机制去除异常值，获取第一数量个图像块的特征，其中，所述第一数量个图像块由患癌概率值所对应的图像块的数量所决定。
70.s41：对同一个全切片病理图像(bag)中的所有图像块patch根据其患癌概率值进行排序。
71.s42：按照排序结果，对每一个patch pi，将与其相邻的48张patch，如图2 所示，记作p
i k
(k＝1,2,
…
,48)，如图2所示在7*7的网格中除了patch pi本身以外的其他patch，输入到分类网络中判别其癌变性质。其中，p
i n
(n＝1,2,..., 8)的相关系数设定为3(该部分为与patch pi具有第一位置关系的图像块的数量，如图2所示，为7*7网格中与patch pi相邻的8个图形)，p
i m
(m＝9,10,...,24) 的相关系数设定为2(该部分为与patch pi具有第二位置关系的图像块的数量，如图2所示，为在第一方向上7*7网格中与第一位置关系的图像块所相邻的16 个图像块，该第一方向为远离图像块pi的方向)，p
i r
(r＝25,26,...,48)的相关系数设定为1(该部分为与patch pi具有第三位置关系的图像块的数量，如图 2所示，为在第一方向上7*7网格中与第二位置关系的图像块所相邻的24个图像块)。对patch pi执行网格筛选策略，其具体策略如下：
72.a)若pi判为有癌(或无癌)，并且在7
×
7的网格中(每个格子代表一个 patch，如图2所示)，判别为有癌(或无癌)的patch的相关系数累加和大于其总和的一半，则认为该patch判别结果正确。
73.b)若pi判为有癌(或无癌)，并且在7
×
7的网格中，判别为有癌(或无癌)的patch的相关系数累加和小于等于其总和的一半，则认为该patch的判别结果为异常值。
74.s43：重复步骤s42，直到选择出k个判读正确的patch，取其在分类网络的特征提取层中的特征向量。
75.s44：将提取出的第一数量k个图像块(patch)特征看作序列数据，输入到s105中计算得到图像级预测结果。
76.s105，将所获取的特征输入到lstm网络模型中，计算所述全切片病理图像的分类结果。
77.s51：在时刻t时，lstm的输入包括当前的patch p
t
、上一个时刻的输出值 h
t-1
以及上一时刻的单元状态c
t-1
，其中，在初始时刻，h0和c0初始化为零张量。
78.s52：将前一个时刻t-1的输出值h
t-1
和p
t
进行拼接，然后通过矩阵运算得到一个遗忘门(forget gate)的输出f
t
(0≤f
t
≤1)；
79.s53：通过f
t
与c
t-1
进行按元素相乘(记作f
t
)，以确定上一时刻的单元状态c
t-1
中，其每个元素的值有多少保留到当前时刻c
t
；
80.s54：将前一个时刻t-1的输出值h
t-1
和p
t
进行拼接，然后通过矩阵运算得到一个输入门(input gate)的输出i
t
(0≤i
t
≤1)和一个当前输入的单元状态
81.s55：将i
t
与进行按元素相乘，结果记作i
t
；
82.s56：将i
t
与f
t
相加得到最终时刻t的单元状态c
t
；
83.s57：重复步骤s51至s56，当最后一个图像块的特征输入到lstm网络中，得到该时间步对应的单元状态c
ε
，然后连接全连接层，得到全切片病理图像的分类结果，其中，ε为图像块的数量。
84.阶段一是乳腺病理图像的重点区域提取，阶段二是基于mil的分类网络训练。本发明所提出的方法能够在计算机辅助诊断乳腺病理图像过程中，首先通过第一阶段将wsi中正常组织区域和缺乏判断力的区域排除，起到明显降低计算量、过滤噪声的作用，并且对同一个窗口内的信息进行联系，融合空间信息；其次，通过第二个阶段的多示例方法，只需要提供图像级标注，区别于其他多示例方法，并不是选取单一或固定几个patch进行特征融合，而是通过摩尔近邻思想过滤异常值。经过两个阶段的协作，能够有效提高模型的准确率和运行效率，为投入实际临床辅助诊断提供可能。
85.不同于以往的硬注意力机制存在的信息丢失和冗余等缺陷，本发明通过 1024
×
1024的窗口，一方面赋予窗口内的像素以一定权重来区分其重要性，另一方面通过长短时记忆网络融合了同一个窗口内的patch，充分考虑了空间信息。因此，在过滤掉大部分无关信息之后，本发明提出的方法能够明显提高模型效率和准确度。
86.本发明所提出的多示例学习方法并不是选取患癌概率最高的patch或者是固定几个patch，而是通过摩尔近邻思想，筛选异常值，进一步提高模型的精度和鲁棒性。
87.上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。