数字病理图像块良恶性分类方法及系统与流程

1.本发明涉及医疗图像技术领域，更具体的说，特别涉及一种数字病理图像块良恶性分类方法及系统。


背景技术：

2.病理切片分析被医学界公认为癌症诊断的金标准，许多病人的临床诊断必须通过细胞形态性及组织病理学检查才能得到最终确认，包括各类肿瘤性疾病的区域、良恶性质、分期、分型等，从而为临床选择正确治疗方案、术后诊断提供依据。目前对癌症的诊断需要医生对病理切片进行反复检查，非常消耗时间和精力。因此，计算机辅助诊断方法在数字病理领域具有非常重要的临床意义。


技术实现要素：

3.本发明的目的在于针对现有技术存在的技术问题，提供一种数字病理图像块良恶性分类方法及系统，能够提高分类的准确性，使得深度学习模型在迭代学习的过程中性能逐渐提升。
4.为了解决以上提出的问题，本发明采用的技术方案为：
5.第一方面，本发明提供一种数字病理图像块良恶性分类方法，该方法具体步骤包括如下：
6.对数字病理切片进行预处理，得到数字病理图像块，包括有对应标签图像块和无对应标签图像块；
7.将所述有对应标签图像块进行分组，得到训练集图像块、验证集图像块和测试集图像块，并对所述的训练集图像块进行数据增强；
8.构建深度学习模型，并对深度学习模型进行训练，训练收敛后保存模型得到收敛模型；
9.根据所述的收敛模型进行迭代训练，训练收敛后保存模型；
10.在所述验证集图像块中的评价标准无较大波动时，则保存最终模型；
11.将所述测试集图像块输入到所述最终模型，并对最终模型的输出进行运算，得到数字病理图像块良恶性分类结果。
12.进一步地，所述对数字病理切片预处理的过程包括如下：
13.采用图像分割的方法分割出所述数字病理切片的前景和背景；
14.采用滑动窗口对所述分离出的前景进行切分，得到数字病理图像块，并将所述滑动窗口在标注框内的图像块记为有对应标签图像块，在标注框外的图像块记为无对应标签图像块。
15.进一步地，所述深度学习模型的训练过程包括如下：
16.初始化所述深度学习模型的参数；
17.将所述训练集图像块中的图像块及其对应的标签，输入至所述的深度学习模型，
得到深度学习模型输出的预测值；
18.根据所述预测值计算得到深度学习模型的损失函数；
19.根据所述损失函数和反向传播算法确定所述深度学习模型参数的梯度，并利用预设的radam优化器更新所述深度学习模型的参数。
20.进一步地，所述迭代训练过程包括如下：
21.根据所述的收敛模型对无对应标签图像块进行预测，得到伪标签；其中伪标签采用软标签方法进行预测；
22.将无对应标签图像块及其对应的伪标签，加入到所述训练集图像块得到新训练集图像块；
23.将所述的新训练集图像块中的图像块及其对应的标签输入至所述的深度学习模型进行训练，训练收敛后保存模型。
24.进一步地，所述数据增强包括随机翻转、随机旋转、随机扭曲、随机噪声、随机仿射变换、随机裁剪，其以随机顺序应用上述所有方法。
25.进一步地，构建的深度学习模型为卷积神经网络efficentnet,优化器使用radam优化器，学习率设置为0.0001，批大小为32。
26.进一步地，所述损失函数l采用交叉熵为:
[0027][0028]
其中，p为标签，q为模型输出的预测值，n为批大小。
[0029]
第二方面，本发明提供一种迭代式半监督模型的数字病理图像块良恶性分类系统，该系统包括：
[0030]
切片预处理模块，用于对对数字病理切片进行预处理，得到数字病理图像块，包括有对应标签图像块和无对应标签图像块；
[0031]
图像块分组模块，用于有对应标签图像块进行分组，得到训练集图像块、验证集图像块和测试集图像块，并对所述的训练集图像块进行数据增强；
[0032]
深度学习模型构建模块，用于对深度学习模型进行训练，训练收敛后保存模型得到收敛模型；
[0033]
模型迭代训练模块，用于根据所述的收敛模型进行迭代训练，训练收敛后保存模型；
[0034]
判断保存模块，用于判断验证集图像块中的评价标准是否存在较大波动，在其无较大波动时，保存最终模型；
[0035]
分类结果模块，用于将所述测试集图像块输入到所述最终模型，并对最终模型的输出进行运算，得到数字病理图像块良恶性分类结果。
[0036]
第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述方法的步骤。
[0037]
第四方面，本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现所述方法的步骤。
[0038]
与现有技术相比，本发明的有益效果在于：
[0039]
本发明提供的一种数字病理图像块良恶性分类方法及系统，通过对数字病理切片
进行预处理，得到有对应标签图像块和无对应标签图像块，并对有对应标签图像块进行分组和数据增强，构建深度学习模型进行迭代训练，最终得到数字病理图像块良恶性分类结果。因此，本发明能够提高分类的准确性，通过迭代式半监督学习方式对无标签数据进行利用，也使得深度学习模型在迭代学习的过程中性能逐渐提升，大大提高分类方法的精度和效率，保证其有效性和准确性。
附图说明
[0040]
图1为本发明数字病理图像块良恶性分类方法的方法流程图。
[0041]
图2为本发明中对数字病理切片预处理的流程图。
[0042]
图3为本发明中深度学习模型训练过程的流程图。
[0043]
图4为本发明中迭代训练过程的原理示意图。
[0044]
图5为本发明中迭代训练过程的流程图。
[0045]
图6为本发明中数字病理图像块良恶性分类系统的原理图。
[0046]
图7为本发明电子设备的实体结构图。
具体实施方式
[0047]
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
[0048]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
[0049]
参阅图1所示，本发明提供一种数字病理图像块良恶性分类方法，该方法具体步骤包括如下：
[0050]
步骤s1：对数字病理切片进行预处理，得到数字病理图像块；所述数字病理图像块包括有对应标签图像块和无对应标签图像块。其中，所述标签为对图像块进行标注。
[0051]
本步骤s1中，参阅图2所示，所述预处理过程包括如下：
[0052]
步骤s11：采用图像分割的方法分割出所述数字病理切片的前景和背景。本发明实施例中，采用大津阈值法进行分割，去除所述数字病理切片的背景，从而减小计算量。相比使用色调，饱和度和明度等图像参数进行分割，采用大津阈值法具有鲁棒性强的优点。
[0053]
步骤s12：采用滑动窗口对所述分离出的前景进行切分，得到数字病理图像块，并将所述滑动窗口在标注框内的图像块记为有对应标签图像块，在标注框外的图像块记为无对应标签图像块。
[0054]
本发明实施例中，采用大小为256
×
256、步长为256的滑动窗口对前景进行切分，通过设置滑动窗口，并将滑动窗口在标注框内和标注框外的图像块分别记为有对应标签图像块和无对应标签图像块，其方便进行区分，简单、明了，也使得深度学习模型能够对十亿像素级别的数字病理切片进行处理。
[0055]
步骤s2：将所述有对应标签图像块进行分组，得到训练集图像块、验证集图像块和
测试集图像块，并对所述的训练集图像块进行数据增强。其中，所述训练集图像块用于模型训练，所述验证集图像块用于参数调整和模型选择，所述测试集图像块用于模型评估，通过将图像块分成训练集、验证集和测试集图像块，方便模型进行训练。
[0056]
本发明实施例中，所述训练集图像块、验证集图像块和测试集图像块的样本量比例为6:2:2,所述样本量比例设置可以兼顾模型训练及模型验证。
[0057]
本发明实施例中，所述数据增强包括随机翻转、随机旋转、随机扭曲、随机噪声、随机仿射变换、随机裁剪，其以随机顺序应用上述所有方法。通过对所述训练集图像块进行数据增强，并采用随机顺序应用上述方法，可以减小模型过拟合，提高模型的泛化能力，从而保证整个分类方法的可靠性和准确性。
[0058]
步骤s3：构建深度学习模型，并对深度学习模型进行训练，训练收敛后保存模型得到收敛模型。本发明实施例中，构建的深度学习模型为卷积神经网络efficentnet,优化器使用radam优化器，学习率设置为0.0001，批大小为32。采用所述卷积神经网络efficentnet使得模型可以容纳更多数据，便于对模型进行训练；采用所述radam优化器用于更新模型参数，其具有收敛更快的优点。
[0059]
本步骤s3中，参阅图3所示，所述深度学习模型的训练过程包括如下步骤：
[0060]
步骤s31：初始化所述深度学习模型的参数。本发明实施例中，采用凯明初始化对所述深度学习模型的参数进行初始化，可以使得整个训练过程收敛得更快。
[0061]
步骤s32：将所述训练集图像块中的图像块及其对应的标签，输入至所述的深度学习模型，得到深度学习模型输出的预测值。
[0062]
步骤s33：根据所述预测值计算得到深度学习模型的损失函数，所述损失函数l采用交叉熵为:
[0063][0064]
其中，p为标签，q为模型输出的预测值，n为批大小。
[0065]
步骤s34：根据所述损失函数和反向传播算法确定所述深度学习模型参数的梯度，并利用预设的radam优化器更新所述深度学习模型的参数。
[0066]
本发明实施例中，通过凯明初始化方法初始化深度学习模型的参数，使得模型在训练过程中收敛速度更快，输入所述训练集图像块中的图像块得到预测值，并根据预测值计算得到损失函数，然后根据损失函数采用反向传播算法计算参数的梯度，最后利用radam优化器更新模型的参数，整个训练过程简单、可靠。
[0067]
步骤s4：根据所述的收敛模型进行迭代训练，训练收敛后保存模型。本步骤中，所述迭代训练过程采用教师-学生模式，所述教师-学生模式通过迭代训练的方式能够逐步提升模型的性能，所述为教师为生成伪标签的模型，所述学生为使用伪标签参与训练的模型，训练好的学生在下一轮迭代训练中将转换成教师，参阅图4和图5所示，具体如下：
[0068]
步骤s41：根据所述的收敛模型对无对应标签图像块进行预测，得到伪标签。所述伪标签包括硬标签方法和软标签方法，本发明实施例中，采用软标签方法进行预测，软标签方法使用收敛模型输出的概率值作为伪标签，相比使用独热编码的硬标签方式，软标签方式具有更强的抗噪能力。
[0069]
步骤s42：将无对应标签图像块及其对应的伪标签，加入到所述训练集图像块得到
新训练集图像块。
[0070]
步骤s43：将所述的新训练集图像块中的图像块及其对应的标签输入至所述的深度学习模型进行训练，训练收敛后保存模型。本发明实施例中，训练过程中每一批数据中有对应标签数据和无对应标签数据的比例为1:1，所述标签比例设置在可以充分利用无标签数据的同时，并能够通过有标签数据来减小伪标签噪声的影响。
[0071]
本发明实施例中，所述迭代训练过程使用教师模型对无对应标签图像块进行预测得到伪标签，所述伪标签为教师模型输出的概率值，将无对应标签图像块及其对应的伪标签加入到原始训练集得到新训练集图像块，并使用新训练集图像块对学生模型进行训练，训练收敛的学生模型将在下一个阶段转换成教师模型，从而实现迭代训练，整个训练过程简单、可靠。
[0072]
步骤s5：判断验证集图像块中的评价标准是否存在较大波动，若存在较大波动，则返回步骤s4继续进行迭代训练；若无较大波动，说明迭代训练已经收敛，则保存最终模型。
[0073]
步骤s6：将所述测试集图像块输入到所述最终模型，并对最终模型的输出进行运算，得到数字病理图像块良恶性分类结果。本发明实施例中，对最终模型的输出进行argmax运算，得到数字病理图像块良恶性分类结果。通过所述argmax运算将最终模型输出的概率值转换成独热编码，根据所述编码就可以得到数字病理图像块良恶性分类结果，其简单、高效也易于实现。
[0074]
本发明提供数字病理图像块良恶性分类方法，通过对数字病理切片进行预处理，得到有对应标签图像块和无对应标签图像块，并对有对应标签图像块进行分组和数据增强，构建深度学习模型进行迭代训练，最终得到数字病理图像块良恶性分类结果。因此，本发明能够提高分类的准确性，通过迭代式半监督学习方式对无标签数据进行利用，也使得深度学习模型在迭代学习的过程中性能逐渐提升，大大提高分类方法的精度和效率，保证其有效性和准确性。
[0075]
基于上述任一实施例，图6为本发明实施例提供的一种数字病理图像块良恶性分类系统的结构示意图，如图6所示，该系统包括：
[0076]
切片预处理模块，用于对对数字病理切片进行预处理，得到数字病理图像块；所述数字病理图像块包括有对应标签图像块和无对应标签图像块。其中，所述标签为对图像块进行标注。
[0077]
图像块分组模块，用于有对应标签图像块进行分组，得到训练集图像块、验证集图像块和测试集图像块，并对所述的训练集图像块进行数据增强。
[0078]
深度学习模型构建模块，用于对深度学习模型进行训练，训练收敛后保存模型得到收敛模型。
[0079]
模型迭代训练模块，用于根据所述的收敛模型进行迭代训练，训练收敛后保存模型。
[0080]
判断保存模块，用于判断验证集图像块中的评价标准是否存在较大波动，在其无较大波动时，保存最终模型。
[0081]
分类结果模块，用于将所述测试集图像块输入到所述最终模型，并对最终模型的输出进行运算，得到数字病理图像块良恶性分类结果。
[0082]
具体地，本发明实施例提供的系统具体用于执行上述方法实施例，本发明实施例
对此不再进行赘述。本发明提供的系统通过对数字病理切片进行预处理，得到有对应标签图像块和无对应标签图像块，并对有对应标签图像块进行分组和数据增强，构建深度学习模型进行迭代训练，最终得到数字病理图像块良恶性分类结果，其简单、可靠也更符合逻辑。
[0083]
图7为本发明实施例提供的一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)301、通信接口(communications interface)302、存储器(memory)303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储在存储器303上并可在处理器301上运行的计算机程序，以执行上述各实施例提供的方法，例如包括：
[0084]
对数字病理切片进行预处理，得到数字病理图像块，包括有对应标签图像块和无对应标签图像块；
[0085]
将所述有对应标签图像块进行分组，得到训练集图像块、验证集图像块和测试集图像块，并对所述的训练集图像块进行数据增强；
[0086]
构建深度学习模型，并对深度学习模型进行训练，训练收敛后保存模型得到收敛模型；
[0087]
根据所述的收敛模型进行迭代训练，训练收敛后保存模型；
[0088]
在所述验证集图像块中的评价标准无较大波动时，则保存最终模型；
[0089]
将所述测试集图像块输入到所述最终模型，并对最终模型的输出进行运算，得到数字病理图像块良恶性分类结果。
[0090]
此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0091]
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：
[0092]
对数字病理切片进行预处理，得到数字病理图像块，包括有对应标签图像块和无对应标签图像块；
[0093]
将所述有对应标签图像块进行分组，得到训练集图像块、验证集图像块和测试集图像块，并对所述的训练集图像块进行数据增强；
[0094]
构建深度学习模型，并对深度学习模型进行训练，训练收敛后保存模型得到收敛模型；
[0095]
根据所述的收敛模型进行迭代训练，训练收敛后保存模型；
[0096]
在所述验证集图像块中的评价标准无较大波动时，则保存最终模型；
[0097]
将所述测试集图像块输入到所述最终模型，并对最终模型的输出进行运算，得到数字病理图像块良恶性分类结果。
[0098]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0099]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0100]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。