一种基于小样本学习的结直肠癌的计算机辅助诊断方法与流程

1.本发明涉及图像处理技术领域，特别是涉及一种基于小样本学习的结直肠癌的计算机辅助诊断方法。


背景技术：

2.病理切片图像是医学图像领域的范畴，在光镜下细胞核的形态表现仍然是目前肿瘤诊断的主要依据。癌症是人类难以攻克的顽疾，而结直肠癌作为消化道疾病中常见的一种恶性肿瘤，相关数据表明其发病率、致死率都在我国癌症前三位，严重影响着人们的生活和健康，而结直肠癌的早期检测对提高其治愈率有着很大的帮助。
3.目前的检测方法多是依赖显微镜与病理学家们的个人经验，使得检测结果具有主观性与差异性。随着图像处理技术的发展，有关病理图像计算机辅助检测系统应运而生，结直肠癌病理切片显微图像的自动分割与诊断是一个亟待解决的关键问题，好的分割诊断算法能够给病理学家提供客观精确的“第二意见”。
4.自20世纪中后期起，研究人员就开始进行医学图像分割相关技术的研究,希望通过计算机辅助技术减轻病理学家的沉重负担，但是这些算法通常鲁棒性较差，过程复杂且无法提供方便人类理解的语义信息。
5.众所周知，大多数视觉任务的深度学习网络模型都需要大规模的标注数据来训练。而与自然图像相比，医学图像的数据样本相对较少，且精细的图像标注往往需要大量的专家进行人工操作，费时耗力，高昂的人工标注成本也限制着深度学习在医学图像分割领域的应用。因此，实现基于小样本学习的结直肠癌诊断技术不仅可以挽救无数患者的生命，而且对于节约医疗资源成本,缓解医患矛盾等问题也有重大意义。


技术实现要素：

6.本发明的目的是为了尽量减少标注工作，实现计算机辅助医师实现结直肠癌的诊断，而提供一种基于小样本学习的结直肠癌的计算机辅助诊断方法，能同时实现细胞核分割，良恶性的判别，分化程度的诊断，为病理学家实现辅助诊断的目的。
7.为实现本发明的目的所采用的技术方案是：
8.一种基于小样本学习的结直肠癌的计算机辅助诊断方法，包括步骤：
9.通过两个结构相同的骨干网分别抽取出预处理之后的查询图像与支持图像集的特征；
10.对上述特征经余弦相似度计算后将得到所有支持像素间的最大相似度作为响应值进行归一化后转换成图像大小，得到相似度矩阵corr，作为响应值特征图；
11.利用响应值特征图与查询图像的特征及支持图像的特征，传递给后续的卷积网络得到分割与诊断结果，通过损失函数计算出相应的损失，再将误差反向传播对网络参数进行优化更新。
12.本发明提出的基于小样本学习的结直肠癌的计算机辅助诊断方法，通过利用支持
图像与支持图像掩码的信息和诊断结果之间相关的医学诊断先验知识，模型在小样本数据集上也能实现准确的分割与诊断，减少了人工标注的高昂成本；在分割结直肠癌病理切片显微图像中的细胞核的同时，能根据细胞核形态表现判断结直肠癌的良恶性，并给出细胞的分化程度，能自动地为病理学家和诊断人员标记出不同形态表现的细胞核，给出该结直肠癌病理切片的良恶性与分化程度结果，为病理学家和诊断人员提供客观可参考的病理诊断意见，实现计算机辅助诊断的目的；不仅减轻了病理学家的负担，为病理学家提供客观精确的参考意见，且在小样本数据的基础上还能够提升模型的准确性和泛化性。
13.本发明通过支持图像与支持图像掩码特征的提取，为小样本数据集下的查询图像提供了增强信息；支持图像特征与查询图像特征之间的最大相似度特征响应图提升了模型的泛化能力，增强了模型的性能；任务分支的解耦及分类任务之间医学先验知识的约束，避免了任务分支之间可能出现的特征冲突和大相径庭的诊断结果，实现了分割与诊断这两个任务的同时完成，为病理学家和诊断人员提供客观准确的细胞核定位与良恶性分类及细胞分化程度结果，达到辅助诊断的目的。
14.本发明采用最大相似度响应值特征图，对分割的指导作用更精简，更有效，而且还利用了医学诊断方面的先验知识做约束，提升模型在诊断方面的专业性与准确度。
附图说明
15.图1是本发明实施例的基于小样本实现结直肠癌自动分割与诊断方法处理流程图。
16.图2-图3分别是图1的两个部分的放大图。
具体实施方式
17.以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
18.由于基于深度学习的模型通常需要海量的数据样本进行学习，但是大规模的数据及数据标注需要高昂的人工成本和时间成本，因此发展基于小样本的深度学习对医学图像处理而言尤为重要。另外目前的大多数结直肠癌诊断方法多是依赖显微镜与病理学家们的个人经验,使得诊断结果具有主观性与差异性，而已有的医学图像分割方面的算法技术通常鲁棒性较差,且任务单一，例如通常只关注分割，而忽略良恶性与分化结果的诊断。因此结直肠癌病理切片显微图像的自动分割与诊断是一个亟待解决的关键问题,需要在自动分割出各种类型的细胞核的同时，能够给病理学家提供客观精确的病理诊断意见做参考，减轻病理学家的负担，节约医疗成本，规范医疗诊断。
19.本发明针对目前结直肠癌病理切片显微数据的数量不足和标注困难等问题，创新地提出了基于小样本学习的结直肠癌自动分割与诊断方法，通过神经网络提取的支持图像集的特征与查询图像集的特征做余弦相似度计算，将得到的最大相似度归一化处理后生成响应值特征图，继而指导查询集的分割与诊断。
20.由于本发明是将从查询图像中提取到的特征向量与支持图像集中提取到的特征向量做相似度计算生成响应值特征图，指导查询图像的分割与诊断，因此模型可以广泛地学习不同类型图像的特征分布，生成对应的响应值特征图，从而使模型获得更好的泛化性，
为病理学家提供更精确的分割结果。而在诊断阶段，利用已知的医学诊断方面的先验知识做约束，模型在分类诊断方面更具有专业性和可靠性，为病理学家提供更可信的诊断结果。
21.本发明实施例的基于小样本实现结直肠癌自动分割与诊断方法的输入是结直肠癌的病理切片显微数据，图像数据分别经过相同结构的骨干网抽取图像特征；将抽取的特征处理后所形成的相应的特征输入进不同的任务分支，得到所需要的结果。
22.本发明提出的基于小样本实现结直肠癌自动分割与诊断方法，通过两个结构相同的骨干网抽取出预处理之后的查询图像与支持图像集的特征，
23.该步骤可表示为fq＝m(iq
pre
),fs＝m(is
pre
),
24.其中iq
pre
与is
pre
分别代表经过预处理操作后的查询图像与支持图像集，m代表骨干网，fq与fs分别代表骨干网从预处理的查询图像与支持图像集中提取得到的查询图像的特征与支持图像集的特征；
25.其中，数据预处理操作主要包括随机旋转，随机高斯模糊，随机缩放，随机水平翻转及归一化；
26.该预处理操作步骤可表示为：i
pre
＝f
pre
(i)，其中，i表示输入的图像，f
pre
表示预处理操作。
27.将上述抽取的特征经过余弦相似度计算之后将得到的所有支持像素间的最大相似度作为响应值，进行归一化处理后转换成图像大小，得到相似度矩阵corr；
28.该步骤可分为计算余弦相似度得到最大相似度值，归一化操作，转化操作，可分别表示为：
[0029][0030]
corr＝upsample(sim)，
[0031]
其中，sim1为余弦相似度计算后得到的所有像素间的最大相似度，sim代表归一化后的最大相似度值，||
·
||2表示l2范数，即向量各元素的平方和然后求平方根，max是计算最大值，min是计算最小值，∈是非零常数,upsample代表双线性插值上采样操作，即将sim进行双线性插值上采样缩放至所需的图像大小。
[0032]
利用相似度矩阵corr形成的响应值特征图与查询图像的特征及支持图像的特征，传递给后续的卷积网络得到分割与诊断结果，进行计算出相应的损失，再将误差反向传播对网络参数进行优化更新。
[0033]
本发明使用经典的交叉熵损失，损失函数如下：
[0034][0035]
其中，g表示深度卷积神经网络对输入图像的推理输出，g
t
表示数据集标注的标签。
[0036]
作为一个可选的实施例，如图1所示，查询图像与支持图像的骨干网都是采用的resnet50，查询图像利用骨干网分别得到五个卷积块{q0,q1,q2,q3,q4}的输出{q0,q1,q2,q3,q4}，将q2的特征图进行双线性插值上采样操作缩放到q3特征图大小之后与q3的特征图进行通道拼接，得到q_feat,然后再经过一层卷积层qd得到qd，qd经过一个平均池化层的操
作得到q_avg。
[0037]
与查询图像操作一样，支持图像经过resnet50的五个卷积块{s0,s1,s2,s3,s4}的输出{s0,s1,s2,s3,s4}，将s2的特征图双线性插值上采样缩放到s3的特征图大小之后与s3特征图进行通道拼接，然后将拼接的特征图经过一个卷积层sd得到特征sd。
[0038]
与查询图像部分操作不同的是，此处有支持图像的掩码图像y(分割掩码)与s3特征图进行乘法操作，乘法操作的结果作为卷积块s4的输入，卷积块s4的输出s4继续与支持图像的掩码图像进行乘法操作得到s_feat,计算支持图像的特征s_feat与查询图像的特征q4的余弦相似度，再将得到的余弦相似度最大值进行归一化处理后双线性插值上采样成q_avg特征图大小的相似度矩阵corr，该相似度矩阵有利于指导后续查询图像的分割与诊断。
[0039]
此外，支持图像的特征sd与支持图像的掩码y进行加权全局平均池化操作(gap)，得到sgap_feat，用于后续与相似度矩阵corr一起指导查询图像特征的分割与诊断.其中加权全局平均池化操作具体为sd与支持图像的分割掩码y进行相乘，将相乘后得到的结果进行平均池化操作再除以经过平均池化的支持图像的掩码y，得到全局平均池化操作的输出结果sgap_feat。
[0040]
具体公式表示为：
[0041][0042]
其中，avgpool代表平均池化操作，h,w代表sd特征图的高度与宽度，∈是一个非零常数。接下来，将特征输入进不同的任务分支，得到所需要的结果：
[0043]
1.分割分支：
[0044]
将sgap_feat，corr，q_avg进行通道拼接，得到m0，将m0通过卷积层m得到m1，m1第一次跳过卷积层a直接经过后续两个连续的卷积层{b0,b1}得到b1，特征b1与m1进行加法操作，得到特征pre，pre特征分别输入三个不同的支路：
[0045]
支路一，将特征pre输入进两个用于分类的卷积层c0与c1，然后将输出结果进行双线性插值上采样到查询图像的大小，由此得到该支路的输出结果aux，该支路仅用于模型训练阶段，利用该支路的损失函数辅助支路二对模型中的参数进行更新；
[0046]
支路二，特征pre输入到卷积层r0得到输出结果r0，后又过两个卷积层r1与r2得到输出结果r1，特征r0与r1进行加法操作后，其结果输入到两个用于分类的卷积层c2与c3之中，双线性插值上采样到查询图像大小，得到输出结果out；
[0047]
支路三，将特征pre双线性插值上采样后与卷积层m的输出结果m1进行通道拼接，得到输出结果rec，rec经过卷积层a后与m1进行相加得到m2，m2继续m1第一次的操作，经过两个连续的卷积层{b0，b1}得到输出结果b1，b1与m2进行相加又得到输出结果pre，如此循环。
[0048]
其中，支路一的结果aux与支路二的结果out分别与真实的标注求损失值，然后将损失反向传播到网络层中更新参数；
[0049]
其中支路一与支路二的损失函数均为交叉熵损失；
[0050]
支路三的作用是提取循环提取特征用于支路一与支路二的结果预测。
[0051]
2.二分类分支：
[0052]
利用分割分支部分得到的m0与从查询图像中提取到的中层特征q2及高层特征q4通过通道拼接得到特征m3，将m3输入进一个卷积层d0得到d0，d0经过卷积层d1后将结果与d0通过通道拼接，得到d1，最后将d1输入一个含有三层卷积层{d2,d3,d4}的多层感知机中，输出该病理切片显微图像的良恶性判断结果。
[0053]
3.多分类分支：
[0054]
与二分类分支结构一样，利用分割分支部分得到的m0与从查询图像中提取到的中层特征q2及高层特征q4通过通道拼接得到特征m3，将m3输入进一个卷积层e0得到e0，e0经过卷积层e1后将结果与e0通过通道拼接，得到e1，最后将e1输入一个含有三层卷积层{e2,e3,e4}的多层感知机中，输出该病理切片显微图像中癌细胞的分化结果。
[0055]
由于良恶性结果与癌细胞的分化结果之间存在相关性，如良性的结直肠癌细胞的分化结果通常只有健康与腺瘤性两种，而恶性的结直肠癌细胞的分化结果通常对应有中分化、中低分化与低分化三种，为了充分利用这种医学诊断的相关性约束，本发明将二分支结果与多分支结果进行配对，利用医学诊断上的先验知识为良恶性分类与分化程度分类进行约束惩罚，保证良恶性分类结果与分化程度分类结果之间的可信度与准确度。
[0056]
值得注意的是，本发明所有分支使用的均是经典的交叉熵损失。
[0057]
本发明利用支持图像与其分割掩码，使得模型摆脱了需要大规模数据集训练的束缚，而支持图像特征与查询图像特征之间的最大相似度响应特征图为分割与分类提供了指导作用，提高了模型的准确性和泛化性；且分割与分类分支的解耦一定程度上避免了任务之间特征参数的冲突，两个分类分支之间的相关性约束提高了诊断的准确性，为病理学家和诊断人员提供客观的辅助诊断功能。
[0058]
相比于其他的医学图像分割与诊断方法，本发明利用模型同时实现了多个任务，一次性给出了辅助病理学家和诊断人员诊断需要的所有结果，且克服了深度学习固有的大规模数据集训练的缺点，减少了获取肠癌病理切片显微数据与标注信息所需的成本。
[0059]
本发明的支持图像集有类型丰富的优点，因此支持图像的存在可以弥补深度学习在小样本数据集上训练而缺少的泛化能力，显著提升模型的泛化性。
[0060]
本发明提出的基于小样本学习的结直肠癌细胞的分割与诊断方法，能够在小样本数据集的情况下实现对结直肠癌病理切片显微图像的分割与诊断，在降低医学图像人工标注的成本的同时，为病理学家和诊断人员提供客观精确的参考意见，实现计算机辅助诊断的目的。
[0061]
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。