一种融合全局和局部信息的乳腺癌辅助检测方法与流程

1.本发明属于模式识别与计算机视觉领域，具体涉及一种融合全局和局部信息的乳腺癌辅助检测方法。


背景技术：

2.乳腺癌是女性群体中最常见的一种癌症。2020年最新数据显示，全球乳腺癌新增人数达226万，乳腺癌已经取代肺癌成为全球发病率第一的癌症。乳腺癌筛查是检测和早期诊断乳腺癌的重要手段之一，其目的在于在未出现症状的情况下发现和诊断癌症。乳腺癌筛查不仅可降低乳腺癌死亡风险，还可促进早期治疗。乳腺x射线钼靶影像是目前临床最常用，也最有效的乳腺癌筛查方式。将机器学习(深度学习)、计算机视觉技术和乳腺钼靶影像结合起来，对乳腺钼靶影像进行分析，将有效辅助医疗专家提高诊断准确性和效率。
3.目前采用机器学习(深度学习)技术进行自动乳腺钼靶影像诊断的方法大体可以分为两类：基于全局信息的方法和基于局部信息的方法。基于全局信息的方法将整张乳腺钼靶图像送入模型进行分析，提取全局特征进行分类。由于乳腺钼靶图像分辨率很高(通常有几千万个像素)，因此模型要有一定的深度，同时为减少计算量，通常会对原始图像进行降采样以减少像素数量。由于降采样后图像的细节受到损失，影响了全局特征的判别能力，因此这种方法的分类准确率和对肿瘤区域的定位精度有限。基于局部信息的方法需要人工从乳腺钼靶图像中获取大量肿瘤区域子块和正常区域子块，作为正负样本来训练模型。由于肿瘤区域和正常组织的细节信息被很好地保留下来，因此能得到较高的分类准确率和肿瘤定位精度。但这种方法的缺点在于需要专业知识进行像素级的标注，标注成本很高。


技术实现要素：

4.针对现存方法的一些缺点，如计算量大，分类准确率低，标注成本高等，本发明公开了一种高效、准确的融合全局和局部信息的乳腺癌辅助检测方法。本方法首先通过图像处理技术去除影像中的噪声、裁剪无关背景，得到只包含乳腺区域的图像。将图像送入全局网络提取全局信息，得到全局显著性图。通过全局显著性图选出若干个可能包含良性/恶性肿瘤的高危区域，将这些高危区域送入局部网络进一步提取局部细节特征。最后通过融合网络融合全局信息和局部细节特征，自动判别输入影像是否存在良性/恶性肿瘤，对存在肿瘤的影像，进一步检测出肿瘤的区域。本方法适用于不同设备上得到的乳腺钼靶影像，可以快速准确地判断输入影像中不同性质肿瘤的位置。本方法在模型训练时只需提供图像级标签。
5.为达到上述目的，本发明的技术方案如下：
6.一种融合全局和局部信息的乳腺癌辅助检测方法，包括如下步骤：
7.(1)获取乳腺钼靶图像；
8.(2)对图像进行阈值分割得到包含乳腺区域的最小外接矩形、用该矩形裁剪图像得到乳腺图像；
9.(3)对步骤(2)处理获得的图像进行全局扫描，提取全局信息，得到全局显著性图；
10.(4)根据步骤(3)得到的全局信息，获得可能包含良性/恶性肿瘤的高危区域，提取高危区域的局部特征；
11.(5)融合步骤(3)和(4)得到的全局和局部信息，进行良性/恶性肿瘤检测，得到输入图像中良性/恶性肿瘤区域。
12.进一步，在步骤(2)中，若图像中有噪声，则进行高斯模糊或中值滤波去除噪声，再进行背景剪切，得到只包括乳腺区域的图像。具体步骤如下：
13.(2-1)对输入图像或去噪以后的图像i，采用otsu阈值分割法对i进行二值分割，得到前景乳腺区域二值图binary
breast
[0014][0015]
(2-2)由binary
breast
得到包含前景区域的最小外接矩阵，并由最小外接矩阵生成乳腺区域掩模图mask
binary
[0016][0017]
(2-3)对原始输入图像i，保留其在mask
binary
中值为1的像素点，去掉其在mask
binary
中值为0的像素点，得到只包括乳腺区域的图像x。
[0018]
进一步，在步骤(3)中，需要计算输入图像x的全局显著性图a,将全局显著性图映射成基于全图信息的类别标签：
[0019]
(3-1)将输入图像x送入全局网络fg,得到变换结果hg[0020]
hg＝fg(x)
[0021]
其中，fg是resnet22网络；
[0022]
(3-2)将hg送入带sigmoid激励函数的1x1卷积层，计算得到全局显著性图a
[0023]
a＝sigmoid(conv1×1(hg))
[0024]
其中，a＝[ab,am],c∈{b,m}表示图像中某个点(i,j)是良性(b)或恶性(m)肿瘤组织的概率；
[0025]
(3-3)采用全局平均池化法(global average pooling)，将全局显著性图a映射成基于整图特征的类别标签预测
[0026][0027]
其中，w与h分别为输入图像x的宽度和高度。
[0028]
进一步，步骤(4)中，从全局显著性图中选出k个高危区域(roi)，并计算这k个roi的局部特征和注意力权重：
[0029]
(4-1)用大小为wc×
hc的网格将全局显著性图a分成l个子块，计算每个子块中全局显著性图a的均值
[0030][0031]
其中，|l|表示第l个子块中的像素数。
[0032]
从所有l个子块中选择k个具有最大均值的子块，作为良性/恶性肿瘤的高危区域(roi)，进行局部特征提取。这里wc＝hc＝256，k＝6。
[0033]
(4-2)将(4-1)中得到的k个roi子块送入局部网络f
l
,提取roi子块的局部特征
[0034][0035]
其中，f
l
为resnet18网络。
[0036]
(4-3)对(4-2)中得到的k个roi子块的局部特征计算其注意力权重，计算公式如下
[0037][0038]
其中，
⊙
为逐个元素相乘，为算法参数，可以通过训练得到。l和m分别设为512和128。
[0039]
(4-4)根据每个roi子块的局部特征及其注意力权重αk,将其送入带sigmoid函数的全连接层，计算得到基于局部特征的类别标签预测计算方法如下
[0040][0041][0042]
其中，为算法参数，可通过训练得到。
[0043]
进一步，步骤(5)中，融合步骤(3-1)得到的全局特征hg和步骤(4-4)得到的局部特征z，得到最终检测结果。具体步骤如下：
[0044]
(5-1)对全局特征hg进行全局最大池化(gmp)，并与局部特征z进行拼接，得到全局-局部融合特征p＝[gmp(hg)，z]
[0045]
(5-2)将全局-局部融合特征p送入带sigmoid激励函数的全连接层，计算得到最终基于融合特征的类别标签预测
[0046][0047]
其中，wf为全连接层参数。
[0048]
本发明的有益效果是：
[0049]
1.操作简单方便，对乳腺钼靶x光机没有特殊要求。
[0050]
2.无需对乳腺钼靶影像进行降采样，可高效处理高分辨率影像。
[0051]
3.能较准确判断影像中是否含有肿瘤，并定位不同性质的肿瘤区域。
[0052]
4.模型在训练时不需要像素级标注，只需要图像级标签。
附图说明
[0053]
图1为融合全局和局部信息的乳腺癌辅助检测方法的流程；
[0054]
图2为融合全局和局部信息的乳腺癌辅助检测方法的检测实例。
具体实施方式
[0055]
下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
[0056]
如图1所示，本发明所述的一种融合全局和局部信息的乳腺癌辅助检测方法，包括如下步骤：
[0057]
(1)乳腺钼靶影像获取
[0058]
使用专业医疗设备拍摄双侧乳腺x光图像，拍摄位置为cc(craniocaudal)和mlo(mediolateral oblique)视角。
[0059]
(2)图像预处理
[0060]
依据具体情况，对图像进行高斯滤波或中值滤波，去除噪声；对图像进行阈值分割，找出乳腺区域及其最小外接矩形，根据此最小外接矩形得到乳腺掩模；将乳腺掩模与图像进行“与”运算，剪切掉无关背景，得到只含乳腺区域的图像。
[0061]
(3)全局信息提取
[0062]
将预处理后图像送入全局网络中，计算全局特征，并生成全局显著性图。
[0063]
(3-1)将输入图像x送入全局网络(resnet22)fg,得到变换结果hg[0064]
hg＝fg(x)
[0065]
(3-2)将hg送入带sigmoid激励函数的1x1卷积层，计算得到全局显著性图a
[0066]
a＝sigmoid(conv1×1(hg))
[0067]
这里a＝[ab,am],c∈{b，m}表示图像中某个点(i,j)是良性(b)或恶性(m)肿瘤的概率。通过这一步可以得到全局良性肿瘤显著性图和全局恶性肿瘤显著性图。
[0068]
(3-3)采用全局平均池化法，将全局显著性图a映射成基于整图特征的类别标签预测
[0069][0070]
其中，w与h分别为输入图像x的宽度和高度，c∈{b，m}表示根据整图信息判断得到的结果，无肿瘤有良性肿瘤和有恶性肿瘤
[0071]
(4)局部信息提取
[0072]
从全局显著性图中选出k个roi，计算其局部特征和注意力权重，根据局部特征和注意力权重得到基于局部信息的判断结果。具体步骤如下：
[0073]
(4-1)用256
×
256的网格将全局显著性图a分成l个子块，计算每个子块中全局显著性图a的均值
[0074][0075]
其中，|l|表示第l个子块中的像素数。
[0076]
从所有l个子块中选出6个具有最大均值的子块，作为良性/恶性肿瘤的roi，进行局部特征提取。
[0077]
(4-2)将6个roi子块送入局部网络(resnet18)f
l
中，提取roi子块的局部特征
[0078][0079]
(4-3)对(4-2)中得到的6个roi子块的局部特征计算其注意力权重，计算公式如下
[0080][0081]
其中，
⊙
为逐个元素相乘，为算法参数，可以通过训练得到。l和m分别设为512和128。
[0082]
(4-4)根据每个roi子块的局部特征及其注意力权重αk,将其送入带sigmoid函数的全连接层，计算得到基于局部特征的类别标签预测计算方法如下
[0083][0084][0085]
(5).信息融合
[0086]
融合全局信息和局部细节特征，得到最终检测结果。
[0087]
具体步骤如下：
[0088]
(5-1)对全局特征hg进行全局最大池化，并与局部特征z拼接，得到全局-局部融合特征p＝[gmp(hg)，z]
[0089]
(5-2)将全局-局部融合特征p送入带sigmoid激励函数的全连接层网络，计算得到最终基于融合特征的类别标签预测
[0090][0091]
其中，wf为全连接层网络参数。
[0092]
从图2可以看出，由于本方法采用了全局和局部信息融合的检测方法，能够高效准确地判断输入影像中不同性质肿瘤的位置。适用范围广，操作简单方便。
[0093]
需要说明的是，以上内容仅仅说明了本发明的技术思想，不能以此限定本发明的
保护范围，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰均落入本发明权利要求书的保护范围之内。