一种鲁棒性乳腺钼靶MLO视角图像胸肌分割方法与流程

一种鲁棒性乳腺钼靶mlo视角图像胸肌分割方法
技术领域
1.本发明属于乳腺钼靶图像胸肌分割方法，具体涉及一种鲁棒性乳腺钼靶mlo视角图像胸肌分割方法。


背景技术：

2.乳腺x线摄影是临床上乳腺癌早期检测的最主要手段，在降低乳腺癌死亡率上发挥了重要作用，乳腺x线摄影有两种拍摄视角，即内外侧斜位(medio-lateral oblique，mlo)和头尾轴位(cranio-caudal，cc)，前者是指x线束自内上方以45度角向外下方拍摄，后者也称上下位，是指x线束自上向下拍摄。传统的检测方法，是在完成摄影后通过人工阅片对图像进行判断，效率低且容易误判，因此，引入人工智能技术(artificial intelligence，ai)，将其应用于乳腺钼靶图像分析，形成计算机辅助诊断(computer-aided diagnosis，cad)，用以提高效率、减少误判。
3.目前，乳腺计算机辅助诊断的主要过程是，使待诊断的钼靶图像经过图像预处理、病灶检测与分割、特征计算及病灶分类等环节处理后，输出疑似病灶的位置和良恶性判别结果，供人工参考和决策。其中，乳房区域分割是图像预处理中的关键一环，尤其对于内外侧斜位得到的钼靶图像，其胸肌区域和乳房组织具有非常相似的纹理模式，含有胸肌的乳房区域图像会对病灶检测与分割、特征计算带来干扰，提高了计算机辅助诊断的假阳性。另外，头尾轴位图像虽不包含胸肌区域，但对钼靶图像进行乳房组织双视角量化分析时，也需要分割内外侧斜位视角图像中的胸肌区域。因此，在乳腺计算机辅助诊断中，对内外侧斜位图像中的胸肌区域进行精确分割是非常重要的。
4.针对内外侧斜位图像中胸肌区域分割难的问题，目前的解决方案主要有：传统图像分割方法(如阈值法、区域生长法、直线拟合法和曲线拟合法等)和借助于深度学习模型实现胸肌分割的深度学习法。但这两种方法仍存在许多不足：(1)均只能对乳腺x线摄影数字化中的屏片乳腺摄影和全视野数字乳腺x线摄影进行处理，计算机对于x线摄影cr图像无法进行胸肌分割；(2)算法均较为复杂、计算量大，实际应用困难；(3)测试数据集容量较小。


技术实现要素：

5.本发明为解决目前内外侧斜位乳腺钼靶图像中，胸肌区域分割采用的传统图像分割方法和深度学习法，均存在无法对计算机x线摄影cr图像进行胸肌分割、算法复杂、实际应用困难，以及测试数据集容量较小的技术问题，提供一种鲁棒性乳腺钼靶mlo视角图像胸肌分割方法。
6.为实现上述目的，本发明提供如下技术方案：
7.一种鲁棒性乳腺钼靶mlo视角图像胸肌分割方法，其特殊之处在于，包括以下步骤：
8.s1，离线训练
9.s1.1，对多个钼靶mlo视角图像中的胸肌区域轮廓进行勾勒，得到胸肌区域轮廓二
值掩码图像；
10.s1.2，对所述钼靶mlo视角图像和与其对应的所述胸肌区域轮廓二值掩码图像进行深度网络训练，得到深度网络模型；
11.s2，在线分割
12.s2.1，通过所述深度网络模型对钼靶mlo视角图像进行胸肌区域分割，得到初始分割结果；
13.s2.2，通过多项式曲线拟合法和填充算法对所述初始分割结果进行优化，得到胸肌分割结果。
14.进一步地，步骤s1.1中，所述对钼靶mlo视角图像中的胸肌区域轮廓进行勾勒具体是，通过labelme软件对钼靶mlo视角图像中的胸肌区域轮廓进行勾勒。
15.进一步地，步骤s1.2具体为，使用u-net网络、fcn网络、psp网络和segnet网络中的任一种对所述钼靶mlo视角图像和所述胸肌区域轮廓二值掩码图像进行深度网络训练。
16.进一步地，步骤s1.1和步骤s1.2之前还包括步骤s0，判断钼靶图像是否为mlo视角图像，若是，则将钼靶图像统一为左方位图像后执行步骤s1，否则，放弃该钼靶图像；
17.其中，判断钼靶图像是否为mlo视角图像具体为：
18.若钼靶图像的类型为ffdm，则从其文件名信息中读取视角信息进行判断；若钼靶图像的类型为cr或sfm，则通过分析图像数据得到视角信息进行判断。
19.进一步地，步骤s0中，所述通过分析图像数据得到视角信息进行判断具体为，若能够通过文字识别方法得到视角信息，则通过文字识别方法进行判断，否则，通过图像识别方法得到视角信息进行判断。
20.进一步地，步骤s0中，所述通过文字识别方法进行判断具体为：
21.sa，文字定位
22.通过otsu阈值法二值化钼靶图像，得到二值化图像，并对其进行8邻域连通域分析，再对非乳房区域的面积由大到小排列，根据预设阈值去除其中噪声，其余区域即为文字定位目标区域；
23.使用基于图像灰度梯度与最大稳定极值区域相结合的连通域生成算法，通过分析连通域的特性对所述文字定位目标区域中的非文本区域进行初步过滤；计算基于二值图像与gabor滤波的混合特征，并使用预训练的浅层神经网络对文本区域和非文本区域进行二分类，得到文字位置；
24.sb，分割字符
25.使用所述文字位置处文字外周轮廓坐标，采用几何方法计算文字斜率并进行斜率校正，再通过otsu算法进行二值化，使用投影法去除部分背景，获得仅包含文字内容的二值化区域；
26.使用左右轮廓极值法在所述二值化区域中寻找候选分割点，计算所述仅包含文字内容的二值化区域中文字最左轮廓和最右轮廓坐标之差的最小值，作为初始分割点，采用滴水算法和最短路径法确定文字文本的最佳分割路径，并对文字文本进行分割，再通过卷积神经网络识别文字文本中的字符，将所述字符组合为字符串，若字符串中包含mlo，则为mlo视角图像，否则，为非mlo视角图像。
27.进一步地，步骤s0中，所述通过图像识别方法得到视角信息进行判断具体为：
28.sc，获得乳房掩膜图像
29.通过阈值法二值化钼靶图像，并对其进行8邻域连通域分析，保留分析结果中面积最大的区域，即为乳房掩膜图像；
30.sd，将钼靶图像统一为左方位图像
31.使所述乳房掩膜图像向空间直角坐标系中的y方向投影，将投影曲线中的最大值记做a点，通过a点做垂直于x轴的直线，通过该直线将图像分为两部分，左半部份像素点灰度值累加和记做la，右半部分像素点灰度值累加和记做ra，若la》ra，则钼靶图像为左方位，否则，钼靶图像为右方位；
32.se，识别钼靶图像的视角
33.采用线性核支持向量机作为分类器，通过局部二值模式对钼靶图像进行特征识别，得到钼靶图像的视角信息。
34.进一步地，步骤s1.2具体为，使用u-net全卷积网络对所述钼靶mlo视角图像和所述胸肌区域轮廓二值掩码图像进行深度网络训练，所述u-net全卷积网络中，卷积核为3*3，激活函数为修正线性单元，池化操作为最大池化，损失函数使用二元交叉熵损失函数。
35.进一步地，步骤s2.2具体为：
36.s2.2.1，通过otsu阈值法对所述初始分割结果进行二值化处理；
37.s2.2.2，对经过二值化处理的图像像素点进行逐行扫描，在每一行中取第一个灰度值为0的像素点，作为每一行的边缘点，连接各行的边缘点，得到初始边缘曲线；
38.s2.2.3，将所述初始边缘曲线中各点坐标转换为直角坐标，采用最小二乘法进行拟合，得到优化边缘曲线；
39.s2.2.4，对所述优化边缘曲线由上至下、由左至右依次填充，得到胸肌分割结果。
40.与现有技术相比，本发明的有益效果是：
41.1.本发明鲁棒性乳腺钼靶mlo视角图像胸肌分割方法，能够对ffdm、cr和sfm各种类型的钼靶图像进行处理，突破了现有分割方法只能针对ffdm和sfm图像处理的局限性。
42.2.本发明提出了基于图像处理的钼靶mlo视角识别算法，可应用于sfm和cr类型的钼靶图像。
43.3.本发明基于深度神经网络进行胸肌区域分割，避免了传统图像处理技术设计的复杂性，同时，提高了在线处理的速度。
44.4.本发明提出了基于二次曲线拟合的后处理方法，以解决深度神经网络输出的初始分割结果存在欠分割情况的问题，该后处理方法可提升算法的鲁棒性。
附图说明
45.图1为本发明实施例中sfm和cr乳腺图像的视角文字示意图；
46.图2为本发明实施例中通过图像识别方法识别视角时获取的左半部分面积和右半部分面积示意图；
47.图3为本发明实施例使用深度模型分割得到的存在欠分割情况的图像；
48.图4为本发明实施例在后处理中胸肌轮廓线拟合前得到大的轮廓曲线图；
49.图5为本发明实施例在后处理中经胸肌轮廓线拟合得到的图像；
50.图6为本发明实施例在欠分割填充处理后得到的最终胸肌分割结果图；
51.图7为未进行分割的原始图像。
具体实施方式
52.下面将结合本发明的实施例和附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例并非对本发明的限制。
53.本发明提出的乳腺钼靶mlo视角图像胸肌分割方法，可处理包含sfm、cr及ffdm类型的所有钼靶mlo视角图像数据，主要包含两个大的流程，即“离线训练”和“在线分割”。离线训练将经过预处理及勾勒过胸肌轮廓的钼靶mlo视角图像送入深度网络模型进行训练，以得到可分割胸肌区域的深度学习模型。在线分割对待分割的钼靶图像进行预处理、使用“离线训练”阶段得到的深度学习模型对预处理后的钼靶图像进行胸肌分割，最后，使用后处理步骤对分割结果进行优化以解决欠分割等问题。
54.本发明的分割方法如下：
55.1.离线训练阶段
56.视角判断：对输入的钼靶图像进行视角判断，如果视角为mlo则进行下一步，否则，退出，不再进行后续步骤(cc视角钼靶图像不存在胸肌区域)。本发明可处理的钼靶图像类型包括sfm、cr和ffdm，与常规系统不同(常规系统仅处理sfm和ffdm)。这部分的输入信号是用于训练的乳腺钼靶图像，输出信号是仅保留乳房区域且经过左右翻转的mlo视角图像。
57.手工标注：采用图像标注软件(如labelme)对mlo视角图像胸肌区域轮廓进行勾勒，勾勒可选择由本领域的技术人员完成。这部分的输入信号是mlo视角图像，输出信号是胸肌区域轮廓二值掩码图像。
58.训练深度模型：使用u-net等深度网络根据mlo视角图像及其胸肌区域轮廓二值掩码图像训练深度网络。这部分的输入信号是mlo视角图像及其胸肌区域轮廓二值掩码图像，输出信号是训练后的深度网络模型。
59.2.在线分割阶段
60.视角判断：和离线训练阶段的视角判断方法一样。
61.胸肌分割：使用离线训练阶段得到的深度网络模型，对输入的mlo视角图像进行胸肌区域分割。这部分的输入信号是mlo视角图像及训练后的深度网络模型，输出信号是初始分割结果。
62.后处理：对初始分割结果进行优化。这部分的输入信号是初始分割结果，输出信号是最终分割结果。
63.和基于传统图像处理的胸肌分割方法不同，本发明基于深度神经网络。首先，必须执行一个训练过程，即使用大量的经过标注、勾勒的mlo视角图像，训练可自动分割胸肌区域的深度网络模型，本发明可使用所有应用于图像分割的深度模型如u-net、fcn、psp net和segnet。后续的实施例中示出了一个基于u-net网络实现的方法。
64.深度网络模型训练好后，针对待分割的钼靶图像，先判断其是否为mlo视角图像，这个判断过程要区分图像类型为ffdm、cr还是sfm。如果是ffdm，则直接从其文件名信息中可以读取视角信息(是否为mlo)；如果是cr或sfm，则需要使用图像处理技术分析图像数据来得到视角信息，图像处理技术分析图像数据可采用视角文字识别和图像识别两种方案，视角文字识别使用文字识别方法(ocr，optical character recognition)识别，图像识别
通过支持向量机分类器及局部二值模式图像纹理特征识别，识别出视角信息后，如果是mlo视角则进行后续步骤。在识别视角信息的同时，再对图像进行左右翻转以便后续统一处理。
65.使用得到的深度网络模型对经过视角信息处理的图像进行自动分割以得到初始分割结果，由于初始分割结果往往是欠分割结果，需要进一步优化，因此，还需要使用多项式拟合的方式得到拟合曲线，并采用填充算法得到最终优化的分割结果。
66.如下，对上述方法中的内容进行具体说明：
67.(1)视角判断
68.对输入的钼靶图像进行视角判断，如果视角为mlo则进行下一步，否则退出(cc视角钼靶图像不存在胸肌区域)。
69.ffdm图像的方位信息可以从文件名中直接得到，大部分sfm和cr图像无法根据文件名得到视角信息，必须分析图像数据以得到视角信息。视角判断时，首先分析图像文件名，如果可以得到视角信息则提取该信息；否则，采用如下步骤得到视角信息。
70.如图1所示，sfm和cr乳腺图像中的视角文字(rmlo或lmlo)是标识视角的重要信息，可据此精确判定视角。视角文字及其布局相对简单，采用文字识别方法(ocr，optical character recognition)可以达到高识别率。如果乳腺图像中没有视角文字或包含了非视角文字，也可以采用图像识别方法识别视角。
71.文字识别进行视角判断的第一步是文字定位。由于乳房区域不包含视角文字，文字定位时仅需搜索非乳房区域。先用otsu阈值法二值化乳腺图像，并对二值化图像进行8邻域连通域分析，将连通域分析后除了乳房区域(面积最大的区域)外所有区域的面积由大到小排列，设定阈值去除面积很小的区域(噪声等)，剩下区域即为文字定位目标区域。文字定位算法使用了基于图像灰度梯度与最大稳定极值区域相结合的连通域生成算法，通过分析连通域的特性对非文本区域进行初步过滤；之后计算基于二值图像与gabor滤波的混合特征，并使用预训练的浅层神经网络(bp网络)对文本区域和非文本区域进行二分类，从而得到候选文本位置。该文字定位算法可参照《西安邮电大学》2018年刊的《复杂背景下影像汉字定位与识别方法研究》中的具体内容。
72.文字定位后需要分割字符以进行识别。文字定位结果包含了文字外周轮廓坐标，使用这些坐标用几何方法即可计算文字斜率并进行倾斜校正，然后用otsu算法对校正后的文字进行二值化，并使用投影法去除部分背景，获得仅包含文字内容的二值化区域；根据视角文字特点，使用左右轮廓极值法寻找候选分割点，即计算二值化文字左、右轮廓坐标之差的最小值。该值可视为字母间粘连度最小的位置，以此位置作为初始分割点；从初始分割点开始采用滴水算法和最短路径思想确定文本标签的最佳分割路径。计算分割后各个字符的面积比值，如果该值小于预先设定阈值则表明部分字符分割失败，此时不再进行字符识别，直接进入后续图像视角识别部分。卷积神经网络(cnn，convolutional neural network)在字符识别上已经被应用，在分割结束后使用cnn来识别单个字符。待识别字符共有6个类别，即视角字符类别{l、r、m、o、c}和非视角字符类别x。视角字符识别后将其组合为字符串，如果字符串中包含正确的视角标签(即lmlo、rmlo等)则识别成功，否则失败。本发明中使用了成熟的卷积神经网络lenet-5模型，使用的模型包含5个卷积层，第1-5层的滤波器个数与卷积核大小分别为96/11
×
11、256/5
×
5、384/3
×
3、384/3
×
3、和256/3
×
3，池化层窗口大小均为3，均连接relu激活函数，采用softmax函数作为输出层的损失函数。
73.如果文字定位、分割及识别中任一环节失效，则表明乳腺图像中不包含视角文字或者包含了非视角文字，此时也可使用图像识别方法识别视角。
74.针对乳腺图像特点，可以先区分乳房左、右方位：用otsu阈值法二值化乳腺图像，并对二值化图像进行8邻域连通域分析，仅保留结果中面积最大的区域，即乳房掩膜图像(乳房区域)；然后将该图像向y方向投影，投影曲线中最大值对应的位置为a。如图2所示，通过a做垂直于x轴的直线，此直线将整幅图像分为两个部分，定义左半部分像素点灰度值累加和(即面积)为la，右半部分为ra。如果la》ra，则乳腺图像为左方位，反之为右方位。以左方位为基准，将右方位图像镜像变换为左方位，在图像识别时即可把视角四分类问题(lmlo、lcc、rmlo、rcc)转化为cc和mlo视角的二分类问题(lmlo和lcc)，简化了问题处理，图像识别时仅处理乳房区域图像。
75.经过实验验证，图像视角识别部分使用线性核支持向量机(support vector machine，svm)作为分类器，图像特征使用局部二值模式(local binary pattern，lbp)。通过预训练的svm模型可以直接得到待处理钼靶图像的视角类型(cc或mlo)。同时，经过上述步骤的处理，去除了钼靶图像的非乳房区域信息(如文字标签等)，并将rmlo(right medio-lateral oblique)视角的图像翻转为lmlo(left medio-lateral oblique)视角图像以便于后续统一处理。
76.需要说明的是，如果输入的是ffdm类型钼靶图像，则本发明也可以采用otsu阈值法二值化乳腺图像，并对二值化图像进行8邻域连通域分析。仅保留连通域分析后得到的乳房区域(面积最大的区域)，并同时根据ffdm图像的方位信息将rmlo视角的图像翻转为lmlo视角图像以便于后续统一处理。
77.(2)胸肌分割
78.本发明使用基于深度网络的胸肌区域分割方法。需要说明的是，本发明的一种实现是采用基于u-net网络的深度网络，其他可用于图像分割的深度网络如fcn、psp net和segnet也可应用于本发明。
79.此处以使用u-net全卷积网络对胸肌分割进行说明。该网络结构总体可分为两部分，通过第一部分进行下采样操作，称作压缩路径，通过第二部分进行上采样操作，称为扩张路径。u-net网络的输入图像尺寸为572x572，压缩路径一共有4层，即进行4次下采样操作，每层使用2个卷积操作和一个最大池化操作进行下采样，最终在第五层得到32x32的特征映射图(feature map)，第五层的feature map经过2个卷积操作得到28x28的feature map。扩张路径同样有4层，即进行4次上采样操作，与下采样不同的是，一个上采样操作，首先，通过反卷积将feature map的尺寸乘以2，同时将个数减半，然后，与压缩路径的feature map进行拼接，拼接后再进行2个卷积操作，进行4次这样的上采样操作，最终输出的图像尺寸为388x388。
80.进行拼接时，需要对压缩路径的feature map进行裁剪，使其尺寸与同一层的扩张路径上的feature map相同，例如在网络的第4层，压缩路径的feature map为64x64x512，在拼接之前裁剪为56x56，再与压缩路径上的56x56x512的feature map拼接，最终得到56x56x1024的feature map。
81.上述使用的u-net网络的各个参数为：卷积核大小为3x3，激活函数使用修正线性单元(relu，rectified linear unit)，池化操作使用最大池化，使用归一化操作，损失函数
使用二元交叉熵损失函数(binary cross-entropy)，损失函数h
p
(y,p)公式如下所示：
[0082][0083]
其中，y表示所有像素点真值的集合，p表示所有像素点计算值或预测值的集合；yi表示真值(取值为0或1)，p(yi)表示预测值，n为样本数量。
[0084]
通过二元交叉熵损失函数统计了所有像素点(个数为n)的真值(yi)和计算值或预测值(p(yi))的熵值。
[0085]
由于u-net网络中的跳层结构能够使底层特征与高层特征较好地融合，使得在整个卷积过程中保存了图像更多的细节特征。同时，简单有效的网络结构降低了参数的大小，能够有效避免过拟合的风险，大大提高了图像的分割效果。该基于深度网络进行分割的方法简单，运行速度快，具有明显优势。
[0086]
(3)后处理
[0087]
mlo视角钼靶图像胸肌区域边界形状复杂，胸肌边界与纤维组织容易重叠。使用深度模型分割得到的结果可能会出现如图3所示的欠分割情况。欠分割结果中胸肌区域没有被完整填充，胸肌边界呈不连续分布。为了解决上述问题，本发明提出了基于胸肌边缘的多项式曲线拟合的后处理方法：
[0088]
a.图像二值化：u-net模型输出的分割结果是灰度图像，需要通过otsu阈值法对其进行二值化处理。
[0089]
b.获取胸肌边缘轮廓：胸肌区域在图像左上角呈现近似三角形的分布(已将rmlo视角图像翻转为lmlo视角图像)，采用水平扫描法提取粗略的胸肌斜边的边缘像素点，具体为，对像素点进行逐行扫描，每一行只取第一个灰度值为0的像素点，直到图像的最后一行结束，得到胸肌区域的粗略边缘，该边缘呈现的是如图4所示一条不连续的曲线。
[0090]
c.胸肌轮廓线拟合：由于欠分割结果中的胸肌边缘大多呈曲线分布，因此，采用如下所示的二项式函数y(x,w)和最小二乘法进行拟合。
[0091]
y(x,w)＝ω0 ω1x ω2x2[0092][0093]
其中，x为自变量，w表示拟合函数的参数值ω0、ω1和ω2，ω0为拟合函数中的常量，ω1为拟合函数一阶参数，ω2为拟合函数二阶参数，e(w)为目标函数，n为胸肌区域粗略边缘点的个数，xn为胸肌区域粗略边缘点的横坐标，tn为胸肌区域粗略边缘点的纵坐标。
[0094]
二项式函数y(x,w)建立了一个二次方程，通过一系列已知的坐标系中的点对值(x，y)来拟合一个二次函数作为胸肌的轮廓曲线，这些点对值(x，y)就是经过前面步骤处理得到的胸肌区域粗略的边缘点。
[0095]
建立了一个目标函数e(w)，通过对目标函数进行最优化求解以得到参数值w。w求得后根据上述二项式函数即可得知拟合的曲线形状。
[0096]
将胸肌轮廓线的各个点坐标转换为直角坐标，使用上式进行拟合，得到图5所示结果。
[0097]
d.欠分割填充处理：得到胸肌轮廓线拟合结果后，根据拟合线由上到下、由左向右
依次填充，即可得到图6所示最终的胸肌区域分割结果，与图7所示原始图像相比，可以看出分割效果较好。
[0098]
以上所述仅为本发明的实施例，并非对本发明保护范围的限制，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均包括在本发明的专利保护范围内。