一种基于深度学习的乳腺病变风险评估系统的制作方法

1.本发明涉及的是深度学习、计算机视觉、医疗影像领域，具体涉及一种基于深度学习的乳腺病变风险评估系统。


背景技术：

2.乳腺癌依然是全球性一大棘手的疾病，其作为全球第二常见的女性疾病，曾经在一年期间导致全球超过100万女性死亡。因此为了能够实现对乳腺癌的检测从而在早期进行防患，早期的乳腺癌5年生存率可以达到98～100％。所以现在很多的国家都推荐使用x线钼靶筛查(乳腺癌的金标准)，乳腺钼靶筛查是最为简单的无创性检测手段，且重复性好，根据不同时期的钼靶图像可以进行前后的对比。但是乳腺钼靶的筛查方法也并不完善，存在着显著的假阳性这也就一定程度上会引起过度诊断和过度治疗并且增加患者焦虑感。所以在现有乳腺癌筛查基础上还需要使用乳腺癌风险预测模型进行辅助诊断，从而提高检测的准确性。
3.使用乳腺钼靶x摄像机时，需要患者通过正确的摆位与投照技师相互配合，这样一来最细微的癌性病变才会被显示出来，所以在进行全面检查时，对不同部位需要不同的投照体位。常见的投照体位有：轴位片(头尾位cc)，斜位片(mlo)*左右，一共有4张影像。图1为钼靶成像图片的展示。
4.cc位又称为头尾位，需要中心x线在头尾方向，乳腺内侧需要完全被照射进胶片内，而外侧则尽可能包含，乳头位于中心呈剖面。mlo位又称为侧斜位，投照时需要将x线以45
°
角自内上向外下穿过乳腺组织，这样全部的相关组织都可以被清晰显示出来。
5.乳腺癌主要分为三级：一级表示肿瘤细胞分化的相对比较良好，患者预后也相对较好；二级表示不确定性比较大，也就是可能有的人预后会恢复较好也可能较差；三级是肿瘤细胞形态与正常细胞相差较大，即分化差，且增殖能力特别强，这样的病人可能预后效果较差。而这样的判断太过于模糊并且使患者的心理压力过大不利于患者的恢复。
6.ddsm数据集是提供乳房x线摄像图像分析研究社区使用的资源。该项目是由美国陆军医学研究和物资司令部乳腺癌研究计划拨款。该数据集中一共包含了2500组数据，每组数据中包含着每个乳房的两张图像，以及患者的标签信息比如患者的年龄、乳房密度评分等，以及最后的诊断分类标签。这里使用的分类标签遵循bi-rads评价分类。一共分为6类，即“1”类为未见异常，“2”类为良性类，所谓的良性也就是虽然发现了疑似的东西，但确诊为非恶性；“3”类为可能良性，患者建议短期随访；“4”类为可疑恶性，需要进行活检明确结论，“5”类为高度提示恶性，“6”类活检证实恶性即已经由病理活检证实为恶性病变。
7.本发明采用6类指标分级而不是上述的三级划分法就是因为该分类指标可以较为明确地用来指导患者如何治疗。因为医学影像风险诊断系统依赖海量的过往的案例，这样的话在一些落后地区或者医生数量不足的情况，诊断系统也可以给出一个相对准确的判断，之后再配合上医生的判断一定程度达到效率最优，同时也可以大大减少医生的工作压力。


技术实现要素：

8.针对现有技术上存在的不足，本发明目的是在于提供一种基于深度学习的乳腺病变风险评估系统，可以有效地对乳腺钼靶图片进行定量化分析，提供乳腺病变良恶性的预测值，以及肿瘤细胞分级预测值，可以辅助医生对图像做出更好的理解和判断，从而降低误诊和漏诊，达到提高诊断正确率的目的。
9.为了实现上述目的，本发明是通过如下的技术方案来实现：一种基于深度学习的乳腺病变风险评估系统，包括数据预处理、乳腺roi区域分割、特征提取与分割模型构建和分类模型训练。
10.所述的数据预处理具体包括以下步骤：
11.(1.1)归一化处理训练集中乳腺钼靶图像
12.计算训练集中每一张钼靶图像的像素平均值，将低于平均值的所有像素置为0，并将其余像素值线性缩放至0-255强度范围；
13.(1.2)数据增强
14.将步骤(1.1)中处理过的图像及其对应的标签数据使用几何变换(平移、翻转、旋转)方法对图像进行数据增强，得到扩充后的训练集；
15.所述的乳腺roi区域分割使用最大类间方差法(ostu)对乳腺roi区域进行分割；它按照图像的灰度特性，将图像分成背景和目标两部分，使背景和目标的灰度值差异越大越好，同一部分的灰度值差异越小越好，通过方差计算出一个合适的阈值进行背景目标划分；ostu算法流程如下：
16.(2.1)计算图像的直方图
17.将图像所有的像素点按照0～255共256个bin，统计落在每个bin的像素点数量；
18.(2.2)归一化直方图
19.用每个bin中的像素点数量除以总像素点和，将其范围缩放到0到1之间；
20.(2.3)从0开始迭代背景目标分类阈值i；
21.(2.4)通过归一化的直方图
22.统计0到i范围内的像素所占整幅图像的比例w0，并统计背景像素的平均值u0；统计i到255范围内的像素所占整幅图像的比例w1，并统计背景像素的平均值u1；图像的平均灰度为u2，类间方差记为g，其中，
23.u2＝w0*u0 w1*u124.g＝w0(u
0-u2) w1(u
1-u2)
25.将u2代入g中，可得
26.g＝w0*w1(u
0-u1)2；
27.(2.5)将阈值i加1，重复步骤四过程；
28.(2.6)将最大g对应的i值作为图像的全局阈值。
29.所述的特征提取与分割模型构建在分割模型部分采用了一种transformer和unet相结合的结构，具体网络架构如下：该网络使用卷积操作来获取特征图，然后使用这些特征图对输入钼靶图片的patch进行编码；transformers加强编码部分之间的全局连接，这使得图像特征足够可见，并且self-attention机制更有利于细节分割；在解码部分，底部上采样保留claw u-net模块，深度特征图结合浅层，实现精准定位；最后，编码部分，上采样部分和
对应层的解码部分组合在一起，达到恢复图像分辨率的目的。
30.所述的分类模型训练将分割模型定位出的的病灶区域切割出来，缩放到128*128的小图，用于训练分类模型；
31.网络结构中的stem，module i,final layer的模块结构如图6至图10所示：
32.该网络的输入为上一步中分割模型分割出来的病灶区域图像，输出为1*6的向量(分为六类)；病灶图像经过模型特征提取后，最后由softmax,输出预测的label。
33.本发明具有以下有益效果：
34.本发明创造性地提出了trans-unet结构，使用了transformers加强编码部分之间的全局连接，使得提取的图像特征更具有表征性，并且融入了attention机制，有助于对于图像细节特征的提取，然后通过将浅层特征和深层特征的结合，这样一来特征表达更加充分，并且对小目标的分割刻画会更加准确。在分类模型efficientnet中，融入了一种新的模型缩放方法，使用了一种简单高效的复合系数depth、width、resolution三个维度来决定网络的形状，这样与传统的网络结构不同，不是任意固定一个维度，而是基于神经网络结构搜索技术先得到一组复合系数，再确定出网络的结构，所以efficientnet不仅比别的网络快而且与数据贴合度好，所以精度更高。
附图说明
35.下面结合附图和具体实施方式来详细说明本发明；
36.图1为钼靶成像图片的展示示意图；
37.图2为本发明的ostu算法增强后的乳房图片；
38.图3是本发明的trans-unet架构图；
39.图4是本发明的乳腺病灶区域分割效果展示图；
40.图5是本发明的efficientnet结构图；
41.图6是本发明的stem模块图；
42.图7是本发明的final layers模块图；
43.图8是本发明的module1模块图；
44.图9是本发明的module2模块图；
45.图10是本发明的module3模块图；
46.图11是本发明的实施例示意图。
具体实施方式
47.为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
48.参照图11，本具体实施方式采用以下技术方案：一种基于深度学习的乳腺病变风险评估系统，包括以下：
49.一、数据预处理：
50.(1.1)归一化处理训练集中乳腺钼靶图像
51.计算训练集中每一张钼靶图像的像素平均值，将低于平均值的所有像素置为0，并将其余像素值线性缩放至0-255强度范围；
52.(1.2)数据增强
53.将步骤1.1中处理过的图像及其对应的标签数据使用几何变换(平移、翻转、旋转)方法对图像进行数据增强，得到扩充后的训练集；
54.二、乳腺roi区域分割
55.使用最大类间方差法(ostu)对乳腺roi区域进行分割；它按照图像的灰度特性，将图像分成背景和目标两部分，使背景和目标的灰度值差异越大越好，同一部分的灰度值差异越小越好，通过方差计算出一个合适的阈值进行背景目标划分；ostu算法流程如下：
56.(2.1)计算图像的直方图
57.将图像所有的像素点按照0～255共256个bin，统计落在每个bin的像素点数量；
58.(2.2)归一化直方图
59.用每个bin中的像素点数量除以总像素点和，将其范围缩放到0到1之间；
60.(2.3)从0开始迭代背景目标分类阈值i；
61.(2.4)通过归一化的直方图
62.统计0到i范围内的像素所占整幅图像的比例w0，并统计背景像素的平均值u0；统计i到255范围内的像素所占整幅图像的比例w1，并统计背景像素的平均值u1；图像的平均灰度为u2，类间方差记为g，其中，
63.u2＝w0*u0 w1*u164.g＝w0(u
0-u2) w1(u
1-u2)
65.将u2代入g中，可得
66.g＝w0*w1(u
0-u1)2；
67.(2.5)将阈值i加1，重复步骤四过程；
68.(2.6)将最大g对应的i值作为图像的全局阈值；图2为ostu算法增强后的乳房图片；
69.三、特征提取与分割模型构建
70.在分割模型部分，提出了一种transformer和unet相结合的结构；
71.具体网络架构如下图3所示：
72.该网络使用卷积操作来获取特征图，然后使用这些特征图对输入钼靶图片的patch进行编码；transformers加强编码部分之间的全局连接，这使得图像特征足够可见，并且self-attention机制更有利于细节分割；在解码部分，底部上采样保留claw u-net模块，深度特征图结合浅层，实现精准定位；最后，编码部分，上采样部分和对应层的解码部分组合在一起，达到恢复图像分辨率的目的；图4为乳腺病灶区域分割效果展示图；
73.四、分类模型训练
74.将分割模型定位出的的病灶区域切割出来，缩放到128*128的小图，用于训练分类模型；
75.网络结构中的stem，module i,final layer的模块结构如图6至图10所示：
76.该网络的输入为上一步中分割模型分割出来的病灶区域图像，输出为1*6的向量(分为六类)；病灶图像经过模型特征提取后，最后由softmax,输出预测的label。
77.本具体实施方式创造性地提出了trans-unet结构，使用了transformers加强编码部分之间的全局连接，使得提取的图像特征更具有表征性，并且融入了attention机制，有
助于对于图像细节特征的提取，然后通过将浅层特征和深层特征的结合，这样一来特征表达更加充分，并且对小目标的分割刻画会更加准确；在分类模型efficientnet中，融入了一种新的模型缩放方法，基于神经网络结构搜索技术先得到一组复合系数，再确定出网络的结构，所以efficientnet不仅比别的网络快而且与数据贴合度好，所以精度更高。
78.以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。