基于CNN的乳腺癌新辅助化疗多模态超声诊断系统的制作方法

基于cnn的乳腺癌新辅助化疗多模态超声诊断系统
技术领域
1.本发明涉及深度学习及乳腺癌超声领域，特别涉及基于cnn的乳腺癌新辅助化疗多模态超声诊断系统。


背景技术：

2.新辅助化疗具有缩小肿瘤、降低临床分期，达到保乳目的的优点，已成为局部晚期乳腺癌患者的标准治疗模式。但是，目前缺乏可靠的化疗疗效及预后判断评估指标。
3.多模态超声(包括常规超声bi
‑
rads、超声造影、剪切波弹性成像、三维超声)能够获取病灶硬度、肿瘤恶性间质浸润带及周围组织对病灶的反应等更多信息，但检测方法繁琐，指标众多。
4.人工智能能够自动量化成像数据中的图像模式，从样本图像中自动学习，量化无法检测的图像信息，补充临床决策，可做到提早干预，并可优化和精简多模态超声评估新辅助化疗的流程。
5.新疆地区乳腺癌患者就诊年龄偏小、从发现至就诊的间隔时间长，尤其是少数民族乳腺癌肿块大、分期晚、甚至多为炎性乳腺癌，发病率逐年增高。具有使用该模型的庞大人群对象。
6.少数民族乳腺癌患者大多分期较晚，需要nac，但nac治疗周期多，随访时间长，采用人工智能数据易保存，不易失访。
7.少数民族的乳腺癌患者乳房偏大，乳腺癌病灶的腺体背景结构不如汉族女性致密。故不适合一般通用模型，需要训练出适合新疆地域人群特点的深度学习模型。
8.乳腺癌诊疗人才缺乏，乳腺超声领域熟练医生缺口很大，进行乳腺检查的超声医生个体差异大，超声医生对乳腺癌误诊率偏高、nac评估不规范。三甲医院对下级医院超声医生的规范化培训耗时长、效率低。采用工人智能能使诊断同质化。
9.项目能带动新疆超声人才队伍培养和科研团队建设。优化乳腺超声医师工作的时间资源分配，提供具有附加值的工作。
10.目前人工智能乳腺超声的应用是国内热点，但仅局限于智能辅助诊断，尚未有对nac化疗疗效的评估和预测的专利。


技术实现要素：

11.为解决上述现有技术存在的问题，本发明的目的在于提供基于深度卷积神经网络(cnn)的乳腺癌新辅助化疗多模态超声诊断系统，该系统针对新疆地区乳腺超声领域面临的挑战问题，通过人工智能、大数据与医学的交叉和结合，将前期研究的智能医学影像识別、深度学习、大数据分析挖掘及医疗信息化等多项关键技术，开发成落地的应用系统。
12.为达到上述目的，本发明的技术方案为：
13.基于cnn的乳腺癌新辅助化疗多模态超声诊断系统，包括如下步骤：
14.步骤一、收集乳腺癌多模态超声图像；
15.步骤二、制作数据库；
16.步骤三、确定所述的多模态超声图像之间的位置对应关系；
17.步骤四、根据对应关系确定乳腺病灶良恶性或确定新辅助化疗后病灶缓解区域图像；
18.步骤五、根据所述良恶性图像及化疗后病灶缓解区域图像搭建深度学习模型；
19.步骤六、根据所述深度学习模型确定良恶性分类图像及化疗后病灶缓解程度的分类图像；
20.步骤七、将所述的良恶性分类图像及化疗后病灶缓解程度的分类图像叠加到所述的多模态超声图像，确定良恶性识别图像及病灶缓解识别图像；
21.步骤八、根据所述良恶性识别图像及病灶缓解识别图像对病灶的良恶性及化疗后病灶缓解程度进行识别。
22.进一步的，所述多模态超声数据包括乳腺病灶最大纵切面及其正交平面的数据点；获取乳腺癌新辅助化疗过程前后的最大纵切面及其正交平面的常规超声图像、弹性超声图像以及超声造影图像；
23.根据乳腺癌病灶新辅助化疗前后的多模态超声图像搭建深度学习模型；
24.根据深度学习模型确定乳腺癌新辅助化疗后不同疗效的分类图像；
25.根据不同疗效的分类图像图像对所述多模态超声图像中肿瘤缓解区域进行识别。
26.进一步的，根据不同疗效的分类图像图像对所述多模态超声图像中肿瘤缓解区域进行识别，具体包括：
27.对常规超声图像、弹性超声图像以及超声造影图像进行裁剪，确定裁剪后的多模态超声图像；
28.获取裁剪后的常规超声图像中乳腺癌新辅助化疗后肿瘤缓解区域、弹性超声图像中肿瘤缓解区域及超声造影图像中肿瘤缓解区域；将三者显示的肿瘤缓解区域相重合,确定肿瘤缓解区域重合位置；
29.以肿瘤缓解区域重合位置为中心，对所述裁剪后的各多模态超声图像进行插值处理，确定肿瘤缓解区域图像。
30.进一步的，以肿瘤缓解区域重合位置为中心，对所述裁剪后的各多模态超声图像进行插值处理，确定肿瘤缓解区域图像，还包括：
31.对新辅助化疗后肿瘤缓解区域图像进行二值化处理，确定二值化图像；所述二值化图像内的新辅助化疗后肿瘤缓解区域所对应的分类标签为1，新辅助化疗后肿瘤未缓解区域所对应的分类标签为0；二值化图像包括多个模态的超声图像以及不同区域所对应的分类标签；
32.遍历所述多模态超声图像矩阵将所述多模态超声图像分为训练样本以及测试样本；根据二值化图像，确定所述训练样本所对应的训练分类标签以及所述测试样本所对应的测试分类标签。
33.进一步的，根据新辅助化疗后肿瘤缓解区域图像搭建深度学习模型；所述深度学习模型包括卷积神经网络、循环神经网络以及深度神经网络，具体包括：
34.获取所述二值化图像对应的多模态超声图像矩阵以及所述多模态超声图像点所对应的分类标签；
35.获取卷积神经网络参数；所述卷积神经网络参数包括卷积核尺寸、隐藏层数量以及各层特征图谱个数；
36.根据卷积神经网络参数，依次输入所述训练样本、超声散射回波谱估计参量、超声散射回波统计参量以及所述乳腺癌新辅助化疗后肿瘤缓解区域所对应的分类标签搭建深度学习模型；所述深度学习模型包括卷积神经网络、循环神经网络以及深度神经网络。
37.一种基于超声深度学习的乳腺癌新辅助化疗后肿瘤缓解区域识别监测成像系统，包括：
38.原始超声多模态图像获取模块，用于获取乳腺癌新辅助化疗过程中的原始常规超声图像、弹性超声图像以及超声造影图像；所述原始常规超声图像包括二维超声图像及彩色多普勒超声图像，为ge logice9采集；所述弹性超声图像为ge logice9采集的助力式弹性成像；所述超声超声造影图像为ge logice9采集并储存动态图像；
39.空间位置对应关系确定模块，用于将所述常规超声图像、弹性超声图像以及超声造影图像中的像素点一一对应，确定所述常规超声图像、弹性超声图像以及超声造影图像之间的空间位置对应关系；
40.肿瘤缓解区域图像确定模块,用于根据所述空间位置对应关系确定肿瘤缓解区域图像；
41.卷积神经网络搭建模块，用于根据所述肿瘤缓解区域图像搭建深度学习模型；所述深度学习模型包括卷积神经网络、循环神经网络以及深度神经网络；
42.肿瘤缓解区域分类图像确定模块，用于根据所述深度学习模型确定肿瘤缓解区域分类图像；
43.肿瘤缓解区域识别图像确定模块，用于将所述肿瘤缓解区域分类图像叠加到所述超声图像，确定肿瘤缓解区域识别图像；
44.识别模块，用于根据所述肿瘤缓解区域识别图像对所述超声图像中肿瘤缓解区域区域进行识别。
45.进一步的，所述卷积神经网络搭建模块具体包括：
46.第二分类标签确定单元，用于获取所述二值化图像对应的常规超声图像、弹性超声图像以及超声造影图像矩阵以及所述常规超声图像、弹性超声图像以及超声造影图像数据点所对应的分类标签；
47.参量获取单元，用于根据所述常规超声图像、弹性超声图像以及超声造影图像矩阵确定超声散射回波谱估计参量以及超声散射回波统计参量；所述超声散射回波谱估计参量包括超声衰减参量、超声背向散射参量以及超声散射子特性参量，所述超声散射回波统计参量包括超声nakagami参量、超声炳参量以及超声散射密度参量；
48.卷积神经网络参数获取单元，用于获取卷积神经网络参数；所述卷积神经网络参数包括卷积核尺寸、隐藏层数量以及各层特征图谱个数；
49.卷积神经网络搭建单元，用于根据所述卷积神经网络参数，依次输入所述训练样本、超声散射回波谱估计参量、超声散射回波统计参量以及所述超声射频数据点所对应的分类标签搭建深度学习模型；所述深度学习模型包括卷积神经网络、循环神经网络以及深度神经网络。
50.有益效果：本发明公开了一种基于多模态超声深度学习的乳腺病灶良恶性鉴别诊
断系统及乳腺癌新辅助化疗后肿瘤缓解区域识别监测成像方法及系统，以常规超声图像、弹性超声图像以及超声造影数据为依据，利用三种模态超声之间的对应关系，利用卷积神经网络确定乳腺病灶良恶性识别图像及乳腺癌新辅助化疗后肿瘤缓解区域识别图像，根据所述乳腺病灶良恶性的多模态超声识别图像对多模态超声图像中乳腺病灶进行识别，根据所述肿瘤缓解区域多模态超声识别图像对多模态超声图像中肿瘤缓解区域进行识别，本发明基于机器学习模型对多模态超声图像中的乳腺病灶良恶性及乳腺癌新辅助化疗后肿瘤缓解区域进行识别，而不是依赖于常规超声，采用本发明所提供的识别监测成像方法及系统，可规避常规超声的局限性，从而提高对所述多模态超声图像中的乳腺病灶良恶性鉴别诊断精度及乳腺癌新辅助化疗后肿瘤缓解区域的识别精度。通过本发明建立适合新疆地区的多模态超声评估乳腺癌新辅助化疗疗效的cnn算法模型，具有准确性、稳定性、商业适用性、可解释性。本系统是在国家自然科学基金(61962058，31660496)支持下，由新疆工程学院刘文博士，新疆肿瘤医院冷晓玲博士、马明瑞高级工程师等组成的研究团队合作开发。针对新疆地区乳腺超声领域面临的挑战问题，通过人工智能、大数据与医学的交叉和结合，将前期研究的智能医学影像识别、深度学习、大数据分析挖掘及医疗信息化等多项关键技术，开发成落地的应用系统。本系统的核心技术包括：
51.1、基于分布式平台(hdfs、nosql)的时间序列相关系数估算技术(本技术首次实现了针对长序列的相关系数估算)；
52.2、基于分布式计算平台的(mapreduce)的相似性连接技术(本技术在10台物理机的集群环境测试，优于谷歌的mapss和微软的clusterjoin两种技术)；
53.3、针对超声影像的人工智能技术，建立了具有新疆地域特征的乳腺癌深度学习模型，针对规则病灶，该模型识别准确率高达98％，针对非规则病灶的准确率达80％；
54.4、利用数据库技术，建立了具有新疆地域特征乳腺癌多模态超声数据库，包括常规超声bi
‑
rads、超声造影、剪切波弹性成像、三维超声，能够采集、存储及分析病灶硬度、肿瘤恶性间质浸润带及周围组织对病灶的反应等更多信息；
55.5、利用python、flask、可视化、大数据分析及挖掘技术，开发前端应用平台。
56.6、基于分布式平台(nosql)的时间序列相关系数估算技术(本技术首次实现了针对长序列的相关系数估算)
57.7、基于分布式计算平台的(mapreduce)的相似性连接技术(本技术在小集群环境测试，优于谷歌的mapssi和微软的clusterjoiny两种技术)
58.8、针对超声影像的人工智能技术，建立了具有新疆地域特征的乳腺癌深度学习模型，针对规则病灶，该模型识别准确率高达98％，针对非规则病灶的准确率达78％
59.9、利用数据库技术，建立了具有新疆地域特征乳腺癌多模态超声数据库，包括常规超声bi
‑
rads、超声造影、剪切波弹性成像、三维超声，能够集、存储及分析病灶硬度、肿瘤恶性间质浸润帯及周围组织对病灶的反应等更多信息
60.10、利用python、fask、可视化、大数据分析及挖掘技术，开发前端应用平台。
附图说明
61.图1为本发明系统方法流程图；
62.图2为本发明基于u
‑
net的乳腺肿瘤分割网络；
63.图3为本发明所提供的超声图像数据集；
64.图4为本发明系统登录界面图；
65.图5为本发明系统参数设置图；
66.图6为深度学习识别出来的恶性肿瘤；
67.图7肿瘤面积的可视化曲线。
具体实施方式
68.下面结合附图和具体实施方式对本发明技术方案做进一步详细描述：
69.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
70.本发明的目的是提供一种基于超声深度学习的新辅助化疗病灶区域识别监测成像方法及系统，能够提高超声图像中病灶缓解区域的识别精度。
71.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体施方式对本发明作进一步详细的说明。
72.如图1
‑
7所示，基于cnn的乳腺癌新辅助化疗多模态超声诊断系统，包括如下步骤：
73.步骤一、收集乳腺癌多模态超声图像；
74.步骤二、制作数据库；
75.步骤三、确定所述的多模态超声图像之间的位置对应关系；
76.步骤四、根据对应关系确定乳腺病灶良恶性或确定新辅助化疗后病灶缓解区域图像；
77.步骤五、根据所述良恶性图像及化疗后病灶缓解区域图像搭建深度学习模型；
78.步骤六、根据所述深度学习模型确定良恶性分类图像及化疗后病灶缓解程度的分类图像；
79.步骤七、将所述的良恶性分类图像及化疗后病灶缓解程度的分类图像叠加到所述的多模态超声图像，确定良恶性识别图像及病灶缓解识别图像；
80.步骤八、根据所述良恶性识别图像及病灶缓解识别图像对病灶的良恶性及化疗后病灶缓解程度进行识别。
81.进一步的，所述多模态超声数据包括乳腺病灶最大纵切面及其正交平面的数据点；获取乳腺癌新辅助化疗过程前后的最大纵切面及其正交平面的常规超声图像、弹性超声图像以及超声造影图像；
82.根据乳腺癌病灶新辅助化疗前后的多模态超声图像搭建深度学习模型；
83.根据深度学习模型确定乳腺癌新辅助化疗后不同疗效的分类图像；
84.根据不同疗效的分类图像图像对所述多模态超声图像中肿瘤缓解区域进行识别。
85.进一步的，根据不同疗效的分类图像图像对所述多模态超声图像中肿瘤缓解区域进行识别，具体包括：
86.对常规超声图像、弹性超声图像以及超声造影图像进行裁剪，确定裁剪后的多模态超声图像；
87.获取裁剪后的常规超声图像中乳腺癌新辅助化疗后肿瘤缓解区域、弹性超声图像中肿瘤缓解区域及超声造影图像中肿瘤缓解区域；将三者显示的肿瘤缓解区域相重合,确定肿瘤缓解区域重合位置；
88.以肿瘤缓解区域重合位置为中心，对所述裁剪后的各多模态超声图像进行插值处理，确定肿瘤缓解区域图像。
89.进一步的，以肿瘤缓解区域重合位置为中心，对所述裁剪后的各多模态超声图像进行插值处理，确定肿瘤缓解区域图像，还包括：
90.对新辅助化疗后肿瘤缓解区域图像进行二值化处理，确定二值化图像；所述二值化图像内的新辅助化疗后肿瘤缓解区域所对应的分类标签为1，新辅助化疗后肿瘤未缓解区域所对应的分类标签为0；二值化图像包括多个模态的超声图像以及不同区域所对应的分类标签；
91.遍历所述多模态超声图像矩阵将所述多模态超声图像分为训练样本以及测试样本；根据二值化图像，确定所述训练样本所对应的训练分类标签以及所述测试样本所对应的测试分类标签。
92.进一步的，根据新辅助化疗后肿瘤缓解区域图像搭建深度学习模型；所述深度学习模型包括卷积神经网络、循环神经网络以及深度神经网络，具体包括：
93.获取所述二值化图像对应的多模态超声图像矩阵以及所述多模态超声图像点所对应的分类标签；
94.获取卷积神经网络参数；所述卷积神经网络参数包括卷积核尺寸、隐藏层数量以及各层特征图谱个数；
95.根据卷积神经网络参数，依次输入所述训练样本、超声散射回波谱估计参量、超声散射回波统计参量以及所述乳腺癌新辅助化疗后肿瘤缓解区域所对应的分类标签搭建深度学习模型；所述深度学习模型包括卷积神经网络、循环神经网络以及深度神经网络。
96.一种基于超声深度学习的乳腺癌新辅助化疗后肿瘤缓解区域识别监测成像系统，包括：
97.原始超声多模态图像获取模块，用于获取乳腺癌新辅助化疗过程中的原始常规超声图像、弹性超声图像以及超声造影图像；所述原始常规超声图像包括二维超声图像及彩色多普勒超声图像，为ge logice9采集；所述弹性超声图像为ge logice9采集的助力式弹性成像；所述超声超声造影图像为ge logice9采集并储存动态图像；
98.空间位置对应关系确定模块，用于将所述常规超声图像、弹性超声图像以及超声造影图像中的像素点一一对应，确定所述常规超声图像、弹性超声图像以及超声造影图像之间的空间位置对应关系；
99.肿瘤缓解区域图像确定模块,用于根据所述空间位置对应关系确定肿瘤缓解区域图像；
100.卷积神经网络搭建模块，用于根据所述肿瘤缓解区域图像搭建深度学习模型；所述深度学习模型包括卷积神经网络、循环神经网络以及深度神经网络；
101.肿瘤缓解区域分类图像确定模块，用于根据所述深度学习模型确定肿瘤缓解区域分类图像；
102.肿瘤缓解区域识别图像确定模块，用于将所述肿瘤缓解区域分类图像叠加到所述
超声图像，确定肿瘤缓解区域识别图像；
103.识别模块，用于根据所述肿瘤缓解区域识别图像对所述超声图像中肿瘤缓解区域区域进行识别。
104.进一步的，所述卷积神经网络搭建模块具体包括：
105.第二分类标签确定单元，用于获取所述二值化图像对应的常规超声图像、弹性超声图像以及超声造影图像矩阵以及所述常规超声图像、弹性超声图像以及超声造影图像数据点所对应的分类标签；
106.参量获取单元，用于根据所述常规超声图像、弹性超声图像以及超声造影图像矩阵确定超声散射回波谱估计参量以及超声散射回波统计参量；所述超声散射回波谱估计参量包括超声衰减参量、超声背向散射参量以及超声散射子特性参量，所述超声散射回波统计参量包括超声nakagami参量、超声炳参量以及超声散射密度参量；
107.卷积神经网络参数获取单元，用于获取卷积神经网络参数；所述卷积神经网络参数包括卷积核尺寸、隐藏层数量以及各层特征图谱个数；
108.卷积神经网络搭建单元，用于根据所述卷积神经网络参数，依次输入所述训练样本、超声散射回波谱估计参量、超声散射回波统计参量以及所述超声射频数据点所对应的分类标签搭建深度学习模型；所述深度学习模型包括卷积神经网络、循环神经网络以及深度神经网络。
109.试验例：
110.我们利用u
‑
net分割网络将分辨率为600
×
600的乳腺肿瘤图像进行了处理，处理过程如图2所示，此处对激活层网络未做出详细的绘制。本实验利用leaky relu函数将输入图像经过3
×
3的卷积层处理，之后经池化处理得到分辨率为128
×
128的特征图，逐层递进(先卷积后池化)，最终得到了分辨率为32
×
32的输出映射。在使用soft max函数之前，我们利用多尺度池化块(multi
‑
pooling block)对得到的特征图进行处理后，使用三线性插值的方法把输出图像逐级上采样得到输入图像大小。
111.u
‑
net
112.本实验中使用的u
‑
net网络，整个网络包括两部分：编码阶段和解码阶段。在编码阶段，输入的原始图像经过一系列卷积、池化处理后被下采样至图像的最小分辨率；在解码阶段，最小分辨率的特征图像被逐级上采样至原始图像大小。u
‑
net网络在编码与解码阶段还使用了跳跃连接，可以将同一分辨率的图像作为下一层的输入图像，保证了特征的完整性。展示了输入通道为64，分辨率为64
×
64的u
‑
net块结构。
113.为了减缓服务器的压力，减少网络的计算量，u
‑
net块结构利用1
×
1卷积层对输入映射进行了降通道数处理；紧接着交替使用xception
31.块与down
‑
xception块逐级降低图像的分辨率，直至最小分辨率；最后，在上采样的过程中交替使用3
×
3卷积层和xception块将图像恢复至原始分辨率。
114.本实验为了减少网络参数量，引入了xception块。卷积层在处理特征图时，捕获到的信息容易丢失，为了解决这一问题，本实验创新性的引入了resnet网络
32.中的残差连接概念，它直接将不同通道特征图的输入与输出相加，在保护信息完整性的同时，不会在网络中引入多余的参数量。xception的输入输出关系如公式(1)所示。
115.y(x)＝f(x) x
ꢀꢀꢀꢀꢀ
(1)
116.其中x代表输入，y(x)代表输出，f(x)代表残差映射。down
‑
xception中为了达到下采样的目的修改了xception块中的卷积层的步长，并利用该模块将处理后的图像与输出相加；up
‑
xception是上采样，它在down
‑
xception的原理上将3
×
3卷积处理变换成了反卷积处理。常见的上采样方法还有插值法、反池化法等。网络segnet、fcn网络就采用了上采样反池化法。
117.多尺度池化
118.肿瘤位置与大小之间的差异化主要是由乳腺肿瘤的不规则性导致的，主要表现在局部较小的肿瘤要用尺寸较小的卷积核来计算，而处理较大的肿瘤要用大卷积核计算，当出现多通道处理时，固定的卷积核就无法更好的提取特征信息，这种差异化则对网络的构建以及运算产生了一系列的问题。
119.为解决这一问题，本文在前人的启发下，创新性的引入了包含残差连接的多尺度池化块，利用1
×
1卷积层将原始图像降低通道数至原图像的四分之一甚至更小，然后再进行池化处理，从而减少计算量。分辨率为32
×
32，输入通道数为32的多尺度池化块。
120.4个并行的卷积层被分成了4组，每组的特征通道是8，其中有1组不做任何处理，另外的3组则分别使用卷积核为3
×
3、5
×
5、7
×
7的池化层对图像进行处理，获得不同大小的感受野，之后经过1
×
1的卷积处理，最终将图像输出，这样就大程度的保护了不同尺度下图像信息的完整性。
121.多尺度融合
122.传统的u
‑
net网络结构在解码阶段还原像素时仅仅使用了逐级上采样的方式，为了使上采样获得更多的特征信息，增加网络分割的精确度，本网络在进行上采样之前使用了3
×
3卷积层对不同分辨率下的相同通道数的特征图进行了预测，而且这些通道数都小于各自对应的输入图像的通道数，旨在降低网络的计算量，最终将原始输入与上采样结果相加。
123.根据实验的设计需求，我们将不同分辨率、不同通道数的图像进行3
×
3的卷积处理，旨在减少图像通道数，使之与t1相同，处理完成后输出e2和e3，之后e2经过2倍采样和3
×
3卷积处理得到t2，同理得到t3，最后将t1、t2、t3相加求和，进而实现多尺度预测。
124.乳腺肿瘤分割实验结果及分析
125.实验数据
126.网络训练所用的乳腺超声dicom图像共计2000张，dicom图像来源于某医院，其中良性1000张、恶性1000张，原始的乳腺超声dicom图像。实验环境是在centos7系统下部署的,显卡为rtx2080ti，内存为32g的ddr4。编程语言为python3.6,深度学习框架为pytorch。
127.本实验采用deep lab v3 算法(集空间金字塔模块和encoder
‑
decoder结构于一体的语义分割算法)，通过不同分辨率的池化操作，利用encoder
‑
decoder架构逐步还原图像边界信息，使用resnet进行特征提取，之后连接aspp提取融合图像的多尺度信息，最后利用上采样将乳腺超声肿瘤和背景进行分类，类别为2类：良性(benign)及恶性(malignant)。在真实的数据图像中，为了便于标记和处理，每一类都有对应的特定标签。采用label me对乳腺超声病理图像进行人工图像分割，通过乳腺肿瘤的特征计算图像中的纹理域和亮度域的边缘置信图，得到肿瘤区域的边缘，乳腺肿瘤纹理域的边缘置信图的计算过程如公式(2)
descent)
39.、自适应梯度算法(adaptive gradient algorithm)
40.、momentum算法[41]、adam算法
[42]
等。网络在反向传播过程中通常需要用梯度下降算法优化损失函数参数，网络在迭代10次以内学习率浮动不大，损失率基本没有明显变化，此处设置网络迭代100次。
[0146]
pytorch框架
[0147]
网络在训练之前尝试过很多支持python语言的深度学习框架，主要选择的有theano、tensorflow、keras、caffe及pytorch。
[0148]
theano诞生于2008年，当时主要针对数据量大的问题，后因框架处理速度慢、调试困难等问题而停产；tensorflow是google于2015年推出的全新的深度学习框架，但是它系统复杂，api不能很好的实现交互，使用困难；keras学习架构是一款工作量小，特别容易上手的框架，但是它封装太多，灵活性差，进而使用户获取底层信息困难；caffe架构性能好、运行速度快、交互性能好、支持cpu、gpu，但是他对库的依赖性高、且不容易搭建。
[0149]
pytorch框架是基于python语言的一种开源库，该架构api接口设计灵活，运行速度快，源码直观便于开发者学习，故本实验以pytorch架构作为开发者工具。
[0150]
图像特征提取
[0151]
在超声乳腺肿瘤的识别和分类中，良恶性肿瘤在细胞核中的数量、大小、分布情况及染色体纹理特征上都存在一定的差异。乳腺肿瘤的病理图像识别主要是将提取的病理图像结果与源病理图像在边缘、纹理、形状等方面作对比，边缘特征可以直接提取分割后的纹理特征，通过计算目标特征中的像素点，可以计算出肿瘤的面积特征如公式(8)假设长为m宽为n：
[0152][0153]
其中b(i,j)表示图像的像素值，肿瘤的中心位置坐标如公式(9)
[0154][0155]
其中，d
x
，d
y
为乳腺超声病理图像中肿瘤部分左上角的定点的横纵坐标。综合面积、位置特征，最终得出肿瘤的形状、纹理特征，在此基础上，利用可视化技术(e
‑
chart)精准的记录了乳腺患者在每个化疗周期内肿瘤的面积变化趋势，进而为新辅助化疗提供决策依据。如图7所示为肿瘤面积的可视化曲线图。
[0156]
图像识别
[0157]
乳腺肿瘤的影像学特征(x1)与预处理完的数据集(x2)之间进行相似性比对，实现了特征的匹配与识别,全局相似性计算公式如公式(10)
[0158]
[0159]
其中，a1和a2是图像x1和x2的特征向量,设置相似度阈值为η，若算d(x1,x2)得大于η，则证明该病理图像为恶性肿瘤；反之，则证明为良性肿瘤，
[0160]
损失函数
[0161]
实验过程中误差是不可避免的，而损失函数是衡量实验误差的一项重要指标，它的作用主要是判断网络是否训练成功、网络的性能是否需要优化。
[0162]
在前人的研究基础上，我们发现在医学图像中，目标区域和背景区域面积差值较大，而且需要分割的乳腺肿瘤区域仅占整个图像的一小部分，当梯度为时，小目标存在的部分像素会被误分类，梯度会发生震荡，容易产生类不平衡的问题。本实验所使用的是广义损失(gdl)函数来解决类不平衡的问题，在u
‑
net网络中，效果好，其公式如式(11)所示：
[0163][0164]
其中，k代表类别，本文图像标签有2类，故k＝2。n表示图像中的像素点,p表示网络的预测结果，r表示实际的标签，w
k
代表特定标签的权重，其公式如式(12)所示，从公式可以知晓，像素点越少，权重越大。
[0165][0166]
评估指标
[0167]
评估指标是用来衡量网络训练模型性能的标准，网络训练完成后，我们要利用该模型对测试集进行预测，将测试结果与真实结果进行比对。评估指标可以将网络模型的多项指标结果量化，保证模型训练过程中梯度能够朝着最优值下降，进而指引我们选择最优的网络训练模型。故，使用合适的评估指标对于模型的性能至关重要。
[0168]
本实验使用dice评估函数对网络模型的优越性进行评估，dice是相似度度量函数，通常用来比较两个样本的相似度，值域为[0,1]，公式如式(13)所示。
[0169][0170]
x代表人工标注的标准分割图，y代表u
‑
net网络分割出来的预测图，dice系数值越接近1,表明模型训练的结果越好，反之越差。
[0171]
实验结果
[0172]
为了提高实验模型的优越性,确保模型质量无损，我们用20次实验对数据集进行了训练，每次实验迭代100周期,如表1所示为20次实验dice coeff、lr、loss及iou参数的均值。
[0173]
表1 20次模型训练的参数均值
[0174]
[0175][0176]
在乳腺超声肿瘤分割实验中,我们用100张预处理后的原始病理图像作为模型的验证集对训练出来的模型库进行验证，表2(test loss、test iou)是验证集在数据集上的实验结果。在乳腺超声肿瘤分割实验中,u
‑
net网络的iou均值为79.8％。
[0177]
综合表4
‑
1、表4
‑
2我们看出20次实验过程中数据集及测试集的损失函数gdl的变化的平均值,网络迭代100个周期，其中lose的平均值最低为，test loss的平均值最低为，在测试集的实验验证过程中我们发现损失到达最小值后，loss会不断将降低，test loss却逐渐增加，这说明网络发生了过拟合现象，我们取test loss的最低值作为网络的最优参数，根据dice的变化值来看，网络在刚开始训练过程中发生了震荡，随着训练周期的增大，
最终趋于平缓。
[0178]
表2 20次数据集验证的参数均值
[0179]
[0180][0181]
从总体上看，整个网络模型对验证集的处理效果很不错
[0182]
模型的应用与推广
[0183]
将收集病例的多模态超声图像直接输入神经元网络，神经元网络的输出即为模型的输出。将模型在本院应用的同时积极申请专利并推广至疆内其他三甲医院，收集的病例
可返回再次优化模型。
[0184]
对模型进行验证及再训练
[0185]
收集50例汉族患者和50例维吾尔族患者，将上述样本输入cnn，比较网络输出与样本理想输出，如果误差在允许范围内，则接受该模型。否则，需要重新收集样本、重新进行网络设计并重新进行训练，直到获得满意结果为止。
[0186]
建立数据库进行模型的训练
[0187]
对足疗程新辅助化疗前后的乳腺癌进行多模态超声评估，以术后病理反应为金标准，建立数据库
[0188]
将100个维吾尔族病例样本数据输入输入端，逐层计算网络输出，将网络输出与新辅助化疗病理反应相比较，进行模型训练
[0189]
项目的风险分析
[0190]
在随访过程中可能会出现信息采集不全、信息采集错误、患者失访等影响实验结果的问题；
[0191]
个体组织变异性大，需要多种类型方法结合与改进使用以便相互弥补算法缺陷，乳腺癌疗效评估依然需要磁共振结合评估；
[0192]
相关注册、准入、监管法律法规系统尚未形成，故仍然具有法律法规、民众接受度以及潜在的医疗事故背后相应的权责等问题。
[0193]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书所限定的保护范围为准。