基于融合卷积神经网络的肾组织染色图像质量评估方法与系统

1.本发明属于人工智能辅助医疗检查技术领域，具体涉及一种基于efficientnet和densenet融合卷积神经网络的肾组织染色图像质量评估方法与系统。


背景技术：

2.在计算机图像领域，深度神经网络经过良好的训练能够分辨出不同类别的图像，并展现出极好的性能。然而，目前控制肾组织病理切片质量的主要依据是医生的主观经验。不同医师的主观评价存在着较大差异。其次，缺乏经验的病理学家很难根据文本描述给出准确的图像质量分数。第三，人工检查科室质量给科室数量众多的医院带来了巨大的工作量。最重要的是它不能嵌入智能系统中，传统的人工检查方法一方面使得专业医师承担着沉重的工作负担，另一方面在专业医师缺乏地区已经难以满足肾病患者的体检需求。


技术实现要素：

3.本发明克服现有技术中肾组织病例切片质量评估工作量大，无法自动识别的技术问题，提供了一种基于efficientnet和densenet融合卷积神经网络的肾组织染色图像质量评估方法与系统，以对染色肾活检镜片质量进行评估，解决人工检查切片质量工作量巨大的问题。
4.为了解决上述技术问题，本发明采用的技术方案为：一种基于融合卷积神经网络的肾组织染色图像质量评估方法，包括以下步骤：
5.s1、采集肾组织的全视野数字切片wsi，并将其进行下采样和分割分别得到下采样全视野数字切片dwsi和肾小球感兴趣区域g-roi，构建数据集；其中，下采样全视野数字切片dwsi为一个，肾小球感兴趣区域g-roi为1个或者多个；
6.s2、对下采样全视野数字切片dwsi和肾小球感兴趣区域g-roi进行质量等级标注，获得专家标签数据集；
7.s3、将专家标签数据集中的下采样全视野数字切片dwsi输入融合卷积神经网络模型进行训练，得到dwsi分类模型；再将专家标签数据集中的肾小球感兴趣区域g-roi输入融合卷积神经网络模型进行训练，得到g-roi分类模型；所述融合卷积神经网络模型为efficientnet和densenet卷积神经网络融合得到；
8.s4、对待评估的全视野数字切片wsi进行下采样和分割，得到下采样全视野数字切片dwsi和肾小球感兴趣区域g-roi，将待评估的全视野数字切片wsi中的下采样全视野数字切片dwsi输入训练完成的dwsi分类模型，得到下采样全视野数字切片dwsi在各个质量类别下的概率，并计算其质量分数；再将待评估的全视野数字切片wsi中的肾小球感兴趣区域g-roi输入g-roi分类模型，得到肾小球感兴趣区域g-roi在各个质量类别下的概率，并计算其质量分数；最后将二者的质量分数进行加权平均得到待评估的全视野数字切片wsi的加权质量分数score
wsi
；
9.s5、根据s4中得到的加权质量分数确定待评估的全视野数字切片wsi的质量等级。
10.所述步骤s1中，采用openslide对全视野数字切片wsi进行下采样得到下采样全视野数字切片dwsi，下采样系数设置为16，采用glo-yolo卷积神经网络对全视野数字切片wsi进行分割，得到所有的肾小球感兴趣区域g-roi。
11.所述步骤s1中，数据集r的结构被设置为：
12.r＝{wsi1＝{dwsi1,g-roi
11
,g-roi
12
,
…
g-roi
1i
}，
13.wsi2＝{dwsi2,g-roi
21
,g-roi
22
,
…
g-roi
2i
}，
14.…
，
15.wsij＝{dwsij,g-roi
j1
,g-roi
j2
,
…
g-roi
ji
}，}，1《i≤10；
16.wsij表示第j个全视野数字切片wsi对应的数据，dwsij表示第j个全视野数字切片wsi对应的下采样全视野数字切片dwsi，g-roi
j1
,g-roi
j2
,
…
g-roi
ji
表示第j个全视野数字切片wsi对应的第1，2
……
i个肾小球感兴趣区域g-roi。
17.所述步骤s2中，对每张图片进行质量等级标注时，将图像定性地分为优秀、良好、一般和差四个等级；
18.所述步骤s4中，质量分数的计算方法为：
19.其中s表示类别数量，qj表示第j个类别对应的质量分数，pj表示第j个类别对应的概率，score表示质量分数；
20.所述步骤s4中，加权质量分数score
wsi
的计算公式为：
21.score
wsi
＝h
×
score
ag-rois
(1-h)score
dwsi
；
22.其中，score
ag-rois
表示肾小球感兴趣区域g-roi的质量分数，score
dwsi
表示下采样全视野数字切片dwsi的质量分数；h表示权重，h＞0.5；
23.所述步骤s5中，通过确定各个类别的隶属度函数，遵循最大隶属度原则确定加权质量分数对应的类别，作为质量等级。
24.所述步骤s4中，h＝0.65。
25.所述融合卷积神经网络模型包括：
26.efficientnet网络主体：用于对输入图片进行特征提取；
27.第一全局平均池化层：用于对efficientnet网络主体提取的特征进行全局平均池化操作；
28.drop out层：用于对第一全局平均池化层输出的数据进行丢弃法操作，防止过拟合；densenet网络主体：用于对输入图片进行特征提取；
29.第二全局平均池化层：用于对densenet网络主体输出的数据进行全局平均池化操作；
30.addition layer层：用于对drop out层和第二全局平均池化层的输出进行拼接融合操作；
31.全连接层：用于将addition layer层输出的特征映射到样本的标签空间；
32.softmax层：用于对全连接层输出的特征向量进行归一化操作。
33.所述步骤s3中，训练时采用imagenet中的预训练参数来初始化模型，超参数的最大迭代次数为50次，epoch大小被设定为16幅图像；采用的adam优化器的初始学习率设置为
10-3
；在训练过程中，采用动态学习率，如果在训练过程中出现了损失平台，将学习率降低到当前的1/10。
34.此外，本发明还提供了一种基于融合网络的医学图像质量评估系统，包括：
35.图像处理模块：用于对采集的肾组织的全视野数字切片wsi进行下采样和分割，得到下采样全视野数字切片dwsi和肾小球感兴趣区域g-roi；
36.dwsi分类模型：用于对下采样全视野数字切片dwsi进行分类，输出下采样全视野数字切片dwsi的质量分数；
37.g-roi分类模型：用于对各个肾小球感兴趣区域g-roi进行分类，输出各个肾小球感兴趣区域g-roi的质量分数；
38.质量分数转换模块：用于对下采样全视野数字切片dwsi的质量分数和各个肾小球感兴趣区域g-roi的质量分数进行加权平均计算的得到全视野数字切片wsi的加权质量分数s
wsi
；
39.综合质量预测模块：用于根据全视野数字切片wsi的加权质量分数s
wsi
计算出其对每个质量等级的隶属度，并根据隶属度确定其质量等级；
40.所述dwsi分类模型和g-roi分类模型分别为将下采样全视野数字切片dwsi和其标签数据、肾小球感兴趣区域g-roi和其标签数据分别输入融合卷积神经网络模型进行训练得到，所述融合卷积神经网络模型为efficientnet和densenet卷积神经网络融合得到。
41.所述图像处理模块采用openslide对全视野数字切片wsi进行下采样得到下采样全视野数字切片dwsi，下采样系数设置为16，采用glo-yolo卷积神经网络对全视野数字切片wsi进行分割，得到所有的肾小球感兴趣区域g-roi。
42.所述融合卷积神经网络模型包括：
43.efficientnet网络主体：用于对输入图片进行特征提取；
44.第一全局平均池化层：用于对efficientnet网络主体提取的特征进行全局平均池化操作；
45.drop out层：用于对第一全局平均池化层输出的数据进行丢弃法操作，防止过拟合；densenet网络主体：用于对输入图片进行特征提取；
46.第二全局平均池化层：用于对densenet网络主体输出的数据进行全局平均池化操作；
47.addition layer层：用于对drop out层和第二全局平均池化层的输出进行拼接融合操作；
48.全连接层：用于将addition layer层输出的特征映射到样本的标签空间；
49.softmax层：用于对全连接层输出的特征向量进行归一化操作。
50.本发明与现有技术相比具有以下有益效果：
51.本发明提供了一种基于efficientnet和densenet融合卷积神经网络的肾组织染色图像质量评估方法与系统，将wsi进行下采样得到dwsi，并从wsi中分割出g-roi，二者结合来更准确的评估wsi的质量。由于常规诊断使用的wsi图像太大无法直接输入神经网络训练，以往的体系结构经常将wsi进行切割，增加训练样本的数量，同时使图像大小适应网络。但是碎片化的wsi会在病理学家评估图像质量时造成负面影响。本专利中提出将取下采样的wsi(即dwsi)作为神经网络的输入图像，在大多数情况下，尽管低分辨率的wsi使得许多
图像的细节无法观察到，但病理学家可以根据保留的像素很好地评估组织样本的概述质量。考虑到低分辨率的dwsi使得许多图像的细节无法观察到,将最高分辨率wsi中的肾小球及其周围小管分割为重要的肾小球感兴趣区域(g-roi)，并结合dwsi图像综合评价wsi的质量，提高了图像评估的准确性。
52.综上所述，本发明使用肾病患者的全视野数字切片(wsi)作为分析数据，通过三个阶段的工作，可以快速、准确地对给出的肾组织切片质量给出对应的质量等级。因此，本发明可以快速地得到一张数字化肾组织切片图像的质量等级，达到有3-5年工作经验的医师的准确度，大大减少医学工作者的工作负担，提高工作效率；并可嵌入计算机或智能辅助诊断系统中，以帮助对组织病理学图像进行数字分析，并判断图像的可靠性，而无需手动操作。
附图说明
53.图1为不同质量等级下的肾组织的全视野数字切片图像；
54.图2为本发明实施例一提供的基于融合卷积神经网络的肾组织染色图像质量评估方法的总体框架示意图；
55.图3为本发明实施例一中制作实验数据集的过程；
56.图4为本发明实施例一中采用的融合卷积神经网络的结构示意图；
57.图5为本发明实施例中采用的质量优、良、中、差的隶属函数曲线；x轴表示质量分数，y轴表示隶属度；
58.图6为证明质量分数转换可以改善全视野数字切片(wsi)分类结果的例子；
59.图7为本发明实施例一提供的评估方法和其它三种全视野数字切片(wsi)方法的准确性对比示意图；
60.图8为本发明实施例二提供的一种基于融合网络的医学图像质量评估系统的结构示意图。
具体实施方式
61.为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
62.实施例一
63.如图2所示，本发明实施例一提供了一种基于融合卷积神经网络的肾组织染色图像质量评估方法，包括以下步骤：
64.s1、采集肾组织的全视野数字切片wsi，并将其进行下采样和分割分别得到下采样全视野数字切片dwsi和肾小球感兴趣区域g-roi，构建数据集；其中，下采样全视野数字切片dwsi为一个，肾小球感兴趣区域g-roi为1个或者多个。
65.具体的，所述步骤s1中，收集有多种染色的肾活检显微镜切片，使用过碘酸六胺银染色(pasm)，使用kf-pro-005-ex数字切片扫描仪，将载玻片数字化为全视野数字切片(wsi)，该扫描仪具有40倍物镜和10倍目镜，分辨率为0.25毫米/像素，以kfb格式存储。然
后，以完全分辨率将其转换为svs格式。
66.采用python中的openslide包对wsi进行下采样，将下采样系数设置为16，将分辨率为4mm/像素的400倍wsi下采样得到分辨率为4mm/像素的25倍wsi，共获得1105个dwsi图像，平均图像大小约为2000
×
2000像素。
67.采用glo-yolo卷积神经网络对最高分辨率的wsi进行分割，得到所有的肾小球图像，平均图像大小约为1600
×
1600像素，这种方法把肾小球分成一个长方形的段，其中包含了部分肾小管和肾小球周围的其他组织，这样就可以更好地再wsi上显示肾脏组织的质量和颜色。肾活检切片的显微镜检查通常需要每个载玻片中有10个以上的肾小球才能做出准确的诊断。据统计，采集的大部分wsi包括大约20-40个肾小球。为了进一步减少病理学家数据标注的额外工作量，从每个wsi中按位置分割的所有肾小球中随机选择10个g-rois。这些精选的g-rois在wsi分布均匀，可以显示wsi整个肾组织切片结构的清晰。在非常特殊的情况下，如果wsi的肾小球数量少于10个，则全部视为g-roi。结果，总共获得了10463个g-rois。
68.所述步骤s1中，数据集的结构被转换成：
69.r＝{wsi1＝{dwsi1,g-roi
11
,g-roi
12
,
…
g-roi
1i
}，
70.wsi2＝{dwsi2,g-roi
21
,g-roi
22
,
…
g-roi
2i
}，
71.…
，
72.wsij＝{dwsij,g-roi
j1
,g-roi
j2
,
…
g-roi
ji
}，},1《i≤10。
73.wsij表示第j个全视野数字切片wsi对应的数据，dwsij表示第j个全视野数字切片wsi对应的下采样全视野数字切片dwsi，g-roi
j1
,g-roi
j2
,
…
g-roi
ji
表示第j个全视野数字切片wsi对应的第1，2
……
i个肾小球感兴趣区域g-roi。其中，j＝1105，表示本实施例中采用的数据样本的数量为1105。
74.s2、制定全视野数字切片wsi、下采样全视野数字切片dwsi和肾小球感兴趣区域g-roi的质量评价标准，对每张图片进行质量等级标注，获得专家标签数据集。
75.具体的，所述步骤s2中，如图3所示，质量等级标注为病例学家进行，每个病理学家只根据他们的主观视觉感知将图像定性地分为优秀、良好、一般和较差，而不是定量评分。根据肾组织临床组织病理学诊断对切片质量的要求，本实施例中，制定的图像质量评估标准如下：
76.(1)下采样全视野数字切片dwsi从两个方面进行评估:组织切片和染色。主要观察切片是否脏、破或模糊，组织厚度、皱纹和刀痕，着色的色度和均匀性。断面完整清晰、无刀痕、无皱纹、厚薄适中、着色适中均匀者，评为优秀。否则，酌情降级。
77.(2)从组织的结构清晰度来评估肾小球感兴趣区域g-roi。主要观察肾小球内的基底膜、系膜等结构是否容易辨认。如果肾小球感兴趣区域g-roi中所有结构都清晰易辨，则评为优秀。否则，酌情降级。
78.(3)全视野数字切片wsi结合以上两点从切片、染色和组织结构三个方面进行评估。当wsi被评为优秀时，在这三个方面没有重大的视觉缺陷。如果只有一个瑕疵，评级是良好。如果两个瑕疵都影响主观视觉质量，则等级为中等。如果切片质量影响诊断，则被评为较差。本实施例采用的训练样本数据中，专家先看dwsi，给出评级(优秀/良好/一般/较差)，然后再依次看10个g-roi，分别给出评级(优秀/良好/一般/较差)，最后综合dwsi和g-roi的
质量，给出wsi的评级(优秀/良好/一般/较差)。wsi的标注就是医学专家给出的wsi的真实质量，可以与模型最后预测出的wsi质量做一个对比，对模型的预测能力进行评价。
79.具体的各个质量分类的示例如图1所示。其中，(a)为一个优秀的图像例子，切面完整清晰，染色适中且均匀，肾小球结构清晰。(b)为一个良好的全视野数字切片wsi图像例子，其肾小球结构略显模糊，基底膜不清晰，难以识别。(c)一个普通的图像例子，其肾小球结构比较清晰，但染色太深，难以观察。(d)一个差的图像例子，切片模糊，染色较深，肾小球结构不清楚，影响后续诊断。各个图中，第一幅图为该图像例子的全视野数字切片wsi，第二幅图是放大之后的全视野数字切片wsi，第三幅图是第二幅图再放大之后的wsi，第三幅图中的圆形结构是肾小球。
80.所述步骤s2中，邀请了三位在肾脏切片阅读方面有6年以上经验的病理学家，按照数据标注标准将图像分别分为优秀、良好、一般和差四类。具体地，限制受试者使用相同的成像设备观察图像质量。显示器是21.6英寸液晶显示器，分辨率为1024
×
768像素。所有图像都可以在显示器上以原始尺寸观察到。通过从上到下和从左到右拖动图像，可以显示不同部分的细节。来自同一wsi的所有dwsi和感兴趣区域将依次显示。但是每个受试者随机展示一组由任何wsi制作的图像。他们从大约两倍于屏幕高度的距离观看显示器。每个图像将显示大约90秒，受试者将通过点击图形用户界面上的按钮来报告他们的质量判断。在一组dwsi和感兴趣区域全部显示后，受试者综合考虑所有图像的视觉质量来评估当前的wsi质量水平。如果两个或两个以上的病理学家对一幅图像给出一致的评价，它被直接视为基本事实。否则，将由具有10年以上临床诊断经验的首席病理学家再次进行评估，如图5所示。
81.s3、将专家标签数据集中的下采样全视野数字切片dwsi输入融合卷积神经网络模型进行训练，得到dwsi分类模型；再将专家标签数据集中的肾小球感兴趣区域g-roi输入融合卷积神经网络模型进行训练，得到g-roi分类模型；所述融合卷积神经网络模型为efficientnet和densenet卷积神经网络融合得到。
82.如图4所示，本实施例中，所述融合卷积神经网络模型包括：
83.efficientnet网络主体：用于对输入图片进行特征提取；
84.第一全局平均池化层：用于对efficientnet网络主体提取的特征进行全局平均池化操作；
85.drop out层：用于对第一全局平均池化层输出的数据进行丢弃法操作，防止过拟合；
86.densenet网络主体：用于对输入图片进行特征提取；
87.第二全局平均池化层：用于对densenet网络主体输出的数据进行全局平均池化操作；
88.addition layer层：用于对drop out层和第二全局平均池化层的输出进行拼接融合操作；
89.全连接层：用于将addition layer层输出的特征映射到样本的标签空间；；
90.softmax层：用于对全连接层输出的特征向量进行归一化操作。
91.densenet网络模型于2017年由清华大学，康奈尔大学和脸书公司提出，它从完全不同的角度考虑了图像特征的使用，并通过特征重用和旁路设置在分类问题上取得了良好的效果。这使得它能够显著减少参数的数量，同时缓解消失梯度的问题。efficientnet于
2019年由谷歌公司提出的，它重新思考了更深的网络层，更宽的网络宽度，以及更大的输入图像分辨率这三个扩展维度，使用简单但高效的复合系数来统一扩展所有维度，并获得了一系列模型，称为efficientnet-b0到efficientnet-b7，它们比以前的转换网实现了更好的准确性和效率。由于densenet和efficientnet从完全不同的角度提高了模型的分类能力，因此，本实施例中的融合卷积神经网络模型，基于这两个网络的融合得到，利用融合后的卷积神经网络模型进行联合训练，以获得性能更好的融合卷积神经网络分类模型。
92.本实施例中，densenet和efficientnet两个网络模型共享输入，并且两个网络的主体被保留用于提取输入图像的特征。去除其全局平均池化层后面与图像分类相关的部分，然后添加一个新的附加层，通过拼接操作融合两个网络提取的特征，接下来，全连接层将特征映射到样本的标签空间，最后，softmax层对特征向量进行归一化操作。
93.具有少量样本的类中的图像将通过仿射变换进行扩展，以平衡不同类别中的图像数量。我们以90
°
、180
°
和270
°
的角度围绕图像中心旋转图像。旋转后的原始图像被翻转并添加到训练集中。还通过随机丢弃一些具有随机概率的像素，扭曲图像的局部区域，并将一些像素随机移动到周围位置，来增加训练集中质量较差的图像数量。
94.为了以更高的效率和更少的参数获得更好的性能，在第一个模块(特征提取器)中融合了efficientnetb4和densenet12网络架构。本实施例中的融合卷积神经网络模型是在一台装有四个nvidia tesla v100的linux服务器上训练的。在实际训练和测试过程中，输入图像的大小被调整为380
×
380以适应网络。通过在训练过程中使用微调的方法，采用imagenet中的预训练参数来初始化融合cnn作为训练的开始，然后调整模型参数以适应我们的数据集。对于超参数，最大迭代次数为50次，批次(epoch)大小被设定为16幅图像。在训练过程中，使用初始学习率为10-3的adam优化器，其余的参数都是默认设置的。为了加快训练过程并获得更好的模型，采用了动态学习率，也就是说，如果在训练过程中出现了损失平台，会将学习率降低到当前的1/10。采用了早停法(early stopping)来防止模型过拟合，在准确率不再提高时停止训练过程。
95.s4、对待评估的全视野数字切片wsi进行下采样和分割，得到下采样全视野数字切片dwsi和肾小球感兴趣区域g-roi，将待评估的全视野数字切片wsi中的下采样全视野数字切片dwsi输入训练完成的dwsi分类模型，得到下采样全视野数字切片dwsi在各个质量类别下的概率，并计算其质量分数；再将待评估的全视野数字切片wsi中的肾小球感兴趣区域g-roi输入g-roi分类模型，得到肾小球感兴趣区域g-roi在各个质量类别下的概率，并计算其质量分数；最后将二者的质量分数进行加权平均得到待评估的全视野数字切片wsi的加权质量分数s
wsi
。
96.所述步骤s4中，质量分数score的计算方法为：
[0097][0098]
其中s表示类别数量，qj表示第j个类别对应的质量分数，pj表示第j个类别对应的概率，score表示质量分数。本实施例中，优秀，良好，一般，较差对应的质量分数值分别设定为100，75，50，25。
[0099]
具体的，所述步骤s4中，将图像的质量分类转换为质量评分值。它能更直观地反映
图像的质量，同时更合理地将图像质量与同一幅图像的所有图像质量结合起来，对图像质量进行综合评价。通过融合卷积神经网络分类模块输出的dwsi或g-roi的概率向量，然后计算加权质量分数，将dwsi和g-roi的数值分数映射到wsi中。
[0100]
具体地，所述步骤s4中，加权质量分数score
wsi
的计算公式为：
[0101]
score
wsi
＝h
×
score
ag-rois
((1-h))
×
scored
wsi
；
ꢀꢀꢀ
(2)
[0102]
score
ag-rois
的计算公式为：
[0103][0104]
其中，score
ag-rois
表示肾小球感兴趣区域groi的质量分数，score
dwsi
表示下采样全视野数字切片dwsi的质量分数；h表示权重，h＞0.5。
[0105]
所述步骤s4中，在计算wsi质量分数，即加权质量分数s
wsi
时，对dwsi和ag-rois分别设置不同的权重。h值越大意味着在评估wsi质量时越重视g-roi的质量。在实验过程中，设置权重h为不同的值，对评估结果进行分析，分析结果如表1所示。表1中的结果表明，当将h设置在0.6以上时，性能差距是很小的，当它为0.65时，得到最好的结果。
[0106]
表1不同融合权重的表现
[0107][0108][0109]
考虑到不同类别样本数量的不平衡，本实施例中在数据集上使用了4个性能评价标准参数：正确率(accuracy)、加权精度(weight-precision)、加权召回率(weight-recall)和加权f1(weight-f1)进行比较和评估，以证明整体性能。其计算公式分别为：
[0110][0111][0112]
[0113][0114]
其中tp表示真阳性的样本个数，即真实值是真且预测值为真的样本个数，tn表示真阴性的样本个数，即真实值为假且预测值为假的样本个数，fp表示假阳性的样本个数，即真实值不是真，但预测值为真的样本个数，fn表示真实值是真但预测值为假的样本个数。总的样本个数为total＝tp fp tn fn。本实施例中，采用的总样本个数为1105。而weightj、precisionj、recallj和f
1j
分别代表j类的权重、精确率、召回率和f1值。很明显，在上述所有性能评价标准上取得更大的数值意味着更好的性能。本实施例中，j类权重weightj可以设置为j类的样本数与总样本数的比值。
[0115]
此外，对每个类别的性能的进一步深入分析时，可以采用以下4个性能标准参数：精确率precision、召回率recall、特异度specificity、f1，其数学公式表示如下。
[0116][0117][0118][0119][0120]
s5、根据s4中得到的质量分数确定待评估的全视野数字切片wsi的质量等级。
[0121]
具体的，所述步骤s5中，基于模糊划分和定义隶属度的一般原则，结合观点和职业经验，给出如图5所示的优秀、良好、一般、较差四个等级的隶属度函数。使用最大隶属度原则来划分wsi的模糊集。对于任何wsi，根据隶属度函数计算其质量分数对每个模糊集的隶属度。具有最大隶属度的模糊集被认为是它所属的质量类别。
[0122]
假设某个数据集的加权质量分数为75分，从图4可以看出，75分对于excellent(优秀)的隶属度是0；75分对于good(良好)的隶属度是1；75分对于average(一般)的隶属度从图中可以看出是0；75分对于poor(较差)的隶属度从图中可以看出是0；则遵循最大隶属原则，它隶属于良好(取四个隶属度中的最大值所属的类别)。
[0123]
如图6所示，为本发明实施例中一个典型样本的质量评估结果，从图6可以看出，本发明的质量分数转换可以改善wsi分类结果。对于这个全视野数字切片wsi，许多实际上属于良好类的g-roi被错误地预测为优秀，投票显然将其归类为优秀。然而，他们有相似的概率被预测为优秀和良好(粗体)，所以在计算他们的质量分数后，他们的质量分数预测为良好。因此，本发明使用wsi类别的分数可以正确预测wsi的类别。
[0124]
表2本发明在分类时的表现
[0125]
[0126]
如表2中，本发明实施例中，dwsi分类模型和g-roi分类模型和本发明实施例的整体评估方法得到的结果在各个类别下的性能评价参数。
[0127]
如图7所示，为本发明实施例提供的评估方法与其它三种方法对全视野数字切片(wsi)进行评估时的准确率对比。具体地，本发明实施例讨论了相同的网络框架的基础上，不同的评估方法的准确性，其包括四种评估方法：(1)本发明的质量分数转换方法；(2)投票法：通过投票对wsi进行分类；(3)加和：将dwsi和ag-roi输出的所有概率向量相加，最大的概率向量对应类别被视为wsi的预测值；(4)加权平均：计算dwsi和ag-roi概率向量的加权平均值，权重设置与本发明实施例相同(对dwsi和ag-roi为0.35和0.65)，然后将概率向量中最大的对应类别视为wsi的预测值。
[0128]
从图7可以看出，不管是本发明的融合卷积神经网络，还是单一网络efficientnetb4，或单一网络densenet121中，本发明实施例采用的质量分数转换的方法相对于其它三种方法：投票、加和和加权平均，都具有更高的准确率，表明本发明提高了预测结果。
[0129]
此外，还将本发明的融合卷积神经网络与使用的单一网络(efficientnetb4或densenet121)进行比较。表3和图7中的结果表明，在dwsi、g-roi和wsi的分类中，本发明的融合卷积神经网络模型优于未融合模型，准确率和加权-f1得分都提高了5％以上。这证明了本发明的融合卷积神经网络对提高性能的模型的预测性能具有积极作用。
[0130]
如表3所示，还对本实施例的质量评估方法的采用的融合卷积神经网络模型的整体性能进行了评估。首先测试了融合分类模型的性能，使用从测试集中的221个wsis产生的dwsi和g-roi。然后，所有221个wsi都由训练完成的融合卷积神经网络模型进行质量评估，并与图片真实的质量等级进行比较。表3中的正确率，加权精度，加权召回率，加权f1来显示结果。将本发明的融合卷积神经网络模型与resnet 50、resnet101、mobilenet v2、inception v3，以及单一densenet 121和efficientnet b4网络架构进行比较。实验结果表明，本发明的融合卷积神经网络得到的分类模型在dwsis和g-roi分类任务中比其他单一网络架构更好，分别达到0.85和0.89的正确率。这可能是由于两个具有不同特征提取能力的网络的融合，使它们在联合训练的过程中能更好地学习不同类别图像的特征。为了在g-roi上取得更好的结果，最可能的原因是有更多的训练数据。更多的g-roi斑块被用于训练，以有效地扩大特征集，并被神经网络捕获以区分不同的类别，从而在对g-roi分类时带来更好的性能。
[0131]
表3与其它网络的试验对照
[0132][0133]
实施例二
[0134]
如图8所示，本发明实施例二提供了一种基于融合网络的医学图像质量评估系统，包括：
[0135]
图像处理模块：用于对采集的肾组织的全视野数字切片wsi进行下采样和分割，得到下采样全视野数字切片dwsi和肾小球感兴趣区域g-roi；
[0136]
dwsi分类模型：用于对下采样全视野数字切片dwsi进行分类，输出下采样全视野数字切片dwsi的质量分数；
[0137]
g-roi分类模型：用于对各个肾小球感兴趣区域g-roi进行分类，输出各个肾小球感兴趣区域g-roi的质量分数；
[0138]
质量分数转换模块：用于对下采样全视野数字切片dwsi的质量分数和各个肾小球感兴趣区域g-roi的质量分数进行加权平均计算的得到全视野数字切片wsi的加权质量分数s
wsi
；
[0139]
综合质量预测模块：用于根据全视野数字切片wsi的加权质量分数s
wsi
计算出其对每个质量等级的隶属度，并根据隶属度确定其质量等级；
[0140]
所述dwsi分类模型和g-roi分类模型分别为下采样全视野数字切片dwsi的标签数据和肾小球感兴趣区域g-roi的标签数据分别输入融合卷积神经网络模型进行训练得到，所述融合卷积神经网络模型为efficientnet和densenet卷积神经网络融合得到。
[0141]
具体地，本实施例中，所述图像处理模块采用openslide对全视野数字切片wsi进行下采样得到下采样全视野数字切片dwsi，下采样系数设置为16，采用glo-yolo卷积神经网络对全视野数字切片wsi进行分割，得到所有的肾小球感兴趣区域g-roi。
[0142]
具体地，本实施例中，如图4所示，本实施例中，所述融合卷积神经网络包括：
[0143]
efficientnet网络主体：用于对输入图片进行特征提取；
[0144]
第一全局平均池化层：用于对efficientnet网络主体提取的特征进行全局平均池化操作；
[0145]
drop out层：用于对第一全局平均池化层输出的数据进行丢弃法操作，防止过拟合；densenet网络主体：用于对输入图片进行特征提取；
[0146]
第二全局平均池化层：用于对densenet网络主体输出的数据进行全局平均池化操作；
[0147]
addition layer层：用于对drop out层和第二全局平均池化层的输出进行拼接融合操作；
[0148]
全连接层：用于将addition layer层输出的特征映射到样本的标签空间；
[0149]
softmax层：用于对全连接层输出的特征向量进行归一化操作。
[0150]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。