尘肺病等级智能判别方法与流程

1.本发明涉及医学影像分析技术领域，尤其涉及尘肺病等级智能判别方法。


背景技术：

2.肺纤维化是各种肺部疾病的共同结局，以肺组织疤痕化为主要表现，如果受累范围广泛则导致肺容积缩小，肺功能明显下降，严重影响患者生存质量。尤其是特发性间质性肺炎是最典型的代表，其病理和/或影像表现为寻常性间质性肺炎的慢性进展性肺部疾病。ipf病因不明，预后极差，确诊后平均生存期仅为3-5年。ipf目前认为患者个体生存期差异很大，有些长期稳定存活多年，有些病情缓慢进展，有些则发生急性加重导致肺功能急速恶化，短时间内死亡。如何根据患者的情况做出较为精准的病情严重度评估和预后判断，目前尚缺乏被广泛接受的评估方法。
3.当前主要采用的人工评估方法，是通过选择dr肺窗的4个代表层面：主动脉弓层面、气管分叉层面、下叶上基底段气管分叉层面和右侧肺隔顶下层面；每个层面有左右两个肺野，全肺共分为8个肺野，将8个肺野总共划分为100个小片；通过对每个小片上蜂窝状改变的面积是否大于该小片面积的二分之一为判断阳性还是因阴性的标准，将阳性的片相加后得到全肺蜂窝状改变的占比。
4.当前临床识别肺纤维化病灶及评估其严重程度主要依赖于临床医生对肺部dr图片进行肉眼判断并粗略评估，评估准确性完全依赖于医生个人的经验。而且肺部dr影像数据呈现爆炸式增长，极大地增强了医生的工作量，随之在疾病检测过程中容易造成误诊和漏诊。
5.随着大数据计算机视觉的发展，计算机辅助诊断技术也被用帮助完成基于医学影像的肺纤维化疾病诊断，以减轻医生的工作负担。但现有的方法对肺纤维化识别率较低，且尘肺病等级判定不准确。


技术实现要素：

6.为解决上述背景技术中提到的技术问题，本发明提供尘肺病等级智能判别方法。
7.本发明采用以下技术方案实现：尘肺病等级智能判别方法，其包括如下步骤：
8.s1、将包含有多张dr胸片样本图像分为训练样本一和训练样本二；所述dr胸片样本图像为具有不同大小尘肺纤维阴影像素的各个肺区图像；
9.s2、基于卷积神经网络模型输入训练样本一，训练肺部纤维化阴影的特征的模型参数，以生成肺部纤维化智能判定模型；
10.s3、基于肺部纤维化智能判定模型输入训练样本二，识别出训练样本二内的每张dr胸片图像中尘肺纤维阴影像素的阴影形状和相应坐标；
11.s4、分析预测每张dr胸片图像中尘肺纤维阴影形状，确定该每个阴影形状所属的阴影密度集，计算出该阴影形状的总体密度集，并结合该尘肺纤维阴影像素分布所在坐标的肺区数量，进行尘肺等级的判定训练，以训练出尘肺等级判定模型；
12.s5、通过尘肺病判定模型的各项参数判定尘肺等级。
13.作为上述方案的进一步改进，所述的步骤s1中，对于每张dr胸片样本图像，需要预先标定出每张dr胸片样本图像中各个肺区所包含的各个种类的尘肺纤维阴影像素，并将标定后的dr胸片样本图像作为样本标签。
14.作为上述方案的进一步改进，所述的步骤s2中，对于每一张dr胸片样本图像依序经过卷积神经网络模型的其中的几个卷积层卷积后，分别生成不同映射尺度的目标特征向量；
15.根据获得的各个所述目标特征向量和训练样本一中预先标定的样本标签，通过复合训练损失函数训练所述卷积神经网络模型的模型参数。
16.作为上述方案的更进一步改进，所述卷积神经网络模型包括依序相连的8个卷积层，各个卷积层均使用1
×
1的卷积核进行相应的特征提取；
17.当dr胸片样本图像经过卷积层conv4、conv5、conv6、conv8后，会分别生成多个用于与样本标签比较的目标特征向量。
18.作为上述方案的更进一步改进，所述卷积层conv1-3的图像像素均为512
×
515，卷积层conv4、卷积层conv5、卷积层conv6、卷积层conv7、卷积层conv8的图像像素依次分别为256
×
256、128
×
128、64
×
64、32
×
32、16
×
16。
19.作为上述方案的更进一步改进，通过复合训练损失函数训练肺部纤维化阴影的特征的模型参数的方法包括如下步骤：
20.将目标分类误差函数定义为：
21.其中，w是卷积神经网络模型的模型参数，s＝{s1,s2,...,sn}是训练样本集合，n是卷积层的数量，αn是误差函数ln的权重，xi是标注好的样本图像块，yi＝(yi,bi)是标注好的样本标签，yi∈{0,1,...,k}，真实目标框坐标，(x，y，w，h)分别表示目标框的中心点坐标和宽长值；
22.将坐标误差函数定义为：
23.其中，m是检测时的预测目标框所在卷积层的层数，i是检测的初始目标框坐标，j是真实目标框坐标，坐标误差函数采用smooth
l1
()求解预测目标框和真实目标框的坐标误差，则的计算方法为：
24.25.其中，表示预测目标框的中心、长宽坐标，表示真实目标框的中心、长宽坐标，表示预测目标框和真实目标框的坐标差值；
26.将目标分类误差函数与坐标误差函数联合训练学习，融合每一个卷积层输出的目标特征向量，则误差函数表示为：
[0027][0028]
其中，p(x)＝(p0(x),...,pk(x))是目标分类概率值，λ是平衡参数且通过交叉验证设置为1，分类误差函数采用交叉熵函数计算，l
obj
(p(x),y)＝-logpy(x)。
[0029]
作为上述方案的更进一步改进，所述初始目标框的宽和长计算公式分别表示为：
[0030]
则每个初始目标框的第i行和第j列的中心点设置为m是m
×
m特征映射图的尺寸。
[0031]
作为上述方案的更进一步改进，所述利用平铺初始检测框方式训练学习特殊尺度的不同目标，假设使用m个卷积层来预测，则每层的初始目标检测框的尺寸比例表示为：
[0032]
其中，s
min
就是最低层的尺度系数为，s
max
最高层的尺度系数为，k为初始目标框的数量。
[0033]
作为上述方案的进一步改进，所述的步骤s4中，计算出阴影形状的总体密度集的像素和该总体密度集的像素在其所在肺区像素的比值k，通过比值k来表示每个肺区小阴影密度等级的判定阀值表示为：
[0034][0035]
其中，表示第i个肺区小阴影密度集属于j级目标检测框的像素和，ni表示第i个肺区像素值，表示第i个肺区小阴影密度集属于j的判定值；
[0036]
基于肺区的尘肺纤维阴影像素密度与阴影密度集j的关系以及肺区的尘肺纤维阴影像素密度在该肺区面积的占比关系，判定尘肺等级。
[0037]
本发明还提供一种采用上述任意一种所述的尘肺病等级智能判别方法的尘肺病等级智能判别装置，包括：
[0038]
样本获取模块，其用于将包含有多张dr胸片样本图像分为训练样本一和训练样本二；所述dr胸片样本图像为具有不同大小尘肺纤维阴影像素的各个肺区图像；
[0039]
训练模块一，其基于卷积神经网络模型输入训练样本一，用于训练肺部纤维化阴影的特征的模型参数，以生成肺部纤维化智能判定模型；
[0040]
识别模块，其基于肺部纤维化智能判定模型输入训练样本二，用于识别出训练样本二内的每张dr胸片图像中尘肺纤维阴影像素的阴影形状和相应坐标；
[0041]
训练模块二，其用于分析预测每张dr胸片图像中尘肺纤维阴影形状，确定该每个
阴影形状所属的阴影密度集，计算出该阴影形状的总体密度集，并结合该尘肺纤维阴影像素分布所在坐标的肺区数量，进行尘肺等级的判定训练，以训练出尘肺等级判定模型；
[0042]
判定模块，其用于通过尘肺病判定模型的各项参数判定尘肺等级。
[0043]
本发明的有益效果为：
[0044]
本发明的尘肺病等级智能判别方法中，输入的图像由训练用的图像块替换为整张dr胸片，特征学习模型设计为将最后三层全连接层替换为卷积层，这样设计的目的是为了实现输入图像和输出也是图像的端到端检测，同时可以直接检测出不同肺区的病灶区域，减少训练时间，同时提高了对肺纤维化的识别率，使尘肺病等级判定更加准确。
[0045]
本发明的尘肺病等级智能判别方法，首创研发了尘肺病等级判定方式，通过建立模型，分别读取不同肺部纤维化阴影和不同肺区的像素比来判定尘肺等级，使尘肺病等级判定更加快速有效。
附图说明
[0046]
图1为本发明实施例1提供的尘肺病等级智能判别方法流程示意图；
[0047]
图2为本发明实施例1提供的多尺度特征映射尘肺阴影检测模型的示意图；
[0048]
图3为本发明实施例1提供的多尺度特征映射模块的示意图；
[0049]
图4为肺野区域的原始dr胸片图、肺野分割结果图、叠加实物效果图；
[0050]
图5为肺区分割效果图。
具体实施方式
[0051]
为了使本发明的目的技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0052]
实施例1
[0053]
请结合图1至图3，尘肺病等级智能判别方法，其包括如下步骤：
[0054]
s1、将包含有多张dr胸片样本图像分为训练样本一和训练样本二；所述dr胸片样本图像为具有不同大小尘肺纤维阴影像素的各个肺区图像；
[0055]
s2、基于卷积神经网络模型输入训练样本一，训练肺部纤维化阴影的特征的模型参数，以生成肺部纤维化智能判定模型；
[0056]
s3、基于肺部纤维化智能判定模型输入训练样本二，识别出训练样本二内的每张dr胸片图像中尘肺纤维阴影像素的阴影形状和相应坐标；
[0057]
s4、分析预测每张dr胸片图像中尘肺纤维阴影形状，确定该每个阴影形状所属的阴影密度集，计算出该阴影形状的总体密度集，并结合该尘肺纤维阴影像素分布所在坐标的肺区数量，进行尘肺等级的判定训练，以训练出尘肺等级判定模型；
[0058]
s5、通过尘肺病判定模型的各项参数判定尘肺等级。
[0059]
所述的步骤s1中，对于每张dr胸片样本图像，需要预先标定出每张dr胸片样本图像中各个肺区所包含的各个种类的尘肺纤维阴影像素，并将标定后的dr胸片样本图像作为样本标签。
[0060]
所述的步骤s2中，对于每一张dr胸片样本图像依序经过卷积神经网络模型的其中
的几个卷积层卷积后，分别生成不同映射尺度的目标特征向量；
[0061]
根据获得的各个所述目标特征向量和训练集中预先标定的样本标签，通过复合训练损失函数训练所述卷积神经网络模型的模型参数，以训练出肺部纤维化智能判定模型。
[0062]
所述卷积神经网络模型包括依序相连的8个卷积层，各个卷积层均使用1
×
1的卷积核进行相应的特征提取；
[0063]
当dr胸片样本图像经过卷积层conv4、conv5、conv6、conv8后，会分别生成多个用于与样本标签比较的目标特征向量。
[0064]
所述卷积层conv1-3的图像像素均为512
×
515，卷积层conv4、卷积层conv5、卷积层conv6、卷积层conv7、卷积层conv8的图像像素依次分别为256
×
256、128
×
128、64
×
64、32
×
32、16
×
16。
[0065]
通过复合训练损失函数训练肺部纤维化阴影的特征的模型参数的方法包括如下步骤：
[0066]
将目标分类误差函数定义为：
[0067]
其中，w是卷积神经网络模型的模型参数，s＝{s1,s2,...,sn}是训练样本集合，n是卷积层的数量，αn是误差函数ln的权重，xi是标注好的样本图像块，yi＝(yi,bi)是标注好的样本标签，yi∈{0,1,...,k}，真实目标框坐标，(x，y，w，h)分别表示目标框的中心点坐标和宽长值；
[0068]
将坐标误差函数定义为：
[0069]
其中，m是检测时的预测目标框所在卷积层的层数，i是检测的初始目标框坐标，j是真实目标框坐标，坐标误差函数采用smooth
l1
()求解预测目标框和真实目标框的坐标误差，则的计算方法为：
[0070][0071]
其中，表示预测目标框的中心、长宽坐标，表示真实目标框的中心、长宽坐标，表示预测目标框和真实目标框的坐标差值。
[0072]
将目标分类误差函数与坐标误差函数联合训练学习，融合每一个卷积层输出的目标特征向量，则误差函数表示为：
[0073]
[0074]
其中，p(x)＝(p0(x),...,pk(x))是目标分类概率值，λ是平衡参数且通过交叉验证设置为1，分类误差函数采用交叉熵函数计算，l
obj
(p(x),y)＝-logpy(x)。
[0075]
所述初始目标框的宽和长计算公式分别表示为：
[0076]
则每个初始目标框的第i行和第j列的中心点设置为m是m
×
m特征映射图的尺寸。
[0077]
所述利用平铺初始检测框方式训练学习特殊尺度的不同目标，假设使用m个卷积层来预测，则每层的初始目标检测框的尺寸比例表示为：
[0078]
其中，s
min
就是最低层的尺度系数为，s
max
最高层的尺度系数为，k为初始目标框的数量。
[0079]
所述的步骤s4中，计算出阴影形状的总体密度集的像素和该总体密度集的像素在其所在肺区像素的比值k，通过比值k来表示每个肺区小阴影密度等级的判定阀值表示为：
[0080][0081]
其中，表示第i个肺区小阴影密度集属于j级目标检测框的像素和，ni表示第i个肺区像素值，表示第i个肺区小阴影密度集属于j的判定值；
[0082]
基于肺区的尘肺纤维阴影像素密度与阴影密度集j的关系以及肺区的尘肺纤维阴影像素密度在该肺区面积的占比关系，判定尘肺等级。
[0083]
在本实施例中，对于肺野区域再分：肺野区域自动分割是非常重要的一个环节，分割效果的好坏直接影响尘肺分期的自动判别准确度。
[0084]
按照诊断标准指南将两个肺叶各分为三个区：高肺野、中肺野和低肺野，因此左右两个肺叶共6个肺区。如图4，图左侧所示是原始dr胸片图，图中间是肺野分割后结果，图右侧所示是叠加实物效果，本实施例研究采用经典的u-net来训练肺野分割。从原始胸片中分割出的肺野区域，计算肺尖与横膈膜之间的垂直距离，然后通过计算将左右两个肺野划各分为三个区域，再根据水平线的位置，计算出等高线，即如图5所示。
[0085]
尘肺的分期判别具体为：
[0086]
1.小阴影和大阴影
[0087]
根据小阴影形态分为圆形和不规则形两类，p和s指的是直径(宽径)不超过1.5mm，q和t指的直径(宽径)介于1.5mm和3mm之间，r和u指的是直径(宽径)介于3mm和10mm之间，阴影直径(宽径)超过10mm以上的阴影称之为大阴影。
[0088]
2.分期判定要素
[0089]
通过对国家职业性尘肺诊断标准的分析，临床专家判断肺区是否产生纤维化病变需具备两个要素，一是纤维化小阴影分布范围是指出现有1级密集度(含1级)以上的小阴影的肺区数，否则不算病变分布区域，二是判定肺区密集度要求小阴影分布至少占该区面积的三分之二，否则也不算病变分布区域。
[0090]
3.小阴影密度集
[0091]
病变区域的诊断需要先根据其阴影形态来确定其所属的阴影密度集，继而计算出其总体密度集，即全肺内密集度最高肺区的密集度，最后结合分布肺区的数量综合诊断出尘肺分期。因此，假设有i∈(1,2,...6)个肺区，小阴影密度集分为4级，即j＝(1,2,3,4)级。研究采用阈值判定方法来诊断小阴影密度集，计算检测出的不同小阴影密度集的像素和分别与所在肺区像素的比值k来表示每个肺区小阴影密度等级，公式如下：
[0092][0093]
其中，表示第i个肺区小阴影密度集属于j级目标检测框的像素和，ni表示第i个肺区像素值，表示第i个肺区小阴影密度集属于j的判定值。
[0094]
根据研究分析，肺区密度集的判定规则是小阴影分布范围占该肺区面积的三分之二以上，故阈值设置为0.67，那么尘肺分期诊断判定参数有两个，一是k值超过0.67的最高阴影密度等级j，二是其出现肺区的数量，尘肺等级判定参数如下表1所示。
[0095][0096]
注：j表示阴影密度级
[0097]
表1辅助诊断尘肺病参数
[0098]
实施例2
[0099]
采用上述实施例1的尘肺病等级智能判别方法的尘肺病等级智能判别装置，包括：
[0100]
样本获取模块，其用于将包含有多张dr胸片样本图像分为训练样本一和训练样本二；所述dr胸片样本图像为具有不同大小尘肺纤维阴影像素的各个肺区图像；
[0101]
训练模块一，其基于卷积神经网络模型输入训练样本一，用于训练肺部纤维化阴影的特征的模型参数，以生成肺部纤维化智能判定模型；
[0102]
识别模块，其基于肺部纤维化智能判定模型输入训练样本二，用于识别出训练样本二内的每张dr胸片图像中尘肺纤维阴影像素的阴影形状和相应坐标；
[0103]
训练模块二，其用于分析预测每张dr胸片图像中尘肺纤维阴影形状，确定该每个阴影形状所属的阴影密度集，计算出该阴影形状的总体密度集，并结合该尘肺纤维阴影像素分布所在坐标的肺区数量，进行尘肺等级的判定训练，以训练出尘肺等级判定模型；
[0104]
判定模块，其用于通过尘肺病判定模型的各项参数判定尘肺等级。
[0105]
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和
原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。