一种基于图约束深度模型的X光片疾病辅助诊断系统的制作方法

一种基于图约束深度模型的x光片疾病辅助诊断系统
技术领域
1.本发明涉及医学图像处理和辅助诊断技术领域，具体地说是一种基于图约束深度模型的x光片疾病辅助诊断系统。


背景技术：

2.胸部x光片通常是医生诊断和治疗胸部疾病的有效辅助方法，在医生诊断和治疗各类胸部疾病过程中发挥着重要作用。近些年，以深度学习为代表的人工智能技术在计算机视觉领域取得了巨大的发展，如：图像分类、目标检测、图像分割等领域。
3.作为一个完整的诊断流程，对胸部疾病的识别和判断只是其中一个工作。另外一个重要的工作是，在x光片上定位出病灶的位置区域。如果要完成病灶定位的工作，传统的深度学习方法需要大量标注病灶位置的胸部x光片数据。然而，由于对医学图像进行病灶位置的标注需要大量医学专业人士的时间和精力，这类数据很难获取。在现实中，经常出现x光片只有疾病类别标签，而缺乏疾病位置标签，导致模型表现不佳，且定位效果不准确。为了解决上述问题，本发明提出一种基于图约束深度模型的x光片疾病辅助诊断系统。


技术实现要素：

4.本发明之目的是弥补上述之不足，向社会公开诊断准确性高，能够辅助医生提高诊断效率的一种基于图约束深度模型的x光片疾病辅助诊断系统。
5.本发明的技术方案是这样实现的：
6.一种基于图约束深度模型的x光片疾病辅助诊断系统，包括以下步骤：
7.步骤一、收集胸部x光片，整理成数据集；
8.步骤二、数据集的预处理：对数据集中所有x光片进行归一化处理；
9.步骤三、构建图约束深度学习模型：包括图约束项模块和网络基础架构；
10.图约束项模块：提取所有x光片中左右两个肺部区域，使用哈希编码和汉明距离来度量胸部x光片之间的相似度，得到图约束项r
inter
(θ)，r
intra
(θ)；
11.网络基础框架：在网络的倒数第二层提取特征图f＝{f1，f2，...，fn}，fi∈r
2048
×
16
×
16
，将输入图像划分为p
×
p个网格，并对每个网格，通过深度神经网络预测疾病的存在概率；计算神经网络的损失函数，基础网络架构的损失函数定义为：
[0012][0013]
其中，表示第i个样本中的第k类是否有位置标签，表示有标签，表示没有标签，β是两个损失函数的平衡权重；
[0014]
最终目标函数q(θ)是基础网络架构的损失l(θ)和图约束项r
inter
(θ)，r
intra
(θ)的总和:
[0015]
q(θ)＝l(θ) λ1r
inter
(θ) λ2r
intra
(θ)，
[0016]
其中，λ1,λ2是控制图约束项和网络分类与定位损失函数的平衡系数，λ1∈(0，1]，
λ2∈(0，1]；
[0017]
步骤四、对神经网络进行训练和测试；
[0018]
步骤五、将待诊断的x光片输入已经训练好的神经网络，输出辅助诊断结果。
[0019]
进一步优化本技术方案的措施是：
[0020]
作为改进，所述的步骤二中，通过对原始x光片绕中心点进行随机旋转或翻转，获得新的训练样本，将其加入数据集中。
[0021]
作为改进，所述的步骤二中，x光片进行归一化处理的具体过程为，将x光片尺寸统一设置成512像素
×
512像素，将原始像素值[0,255]，转变为[-1,1]，让数据0中心化，其中x表示图像像素点值。
[0022]
作为改进，所述的步骤三中，使用哈希编码和汉明距离来度量胸部x光片之间的相似度的具体过程为：对于不同x光片相关区域结构关系信息进行建模，得到图g
inter
＝(n，e)，n表示一组输入图像的个数，从数据集中随机抽取两张图像，记作图像xu和图像xv，e表示这一组输入图像两两之间的相似度关系w
u，v
，
[0023][0024]
其中，对应表示输入x光片xu左肺区域和右肺区域的哈希编码，表示输入x光片xv左肺区域和右肺区域的哈希编码，h(*)表示计算两个哈希编码之间的汉明距离，其中de是一个标准化系数，它的值为两个哈希编码长度的乘积，得到图约束项r
inter
(θ)，
[0025][0026]
其中，w
u，v
表示一组输入图像中，图像xu和图像xv的相似度，d(*)为距离度量函数，fu和fv表示图像xu和图像xv的特征向量。
[0027]
作为改进，所述的步骤三中，对同一张x光片中左右两个肺部区域结构关系信息进行建模，得到图g
intra
＝(n，e)，其中，n为2，边e表示左右两个肺部区域的相似度关系
[0028][0029]
其中，和对应表示输入x光片xi左肺区域和右肺区域的哈希编码，得到图约束项r
intra
(θ)，
[0030][0031]
其中，表示一个x光图像xi中左肺区域l和右肺区域r的相似度，d(*)为距离度量函数，和表示第i张x光片的左肺区域l和右肺区域r的特征向量。
[0032]
作为改进，所述的步骤三中，网络基础框架采用resnet作为图像特征提取网络。
[0033]
作为改进，所述的步骤三中，输入图像的尺寸设为512像素
×
512像素。
[0034]
作为改进，所述的步骤三中，对于具有位置标签的图像，将网格与边界框重叠的部分标签设为1，否则，标签设为0，对于每个网格，使用二值交叉熵损失函数进行计算：
[0035][0036]
其中，k、i、j分别为类别、样本、网格的索引，为网格的目标标签，表示网格的预测概率。
[0037]
作为改进，所述的步骤三中，对于只有疾病类别标签的图像，使用的mil方法进行定位病灶位置，mil损失函数定义为：
[0038][0039]
其中，为图像的目标标签；表示网格的预测概率。
[0040]
作为改进，所述的步骤四中，通过梯度下降法使网络收敛到最优值。
[0041]
本发明与现有技术相比的优点是：
[0042]
本发明的一种基于图约束深度模型的x光片疾病辅助诊断系统，采用图约束深度模型对胸部x光片进行疾病诊断和定位，利用图像间和图像内的关系信息(相似性)来弥补深度学习网络对图片位置标注的要求，解决了目前深度学习在医学领域中面临的数据标签不足的问题。
附图说明
[0043]
图1是本发明的网络框架结构示意图。
具体实施方式
[0044]
如图1所示，一种基于图约束深度模型的x光片疾病辅助诊断系统，包括以下步骤：
[0045]
步骤一、收集胸部x光片，整理成数据集；依托公开数据集chest x-ray展开工作，该数据集共有112120张带有疾病类别标注的x光片，其中只包括880张x光片带病灶位置标注。另外，收集x光片诊断过程中的相关医学专家知识，如放射科医生在阅片过程中通常会根据自己学习到的经验对比观测到的影像表现，分析x光片的异同(形状、纹理、对比度等)来给出阅片结果；这包括了对比正常与异常影像表现，也包括了对比同一张影像的不同区域的表现。另外，对于很多胸部疾病，区分左右肺区域的差异非常有用，如肺炎、渗透、实变等肺部疾病的病变很少同时出现在两肺对称的区域，这些收集到的数据集和医学专家知识将用于后续建模阶段。
[0046]
步骤二、数据集的预处理：对数据集中所有x光片进行归一化处理。对于深度学习算法，模型泛化能力决定着模型对于未知数据的表现是否良好。本发明使用数据增强技术来提高模型的泛化能力，具体来说，通过对原始x光片绕中心点进行随机旋转或翻转，获得新的训练样本，将其加入数据集中；常用旋转角度有90
°
、180
°
、270
°
。将这些样本也用于模型训练过程中，可以使得模型对于新数据的泛化能力更强。此外，在输入模型之前，对所有的图片进行归一化处理，用来减少x光片亮度和噪声等差异造成的影响。由于拍摄x光片的机器不同，每张x光片都会存在光照和噪声等方面的差异，这对于医生人眼识别不会有太大的影响，但是对于深度学习模型的影响却很大。因此，对图像的预处理工作很有必要。x光片
进行归一化处理的具体过程为，将x光片尺寸统一设置成512像素
×
512像素，将原始像素值[0,255]，转变为[-1,1]，让数据0中心化，其中x表示图像像素点值。
[0047]
步骤三、构建图约束深度学习模型：本发明的辅助诊断系统主要包括图约束项模块和网络基础架构2个部分；
[0048]
图约束项模块：
[0049]
在一张x光图像中，包含病灶最多的区域是左右两个肺部区域，而锁骨区域或人体外的空白区域包含的信息最少，因此首先运用现有的分割算法将左右两个肺部区域提取,得到所有样本的左右肺区域。因为哈希编码可以快速计算汉明距离，无需额外的人工标注就可以得到图像之间的相似度信息，因此本发明使用哈希编码和汉明距离来度量胸部x光片之间的相似度，通过计算成对肺部区域之间哈希编码和汉明距离，学习不同肺部区域之间的结构关系信息。
[0050]
提取所有x光片中左右两个肺部区域，使用哈希编码和汉明距离来度量胸部x光片之间的相似度，得到图约束项r
inter
(θ)，r
intra
(θ)。
[0051]
使用哈希编码和汉明距离来度量胸部x光片之间的相似度的具体过程为：对于不同x光片相关区域结构关系信息进行建模，得到图g
inter
＝(n，e)，n表示一组输入图像的个数，在这里n＝4，从数据集中随机抽取两张图像，记作图像xu和图像xv，e表示这一组输入图像两两之间的相似度关系w
u，v
，
[0052][0053]
其中，对应表示输入x光片xu左肺区域和右肺区域的哈希编码，表示输入x光片xv左肺区域和右肺区域的哈希编码，h(*)表示计算两个哈希编码之间的汉明距离，其中de是一个标准化系数，它的值为两个哈希编码长度的乘积，这里de＝64，得到图约束项r
inter
(θ)，
[0054][0055]
其中，w
u，v
表示一组输入图像中，图像xu和图像xv的相似度，d(*)为距离度量函数，fu和fv表示图像xu和图像xv的特征向量。
[0056]
对同一张x光片中左右两个肺部区域结构关系信息进行建模，得到图g
intra
＝(n，e)，其中，n为2，边e表示左右两个肺部区域的相似度关系
[0057][0058]
其中，和对应表示输入x光片xi左肺区域和右肺区域的哈希编码，相似度越低表示单侧肺部出现异常的概率越高，接着得到图约束项r
intra
(θ)，
[0059][0060]
其中，表示一个x光图像xi中左肺区域l和右肺区域r的相似度，d(*)为距离度量函数，和表示第i张x光片的左肺区域l和右肺区域r的特征向量。
[0061]
网络基础框架：
[0062]
网络基础框架采用resnet作为图像特征提取网络，输入图像x＝{x1，x2，...，xn}的尺寸被设为512像素
×
512像素。resnet(residual neural network)由微软研究院提出，通过使用resnet unit成功训练出了152层的神经网络，其参数量比vggnet低，效果非常突出。resnet的结构可以极快的加速神经网络的训练，模型的准确率也有比较大的提升。同时resnet的推广性非常好，甚至可以直接用到inceptionnet网络中。resnet的主要思想是在网络中增加了直连通道，允许原始输入信息直接传到后面的层中，这样的话这一层的神经网络可以不用学习整个的输出，而是学习上一个网络输出的残差，因此resnet又叫做残差网络。
[0063]
在网络的倒数第二层提取特征图f＝{f1，f2，...，fn}，fi∈r
2048
×
16
×
16
，将输入图像划分为p
×
p个网格，其中，p是可调节的参数，p的数值越大，表明网格的尺寸越小；并对每个网格，通过深度神经网络预测疾病的存在概率。也就是说，将特征图f通过两个1
×
1卷积层和一个激活层后得到在p
×
p网格上k个通道的最终预测，其中k是可能的疾病类型的数量。因为数据缺乏位置标注的特点，将病灶位置的预测转化为网格中出现疾病概率的预测；每个网格表示疾病存在的概率，这些概率高的网格位置可以确定为病灶的位置。
[0064]
对于深度学习神经网络，损失函数决定了网络的训练方向和网络性能。本发明针对x光片病灶的诊断与定位任务，设计如下：对于具有位置标签的图像，将网格与边界框重叠的部分标签设为1，否则，标签设为0，对于每个网格，使用二值交叉熵损失函数进行计算：
[0065][0066]
其中，k、i、j分别为类别、样本、网格的索引，为网格的目标标签，表示网格的预测概率。
[0067]
对于只有图像类别标签的图像，使用的mil方法进行定位病灶位置。主要方法是对图像进行随机裁剪，将其裁剪后的多个图像作为示例组成一个包。此时，裁剪后的图像没有标签，但是所有示例组成的包共享图像的标签。如果包中至少存在一个正标记的示例，则包被赋予正标记。因此mil损失函数定义为：
[0068][0069]
其中，为图像的目标标签；表示网格的预测概率。
[0070]
因此，基础网络架构的损失函数定义为：
[0071][0072]
其中，表示第i个样本中的第k类是否有位置标签，表示有标签，表示没有标签，β是两个损失函数的平衡权重，这里β＝4。
[0073]
将图像间与图像内的结构关系信息作为医学先验知识约束网络的训练过程使其达到更好的性能。即两张图像之间的相似性越高，表示它们在特征空间中的距离越近。同理，两个区域的相似性越高，表示这两个区域在特征空间中的距离也越近。为了实现这一目
标，模型通过设计一个图约束项来训练神经网络，以鼓励相似的图像(区域)在特征空间中更接近。最终目标函数q(θ)是基础网络架构的损失l(θ)和图约束项r
inter
(θ)，r
intra
(θ)的总和:
[0074]
q(θ)＝l(θ) λ1r
inter
(θ) λ2r
intra
(θ)，
[0075]
其中，λ1,λ2是控制图约束项和网络分类与定位损失函数的平衡系数，λ1∈(0，1]，λ2∈(0，1]；当λ1,λ2＝0时，表示网络中相应的图约束项不起作用，网络退化为一个传统的深度学习网络模型。
[0076]
步骤四、对神经网络进行训练和测试，通过梯度下降法使网络收敛到最优值；在网络训练之前，将数据集中的进行划分：80％的数据用于模型训练，剩余20％数据作为测试集。
[0077]
网络的训练和调优：本发明采用pytorch框架进行模型的部署和训练。在完成网络架构搭建和初始化工作后，将训练集输入网络进行模型训练。在训练过程中，根据训练集的loss变化情况，采取相应的优化方法使网络收敛到最优值，然后保存模型，用于诊断和定位新输入的样本。网络模型的超参数设置：优化算法使用随机梯度下降算法，学习率设为0.001；总迭代次数为9，每4轮迭代学习率减少10倍；权重衰减和动量设为0.0001和0.9；使用在imagenet上预训练的resnet的权重进行网络初始化。
[0078]
步骤五、将待诊断的x光片输入已经训练好的神经网络，输出辅助诊断结果。
[0079]
本发明采用基于图约束的弱监督学习方法，通过对胸部x光片进行图像分析来判断其是否有胸部疾病并且标记出病灶的位置。作为计算机辅助系统，本发明能够减少医生的判断时间，辅助医生决策，提高工作效率。
[0080]
本发明的最佳实施例已被阐明，由本领域普通技术人员做出的各种变化或改型都不会脱离本发明的范围。