1.本发明涉及医学图像处理领域，尤其涉及一种基于细粒度的医学x射线肺部图像检测方法。
背景技术：
：：2.细粒度图像分类(fine‑grainedimageclassification)是机器视觉领域一项重要研究内容。不同于一般的图像分类任务，其目标对象属于粗粒度类别，细粒度图像分类是针对大类下的子类进行区分。由于细粒度分类的特性使得子类之间视觉表征十分相似，只存在微小的局部差异，因此细粒度图像分类相较于普通图像分类任务难度更大。3.早期细粒度图像分类方法都是基于人工特征的算法，由于人工特征表述能力有限，其分类效果有一定的局限性。近年来，随着深度学习的发展，卷积神经网络凭借其优异的自动特征提取能力在细粒度图像分类领域得到大量的应用。基于深度学习的细粒度分类方法的流程主要有：找出具有明显区域特征的局部区域；利用卷积神经网络提取这些区域的特征；级联这些特征训练分类器实现分类与检测。4.全世界每天都产生大量的医学影像信息，医学图像上异常部位的检测是分析医学图像的关键步骤，提高诊断效率一直是医学图像检测的重中之重，因此国内外都十分重视医学影像处理。医学图像的异常部位检测也是计算机视觉检测的一个重要部分，其检测的准确程度会直接影响最终的诊断结果，人工检测的速度较慢、效率低下，而且在检测的过程中容易出错，从而导致了检测结果的不精确，而利用机器视觉检测很好地克服了这一点。技术实现要素：5.本发明属于基于计算机视觉技术的图像检测技术。利用计算机视觉模拟人类视觉的功能，从具体的实物进行图象的采集处理、计算、最终进行实际检测、控制和应用。本发明提出基于细粒度的医学x射线肺部图像检测模型，并采用注意力机制可以很好的实现对医学x射线肺部图像上异常部位的检测定位。6.本发明提供的一种基于细粒度的医学x射线肺部图像检测方法，包括以下步骤：7.构建检测模型，所述检测模型包括：特征提取模块、注意力引导数据增强模块、bap特征融合模块；8.利用检测模型实现肺部图像检测，具体如下：9.s1：获取原始肺部图像样本数据，将原始肺部图像样本数据输入至特征提取模块，得到图像特征和注意力地图；10.s2：将所述注意力地图输入至注意力引导数据增强模块进行数据增强，得到增强数据；11.s3：将所述增强数据和原始肺部图像样本数据输入至所述特征提取模块中进行训练，得到训练后的注意力地图和图像特征；12.s4：将训练后的注意力地图和图像特征输入至bap特征融合模块进行融合，得到融合特征；13.s5：将融合特征输入分类层，得到最终的检测结果。14.进一步地，步骤s1具体为：采用自动数据增强方法对原始肺部图像样本数据进行数据增强；采用预训练好的inceptionv3网络作为特征提取网络，提取图像特征f和注意力地图a。15.进一步地，图像特征f∈rh×w×n，其中h、w、n分别代表特征提取网络特征层的高度、宽度与通道数；在图像特征层增加1*1卷积运算，得到注意力地图a∈rh×w×m，具体如下式(1)：[0016][0017]其中，f(·)为卷积操作；m为注意力地图数量，ak∈rh×w；k为注意力地图编号。[0018]进一步地，步骤s2中，注意力引导数据增强模块包括：注意力裁剪操作和注意力下降操作。[0019]进一步地，在进行注意力裁剪操作和注意力下降操作前，将ak归一化，如式(2)所示：[0020][0021]其中ak*表示ak归一化后的结果。[0022]进一步地，所述注意力裁剪操作，具体为：[0023]首先，预设阈值θc，使得ak*中大于θc的元素设置为1，其余设置为0，如式(3)所式：[0024][0025]其次，搜索一个框b，使其覆盖ck区域，并将b放大至输入数据大小。[0026]进一步地，所述注意力下降操作，具体为：使得ak*中大于θc的元素设置为0，其余设置为1，如式(4)所式：[0027][0028]步骤s4具体为：bap特征融合模块通过将注意力地图与图像特征进行元素级相乘后得到关键部位的数据特征，并采用全局最大池化，得到一组特征向量p，如公式(5)所示：[0029][0030]式(5)中，g()表示全局最大池化；fk为局部特征向量。[0031]本发明提供的有益效果是：大大提高了医学x射线图像检测的精度和效率，避免了因为环境条件或是主观判断等因素影响检测结果的准确性，实现了能更好更精确地进行肺部异常检测，更加快速的识别肺部表面问题，适用性较好，有利于在实际应用中推广使用。附图说明[0032]图1是本发明一种基于细粒度的医学x射线肺部图像检测方法的具体流程图；[0033]图2是本发明一种基于细粒度的医学x射线肺部图像检测方法的简化流程图。具体实施方式[0034]为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。[0035]请参考图1和图2，一种基于细粒度的医学x射线肺部图像检测方法，包括以下步骤：[0036]构建检测模型，所述检测模型包括：特征提取模块101、注意力引导数据增强模块102、bap特征融合模块103；[0037]利用检测模型实现肺部图像检测，具体如下：[0038]s1：获取原始肺部图像样本数据，将原始肺部图像样本数据输入至特征提取模块101，得到图像特征和注意力地图；[0039]s2：将所述注意力地图输入至注意力引导数据增强模块102进行数据增强，得到增强数据；[0040]s3：将所述增强数据和原始肺部图像样本数据输入至所述特征提取模块101中进行训练，得到训练后的注意力地图和图像特征；[0041]s4：将训练后的注意力地图和图像特征输入至bap特征融合模块103进行融合，得到融合特征；[0042]s5：将融合特征输入分类层，得到最终的检测结果。[0043]步骤s1具体为：采用自动数据增强方法对原始肺部图像样本数据进行数据增强；采用预训练好的inceptionv3网络作为特征提取网络，提取图像特征f和注意力地图a。[0044]步骤s1中采用了自动特征增强方法，自动数据增强是一种利用自动搜索过程来搜索最优数据增强策略的方法，首先创建包含数据增强策略的搜索空间，然后使用强化学习作为搜索算法来寻找最佳数据增强策略，最后在数据集上评估所选策略的质量。由于自动数据增强策略具有可迁移性，而无需对额外数据进行预先训练的微调权重，通过在imagenet数据集上预训练学到的最优策略直接迁移到医学x射线肺部图像数据集上，对模型输入的图片样本进行数据增强操作。[0045]在步骤s1中，根据图片特征层提取注意力地图，注意力机制与深度学习的结合大多基于掩码(mask)。掩码通过生成另一层新的权重，将图像数据中的关键特征标识出来，进而促使深度学习方法学习图片中重点关注的区域。通过注意力机制，细粒度分类网络识别其中的关键性区域，实现对异常部位的聚焦，进而可以提高检测精度。[0046]图像特征f∈rh×w×n，其中h、w、n分别代表特征提取网络特征层的高度、宽度与通道数；在图像特征层增加1*1卷积运算，得到注意力地图a∈rh×w×m，具体如下式(1)：[0047][0048]其中，f(·)为卷积操作；m为注意力地图数量，ak∈rh×w；k为注意力地图编号。[0049]步骤s2中，注意力引导数据增强模块102包括：注意力裁剪操作和注意力下降操作。[0050]步骤s2中，注意力引导数据增强模块102，该模块的数据增强基于注意力地图，并采用注意力地图引导数据进行数据增强，主要包括注意力裁剪和注意力下降。增强数据和原始数据一起输入到特征提取部分进行训练。[0051]步骤s2中，注意力引导数据增强可以促使特征增强算法专注于关键区域，进而提高特征增强的效果，注意力引导数据增强机制是通过注意力地图的裁剪模块进行注意力裁剪，下降模块进行注意力下降最终得到增强后的数据。[0052]在进行注意力裁剪操作和注意力下降操作前，将ak归一化，如式(2)所示：[0053][0054]其中ak*表示ak归一化后的结果。[0055]所述注意力裁剪操作，具体为：[0056]首先，预设阈值θc，使得ak*中大于θc的元素设置为1，其余设置为0，如式(3)所式：[0057][0058]其次，搜索一个框b，使其覆盖ck区域，并将b放大至输入数据大小。[0059]所述注意力下降操作，具体为：使得ak*中大于θc的元素设置为0，其余设置为1，如式(4)所式：[0060][0061]注意力下降操作主要为了避免注意力关注同一物体的同一部分形成过拟合，因此注意力下降鼓励算法探索图像其他部分的辨识性特征，进而提高分类结果的鲁棒性和准确性。[0062]步骤s4中，特征融合模块采用双线性注意力池化(bilinearattentionpooling，bap)将注意力地图和图像特征进行融合，使得模型聚焦于关键部位后，输送至分类层得到的最终分类结果。bap特征融合模块基于注意层和特征层以获得特征映射。[0063]步骤s4具体为：bap特征融合模块103通过将注意力地图与图像特征进行元素级相乘后得到关键部位的数据特征，并采用全局最大池化，得到一组特征向量p，输入全连接层进行最终细粒度的分类，如公式(5)所示：[0064][0065]式(5)中，g()表示全局最大池化；fk为局部特征向量。[0066]所述检测模型采用注意力机制实现对肺部异常部位进行定位。[0067]为了更好的对本发明提出的内容进行解释说明，下面提供1个采用本发明的具体实施案例。以下案例选用在imagenet图像分类数据集预训练的inceptionv3作为模型的特征提取网络。选择sgd作为优化器，动量为0.9。epoch为160，权重衰减为0.0001，mini‑batch为6，m为32。模型性能评价采用准确度(accuracy)衡量本发明所提的fg‑sdd方法的性能。[0068]本案例采用的数据集是chestxray2017数据集，该数据集从5856名患者中收集并标记共5232张儿童胸部x光图像，其中包括3883张描述为肺炎的图像(细菌2538张，病毒1345张)和1349张正常的图像。按照8:2的训练集与测试集对数据集进行划分，4186张胸部x光图像参与模型训练，剩余的1046张图像对训练好的模型进行测试。[0069]fg‑sdd在chestxray2017数据集上的结果表1所示，本方法的精度已达到99.15％，其他文献中的方法：如(identifyingmedicaldiagnosesandtreatablediseasesbyimage‑baseddeeplearning,imdt)、(anoveltransferlearningbasedapproachforpneumoniadetectioninchestx‑rayimages,tlpd)、(deeplearningonchestx‑rayimagestodetectandevaluatepneumoniacasesattheeraofcovid‑19,dl‑depc)、(classificationofimagesofchildhoodpneumoniausingconvolutionalneuralnetworks,cp‑cnn)、(identificationandclassificationofpneumoniadiseaseusingadeeplearning‑basedintelligentcomputationalframework,dcnn)、(predictpneumoniawithchestx‑rayimagesbasedonconvolutionaldeepneurallearningnetworks,acnn‑rf)的平均精度分别为92.80％、96.39％、92.57％、95.30％、96.09％、96.90％，由此可见该方法在医学数据集上有良好效果。[0070]表1fg‑sdd与其他方法在chestxray2017数据集的检测结果(％)[0071][0072]本发明的有益效果是：大大提高了医学x射线图像检测的精度和效率，避免了因为环境条件或是主观判断等因素影响检测结果的准确性，实现了能更好更精确地进行肺部异常检测，更加快速的识别肺部表面问题，适用性较好，有利于在实际应用中推广使用。[0073]以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。当前第1页12当前第1页12
背景技术：
：：2.细粒度图像分类(fine‑grainedimageclassification)是机器视觉领域一项重要研究内容。不同于一般的图像分类任务，其目标对象属于粗粒度类别，细粒度图像分类是针对大类下的子类进行区分。由于细粒度分类的特性使得子类之间视觉表征十分相似，只存在微小的局部差异，因此细粒度图像分类相较于普通图像分类任务难度更大。3.早期细粒度图像分类方法都是基于人工特征的算法，由于人工特征表述能力有限，其分类效果有一定的局限性。近年来，随着深度学习的发展，卷积神经网络凭借其优异的自动特征提取能力在细粒度图像分类领域得到大量的应用。基于深度学习的细粒度分类方法的流程主要有：找出具有明显区域特征的局部区域；利用卷积神经网络提取这些区域的特征；级联这些特征训练分类器实现分类与检测。4.全世界每天都产生大量的医学影像信息，医学图像上异常部位的检测是分析医学图像的关键步骤，提高诊断效率一直是医学图像检测的重中之重，因此国内外都十分重视医学影像处理。医学图像的异常部位检测也是计算机视觉检测的一个重要部分，其检测的准确程度会直接影响最终的诊断结果，人工检测的速度较慢、效率低下，而且在检测的过程中容易出错，从而导致了检测结果的不精确，而利用机器视觉检测很好地克服了这一点。技术实现要素：5.本发明属于基于计算机视觉技术的图像检测技术。利用计算机视觉模拟人类视觉的功能，从具体的实物进行图象的采集处理、计算、最终进行实际检测、控制和应用。本发明提出基于细粒度的医学x射线肺部图像检测模型，并采用注意力机制可以很好的实现对医学x射线肺部图像上异常部位的检测定位。6.本发明提供的一种基于细粒度的医学x射线肺部图像检测方法，包括以下步骤：7.构建检测模型，所述检测模型包括：特征提取模块、注意力引导数据增强模块、bap特征融合模块；8.利用检测模型实现肺部图像检测，具体如下：9.s1：获取原始肺部图像样本数据，将原始肺部图像样本数据输入至特征提取模块，得到图像特征和注意力地图；10.s2：将所述注意力地图输入至注意力引导数据增强模块进行数据增强，得到增强数据；11.s3：将所述增强数据和原始肺部图像样本数据输入至所述特征提取模块中进行训练，得到训练后的注意力地图和图像特征；12.s4：将训练后的注意力地图和图像特征输入至bap特征融合模块进行融合，得到融合特征；13.s5：将融合特征输入分类层，得到最终的检测结果。14.进一步地，步骤s1具体为：采用自动数据增强方法对原始肺部图像样本数据进行数据增强；采用预训练好的inceptionv3网络作为特征提取网络，提取图像特征f和注意力地图a。15.进一步地，图像特征f∈rh×w×n，其中h、w、n分别代表特征提取网络特征层的高度、宽度与通道数；在图像特征层增加1*1卷积运算，得到注意力地图a∈rh×w×m，具体如下式(1)：[0016][0017]其中，f(·)为卷积操作；m为注意力地图数量，ak∈rh×w；k为注意力地图编号。[0018]进一步地，步骤s2中，注意力引导数据增强模块包括：注意力裁剪操作和注意力下降操作。[0019]进一步地，在进行注意力裁剪操作和注意力下降操作前，将ak归一化，如式(2)所示：[0020][0021]其中ak*表示ak归一化后的结果。[0022]进一步地，所述注意力裁剪操作，具体为：[0023]首先，预设阈值θc，使得ak*中大于θc的元素设置为1，其余设置为0，如式(3)所式：[0024][0025]其次，搜索一个框b，使其覆盖ck区域，并将b放大至输入数据大小。[0026]进一步地，所述注意力下降操作，具体为：使得ak*中大于θc的元素设置为0，其余设置为1，如式(4)所式：[0027][0028]步骤s4具体为：bap特征融合模块通过将注意力地图与图像特征进行元素级相乘后得到关键部位的数据特征，并采用全局最大池化，得到一组特征向量p，如公式(5)所示：[0029][0030]式(5)中，g()表示全局最大池化；fk为局部特征向量。[0031]本发明提供的有益效果是：大大提高了医学x射线图像检测的精度和效率，避免了因为环境条件或是主观判断等因素影响检测结果的准确性，实现了能更好更精确地进行肺部异常检测，更加快速的识别肺部表面问题，适用性较好，有利于在实际应用中推广使用。附图说明[0032]图1是本发明一种基于细粒度的医学x射线肺部图像检测方法的具体流程图；[0033]图2是本发明一种基于细粒度的医学x射线肺部图像检测方法的简化流程图。具体实施方式[0034]为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。[0035]请参考图1和图2，一种基于细粒度的医学x射线肺部图像检测方法，包括以下步骤：[0036]构建检测模型，所述检测模型包括：特征提取模块101、注意力引导数据增强模块102、bap特征融合模块103；[0037]利用检测模型实现肺部图像检测，具体如下：[0038]s1：获取原始肺部图像样本数据，将原始肺部图像样本数据输入至特征提取模块101，得到图像特征和注意力地图；[0039]s2：将所述注意力地图输入至注意力引导数据增强模块102进行数据增强，得到增强数据；[0040]s3：将所述增强数据和原始肺部图像样本数据输入至所述特征提取模块101中进行训练，得到训练后的注意力地图和图像特征；[0041]s4：将训练后的注意力地图和图像特征输入至bap特征融合模块103进行融合，得到融合特征；[0042]s5：将融合特征输入分类层，得到最终的检测结果。[0043]步骤s1具体为：采用自动数据增强方法对原始肺部图像样本数据进行数据增强；采用预训练好的inceptionv3网络作为特征提取网络，提取图像特征f和注意力地图a。[0044]步骤s1中采用了自动特征增强方法，自动数据增强是一种利用自动搜索过程来搜索最优数据增强策略的方法，首先创建包含数据增强策略的搜索空间，然后使用强化学习作为搜索算法来寻找最佳数据增强策略，最后在数据集上评估所选策略的质量。由于自动数据增强策略具有可迁移性，而无需对额外数据进行预先训练的微调权重，通过在imagenet数据集上预训练学到的最优策略直接迁移到医学x射线肺部图像数据集上，对模型输入的图片样本进行数据增强操作。[0045]在步骤s1中，根据图片特征层提取注意力地图，注意力机制与深度学习的结合大多基于掩码(mask)。掩码通过生成另一层新的权重，将图像数据中的关键特征标识出来，进而促使深度学习方法学习图片中重点关注的区域。通过注意力机制，细粒度分类网络识别其中的关键性区域，实现对异常部位的聚焦，进而可以提高检测精度。[0046]图像特征f∈rh×w×n，其中h、w、n分别代表特征提取网络特征层的高度、宽度与通道数；在图像特征层增加1*1卷积运算，得到注意力地图a∈rh×w×m，具体如下式(1)：[0047][0048]其中，f(·)为卷积操作；m为注意力地图数量，ak∈rh×w；k为注意力地图编号。[0049]步骤s2中，注意力引导数据增强模块102包括：注意力裁剪操作和注意力下降操作。[0050]步骤s2中，注意力引导数据增强模块102，该模块的数据增强基于注意力地图，并采用注意力地图引导数据进行数据增强，主要包括注意力裁剪和注意力下降。增强数据和原始数据一起输入到特征提取部分进行训练。[0051]步骤s2中，注意力引导数据增强可以促使特征增强算法专注于关键区域，进而提高特征增强的效果，注意力引导数据增强机制是通过注意力地图的裁剪模块进行注意力裁剪，下降模块进行注意力下降最终得到增强后的数据。[0052]在进行注意力裁剪操作和注意力下降操作前，将ak归一化，如式(2)所示：[0053][0054]其中ak*表示ak归一化后的结果。[0055]所述注意力裁剪操作，具体为：[0056]首先，预设阈值θc，使得ak*中大于θc的元素设置为1，其余设置为0，如式(3)所式：[0057][0058]其次，搜索一个框b，使其覆盖ck区域，并将b放大至输入数据大小。[0059]所述注意力下降操作，具体为：使得ak*中大于θc的元素设置为0，其余设置为1，如式(4)所式：[0060][0061]注意力下降操作主要为了避免注意力关注同一物体的同一部分形成过拟合，因此注意力下降鼓励算法探索图像其他部分的辨识性特征，进而提高分类结果的鲁棒性和准确性。[0062]步骤s4中，特征融合模块采用双线性注意力池化(bilinearattentionpooling，bap)将注意力地图和图像特征进行融合，使得模型聚焦于关键部位后，输送至分类层得到的最终分类结果。bap特征融合模块基于注意层和特征层以获得特征映射。[0063]步骤s4具体为：bap特征融合模块103通过将注意力地图与图像特征进行元素级相乘后得到关键部位的数据特征，并采用全局最大池化，得到一组特征向量p，输入全连接层进行最终细粒度的分类，如公式(5)所示：[0064][0065]式(5)中，g()表示全局最大池化；fk为局部特征向量。[0066]所述检测模型采用注意力机制实现对肺部异常部位进行定位。[0067]为了更好的对本发明提出的内容进行解释说明，下面提供1个采用本发明的具体实施案例。以下案例选用在imagenet图像分类数据集预训练的inceptionv3作为模型的特征提取网络。选择sgd作为优化器，动量为0.9。epoch为160，权重衰减为0.0001，mini‑batch为6，m为32。模型性能评价采用准确度(accuracy)衡量本发明所提的fg‑sdd方法的性能。[0068]本案例采用的数据集是chestxray2017数据集，该数据集从5856名患者中收集并标记共5232张儿童胸部x光图像，其中包括3883张描述为肺炎的图像(细菌2538张，病毒1345张)和1349张正常的图像。按照8:2的训练集与测试集对数据集进行划分，4186张胸部x光图像参与模型训练，剩余的1046张图像对训练好的模型进行测试。[0069]fg‑sdd在chestxray2017数据集上的结果表1所示，本方法的精度已达到99.15％，其他文献中的方法：如(identifyingmedicaldiagnosesandtreatablediseasesbyimage‑baseddeeplearning,imdt)、(anoveltransferlearningbasedapproachforpneumoniadetectioninchestx‑rayimages,tlpd)、(deeplearningonchestx‑rayimagestodetectandevaluatepneumoniacasesattheeraofcovid‑19,dl‑depc)、(classificationofimagesofchildhoodpneumoniausingconvolutionalneuralnetworks,cp‑cnn)、(identificationandclassificationofpneumoniadiseaseusingadeeplearning‑basedintelligentcomputationalframework,dcnn)、(predictpneumoniawithchestx‑rayimagesbasedonconvolutionaldeepneurallearningnetworks,acnn‑rf)的平均精度分别为92.80％、96.39％、92.57％、95.30％、96.09％、96.90％，由此可见该方法在医学数据集上有良好效果。[0070]表1fg‑sdd与其他方法在chestxray2017数据集的检测结果(％)[0071][0072]本发明的有益效果是：大大提高了医学x射线图像检测的精度和效率，避免了因为环境条件或是主观判断等因素影响检测结果的准确性，实现了能更好更精确地进行肺部异常检测，更加快速的识别肺部表面问题，适用性较好，有利于在实际应用中推广使用。[0073]以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
