一种基于深度学习的卵圆孔未闭微泡计数方法

1.本发明属于图像分割技术领域，具体涉及一种基于深度学习的卵圆孔未闭微泡计数方法。


背景技术：

2.卵圆孔是左右心房隔膜上存在的缝隙，通常情况下，胎儿出生后卵圆孔会逐渐闭合，心房之间不能相通。若超过3岁卵圆孔仍未关闭，则称为卵圆孔未闭(patent foramen ovale,pfo)。卵圆孔未闭是现今成年人中最常见的先天性心脏病之一。在不明原因卒中，有40％～50％存在卵圆孔未闭。如果在早期判断出卵圆孔未闭的级别并通过介入或手术堵住卵圆孔，可避免其扩大而引起脑卒中，造成严重后果。因此，准确地识别出卵圆孔缝隙的大小对卵圆孔未闭诊断具有重要意义。
3.在临床中，卵圆孔未闭等级的划分耗时、费力，而且存在不同医生的等级分类结果或同一医生不同时间的等级分类结果存在误差的现象。随着国家对人民健康关注程度的提高，“互联网 医疗”成为了一项重要的民生工程。大数据、人工智能理论等理论技术的兴起和发展为实现现代化辅助诊疗提供了新的研究思路。实现卵圆孔未闭的智能等级分类为该疾病提供了统一的分类标准，有助于提高医生诊断的决策性和敏感性以及完善辅助诊疗系统的智能性和规范性，使临床医学能够适应当前“互联网”背景下的诊疗需求，是医疗发展的趋势。
4.现阶段，国内外学者提出了多种方法实现各种疾病的智能诊断，但对于卵圆孔未闭的智能等级划分的研究仍处于起步阶段。由于超声成本低、没有已知的风险等优点，使得超声心动图成为心脏可视化的首选手段。近期，部分学者提出了基于超声心动图卵圆孔未闭等级分类方法，尽管采用这些方法已经完成了卵圆孔未闭的智能等级划分，但这些方法仍存在许多不足之处，如基于病灶区域灰度值强度的分类方法，虽然在一定程度上达到了对该疾病智能分类的目的，但其识别率不高且并未按照医学诊断的标准来实现诊断，存在一定的缺陷。
5.根据经胸超声心动图联合右心声学造影的临床等级分类标准，如何提高超声图像病灶区域的分割精度并进行定量分析，是卵圆孔未闭等级智能划分亟待解决的首要问题。针对现有的卵圆孔未闭等级划分现状，本发明特提出一种基于深度学习的卵圆孔未闭微泡计数方法。利用神经网络善于发掘训练样本中隐含规律的特性，致力于提高病灶分割区域的精度。


技术实现要素：

6.本发明所要解决的技术问题是提供一种基于深度学习的卵圆孔未闭微泡计数方法，解决现有技术中卵圆孔未闭分类时超声图像分割精度低、微泡计数不准确等问题。
7.本发明为解决上述技术问题所采用的技术方案是：一种基于深度学习的卵圆孔未闭微泡计数方法，包括：
步骤1、对超声图像左心病灶区域进行分割；步骤2、对分割后的病灶部分图像使用卷积神经网络生成对应的密度图，并通过积分求和的方式计算出分割区域中微泡的总数。
8.本发明所述步骤1中对超声图像左心病灶区域进行分割的具体方法为：(1)编码：首先输入超声图像，通过双层卷积操作进行特征提取整理出有效的特征供后续使用；其次通过池化操作对特征进行降维，去除冗余的信息，简化网络的复杂度，减小计算量；经过4次降维，提取出图像中的主要特征信息；(2)解码：对于降维后的特征使用反卷积操作恢复特征维度，恢复到原始的分辨率；在进行反卷积操作的同时，使用skip-connection操作把含有丰富浅层信息的特征引入，更利于生成分割二值图；输出结果，使用1*1的卷积层做分类，输出前景和背景两层；(3)后期处理：对于病灶区域分割后产生的二值图像边缘不光滑的问题，使用滤波器进行平滑处理，得到光滑边缘的二值图像；再将该图像与原图叠加，实现左心病灶区域的分割。
9.本发明所述步骤2中计算分割区域中微泡总数的方法为：将病灶图像分别输入到asnet和danet中，asnet的一个分支为密度估计分支，生成中间密度图，另一个为注意力尺度分支，生成尺度因子；danet为asnet提供不同密度等级的相关区域的注意力掩膜，asnet将尺度因子、中间密度图与注意力掩膜相乘，得到输出的密度图，再将所有的输出密度图相加，得到最终的密度图，最后通过对密度图积分，得出左心病灶区域微泡的数量。
10.本发明的有益效果是：本发明利用神经网络对心脏左心房及左心室区域进行病灶分割，对左心病灶区域的有效分割是获取病灶区域大小、形态等参数的关键；再根据分割结果对病灶区域进行定量分析，统计出病灶区域中微泡的数量，可有效实现辅助诊断过程的智慧化与标准化，提高工作效率。
附图说明
11.图1为本发明基于深度学习的卵圆孔未闭微泡计数方法的整体框架图；图2为本发明基于超声切面图像的左心病灶区域分割框架图；图3为本发明基于超声切面图的微泡计数框架图；图4为本发明一实施例的超声图像标注图；图5为本发明一实施例的病灶区域二值图；图6为本发明一实施例分割后的病灶区域图；图7为本发明一实施例的微泡密度图。
具体实施方式
12.在本发明中，经胸超声心动图联合右心声学造影是在临床中用于判断卵圆孔未闭的常用方法。心脏左心病灶区域的大小、形态是判断心脏是否正常的重要参数，根据存在卵圆孔未闭的心脏具有右向左分流的特性，对人体注入带有气泡的生理盐水，在几个心动周期后观察心脏左心区域微泡的数量即可判定出卵圆孔未闭的疾病等级。本发明提出了一种基于深度学习的卵圆孔未闭微泡计数方法。首先使用神经网络对心脏左心房及左心室区域进行病灶分割，对左心病灶区域的有效分割是获取病灶区域大小、形态等参数的关键；再根
据分割结果对病灶区域进行定量分析，统计出病灶区域中微泡的数量。本发明的主要流程如图1所示。
13.本发明主要分为两个部分。第一部分是对超声图像左心病灶区域进行分割，以方便下一步进行功能定量分析处理；第二部分则是对裁剪的病灶部分图像使用卷积神经网络生成对应的密度图，并通过积分求和的方式计算出分割区域中微泡的总数。
14.1.病灶分割对心脏左心病灶区域的分割首先确定分割图像的前景点和背景点，前景点为左心房及左心室病灶区域的点位，背景点则为右心房、右心室以及心肌等黑色区域部分。将原超声图像与前背景点二值图像输入到结合低分辨率和高分辨率信息的unet网络中，以实现超声切面图像中左心室的精准分割。具体工作如下：(1)编码：首先输入超声切面图像，通过双层卷积操作进行特征提取来整理出有效的特征供后续使用；其次通过池化操作对特征进行降维，去除冗余的信息，简化网络的复杂度，减小计算量。最终经过4次降维，提取出图像中的主要特征信息；(2)解码：首先，对于降维后的特征使用反卷积操作恢复特征维度，恢复到原始的分辨率。其次，在进行反卷积操作的同时，使用skip-connection操作把含有丰富浅层信息的特征引入，更利于生成分割二值图。最后，输出结果，使用1*1的卷积层做分类，输出前景和背景两层。具体流程如图2所示；(3)后期处理：对于病灶区域分割后产生的二值图像边缘不光滑的问题，使用滤波器进行平滑处理，得到光滑边缘的二值图像；再将该图像与原图叠加，实现左心的病灶区域的分割。
15.2.卵圆孔未闭智能等级分类根据卵圆孔未闭的分级标准，左心中无微泡为阴性；有微泡为阳性。其中阳性分为3个等级，存在1-10个微泡为少量；存在11-30个微泡为中量，大于30个微泡为大量，故实现该疾病智能分级的关键是确定左心区域中微泡的数量。本方法中，为确定左心区域中微泡的数量，首先需要根据分割区域确定微泡的位置信息并生成对应的密度图，再将病灶分割区域与其对应的密度图输入到目标计数神经网络中，实现微泡的计数。具体工作如下：(1)微泡计数：将病灶图像分别输入到asnet和danet中。asnet的一个分支为密度估计分支，可以生成中间密度图，另一个为注意力尺度分支，可以生成尺度因子。danet为asnet提供了不同密度等级的相关区域的注意力掩膜。asnet将尺度因子、中间密度图与注意力掩膜相乘，得到输出的密度图，再将所有的输出密度图相加，得到最终的密度图。最后通过对密度图积分，得出左心病灶区域微泡的数量。具体流程如图3所示。实施例
16.为了解决临床中卵圆孔未闭诊断耗时、费力的现状，以及解决不同医生的诊断结果或同一医生不同时间的诊断结果存在误差的现象，本发明特提出一种基于深度学习的卵圆孔未闭智能等级分类方法。包含以下步骤：步骤1：获取超声切面图像数据；步骤2：在获取到的超声图像中，人工标记左心内膜的位置。超声图像标注如图4所示；步骤3：将标记过的图像进行预处理，制作成二值图像，作为训练数据。二值图像如
图5所示；步骤4：使用超声图像及二值图像对unet网络进行训练。经过卷积操作对图像特征进行提取，再使用下采样进行特征降维，将预测的图像与二值图像进行对比，得到训练的损失，再不断根据损失调整网络模型，最终得到训练好的网络模型；使用训练好的网络模型对左心区域进行分割，得到分割的二值图像；步骤5：使用中值滤波器，对神经网络输出的黑白二值图像进行边缘平滑处理；步骤6：将平滑处理后的二值图像与原图叠加得到分割好的病灶区域，如图6所示；步骤7：在分割过的病灶图像中，人工标记微泡的位置；步骤8：根据微泡的位置信息生成对应的密度图作为训练数据。密度图如图7所示；步骤9：使用分割的病灶图像对asnet和danet网络进行训练，并使用训练好的模型生成病灶区域对应的微泡密度图；步骤10：对生成的微泡密度图进行积分求和，计算出微泡的数量。