一种基于注意力学习机制的定量超声定位显微成像方法

1.本发明属于超声成像技术领域，具体涉及一种基于注意力学习机制的定量超声定位显微成像方法。


背景技术：

2.超声成像可非侵入地对生物组织实现快速、无辐射成像，目前已得到广泛应用。然而，受声学衍射理论的限制，超声成像的空间分辨率不高。为了解决该问题，超声定位显微成像技术被提出。对比传统超声成像，超声定位显微成像可将其成像空间分辨率提高一个量级，实现超高分辨超声成像。然而，目前的超声定位显微成像技术仅关注对成像区域内的微泡位置信息进行定位，而无法对其幅值信息进行准确恢复，即无法实现定量成像。从某种角度而言，这限制了超声定位显微成像技术的进一步应用。
3.深度学习在图像的超分辨重建领域具有重要应用潜力。简要而言，深度学习方法通过训练大量配对的数据集，可以学习低分辨图像与高分辨图像之间的端到端映射。基于训练好的学习模型，可实现超分辨重建。在基于深度学习的方法中，注意力机制已被成功地用于提高重要特征处理的效率和准确性，相较于传统的卷积神经网络，该机制能够针对特征的重要性进行针对性学习和提取。


技术实现要素：

4.为解决上述问题，提供一种深度学习技术和超声定位显微成像结合的成像方法，本发明采用了如下技术方案：
5.本发明提供了一种基于注意力学习机制的定量超声定位显微成像方法，其特征在于，包括以下步骤：步骤s1，构建基于注意力机制的深度卷积神经网络；步骤s2，训练深度卷积神经网络得到定量超声定位显微成像模型；步骤s3，获取待成像的原始超声图像序列，每帧原始超声图像中含随机分布的微泡；步骤s4，将原始超声图像输入至定量超声定位显微成像模型中，从而对原始超声的每一帧图像中微泡的幅值及位置信息进行准确恢复；步骤s5，将所有帧的恢复结果进行叠加获取与原始超声图像对应的定量超声定位显微成像图，其中，深度卷积神经网络包含第一卷积层、多尺度注意力机制模块以及亚像素卷积层。
6.本发明提供的一种基于注意力学习机制的定量超声定位显微成像方法，还可以具有这样的技术特征，其中，步骤s2包括以下子步骤：步骤s2-1，基于超声成像系统获取训练数据以及训练标签；步骤s2-2，基于mse结合l1正则化和结构相似性指标构建损失函数：
[0007][0008]
式中，θ是训练标签，是网络的预测输出图像，n是网络每次优化遍历的小批量图像数量，λ1、λ2为加权系数；步骤s2-3，将训练数据和训练标签分别作为输入和输出，使用损失函数对深度卷积神经网络采用adam优化算法进行优化遍历训练，从而得到定量超声定位显微成像模型。
[0009]
本发明提供的一种基于注意力学习机制的定量超声定位显微成像方法，还可以具有这样的技术特征，其中，在优化遍历训练中，训练周期为500，网络每次优化遍历的小批量图像数量n为50，初始学习率为0.001。
[0010]
本发明提供的一种基于注意力学习机制的定量超声定位显微成像方法，还可以具有这样的技术特征，其中，训练数据的获取过程如下：步骤s2-1-1，基于超声成像系统，对原始图像的成像区域内的单个微泡进行多次成像，并计算多次成像结果中的单个微泡的平均横向半高宽fhwm
x
与平均纵向半高宽fhwmy；步骤s2-1-2，基于平均横向半高宽fhwm
x
与平均纵向半高宽fhwmy，计算获取横向标准差δ
x
与纵向标准差δy：
[0011][0012]
步骤s2-1-3，基于横向标准差δ
x
与纵向标准差计算获取超声成像系统的点扩散函数模型：
[0013][0014]
式中，h(x,y)为代表点扩散函数，σ
x
和σy分别是横向标准差与纵向标准差，f表示超声发射频率，c表示声速；步骤s2-1-4，在第一预定像素的网格区域中生成随机分布的n个不同亮度的微泡；步骤s2-1-5，利用前向模型通过在n不同亮度微泡的真实位置处根据点扩散函数模型h(x,y)进行卷积从而模拟超声成像过程，获得无噪声显微仿真图像；步骤s2-1-6，将不同信噪比的高斯白噪声添加至无噪声显微仿真图像得到训练数据，将无噪声显微仿真图像中的微泡分布信息映射至第二预定像素的网格区域后作为训练标签。
[0015]
本发明提供的一种基于注意力学习机制的定量超声定位显微成像方法，还可以具有这样的技术特征，其中，第一预定像素为64x64，第二预定像素为256x256。
[0016]
本发明提供的一种基于注意力学习机制的定量超声定位显微成像方法，还可以具有这样的技术特征，其中，高斯白噪声的数值范围为5db至25db。
[0017]
本发明提供的一种基于注意力学习机制的定量超声定位显微成像方法，还可以具有这样的技术特征，其中，卷积层用于提取图像的浅层特征，亚像素卷积层用于实现上采样操作，多尺度注意力机制模块用于数据深层有效特征的提取，该卷积模块包含两个通道空间注意力模块和一个多尺度融合注意力模块，卷积层与多尺度注意力机制模块相连接，用于全局残差学习。
[0018]
本发明提供的一种基于注意力学习机制的定量超声定位显微成像方法，还可以具有这样的技术特征，其中，通道空间注意力模块由通道注意力模块和空间注意力模块层叠组成，通道注意力模块针对特征图的每个通道学习加权系数，考虑图像的所有区域，空间注意力模块针对特征图中每个不同的区域学习加权系数，考虑特征图的所有通道。
[0019]
本发明提供的一种基于注意力学习机制的定量超声定位显微成像方法，还可以具有这样的技术特征，其中，多尺度融合注意力模块由多尺度注意力模块和时空融合注意力模块组合而成，多尺度注意力模块包含具有不同感受野的卷积操作、通道注意力卷积以及空间注意力卷积，时空融合注意力模块由通道注意力和空间注意力进行跳连接叠加组成，每两个模块之间进行跳跃连接用于局部残差学习。
[0020]
发明作用与效果
[0021]
根据本发明的基于注意力学习机制的定量超声定位显微成像方法，针对现有超声定位显微成像技术中存在的不足，采用了结合注意力机制、残差学习和上采样操作的端到端的深度卷积神经网络，基于该深度卷积神经网络训练得到定量超声定位显微成像模型，通过该模型准确恢复每一帧原始超声图像中的微泡幅值及位置信息，最后将所有帧的恢复结果进行叠加获取与原始超声图像对应的定量超声定位显微成像图。由于引入了多尺度注意力机制模块，使得网络可在不同尺度上提取微泡幅值信息，解决了微泡幅值差异性较大等问题；还由于在网络中添加了跳跃连接、应用了局部残差结构和全局残差结构，使得训练误差减小，因此避免了由于梯度消失或梯度爆炸等原因导致较深的网络难以优化训练的缺陷。
[0022]
本发明的基于注意力学习机制的定量超声定位显微成像方法将深度学习技术与超声定位显微成像相结合，显著提高了超声成像中对微泡幅值信号的解析能力，同时降低了超声定位显微成像的计算复杂度，避免了参数依赖，适用于定量超声定位显微成像。
附图说明
[0023]
图1是本发明实施例中的基于注意力学习机制的定量超声定位显微成像方法的流程图；
[0024]
图2是本发明实施例中基于注意力机制的深度卷积神经网络的结构示意图；
[0025]
图3是本发明实施例中基于仿真血管模型的模拟成像示意图；
[0026]
图4是本发明实施例中基于本发明的方法对仿真血管模型重建得到的超声定位显微成像结果图；以及
[0027]
图5是本发明实施例中基于本发明的方法对仿真血管模型重建得到的超声定位显微图像的幅值比较结果。
具体实施方式
[0028]
针对现有超声定位显微成像技术中存在的不足，本发明提出一种基于注意力深度学习机制的定量超声定位显微成像方法，显著提高超声成像中对微泡幅值信号的解析能力，同时降低超声定位显微成像的计算复杂度，避免了参数依赖，适用于定量超声定位显微成像。
[0029]
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的一种基于注意力学习机制的定量超声定位显微成像方法作具体阐述。
[0030]
《实施例》
[0031]
图1是本发明实施例中的基于注意力学习机制的定量超声定位显微成像方法的流程图。
[0032]
如图1所示，基于注意力学习机制的定量超声定位显微成像方法包括以下步骤：
[0033]
步骤s1，构建基于注意力机制的深度卷积神经网络。
[0034]
本实施例中，采用一个结合注意力机制、残差学习和上采样操作的端到端的深度卷积神经网络用于超声图像的定量超高分辨重建。
[0035]
图2是本发明实施例中基于注意力机制的深度卷积神经网络的结构示意图。
[0036]
如图2所示，该深度卷积神经网络共包含三部分。
[0037]
其中，第一部分由具有较大卷积核的卷积层组成，用于提取图像的浅层特征。
[0038]
第二部分为该深度卷积神经网络的主体即多尺度注意力机制模块，用于数据深层有效特征的提取。该部分包含两个通道空间注意力模块(channel spatial attention block)和一个多尺度融合注意力模块(multi-scale channel-spatial fusion block)。
[0039]
其中，通道空间注意力模块由通道注意力模块和空间注意力模块层叠组成。通道注意力模块针对特征图的每个通道学习加权系数，考虑图像的所有区域；空间注意力模块针对特征图中每个不同的区域学习加权系数，考虑特征图的所有通道。
[0040]
多尺度融合注意力模块由多尺度注意力模块和时空融合注意力模块组合而成。其中的多尺度注意力模块包含具有不同感受野的卷积操作、通道注意力卷积以及空间注意力卷积。而时空融合注意力模块由通道注意力和空间注意力进行跳连接叠加组成，每两个模块之间进行跳跃连接用于局部残差学习。
[0041]
本实施例中，第一部分的卷积层和第三部分之前的卷积层相连接，用于全局残差学习。第三部分为亚像素卷积层，用于实现上采样操作。
[0042]
步骤s2，训练深度卷积神经网络得到定量超声定位显微成像模型。具体地：
[0043]
步骤s2-1，基于超声成像系统获取训练数据以及训练标签。
[0044]
该步骤的训练数据以及训练标签的获取过程如下：
[0045]
步骤s2-1-1，基于超声成像系统，对原始图像的成像区域内的单个微泡进行多次成像，并计算多次成像结果中的单个微泡的平均横向半高宽fhwm
x
与平均纵向半高宽fhwmy；
[0046]
步骤s2-1-2，基于平均横向半高宽fhwm
x
与平均纵向半高宽fhwmy，计算获取横向标准差δ
x
与纵向标准差δy：
[0047][0048]
步骤s2-1-3，基于横向标准差δ
x
与纵向标准差计算获取超声成像系统的点扩散函数模型：
[0049][0050]
式中，h(x,y)为代表点扩散函数，σ
x
和σy分别是横向标准差与纵向标准差，f表示超声发射频率，c表示声速；
[0051]
步骤s2-1-4，在64x64的网格区域中生成随机分布的n个不同亮度的微泡；
[0052]
步骤s2-1-5，利用前向模型通过在n不同亮度微泡的真实位置处根据点扩散函数模型h(x,y)进行卷积从而模拟超声成像过程，获得无噪声显微仿真图像；
[0053]
步骤s2-1-6，为了增加训练模型的鲁棒性，将不同信噪比(snr)的高斯白噪声(5-25db)添加至部分的无噪声显微仿真图像得到训练数据，将无噪声显微仿真图像中的微泡分布信息映射至256x256像素的网格区域后作为训练标签。
[0054]
图3是本发明实施例中基于仿真血管模型的定量超声定位显微成像示意图。
[0055]
图3中(a)为均值图像；(b)为仿真血管模型的仿真血管真实分布；(d)-(e)分别为
(a)-(b)中方框区域的放大图。
[0056]
在获取上述训练数据的获取过程中，本实施例基于图3(b)所示的仿真血管模型进行模拟超声成像，以获取不同时刻的超声图像序列。每帧图像包含多个幅值不一的点散射体(微泡)，随机分布在仿真血管模型区域内。其具体仿真过程如下：
[0057]
在每次超声成像过程中，在仿真血管模型区域内，随机激活1-5个幅值信息各异的微泡，通过卷积上述计算得到的成像系统的点扩散函数，进行超声成像的仿真；之后，随机改变血管模型中1-5个微泡的位置，并再次对其进行仿真成像；为了描述微泡在血管模型内的运动，上述成像过程重复2000次，得到2000帧原始超声图像。在获取所有原始超声图像之后，为模拟实际实验中噪声的影响，对生成的超声图像逐一添加20db的高斯白噪声。
[0058]
与传统的超声定位显微成像方法不同，本发明提出的方法直接通过网络将原始低分辨超声图像映射到具有真实微泡分布(位置和幅值)的超高分辨超声图像，因此损失函数对网络训练有很大影响。而使用图像处理中常用的均方误差(mse)损失通常会使得输出结果过于平滑，无法准确评估微泡幅值信息的恢复效果，不适用于定量微泡重建任务。因此，本实施例使用mse结合l1正则化和结构相似性指标(ssim)的损失函数对网络进行训练：
[0059]
步骤s2-2，基于mse结合l1正则化和结构相似性指标构建损失函数：
[0060][0061]
式中，θ是训练标签，是网络的预测输出图像，n是网络每次优化遍历的小批量图像数量，λ1、λ2为加权系数。
[0062]
步骤s2-3，将训练数据和训练标签分别作为输入和输出，使用损失函数对深度卷积神经网络采用adam优化算法进行优化遍历训练，从而得到定量超声定位显微成像模型。
[0063]
本实施例中，采用adam优化算法在包含5000对原始超声图像和相应标签的训练集上训练总共500个周期(遍历训练集500次)，其中网络每次优化遍历的小批量大小n为50，初始学习率为0.001。为了使误差有效稳定的收敛，本实施例使用学习率衰减策略(即降低训练误差平稳时的学习率)。
[0064]
步骤s3，获取待成像的原始超声图像序列，每帧原始超声图像中含随机分布的微泡。
[0065]
步骤s4，将原始超声图像输入至定量超声定位显微成像模型中，从而对原始超声的每一帧图像中微泡的幅值及位置信息进行准确恢复。
[0066]
步骤s5，将所有帧的恢复结果进行叠加获取与原始超声图像对应的定量超声定位显微成像图。
[0067]
图4是本发明实施例中基于本发明的方法对仿真血管模型重建得到的超声定位显微成像结果图，以及图5是本发明实施例中基于本发明的方法对仿真血管模型重建得到的超声定位显微图像的幅值比较结果。
[0068]
本实施例中，利用训练得到的定量超声定位显微成像模型对基于仿真血管获取的超声图像进行分析，得到的显微成像结果如图4(c)所示，图4(f)为图4(c)中方框区域的放大图。
[0069]
而基于本发明的定量超声定位显微成像模型得到的微泡的幅值结果如图5所示。其中，图5(a)对应为图3(b)、图4(c)中横向白色虚线的幅值曲线；图5(b)对应为图3(b)、图4
(c)中纵向白色虚线的幅值曲线。
[0070]
实施例作用与效果
[0071]
根据本实施例提供的基于注意力学习机制的定量超声定位显微成像方法，针对现有超声定位显微成像技术中存在的不足，采用了结合注意力机制、残差学习和上采样操作的端到端的深度卷积神经网络，基于该深度卷积神经网络训练得到定量超声定位显微成像模型，通过该模型准确恢复每一帧原始超声图像中的微泡幅值及位置信息，最后将所有帧的恢复结果进行叠加获取与原始超声图像对应的定量超声定位显微成像图。该方法将深度学习技术与超声定位显微成像相结合，显著提高了超声成像中对微泡幅值信号的解析能力，同时降低了超声定位显微成像的计算复杂度，避免了参数依赖，适用于定量超声定位显微成像。
[0072]
实施例中，由于引入了多尺度注意力机制模块，使得网络可在不同尺度上提取微泡幅值信息，解决了微泡幅值差异性较大等问题；还由于在网络中添加了跳跃连接、应用了局部残差结构和全局残差结构，使得训练误差减小，因此避免了由于梯度消失或梯度爆炸等原因导致较深的网络难以优化训练的缺陷。
[0073]
实施例中，还由于构建了结合mse、l1正则化和结构相似性指标(ssim)的损失函数，解决了由现有技术中常用的均方误差(mse)损失函数来训练深度学习模型从而带来的使重建图像过于平滑、导致无法准确评估微泡幅值恢复效果等问题，使得该定量超声定位显微成像模型更好地适用于微泡定量重建任务。
[0074]
上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。