基于医学断层影像的超声仿真方法及系统与流程

1.本发明涉及生超声成像技术领域，具体涉及一种基于医学断层影像的超声仿真方法及系统。


背景技术：

2.目前已有的超声成像模拟的方法都是利用三维医学影像数据模拟超声成像过程得到超声虚拟图像的技术。在超声引导手术、图像处理、超声教育培训等方面得到广泛的应用。因为超声可以实现实时成像，且设备使用便捷，所以医生在手术中会利用超声图像判断手术位置。
3.但是由于超声图像信息位置很弱且成像质量不高，会存在误差。所以使用超声模拟技术，可预先对病人进行ct扫描并存储病人的体数据，手术时在体数据的基础上进行超声图像的模拟，将模拟的图像与病人的真是超声图像进行配准，可以更加精确的判断手术位置，进一步降低手术风险。在医学图像处理中，直接将ct图像进行实时超声图像进行配准，因两个图像的差异太大且噪声和畸变大，难度通常很高，而先由ct或者mri等医学图像先模拟得到超声图像后再与真实超声预先进行配准，就可以降低匹配难度。
4.在医学中，超声成像的原理主要是基于超声在人体组织中产生的反射、散射、衰减等一系列物理现象造成的。由于人体组织的不均匀性，超声波在人体中进行传播的过程中，会由于组织与超声波长的大小之间的差异产生相应的反射、折射、散射等现象。而回波继续被压电装置接收，继而产生超声图像。
5.目前应用最广泛的超声模拟的方法是对超声的反射、折射、散射和衰减进行建模。但是由于反射用到了光线追踪算法，会使得这种仿真方法存在仿真速度慢，不能实现实时仿真的问题；有的算法虽然可以达到实时仿真的效果但是存在仿真结果不够真实等问题。由于不同的超声成像设备获得的超声图像有可能是不同的，存在较大的差异。所以超声模拟中会有很多参数的设置，这些参数直接影响超声模拟的结果。
6.综上所述，目前的超声仿真面临的主要问题是基于医学断层影像的仿真方法结果不够真实，缺乏相应的组织器官，且分辨率较低。


技术实现要素：

7.本发明的目的在于提供一种能够保持生成的图像的纹理信息和其他真实感信息、可以更加接近真实超声的真实感的基于医学断层影像的超声仿真方法及系统，以解决上述背景技术中存在的至少一项技术问题。
8.为了实现上述目的，本发明采取了如下技术方案：
9.一方面，本发明提供一种基于医学断层影像的超声仿真方法，包括：
10.计算断层影像每个体素的声阻抗系数；
11.结合声阻抗系数对断层影像进行反射建模，得到初始反射率图；
12.利用反射率生成网络对初始反射率图进行处理，得到完整反射率图；
13.将完整反射率图和真实超声图像同时输入超声深度学习网络进行真实感学习，得到超声虚拟图像。
14.优选的，对断层影像通过线性拟合的方法进行声阻抗系数的求解。
15.优选的，利用光线追踪算法对断层影像进行反射建模。
16.优选的，利用光线追踪算法对断层影像进行反射建模包括：将一个阵元经过人体组织产生的反射看作是一个扇形区域，一个阵元发射多个超声射线，对每个超声射线进行跟踪扫描，记录在一个射线范围内经过的人体组织的反射率。
17.优选的，反射率的计算同时包括声阻抗产生的反射率和物理现象产生的反射。
18.优选的，由物理现象产生的反射率与界面法向和超声的传播方向有关，其中，采用平均曲率方程的梯度估计法，寻找中心体素点的邻域，建立四元线性回归方程，拟合一个回归切平面，该切平面的法向量为当前体素点的法向量。
19.优选的，反射率生成网络的构建包括：利用光线追踪算法获取多张断层影像的反射率图像数据集，作为监督信息输入基础网络，通过不断学习优化得到反射率生成网络；其中，判别器为利用gan网络的原始判别器，生成器中利用unet的网络架构添加跳跃连接。
20.优选的，超声深度学习网络的构建包括：利用gan网络作为基础网络架构，输入数据集分别为反射率图数据集和真实超声图像数据集，将反射率图像和真实超声图像输入gan网络的生成器中，生成仿真图像；在gan网络的判别器中分别计算仿真图像和反射率图像的均方损失函数以及仿真图象和真实的超声图像的均方损失函数，对网络进行不断的优化学习，得到超声深度学习网络。
21.第二方面，本发明提供一种基于医学断层影像的超声仿真系统，包括：
22.计算模块，用于计算断层影像每个体素的声阻抗系数；
23.第一构建模块，用于结合声阻抗系数对断层影像进行反射建模，得到初始反射率图；
24.第二构建模块，用于利用反射率生成网络对初始反射率图进行处理，得到完整反射率图；
25.第三构建模块，用于将完整反射率图和真实超声图像同时输入超声深度学习网络进行真实感学习，得到超声虚拟图像。
26.第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的基于医学断层影像的超声仿真方法。
27.第四方面，本发明提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的基于医学断层影像的超声仿真方法的指令。
28.本发明有益效果：能够很好的保持图像的几何形状，而且能够学习到真实超声的噪声分布和明暗效果；改进了gan网络不能很好的保持几何形状的缺点，又能保持生成的图像的纹理信息和其他真实感信息；可以更加接近真实超声的真实感，同时，能够更好的保持生成仿真超声对应的人体组织的几何形状。
29.本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变
得明显，或通过本发明的实践了解到。
附图说明
30.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
31.图1为本发明实施例所述的基于医学断层影像的超声仿真方法的流程图。
32.图2为本发明实施例所述的超声深度学习网络架构图。
33.图3为本发明实施例所述的超声深度学习网络中判别器部分新增loss函数模块示意图。
34.图4为本发明实施例所述的超声深度学习网络中生成器部分网络架构图。
35.图5为本发明实施例所述的超声深度学习网络中生成器修改反卷积为上采样加卷积以后网络架构图。
36.图6为本发明实施例所述的反射率图像生成网络架构示意图。
37.图7为本发明反射率生成网络的生成结果，(a)、(c)为用光线追踪生成的反射率图像，(b)、(d)为反射率生成网络生成的反射率图像。
38.图8为本发明实施例所述的基于医学断层影像的超声仿真结果图。
具体实施方式
39.下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
40.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
41.还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
42.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
43.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
44.为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且
具体实施例并不构成对本发明实施例的限定。
45.本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
46.实施例1
47.本实施例1提供一种基于医学断层影像的超声仿真系统，该系统包括：
48.计算模块，用于计算断层影像每个体素的声阻抗系数；
49.第一构建模块，用于结合声阻抗系数对断层影像进行反射建模，得到初始反射率图；
50.第二构建模块，用于利用反射率生成网络对初始反射率图进行处理，得到完整反射率图；
51.第三构建模块，用于将完整反射率图和真实超声图像同时输入超声深度学习网络进行真实感学习，得到超声虚拟图像。
52.本实施例1中，利用上述的基于医学断层影像的超声仿真系统实现了基于医学断层影像的超声仿真方法，该方法包括：
53.利用计算模块计算断层影像每个体素的声阻抗系数；利用第一构建模块结合声阻抗系数对断层影像进行反射建模，得到初始反射率图；利用第二构建模块利用反射率生成网络对初始反射率图进行处理，得到完整反射率图；利用第三构建模块将完整反射率图和真实超声图像同时输入超声深度学习网络进行真实感学习，得到超声虚拟图像。
54.本实施例1中，对断层影像通过线性拟合的方法进行声阻抗系数的求解。很多研究者已经对此进行了总结和验证，具体步骤为：
55.根据表1，已知某组织的ct值和密度值的上限和下限ct
up
和ct
low
，density
up
和density
low
，组织中位置(i,j,k)处体素的密度值为：
[0056][0057]
根据上式求出的密度值计算出每个区间各自对应的密度值再利用线性拟合的方法求出声阻抗方程如下：
[0058]
im
air
＝(0.00086
×
(ct
air
1000) 0.001)
×
1.54
[0059]
im
lung
＝(0.001032
×
(ct
lung
950) 0.044)
×
1.54
[0060]
im
fat
＝(0.00096
×
(ct
softtissue
98) 0.93)
×
1.54
[0061]
im
bone
＝(0.00089
×
(ct
bone-100) 1.12)
×
1.54
[0062]
以上式子中，ct
*
和im
*
分别代表对应组织的ct值和声阻抗系数。
[0063]
表1
[0064]
组织名称ct
low
ct
up
density
low
density
up
空气-1000-9500.0010.044肺部-950-7000.0440.302脂肪-700-980.3020.93软组织-981000.931.12骨组织10010001.121.92
[0065]
本实施例1中，利用光线追踪算法对断层影像进行反射建模。具体的，采用的方式为传统的光线追踪的算法，将一个阵元经过人体组织产生的反射看作是一个扇形区域，一个阵元发射多个超声射线，对每个超声射线进行跟踪扫描，记录在一个射线范围内经过的人体组织的反射率。
[0066]
反射率的计算又同时包括声阻抗产生的反射率和由于物理现象产生的反射。在位置(i,j,k)处由声阻抗引起的反射可以通过之前计算的声阻抗根据以下公式求得：
[0067]
其中z1和z2分别是组织1和组织2的声阻抗系数；
[0068]
而由物理现象产生的反射率与界面法向和超声的传播方向有关，在此需要计算法线方向来求得另一个反射率r2。
[0069]
对于法向估计，本实施例1中使用了传统得neumann梯度估计法，基本思想为：寻找中心体素点得26邻域，建立四元线性回归方程。利用该方程拟合一个回归切平面，该切平面得法向量也就是当前体素点的法向量。
[0070]
步骤1：根据lambert余弦定理，在三维情况下反射超声波的强度满足下面的规律：
[0071]
ir＝cosnθiii，其中ii是入射声波的强度，ir是反射声波的强度。理想状况下n＝1,所以在此求出的位置(x,y,z)处的反射率r2为：
[0072]
其中，incidence为超声的入射方向向量，normal为组织界面法向量。
[0073]
步骤2：计算组织边界法向量，这里采用neumann梯度估计法。中心思想是要根据当前位置的体素，找到它的26邻域内的体素点，以当前体素点为中心，建立一个四元线性回归方程。
[0074]
f(x,y,z)≈ax by cz d，通过一系列计算得到最终的法向量(a,b,c)为：
[0075]
是权重。
[0076]
这样就可以求解出切面的法向量，然后根据法向量带入步骤1中求取反射率的公式，就可以得到最终的反射率值r2。
[0077]
步骤3：点(x,y,z)处的最终反射率结果为：r(x,y,z)＝r1(x,y,z)
·
r2(x,y,z)。
[0078]
本实施例1中，反射率生成网络的构建包括：利用光线追踪算法获取多张断层影像的反射率图像数据集，作为监督信息输入基础网络，通过不断学习优化得到反射率生成网络；其中，判别器为利用gan网络的原始判别器，生成器中利用unet的网络架构添加跳跃连接。具体的，输入ct断层影像数据，利用传统方法生成的反射率图像作为监督信息，通过网络学习的方式生成反射率图像。将同一病人的所有ct序列作为输入，通过插值算法自动切割生成任意切面任意角度ct成像；将生成的ct放入gan基础网络中，通过不断的学习和优化生成对应的反射率图像。反射率生成网络框架是gan网络结构，利用unet的网络架构作为生成器的基础网络，同时增加跳跃连接保证生成图像的几何结构。
[0079]
本实施例1中的反射率生成网络的输入是成对出现的，即有监督的网络架构，监督数据集是通过光线追踪的方法生成的，网络中的判别器利用gan网络原始的判别器，只在生
成器中利用unet的网络架构添加跳跃连接来保证几何结构的稳定性。
[0080]
本实施例1中，超声深度学习网络的构建包括：利用gan网络作为基础网络架构，输入数据集分别为反射率图数据集和真实超声图像数据集，将反射率图像和真实超声图像输入gan网络的生成器中，生成仿真图像；在gan网络的判别器中分别计算仿真图像和反射率图像的均方损失函数以及仿真图象和真实的超声图像的均方损失函数，对网络进行不断的优化学习，得到超声深度学习网络。具体方法步骤如下：
[0081]
步骤1：利用gan网络模型作为基础网络架构，输入数据集分别为反射率数据集和真实超声数据集，反射率数据集作为风格迁移的内容图像，真实超声数据集作为风格迁移的风格图像；
[0082]
步骤2：将反射率图像x放入gan网络的生成器ga中，使之生成风格接近于y的仿真图像iy，再将生成的仿真图像iy放入生成器gb中，gb的作用是为了使生成的仿真图像iy不脱离源图像的基本几何形态。同时对于真实超声图像y也放入生成器gb中，使之生成风格接近于x的仿真图像ix，同时为了保证生成图像不丢失源图像的几何特征，再将ix输入到生成器ga，来生成源图像y。网络架构图如图2所示。
[0083]
步骤3：经过上述步骤以后，网络会得到一个仿真超声图像iy，但是这个图像的几何特征产生了较大的扭曲，使得本身的内容有所丢失，而学习到一些源图像上没有的几何特征。为了改进这种局限性，在gan网络的判别器中添加了保持内容特征的loss函数。如图3所示，将生成的仿真图像和反射率图像通过判别器da以后，计算均方损失函数。同样，将仿真图象和真实的超声图像通过判别器da以后，计算均方损失函数。
[0084]
增加这个loss函数的目的是希望两种概率分布模型能够产生部分交集，在训练过程中避免因为gan的距离函数产生崩塌的问题。gan网络的距离函数可以理解为js散度，而js散度的一个局限性在于当两个概率分布模型没有交集的时候距离值是一个固定值，在反向传播求梯度的时候，梯度值为0,网络训练崩塌。而增加以上loss函数后，会使得两种类型的概率分布保证拥有部分交集，不会产生梯度为0的状况，从而能够在训练的时候保证网络不会崩塌。
[0085]
步骤4：目前得到的仿真图像iy，虽然已经学习到了真实超声图像的噪声分布和敏感效果等特征，但是得到的人体组织的肠腔等部位也会有明显的噪声，而真实的超声图像中，不会在肠腔部位超声明显的噪点。所以，针对这个问题，本实施例在生成器上添加一个监督机制，利用原始反射率图像的信息对decoder后的特征f进行监督。对decoder的前两层的特征进行像素空间的输出，与降采样以后的反射率图像进行均方损失函数的计算。使之能够在一定程度上约束生成图像的噪声分布。
[0086]
步骤5：确定gan网络的基础loss函数；
[0087]
步骤6：经过以上步骤的处理以后，产生的超声依旧会带有伪影，这是由于反卷积很容易生成不均匀的重叠，使得某些区域比其他地方有更多抽象的结果，网络架构如图4所示。尤其是当卷积核的尺寸不能被步长整除时，反卷积就会有不均匀的重叠。虽然理论上，网络可以通过权重避免这一现象，但实际上，神经网络想要完全消除这种现象时非常困难的。本实施例1中利用反卷积进行上采样的原理，通过用插值和卷积操作代替反卷积操作来消除伪影对生成图像的影响，如图5所示。
[0088]
综上，本实施例1中，首先针对医学断层影像通过线性拟合的方法利用ct值求解每
个体素对应的声阻抗系数；然后采用的方法为传统的光线追踪算法根据求得的声阻抗系数对医学断层影像进行反射建模；最后将建模生成的反射率图像和真实的超声图像数据集放入深度学习网络，生成超声仿真图像。
[0089]
实施例2
[0090]
如图1所示，本实施例2中，提供了一种基于医学断层影像的超声仿真方法，首先针对医学断层影像通过线性拟合的方法利用ct值求解每个体素对应的声阻抗系数；然后根据求得的声阻抗系数对医学断层影像进行反射建模，采用的方法为传统的光线追踪算法；最后，将建模生成的反射率图像和真实的超声图像数据集放入深度学习网络，生成超声仿真图像。包括以下步骤：
[0091]
步骤1：求取医学断层影像每个体素的声阻抗系数；
[0092]
步骤2：利用光线追踪算法，对注射造影剂的医学断层影像进行反射建模；
[0093]
步骤3：利用cuda对光线追踪算法进行加速，并能够在短时间内生成大量反射率图像数据集；
[0094]
步骤4：将生成的反射率图像作为ground truth，输入ct图像到反射率生成网络生成反射率图；
[0095]
步骤5：求得的反射率图像作为数据集a和真实的超声图像组成的数据集b同时放入超声深度学习网络进行真实感的学习，最终得到基于医学断层影像的超声仿真数据。
[0096]
本实施例2中，作为一种可能的实现方式，对医学断层影像通过线性拟合的方法进行声阻抗系数的求解。如表2人体正常组织声阻抗表所示。
[0097]
表2
[0098]
组织器官密度(g/cm3)声速(m/s)声阻抗(x105瑞利(g/cm2.s))大脑1.03815401.588小脑1.03014701.514脂肪0.95514761.410软组织1.01615001.590肌肉1.07415681.648肝脏1.05015701.648肾脏-1560-颅骨1.65833605.570胎体1.02315051.579羊水1.01314741.463血液1.05515701.656眼晶体1.13616501.8741肺及肠腔气体0.001293320.000428
[0099]
本实施例2中，所述步骤(2)中，利用光线追踪算法对医学断层影像进行反射建模，具体步骤为：
[0100]
采用的方式为传统的光线追踪的算法，将一个阵元经过人体组织产生的反射看作是一个扇形区域，一个阵元发射多个超声射线，对每个超声射线进行跟踪扫描，记录在一个射线范围内经过的人体组织的反射率。
[0101]
反射率的计算又同时包括声阻抗产生的反射率和由于物理现象产生的反射。由声阻抗引起的反射可以通过之前计算的声阻抗根据以下公式求得：
[0102][0103]
而由物理现象产生的反射率与界面法向和超声的传播方向有关，在此需要计算法线方向来求得另一个物理现象产生的反射率r2。
[0104]
对于法向估计，本实施例2中使用了传统得neumann梯度估计法，基本思想为：寻找中心体素点得26邻域，建立四元线性回归方程。利用该方程拟合一个回归切平面，该切平面得法向量为(a,b,c),也就是当前体素点的法向量。
[0105]
本实施例2中，作为一种可能的实现方式，所述步骤(4)中，输入ct断层影像数据，利用传统方法生成的反射率图像作为监督信息，通过网络学习的方式生成反射率图像。包括如下步骤：
[0106]
步骤(4-1)：将同一病人的所有ct序列作为输入，通过插值算法自动切割生成任意切面任意角度ct成像；
[0107]
步骤(4-2)：将生成的ct放入如图8所示的网络中，通过不断的学习和优化生成对应的反射率图像；
[0108]
步骤(4-3)：反射率生成网络框架是gan网络结构，利用unet的网络架构作为生成器的基础网络，同时增加跳跃连接保证生成图像的几何结构；
[0109]
步骤(4-4)：反射率生成网络的输入是成对出现的，即有监督的网络架构，监督数据集是通过光线追踪的方法生成的，网络中的判别器利用gan网络原始的判别器，只在生成器中利用unet的网络架构添加跳跃连接来保证几何结构的稳定性。
[0110]
步骤(4-5)：以上方法生成的反射率图是更加的接近光线追踪的方法生成的图像的，但是由于光线追踪的采样过程也是一种信息丢失的过程，所以，利用网络取弥补这种信息的缺失就会有很大优势。经过实验发现，光线追踪的方法生成的反射率图像缺少高频特征，在组织的边缘处不明显，所以为了解决这个问题，本发明利用信息分解的方法去约束网络利用ct图像去生成高频信息。
[0111]
采用的方法如图6所示，通过高斯低通滤波，来约束生成图像和监督图像，并利用l1距离来作为loss函数，公式如下：
[0112]
l＝e
x,y
[logd(f
l
*x,f
l
*y)] e
x,z
[1-logd(f
l
*x,f
l
*g(x,z))]，
[0113]fl
为高斯低通滤波，d为判别器。
[0114]
同时，利用高斯高通滤波也获取ct图像和生成图像的高频信息在判别器中进行约束，公式如下：
[0115]fg
为高斯高通滤波，g是生成器，n是batch size的个数。
[0116]
通过以上方法约束后生成的反射率图像如图7所示，其中(a)(c)为光线追踪的方法生成的反射率图像，(b)(d)为网络学习得到的方法。可以明显看出通过网络学习的方法得到的结果组织边界会更加的清晰，内容更加的充实。
[0117]
本实施例2中，作为一种可能的实现方式，所述步骤(5)中，求得的反射率图像作为数据集a和真实的超声图像组成的数据集b同时放入深度学习网络进行真实感的学习，最终得到基于医学断层影像的超声仿真数据。具体包括：
[0118]
步骤(5-1)：利用gan网络模型作为基础网络架构，输入数据集分别为反射率数据集和真实超声数据集，反射率数据集作为风格迁移的内容图像，真实超声数据集作为风格迁移的风格图像；
[0119]
步骤(5-2)：将反射率图像x放入gan网络的生成器ga中，使之生成风格接近于y的仿真图像iy，再将生成的仿真图像iy放入生成器gb中，gb的作用是为了使生成的仿真图像iy不脱离源图像的基本几何形态。同时对于真实超声图像y也放入生成器gb中，使之生成风格接近于x的仿真图像ix，同时为了保证生成图像不丢失源图像的几何特征，再将ix输入到生成器ga，来生成源图像y。网络架构图如图2所示。
[0120]
步骤(5-3)：经过上述步骤以后，网络会得到一个仿真超声图像iy，但是这个图像的几何特征产生了较大的扭曲，使得本身的内容有所丢失，而学习到一些源图像上没有的几何特征。为了改进这种局限性，在gan网络的判别器中添加了保持内容特征的loss函数。如图3所示，将仿真图象和真实的超声图像通过判别器da以后，计算均方损失函数。损失函数的公式如下所示：
[0121]
l
learn
＝e
x
～
pdata(x),y
～
pdata(y)
||[g(x)-y]||1[0122]
上述公式的含义是最小化一个期望值，其中g(x)指的是源图像x经过生成器g以后生成的仿真图象，y指的是真实的超声图像，||*||1指的是求l1距离。
[0123]
增加这个loss函数的目的是希望两种概率分布模型能够产生部分交集，在训练过程中避免因为gan的距离函数产生崩塌的问题。gan网络的距离函数可以理解为js散度，而js散度的一个局限性在于当两个概率分布模型没有交集的时候距离值是一个固定值，在反向传播求梯度的时候，梯度值为0，网络训练崩塌。而增加以上loss函数后，会使得两种类型的概率分布保证拥有部分交集，不会产生梯度为0的状况，从而能够在训练的时候保证网络不会崩塌。
[0124]
步骤(5-4)：目前得到的仿真图像iy，虽然已经学习到了真实超声图像的噪声分布和敏感效果等特征，但是得到的人体组织的肠腔等部位也会有明显的噪声，而真实的超声图像中，不会在肠腔部位超声明显的噪点。所以，本实施例中在生成器上添加一个监督机制，利用原始反射率图像的信息对decoder(编码)后的特征f进行监督。对decoder的前两层的特征进行像素空间的输出，与降采样以后的反射率图像进行均方损失函数的计算。使之能够在一定程度上约束生成图像的噪声分布，这里采用的是l1约束，公式如下所示：
[0125]
其中，fi表示第i层的特征图，n表示decoder中反卷积的层数，d(x)为反射率降采样以后的图像。
[0126]
步骤(5-5)：gan网络的基础loss函数为：
[0127]
l
gan
(g,dy,x,y)＝e
y～pdata(y)
[logdy(y)] e
x～pdata(x)
[log(1-dy(g(x)))]
[0128][0129]
其中，f为生成器gb。g表示生成器ga，dy是判别器，x表示反射率数据集，y表示真实
超声数据集
[0130]
综上，经过修改以后的总的loss函数为：
[0131]
l(g,f,d
x
,dy)＝l
gan
(g,dy,x,y) l
gan
(f,d,y,x) αl
cyc
(g,f) γl
learn
。
[0132]
步骤(5-6)：经过以上步骤的处理以后，产生的超声依旧会带有伪影，这是由于反卷积很容易生成不均匀的重叠，使得某些区域比其他地方有更多抽象的结果，网络架构如图5所示。尤其是当卷积核的尺寸不能被步长整除时，反卷积就会有不均匀的重叠。虽然理论上，网络可以通过权重避免这一现象，但实际上，神经网络想要完全消除这种现象时非常困难的。本实施例利用反卷积进行上采样的原理，通过用插值和卷积操作代替反卷积操作来消除伪影对生成图像的影响，如图5所示。
[0133]
本发明得到了基于医学断层影像的超声仿真图像，实验结果如图8所示。本实例通过传统的光线追踪的算法和深度学习结合的方法达到超声仿真的目的，并得到了更加接近真实超声的实验结果。
[0134]
综上，本实施例2中所述的基于医学断层影像的超声仿真方法，采用的网络结构是基于gan网络模型，在此基础上进行修改，修改之后的网络架构不仅能够很好的保持图像的几何形状，而且能够学习到真实超声的噪声分布和明暗效果。改进了gan网络不能很好的保持几何形状的缺点，又能保持生成的图像的纹理信息和其他真实感信息。可以更加接近真实超声的真实感，同时也能够更好的保持生成仿真超声对应的人体组织的几何形状。使用的医学断层影像数据集是增强ct断层影像，即注射血管造影剂的ct断层影像。由于血管和组织之间的密度差异比较小，通过高压注射器团注造影剂，增加血管和组织的密度差异，就能使血管在ct断层影像中显影。
[0135]
实施例3
[0136]
本发明实施例3提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的基于医学断层影像的超声仿真方法，该方法包括：
[0137]
计算断层影像每个体素的声阻抗系数；
[0138]
结合声阻抗系数对断层影像进行反射建模，得到初始反射率图；
[0139]
利用反射率生成网络对初始反射率图进行处理，得到完整反射率图；
[0140]
将完整反射率图和真实超声图像同时输入超声深度学习网络进行真实感学习，得到超声虚拟图像。
[0141]
实施例4
[0142]
本发明实施例4提供一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现如上所述的基于医学断层影像的超声仿真方法，该方法包括：
[0143]
计算断层影像每个体素的声阻抗系数；
[0144]
结合声阻抗系数对断层影像进行反射建模，得到初始反射率图；
[0145]
利用反射率生成网络对初始反射率图进行处理，得到完整反射率图；
[0146]
将完整反射率图和真实超声图像同时输入超声深度学习网络进行真实感学习，得到超声虚拟图像。
[0147]
实施例5
[0148]
本发明实施例5提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的基于医学断层影像的超声仿真方法的指令，该方法包括：
[0149]
计算断层影像每个体素的声阻抗系数；
[0150]
结合声阻抗系数对断层影像进行反射建模，得到初始反射率图；
[0151]
利用反射率生成网络对初始反射率图进行处理，得到完整反射率图；
[0152]
将完整反射率图和真实超声图像同时输入超声深度学习网络进行真实感学习，得到超声虚拟图像。
[0153]
应理解，本实施例中，处理器可以是中央处理单元cpu，处理器还可以是其他通用处理器、数字信号处理器dsp、专用集成电路asic，现成可编程门阵列fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0154]
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
[0155]
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。本实施例中所用的平台为vs2019配置opencv和opengl。使用vs继承qt和opengl对人体数据进行加载、显示和定位。将界面分成三个部分，包括人体展示区域，断层展示区域和超声仿真图像展示区域。通过cuda加速对反射部分的建模进行加速，达到实时仿真的目的。对反射率的建模也是直接通过cuda加速完成，并对建模成功的反射率图像进行超声仿真。
[0156]
综上所述，本发明实施例所述的基于医学断层影像的超声仿真方法及系统，基于医学断层影像进行超声仿真，利用线性拟合的方法获取医学断层影像的每个体素的声阻抗数据；然后利用光线追踪算法对超声的反射图进行建模，通过cuda进行加速处理；其次利用生成的反射率图像作为监督信息，将ct图像输入网络生成对应于断层影像的反射率图像；得到的反射图数据集，放入深度学习网络进行真实感的学习，通过二值图像对反射图像进行几何特性的约束，再加上对网络模型的修改和loss函数的修改，对生成的图像进行真实感的逼近，得到最终的仿真结果。超声模拟也可以用于超声培训，传统的超声培训是培训人员在专业医生的指导下，在真实的病人身体上完成的。这种培训方法操作困难，且容易给病人造成未知的痛苦和伤害。容易受到时间和实体病人的限制，操作不方便。使用超声模拟技术就避免了上面提到的问题，也不需要真实病人，操作方便成本更低。
[0157]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0158]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序
指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0159]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0160]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0161]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。