基于CT定位片生成三维医学图像的系统、方法及医学影像设备与流程

基于ct定位片生成三维医学图像的系统、方法及医学影像设备
技术领域
1.本发明属于医学影像技术领域，具体涉及基于ct定位片生成三维医学图像的系统、方法及医学影像设备。


背景技术：

2.ct定位片扫描是ct检查流程中不可缺少的一个环节，其主要应用是在正式ct断层扫描前进行待检测问题大致的位置、roi等参数的确定；主要过程是ct的球管旋转至某一个角度放射出某一个能量段的x射线，该射线在有效范围内与物质发生相互作用，能量发生衰减变化，探测器收集相应的变化后的信号进行快速重建。由此可知，ct定位片是二维图像，主要表征放射路径下物质累积的衰减和变化。
3.虽然ct定位片不是三维图像，但由于其物理原理上是经过整个空间衰减之后的反映，它记录出x射线在空间累积的衰减积分和，这个物理量反映x射线遇到的物质的厚薄，因此在某种意义上也可以用于三维图像的估计。但是，如何利用二维的定位片信息生成有效的三维图像是当前亟需解决的难题。对此，现有已有相关的技术研究，例如，phlipp henzler提出了一种深度学习模型对采用x射线图像进行骨骼模型的估计，但其研究的是动物的头骨数据，模型输出的是几何模体信息，不包含有效组织器官的解剖学信息，医学特征不明显。另外，weinan song等人提出了针对牙齿和颌骨进行x图像的图像生成模型，但仅限于人体的牙齿颌骨，且其中的输入数据是平铺处理成的2d图像，还需要一些牙科检查时光学图像的输入，使得模型十分臃肿，应用场景受限。类似的，公开号为cn113272869a的专利文献也公开了医学成像中从定位片进行3d形状重构，也只是基于2d图像进行3d形状的转化，该实现目标更倾向是三维几何形状的分布，并不能包含ct值信息以及组织器官之中的任何放射成像学信息，而且其生成网络仅包括用于输入定位片的定位片编码器和用于从解码器的输出中输出3d形状的解码器，使得输出3d形状的纹理特征有限。


技术实现要素：

4.基于现有技术中存在的上述不足，本发明的目的是提供基于ct定位片生成三维医学图像的方法、系统及医学影像设备。本发明结合生成对抗网络gan，采用深度学习技术对定位片图像进行特征学习，生成较为真实的三维医学图像，其中包含有确定的ct值信息以及丰富的放射性解剖学图像信息，生成的图像中医学器官组织特征明显，便于转换成医学dicom文件，有效进行医学辅助诊断。另外，无需更多的图像信息输入，结构简单，智能化生成三维图像，节约时间和资源成本。
5.为了达到上述发明目的，本发明采用以下技术方案：
6.基于ct定位片生成三维医学图像的系统，包括：
7.采集单元，用于采集定位片图像信息；
8.深度学习单元，配置生成对抗网络模型，用于根据输入的定位片图像信息生成三
维医学图像；
9.显示单元，用于显示生成的三维医学图像；
10.其中，深度学习单元包括预处理模块、网络生成模块和网络判别模块，预处理模块用于对输入的定位片图像信息进行数据处理；
11.网络生成模块包括编码器、特征转换器和解码器，编码器用于提取数据处理之后的定位片图像的浅层和深层特征，特征转换器用于将编码器提取的2d深层特征向三维的高纬度特征空间进行维度迁移和特征转化以得到3d深层特征，解码器用于扩展和挖掘经过特征转换器的3d深层特征，以生成三维医学图像；
12.网络判别模块用于对经过网络生成模块生成的三维医学图像与真实图像做真假判断，以训练生成对抗网络模型至模型收敛。
13.作为优选方案，所述预处理模块包括依次进行的几何范围裁剪、数值截断和归一化线性变换，几何范围裁剪用于根据定位片图像信息中的扫描坐标起始范围以及x、z方向的像素的空间单位选取目标范围的图像，数值截断用于根据目标范围的图像的像素值进行截断，归一化线性变换用于对截断之后的图像像素值进行归一化线性变换，得到待输入网络生成模块的定位片图像。
14.作为优选方案，所述编码器包括依次连接的2d卷积、2d下采样模块和第一激活函数。
15.作为优选方案，所述2d下采样子模块包括依次连接的残差模块和2d池化层，残差模块由若干依次连接的残差单元组成，残差单元由数个处理小单元串行，处理小单元包括依次连接的卷积层、in层和leakyrelu函数，并在最后一个处理小单元和2d下采样子模块的输入特征进行叠加，然后经过最后一个处理小单元中的leakyrelu函数处理，得到特征转换器的输入。
16.作为优选方案，所述特征转换器包括依次连接的卷积、投影单元模块和第二激活函数，投影单元模块由依次连接的全连接层和重整形组成。
17.作为优选方案，所述解码器包括依次连接的3d卷积、3d上采样模块和第三激活函数，3d上采样模块包括依次连接的残差模块和3d反卷积。
18.作为优选方案，所述网络判别模块包括生成图像、真实图像、判别器和判别结果，判别器用于对生成图像与真实图像进行真假判断，以得到判别结果；
19.其中，判别器包括3d下采样模块，3d下采样模块包括依次连接的残差模块和3d池化层。
20.本发明还提供基于ct定位片生成三维医学图像的方法，应用于如上任一方案所述的系统中，所述方法包括以下步骤：
21.s1、采集ct定位片图像；
22.s2、将ct定位片图像输入生成对抗网络模型以生成三维医学图像；
23.s3、显示生成的三维医学图像。
24.作为优选方案，所述生成对抗网络模型的训练过程，包括：
25.s01、获取二维定位片及其对应的三维ct图像；
26.s02、对二维定位片及其对应的三维ct图像进行数据处理，得到训练数据集；
27.s03、建立二维定位片转换三维ct图像的生成对抗网络模型；
28.s04、利用训练数据集以及损失函数对生成对抗网络模型进行训练，直至模型收敛。
29.本发明还提供医学影像设备，配置如上任一方案所述的系统或应用如上任一方案所述的方法。
30.本发明与现有技术相比，有益效果是：
31.本发明的基于ct定位片生成三维医学图像的方法、系统及医学影像设备，利用深度学习中的生成对抗网络(gan)技术，将二维的定位片信息生成三维的图像特征，得到具有ct值信息的三维图像，含有丰富医学反射性成像和解剖学信息特征，图像分辨率较好，可有效区分其中的医学器官组织；另外，方法简便，不依赖于其他模态信息，结果稳定准确，节省时间和资源成本。
附图说明
32.图1是本发明实施例的深度学习单元的构架示意图；
33.图2是本发明实施例的预处理模块的构架示意图；
34.图3是本发明实施例的网络生成模块的构架示意图；
35.图4是本发明实施例的编码器的构架示意图；
36.图5是本发明实施例的2d下采样模块的构架示意图；
37.图6是本发明实施例的残差模块及残差单元的构架示意图；
38.图7是本发明实施例的特征转换器的构架示意图；
39.图8是本发明实施例的投影单元模块的构架示意图；
40.图9是本发明实施例的解码器的构架示意图；
41.图10是本发明实施例的3d上采样模块的构架示意图；
42.图11是本发明实施例的网络判别模块的构架示意图；
43.图12是本发明实施例的3d下采样模块的构架示意图；
44.图13是本发明实施例的生成对抗网络模型的训练流程图；
45.图14是本发明实施例的生成对抗网络模型的处理细节组成图；
46.图15是本发明实施例生成的图像与真实图像的效果对比图；其中，a是真实图像的某一层横断图，b是经过本发明实施例上述方法由定位片生成的3d图像的同一个位置横断图；c是真实图像的某一冠状位图，d是经过本发明实施例上述方法由定位片生成的3d图像的同一个位置冠状位图。
具体实施方式
47.为了更清楚地说明本发明实施例，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
48.本发明构建了将ct定位片生成3d医学图像的生成对抗网络模型，是基于生成对抗网络改进的一种高效的图像特征生成转换模型，具有如下特点：
49.(1)模型是基于深度学习领域中的生成对抗网络模型改善得到的，具备深度学习
生成对抗网络模型的部分特性；
50.(2)模型具有将二维图像生成或重建或估计三维医学图像的功能；
51.(3)模型输出的三维医学图像(即3d医学图像)不仅具有一般几何学上的立体的表面的性质，图像像素值还具医学放射性信息；
52.(4)模型生成的三维医学图像具有器官组织的线条，轮廓等特征。
53.具体地，以下针对本发明实施例的基于ct定位片生成三维医学图像的系统各组成结构以及处理方法详细描述。
54.本发明实施例的基于ct定位片生成三维医学图像的系统，包括采集单元、深度学习单元和显示单元。
55.采集单元用于采集定位片图像信息；其中，采集的ct定位片图像信息，可以是0
°
或者90
°
等任意角度下ct扫描仪扫描得出的单个定位片或者多个定位片的组合。采集单元可利用ct扫描仪的x射线成像器。
56.深度学习单元配置生成对抗网络模型，用于根据输入的定位片图像信息生成三维医学图像。深度学习单元在功能上包含三大部分：图像预处理部分、生成网络功能部分以及网络判别功能部分。更为具体地，如图1所示，深度学习单元包括预处理模块100、网络生成模块200和网络判别模块300。
57.预处理模块100用于对输入的定位片图像信息或3d真实医学图像进行数据处理，包含以下三种功能：几何范围裁剪，数值截断和归一化线性变换。更为具体地，如图2所示，预处理模块100包括依次进行的几何范围裁剪101、数值截断102和归一化线性变换103。
58.几何范围裁剪用于根据定位片图像信息中的扫描坐标起始范围以及x、z方向的像素的空间单位选取目标范围的图像，具体如下：
59.几何范围裁剪101的主要操作是，读取ct定位片dicom文件中的扫描坐标起始范围的数值xscan
start
，zscan
start
，xscan
end
，zscan
end
和x方向、z方向的像素的空间单位spacex，spacez；依据如下公式进行变换：
[0060][0061]
得出相关参数idx,
△
idx,idz,
△
idz，最终选取[idx,idx
△
idx][idz,idz
△
idz]范围的图像。
[0062]
数值截断102用于根据目标范围的图像的像素值进行截断，主要是依据截断范围[v
min
,v
max
]针对定位片图像的像素值v按照如下公式进行判别和截断：
[0063][0064]
归一化线性变换103用于对截断之后的图像像素值进行归一化线性变换，得到待输入网络生成模块的定位片图像。具体地，归一化线性变换103主要是针对定位片和3d图像的图像像素值v进行归一化线性变换，为了解释说明，选用高斯归一化线性变换，如下公式所示：
[0065][0066]
本发明实施例的网络生成模块包括编码器、特征转换器和解码器，编码器用于提取数据处理之后的定位片图像的浅层和深层特征，特征转换器用于将编码器提取的2d深层特征向三维的高纬度特征空间进行维度迁移和特征转化以得到3d深层特征，解码器用于扩展和挖掘经过特征转换器的3d深层特征，以生成三维医学图像。其中，编码器包括依次连接的2d卷积、2d下采样模块和第一激活函数，2d下采样子模块包括依次连接的残差模块和2d池化层，残差模块由若干依次连接的残差单元组成，残差单元由数个处理小单元串行，处理小单元包括依次连接的卷积层、in层和leakyrelu函数，并在最后一个处理小单元和2d下采样子模块的输入特征进行叠加，然后经过最后一个处理小单元中的leakyrelu函数处理，得到特征转换器的输入。特征转换器包括依次连接的卷积、投影单元模块和第二激活函数，投影单元模块由依次连接的全连接层和重整形组成；解码器包括依次连接的3d卷积、3d上采样模块和第三激活函数，3d上采样模块包括依次连接的残差模块和3d反卷积。
[0067]
更为具体地，如图3所示，网络生成模块200由以下各模块单元组成：输入的图像201、编码器202、特征转换器203、解码器204和生成图像205。
[0068]
编码器202的主要功能是通过深度学习中的卷积，下采样，池化，激活函数等多重组合叠加堆叠等操作，提取定位片图像的浅层和深层的特征；编码器典型的特征是通过2d图像下采样模块完成的，其组成的主要特点是利用了残差模块和2d图像的池化。其中，如图4所示，编码器202主要是由2d卷积202_1、2d下采样模块202_2、激活函数202_3特征处理基本单元组成，其功能是对输入图像进行特征分析处理。其中，如图5所示，2d下采样模块202_2的处理过程是由残差模块k0和2d池化层k2组成，残差模块k0主要实现提取并表达更多潜在2d的图像的特征，2d池化层k2是针对2d的特征进行池化操作进行特征总结和整理。
[0069]
以下对残差模块k0进行详细说明，残差模块由多个残差单元串行叠加组成，残差单元的主要特点是经过多次的卷积 in层 leakyrelu操作，并在最后将输入和最终输出相加和，再经过leakyrelu输出。如图6所示，残差模块k0是一个由残差单元k1重复的组成的一个复合处理小单元，残差单元k1由卷积层，in层，leakyrelu函数这三个基本处理过程多次串行堆叠组成，并在最后和整个模块输入特征叠加，再经过一个leakyrelu处理得出最后输出。其中具体的残差单元k0以及其中卷积层，in层，leakyrelu函数的重叠数目可由具体的数据样本空间自行选择，不做具体数目的限制。
[0070]
网络生成模块200中的特征转换器203的功能是将编码器得出的多样复合的2d深层特征，向3d的高纬度特征空间进行维度迁移和特征转化；特征转换器主要特征是通过投影单元模块实现前述功能，其中，投影单元模块是有全连接层和重整形这两大主要功能模块组成。如图7所示，特征转换器203主要有卷积203_1、投影单元模块203_2和激活函数203_3组成；特征转换器203的最主要作用是综合编码器202得到的多样复合的2d深层特征，将其向3d的高纬度特征空间进行维度迁移和特征转化。该功能主要由投影单元模块203_2完成，该模块的主要组成由全连接层和重整形组成，如图8所示。
[0071]
网络生成模块200中的解码器204的功能是扩展和挖掘经过特征转换器的3d更深层特征，将它们抽象提取为更加细节和形象的特征。实现该功能的主要特征是经过了残差模块和3d反卷积操作。具体地，如图9所示，解码器204是扩展和挖掘3d更深层特征的处理过程，其主要组成部分由3d卷积204_1、3d上采样模块204_2和激活函数204_3组成，且处理过程主要由3d上采样模块204_2完成，如图10所示，3d上采样模块204_2主要是由残差模块k0和3d反卷积组成。
[0072]
本发明实施例的网络判别模块300用于对经过网络生成模块生成的三维医学图像与真实图像做真假判断，以训练生成对抗网络模型至模型收敛。其中，网络训练所需要的真实图像是ct扫描仪扫描得到的三维医学图像。
[0073]
具体地，网络判别模块300是一种判别网络，主要作用是判别经过网络生成模块200得出的生成图像和真实图像做真实性判断，如图11所示，网络判别模块300主要由生成图像205、真实图像301、判别器302和判别结果303组成，其中最主要的判断功能由判别器302完成，判别器功能主要是在网络训练时有效判别区分生成的3d医学图像和真实的3d医学图像，从而辅助整个网络更全面地学习整个网络的特征表达能力，其主要的组成是经过了残差模块和3d池化层。如图12所示，判别器302的主要过程由3d下采样模块302_1实现，3d下采样模块302_1主要由残差模块k0和3d池化层组成。
[0074]
本发明实施例的显示单元用于显示生成的三维医学图像。
[0075]
对于本发明实施例的生成对抗网络模型，其在网络训练时结合三部分的损失函数：主要损失、网络生成损失和网络判别损失，具体如下：
[0076]
l＝l
main
ε*l
gen
η*l
adv
[0077]
其中，l
main
主要由多尺度结构相似性系数组成，网络生成损失l
gen
主要用于评估生成网络得出的图像和真实的图像之间的l2损失，网络判别损失l
adv
主要衡量生成图像和真实图像的判别。
[0078]
ε和η都是小于1的正实数，具体可视训练具体任务自由选取。另外，主要损失l
main
、网络生成损失l
gen
及网络判别损失l
adv
分别定义如下：
[0079]
[0080]
其中，成员l、c、s定义如下：
[0081][0082]
上述参数说明如下：l
main
主要由多尺度结构相似性系数ssim组成，其中，i和g都是3d的图像，i是真实的3d的医学图像，g是通过本发明实施例的网络生成模块200输出的生成图像，默认为三维，其中也采用i(m,n,h)与g(m,n,h)来表示，每一个维度的像素数目依次是m、n、h，以下为了方便解释说明，采用i、j、k来代表每一个维度上的像素索引值。
[0083]
其中，c1,c2,c3分别固定取值为6.5，58和29，i
′
和g
′
分别是i和g索引到每一个i维度的2d的图像，μ是对图像求均值的操作函数，σ是求标准差操作函数，具体意义所指是按照角标来说明，比如μi′
是对图像i
′
求均值的结果，σg′
是对图像g
′
求标准差的结果，尤其特别指出，其中的σi′g′
是对i
′
和g
′
求联合协方差。
[0084]
网络生成损失l
gen
定义如下，
[0085][0086]
网络生成损失l
gen
主要用于评估生成网络得出的图像和真实的图像之间的l2损失，即求出图像i和g中个像素之间的差值的平方和的均值。
[0087]
网络判别损失l
adv
，本质上是带有惩罚项的沃瑟斯坦损失，定义如下：
[0088][0089]
其中，e是l1损失函数，其中的d是网络判别模块300的结果，是每一次训练中生成网络得出的某一个生成的图像样本变量，是每一次训练中对应使用的真实的图像样本变量，对应的，和d(x)分别是经过了判别模块之后对生成的图像样本变量和真实的图像样本变量x的判别的结果，其中是某一个生成的图像样本变量权重系数，是求梯度算子，在此可解释为每次训练的权重的变化量，其中的λ可选定为一个的正的实数值。
[0090]
基于本发明实施例上述的基于ct定位片生成三维医学图像的系统，本发明实施例还提供基于ct定位片生成三维医学图像的方法，包括以下步骤：
[0091]
s1、采集ct定位片图像；
[0092]
s2、将ct定位片图像输入生成对抗网络模型以生成三维医学图像；
[0093]
s3、显示生成的三维医学图像。
[0094]
其中，如图13和14所示，生成对抗网络模型的训练过程，包括：
[0095]
s01、获取二维定位片及其对应的三维ct图像；本步骤所涉及的图像数据都是原始数据，以dicom数据格式进行存储；
[0096]
s02、对二维定位片及其对应的三维ct图像进行数据处理，得到训练数据集；具体地，对获得数据进行重采样，主要包含两个处理过程：
[0097]
一是插值到相同的矩阵维度；由于所获得的不同患者的定位片数据以及对应的三维ct数据的大小并不相同，为了神经网络能够正常训练并收敛，对所有的数据进行插值。定位片使用双线性插值，插值到预定大小；三维ct数据使用立方体插值插值到预定大小。
[0098]
二是对数据进行ct值的归一化。由于医学图像ct值的分布相较自然图像中像素值的分布范围较广，为了网络能够更快的寻找到最优解，对定位片数据和三维数据进行归一化处理。
[0099]
s03、建立二维定位片转换三维ct图像的生成对抗网络模型，包括生成器和判别器两个模型；
[0100]
s04、利用训练数据集以及设置好的损失函数对生成对抗网络模型进行训练，直至模型收敛。
[0101]
具体地，设置好损失函数l
gen
，l
adv
和l
main
，生成器和判别器交替训练至收敛，以获得训练后的生成器网络权重，即得到整个网络的权重并保存。
[0102]
本发明实施例还提供医学影像设备，配置本发明实施例上述的系统或应用本发明实施例上述的方法。医学影像设备示例为ct扫描仪等。
[0103]
如图15所示，经过本发明实施例所述方法生成的三维医学图像与真实图像基本一致，从而验证本发明实施例所述的方法具备将二维定位片图像生成或重建或估计三维医学图像的能力。
[0104]
以上所述仅是对本发明的优选实施例及原理进行了详细说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。