医学扫描模型的影像再现方法与流程

1.本发明涉及三维影像重建，特别涉及一种医学扫描模型的影像再现方法。


背景技术：

2.高分辨率三维影像具有更高的质量以及清晰的细节信息，对医学影像等应用领域非常重要。医学影像扫描系统需要录制模型文件并进行影像压缩后将其传输至云端，云端解压缩该模型文件后，可传输至医疗终端，以供用户实时监控；同时，云端也可用于存储影像扫描装置所采集的多个模型文件，以供用户随时调取。然而，较佳的画面流畅度及较多的影像细节信息必然需要提高模型文件的分辨率及帧率，但模型文件容量也会因此提升，进而对云端的存储空间及缓存造成更大负担。如果采用超分辨率重建等技术，则其影像边缘常有锯齿现象等失真问题。此外，现有方案的重建方法还存在信噪比较低的问题，无法针对医学影像扫描系统提出适合的影像增强机制，因此需要提供一种兼顾云端的存储空间、缓存大小、网络速度以及影像质量的高分辨率三维影像重建的方法。


技术实现要素：

3.为解决上述现有技术所存在的问题，本发明提出了一种医学扫描模型的影像再现方法，包括：
4.通过医学影像扫描装置采集多帧高分辨率图块和多帧低分辨率图块；
5.由深度学习引擎对所述高分辨率图块进行多次卷积运算，以计算得出多个候选高分辨率像素集，同时对各个候选高分辨率像素集，进行至少一次所述卷积运算，以产生参考高分辨率像素集；
6.所述深度学习引擎对所述参考高分辨率像素集与所述低分辨率图块进行至少一次所述卷积运算后，产生后处理残差值；
7.由像素求和单元对所述后处理残差值和所述低分辨率图块进行像素求和运算，以计算得出同一时间戳的正向预测高分辨率图块和反向预测高分辨率图块；以及
8.由双向预测器接收所述正向预测高分辨率图块和所述反向预测高分辨率图块后，对所述正向预测高分辨率图块和所述反向预测高分辨率图块进行至少一次所述卷积运算，以产生超分辨率图块。
9.优选地，当一帧所述高分辨率图块与下一时间戳的一帧所述低分辨率图块按序执行所述生成候选像素集与参考像素集，产生后处理残差值并产生预测高分辨率图块步骤后，即产生所述正向预测高分辨率图块。
10.优选地，所述深度学习引擎具有输入层、嵌入层和输出层，所述嵌入层用于存储多项参数，用于确定所述卷积运算所利用的卷积核，该多项参数为所述输入层可对该影像叠加残差值再进行卷积运算，以生成第一后处理残差值，然后，所述输入层可对所述第一后处理残差值再按序进行多次卷积运算，并以最终产生的后处理残差值，作为所述后处理残差值。
11.本发明相比现有技术，具有以下优点：
12.本发明提出了一种医学扫描模型的影像再现方法，以较低的软硬件成本，有效提高了三维影像质量和运算效率，同时解决了现有重建方法的影像失真问题和现有远程重建方法的有限带宽和有限存储空间的问题。
附图说明
13.图1是根据本发明实施例的医学扫描模型的影像再现方法的流程图。
具体实施方式
14.下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的些或者所有细节也可以根据权利要求书实现本发明。
15.本发明的方面提供了一种医学扫描模型的影像再现方法。所述方法由本发明的医学影像扫描重建系统来实现。该系统包括：多层缓存模块、深度学习引擎、渲染重建引擎和双向预测器；多层缓存模块接收影像扫描装置所采集具有较低帧率的多帧高分辨率图块和较高帧率的多帧低分辨率图块，深度学习引擎、渲染重建引擎和双向预测器进行超分辨率重建模型渲染，以计算得出超分辨率图块，并按序传输至医疗终端，以供用户查看三维影像，本发明以深度学习引擎作为超分辨率重建方法中影像候选样本的选择机制和模型渲染机制，由于深度学习引擎的迭代式训练和学习，采集到更为精确的影像细节。
16.图1是根据本发明实施例的医学扫描模型的影像再现方法流程图。医学影像扫描重建系统可通过网络分别与影像扫描装置和医疗终端建立通信连接，所述影像扫描装置可采集高分辨率模型文件和低分辨率模型文件，并传输至医学影像扫描重建系统，以缓存、解码和超分辨率重建，影像扫描装置所采集的高分辨率模型文件的帧率可小于或等于低分辨率模型文件。当医学影像扫描重建系统完成超分辨率重建模型渲染后，则产生具有高帧率和高分辨率的超分辨率图块，在被缓存和影像编码后，即可按序传输至医疗终端，以供用户查看具有超分辨率影像质量的三维影像。
17.在医学影像扫描重建系统接收影像扫描装置所采集具有较低帧率的多帧高分辨率图块和具有较高帧率的多帧低分辨率图块之后，并以采样帧数t确定影像扫描装置所采集的图块帧数，如果t＝2，则影像扫描装置采集1帧高分辨率图块和1帧低分辨率图块；如果t＝5，则影像扫描装置会采集1帧高分辨率图块和4帧低分辨率图块。采样帧数t值确定影像扫描装置所连续采集的图块帧数，且影像扫描装置所采集的图块中，至少包含1帧高分辨率图块。在优选的实施例中，其余图块均为低分辨率图块，由此可解决影像扫描装置存储空间和传输带宽有限的问题。当影像扫描装置采集完上述图块时，即提交至影像压缩模块进行影像压缩，所述压缩以降低比特率的方式减少模型文件大小，然后提交至第一传输模块进行传输。第一传输模块将经过影像压缩模块压缩后的上述图块预先分割为多个报文，再传输至医学影像扫描重建系统。
18.当医学影像扫描重建系统接收到第一传输模块所传输的多个报文后，即先暂存于
模型缓存，模型缓存再通信连接至影像解码器，以对前述的多个报文进行解压缩，进而解码出上述图块，然后，影像解码器将上述图块暂存于多层缓存模块后，多层缓存模块再通信连接至存储模块，以存储经过解码且不需要长期保存的三维影像。在优选的实施例中，模型缓存可直接通信连接至存储模块以有效节省存储空间。而当多层缓存模块接收到经解码的上述图块后，将解码后的上述图块传输至深度学习引擎，然后深度学习引擎可对影像扫描装置所采集的图块进行超分辨率重建模型渲染。在进行超分辨率重建模型渲染前，对于深度学习引擎所接收的高分辨率图块和低分辨率图块，渲染重建引擎可通过最近邻插值、双线性插值等插值方式，将低分辨率图块放大到与高分辨率图块相同大小，进而计算得出超分辨率图块，并暂存于多层缓存模块。然后，影像编码器对超分辨率图块进行影像编码后，暂存于模型缓存。最后，模型缓存将超分辨率图块传输至医疗终端。
19.所述深度学习引擎包括输入层、嵌入层和输出层，输入层用于输入要进行卷积运算的图块或残差值；嵌入层用于存储多项参数，以确定深度学习引擎进行卷积运算的像素滤波单元；输出层用于输出卷积运算的运算结果；渲染重建引擎的偏移计算单元进行像素偏移量计算，以减少各连续图块所产生的偏移量差值，进而筛选出与低分辨率图块有最小像素偏移量的像素集；渲染重建引擎的像素求和单元用于进行像素求和运算，以分别生成可供双向预测器接收的图块；双向预测器用于接收同一时间戳的正向预测高分辨率图块和反向预测高分辨率图块，以供深度学习引擎进行至少一次的卷积运算后，可计算得出超分辨率图块。
20.深度学习引擎的嵌入层所存储的多项参数可包括：如果为正向预测模式，且采样帧数t＝3，则输入层可对高分辨率图块，利用不同的卷积核分别进行多次卷积运算，以供输入层从第t帧高分辨率图块中计算得出多个候选高分辨率像素集作为第t 1帧，然后，为减少每个候选高分辨率像素集的候选图块数量，输入层可再对第t 1帧每个候选高分辨率像素集以更小的卷积核进行至少一次卷积运算，以产生参考的高分辨率像素集。在优选的实施例中，对于输入层对每个候选高分辨率像素集进行卷积运算后的像素集，先从其中筛选出与低分辨率图块具有最小像素偏移量的像素集，作为参考高分辨率像素集；如果为反向预测模式，则输入层可对高分辨率图块分别以不同的卷积核进行多次卷积运算，以供输入层从高分辨率图块中计算得出多个候选高分辨率像素集，然后再对多个候选高分辨率像素集以更小的卷积核进行至少一次卷积运算后，即产生参考高分辨率像素集，而对于输入层对每个候选高分辨率像素集进行卷积运算后的像素集，先从其中筛选出与低分辨率图块有最小像素偏移量的像素集，作为参考高分辨率像素集。
21.在优选的实施例中，对于深度学习引擎对每个候选高分辨率像素集进行卷积运算后所产生的像素集，在筛选出与低分辨率图块有最小像素偏移量的像素集之后，深度学习引擎同时对参考高分辨率像素集和低分辨率图块进行卷积运算，以生成影像叠加残差值，然后为调整影像叠加残差值的影像质量，深度学习引擎继续以相同或不同的卷积核对所述影像叠加残差值进行卷积运算，以产生第一后处理残差值，再对第一后处理残差值进行卷积运算，以产生第二后处理残差值，以此类推，可从各后处理残差值中过滤较不必要的影像信息，也可通过深度学习的学习机制，增加影像的采集细节，然后深度学习引擎即以最终产生的后处理残差值，作为正向后处理残差值和反向后处理残差值，并传输至渲染重建引擎。
22.可选地，深度学习引擎也可直接以影像叠加残差值作为最终产生的后处理残差
值，并传输至渲染重建引擎，当渲染重建引擎接收到正向后处理残差值和反向后处理残差值后，如果为正向预测模式，则渲染重建引擎对正向后处理残差值和低分辨率图块进行像素求和运算，以产生正向预测高分辨率图块；如果为反向预测模式，则渲染重建引擎对反向后处理残差值和低分辨率图块进行像素求和运算，以产生反向预测高分辨率图块。然后将同一时间戳的正向预测高分辨率图块和反向预测高分辨率图块传输至双向预测器，以继续执行生成超分辨率图块的步骤，即提交至深度学习引擎进行至少一次卷积运算，以产生超分辨率图块。
23.在生成后处理残差值时，如果为正向预测模式，则深度学习引擎得出第一后处理残差值和第二后处理残差值后，深度学习引擎的输出层确定最终产生的后处理残差值为正向后处理残差值，然后提交至像素求和单元，以将正向后处理残差值和低分辨率图块进行像素求和运算，生成正向预测高分辨率图块；相对地，如果为反向预测模式，则为调整影像叠加残差值的影像细节，输入层可再对影像叠加残差值以相同或不同的像素滤波单元再进行卷积运算，以相同过程计算得出第一和第二后处理残差值，以此类推，并确定最终产生的后处理残差值为反向后处理残差值，然后再将反向后处理残差值和低分辨率图块进行像素求和运算，以生成反向预测高分辨率图块。
24.无论是正向或是反向预测模式，输入层均可对所述第二后处理残差值再进行任意多次卷积运算，以生成第三，
…
或第n后处理残差值，并以第n后处理残差值作为正向后处理残差值或反向后处理残差值，且输入层每次如果以相同的卷积核进行卷积，即可过滤更多不必要的影像噪声，进而能增加峰值信噪比。
25.最后，像素求和单元将同一时间戳的正向预测高分辨率图块和反向预测高分辨率图块再传输至双向预测器，以继续生成超分辨率图块。
26.如果医疗终端要查看非实时的三维影像，则所述多层缓存模块先从存储模块采集出解码后的多帧高分辨率图块和多帧低分辨率图块后，并传输至深度学习引擎，也可由存储模块采集出未解码的多个报文，并将上述报文经过影像解码器解码后，再传输至深度学习引擎、渲染重建引擎和双向预测器，以计算得出超分辨率图块，然后，先暂存于多层缓存模块以供缓存，并传输至影像编码器进行编码，完成编码后即传输至模型缓存。当影像缓存和编码步骤执行完毕后，第二传输模块将各超分辨率图块传输至医疗终端，以供医疗终端可查看非实时三维影像的功能。
27.本发明的深度学习引擎在生成候选高分辨率像素集，产生后处理残差值和最终产生超分辨率图块的过程中，其所进行的卷积运算，经过不断的训练和学习后，即可采集到更为精确的影像细节。
28.由于mri等医学影像最初为大量的二维灰度数据，通过对所述二维影像进行模型渲染和重建，形成三维影像模型。然而通过二维影像重建的三维影像并非可完全呈现出原始受测器官的几何形状及构造，而且因输入的二维影像数据量过于庞大，逐一输入每帧二维影像信息以重建成原始三维影像，会造成运算量过大。因此在本发明的进一步方面，在确保获取精确量化对称值的前提下，用可量化的对称值来建立最优的中轴面，用于辅助医疗人员在临床诊断上的识别和校正偏差的三维影像。
29.因人体不同组织或器官经扫描后呈现的影像灰度值范围会有所不同，首先故在获取医学影像数据和相关参数后设定阈值范围，即用于影像中特定部位的灰度数值范围；执
行包含灰度值的误差模型，求解最优参数，用于判断二值化医学影像镜像后的相似度，通过不断的比对所输入的参数来得到最优的参数，将最优参数代入中轴线模型或中轴面模型中，用于求得最佳中轴面。通过在设定参数中输入特定阈值，有效减少输入的数据量，并通过所设定的灰度值误差模型来比对输入的影像数据，即能快速重建出三维影像，或是利用所得到的最佳中轴面或最佳中轴线经插值法重新计算后，用于校正医学仪器扫描时造成的偏差影像。
30.所述中轴线模型为：令二维影像上f(x，y)为影像上的灰度值函数，假设直线模型l(θ，c)为f(x，y)上的中轴线，则l(θ，c)＝(cosθ)x (sinθ)y c＝0，其中θ为中轴线与影像平面的x轴夹角，c是常数项，如果点(x
i
，y
i
)对上述模型中中轴线的对称点为(x
si
，y
si
)，则其关系可利用向量计算结果得到：
31.x
si
＝-cos(2θ)x
i-sin(2θ)y
i-2cos(θ)c
32.y
si
＝-sin(2θ)x
i
cos(2θ)y
i-2sin(θ)c
33.如果完全对称的器官和组织以直线模型l(θ，c)为中轴线，则f(x
i
，y
i
)＝f(x
si
，y
si
)，定义上述执行灰度值的误差模型为：
[0034][0035]
由于多帧断层扫描影像并将其二值化。故上式可为
[0036][0037][0038]
其中的θ、c就是获取最优参数步骤中所得到的参数，且上述灰度值的误差模型中f(x
i
，y
i
)＝f(x
si
，y
si
)的值越接近0，代表以中轴线模型为中轴线的两个平面越相似。
[0039]
假设单帧影像上d为最佳中轴线y与影像中心c的垂直距离，θ为最佳中轴线的角度，a为垂足，则a
x
＝c
x
dsin(θ)，a
y
＝c
y-dcos(θ)，c＝a
y-ma
x
[0040]
对于平面ax by cz＝d和y＝ax bz c
[0041]
设定
[0042]
当q趋近于零时为所求的最佳近似向量平面，故
[0043][0044][0045][0046]
再利用高斯消去法求a、b、c，则所得的中轴面即称为最佳中轴面。
[0047]
可选地，最佳中轴面的确定模型包含：将执行模型渲染并求得的最优参数输入至
以下中轴面公式。即假设空间中任一点(x
i
，y
i
，z
i
)和平面s：ax by cz d＝0，则该点对此平面的对称点设为(x
si
，y
si
，z
si
)，由此可知(x
i
，y
i
，z
i
)与(x
si
，y
si
，z
si
)间的关是：
[0048][0049][0050][0051]
可将平面s换算成α、β、k
d
三个参数来表示，即平面s与xy平面的交线为l1，与xz平面的交线为l2，与正x轴的交点为p，且令l1与x轴的交角为α、l2与x轴的交角为β、p点与原点距离为k
d
，则p的点坐标为(k
d
，0，0)，l1的方向向量为(cosα，sinα，0)，l2的方向向量是(cosβ，0，sinβ)，l1与l2都是平面s上的直线，故平面s的法向量为：
[0052]
(cosα，sinα，0)
×
(cosβ，0，sinβ)＝(sinαsinβ，sinβcosβ，cosβsinα)
[0053]
上述公式中的前三个系数a，b，c可化为：
[0054]
a＝sinαsinβ
[0055]
b＝sinβcosβ
[0056]
c＝cosβsinα
[0057]
而点p为s平面上的点，故得到最后一个系数d为
[0058]
d＝-(sinαsinβ)k
d
[0059]
因而中轴面模型可简化为：
[0060]
(sinαsinβ)x (sinβcosβ)y (cosβsinα)z-(sinαsinβ)k
d
＝0
[0061]
如果空间中有完全对称的器官和组织以上述模型为中轴面，则
[0062]
f(x
i
，y
i
，z
i
)＝f(x
si
，y
si
，z
si
)
[0063]
此时的灰度值的误差模型为：
[0064][0065]
由于多帧断层扫描影像并将其二值化，故上式可为
[0066][0067][0068]
其中的α，β，k
d
就是获取最优参数步骤中所得到的参数，且上述灰度值的误差模型中f(x
i
，y
i
，z
i
)＝f(x
si
，y
si
，z
si
)的值越接近1，代表以中轴面模型为中轴线的两个三维空间越相似。
[0069]
在进一步实施例中，在执行模型渲染并求最优参数之前，还包括选取原始体素影像中的表面轮廓数据，通过仅处理表层体素影像数据的方式，来减少因直接处理整个原始体素影像数据所需花费的时间。
[0070]
上述对称性检测过程均可通过灰度插值来重新计算而得到校准后的二维医学影像，上述三种方式都是利用先得到的最佳中轴面，再通过插值法重新计算得到校正的二维医学影像，用于校正医学扫描时造成的偏差影像。
[0071]
设g(x，y，z)为在(x，y，z)点上经插值后的灰度值，v(i，j，k)则为该点的八个相邻点的灰度值，其模型为：
[0072]
其中
[0073][0074][0075][0076]
则通过g(x，y，z)就可以得到新的切平面上每一点的灰度值，由此方式来产生新的二维影像。
[0077]
由上述说明可知，通过输入特定阈值，来选取影像中所要进行医疗部位的影像数据，以减少输入的数据量，并通过所设定的灰度值误差模型来快速比对输入的影像数据，缩短运算时间，由此快速重建出三维影像，或是通过输入的二维影像的中轴线或三维影像的中轴面来进行对称性的比对，大幅缩短运算时间和运算数据量，可辅助医疗人员在临床诊断的识别。
[0078]
综上所述，本发明提出了一种医学扫描模型的影像再现方法，以较低的软硬件成本，有效提高了三维影像质量和运算效率，同时解决了现有重建方法的影像失真问题和现有远程重建方法的有限带宽和有限存储空间的问题。
[0079]
显然，本领域的技术人员应该理解，上述的本发明的各模块或各步骤可以用通用的计算系统来实现，它们可以集中在单个的计算系统上，或者分布在多个计算系统所组成的网络上，可选地，它们可以用计算系统可执行的程序代码来实现，从而，可以将它们存储在存储系统中由计算系统来执行。这样，本发明不限制于任何特定的硬件和软件结合。
[0080]
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界或者这种范围和边界的等同形式内的全部变化和修改例。