腕部模型的重建方法、装置、电子设备及存储介质

1.本发明涉及图像处理技术领域，尤其是涉及一种腕部模型的重建方法、装置、电子设备及存储介质。


背景技术：

2.针对膝关节、髋关节等相对结构简单、目标较大的解剖对象，目前相关技术提出面向核磁图像(mri，magnetic resonance imaging)中相关解剖结构进行三维重建的技术方案，然而对于腕关节中体积较小、形态复杂的精细结构，利用上述技术方案对腕关节进行三维重建的效果较差。


技术实现要素：

3.有鉴于此，本发明的目的在于提供一种腕部模型的重建方法、装置、电子设备及存储介质，可以显著提高腕部子结构模型的重建精度和重建质量。
4.第一方面，本发明实施例提供了一种腕部模型的重建方法，包括：获取目标腕部结构的腕部图像集合；其中，所述腕部图像集合包括多个图像采集方位处采集的原始腕部图像；对所述腕部图像集合中的多个原始腕部图像进行图像融合处理，得到所述目标腕部结构对应的目标腕部图像；通过预先训练得到的腕部分割网络对所述目标腕部图像进行分割处理，得到所述目标腕部结构对应的目标分割结果；其中，所述目标分割结果包括多个腕部子结构；基于所述目标分割结果重建所述目标腕部结构中各个所述腕部子结构对应的腕部子结构模型。
5.在一种实施方式中，所述对所述腕部图像集合中的多个原始腕部图像进行图像融合处理，得到所述目标腕部结构对应的目标腕部图像，包括：针对所述腕部图像集合中的每个原始腕部图像，对所述原始腕部图像进行预处理，得到中间腕部图像；对各个所述中间腕部图像进行图像融合处理，得到所述目标腕部结构对应的目标腕部图像。
6.在一种实施方式中，所述对所述原始腕部图像进行预处理，包括对所述原始腕部图像执行以下至少一种预处理操作：对所述原始腕部图像的灰度直方图进行调整，以调整所述原始腕部图像的对比度；利用b样条插值算法对所述原始腕部图像进行上采样，以调整所述原始腕部图像的分辨率；从所述原始腕部图像中确定参考图像，并将除所述参考图像之外的其余原始腕部图像向所述参考图像对齐。
7.在一种实施方式中，所述原始腕部图像包括冠位图像、矢位图像和轴位图像；所述从所述原始腕部图像中确定参考图像，并将除所述参考图像之外的其余原始腕部图像向所述参考图像对齐，包括：将所述冠位图像确定为参考图像；根据最小二乘法和所述冠位图像，确定第一变换矩阵和第二变换矩阵；基于所述第一变换矩阵对所述矢位图像进行形变，以使所述矢位图像向所述冠位图像对齐；以及，基于所述第二变换矩阵对所述轴位图像进行形变，以使所述轴位图像向所述冠位图像对齐。
8.在一种实施方式中，所述对各个所述中间腕部图像进行图像融合处理，得到所述
目标腕部结构对应的目标腕部图像，包括：提取每个所述中间腕部图像的多个维度的初始小波分量；对于每个维度的初始小波分量，根据预设评价函数确定对所述维度的初始小波分量进行融合时，基于各个所述中间腕部图像对应的权重系数，对所述维度的初始小波分量进行加权求和，得到所述维度的融合后小波分量；对每个所述维度的融合后小波分量进行小波反变换处理，得到所述目标腕部结构对应的目标腕部图像。
9.在一种实施方式中，所述腕部分割网络包括二维图像分割子网络和分割结果三维优化子网络，所述目标腕部图像包括多个二维切片；所述通过预先训练得到的腕部分割网络对所述目标腕部图像进行分割处理，得到所述目标腕部结构对应的目标分割结果，包括：通过所述二维图像分割子网络对每个二维切片进行分割处理，得到初始分割结果；通过所述分割结果三维优化子网络，基于所述二维切片在所述目标腕部图像中的边缘轮廓，修正所述初始分割结果得到目标分割结果；其中，所述腕部子结构包括尺骨远端分割结果、桡骨远端分割结果和tfcc结构分割结果中的一种或多种。
10.在一种实施方式中，所述腕部分割网络的训练步骤，包括：获取训练图像；其中，所述训练图像包括多个训练二维切片；从所述训练二维切片中选取第一切片和第二切片；确定所述第一切片对应的第一标签，并基于所述第一切片和所述第一标签对所述二维图像分割子网络进行训练；通过训练后的所述二维图像分割子网络对所述第二切片进行分割处理，得到所述第二切片的初始分割结果；基于所述第二切片的初始分割结果确定所述第二切片对应的第二标签，并基于所述第二切片的初始分割结果和所述第二标签对所述分割结果三维优化子网络进行训练。
11.第二方面，本发明实施例还提供一种腕部模型的重建装置，包括：图像获取模块，用于获取目标腕部结构的腕部图像集合；其中，所述腕部图像集合包括多个图像采集方位处采集的原始腕部图像；融合模块，用于对所述腕部图像集合中的多个原始腕部图像进行图像融合处理，得到所述目标腕部结构对应的目标腕部图像；分割模块，用于通过预先训练得到的腕部分割网络对所述目标腕部图像进行分割处理，得到所述目标腕部结构对应的目标分割结果；其中，所述目标分割结果包括多个腕部子结构；重建模块，用于基于所述目标分割结果重建所述目标腕部结构中各个所述腕部子结构对应的腕部子结构模型。
12.第三方面，本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现第一方面提供的任一项所述的腕部模型的重建方法。
13.第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现第一方面提供的任一项所述的腕部模型的重建方法。
14.本发明实施例提供的一种腕部模型的重建方法、装置、电子设备及存储介质，首先获取目标腕部结构的腕部图像集合，该腕部图像集合包括多个图像采集方位处采集的原始腕部图像，然后对腕部图像集合中的多个原始腕部图像进行图像融合处理，得到目标腕部结构对应的目标腕部图像，再通过预先训练得到的腕部分割网络对目标腕部图像进行分割处理，得到目标腕部结构对应的目标分割结果(包括多个腕部子结构)，最后基于目标分割结果重建目标腕部结构中各个腕部子结构对应的腕部子结构模型。上述方法对腕部图像集合中多个图像采集方位处采集的原始腕部图像进行图像融合处理，可以得到分辨率较高、
结构连续性更强的目标腕部图像，然后利用腕部分割模型可以更为精确地分割目标腕部图像得到目标分割结果，最后基于该目标分割结果即可得到精度和质量均较高的腕部子结构模型，从而显著提高了腕部子结构模型的重建精度和重建质量。
15.本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
16.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
17.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本发明实施例提供的一种腕部模型的重建方法的流程示意图；
19.图2为本发明实施例提供的一种原始腕部图像的示意图；
20.图3为本发明实施例提供的另一种原始腕部图像的示意图；
21.图4为本发明实施例提供的一种离散小波变换算法的原理示意图；
22.图5为本发明实施例提供的一种腕部分割网络的结构示意图；
23.图6为本发明实施例提供的另一种腕部模型的重建方法的流程示意图；
24.图7为本发明实施例提供的一种腕部模型的重建装置的结构示意图；
25.图8为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
26.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
27.目前，相关技术提出面向核磁图像中相关解剖结构进行三维重建的技术方案，主要包括图像预处理、基于传统图像处理方法或手动描绘方法的图像分割、三维重建及物体表面网格化等几个关键技术步骤。但是，该技术方案无法实现对腕关节解剖结构的三维重建，特别是腕部一些体积较小、形态复杂的精细结构，诸如三角纤维软骨复合体(tfcc，triangular fibrocartilage complex)等，而精确的腕部解剖结构如tfcc的三维重建结果直接影响到相关疾病的诊断与治疗。
28.上述技术方案至少存在以下问题：
29.(1)由于腕关节区域骨骼与韧带等解剖结构体积较小，受mri成像机制限制，z轴分辨率较低，一般是xy方向分辨率的十分之一(甚至更小)，导致精细结构的提取与三维结构的重建变得困难。
30.(2)受mri图像噪声影响，如运动伪影等，基于传统图像处理技术的分割算法很难
精确识别mri图像中的腕关节解剖结构，如尺骨、桡骨、tfcc等。
31.(3)采用人工描绘的方式提取腕关节解剖结构成本极高，一般情况下分割一幅256x256x128个像素的三维图像，需要花费一位专业大夫1小时时间，另一方面，长时间的人工分割将引入大量主观分割误差，降低重建质量。
32.基于此，本发明实施提供了一种腕部模型的重建方法、装置、电子设备及存储介质，可以显著提高腕部模型的重建精度和重建质量。
33.为便于对本实施例进行理解，首先对本发明实施例所公开的一种腕部模型的重建方法进行详细介绍，参见图1所示的一种腕部模型的重建方法的流程示意图，该方法主要包括以下步骤s102至步骤s108：
34.步骤s102，获取目标腕部结构的腕部图像集合。其中，腕部图像集合包括多个图像采集方位处采集的原始腕部图像，原始腕部图像可以采用mri图像，为三维图像。示例性的，图像采集方位也即采集视角，包括冠位(coronal)、矢位(sagittal)和轴位(axial)，原始腕部图像将包括冠位图像、矢位图像和轴位图像，冠位图像也即在矢位视角下采集的原始腕部图像，矢位图像也即在轴位视角下采集的原始腕部图像，轴位图像也即在冠位视角下采集的原始腕部图像。
35.在一种实施方式中，可以采用相关的mri设备采集目标腕部结构的冠位图像、矢位图像和轴位图像。
36.步骤s104，对腕部图像集合中的多个原始腕部图像进行图像融合处理，得到目标腕部结构对应的目标腕部图像。其中，目标腕部图像也为三维图像。
37.在一种实施方式中，可以预先对原始腕部图像进行对比度调整处理、分辨率调整处理或图像配准处理等预处理，通过对原始腕部图像进行分辨率调整处理，可以得到各向同性的三维图像，然后将预处理后的冠位图像、矢位图像和轴位图像进行图像融合处理，即可得到在三维空间各个方向上分辨率高、细节丰富的高质量目标腕部图像，该目标腕部图像可以清晰呈现各处形状细节，以便于腕部分割网络可以分割出目标腕部图像中个精细解剖结构(也即，腕部子结构)。
38.步骤s106，通过预先训练得到的腕部分割网络对目标腕部图像进行分割处理，得到目标腕部结构对应的目标分割结果。其中，目标分割结果包括多个腕部子结构，腕部分割网络包括二维图像分割子网络和分割结果三维优化子网络，二维图像分割子网络对二维切片进行分割处理，其输入为目标腕部图像的多个二维切片，输出为各个二维切片的初始分割结果，分割结果三维优化子网络用于对初始分割结果进行修正，其输入为初始分割结果，输出为目标分割结果。
39.在一种实施方式中，可以利用二维图像分割子网络对二维切片进行分割处理得到相应的初始分割结果，再利用分割结果三维优化子网络对初始分割结果进行修正，即可得到目标腕部结构对应的目标分割结果。
40.步骤s108，基于目标分割结果重建目标腕部结构各个腕部子结构对应的腕部子结构模型。
41.在一种实施方式中，可以将所有目标分割结果进行堆叠，然后使用中值滤波操作在三维空间上对所有分割结果进行平滑，最后通过marching cubes算法实现腕关节各结构三维闭合表面的提取与网格化，即可得到目标腕部结构的腕部子结构模型。
42.本发明实施例提供的腕部模型的重建方法，对腕部图像集合中多个图像采集方位处采集的原始腕部图像进行图像融合处理，可以得到分辨率较高、结构连续性更强的目标腕部图像，然后利用腕部分割模型可以更为精确地分割目标腕部图像得到目标分割结果，最后基于该目标分割结果即可得到精度和质量均较高的腕部子结构模型，从而显著提高了腕部子结构模型的重建精度和重建质量。
43.考虑到受mri成像机制限制，原始腕部图像在z轴分辨率较低，一般是xy方向分辨率的十分之一甚至更小，不利于精细结构的提取和三维结构的重建，因此在对原始腕部图像进行图像融合处理之前，需要先对其进行预处理，以归一化各原始腕部图像间像素分布与各方向分辨率，得到各向同性的三维图像，基于此，本发明实施例提供了一种前述步骤s104的实施方式，可以参见如下步骤1至步骤2：
44.步骤1，针对腕部图像集合中的每个原始腕部图像，对原始腕部图像进行预处理，得到中间腕部图像。其中，预处理包括对比度调整处理、分辨率调整处理和图像配准处理中的一种或多种。在一种实施方式中，可以对原始腕部图像执行以下至少一种预处理操作：
45.(1)对原始腕部图像的灰度直方图进行调整，以调整原始腕部图像的对比度。参见图2所示的一种原始腕部图像的示意图，其中，冠位图像记为图像ic，矢位图像记为图像is，轴位图像记为图像ia。在一种实施方式中，可以利用限制对比度自适应直方图均衡(clahe，contrast limited adaptive histogram equalization)算法，调整原始腕部图像的灰度直方图分布，从而提高原始腕部图像的对比度。以冠位图像ic为例，利用clahe算法对冠位图像ic的灰度直方图的分布进行调整，即可增大冠位图像ic的对比度。
46.(2)利用b样条插值算法对原始腕部图像进行上采样，以调整原始腕部图像的分辨率，得到各向同性的三维图像。在一种实施方式中，通过b样条插值算法对原始腕部图像进行上采样，可以使原始腕部图像在z方向上的分辨率与xy平面上的分辨率一致(～0.1mm)，从而使各个图像采集方位采集的原始腕部图像在该图像采集方位下的平面上的分辨率最高，且另外两个图像采集方位上的分辨率经过上采样后分辨率明显提升。
47.请继续参见图2，以冠位图像为例，冠位图像在xy平面很清晰，但是z方向扫描图像的间隔较大，因此导致图像较为稀疏，造成冠位图像在z方向的分辨率较低，利用b样条插值算法，对z方向相邻的两个冠位图像直接进行插值，比如z方向两个冠位图像之间的距离为1mm，利用b样条插值算法在两个冠位图像之间插入9副图像，即可使每个图像之间的距离为0.1mm，其效果如图3所示的另一种原始腕部图像的示意图，此时z方向的分辨率与xy平面的分辨率一致，且z方向上的图像内容更为连续。
48.(3)从原始腕部图像中确定参考图像，并将除参考图像之外的其余原始腕部图像向参考图像对齐。在一种实施方式中，可以采用基于块匹配的全局配准方法，将其余原始腕部图像向参考图像对齐，具体的，可参见如下(3.1)至(3.3)：
49.(3.1)将冠位图像确定为参考图像。
50.(3.2)根据最小二乘法和冠位图像，确定第一变换矩阵和第二变换矩阵。其中，第一变换矩阵ts→c和第二变换矩阵ta→c可以为7个自由度的刚性变换矩阵，即旋转(θ，φ，ω)、平移(t_1，t_2，t_3)、与尺度缩放因子(s)，刚性变换矩阵如下所示：
[0051][0052]
在一种实施方式中，可以采用截尾最小二乘法(lts，least trimmed squares)以循环迭代的优化方式求解最优的第一变换矩阵和第二变换矩阵。
[0053]
(3.3)基于第一变换矩阵对矢位图像进行形变，以使矢位图像向冠位图像对齐；以及，基于第二变换矩阵对轴位图像进行形变，以使轴位图像向冠位图像对齐。在一种实施方式中，可以将矢位图像is和轴位图像ia同时向冠位图像ic对齐，即估计第一变换矩阵ts→c和第二变换矩阵ta→c，同时保证ta→c＝(tc→a)-1
和ts→c＝(tc→s)-1
，将矢位图像is向冠位图像ic对齐：将轴位图像ia向冠位图像ic对齐：其中，is′
为形变后的矢位图像，ia′
为形变后的轴位图像。
[0054]
步骤2，对各个中间腕部图像进行图像融合处理，得到目标腕部结构对应的目标腕部图像。在一种实施方式中，可以利用离散小波变换(dwt，discrete wavelet transform)算法对各个中间腕部图像进行图像融合处理，参见图4所示的一种离散小波变换算法的原理示意图，将三个图像采集方位下采集的mri图像(ia′
，is′
，ic)进行融合，小波变换将mri图像向不同尺度和不同方向的正交空间进行映射，其中各小波分量中的高频成分保留mri图像在不同尺度下的细节结构，是重要的语义信息，本发明实施例通过将这些高频成分进行融合，重建各个方位下的细节成分，得到在三维空间各个方向上分辨率高、细节丰富的高质量目标腕部图像。
[0055]
基于此，本发明实施例提供了一种图像融合处理的实施方式，参见如下步骤2.1至步骤2.3：
[0056]
步骤2.1，提取每个中间腕部图像的多个维度的初始小波分量。其中，维度包括尺度和方向，例如，第m个尺度n方向。在一种实施方式中，可以使用3个尺度7个方向的haar滤波器提取每个中间腕部图像的小波分量，以冠位图像ic为例，冠位图像ic的初始小波分量表达式如下所示：其中为冠位图像ic在第m个尺度n方向上的初始小波分量。
[0057]
步骤2.2，对于每个维度的初始小波分量，根据预设评价函数确定对维度的初始小波分量进行融合时，基于各个中间腕部图像对应的权重系数，对维度的初始小波分量进行加权求和，得到维度的融合后小波分量。以第m个尺度n方向上的初始小波分量为例，评价函数如下所示：
[0058][0059]
其中，threshold为预设阈值，为评价结果。基于该评价函数，可以确定出图像is′
的评价结果和图像ia′
的评价结果根据各个评价结果确定第m个尺度n方向上各个图像的权重系数，公式如下所示：
[0060][0061][0062]
其中，为冠位图像ic在第m个尺度n方向上的权重系数，为图像is′
在第m个尺度n方向上的权重系数，为图像ia′
在第m个尺度n方向上的权重系数，则融合后小波分量如下所示：
[0063][0064]
步骤2.3，对每个维度的融合后小波分量进行小波反变换处理，得到目标腕部结构对应的目标腕部图像。其中，目标腕部图像也可称之为时域图像或腕部三维mri图像。在一种实施方式中，目标腕部图像if的表达式如下所示：
[0065][0066]
对于前述步骤s106，可以基于半监督学习的腕部分割网络将上述目标腕部图像拆分为多个二维切片，该腕部分割网络包括二维图像分割子网络和分割结果三维优化子网络，然后使用少量人工标注通过半监督方式训练得到的轻量级的二维图像分割子网络，精准并高效地提取二维切片中的结构，包括尺骨远端、桡骨远端与tfcc结构，然后利用监督方式训练得到的分割结果三维优化子网络对二维图像分割子网络提取的结构进行修正，即可得到精度较高的目标分割结果。具体的，可参见如下步骤a1至步骤a2：
[0067]
步骤a1，通过二维图像分割子网络对每个二维切片进行分割处理，得到初始分割结果。其中，初始分割结果包括尺骨远端、桡骨远端与tfcc结构的图像。在一种实施方式中，二维图像分割子网络可以采用u-net神经网络，其输入为每个二维切片，输出为尺骨远端、桡骨远端与tfcc结构的图像。
[0068]
步骤a2，通过分割结果三维优化子网络，基于二维切片在目标腕部图像中的边缘轮廓，修正初始分割结果得到目标分割结果。其中，腕部子结构包括尺骨远端分割结果、桡骨远端分割结果和tfcc结构分割结果中的一种或多种，尺骨远端分割结果也即修正后的尺骨远端图像，桡骨远端分割结果也即修正后的桡骨远端图像，tfcc结构分割结果也即修正后的tfcc结构图像。在一种实施方式中，分割结果三维优化子网络可基于空间连续型对初始分割结果进行修正，即可得到分割效果较好的目标分割结果。
[0069]
参见图5所示的一种腕部分割网络的结构示意图，基于此，本发明实施例还提供了一种腕部分割网络的训练步骤，参见如下步骤b1至步骤b5：
[0070]
步骤b1，获取训练图像。其中，训练图像包括多个训练二维切片。在一种实施方式中，训练图像中包括n个二维图像平面。
[0071]
步骤b2，从训练二维切片中选取第一切片和第二切片；在一种实施方式中，在训练图像中选取n个第一切片，n《《n，并将其余训练二维切片作为第二切片。
[0072]
步骤b3，确定第一切片对应的第一标签，并基于第一切片和第一标签对二维图像分割子网络进行训练。在一种实施方式中，人工标注尺骨远端、桡骨远端和tfcc结构，得到
标签1(尺骨远端)、标签2(桡骨远端)与标签3(tfcc结构)，其中，背景标签为0，基于上述数据通过监督式学习训练二维图像分割子网络。
[0073]
步骤b4，通过训练后的二维图像分割子网络对第二切片进行分割处理，得到第二切片的初始分割结果。在一种实施方式中，使用前述训练得到的二维图像分割子网络对第二切片进行分割，得到相应的初始分割结果。
[0074]
步骤b5，基于第二切片的初始分割结果确定第二切片对应的第二标签，并基于第二切片的初始分割结果和第二标签对分割结果三维优化子网络进行训练。在一种实施方式中，可以使用3d形态学操作去除初始分割结果中的背景噪声、填补前景空洞等，以精炼各初始分割结果，将精炼后的初始分割结果作为第二切片对应的第二标签(也即，伪标签)，考虑到精炼后的初始分割结果的准确度可能依旧较差，因此可以对图像进行人工分割，以得到效果较好的第二标签。分割结果三维优化子网络输入通道为m(奇数)，即第二切片平面上下各(m-1)/2幅图像的分割结果，输出为第二切片的第二标签，该分割结果三维优化子网络通过结合第二切片在三维空间上的形状连续性修正初始分割结果。
[0075]
可选的，二维图像分割子网络的监督式损失函数1使用交叉熵损失，分割结果三维优化子网络的无监督式损失函数2使用最小均方误差函数。
[0076]
为便于理解，本发明实施例提供了一种腕部模型的重建方法的应用示例，参见图6所示的另一种腕部模型的重建方法的流程示意图，该方法主要包括以下步骤s602至步骤s608：
[0077]
步骤s602，对mri图像进行预处理。
[0078]
步骤s604，对预处理后的mri图像进行融合得到腕部三维mri图像。
[0079]
步骤s606，对腕部三维mri图像进行分割得到目标分割结果。
[0080]
步骤s608，基于目标分割结果进行三维重建和网格化得到腕部子结构模型。
[0081]
综上所述，本发明实施例至少具有以下特点：
[0082]
(1)提出一种多方位核磁共振图像(mri)融合方法，将腕关节冠位、矢位与轴位三个视角下拍摄的图像进行融合，提高三维图像在各个方向的分辨率，使腕关节中精细的解剖结构表现的更清晰，结构连续性更强。
[0083]
(2)提出一种基于半监督学习的mri图像深度网络分割方法，输入一幅目标腕部图像，专家人工描绘几个关键切片上的腕关节解剖结构，输入腕部分割网络之后可将整个三维图像进行精确分割。
[0084]
对于前述实施例提供的腕部模型的重建方法，本发明实施例提供了一种腕部模型的重建装置，参见图7所示的一种腕部模型的重建装置的结构示意图，该装置主要包括以下部分：
[0085]
图像获取模块702，用于获取目标腕部结构的腕部图像集合；其中，腕部图像集合包括多个图像采集方位处采集的原始腕部图像；
[0086]
融合模块704，用于对腕部图像集合中的多个原始腕部图像进行图像融合处理，得到目标腕部结构对应的目标腕部图像；
[0087]
分割模块706，用于通过预先训练得到的腕部分割网络对目标腕部图像进行分割处理，得到目标腕部结构对应的目标分割结果；其中，目标分割结果包括多个腕部子结构；
[0088]
重建模块708，用于基于目标分割结果重建目标腕部结构各个腕部子结构对应的
腕部子结构模型。
[0089]
本发明实施例提供的腕部模型的重建装置，对腕部图像集合中多个图像采集方位处采集的原始腕部图像进行图像融合处理，可以得到分辨率较高、结构连续性更强的目标腕部图像，然后利用腕部分割模型可以更为精确地分割目标腕部图像得到目标分割结果，最后基于该目标分割结果即可得到精度和质量均较高的腕部子结构模型，从而显著提高了腕部子结构模型的重建精度和重建质量。
[0090]
在一种实施方式中，融合模块704还用于：针对腕部图像集合中的每个原始腕部图像，对原始腕部图像进行预处理，得到中间腕部图像；对各个中间腕部图像进行图像融合处理，得到目标腕部结构对应的目标腕部图像。
[0091]
在一种实施方式中，融合模块704还用于：对原始腕部图像的灰度直方图进行调整，以调整原始腕部图像的对比度；利用b样条插值算法对原始腕部图像进行上采样，以调整原始腕部图像的分辨率；从原始腕部图像中确定参考图像，并将除参考图像之外的其余原始腕部图像向参考图像对齐。
[0092]
在一种实施方式中，原始腕部图像包括冠位图像、矢位图像和轴位图像；融合模块704还用于：将冠位图像确定为参考图像；根据最小二乘法和冠位图像，确定第一变换矩阵和第二变换矩阵；基于第一变换矩阵对矢位图像进行形变，以使矢位图像向冠位图像对齐；以及，基于第二变换矩阵对轴位图像进行形变，以使轴位图像向冠位图像对齐。
[0093]
在一种实施方式中，融合模块704还用于：提取每个中间腕部图像的多个维度的初始小波分量；对于每个维度的初始小波分量，根据预设评价函数确定对维度的初始小波分量进行融合时，基于各个中间腕部图像对应的权重系数，对维度的初始小波分量进行加权求和，得到维度的融合后小波分量；对每个维度的融合后小波分量进行小波反变换处理，得到目标腕部结构对应的目标腕部图像。
[0094]
在一种实施方式中，腕部分割网络包括二维图像分割子网络和分割结果三维优化子网络，目标腕部图像包括多个二维切片；分割模块706还用于：通过二维图像分割子网络对每个二维切片进行分割处理，得到初始分割结果；通过分割结果三维优化子网络，基于二维切片在目标腕部图像中的边缘轮廓，修正初始分割结果得到目标分割结果；其中，腕部子结构包括尺骨远端分割结果、桡骨远端分割结果和tfcc结构分割结果中的一种或多种。
[0095]
在一种实施方式中，上述装置还包括模型训练模块，用于：获取训练图像；其中，训练图像包括多个训练二维切片；从训练二维切片中选取第一切片和第二切片；确定第一切片对应的第一标签，并基于第一切片和第一标签对二维图像分割子网络进行训练；通过训练后的二维图像分割子网络对第二切片进行分割处理，得到第二切片的初始分割结果；基于第二切片的初始分割结果确定第二切片对应的第二标签，并基于第二切片的初始分割结果和第二标签对分割结果三维优化子网络进行训练。
[0096]
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
[0097]
本发明实施例提供了一种电子设备，具体的，该电子设备包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法。
[0098]
图8为本发明实施例提供的一种电子设备的结构示意图，该电子设备100包括：处
理器80，存储器81，总线82和通信接口83，所述处理器80、通信接口83和存储器81通过总线82连接；处理器80用于执行存储器81中存储的可执行模块，例如计算机程序。
[0099]
其中，存储器81可能包含高速随机存取存储器(ram，random access memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口83(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
[0100]
总线82可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
[0101]
其中，存储器81用于存储程序，所述处理器80在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器80中，或者由处理器80实现。
[0102]
处理器80可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器80中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器80可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现成可编程门阵列(field-programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器81，处理器80读取存储器81中的信息，结合其硬件完成上述方法的步骤。
[0103]
本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见前述方法实施例，在此不再赘述。
[0104]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0105]
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻
易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。