一种医学图像三维重建方法、介质及电子设备与流程

1.本发明涉及一种图像处理方法，特别是涉及一种医学图像三维重建方法、介质及电子设备。


背景技术：

2.在骨科疾病诊疗中，为减少患者所受到的辐射量，通常会基于二维x平片进行三维重建来为医生提供三维信息，从而辅助医生阅片以及疾病诊断。相关技术中的三维重建方法主要包括基于立体视觉的三维重建方法和基于二维三维配准的三维重建方法。其中，基于立体视觉的三维重建方法需要采集多个角度的x平片图像，这些图像在实际应用中往往很难得到，因而导致此种方法很难应用到实际诊断中。而基于二维三维配准的三维重建方法通常需要使用数字重建x平片图像(drr)技术，这意味着在重建过程中需要进行大量的计算，因而此种方法存在计算复杂度过高的问题。


技术实现要素：

3.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种医学图像三维重建方法、介质及电子设备，用于解决现有技术中存在的上述问题。
4.为实现上述目的及其他相关目的，本发明的第一方面提供一种医学图像三维重建方法、介质及电子设备，所述医学三维图像重建方法包括：获取基准x平片和浮动x平片，其中，所述基准x平片包括基准正位x平片和基准侧位x平片，所述浮动x平片包括浮动正位x 平片和浮动侧位x平片；获取所述基准x平片和所述浮动x平片对应的解剖学关键点；获取所述基准x平片和所述浮动x平片对应的多器官掩膜；根据所述解剖学关键点和所述多器官掩膜对所述基准x平片和所述浮动x平片进行对齐，并根据对齐结果获取正位单器官x 平片和侧位单器官x平片；利用第一卷积神经网络模型对所述正位单器官x平片和所述侧位单器官x平片进行三维重建，以获取单器官三维图像。
5.于所述第一方面的一实施例中，所述基准正位x平片、所述基准侧位x平片、所述浮动正位x平片和所述浮动侧位x平片均包括双侧股骨和盆骨，且所述基准侧位x平片和所述浮动侧位x平片为髋关节假斜位x平片。
6.于所述第一方面的一实施例中，获取所述基准x平片和所述浮动x平片对应的解剖学关键点的实现方法包括：利用第二卷积神经网络模型对所述基准x平片和所述浮动x平片进行处理，以获取所述解剖学关键点。
7.于所述第一方面的一实施例中，利用所述第二卷积神经网络模型对所述基准x平片进行处理的实现方法包括：利用所述第二卷积神经网络模型对所述基准x平片进行处理，以获取所述基准x平片对应的解剖学关键点热力图；根据所述基准x平片对应的解剖学关键点热力图中像素点的像素值，获取所述基准x平片对应的解剖学关键点。
8.于所述第一方面的一实施例中，获取所述基准x平片和所述浮动x平片对应的多器官掩膜的实现方法包括：利用第三卷积神经网络模型对所述基准x平片和所述浮动x平片进
行处理，以获取所述多器官掩膜。
9.于所述第一方面的一实施例中，根据所述解剖学关键点和所述多器官掩膜对所述基准x 平片和所述浮动x平片进行对齐的实现方法包括：根据所述基准x平片和所述浮动x平片中的点对配准获取欧式变换矩阵；利用所述欧式变换矩阵对所述浮动x平片及其对应的多器官掩膜进行处理，以获取对齐后的正位x平片及其对应的多器官掩膜、对齐后的侧位x平片及其对应的多器官掩膜。
10.于所述第一方面的一实施例中，根据对齐结果获取正位单器官x平片和侧位单器官x平片的实现方法包括：将所述对齐后的正位x平片与其对应的多器官掩膜进行与操作，以获取所述正位单器官x平片；将所述对齐后的侧位x平片与其对应的多器官掩膜进行与操作，以获取所述侧位单器官x平片。
11.于所述第一方面的一实施例中，利用所述第一卷积神经网络模型对所述正位单器官x平片和所述侧位单器官x平片进行三维重建的实现方法包括：将所述正位单器官x平片沿其摄片轴进行扩充，以获取正位三维数据；将所述侧位单器官x平片沿其摄片轴进行扩充，以获取侧位三维数据；利用所述第一卷积神经网络模型对所述正位三维数据和所述侧位三维数据进行处理，以获取所述单器官三维图像。
12.本发明的第二方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明第一方面任一项所述的医学图像三维重建方法，
13.本发明的第三方面提供一种电子设备，所述电子设备包括：存储器，其上存储有计算机程序；处理器，与所述存储器通信相连，用于调用所述计算机程序时执行本发明第一方面任一项所述的医学三维图像重建方法。
14.如上所述，本发明一个或多个实施例中所述的医学图像三维重建方法具有以下有益效果：
15.所述医学三维图像重建方法能够基于基准x平片和浮动x平片获取解剖学关键点以及多器官掩膜，并基于所述解剖学关键点以及多器官掩膜来获取对齐后的正位单器官x平片和侧位单器官x平片，基于此，所述医学三维图像重建方法能够利用第一卷积神经网络模型实现单器官三维重建。与现有技术相比，本发明实施例中提供了另一种医学图像三维重建的方法，所述医学三维图像重建方法仅需要获取正位和侧位的x平片即可，而正位和侧位的x平片在实际应用中很容易得到，因而具有良好的实用性。此外，所述医学三维图像重建方法无需使用数字重建x平片图像技术，因而能够降低三维重建过程的计算复杂度。
附图说明
16.图1a显示为本发明所述医学图像三维重建方法于一具体实施例中的流程图。
17.图1b显示为本发明所述医学图像三维重建方法于一具体实施例中解剖学关键点的示例图。
18.图2a显示为本发明所述医学图像三维重建方法于一具体实施例中获取解剖学关键点的流程图。
19.图2b和图2c显示为本发明所述医学图像三维重建方法于一具体实施例中解剖学关键点热力图的示例图。
20.图3a显示为本发明所述医学图像三维重建方法于一具体实施例中的基准正位x平
x平片，包括基准正位x平片和基准侧位x平片，且所述基准正位x平片和所述基准侧位x 平片为同一样本不同视角的两张x平片。所述基准x平片可以由医务人员通过人工方式选取。所述浮动x平片是指待重建的x平片，其包括浮动正位x平片和浮动侧位x平片，且所述浮动正位x平片和所述浮动侧位x平片也为同一样本不同视角的两张x平片。
42.可选地，所述目标器官为髋关节，所述基准正位x平片和所述基准侧位x平片均包含双侧股骨和骨盆，所述浮动正位x平片和所述浮动侧位x平片也包含双侧股骨和骨盆。此外，所述基准正位x平片和所述浮动正位x平片均为骨盆前后位x平片，所述基准侧位x平片和所述浮动侧位x平片均为髋关节假斜位x平片。
43.s12，获取所述基准x平片和所述浮动x平片对应的解剖学关键点。其中，所述解剖学关键点是指能够定位所述目标器官的关键点，具体可以根据解剖学相关知识进行定义。
44.特别地，请参阅图1b，显示为所述目标器官为髋关节时的一组解剖学关键点，分别为： 1号点右骶髂关节，2号点左骶髂关节，3号点右股骨颈，4号点左股骨颈，5号点趾骨联合上端，6号点趾骨联合下端，7号点右大转子，8号点左大转子，9号点右小转子，10号点左小转子。
45.s13，获取所述基准x平片和所述浮动x平片对应的多器官掩膜，其中，所述基准正位 x平片和所述基准侧位x平片各自分别对应一个多器官掩膜，所述浮动正位x平片和所述浮动侧位x平片各自分别对应一个多器官掩膜。所述多器官掩膜用于标记非器官区域以及不同的器官区域，例如，可以将所述多器官掩膜记为其中，i为大于1 的整数。
46.s14，根据所述解剖学关键点和所述多器官掩膜对所述基准x平片和所述浮动x平片进行对齐，并根据对齐结果获取正位单器官x平片和侧位单器官x平片。具体地，步骤s14将所述基准正位x平片与所述浮动正位x平片进行对齐以得到对齐后的正位x平片，根据所述对齐后的正位x平片即可获取所述正位单器官x平片。并且，步骤s14将所述基准侧位x 平片与所述浮动侧位x平片进行对齐以得到对齐后的侧位x平片，根据所述对齐后的侧位x 平片即可获取所述侧位单器官x平片。本步骤中所采用的对齐方式例如为刚性变换，但本发明并不以此为限。
47.s15，利用第一卷积神经网络模型对所述正位单器官x平片和所述侧位单器官x平片进行三维重建，以获取单器官三维图像。其中，所述第一卷积神经网络模型为一训练好的模型，不同的目标器官可以使用结构相同但是参数不同的第一卷积神经网络模型进行三维重建。
48.根据以上描述可知，本实施例所述医学三维图像重建方法能够基于基准x平片和浮动x 平片获取解剖学关键点以及多器官掩膜，并基于所述解剖学关键点以及多器官掩膜来获取对齐后的正位单器官x平片和侧位单器官x平片，基于此，所述医学三维图像重建方法能够利用第一卷积神经网络模型实现单器官三维重建。与现有技术相比，本实施例提供了另一种医学图像三维重建方法，所述医学三维图像重建方法仅需要获取正位和侧位的x平片即可，而正位和侧位的x平片在实际应用中很容易得到，因而具有良好的实用性。此外，所述医学三维图像重建方法无需使用数字重建x平片图像技术，因而能够降低三维重建过程的计算复杂度。
49.此外，本实施例所述医学三维图像重建方法是基于真实的x平片进行三维重建来得到目标器官的三维图像，相对于相关技术中仅使用仿真生成的x平片进行训练和验证的方案，本实施例能够解决从真实x平片重建为三维图像的问题。
50.于本发明的一实施例中，获取所述基准正位x平片对应的解剖学关键点的实现方法包括：利用第二卷积神经网络模型对所述基准正位x平片进行处理，以获取其对应的解剖学关键点。
51.可选地，请参阅图2a，利用所述第二卷积神经网络模型对所述基准正位x平片进行处理的实现方法包括：
52.s21，利用所述第二卷积神经网络模型对所述基准正位x平片进行处理，以获取所述基准正位x平片对应的解剖学关键点热力图。具体地，将所述基准正位x平片输入训练好的所述第二卷积神经网络模型即可得到其对应的解剖学关键点热力图，例如，请参阅图2b，显示为本实施例中获取的解剖学关键点热力图的示例图。
53.s22，根据所述基准正位x平片对应的解剖学关键点热力图中像素点的像素值，获取所述基准正位x平片对应的解剖学关键点。
54.可选地，所述第二卷积神经网络模型包括多个输出通道，各输出通道分别输出对应于不同解剖学关键点的解剖学关键点热力图。此时，每一解剖学关键点的坐标为对应输出通道中像素值最大的像素点坐标。例如，请参阅图2c，显示为所述第二卷积神经网络模型的某一输出通道输出的解剖学关键点热力图，该热力图中像素值最大的像素点的坐标即为右股骨颈这一解剖学关键点的坐标。
55.根据以上描述可知，本实施例提供了一种获取所述基准正位x平片对应的解剖学关键点的实现方法。可以理解的是，所述第二卷积神经网络模型也可以获取所述浮动正位x平片对应的解剖学关键点；并且，通过相应的训练，所述第二卷积神经网络模型也可以获取所述基准侧位x平片对应的解剖学关键点，以及所述浮动侧位x平片对应的解剖学关键点。需要说明的是，本实施例中，用于对侧位x平片进行处理的卷积神经网络模型与用于对正位x平片进行处理的卷积神经网络模型可能具有不同的结构和/或参数，然而，它们的输入均为x平片，输出均为解剖学关键点热力图，因而可以采用相似的方式进行构建、训练以及使用，为节省说明书篇幅，此处不再分别展开叙述。
56.于本发明的一实施例中，获取所述基准正位x平片对应的多器官掩膜的实现方法包括：利用第三卷积神经网络模型对所述基准正位x平片进行处理，以获取其对应的多器官掩膜。例如，请参阅图3a和图3b，分别显示为本实施例中一基准正位x平片示例图及其对应的多器官掩膜。
57.可以理解的是，所述第三卷积神经网络模型也可以对所述浮动正位x平片进行处理，以获取其对应的多器官掩膜；并且，通过相应的训练，所述第三卷积神经网络模型也可以获取所述基准侧位x平片对应的多器官掩膜，以及所述浮动侧位x平片对应的多器官掩膜。需要说明的是，本实施例中，用于对侧位x平片进行处理的卷积神经网络模型与用于对正位x平片进行处理的卷积神经网络模型可能具有不同的结构和/或参数，然而，它们的输入均为x平片，输出均为多器官掩膜，因而可以采用相似的方式进行构建、训练以及使用，为节省说明书篇幅，此处不再分别展开叙述。
58.请参阅图4a，于本发明的一实施例中，根据所述解剖学关键点和所述多器官掩膜
z轴复制za份，并沿着z轴拼接成三维图像，最后得到的正位三维图像的大小为(xa，ya， za)。其中，所述正位三维图像可以作为所述正位三维数据的一种表现形式。
68.s52，将所述侧位单器官x平片沿其摄片轴进行扩充，以获取侧位三维数据。
69.例如，假设一个直角坐标系有三个轴x、y和z，侧位单器官x平片获取自y轴观测且图像大小为(xb，zb)，沿着摄片轴将其扩充为侧位三维图像即将所述侧位单器官x平片沿着y 轴复制yb份，并沿着y轴拼接成三维图像，最后得到的侧位三维图像的大小为(xb，yb，zb)。其中，所述侧位三维图像可以作为所述侧位三维数据的一种表现形式。
70.s53，利用所述第一卷积神经网络模型对所述正位三维数据和所述侧位三维数据进行处理，以获取所述单器官三维图像。
71.优选地，步骤s53可以将所述正位三维数据和所述侧位三维数据并接为双通道三维数据，然后将所述双通道三维数据输入所述第一卷积神经网络模型以实现三维重建。
72.请参阅图6，于本发明的一实施例中，所述医学图像三维重建方法包括：
73.s61，获取基准x平片和浮动x平片，所述基准x平片包括基准正位x平片和基准侧位 x平片，所述浮动x平片包括浮动正位x平片和浮动侧位x平片，并且，所述基准正位x 平片和所述浮动正位x平片均包含双侧股骨和骨盆。所述基准侧位x平片和所述浮动侧位x 平片是指髋关节假斜位的x平片，二者均包含双侧股骨和骨盆。本实施例中，所述基准x平片是手动选取的、股骨骨盆位置观感最正的x平片。
74.s62，使用第二卷积神经网络模型提取各x平片中的解剖学关键点。具体地，将所述基准正位x平片、所述基准侧位x平片、所述浮动正位x平片和所述浮动侧位x平片分别输入所述第二卷积神经网络模型，即可获取各自对应的一组解剖学关键点。在本实施例中，各 x平片均对应10个解剖学关键点，分别为：右骶髂关节，左骶髂关节，右股骨颈，左股骨颈，趾骨联合上端，趾骨联合下端，右大转子，左大转子，右小转子和左小转子。
75.本实施例中，所述第二卷积神经网络模型对应于各x平片的输出均为解剖学关键点热力图，其中，每个解剖学关键点对应所述第二卷积神经网络模型的一个输出通道，单个解剖学关键点的坐标为单通道解剖学关键点热力图像素值最大的像素点坐标。
76.此外，本实施例中正位x平片(包括基准正位x平片和浮动正位x平片)与侧位x平片(包括基准侧位x平片和浮动侧位x平片)分别使用两个不同的第二卷积神经网络模型来提取对应的解剖学关键点。
77.s63，使用第三卷积神经网络模型提取各x平片对应的多器官掩膜。具体地，本实施例中，将单幅x平片输入训练好的所述第三卷积神经网络模型即可得到股骨、盆骨的多器官掩膜，记为
78.s64，基于步骤s62和s63获取的解剖学关键点和多器官掩膜，提取对齐后的正位x平片和侧位x平片。具体地，首先通过点对配准获取正位x平片对应的第一欧式变换矩阵和侧位x平片对应的第二欧式变换矩阵，然后利用第一欧式变换矩阵作用于浮动正位x平片及其对应的掩膜以得到对齐后的正位x平片及其对应的掩膜，利用第二欧式变换矩阵作用于浮动侧位x平片及其对应的掩膜以得到对齐后的侧位x平片及其对应的掩膜。将对齐后的正位x 平片、对齐后的侧位x平片分别与其对应的掩膜进行与操作，从而得到多组单器官正位x平片和单器官侧位x平片。
79.s65，使用第一卷积神经网络模型对单器官正位x平片和单器官侧位x平片进行三维重建，以获取髋关节的三维图像。具体地，将所述单器官正位x平片和所述单器官侧位x平片沿各自的摄片轴扩充为三维数据，其后并接的输入所述第一卷积神经网络模型即可得到所述髋关节的三维图像。
80.优选地，所述第二卷积神经网络模型、所述第三卷积神经网络模型和所述第一卷积神经网络模型采用混联形式连接，其中，所述第二卷积神经网络模型和所述第三卷积神经网络模型并联，分别用于提取解剖学关键点和多器官掩膜，且二者的输出经上述步骤s64处理之后输入所述第一卷积神经网络模型，并最终实现图像的三维重建。
81.本实施例所述的医学图像三维重建方法可以从两幅不同视角的真实二维髋关节x平片中重建三维髋关节骨头图像，其中包含基于深度学习的解剖学关键点提取、多器官掩膜提取和二维
‑
三维重建方法，能够从实际角度解决真实x平片图像重建三维图像的问题，且能够提升重建图像的精度和稳定性。
82.基于以上对所述医学图像三维重建方法的描述，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现图1a或图6所示的医学图像三维重建方法。
83.基于以上对所述医学图像三维重建方法的描述，本发明还提供一种电子设备。具体地，请参阅图7，于本发明的一实施例中，所述电子设备700包括存储器710和处理器720，其中，所述存储器710上存储有计算机程序，所述处理器720与所述存储器710通信相连，用于调用所述计算机程序时执行图1a或图6所述的医学三维图像重建方法。
84.可选地，所述电子设备700还包括显示器730，所述显示器730与所述存储器710和所述处理器720通信相连，用于显示所述医学三维图像重建方法的相关gui交互界面。
85.本发明所述的医学图像三维重建方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
86.本发明所述医学三维图像重建方法能够基于基准x平片和浮动x平片获取解剖学关键点以及多器官掩膜，并基于所述解剖学关键点以及多器官掩膜来获取对齐后的正位单器官x平片和侧位单器官x平片，基于此，所述医学三维图像重建方法能够利用第一卷积神经网络模型实现单器官三维重建。与现有技术相比，本发明提供了另一种医学图像三维重建方法，所述医学三维图像重建方法仅需要获取正位和侧位的x平片即可，而正位和侧位的x平片在实际应用中很容易得到，因而具有良好的实用性。此外，所述医学三维图像重建方法无需使用数字重建x平片图像技术，因而能够降低三维重建过程的计算复杂度。
87.此外，本发明所述医学三维图像重建方法是基于真实的x平片进行三维重建来得到目标器官的三维图像，相对于相关技术中仅使用仿真生成的x平片进行训练的验证的方案，本发明所述医学三维图像重建方法能够解决从真实x平片重建为三维图像的问题。
88.综上所述，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
89.上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。