医学图像处理方法、系统、计算机设备和存储介质与流程

1.本技术涉及人工智能技术领域，特别是涉及一种医学图像处理方法、装置、计算机设备和存储介质。


背景技术：

2.随着计算机技术的发展，出现了手术导航系统，手术导航系统的出现符合精准外科的发展趋势。手术导航系统通过对患者医学影像的分析以及术中各种传感器的应用，为手术操作提供更丰富的参考信息和更精准的引导，成为辅助医生完成手术的有力工具。
3.传统技术中，术前手术方案是通过术前采集患者ct等数据，在手术导航系统的计算机中完成，然后医生根据术前手术方案进行手术。
4.然而，目前的手术导航系统中医生无法看到基于真实场景下的手术数据，仅能看到术前手术方案，不够智能化。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种能够将操作信息融合到真实的待手术空间上，为医生提供可全局把握手术的数据提示的医学图像处理方法、装置、计算机设备和存储介质。
6.一种医学图像处理方法，所述方法包括：
7.获取通过真实图像采集设备所采集的真实医学图像，所述真实医学图像包括第一标记物；
8.获取与所述真实医学图像对应的且包含操作信息的目标虚拟医学图像,以及所述目标虚拟医学图像与操作信息的位置关系，所述目标虚拟医学图像包括所述第一标记物；
9.根据所述第一标记物计算所述目标虚拟医学图像与所述真实医学图像的匹配关系，将所述目标虚拟医学图像与所述真实医学图像融合得到当前医学图像；
10.根据所述目标虚拟医学图像与所述真实医学图像的匹配关系，所述目标虚拟医学图像与所述操作信息的位置关系，将所述操作信息融合在所述当前医学图像中。
11.在其中一个实施例中，所述根据所述第一标记物计算所述目标虚拟医学图像与所述真实医学图像的匹配关系，将所述目标虚拟医学图像与所述真实医学图像融合得到当前医学图像，包括：
12.根据所述第一标记物计算得到所述目标虚拟医学图像与所述真实医学图像中的对应的匹配特征；
13.根据所述匹配特征计算所述目标虚拟医学图像与所述真实医学图像的匹配关系，并将所述目标虚拟医学图像与所述真实医学图像融合得到当前医学图像。
14.在其中一个实施例中，所述获取与所述真实医学图像对应的目标虚拟医学图像之前，还包括：
15.获取医学成像设备扫描得到的初始医学图像；
16.对所述初始医学图像进行三维重建得到目标虚拟医学图像；
17.接收针对所述目标虚拟医学图像的操作信息配置指令，并根据所述操作信息配置指令在所述目标虚拟医学图像上配置操作信息，并获取所述目标虚拟医学图像与操作信息的位置关系。
18.在其中一个实施例中，其特征在于，所述方法还包括：
19.获取增强现实设备的视觉空间坐标系与所述真实空间坐标系的匹配关系；获取所述增强现实设备采集并待显示至视觉空间的参考图像；
20.根据所述增强现实设备的视觉空间坐标系与所述真实空间坐标系的匹配关系以及所述目标虚拟医学图像与所述真实医学图像的匹配关系，将携带有操作信息的所述当前医学图像与所述参考图像进行匹配融合得到混合现实图像，并将所述混合现实图像显示至所述增强现实设备的视觉空间中。
21.在其中一个实施例中，所述获取增强现实设备的视觉空间坐标系与所述真实空间坐标系的匹配关系，包括：
22.获取真实空间坐标系与增强现实设备的图像空间坐标系的第一转换矩阵；
23.获取所述增强现实设备的图像空间坐标系与所述增强现实设备的视觉空间坐标系的第二转换矩阵；
24.根据所述第一转换矩阵与所述第二转换矩阵得到增强现实设备的视觉空间坐标系与所述真实空间坐标系的匹配关系。
25.在其中一个实施例中，所述获取真实空间坐标系与增强现实设备的图像空间坐标系的第一转换矩阵，包括：
26.通过增强现实设备采集第一标定参照物的在图像空间下的第一参照物图像，以所述第一参照物图像的目标点为原点建立图像坐标系，并基于所述图像坐标系从所述第一参照物图像中确定预设数量的参考点；
27.获取通过真实图像采集设备所采集的第一标定参照物在所述真实图像采集设备的图像坐标系下的第二参照物图像，并从所述第二参照物图像中确定与所述参考点对应的映射点；
28.将所述映射点转换至真实空间坐标系下；
29.基于所述参考点和在所述真实空间坐标系下的所述映射点的坐标计算，得到真实空间坐标系与增强现实设备的图像空间坐标系的第一转换矩阵。
30.在其中一个实施例中，所述将所述混合现实图像显示至所述增强现实设备的视觉空间，还包括：
31.获取所述混合现实图像的显示角度；
32.基于所述显示角度计算得到参考角度，并获取所述参考角度下目标虚拟医学图像；
33.将所述参考角度下目标虚拟医学图像与所述混合现实图像显示在所述视觉空间。
34.在其中一个实施例中，所述将所述混合现实图像显示至所述增强现实设备的视觉空间之后，还包括：
35.通过所述增强显示设备接收针对所述操作信息的编辑指令；通过所述增强显示设备基于所述编辑指令对所述操作信息进行编辑。
36.在其中一个实施例中，所述通过所述增强显示设备接收针对所述操作信息的编辑指令，包括：
37.通过所述增强显示设备识别操作者手势，并在所述操作者手势满足预设要求时，显示操作信息编辑指令接收面板；
38.通过所述编辑指令接收面板接收针对所述操作信息的编辑指令。
39.在其中一个实施例中，所述基于所述编辑指令对所述操作信息进行编辑，包括：
40.根据所述编辑指令查询对应角度下的操作信息，并在所述视觉空间显示所查询的操作信息。
41.在其中一个实施例中，所述基于所述编辑指令对所述操作信息进行编辑，包括：
42.根据所述编辑指令对所述操作信息进行平移、旋转以及类型和尺寸的变换中的至少一种；
43.将编辑后的所述操作信息显示在所述视觉空间中。
44.在其中一个实施例中，所述基于所述编辑指令对所述操作信息进行编辑，包括：
45.根据所述编辑指令对所述混合现实图像进行截取操作得到截取图像；
46.对所述截取图像中的操作信息进行编辑操作，所述编辑操作包括平移和/或旋转。
47.在其中一个实施例中，所述对所述截取图像中的操作信息进行编辑操作之后，还包括：
48.获取编辑后的操作信息，并将编辑后的所述操作信息显示在所述视觉空间。
49.在其中一个实施例中，所述方法还包括：
50.根据所述操作信息生成机械臂控制命令，并将所述机械臂控制命令发送至机械臂，所述机械臂控制命令用于指示所述机械臂按照所述操作信息进行操作。
51.一种医学图像处理系统，所述系统包括真实图像采集设备与图像处理设备；
52.所述真实图像采集设备用于采集真实医学图像，并将所采集的真实医学图像发送至所述图像处理设备，所述真实医学图像包括第一标记物；
53.所述图像处理设备用于实现上述的医学图像处理方法。
54.在其中一个实施例中，所述系统还包括至少一台显示器，所述显示器与所述图像处理设备相连接，所述显示器用于显示所述图像处理设备处理得到的当前医学图像，所述当前医学图像携带有操作信息。
55.在其中一个实施例中，所述系统还包括至少一台医学成像设备，所述医学成像设备与所述图像处理设备相连接，所述医学成像设备用于扫描得到初始医学图像，并将扫描得到的初始医学图像发送至图像处理设备。
56.在其中一个实施例中，所述系统还包括增强现实设备，所述增强现实设备与所述图像处理设备相通信，所述增强现实设备用于显示所述图像处理设备处理得到的混合现实图像。
57.在其中一个实施例中，所述增强现实设备还用于接收针对所述操作信息的编辑指令，并基于所述编辑指令对所述操作信息进行编辑。
58.在其中一个实施例中，所述增强现实设备包括手势识别模块、交互控制模块以及显示模块，所述手势识别模块用于识别操作者手势，并在所述操作者手势满足预设要求时，控制所述显示模块显示操作信息编辑指令接收面板；所述交互控制模块用于对所述操作信
息编辑指令接收面板接收的编辑指令进行转换计算，并将转换计算后的操作信息显示在所述显示模块。
59.在其中一个实施例中，所述系统还包括机械臂，所述机械臂的控制器与所述图像处理设备相通信，所述机械臂用于接收图像处理设备根据操作信息生成的机械臂控制命令，并基于所述机械臂控制指令按照所述操作信息进行操作。
60.一种手术系统，所述手术系统包括手术台车、导航台车以及手术台；
61.所述导航台车上安装有真实医学图像采集设备；所述手术台车和/或所述导航台车上安装有图像处理设备；所述真实图像采集设备用于采集关于手术台上的患者的真实医学图像，并将所采集的真实医学图像发送至所述图像处理设备，所述真实医学图像包括第一标记物；
62.所述图像处理设备用于实现上述任意一个实施例中所述的医学图像处理方法。
63.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。
64.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
65.上述医学图像处理方法、装置、计算机设备和存储介质，先获取真实医学图像以及对应的目标虚拟医学图像，进而根据真实医学图像以及对应的目标虚拟医学图像中都存在的第一标记物计算得到真实医学图像以及对应的目标虚拟医学图像的匹配关系，从而可以根据该匹配关系将真实医学图像以及对应的目标虚拟医学图像融合得到当前医学图像，且将操作信息也融合显示至当前医学图像中，从而可以将操作信息融合到真实的待手术空间上，为医生提供可全局把握手术的数据提示。
附图说明
66.图1为一个实施例中的医学图像处理系统的示意图；
67.图2为又一个实施例中的医学图像处理系统的示意图；
68.图3为一个实施例中的图像处理系统的各个部分的关系示意图；
69.图4为一个实施例中医学图像处理方法的流程示意图；
70.图5为另一个实施例中的医学图像处理方法的流程示意图；
71.图6为一个实施例中各部分空间坐标转换关系示意图；
72.图7为一个实施例中的混合显示图像的示意图；
73.图8为一个实施例中的真实空间坐标系与增强现实设备的图像空间坐标系的关系示意图；
74.图9为另一个实施例中的增强现实设备的视觉空间的显示示意图；
75.图10为一个实施例中的操作信息调整流程的示意图；
76.图11为又一个实施例中的增强现实设备的视觉空间的显示示意图；
77.图12为一个实施例中的增强现实设备的交互控制模块的功能示意图；
78.图13为又一个实施例中的增强现实设备的交互控制模块的功能示意图；
79.图14为再一个实施例中的增强现实设备的交互控制模块的功能示意图；
80.图15为一个实施例中计算机设备的内部结构图。
具体实施方式
81.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
82.结合图1所示，本技术的一个实施例中提供一种医学图像处理系统，该医学图像处理系统至少包括图像处理设备和真实医学图像采集设备，其中图像处理设备和真实医学图像采集设备相通信。结合图1所示，图1为一个实施例中的医学图像处理系统的示意图，在该实施例中，真实医学图像采集设备为光学追踪模块6。其中，此处的图像处理设备可以理解为处理器，且该处理器并不仅限于在导航车里的处理器，其也可以包括增强现实设备的处理器。在一个优选的实施例中，该图像处理系统中可以包括至少两个处理器，至少两个处理器之间相互通信，以完整不同的功能。这里为了方便将存在处理功能的处理器统一称为图像处理设备。
83.该医学图像处理系统包括图像处理设备和光学追踪模块6，其中光学追踪模块6安装在导航台车9上，而图像处理设备则可以参见上文限定，在此不做具体的限定。其中在手术的时候，患者17躺在手术台16上，并通过第一标记物对待手术部位进行标记，以图1中的下肢骨为例，该下肢骨包括胫骨14和股骨12，其中第一标记物包括胫骨标记物13和股骨标记物股骨标记物11。通过光学追踪模块6可以采集到真实医学图像，该真实医学图像中包括第一标记物，从而可以将待手术部位进行标记。图像处理设备获取与真实医学图像对应的目标虚拟医学图像，以及目标虚拟医学图像与操作信息的位置关系，目标虚拟医学图像中也包括第一标记物，从而根据第一标记物可以实现真实医学图像与目标虚拟医学图像的匹配融合得到当前医学图像。这样根据目标虚拟医学图像与真实医学图像的匹配关系，目标虚拟医学图像与操作信息的位置关系，则可以将操作信息显示在当前医学图像中，以将操作信息实时融合到真实的待手术部位上。
84.在其中一个实施例中，该医学图像处理系统还包括显示器，如图1中导航台车9上还安装有主显示器8和辅助显示器7，从而图像处理设备可以将该当前医学图像发送至显示器进行显示，其中需要说明的是显示器显示的当前医学图像是携带有操作信息的。其中导航台车9上还可以安装有键盘10等，通过键盘10等操作可以对显示器中的当前医学图像中的操作信息进行调整。
85.在其中一个实施例中，该医学图像处理系统还包括机械臂2，机械臂2固定于手术台车1上，手术台车1上包括基座靶标15，机械臂2前端设置有摆锯5，截骨导向工具4等，其中截骨导向工具4还通过工具标记物3进行标记，从而光学追踪模块6可以实时获取到工具的位置，进而可以根据操作信息来调整工具的位置以及工具的操作。
86.需要说明的一点是，上述的目标虚拟医学图像是术前规划得到的，例如通过医学成像设备在术前对目标部位进行扫描得到初始医学图像，并根据初始医学图像进行三维重建得到目标虚拟医学图像，进而再接收针对目标虚拟医学图像的操作信息配置指令，从而在目标虚拟医学图像上配置得到操作信息。
87.在其中一个实施例中，结合图2所示，为了使主刀医生21可不接触计算机端实时查看当前医学图像，引入了增强现实设备。且更进一步地，为了使得主刀医生21可不接触计算机端基于真实手术场景进行手术方案最优调整，引入基于增强现实设备，通过该增强现实
设备的交互操作，可以使得操作信息的调整更快速和精确。
88.其中增强现实设备与图像处理设备进行通信，从而可以将当前医学图像与增强现实设备采集的参考图像进行匹配融合得到混合现实图像，进而在增强现实设备中显示混合现实图像。优选地，该增强现实设备还可以接收针对操作信息的编辑指令，并基于编辑指令对操作信息进行编辑。
89.其中增强现实设备包括手势识别模块、交互控制模块以及显示模块，手势识别模块用于识别操作者手势，并在操作者手势满足预设要求时，控制显示模块显示操作信息编辑指令接收面板；交互控制模块用于对操作信息编辑指令接收面板接收的编辑指令进行转换计算，并将转换计算后的操作信息显示在显示模块。
90.具体地，结合图3所示，图3为一个实施例中的图像处理系统的各个部分的关系示意图，其中首先术前规划模块通过医学成像设备获取到病人的初始医学图像，并进行重建后得到目标虚拟医学图像，进而在该目标虚拟医学图像上进行操作信息，即手术方案等的配置，该目标虚拟医学图像对应的空间坐标称为虚拟手术空间坐标。光学追踪模块6则可以获取真实手术场景中的第一标记物的位置信息，从而可以提供真实手术空间坐标。ar眼镜20则可以采集真实手术场景下的图像并显示在其的视觉空间下，从而其可以提供视觉空间坐标。空间匹配模块根据第一标记物将虚拟手术空间坐标和真实手术空间坐标进行匹配，将真实手术空间坐标和视觉空间坐标进行匹配，进而再完成虚拟手术空间坐标和视觉空间坐标的匹配，这样可以将在目标虚拟医学图像上配置的操作信息显示在视觉空间下。
91.进一步地，结合图3，其中ar眼镜增强现实设备可以包括手势识别模块、交互控制模块和显示模块，其中手势识别模块用于识别操作者手势，这样可以根据操作者手势触发交互控制命令面板按钮或交互控制的虚拟长方体框以发送操作信息调整指令。交互控制模块用于处理交互控制所需的坐标系转换计算，并提供调整后的转换关系给显示模块显示；显示模块用于将操作信息融合显示到患者17的关节术中区域，提供调整操作信息的建议，并显示用于操作信息调整的交互控制命令面板和/或交互控制的虚拟长方体框等。
92.其中，图3中的各个功能模块可以是通过不同的实体的处理器完成，也可以均在一个处理器中完成，在此不做具体的限定。
93.在一个实施例中，如图4所示，提供了一种医学图像处理方法，以该方法应用于图1中的图像处理设备为例进行说明，包括以下步骤：
94.s402：获取通过真实图像采集设备所采集的真实医学图像，真实医学图像包括第一标记物。
95.具体地，真实图像采集设备即图1中的光学追踪模块6，其可以获取到在真实空间中的各个第一标记物的位置。第一标记物则是用于标记真实空间中待手术部位和/或手术设备的，以图1为例，第一标记物包括胫骨标记物13和股骨标记物11，其可以记录患者17骨头在真实空间中的位置，这样真实图像采集设备通过采集包括第一标记物的真实医学图像即可以获取真实空间坐标系。具体地，在手术之前，结合图1，将手术台车1及导航台车9放置在病床旁边合适的位置，安装股骨标记物11、胫骨标记物13、基座靶标15基座靶标15、无菌袋、截骨导向工具4、工具标记物3等等，以提供手术环境。
96.其中真实医学图像中是包括真实假体的真实信息的，例如包括实时力线、假体摆位效果、力线角度、屈曲角度显示以及术中截骨间隙等。
97.s404：获取与真实医学图像对应且包含操作信息的目标虚拟医学图像、以及目标虚拟医学图像与操作信息的位置关系，目标虚拟医学图像包括第一标记物。
98.具体地，目标虚拟医学图像是在手术操作之前获取的，例如通过医学成像设备采集病人的目标部位的初始医学图像，并对初始医学图像进行三维重建得到目标虚拟医学图像，这样医生可以在目标虚拟医学图像上配置对应的操作信息，以指导手术。其中三维重建可以是先对初始医学图像进行图像分割得到目标器官、组织或者是骨头，然后再进行三维重建得到的。其中，为了后续坐标空间匹配，在采集初始医学图像之前，在目标区域的对应的特征点处安装对应的第一标记物，进而所重建得到的目标虚拟医学图像中包括第一标记物。
99.其中，操作信息是术前规划的手术方案，其包括解剖标志点标记和假体信息。其中，假体信息包括假体的型号和安装方位，解剖标志点标记则用于指导手术设备的操作轨迹，例如机械臂2的操作轨迹，截图平面坐标等等。其中在生成目标虚拟医学图像后，接收医生的操作信息配置指令，从而在目标虚拟医学图像上配置操作信息，进而根据配置的操作信息的位置大小等等建立目标虚拟医学图像与操作信息的位置关系。在实际应用中，医生通过终端调用对应型号的假体图标，然后将假体图标移动至目标虚拟医学图像的对应位置处，并调整假体图标大小，以满足要求，进而根据假体图标的大小和位置生成操作信息。更进一步地，医生还可以配置解剖标志点，即在目标虚拟医学图像上选取对应的解剖点，在其他的实施例中，医生还可以通过神经网络的方式自动识别目标虚拟医学图像中的解剖点，以提高效率。
100.在术前对操作信息规划完成后，将目标虚拟医学图像和操作信息导入至手术中的图像处理设备，以供手术时使用。
101.s406：根据第一标记物计算目标虚拟医学图像与真实医学图像的匹配关系，将目标虚拟医学图像与真实医学图像融合得到当前医学图像。
102.具体地，由于第一标记物在目标虚拟医学图像和真实医学图像中都存在，且位置固定不变，即第一标记物与目标对象，例如骨头相对位置固定，目标对象移动不会影响手术效果。以图1为例，将股骨12、胫骨14的实际方位与安装在股骨12及胫骨14上的相应的第一标记物相联系，从而使股骨标记物11和胫骨标记物13可以实时跟踪骨头的实际位置。
103.这样根据各个对应的第一标记物在目标虚拟医学图像与真实医学图像中的坐标位置，可以建立空间转换矩阵，以计算得到目标虚拟医学图像与真实医学图像的匹配关系，进而根据该匹配关系可以将目标虚拟医学图像映射至真实医学图像中，也即映射至真实空间中得到当前医学图像。这样当前医学图像即包括了真实空间中的信息，也包括了术前规划的信息。
104.其中在进行匹配关系的计算的时候，光学追踪模块6采集第一标记物获取到目标对象，例如骨头的特征点位置，进而将特征点的位置发送至图像处理设备，最后通过图像处理设备的特征匹配算法计算得到真实空间中的目标对象与目标虚拟医学图像中的目标对象的对应关系，也即目标虚拟医学图像与真实医学图像的匹配关系。
105.s408：根据目标虚拟医学图像与真实医学图像的匹配关系，目标虚拟医学图像与操作信息的位置关系，将操作信息融合在当前医学图像中。
106.具体地，图像处理设备根据操作信息和目标虚拟医学图像的位置关系，将操作信
息转换至目标虚拟医学图像坐标系中，然后根据目标虚拟医学图像与真实医学图像的匹配关系，将在目标虚拟医学图像坐标系下的操作信息转换至真实医学图像的坐标系下，进而显示在由目标虚拟医学图像与真实医学图像融合得到的当前医学图像中，从而医生可以将操作信息融合到真实的待手术空间上，为医生提供可全局把握手术的数据提示。
107.上述医学图像处理方法，先获取真实医学图像以及对应的目标虚拟医学图像，进而根据真实医学图像以及对应的目标虚拟医学图像中都存在的第一标记物计算得到真实医学图像以及对应的目标虚拟医学图像的匹配关系，从而可以根据该匹配关系将真实医学图像以及对应的目标虚拟医学图像融合得到当前医学图像，且将操作信息也融合显示至当前医学图像中，从而医生可以将操作信息融合到真实的待手术空间上，为医生提供可全局把握手术的数据提示。
108.在其中一个实施例中，根据第一标记物计算目标虚拟医学图像与真实医学图像的匹配关系，并将目标虚拟医学图像与真实医学图像融合得到当前医学图像，包括：根据第一标记物计算得到目标虚拟医学图像与真实医学图像中的对应的匹配特征；根据匹配特征将计算目标虚拟医学图像与真实医学图像的匹配关系，并将目标虚拟医学图像与真实医学图像融合得到当前医学图像。
109.具体地，匹配特征是指目标虚拟医学图像与真实医学图像对应的目标对象的特征点，该特征点是通过第一标记物进行标记得到的，例如在真实医学图像采集之前，通过在目标对象的位置处安装第一标记物，从而光学追踪模块6可以追踪得到第一标记物的位置。而在目标虚拟医学图像获取之前，也在目标对象的对应的位置处安装第一标记物，从而采集得到的初始医学图像中是存在第一标记物的，进而重建得到的目标虚拟医学图像中也存在第一标记物，根据对应的第一标记物确定目标虚拟医学图像与真实医学图像中的匹配特征，进而根据该些匹配特征可以构建空间转换矩阵以得到目标虚拟医学图像与真实医学图像的匹配关系。从而可以根据所得到的匹配关系将目标虚拟医学图像与真实医学图像融合得到当前医学图像。
110.上述实施例中，通过第一标记物来实现真实空间与虚拟空间的匹配，从而为后续将手术方案，也即操作信息显示在真实空间中奠定基础。
111.在其中一个实施例中，获取与真实医学图像对应的目标虚拟医学图像之前，还包括：获取医学成像设备扫描得到的初始医学图像；对初始医学图像进行三维重建得到目标虚拟医学图像；接收针对目标虚拟医学图像的操作信息配置指令，并根据操作信息配置指令在目标虚拟医学图像上配置操作信息，并获取目标虚拟医学图像与操作信息的位置关系。
112.具体地，初始医学图像是医学成像设备对目标对象进行扫描得到的，例如通过ct或者是其他的医学成像设备进行扫描得到，以图1中的下肢骨为例，在术前，通过对下肢骨进行扫描得到初始医学图像，并对初始医学图像进行分割得到目标对象，进而根据分割得到的目标对象进行三维重建得到目标虚拟医学图像。
113.医生可以在目标虚拟医学图像上进行解剖学标志点以及假体信息的配置，从而可以生成操作信息。以下肢骨为例，医生可以在目标虚拟医学图像上配置所有解剖特征点(如股骨12旋转中心、膝关节中心、距骨中心等)、所有对应连线(如力线，通髁线等)、相关夹角(如力线角度，内外旋角度等等)、截骨标记点(如股骨12内外髁远端切点，后髁内外侧切点
等等)和截骨厚度(如股骨12远端内外侧截骨厚度，胫骨14近端截骨厚度等等)等等，还可以在目标虚拟医学图像生配置假体摆位等等，在此不对医生所配置的操作信息进行限定，仅以手术需要为目标。
114.且在操作信息配置完成后，可以记录操作信息与目标虚拟医学图像的位置关系，例如在目标虚拟医学图像的虚拟坐标系下，获取到对应的操作信息的坐标。
115.上述实施例中，在术前对目标对象的医学图像进行采集，并配置对应的操作信息，为后续将操作信息显示在真实空间下奠定基础。
116.具体地，结合图5所示，图5为另一个实施例中的医学图像处理方法的流程示意图，其中在术前，获取病人的目标对象的ct图像数据，并对ct图像数据进行骨骼分割，基于骨骼分割结果进行骨骼三维重建，并在重建得到的ct图像上标记处解剖学标志点，并根据解剖学标志点进行假体摆位，其中解剖学标志点以及假体摆位即为上文中的操作信息。其中重建得到的ct图像对应虚拟手术空间。
117.在手术之前，将机械臂2台车和导航台车9放置在病床旁边合适的位置，安装第一标记物，也即光学标记物，并通过光学追踪模块6采集患者17骨头上的第一标记物的位置，以得到患者17骨头上的特征点位置数据，进而通过特征匹配算法将真实手术空间与虚拟手术空间进行匹配以实现将操作信息在真实手术空间显示，且可以在术中结合真实手术空间对操作信息进行调整，即医生基于术中实际情况，对术前手术方案进行术中调整确认。并将操作信息中的截骨平面坐标发送给机械臂2，机械臂2可以自动定位到对应地方，即可辅助医生进行截骨，即医生即可使用摆锯5或电钻通过截骨导向工具4的截骨导向槽及导向孔进行截骨及钻孔操作，若是截骨完成，则安装假体，否则可以继续重复操作信息的调整，以完整截骨，全部完成截骨及钻孔操作后，医生即可安装假体及进行其他手术操作。
118.在其中一个实施例中，为了使主刀医生21可不接触计算机端实时查看当前医学图像，引入了增强现实设备，上述图像处理方法还包括：获取增强现实设备的视觉空间下的图像坐标系与真实医学图像的匹空间坐标系配的匹配关系；获取增强现实设备采集并待显示至视觉空间的参考图像；根据增强现实设备的视觉空间坐标系下的图像与真实医学空间坐标系图像的匹配关系，以及目标虚拟医学图像与真实医学图像的匹配关系，将携带有操作信息的当前医学图像与参考图像进行匹配融合得到混合现实图像，并将混合现实图像显示至增强现实设备的视觉空间。
119.具体地，增强现实设备可以是指ar眼镜等，该增强现实设备可以采集真实空间下的医学图像，并将真实空间下的医学图像转换至增强现实设备的视觉空间下进行显示。也就是说医生看到的是视觉空间下的图像，为了使得医生能够看到真实医学图像以及操作信息，因此需要将携带有操作信息的目标虚拟医学图像与视觉空间下的参考图像进行匹配融合。
120.结合图6所示，图6为一个实施例中各部分空间坐标转换关系示意图，其中虚拟手术空间坐标系转换至视觉空间坐标系的转换关系可以通过以下公式计算得到：
121.dtr＝ctr*dtc＝ctb*etc*dte122.其中虚拟手术空间坐标系r和真实手术空间坐标系c的变换关系ctr可通过三维重建的骨模型表面点云数据和光学追踪模块6记录的患者17真实骨头表面上的特征点云数据的匹配关系得到。光学标记物到增强现实设备的图像坐标系之间的变换关系etc可以通过
标定得到。增强现实设备图像坐标系到增强现实设备视觉空间坐标系之间的变换关系dte可通过图像识别算法得到。这样就可以得到虚拟手术空间坐标系转换至视觉空间坐标系的转换关系，从而可以将携带有操作信息当前医学图像与参考图像进行匹配融合得到混合现实图像，并将混合现实图像显示至增强现实设备的视觉空间。
123.具体地，结合图7所示，其中，图7为一个实施例中的混合显示图像的示意图，在该实施例中，实时显示患者17在伸展位下的力线、力线角度、假体摆位以及术中截骨间隙的混合现实图像。
124.其中结合图7各空间坐标系转换关系说明，本发明实施例的混合现实图像所显示的内容至少包括但不局限于以下方面：可将在虚拟手术空间标记的所有解剖特征点(如股骨12旋转中心b、膝关节中心c、距骨中心d等)以及所有对应连线(如力线，通髁线等)实时融合到真实手术场景中，并显示相关夹角(如力线夹角a，内外旋角度、股骨12旋转中心b等等)。可将术前规划好的假体摆位融合到真实手术场景中，供医生查看在真实骨头上的假体摆位效果；可将截骨标记点(如股骨12内外髁远端切点，后髁内外侧切点等等)和截骨厚度(如股骨12远端内外侧截骨厚度，胫骨14近端截骨厚度等等)融合到真实手术场景中。
125.其中在图7中还显示了股骨12假体外侧远端平面e、胫骨14假体外侧远端平面f、伸展位的膝关节外侧截骨间隙g、股骨12假体内侧远端平面h、伸展位内侧截骨间隙i、胫骨14假体内侧远端平面j、真实患者17股骨12k、虚拟股骨12假体l、虚拟胫骨14假体m、真实患者17胫骨14n、真实患者17腓骨z，具体可以结合图7所示，在此不再赘述。
126.在其中一个实施例中，所述获取增强现实设备的视觉空间下的图像坐标系与真实医学图像的匹空间坐标系配的匹配关系，包括：获取真实空间坐标系与增强现实设备的图像空间坐标系的第一转换矩阵；获取增强现实设备的图像空间坐标系与增强现实设备的视觉空间坐标系的第二转换矩阵；根据第一转换矩阵与第二转换矩阵得到增强现实设备的视觉空间坐标系与真实空间坐标系的匹配关系。
127.其中，第一转换矩阵是真实空间坐标系(也即上文中的真实手术空间坐标系)与增强现实设备的图像空间坐标系的第一转换矩阵，该第一转换矩阵可以是通过标定的方法获取光学标记物与ar眼镜待识别图像19之间的转换矩阵，从而建立真实空间坐标系与增强现实设备的图像空间坐标系的匹配关系，具体可以参见下文。
128.第二转换矩阵则是通过图像识别算法获取增强现实设备的图像空间坐标系与增强现实设备的视觉空间坐标系的第二转换矩阵。
129.这样根据第一转换矩阵与第二转换矩阵得到增强现实设备的视觉空间坐标系与真实空间坐标系的匹配关系。
130.具体地，获取真实空间坐标系与增强现实设备的图像空间坐标系的第一转换矩阵，包括：通过增强现实设备采集第一标定参照物的在图像空间下的第一参照物图像，以第一参照物图像的目标点为原点建立图像坐标系，并基于图像坐标系从第一参照物图像中确定预设数量的参考点；获取通过真实图像采集设备所采集的第一标定参照物在真实图像采集设备的图像坐标系下的第二参照物图像，并从第二参照物图像中确定与参考点对应的映射点；将映射点转换至真实空间坐标系下；基于参考点和在真实空间坐标系下的映射点的坐标计算，得到真实空间坐标系与增强现实设备的图像空间坐标系的第一转换矩阵。
131.具体地，结合图8所示，其中图8中包括光学追踪模块6、基座靶标15、尖头靶标18以
及增强现实设备的待识别图像19，其中，第一标定参照物即为待识别图像19所对应的实体参照物，待识别图像19可为任意一种增强现实设备可识别的图像种类，如二维码，边框图等。其中，增强现实设备的待识别图像19固定在基座靶标15上，在其他的实施例中可以固定在其他的任意一个靶标上，且保持位置固定，也即增强现实设备采集的图片为基座靶标15。基座靶标15所在的坐标系即为真实空间坐标系。
132.其中，通过增强现实设备采集基座靶标15的在图像空间下的图像，并以图像中心点为原点建立图像坐标系，得到至少abcd四个坐标点。通过光学追踪模块6获取对应尖头靶标18在真实图像采集设备的图像坐标系下的第二参照物图像，并从第二参照物图像中确定与参考点对应的映射点，然后将映射点转换至对应的基座靶标15坐标系下，也即真实空间坐标系下，这样根据参考点和在真实空间坐标系下的映射点的坐标计算，即根据对应点坐标利用特征匹配算法即可得到两者之间的转换关系。
133.上述实施例中，给出了真实空间坐标系与增强现实设备的图像空间坐标系的第一转换矩阵的标定方式。
134.在其中一个实施例中，将混合现实图像显示至增强现实设备的视觉空间之后，还包括：获取所述混合现实图像的显示角度；基于显示角度计算得到参考角度，并获取参考角度下目标虚拟医学图像；将参考角度下目标虚拟医学图像与混合现实图像显示在视觉空间。
135.具体地，结合图9所示，图9为另一个实施例中的增强现实设备的视觉空间的显示示意图，在该实施例中，该视觉空间实时显示患者17在屈曲位下的力线、屈曲角度、假体摆位以及术中截骨间隙的混合现实图像，其中该混合现实图像包括屈曲夹角a2、股骨12旋转中心b、膝关节中心c、距骨中心d。其中图像处理设备还获取到混合显示图像显示在视觉空间中的显示角度，然后根据显示角度计算得到参考角度，例如与显示角度成90度的角度等，以图9中为例包括从患者17外侧看向内侧视图以及从患者17内侧看向外侧方向视图，这样图像处理设备根据参考角度从目标虚拟医学图像中提取对应角度下的目标虚拟医学图像，并和混合现实图像一起显示在视觉空间。如图9中的股骨12假体外侧后髁平面e2、胫骨14假体外侧远端平面f、屈曲位外侧截骨间隙g2-、股骨12假体内侧后髁平面h2、屈曲位内侧截骨间隙i2、胫骨14假体内侧远端平面j、真实患者17股骨12k、虚拟股骨12假体l、虚拟胫骨14假体m、真实患者17胫骨14n和真实患者17腓骨z。
136.在其中一个实施例中，将混合现实图像显示至增强现实设备的视觉空间之后，还包括：通过增强现实设备接收针对操作信息的编辑指令；通过增强现实设备基于编辑指令对操作信息进行编辑。
137.结合图10所示，图10为一个实施例中的操作信息调整流程的示意图，其中编辑指令包括但不限于位置调整、显示调整等等。
138.其中，结合图10和图2，首先通过光学标记物与ar眼镜待识别图像19之间的转换矩阵，建立真实手术空间与待识别图像19(增强现实设备的图像坐标系)的匹配关系，然后获取ar待识别图像19在眼镜视觉空间的坐标，建立图像坐标系与眼镜视觉空间的匹配关系，这样就可以建立真实手术空间与眼镜视觉空间的匹配关系，且由于真实手术空间与虚拟手术空间存在匹配关系，从而可以建立虚拟手术空间与眼镜视觉空间的匹配关系，进而可以将虚拟手术空间中的操作信息融合到真实手术场景中，也即融合到眼镜视觉空间场景中，
这样医生可以利用增强现实设备的手势识别和交互控制操作进行术中方案，即操作信息的调整。
139.在其中一个实施例中，通过增强现实设备接收针对操作信息的编辑指令，包括：通过增强现实设备识别操作者手势，并在操作者手势满足预设要求时，显示操作信息编辑指令接收面板；通过编辑指令接收面板接收针对操作信息的编辑指令。
140.具体地，增强现实设备可以包括多个模块，结合图2和图3，其中通过增强现实设备的手势识别模块来识别主刀医生手势22，从而可以触发现实编辑指令接收面板，其中编辑指令接收面板可以是交互控制命令面板按钮或交互控制的虚拟长方体框以发送方案调整指令。交互控制模块则用于处理交互控制所需的坐标系转换计算，并提供调整后的转换关系给显示模块显示；显示模块，用于将手术方案信息融合显示到患者17的关节术中区域，提供调整手术方案的建议，并显示用于术中方案调整的交互控制命令面板和交互控制的虚拟长方体框。
141.在其中一个实施例中，基于编辑指令对操作信息进行编辑，包括：根据编辑指令查询对应角度下的操作信息，并在视觉空间显示所查询的操作信息。
142.具体地，结合图11和图12所示，图11为又一个实施例中的增强现实设备的视觉空间的显示示意图。
143.其中，编辑指令可以是查询指令，从而查询对应角度下的操作信息，并在视觉空间显示所查询的操作信息，其中对应的角度可以是患者17在伸展位的操作信息以及患者17在屈曲位的操作信息，在其他额的实施例中，可以预先设置其他的角度，以便于用户选择，进而显示对应角度下的操作信息。
144.如图11所示，医生还可实时选择在ar眼镜中将患者17在伸展位的整体手术方案信息(假体型号和尺寸、角度以及截骨量)显示出来，供医生全局把握手术相关数据。
145.在其他实施例中，医生还可实时选择在ar眼镜中将患者17在屈曲位的整体手术方案信息(假体型号和尺寸、角度以及截骨量)显示出来，供医生全局把握手术相关数据。
146.在其中一个实施例中，基于编辑指令对操作信息进行编辑，包括：根据编辑指令对操作信息进行平移、旋转以及类型和尺寸的变换中的至少一种；将编辑后的操作信息显示在视觉空间中。
147.具体地，结合图12，图12为一个实施例中的增强现实设备的交互控制模块的功能示意图。
148.如图12所示，为在ar眼镜中可供医生实时进行股骨12术中方案调整的交互控制面板示意图，使医生可在正、右、俯视图中用手指触发对应的上下左右平移以及旋转的命令按钮22，即可改变相应的角度与截骨量方案；还可在示意图右侧栏目用手指触发对应命令按钮22更改假体类型和尺寸，以及距离和角度的调节幅度等。
149.在其他实施例中，在ar眼镜中可以提供可供医生实时进行胫骨14术中方案调整的交互控制面板，使医生可在正、右、俯视图中用手指触发对应的上下左右平移以及旋转的命令按钮22，即可改变相应的角度与截骨量方案；还可在示意图右侧栏目用手指触发对应的命令按钮22更改假体类型和尺寸，以及距离和角度的调节幅度等。
150.在其中一个实施例中，基于编辑指令对操作信息进行编辑，包括：根据编辑指令对当前医学混合现实图像进行截取操作得到截取图像；对截取图像中的操作信息进行编辑操
作，编辑操作包括平移和/或旋转。
151.在其中一个实施例中，对截取图像中的操作信息进行编辑操作之后，还包括：获取编辑后的操作信息，并将编辑后的操作信息显示在视觉空间。
152.具体地，结合图13和图14所示，图13为又一个实施例中的增强现实设备的交互控制模块的功能示意图，图14为再一个实施例中的增强现实设备的交互控制模块的功能示意图。
153.如图13所示，为在ar眼镜中可供医生实时进行股骨12术中手势抓取调整方案调整的示意图，其中，显示出患者17真实股骨12k和股骨12虚拟假体l。医生可用手抓取调整假体摆位的虚拟长方体框23上下左右平移与旋转，并将调整后的方案详情实时显示在术中方案调整时的方案详情显示面板24上。
154.如图14所示，为在ar眼镜中可供医生实时进行胫骨14术中手势抓取调整方案调整的示意图，其中，显示出虚拟胫骨14假体m、患者17真实胫骨14n和患者17真实腓骨z。医生可用手抓取调整假体摆位的虚拟长方体框23上下左右平移与旋转，并将调整后的方案详情实时显示在术中方案调整时的方案详情显示面板24上。
155.在其中一个实施例中，方法还包括：根据操作信息生成机械臂2控制命令，并将机械臂2控制命令发送至机械臂2，机械臂2控制命令用于指示机械臂2按照操作信息进行操作。
156.具体地，在操作信息确定后，则根据操作信息生成机械臂2控制命令，以将机械臂2控制命令发送至机械臂2，从而机械臂2可以按照操作信息执行操作，以辅助医生进行截骨等。
157.上述各个实施例中，建立了虚拟手术空间、真实手术空间和ar眼镜视觉空间三者间的转换关系，使得三者之间的信息可以快速转换和融合。且利用增强现实技术将详细的手术方案信息融合到真实手术部位上(包括实时力线、假体摆位效果、力线角度、屈曲角度显示，术中截骨间隙等)，为医生提供可全局把握手术的数据提示和调整方案提示，制作出更精确和个性化的手术方案。更进一步地，设置基于增强现实技术的便捷交互操作，使主刀医生21可不接触计算机端实时基于真实手术场景进行手术方案最优调整，减少了污染无菌区域的风险。
158.应该理解的是，虽然图4和图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图4和图5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
159.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图15所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计
算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种医学图像处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘10、触控板或鼠标等。
160.本领域技术人员可以理解，图15中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
161.在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取通过真实图像采集设备所采集的真实医学图像，真实医学图像包括第一标记物；获取与真实医学图像对应且包含操作信息的目标虚拟医学图像、以及目标虚拟医学图像与操作信息的位置关系，目标虚拟医学图像包括第一标记物；根据第一标记物计算目标虚拟医学图像与真实医学图像的匹配关系，并将目标虚拟医学图像与真实医学图像融合得到当前医学图像；根据目标虚拟医学图像与真实医学图像的匹配关系，目标虚拟医学图像与操作信息的位置关系，将操作信息融合在当前医学图像中。
162.在一个实施例中，处理器执行计算机程序时所实现的根据第一标记物计算目标虚拟医学图像与真实医学图像的匹配关系，并将目标虚拟医学图像与真实医学图像融合得到当前医学图像，包括：根据第一标记物计算得到目标虚拟医学图像与真实医学图像中的对应的匹配特征；根据匹配特征将计算目标虚拟医学图像与真实医学图像的匹配关系，并将目标虚拟医学图像与真实医学图像融合得到当前医学图像。
163.在一个实施例中，处理器执行计算机程序时所实现的获取与真实医学图像对应的目标虚拟医学图像之前，还包括：获取医学成像设备扫描得到的初始医学图像；对初始医学图像进行三维重建得到目标虚拟医学图像；接收针对目标虚拟医学图像的操作信息配置指令，并根据操作信息配置指令在目标虚拟医学图像上配置操作信息，并获取目标虚拟医学图像与操作信息的位置关系。
164.在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取增强现实设备的视觉空间下的图像坐标系与真实医学图像的匹空间坐标系配的匹配关系；根据增强现实设备的视觉空间坐标系下的图像与真实医学空间坐标系图像的匹配关系，以及目标虚拟医学图像与真实医学图像的匹配关系，将携带有操作信息的当前医学图像与参考图像进行匹配融合得到混合现实图像，并将混合现实图像显示至增强现实设备的视觉空间。
165.在一个实施例中，处理器执行计算机程序时所实现的获取增强现实设备的视觉空间下的图像坐标系与真实医学图像的匹空间坐标系配的匹配关系，包括：获取真实空间坐标系与增强现实设备的图像空间坐标系的第一转换矩阵；获取增强现实设备的图像空间坐标系与增强现实设备的视觉空间坐标系的第二转换矩阵；根据第一转换矩阵与第二转换矩阵得到增强现实设备的视觉空间坐标系与真实空间坐标系的匹配关系。
166.在一个实施例中，处理器执行计算机程序时所实现的获取真实空间坐标系与增强现实设备的图像空间坐标系的第一转换矩阵，包括：通过增强现实设备采集第一标定参照物的在图像空间下的第一参照物图像，以第一参照物图像的目标点为原点建立图像坐标
系，并基于图像坐标系从第一参照物图像中确定预设数量的参考点；获取通过真实图像采集设备所采集的第一标定参照物在真实图像采集设备的图像坐标系下的第二参照物图像，并从第二参照物图像中确定与参考点对应的映射点；基于参考点和在真实空间坐标系下的映射点的坐标计算，得到真实空间坐标系与增强现实设备的图像空间坐标系的第一转换矩阵。
167.在一个实施例中，处理器执行计算机程序时所实现的将混合现实图像显示至增强现实设备的视觉空间之后，还包括：将参考角度下目标虚拟医学图像与混合现实图像显示在视觉空间；基于显示角度计算得到参考角度，并获取参考角度下目标虚拟医学图像；将参考角度下目标虚拟医学图像与混合现实图像显示在视觉空间。
168.在一个实施例中，处理器执行计算机程序时所实现的将混合现实图像显示至增强现实设备的视觉空间之后，还包括：通过增强现实设备接收针对操作信息的编辑指令；通过增强现实设备基于编辑指令对操作信息进行编辑。
169.在一个实施例中，处理器执行计算机程序时所实现的通过增强现实设备接收针对操作信息的编辑指令，包括：通过增强现实设备识别操作者手势，并在操作者手势满足预设要求时，显示操作信息编辑指令接收面板；通过编辑指令接收面板接收针对操作信息的编辑指令。
170.在一个实施例中，处理器执行计算机程序时所实现的基于编辑指令对操作信息进行编辑，包括：根据编辑指令查询对应角度下的操作信息，并在视觉空间显示所查询的操作信息。
171.在一个实施例中，处理器执行计算机程序时所实现的基于编辑指令对操作信息进行编辑，包括：根据编辑指令对操作信息进行平移、旋转以及类型和尺寸的变换中的至少一种；将编辑后的操作信息显示在视觉空间中。
172.在一个实施例中，处理器执行计算机程序时所实现的基于编辑指令对操作信息进行编辑，包括：根据编辑指令对当前医学混合现实图像进行截取操作得到截取图像；对截取图像中的操作信息进行编辑操作，编辑操作包括平移和/或旋转。
173.在一个实施例中，处理器执行计算机程序时所实现的对截取图像中的操作信息进行编辑操作之后，还包括：获取编辑后的操作信息，并将编辑后的操作信息显示在视觉空间。
174.在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据操作信息生成机械臂2控制命令，并将机械臂2控制命令发送至机械臂2，机械臂2控制命令用于指示机械臂2按照操作信息进行操作。
175.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：获取通过真实图像采集设备所采集的真实医学图像，真实医学图像包括第一标记物；获取与真实医学图像对应包含操作信息的目标虚拟医学图像、以及目标虚拟医学图像与操作信息的位置关系，目标虚拟医学图像包括第一标记物；根据第一标记物计算目标虚拟医学图像与真实医学图像的匹配关系，并将目标虚拟医学图像与真实医学图像融合得到当前医学图像；根据目标虚拟医学图像与真实医学图像的匹配关系，目标虚拟医学图像与操作信息的位置关系，将操作信息显示在当前医学图像中。
176.在一个实施例中，计算机程序被处理器执行时所实现的根据第一标记物计算目标
虚拟医学图像与真实医学图像的匹配关系，并将目标虚拟医学图像与真实医学图像融合得到当前医学图像，包括：根据第一标记物计算得到目标虚拟医学图像与真实医学图像中的对应的匹配特征；根据匹配特征将计算目标虚拟医学图像与真实医学图像的匹配关系，并将目标虚拟医学图像与真实医学图像融合得到当前医学图像。
177.在一个实施例中，计算机程序被处理器执行时所实现的获取与真实医学图像对应的目标虚拟医学图像之前，还包括：获取医学成像设备扫描得到的初始医学图像；对初始医学图像进行三维重建得到目标虚拟医学图像；接收针对目标虚拟医学图像的操作信息配置指令，并根据操作信息配置指令在目标虚拟医学图像上配置操作信息，并获取目标虚拟医学图像与操作信息的位置关系。
178.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取增强现实设备的视觉空间下的图像坐标系与真实医学图像的匹空间坐标系配的匹配关系；根据增强现实设备的视觉空间坐标系下的图像与真实医学空间坐标系图像的匹配关系，以及目标虚拟医学图像与真实医学图像的匹配关系，将携带有操作信息的当前医学图像与参考图像进行匹配融合得到混合现实图像，并将混合现实图像显示至增强现实设备的视觉空间。
179.在一个实施例中，计算机程序被处理器执行时所实现的获取增强现实设备的视觉空间下的图像坐标系与真实医学图像的匹空间坐标系配的匹配关系，包括：获取真实空间坐标系与增强现实设备的图像空间坐标系的第一转换矩阵；获取增强现实设备的图像空间坐标系与增强现实设备的视觉空间坐标系的第二转换矩阵；根据第一转换矩阵与第二转换矩阵得到增强现实设备的视觉空间坐标系与真实空间坐标系的匹配关系。
180.在一个实施例中，计算机程序被处理器执行时所实现的获取真实空间坐标系与增强现实设备的图像空间坐标系的第一转换矩阵，包括：通过增强现实设备采集第一标定参照物的在图像空间下的第一参照物图像，以第一参照物图像的目标点为原点建立图像坐标系，并基于图像坐标系从第一参照物图像中确定预设数量的参考点；获取通过真实图像采集设备所采集的第一标定参照物在真实图像采集设备的图像坐标系下的第二参照物图像，并从第二参照物图像中确定与参考点对应的映射点；基于参考点和在真实空间坐标系下的映射点的坐标计算，得到真实空间坐标系与增强现实设备的图像空间坐标系的第一转换矩阵。
181.在一个实施例中，计算机程序被处理器执行时所实现的将混合现实图像显示至增强现实设备的视觉空间之后，还包括：将参考角度下目标虚拟医学图像与混合现实图像显示在视觉空间；基于显示角度计算得到参考角度，并获取参考角度下目标虚拟医学图像；将参考角度下目标虚拟医学图像与混合现实图像显示在视觉空间。
182.在一个实施例中，计算机程序被处理器执行时所实现的将混合现实图像显示至增强现实设备的视觉空间之后，还包括：通过增强现实设备接收针对操作信息的编辑指令；通过增强现实设备基于编辑指令对操作信息进行编辑。
183.在一个实施例中，计算机程序被处理器执行时所实现的通过增强现实设备接收针对操作信息的编辑指令，包括：通过增强现实设备识别操作者手势，并在操作者手势满足预设要求时，显示操作信息编辑指令接收面板；通过编辑指令接收面板接收针对操作信息的编辑指令。
184.在一个实施例中，计算机程序被处理器执行时所实现的基于编辑指令对操作信息
进行编辑，包括：根据编辑指令查询对应角度下的操作信息，并在视觉空间显示所查询的操作信息。
185.在一个实施例中，计算机程序被处理器执行时所实现的基于编辑指令对操作信息进行编辑，包括：根据编辑指令对操作信息进行平移、旋转以及类型和尺寸的变换中的至少一种；将编辑后的操作信息显示在视觉空间中。
186.在一个实施例中，计算机程序被处理器执行时所实现的基于编辑指令对操作信息进行编辑，包括：根据编辑指令对当前医学混合现实图像进行截取操作得到截取图像；对截取图像中的操作信息进行编辑操作，编辑操作包括平移和/或旋转。
187.在一个实施例中，计算机程序被处理器执行时所实现的对截取图像中的操作信息进行编辑操作之后，还包括：获取编辑后的操作信息，并将编辑后的操作信息显示在视觉空间。
188.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据操作信息生成机械臂2控制命令，并将机械臂2控制命令发送至机械臂2，机械臂2控制命令用于指示机械臂2按照操作信息进行操作。
189.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
190.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
191.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。