医学图像显示方法、医学图像处理方法和图像显示系统与流程

1.本技术涉及医学图像处理技术领域，特别是涉及一种医学图像显示方法、医学图像处理方法、图像显示系统、计算机设备、存储介质和计算机程序产品。


背景技术：

2.增强现实(augmented reality，简称ar)是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，最早于1990年提出。其运用多种技术手段，将计算机生成的虚拟物体或关于真实物体的非几何信息叠加到真实世界的场景之上，从而实现对真实世界的增强。
3.目前，ar技术已经应用于医疗手术的模式，对图像处理主要采用深度学习方法和传统图像处理来进行人体感知。
4.然而，目前的穿戴ar设备时，由于ar眼镜需要将现实和虚拟融合，导致对真实物体的显示较为模糊，准确度降低。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种能够提高显示准确度的医学图像显示方法、医学图像处理方法、图像显示系统、计算机设备、计算机可读存储介质和计算机程序产品。
6.第一方面，本技术提供一种医学图像显示方法，所述方法包括：
7.获取增强现实设备采集的初始医学图像；
8.对所述初始医学图像进行图像增强处理得到待处理医学图像；
9.通过预先训练所得到的至少一个识别模型对所述待处理医学图像进行识别，得到所述待处理医学图像中的目标以及目标状态；
10.将各所述识别模型得到的目标以及目标状态进行融合；
11.将融合后的目标以及目标状态映射至所述增强现实设备对应的虚拟空间中显示。
12.在其中一个实施例中，所述对所述初始医学图像进行图像增强处理得到待处理医学图像，包括：
13.将所述初始医学图像转换为灰度图像；
14.计算所述灰度图像的梯度直方图以及灰度目标值；
15.基于所述梯度直方图以及所述灰度目标值得到所述初始医学图像对应的待处理亮度系数；根据所述初始医学图像计算得到对应的待处理彩色积分图；
16.根据所述待处理彩色积分图以及所述待处理亮度系数对所述初始医学图像进行图像增强处理，得到待处理医学图像。
17.在其中一个实施例中，所述根据所述待处理彩色积分图以及所述待处理亮度系数对所述初始医学图像进行图像增强处理，得到待处理医学图像，包括：
18.将所述待处理彩色积分图与标准彩色积分图进行匹配，以确定所述待处理亮度系
数对应的标准亮度系数；
19.通过所述标准亮度系数更新所述初始医学图像中的像素值，得到待处理医学图像。
20.在其中一个实施例中，所述将各所述识别模型得到的目标以及目标状态进行融合，包括：
21.获取各所述识别模型对应的权重；
22.基于所述识别模型对应的权重将各所述识别模型得到的目标以及目标状态进行融合。
23.在其中一个实施例中，所述基于所述识别模型对应的权重将各所述识别模型得到的目标以及目标状态进行融合之前，还包括：
24.获取所述第一识别模型以及所述第二识别模型对应的处理时间以及目标的识别精确度；
25.当所述第一识别模型的处理时间与所述第二识别模型的处理时间的差值大于阈值时，则将所述第二识别模型对应的目标以及目标状态作为融合得到的目标以及目标状态；
26.当所述第一识别模型的处理时间与所述第二识别模型的处理时间的差值小于或等于所述阈值，且所述第一识别模型的识别精确度大于所述第二识别模型的识别精确度时，继续基于所述识别模型对应的权重将各所述识别模型得到的目标以及目标状态进行融合；
27.当所述第一识别模型的处理时间与所述第二识别模型的处理时间的差值小于或等于所述阈值，且所述第一识别模型的识别精确度小于或等于所述第二识别模型的识别精确度时，将所述第二识别模型对应的目标以及目标状态作为融合得到的目标以及目标状态。
28.在其中一个实施例中，所述将融合后的目标以及目标状态映射至，所述增强现实设备对应的虚拟空间中显示，包括：
29.根据所述增强现实设备的多个采集装置的转换关系，将融合后的目标以及目标状态映射至所述增强现实设备的三维空间中；
30.将所述三维空间中的所述目标以及目标状态映射至所述增强现实设备对应的虚拟空间中显示。
31.第二方面，本技术还提供一种医学图像处理方法，所述医学图像处理方法包括：
32.基于上述任意一个实施例中的医学图像显示方法获取目标以及目标状态；
33.将所述目标以及所述目标状态与预设场景进行匹配；
34.根据匹配结果生成报警信息。
35.在其中一个实施例中，所述将所述目标以及所述目标状态与预设场景进行匹配，包括以下至少一种：
36.将所获取的到操作设备以及操作设备状态与预设场景中的标准操作设备以及标准操作设备状态进行匹配；
37.将所获取到的组织部位以及组织部位的状态与预设场景中的标准组织部位以及标准组织部位状态进行匹配；及
38.根据所获取到的目标以及所述目标状态确定操作进程，将所述操作进程与预设场景中的标准进程进行匹配。
39.第三方面，本技术还提供一种图像显示系统，所述系统包括：
40.增强现实设备，用于采集的初始医学图像以及显示处理器处理得到的显示信息；
41.处理器，用于执行上述任意一个实施例中的所述的方法中的步骤，以得到所述增强显示设备对应的虚拟空间的显示信息。
42.第四方面，本技术还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求任意一个实施例中的所述的方法的步骤。
43.第五方面，本技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任意一个实施例中的所述的方法的步骤。
44.上述医学图像显示方法、医学图像处理方法、图像显示系统、计算机设备、存储介质和计算机程序产品，在获取到增强现实设备采集的初始医学图像后，先对初始医学图像进行图像增强处理得到待处理医学图像，这样进行图像增强可以避免图像模糊，然后通过预先训练得到至少一个识别模型对所述待处理医学图像进行识别，得到所述待处理医学图像中的目标以及目标状态，这样针对未识别或者未标注患者伤口和医疗器械的状态，可以提高识别准确性，进而显示时更加准确。
附图说明
45.图1为一个实施例中的图像显示系统的系统图；
46.图2为一个实施例中的图像显示系统的硬件示意图；
47.图3为一个实施例中的增强现实设备的功能示意图；
48.图4为一个实施例中的终端或服务器的功能示意图；
49.图5为一个实施例中医学图像显示方法的流程示意图；
50.图6为一个实施例中的图像增强步骤的流程示意图；
51.图7为一个实施例中的两个识别模型的处理步骤的示意图；
52.图8为一个实施例中的第一识别模型的训练步骤的流程示意图；
53.图9为一个实施例中的第二识别模型的训练步骤的流程示意图；
54.图10为一个实施例中的融合步骤的流程示意图；
55.图11为一个实施例中的增强显示设备显示步骤的流程图；
56.图12为一个实施例中医学图像处理方法的流程示意图；
57.图13为一个实施例中的报警信息的生成步骤的流程图；
58.图14为一个实施例中的启动提示图；
59.图15为一个实施例中的术式选择提示图；
60.图16为一个实施例中的目标识别示意图；
61.图17为一个实施例中的提醒示意图；
62.图18为一个实施例中计算机设备的内部结构图。
具体实施方式
63.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
64.结合图1所示，图1为一个实施例中的图像显示系统的系统图，在该实施例中，该图像显示系统包括增强现实设备100以及处理器200。其中处理器200可以集成在增强现实设备100中，也可以是集成在单独的终端或服务器中，并与增强现实设备进行通信，本技术并不对处理器做具体限制，可以实现对应的功能即可。
65.具体地，结合图2所示，图2为一个实施例中的图像显示系统的硬件示意图，在该实施例中，处理器安装于终端或服务器中，其中增强现实设备通过数据接口与终端或服务器来进行通信，增强现实设备采集操作过程中的初始医学图像，并通过数据接口发送至终端或服务器中，从而终端或服务器的处理器对初始医学图像进行处理。
66.具体地，其中增强现实设备可以为ar眼镜，在其他的实施例中还可以为其他的增强现实设备。结合图3所示，图3为一个实施例中的增强现实设备的功能示意图，在该实施例中，增强现实设备的处理器包括图像获取模块，用于获取操作过程中的初始医学图像，增强现实设备通过图像获取模块采集的初始医学图像。初始医学图像为操作，例如手术中扫描得到的，初始医学图像可以是包括医疗设备以及患者伤口的图像。增强现实设备通过数据接口模块发送至终端或服务器，以便于终端或服务器的处理器对初始医学图像进行处理，并通过数据接口接收终端或服务器对初始医学图像的处理结果，增强现实设备的模型生成模块根据反馈回的处理结果从本地模型库模块获取到对应的模型，并通过模型配准模块基于处理结果和模型生成目标医学图像，并将目标医学图像通过全息投影模块进行全息投影至器械和患者伤口。
67.具体地，结合图4所示，图4为一个实施例中的终端或服务器的功能示意图，其中终端或服务器通过数据接口接收增强现实设备发送的初始医学图像。终端或服务器的处理器中的预处理模块对初始医学图像进行图像增强处理得到待处理医学图像；终端或服务器的处理器中的模型处理模块通过预先训练所得到的至少一个识别模型对待处理医学图像进行识别，得到待处理医学图像中的目标以及目标状态，例如得到医疗设备、患者上口或者是环境中的对象以及对应的目标状态；终端或服务器的处理器中的自适应融合模块将各识别模型得到的目标以及目标状态进行融合；终端或服务器的处理器中的数据接口将融合后的目标以及目标状态发送至增强现实设备中，并通过增强现实设备的处理器映射至增强现实设备对应的虚拟空间中显示，其中现实的内容可以包括手术提醒，报警，导航，以便医生更加智能安全做手术。
68.其中在操作开始时，终端或服务器与增强现实设备进行通讯，并判断终端或服务器与增强现实设备是否连接成功，也就是说开始打开终端或服务器和增强现实设备，设置好对应的ip地址，通过网络协议进行通信，如果遇到没有连接上，即遇到阻塞状态，进行调整不同的ip地址继续通信。
69.如果终端或服务器和增强现实设备通讯连接成功，终端或服务器按照规定的数据格式进行指令下发，增强现实设备接收采集命令之后，打开摄像头并储存到相应地址下，增强现实设备采集完图像之后，再通过网络协议把数据发给终端或服务器，最后完成整个终
端或服务器采图流程。
70.这样在获取到增强现实设备采集的初始医学图像后，先对初始医学图像进行图像增强处理得到待处理医学图像，这样进行图像增强可以避免图像模糊，然后通过预先训练得到至少一个识别模型对待处理医学图像进行识别，得到待处理医学图像中的目标以及目标状态，这样针对未识别或者未标注患者伤口和医疗器械的状态，可以提高识别准确性，进而显示时更加准确。
71.在一个实施例中，如图5所示，提供了一种医学图像显示方法，以该方法应用于图1中的处理器为例进行说明，包括以下步骤：
72.s502：获取增强现实设备采集的初始医学图像。
73.具体地，初始医学图像为操作，例如手术中扫描得到的；初始医学图像可以是包括医疗设备以及患者伤口的图像。其中在操作过程中，通过增强现实设备的图像采集设备来采集初始医学图像，例如通过增强现实设备的摄像头来采集初始医学图像。可选地，增强现实设备中可以包括多个摄像头，则获取到多个摄像头所采集的初始医学图像，这样后续处理时，可以并行对多张初始医学图像进行处理，或者是预先将多张初始医学图像进行融合，然后仅对融合后的初始医学图像进行处理。
74.s504：对初始医学图像进行图像增强处理得到待处理医学图像。
75.具体地，图像增强处理可以是指对图像的亮度增强，也即通过识别初始医学图像中弱光和逆光以进行灯光智能补充，从而得到明亮程度满足要求的待处理医学图像。
76.s506：通过预先训练所得到的至少一个识别模型对待处理医学图像进行识别，得到待处理医学图像中的目标以及目标状态。
77.具体地，识别模型可以是预先训练得到的，其可以包括深度学习模型以及传统的识别模型。在其他的实施例中，识别模型还可以包括其他的算法的模型，在此不做具体的限定。
78.其中深度学习模型可以是通过更改深度学习网络分支，增加不同尺度层的注意力机制来推理患者手术中伤口状态和位置，以及对器械的识别和使用情况的利用，让手术过程中的工作更加安全智能。传统的识别模型对先验知识的应用，可以提高处理效率，例如通过特征向量和分类器来对待处理医学图像进行处理得到目标以及目标状态。
79.目标可以是指待处理医学图像中的目标，其包括但不限于操作场景中的各类设备、医疗器械以及组织部位或伤口等，其中各类设备可以包括手术机器人系统、台车数量以及手术床。目标状态可以包括对应的预设的各个状态，其中各个状态可以是预先设定的。例如医疗器械的状态包括未使用、使用中以及已使用。伤口状态包括未缝合以及缝合等等，本领域技术人员可以根据需要来设置各个目标的目标状态。
80.上述实施例中，由于手术器械和患者距离ar图像设备的距离和角度，以及明亮程度，会导致识别状态不稳定，因此根据实际情况合理的分别优化初始医学图像和网络结构，提高识别精度和稳定性。
81.s508：将各识别模型得到的目标以及目标状态进行融合。
82.具体地，为了提高准确性，本实施例中，将各个识别模型得到的目标以及目标状态进行融合，这样综合多个识别模型的识别结果，使得准确性增加。例如，将各识别模型得到的目标以及目标状态进行阈值权重分配，以获得融合后的目标以及目标状态。
83.s510：将融合后的目标以及目标状态映射至增强现实设备对应的虚拟空间中显示。
84.具体地，处理器将融合后的目标以及目标状态映射至增强现实设备对应的虚拟空间中显示，例如先将目标以及目标状态映射至增强现实设备的三维空间中，再将三维空间中的目标以及目标状态映射至增强现实设备对应的虚拟空间中显示。
85.上述医学图像显示方法，在获取到增强现实设备采集的初始医学图像后，先对初始医学图像进行图像增强处理得到待处理医学图像，这样进行图像增强可以避免图像模糊，然后通过预先训练得到至少一个识别模型对待处理医学图像进行识别，得到待处理医学图像中的目标以及目标状态，这样针对未识别或者未标注患者伤口和医疗器械的状态，可以提高识别准确性，进而显示时更加准确。
86.在其中一个实施例中，参见图6所示，图6为一个实施例中的图像增强步骤的流程示意图，该图像增强步骤，即对初始医学图像进行图像增强处理得到待处理医学图像，包括：将初始医学图像转换为灰度图像；计算灰度图像的梯度直方图以及灰度目标值；基于梯度直方图以及灰度目标值得到初始医学图像对应的待处理亮度系数；根据初始医学图像计算得到对应的待处理彩色积分图；根据待处理彩色积分图以及待处理亮度系数对初始医学图像进行图像增强处理，得到待处理医学图像。
87.具体地，初始医学图像是彩色图像，一方面提取彩色图像的灰度信息，去掉颜色对整体亮度信息的影响，以计算得到待处理亮度系数。另外一方面通过彩色的初始医学图像来计算得到彩色积分图，这两个步骤可以是并行处理以提高处理效率，最后基于待处理亮度系数以及彩色积分图来调整初始医学图像的明亮度，以得到待处理医学图像。
88.可选地，根据灰度图像计算得到初始医学图像对应的待处理亮度系数，包括：计算灰度图像的梯度直方图以及灰度目标值；基于梯度直方图以及灰度目标值得到初始医学图像对应的待处理亮度系数。
89.在得到灰度图像后，计算灰度图像的梯度直方图，即相邻像素的亮度差，为了方便按照一定的顺序扫描灰度图像中的每个像素，且在扫描的过程中计算灰度目标值，该灰度目标值可以为灰度中位数，例如在遍历灰度图像中的每个像素时，可以对像素的每个灰度值排序以得到灰度中位数，最后根据梯度直方图分布图结合灰度中位值判断以得到初始医学图像的亮度系数，从而识别光亮和弱光。因为暗光和弱光整体偏暗，梯度纹理较小，在加上灰度中位数较小，识别得到整张图的明亮程度。如果梯度较小同时灰度中位值较小，亮度系数偏低，反之亦然。也就是说，如果梯度小于一定值，则说明初始医学图像要么整体偏亮，要么整体偏暗，因此通过灰度中位值来判断初始医学图像具体是偏亮还是偏暗，从而得到亮度系数。
90.其中为了方便，预先可以设置亮度系数与梯度以及灰度中位值的关系表，这样在计算得到梯度以及灰度中位值后，查表即可以得到对应的亮度系数。
91.可选地，彩色积分图的获取方式可以是先通过初始医学图像中的rgb三通道像素值，扫描整张初始医学图像并统计rgb三通道像素值，得到彩色直方图。然后通过归一化操作，将彩色直方图的每个灰度级除以灰度范围最大值255，并按照每个灰度级进行累加，从而得到彩色积分图。
92.可选地，根据待处理彩色积分图以及待处理亮度系数对初始医学图像进行图像增
强处理，得到待处理医学图像，包括：将待处理彩色积分图与标准彩色积分图进行匹配，以确定待处理亮度系数对应的标准亮度系数；通过标准亮度系数更新初始医学图像中的像素值，得到待处理医学图像。
93.具体地，积分图进行三通道像素映射表反向推理时，结合亮度系数，更新像素映射表，从而在整体图进行灰度值修正，最后达到改善亮度目的。
94.其中标准彩色积分图是预先存储的亮度均匀的且满足要求的积分图，将待处理彩色积分图与标准彩色积分图进行匹配，并获取匹配成功的标准彩色积分图对应的标准亮度系数，这样通过标准亮度系数更新初始医学图像中的像素值，得到待处理医学图像，以达到改善亮度的目的。
95.上述实施例中，通过对初始医学图像进行图像增强处理得到待处理医学图像，这样改善了图像的亮度，避免图像模糊，从而为后续的识别准确性奠定基础。
96.在其中一个实施例中，结合图7所示，通过预先训练所得到的至少一个识别模型对待处理医学图像进行识别，得到待处理医学图像中的目标以及目标状态，包括：通过预先训练得到的第一识别模型对待处理医学图像进行识别，得到待处理医学图像中与第一识别模型对应的目标以及目标状态，其中，第一识别模型是包括注意力机制的深度学习模型；通过预先训练得到的第二识别模型对待处理医学图像进行识别，得到待处理医学图像中与第二识别模型对应的目标以及目标状态，其中，第二识别模型是通过特征向量以及分类器生成的识别模型。
97.其中，本实施例中的识别模型包括两类，但是并不对识别模型的数量做具体限制，其中第一识别模型是包括注意力机制的深度学习模型，这样可以减少手术器械和患者距离ar图像设备的距离和角度的影响；第二识别模型是通过特征向量以及分类器生成的识别模型，这样可以提高处理效率。
98.具体地，结合图8所示，第一识别模型的训练方式可以包括：接收样本数据集并标注，例如接收携带器械和伤口的样本图像，对样本图像进行标注，然后对标注的样本图像进行预处理，例如可以将样本图像分为常规场景的数据和复杂场景数据，然后对复杂场景数据进行细分。其中开始通过前期虚拟显示中未识别和未标识图像进行标注，大量采集手术过程中携带器械和伤口数据，由于采集过程中会出现视频编码问题和手术过程出现特殊状况，比如动作太过出现的尾影，ar眼镜远近问题出现图像一会清晰一会模糊，视场角一会小一会大，还有手术过程中出现冒烟，反光，大量出血将手术器械覆盖着等等，因此将样本图像分为常规场景的数据和复杂场景数据，然后对复杂场景数据进行细分。然后再进行神经网络模型的搭建以及训练得到训练完成的第一识别模型。
99.在训练第一识别模型，例如神经网络识别模型时先对常规的场景进行粗分类，然后在复杂场景细分类，类同与让神经网络模型先学习常规知识然后在学习偏僻的知识。
100.对应地，通过预先训练得到的第一识别模型对待处理医学图像进行识别，得到待处理医学图像中的目标以及目标状态，包括：通过预先训练得到的第一识别模型的至少两层网络结构依次对待处理医学图像进行识别，得到待处理医学图像中的目标以及目标状态，其中至少两层网络结构中下一网络结构的输入是相邻上一网络结构输出的目标，各层网络结构中未输入至下一网络结构的输出为待处理医学图像中的目标以及目标状态。其中两层网络结构分别对应上述不同的分类，例如第一层网络结构是先对常规的场景进行粗分
类得到正常场景和复杂场景，第二层网络结构则是对复杂场景进行细分类。在其他的实施例中，还可以进入其他层的网络结构，以实现更为细致的分类，各层网络结构中未输入至下一网络结构的输出为待处理医学图像中的目标以及目标状态。
101.在手术场景的观察中得到常规情况占比相对比较大。可选地，神经网络搭建时在基础成熟的模型框架下加入不同尺度的卷积框并层层叠加融合，即注意力机制，相对于对不同大小图像内容重复学习，对抗不同器械和伤口图像尺度的影响。然后通过多进程多gpu进行训练，加快模型输出。最后使用神经网络模型推理识别得到目标和目标状态，例如识别患者伤口和手术器械。
102.上述实施例中，解决模型训练过程中样本不均衡问题，提高了手术中对患者伤口和器械状况的识别和分类精度。
103.在其中一个实施例中，通过预先训练得到的第二识别模型对待处理医学图像进行识别，得到待处理医学图像中的目标以及目标状态，包括：提取待处理医学图像的图像信息；对图像信息进行特征向量提取得到初始特征向量；将初始特征向量进行维度映射得到目标特征向量；通过预先训练得到的分类器根据目标特征向量，得到待处理医学图像中的目标以及目标状态。
104.具体地，对于第二识别模型，其是传统的模型，主要是通过对目标特征向量对应的维度映射矩阵进行训练，以使得分类结果更准确，在实际应用中，结合图9所示，第二识别模型的训练方式包括：接收样本数据集并标注，例如接收携带器械和伤口的样本图像，对样本图像进行标注，其中标注的方式可以参见第一识别模型的样本图像的标注方式，在此不再赘述。
105.再对样本图像进行预处理以提取图像信息，例如提取样本图像的rgb三通道矩阵图信息，维度与图像宽高一致。紧接设置搜索框，遍历整个图像并提取区域图像块，然后进行hog算子特征算子操作，将三维矩阵图信息映射到一维向量中，即用一维向量代表图像块。
106.同样地，对于标准图像也按照样本图像的处理方式进行处理。再将样本图像对应的一维向量与标准图像对应的一维向量进行比较，通过两个向量的距离来得到识别结果，例如若是两个向量的距离小于阈值，则获取到对应的标准图像的类别作为样本图像的类别。
107.其中计算两个向量的距离可以采用svm的方式，即根据维度映射矩阵将一维向量向更高维度映射，然后比较映射后的更高维度的向量的距离，最后根据所得到的样本图像的类别以及标注的类别来更新维度映射矩阵，直至样本图像的类别以及标注的类别相同，得到维度映射矩阵。
108.这样在实际应用中，提取待处理医学图像的图像信息；对图像信息进行特征向量提取得到初始特征向量；将初始特征向量进行维度映射得到目标特征向量；通过预先训练得到的分类器根据目标特征向量，得到待处理医学图像中的目标以及目标状态。其中，将初始特征向量进行维度映射得到目标特征向量，包括：通过预先训练得到的维度映射矩阵，将初始特征向量进行维度映射得到目标特征向量。
109.上述实施例中还通过传统的通过特征向量以及分类器生成的识别模型来对待处理医学图像进行处理，从而可以提高处理效率，且最后综合多个识别模型的结果，也保证了
准确性。
110.在其中一个实施例中，将各识别模型得到的目标以及目标状态进行融合，包括：获取各识别模型对应的权重；基于识别模型对应的权重将各识别模型得到的目标以及目标状态进行融合。
111.其中各个模型的权重可以是预先生成的，例如在训练完成后，通过测试样本来计算得到各个识别模型的置信度，将各个识别模型的置信度进行归一化作为各个识别模型对应的权重，这样在实际处理时，基于识别模型对应的权重将各识别模型得到的目标以及目标状态进行融合，例如将各个识别模型的结果以及权重进行加权得到融合后的目标以及目标状态。
112.具体地，结合图10所示，基于识别模型对应的权重将各识别模型得到的目标以及目标状态进行融合之前，还包括：获取第一识别模型以及第二识别模型对应的处理时间以及目标的识别精确度；当第一识别模型的处理时间与第二识别模型的处理时间的差值大于阈值时，则将第二识别模型对应的目标以及目标状态作为融合得到的目标以及目标状态；当第一识别模型的处理时间与第二识别模型的处理时间的差值小于或等于阈值，且第一识别模型的识别精确度大于第二识别模型的识别精确度时，继续基于识别模型对应的权重将各识别模型得到的目标以及目标状态进行融合；当第一识别模型的处理时间与第二识别模型的处理时间的差值小于或等于阈值，且第一识别模型的识别精确度小于或等于第二识别模型的识别精确度时，将第二识别模型对应的目标以及目标状态作为融合得到的目标以及目标状态。
113.具体地，处理器先获取到第一识别模型以及第二识别模型对应的处理时间、目标的识别精确度以及权重。然后计算第一识别模型以及第二识别模型的处理时间的差值是否大于阈值，当第一识别模型的处理时间与第二识别模型的处理时间的差值大于阈值时，则将第二识别模型对应的目标以及目标状态作为融合得到的目标以及目标状态。
114.当第一识别模型的处理时间与第二识别模型的处理时间的差值小于或等于阈值时，则继续判断第一识别模型的目标的识别精确度是否大于第二识别模型的目标的识别精确度；当第一识别模型的识别精确度大于第二识别模型的识别精确度时，继续基于识别模型对应的权重将各识别模型得到的目标以及目标状态进行融合；当第一识别模型的识别精确度小于或等于第二识别模型的识别精确度时，则将第二识别模型对应的目标以及目标状态作为融合得到的目标以及目标状态。
115.上述实施例中，结合各个识别模型的处理时间、目标的识别精确度以及权重对各个识别模型的结果进行融合，在保证准确性的前提下，也提高了处理效率。
116.在其中一个实施例中，将融合后的目标以及目标状态映射至，增强现实设备对应的虚拟空间中显示，包括：根据增强现实设备的多个采集装置的转换关系，将融合后的目标以及目标状态映射至增强现实设备的三维空间中；将三维空间中的目标以及目标状态映射至增强现实设备对应的虚拟空间中显示。
117.具体地，结合图11所示，图11为一个实施例中的增强显示设备显示步骤的流程图，在该实施例中，开始得到识别的融合结果，由于增强现实设备在出厂时已经标定多摄像头多传感器转换关系，即映射矩阵。这样通过这个映射矩阵将二维图像中的识别结果，即坐标，类别和状态，映射到ar空间中，即三维图像中。
118.然后通过ar空间扫描的虚拟空间和三维图像进行一个一致性转换，即将识别结果融合到ar虚拟空间中。最后根据识别结果，即坐标和识别图块进行配准显示，坐标为虚拟显示位置，类别为对应的显示模型，状态为伤口严重状态或手术器械与手术过程配合状态，从而进行提醒和报警，例如识别出大出血，将进行报警。其中显示模型是预先存在模型库中的，不同的显示模型用于显示不同的目标的类别。
119.在一个实施例中，如图12所示，提供了一种医学图像处理方法，以该方法应用于图1中的处理器为例进行说明，包括以下步骤：
120.s1202：基于上述任意一个实施例中的医学图像显示方法获取目标以及目标状态。
121.具体地，目标以及目标的获取方式可以参见上文在此不再赘述。
122.s1204：将目标以及目标状态与预设场景进行匹配。
123.s1206：根据匹配结果生成报警信息。
124.具体地，预设场景可以是根据操作阶段的不同所设置的标准操作对应的场景，例如在操作开始时，预设场景为包括各标准操作设备以及标准操作设备状态的场景，在操作过程中，预设场景为标准组织部位以及标准组织部位状态的场景或者是标准进程的场景。
125.可选地，将目标以及目标状态与预设场景进行匹配，包括以下至少一种：将所获取的到操作设备以及操作设备状态与预设场景中的标准操作设备以及标准操作设备状态进行匹配；将所获取到的组织部位以及组织部位的状态与预设场景中的标准组织部位以及标准组织部位状态进行匹配；及根据所获取到的目标以及目标状态确定操作进程，将操作进程与预设场景中的标准进程进行匹配。
126.具体地，结合图13所示，图13为一个实施例中的报警信息的生成步骤的流程图，在该实施例中，首先医生已佩戴好ar辅助眼镜，进入术式场景检查环节，需要多个角度观察手术室整体场景，其次对于实时拍摄真实场景的视频进行多目标识别，其中目标可以包括出现的手术机器人系统、台车数量、各类设备以及手术床，多目标识别的方法可以是上文中的医学图像显示方法，这样对于识别得到的目标与术前方案中预设手术类型会用到的机器人系统类型、台车数量、设备外型、摆位方式进行比较，以判断是否会触发“术式场景与手术器械不匹配”的报警，若是，则根据比较结果生成不同等级或类型的报警。否则医生佩戴ar眼镜靠近手术床，多角度仔细观察患者的术前准备情况，从而可以根据ar眼镜所采集的初始医学图像识别暴露在外部的组织部位或者是伤口状态，将其与术前方案中预设的术式种类进行比较判断，是否会触发“术式种类与伤口位置不匹配”类型报警。若是，则生成不同等级或类型的报警。否则完成操作前环境检查环节，医生开始手术，处理器自动开启“术式流程监察”程序，对于手术过程中步骤错乱、缺失、增多，触发“术式流程错误”类型报警。
127.上述实施例中，通过在操作之前以及操作中对目标以及目标状态进行识别，以触发不同类型的报警，辅助医生安全完成手术，在计算成本较低的前提下，提高了手术准确性，对后期智慧手术奠定基础。
128.为了使得本领域技术人员充分理解本技术，请结合图14至图17所示，在手术开始前，医生佩戴ar眼镜，并在ar眼镜中看到的画面如图14，眼镜中能同时看到现实世界和眼镜投影的虚拟世界。首先要启动该系统平台，眼镜中会显示软件界面，手指轻点即可。
129.后续跳转到术式选择界面，因为做什么手术在手术对象进入手术室之前就已经明确的，所以要先选择术式，同样结合图15所示，采用手指轻点即可，同时可以上滑下滑术式
列表。
130.在手术开始或者手术过程中，可以通过ar眼镜采集二维图像，即初始医学图像，然后通过处理器识别得到目标以及目标状态，例如图16中识别得到器械以及伤口，为后续定位做准备。
131.其中可选地，在每个界面可以在视野上方不遮挡医生动手术区域显示手术提醒菜单，例如图17中，上方左边为上一个手术动作，中间为正在进行的手术动作，右边为接下来的手术动作，这样可以提醒医生，便于整个手术的操作。
132.应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
133.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的医学图像显示方法以及医学图像处理方法的医学图像显示装置以及医学图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个医学图像显示装置以及医学图像处理装置实施例中的具体限定可以参见上文中对于医学图像显示方法以及医学图像处理方法的限定，在此不再赘述。
134.在一个实施例中，提供了一种医学图像显示装置，包括：
135.初始医学图像获取模块，用于获取增强现实设备采集的初始医学图像；
136.图像增强模块，用于对初始医学图像进行图像增强处理得到待处理医学图像；
137.模型处理模块，用于通过预先训练所得到的至少一个识别模型对待处理医学图像进行识别，得到待处理医学图像中的目标以及目标状态；
138.融合模块，用于将各识别模型得到的目标以及目标状态进行融合；
139.显示模块，用于将融合后的目标以及目标状态映射至增强现实设备对应的虚拟空间中显示。
140.在其中一个实施例中，上述图像增强模块还用于将初始医学图像转换为灰度图像；计算灰度图像的梯度直方图以及灰度目标值；基于梯度直方图以及灰度目标值得到初始医学图像对应的待处理亮度系数；根据初始医学图像计算得到对应的待处理彩色积分图；根据待处理彩色积分图以及待处理亮度系数对初始医学图像进行图像增强处理，得到待处理医学图像。
141.在其中一个实施例中，上述图像增强模块还用于计算灰度图像的梯度直方图以及灰度目标值；基于梯度直方图以及灰度目标值得到初始医学图像对应的待处理亮度系数。
142.在其中一个实施例中，上述图像增强模块还用于将待处理彩色积分图与标准彩色积分图进行匹配，以确定待处理亮度系数对应的标准亮度系数；通过标准亮度系数更新初始医学图像中的像素值，得到待处理医学图像。
143.在其中一个实施例中，上述模型处理模块还用于通过预先训练得到的第一识别模型对待处理医学图像进行识别，得到待处理医学图像中与第一识别模型对应的目标以及目
标状态，其中，第一识别模型是包括注意力机制的深度学习模型；通过预先训练得到的第二识别模型对待处理医学图像进行识别，得到待处理医学图像中与第二识别模型对应的目标以及目标状态，其中，第二识别模型是通过特征向量以及分类器生成的识别模型。
144.在其中一个实施例中，上述模型处理模块还用于通过预先训练得到的第一识别模型的至少两层网络结构依次对待处理医学图像进行识别，得到待处理医学图像中的目标以及目标状态，其中至少两层网络结构中下一网络结构的输入是相邻上一网络结构输出的目标，各层网络结构中未输入至下一网络结构的输出为待处理医学图像中的目标以及目标状态。
145.在其中一个实施例中，上述模型处理模块还用于提取待处理医学图像的图像信息；对图像信息进行特征向量提取得到初始特征向量；将初始特征向量进行维度映射得到目标特征向量；通过预先训练得到的分类器根据目标特征向量，得到待处理医学图像中的目标以及目标状态。
146.在其中一个实施例中，上述模型处理模块还用于通过预先训练得到的维度映射矩阵，将初始特征向量进行维度映射得到目标特征向量。
147.在其中一个实施例中，上述融合模块还用于获取各识别模型对应的权重；基于识别模型对应的权重将各识别模型得到的目标以及目标状态进行融合。
148.在其中一个实施例中，上述融合模块还用于获取第一识别模型以及第二识别模型对应的处理时间以及目标的识别精确度；当第一识别模型的处理时间与第二识别模型的处理时间的差值大于阈值时，则将第二识别模型对应的目标以及目标状态作为融合得到的目标以及目标状态；当第一识别模型的处理时间与第二识别模型的处理时间的差值小于或等于阈值，且第一识别模型的识别精确度大于第二识别模型的识别精确度时，继续基于识别模型对应的权重将各识别模型得到的目标以及目标状态进行融合；当第一识别模型的处理时间与第二识别模型的处理时间的差值小于或等于阈值，且第一识别模型的识别精确度小于或等于第二识别模型的识别精确度时，将第二识别模型对应的目标以及目标状态作为融合得到的目标以及目标状态。
149.在其中一个实施例中，上述显示模块还用于根据增强现实设备的多个采集装置的转换关系，将融合后的目标以及目标状态映射至增强现实设备的三维空间中；将三维空间中的目标以及目标状态映射至增强现实设备对应的虚拟空间中显示。
150.在一个实施例中，提供了一种医学图像处理装置，包括：
151.识别模块，用于基于上述任意一个实施例中的医学图像显示装置获取目标以及目标状态；
152.匹配模块，用于将目标以及目标状态与预设场景进行匹配；
153.报警模块，用于根据匹配结果生成报警信息。
154.在其中一个实施例中上述匹配模块通过以下至少一种方式将目标以及目标状态与预设场景进行匹配：将所获取的到操作设备以及操作设备状态与预设场景中的标准操作设备以及标准操作设备状态进行匹配；将所获取到的组织部位以及组织部位的状态与预设场景中的标准组织部位以及标准组织部位状态进行匹配；及根据所获取到的目标以及目标状态确定操作进程，将操作进程与预设场景中的标准进程进行匹配。
155.上述医学图像显示装置以及医学图像处理装置中的各个模块可全部或部分通过
软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
156.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图18所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种医学图像显示方法以及医学图像处理方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
157.本领域技术人员可以理解，图18中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
158.在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
159.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
160.在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
161.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，
不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
162.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
163.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。