一种全息诊断系统、方法，计算机设备及存储介质与流程

1.本发明涉及物联网技术领域，特别是涉及一种全息诊断系统、方法，计算机设备及存储介质。


背景技术：

2.全息投影技术是一种3d立体显示技术，利用干涉原理记录并再现物体真实的三维图像。受限于当前的技术水平，我们平时所了解到的全息投影往往并非严格意义上的全息投影，而是使用佩珀尔幻象、边缘消隐等方法实现3d效果的一种类全息投影技术。
3.但即使是类全息投影技术，也仍然比传统显示技术提供了更为逼真的画面效果，使观察者获得身临其境之感。现有投影技术大多使用于广告、商业演出等场景，价值有限。
4.近年来远程医疗得到了迅速发展，远程医疗通常是指医生与患者异地的条件下，通过一系列的显示以及远程操控技术，远程情况下实现诊断、治疗等。现有技术提供的远程医疗均是单独地使用视频技术或者全息技术，没有考虑两者如何融合以提供更多信息的问题。


技术实现要素：

5.基于此，有必要针对上述的问题，提供一种全息诊断系统、方法，计算机设备及存储介质。
6.本发明实施例是这样实现的，一种全息诊断系统，所述全息诊断系统包括相互通信的采集终端以及显示终端，采集终端用于采集对象的显示信息并传输给显示终端，显示终端用于展示所述显示信息；所述采集终端具体包括全息采集装置以及图像采集装置，所述全息采集装置实时采集对象的三维立体信息，所述图像采集装置根据用户控制采集对象的局部图像信息；所述显示终端包括一体设置的全息投影装置以及平面显示装置，所述全息投影装置根据获取的三维立体信息实时显示对象的全息影像，所述平面显示装置根据用户控制在所述三维立体影像上叠加显示采集到的局部图像信息。
7.在其中一个实施例中，本发明提供了一种全息诊断方法，应用于本发明实施例所述的全息诊断系统，所述全息诊断方法包括：全采模式：驱动全息采集装置旋转采集对象360
°
范围的立体信息，驱动图像采集装置采集对象的局部图像；驱动全息投影装置的旋转屏旋转，根据旋转屏的旋转角度将对象对应角度范围的立体信息投射于旋转屏上以使旋转屏旋转一周即完整显示对象360
°
范围的立体信息一次；通过平面显示装置将采集到的局部图像叠加于立体信息的对应部位上显示；捕捉模式：在全采模式下运行，确定用户的观察部位，根据用户的观察部分驱动全息采集装
置以确定出的对象的被观察部位为中心左右往复摆动以采集对象的局部三维立体信息；驱动图像采集装置采集对象的局部图像；驱动全息投影装置的旋转屏旋转，当旋转屏旋转到对象的被观察部分所对应的角度时，将采集到的立体信息投射于旋转屏上；通过平面显示装置将采集到的局部图像叠加于立体信息的对应部位上显示。
8.在其中一个实施例中，本发明提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述全息诊断方法的步骤。
9.在其中一个实施例中，本发明提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述全息诊断方法的步骤。
10.本发明通过设置全息采集装置可以采集到对象的三维立体信息，通过图像采集装置可以采集对象的局部特征；通过全息投影装置可以显示全息影像，通过平面显示装置可以在三维立体影像上叠加显示采集到的局部图像信息。本发明通过三维立体影像与局部全面图像的结合，可以便于医生进行整体的全面观察，同时可以根据局部图像对特定部位进行诊断，克服了现有技术无法兼顾整体与局部的问题。
附图说明
11.图1为一个实施例中提供的全息诊断系统的结构框图；图2为一个实施例中全息诊断系统方法图像拼接的示意图；图3为一个实施例中计算机设备的内部结构框图。
具体实施方式
12.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
13.可以理解，本发明所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本发明的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。
14.如图1所示，在一个实施例中，本发明提出了一种全息诊断系统，所述全息诊断系统包括相互通信的采集终端以及显示终端，采集终端用于采集对象的显示信息并传输给显示终端，显示终端用于展示所述显示信息；所述采集终端具体包括全息采集装置以及图像采集装置，所述全息采集装置实时采集对象的三维立体信息，所述图像采集装置根据用户控制采集对象的局部图像信息；所述显示终端包括一体设置的全息投影装置以及平面显示装置，所述全息投影装置根据获取的三维立体信息实时显示对象的全息影像，所述平面显示装置根据用户控制在所述三维立体影像上叠加显示采集到的局部图像信息。
15.在本发明实施例中，全息采集装置用于采集对象的三维立体信息，具体的可以是
由多个方向的图像构成的反映了对象三维状态的信息，也可以是雷达扫描图像或者其它类型的点云图像，反映了对象在三维空间中的分布情况。需要说明的是，这里的三维立体信息仅仅是指这些信息反映或者用于构建对象的三维特征，并不意味着这些信息本身是三维的。
16.在本发明实施例中，还包括图像采集装置，通过图像采集装置可以采集对象具体部位的图像，对于患者而言，具体可以是口腔、眼球、面部或者其它需要诊断的部位；本发明中的对象主要是患者，使用者或者用户一般指医生、护士等。
17.在本发明实施例中，显示终端包括全自投影装置以及平面显示装置，这里的全息投影装置用于投影得到全息影像，这里的平面显示装置用于显示二维图像，平面仅仅是相对于全息的三维而言的，并不意味着所显示的图像必然是平面形状的。
18.在本实施例中，在三维立体影像上叠加显示采集到的局部图像，需要说明的是，这里的叠加并不意味着三维立体影像与平面图像在同一个显示面上显示，本发明是指从观察者的角度看到的图像是叠加显示的。
19.本发明通过设置全息采集装置可以采集到对象的三维立体信息，通过图像采集装置可以采集对象的局部特征；通过全息投影装置可以显示全息影像，通过平面显示装置可以在三维立体影像上叠加显示采集到的局部图像信息。本发明通过三维立体影像与局部全面图像的结合，可以便于医生进行整体的全面观察，同时可以根据局部图像对特定部位进行诊断，克服了现有技术无法兼顾整体与局部的问题。
20.在一个实施例中，所述全息采集装置包括若干第一采集头，若干第一采集头设置于环形轨道上，工作状态下在所述环形轨道上围绕对象旋转以采集对象的三维立体信息；还包括至少一个第二采集头，第二采集头设置于环形轨道中心轴的顶部，由上向下采集对象的三维立体信息。
21.在本实施例中，第一采集头可以使用摄像头、雷达或者高速像机等具有图像采集功能的器件，第一采集头设置于环形轨道上，绕环形轨道高速运动，可以采集对象360
°
范围的图像信息，由这些信息系统可以构建全息影像。
22.在一个实施例中，所述第一采集头设置有三个，分别设置于具有不同高度的环形轨道上；全采模式下，三个第一采集头在俯视图上绕环形轨道的中心等角度布置，同时旋转采集对象360
°
范围的立体信息；捕捉模式下，俯视图下，低位第一采集头与高位第一采集头错开的角度范围为60
°
~180
°
，中位第一采集头位于低位第一采集头与高位第一采集头之间的中间位置，且三个第一采集头保持相对角度动态左右运动以追踪对象的被观察部位。
23.在本实施例中，第一采集头设置为3个，且3个第一采集头由下往上设置，具有不同的水平高度，例如中心高度依次设置为30cm、100cm以及170cm等，还可以设置高度可以分别调整的结构，对于实现这种调节方式的具体结构本发明实施例对此不作具体限定，例如可以使用伸缩杆、气缸等支架轨道实现调节高度的作用；在本实施例中，三个第一采集头的环形轨道半径相同且圆心在同一竖直线上。
24.在本实施例中，全采模式下，三个第一采集头等角度布置，例如起始时，分别位于0
°
、120
°
以及240
°
位置上，同时启动并以相同的速度旋转。
25.在一个实施例中，所述图像采集装置设置于环形轨道内侧，包括至少一个第二采集头以及一个运动臂；所述第二采集头设置于所述运动臂的执行端，所述运动臂用于带动所述第二采集头采集对象的局部图像信息。
26.在本实施例中，运动臂可以采用机械臂，还可以采集伸缩节、万向节等；运动臂的固定端设置于底座上，底座可以移动或者固定于地面。当需要对口腔、脸部、眼睛或者其他特定的部位进行图像采集时，患者或者医护人员可以操作第二采集头以采集特定部位的图像。
27.在一个实施例中，所述全息投影装置包括底座、投影装置以及旋转屏；所述底座设置为圆盘状，投影装置与底座相对固定；旋转屏与水平面的夹角为30
°
~60
°
，旋转屏的背面通过转轴固定于底座中心，由转轴驱动在所述底座上旋转；投影装置根据三维立体信息生成全息影像并投射于旋转屏上。
28.在本实施例中，可选地，投影装置通过冂形支架设置于圆盘状底座的正上方，投影装置用于投射影像。旋转屏通过转轴设置于投影装置的正下方，位于圆盘状底座上，其正面的法向量与水平面的夹角范围为30
°
到60
°
，优选为45
°
；旋转屏可以采用半透膜或者使用平面镜，两者的显示效果不同，但均可以实现本发明的目标。
29.在本实施例中，作为另一种可选的具体实现方式，全息投影装置包括底座以及旋转屏，旋转屏的正面法向量与水平面平行，旋转屏可以采用常规屏幕制作；可以理解，此时还包括显示控制装置，用于为屏幕输出显示数据。
30.在一个实施例中，所述平面显示装置包括一个柱状的透明屏，柱状透明屏设置于底座上，将所述旋转屏环绕在内；柱状透明屏用于显示局部图像，使用者透通过所述柱状透明屏能够观察到叠加于局部图像底层的全息影像；所述平面显示装置还包括视线追踪装置，所述视线追踪装置相对于底座固定，用于追踪用户的视线以确定用户视线落在所述柱状透明屏上的位置。
31.在本实施例中，设置柱状透明屏可以起到保护旋转屏的作用，以防止触碰。此外，利用柱状透明屏，可以显示局部图像。例如，当人眼透过透明显示屏观察旋转屏上的显示的对象的口腔部位时，在透明显示屏上显示的口腔位置上呈现第二采集头采集到的局部图像，使医生能够观察到口腔内部的图像，以便于诊断。
32.在本实施例中，还包括视线追踪装置，通过设置视线追踪装置可以追踪柱状透明屏前人员的视线，以便于在准确的位置显示出局部图像。视线追踪属于现有技术，本发明不涉及此部分内容的改进。
33.在一个实施例中，本发明提供了一种全息诊断方法，应用于本发明任意一个实施例所述的全息诊断系统，所述全息诊断方法包括：全采模式：驱动全息采集装置旋转采集对象360
°
范围的立体信息，驱动图像采集装置采集对象的局部图像；驱动全息投影装置的旋转屏旋转，根据旋转屏的旋转角度将对象对应角度范围的立体信息投射于旋转屏上以使旋转屏旋转一周即完整显示对象360
°
范围的立体信息一次；
通过平面显示装置将采集到的局部图像叠加于立体信息的对应部位上显示；捕捉模式：在全采模式下运行，确定用户的观察部位，根据用户的观察部分驱动全息采集装置以确定出的对象的被观察部位为中心左右往复摆动以采集对象的局部三维立体信息；驱动图像采集装置采集对象的局部图像；驱动全息投影装置的旋转屏旋转，当旋转屏旋转到对象的被观察部分所对应的角度时，将采集到的立体信息投射于旋转屏上；通过平面显示装置将采集到的局部图像叠加于立体信息的对应部位上显示。
34.在本实施例中，可以理解，要运行捕捉模式时先运行全采模式以获得对象的整体立体图像，且捕捉模式下仅允许少数几个观察者在一个有限的观察角度内观察，这种方式可以极大地节约不必要的数据采集，使系统采集到的数据都用于为使用者提供画面，而不会用于显示使用者不关注的背面影像，造成资源的浪费。
35.在本实施例中，全采模式下，以对象为患者为例，在俯视图下，患者面向的方向为x轴正方向，低位第一采集头从240
°
方向朝患者进行图像采集，中位第一采集头从0
°
方向朝患者进行图像采集，低位第一采集头从120
°
方向朝患者进行图像采集，三个第一采集头在轨道上高速运动对患者进行图像采集。在显示终端一端，当旋转屏旋转到设定的x轴正向时（与采集终端的x轴不同），投影装置向旋转屏投射在x轴正向位置处采集到的图像；当旋转屏旋转到设定的90
°
位置时，投影装置向旋转屏投射在90
°
位置处采集到的图像；依次类推。由于采集头高速旋转，同时显示屏也高速旋转，在合适的转速下，利用人眼视常见暂留原理可以使观察者在显示终端360
°
任意角度均能观察到对应图像，从而实现立体展示。
36.在本实施例中，捕捉模式下，以对象为患者为例，在俯视图下，患者面向的方向为x轴正方向，低位第一采集头从-45
°
方向朝患者进行图像采集，中位第一采集头从0
°
方向朝患者进行图像采集，低位第一采集头从45
°
方向朝患者进行图像采集，患者头部摆动时，x轴的方向随之改变，三个第一采集头在轨道上的位置也随着改变，从而实现动态追踪。在显示终端一端，当旋转屏旋转到设定的x轴正向附近时（例如-90
°
~90
°
范围），投影装置向旋转屏投射采集到的图像；当旋转屏旋转到设定的90
°
~270
°
范围时，投影装置不投射图像。
37.在一个实施例中，采集对象的局部三维立体信息，具体包括：将三个第一采集头所采集到的画面分别划分为3*3的方格，调整三个第一采集头的相对位置使中位第一采集头的一侧下方的4个方格与低位第一采集头的4个方格内容重叠、中位第一采集头的另一侧上方的4个方格与高位采集头的4个方格内容重叠；取中位第一采集头所采集到的画面的中间一列作为最终画面的中间一列；取下位第一采集头所采集到的画面的中间一列上方两个方格作为最终画面对应位置的内容；取上位第一采集头所采集到的画面的中间一列下方两个方格作为最终画面对应位置的内容；根据中位第一采集头所采集到的画面以及低位第一采集头、中位第一采集头中间一列内容的尺寸确定最终画面余下两个方格的内容。
38.在本实施例中，如图2所示，低位第一采集头采集到的图像由41、21、22、42、31、32、43、44、45组成，中位第一采集头采集到的图像由11、12、13、21、22、23、31、32、33组成，高位
第一采集头采集到的图像由51、52、53、12、13、54、22、23、55组成。合成后的图像，12、22、32位置取中位第一采集头采集到的内容；21、31位置的图像取低位第一采集头采集到的内容；13、23位置取高位第一采集头采集到的内容。而11位置取中位第一采集头采集到的内容，并且根据低位第一采集头对应位置（21、31、44）内容的尺寸对该区域进行矫正。矫正的方法可以是：从低位第一采集头采集到的图像的21位置中选定一个延伸到中位第一采集头采集到的图像的位置11处的物体，以位置21中该物体的位置为准，位伸或者压缩区域11，使特定的一个或者多个物体光顺连接。对于位置33可以采取类似操作，本发明实施例对此不再赘述。
39.在本实施例中，需要说明的是，将21、31（以及54、55）位置处的图像分别与22、32位置拼接时，需要通过上述矫正方法调整21、31（以及54、55）位置的纵向尺寸，但保持横向尺寸不动。
40.本发明提供的图像拼接方法利用图像中心畸变小的特点，将三张图像进行拼接，更真实地还原真实场景。
41.图3示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以用于图1所示系统的控制。如图3所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现本发明实施例提供的全息诊断方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行本发明实施例提供的全息诊断方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
42.本领域技术人员可以理解，图3示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
43.在一个实施例中，提出了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：全采模式：驱动全息采集装置旋转采集对象360
°
范围的立体信息，驱动图像采集装置采集对象的局部图像；驱动全息投影装置的旋转屏旋转，根据旋转屏的旋转角度将对象对应角度范围的立体信息投射于旋转屏上以使旋转屏旋转一周即完整显示对象360
°
范围的立体信息一次；通过平面显示装置将采集到的局部图像叠加于立体信息的对应部位上显示；捕捉模式：在全采模式下运行，确定用户的观察部位，根据用户的观察部分驱动全息采集装置以确定出的对象的被观察部位为中心左右往复摆动以采集对象的局部三维立体信息；驱动图像采集装置采集对象的局部图像；驱动全息投影装置的旋转屏旋转，当旋转屏旋转到对象的被观察部分所对应的角度时，将采集到的立体信息投射于旋转屏上；
通过平面显示装置将采集到的局部图像叠加于立体信息的对应部位上显示。在一个实施例中，提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：全采模式：驱动全息采集装置旋转采集对象360
°
范围的立体信息，驱动图像采集装置采集对象的局部图像；驱动全息投影装置的旋转屏旋转，根据旋转屏的旋转角度将对象对应角度范围的立体信息投射于旋转屏上以使旋转屏旋转一周即完整显示对象360
°
范围的立体信息一次；通过平面显示装置将采集到的局部图像叠加于立体信息的对应部位上显示；捕捉模式：在全采模式下运行，确定用户的观察部位，根据用户的观察部分驱动全息采集装置以确定出的对象的被观察部位为中心左右往复摆动以采集对象的局部三维立体信息；驱动图像采集装置采集对象的局部图像；驱动全息投影装置的旋转屏旋转，当旋转屏旋转到对象的被观察部分所对应的角度时，将采集到的立体信息投射于旋转屏上；通过平面显示装置将采集到的局部图像叠加于立体信息的对应部位上显示。
44.应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
45.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
46.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保
护范围。因此，本发明专利的保护范围应以所附权利要求为准。