一种超高清诊断级医疗数据MR全景展示系统及方法与流程

一种超高清诊断级医疗数据mr全景展示系统及方法
技术领域
1.本发明涉及远程会诊、混合现实(mixed reality)技术领域，具体涉及一种超高清诊断级医疗数据mr全景展示方法及系统。


背景技术：

2.混合现实(mixed reality)简称mr,mr技术结合了虚拟现实(virtual reality,简称vr)与增强现实(augmented reality，简称ar)的优势，能够更好地将ar技术体现出来,可将真实世界和虚拟世界混合在一起，产生新的可视化环境。
3.因此，本发明针对复杂的疑难危重症病例，利用混合现实技术提升远程会诊过程中，医疗数据诊断的准确性、便捷性、可操作性，使医生身临其境更好做出协同判断，深入解决了当今时代远程会诊中诊断体验不佳的问题。
4.此外，第五代移动通信技术(5g)带来的变革创新为疑难危重症远程协同诊治提供了网络保障，不仅实现了在网络速率、容量、延迟、范联、安全等上的革命性突破，也为医疗多场景化提供技术支撑，可全面实现多方多数据交互共享，如影像、动态超声、数字病理等大容量文件传输不再受限于网络条件的影响。


技术实现要素：

5.本发明申请提供了一种超高清诊断级医疗数据mr全景展示方法及系统，通过一定技术方法以实现上述远程会诊场景。
6.一种超高清诊断级医疗数据mr全景展示系统，包括会诊工作站、mr头戴式显示器、操控手套、空间跟踪定位器。
7.所述会诊工作站为普通医用电脑，内部装有远程会诊系统，能够以接口方式采集院内医疗数据，并实现普通的远程会诊流程及对于mr环境的展示适配。所述的远程会诊系统采用现有远程会诊系统。
8.所述的mr头戴式显示器与无线usb方式与会诊工作站对接，所述的操控手套以及空间跟踪定位器，连接mr头戴式显示器。
9.所述mr头戴式显示器包括混合现实显示单元、医疗数据处理单元、音视频交互单元、ar渲染单元、vr处理单元、交互控制接收单元和显示器空间定位单元。
10.所述的混合现实显示单元通过mr显示技术，将处理后的动态或静态图像呈现在头戴式显示器屏幕上；
11.所述的医疗数据处理单元用于实现无损医疗数据的处理。所述无损医疗数据包括动态的影像医疗图像、其他静态医疗图像和结构化医疗数据。医疗数据处理单元可将结构化医疗数据直接传输到混合显示单元，将动态或静态图像传输到ar渲染单元和vr处理单元；
12.所述的音视频交互单元用于远程会诊过程中医生与医生沟通交流；
13.所述的ar渲染单元和vr处理单元用于将接收到的动态的影像医疗图像、其他静态
医疗图像进行后处理及信号叠加，最终以混合现实的方式呈现在混合现实图像显示单元的屏幕上；
14.所述的交互控制接收单元，基于vive lighthouse(灯塔激光定位技术)，用于接收并处理显示器空间定位单元的头部运动数字信号以及操控手套的手部运动及操作动作数字信号，并计算出位置和姿态信息；
15.所述的显示器空间定位单元内置惯性传感器和数个光敏传感器，所述惯性传感器用于测出xyz三轴转动值，光敏传感器配合空间跟踪定位器用于测出xyz三轴移动值，然后基于空间定位算法形成空间坐标，实现跟踪头部运动以辅助操控工作。
16.所述的操控手套包括手套空间定位单元、操控单元、交互控制输出单元。所述的手套空间定位单元内置惯性传感器和数个光敏传感器，惯性传感器用于测出xyz三轴转动值，光敏传感器配合空间跟踪定位器用于测出xyz三轴移动值，基于空间定位算法形成空间坐标，实现跟踪手部运动以辅助操控工作；
17.所述操控单元是操控手套的指尖按钮功能，配合手套空间定位单元，实现对混合现实虚拟场景的操控、交互、标识和测绘功能；
18.所述交互控制输出单元用于将操控单元的操作动作形成数字信号，并将信号进行输出至头戴式显示器的交互控制接收单元中。
19.所述的空间跟踪定位器包括内置红外led灯和两个相互垂直的旋转的红外激光发射器。两个红外激光发射器以20毫秒为一循环，其中x轴10毫秒，y轴10毫秒，循环开始时，红外led灯闪光，会诊室空间内各光敏传感器同步信号，两个红外激光发射器分别扫描整个会诊室空间，显示器空间定位单元和手套空间定位单元内的光敏传感器就能够测量出x轴和y轴红外激光分别到达光敏传感器的时间，根据各个传感器的位置差即可算出头部运动轨迹和手部运动轨迹。
20.进一步的，所述空间跟踪定位器共有两个，分别设置在会诊室对角线位置，两个空间跟踪定位器形成灯塔激光空间。
21.本发明有益效果如下：
22.通过此系统可以使医生在远程会诊过程中通过混合现实技术实现高效便捷且身临其境的医学协同诊断场景，此种模式可以有效帮助医生做出准确的远程诊断，降低疑难危重症患者误诊率，提升医院疑难危重症病例的诊教研水平。
附图说明
23.图1是本发明实施例的设备结构示意图。
24.图2是本发明实施例的医疗数据全景展示方法示意图。
25.附图中：1
‑
会诊工作站，11
‑
远程会诊系统，2
‑
mr头戴式显示器，21
‑
医疗数据处理单元，22
‑
音视频交互单元，23
‑
ar渲染单元，24
‑
vr处理单元，25
‑
交互控制接收单元，26
‑
混合现实图像显示单元，27
‑
显示器空间定位单元，3
‑
操控手套，31
‑
手套空间定位单元，32
‑
操控单元，33
‑
交互控制输出单元，4
‑
空间跟踪定位器。
具体实施方式
26.为了使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施
例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的部分实施例，而不是全部实施例。基于本发明的实施例，本领域普通技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
27.如图1
‑
2所示，一种超高清诊断级医疗数据mr全景展示系统，包括会诊工作站1、mr头戴式显示器2、操控手套3、空间跟踪定位器4。
28.会诊工作站1为普通医用电脑，内部装有远程会诊系统11，能够以接口方式采集院内医疗数据，并实现普通的远程会诊流程及对于mr环境的展示适配。远程会诊系统11采用现有远程会诊系统。
29.mr头戴式显示器2包括混合现实显示单元、医疗数据处理单元21、音视频交互单元22、ar渲染单元23、vr处理单元24、交互控制接收单元25和显示器空间定位单元27。
30.混合现实显示单元通过mr显示技术，将处理后的动态或静态图像呈现在头戴式显示器屏幕上；
31.医疗数据处理单元21用于实现无损医疗数据的处理。无损医疗数据包括动态的影像医疗图像、其他静态医疗图像和结构化医疗数据。医疗数据处理单元21可将结构化医疗数据直接传输到混合显示单元，将动态或静态图像传输到ar渲染单元23和vr处理单元24；
32.音视频交互单元22用于远程会诊过程中医生与医生沟通交流；
33.ar渲染单元23和vr处理单元24用于将接收到的动态的影像医疗图像、其他静态医疗图像进行后处理及信号叠加，最终以混合现实的方式呈现在混合现实图像显示单元26的屏幕上；
34.交互控制接收单元25，基于vive lighthouse(灯塔激光定位技术)，用于接收并处理显示器空间定位单元27的头部运动数字信号以及操控手套3的手部运动及操作动作数字信号，并计算出位置和姿态信息；
35.显示器空间定位单元27内置惯性传感器和数个光敏传感器，惯性传感器用于测出xyz三轴转动值，光敏传感器配合空间跟踪定位器4用于测出xyz三轴移动值，然后基于空间定位算法形成空间坐标，实现跟踪头部运动以辅助操控工作。
36.操控手套3包括手套空间定位单元31、操控单元32、交互控制输出单元33。手套空间定位单元31内置惯性传感器和数个光敏传感器，惯性传感器用于测出xyz三轴转动值，光敏传感器配合空间跟踪定位器4用于测出xyz三轴移动值，基于空间定位算法形成空间坐标，实现跟踪手部运动以辅助操控工作；操控单元32是操控手套3的指尖按钮功能，配合手套空间定位单元31，实现对混合现实虚拟场景的操控、交互、标识和测绘功能；交互控制输出单元33用于将操控单元32的操作动作形成数字信号，并将信号进行输出至头戴式显示器的交互控制接收单元25中。
37.空间跟踪定位器4包括内置红外led灯和两个相互垂直的旋转的红外激光发射器。两个红外激光发射器以20毫秒为一循环，其中x轴10毫秒，y轴10毫秒，循环开始时，红外led灯闪光，会诊室空间内各光敏传感器同步信号，两个红外激光发射器分别扫描整个会诊室空间，显示器空间定位单元27和手套空间定位单元31内的光敏传感器就能够测量出x轴和y轴红外激光分别到达光敏传感器的时间，根据各个传感器的位置差即可算出头部运动轨迹和手部运动轨迹。
38.空间跟踪定位器4共有两个，分别设置在会诊室对角线位置，两个空间跟踪定位器
4形成灯塔激光空间。
39.本发明基于mr技术的高清诊断级医疗数据全景展示方法，区别于传统远程会诊医疗数据展示方法，在医疗数据高清无损的前提下，做到高速传输、极低时延、实时同步且亲临其境的效果。
40.一种超高清诊断级医疗数据mr全景展示方法，包括如下步骤：
41.步骤(1)：系统基于web环境从远程会诊系统11中获取会诊患者病例，并通过医疗数据处理单元21进行处理，对会诊病例中无损的动态、静态医疗图像和结构化医疗数据进行分类展示。
42.步骤(2)：通过远程会诊系统11共享或者映射病例功能，在会诊双方的呈现病例，并通过混合现实图像显示单元26将病例呈现在头戴式显示器屏幕上。
43.步骤(3)：双方医生通过音视频交互单元22使用语音或操控手套3的操控单元32对病例文件进行切换、翻阅。
44.步骤(4)：当需要对病灶部位进行标注命令时，使用操控手套3进行操作进行标注。
45.步骤(5)：操控动作基于会诊房间部署的空间跟踪定位器4以及mr头戴式显示器2、操控手套3内的空间定位单元形成的标注命令。此标注命令根据红外激光定位系统的刚体姿态和运动轨迹数值得出。
46.步骤(6)：标注命令通过ar渲染单元23转变成ar标注参数。
47.步骤(7)：通过ar渲染单元23与vr处理单元24将ar标注参数与vr图像同步叠加与纠正处理，形成能够实时进行标注的混合现实图像。
48.步骤(8)：最终将混合现实图像通过混合现实图像显示单元26呈现在mr头戴式显示器2屏幕上。