一种基于混合现实技术的远程骨科手术指导装置和操作方法

1.本技术涉及远程骨科医疗技术领域，尤其涉及一种基于混合现实技术的远程骨科手术指导装置和操作方法。


背景技术：

2.远程医疗是解决优势医疗资源稀缺与分布不均问题的途径之一。国外对于远程医疗开展的较早，2006年美国宇航局对国际空间站的宇航员就开展了基于超声影像的远程诊断指导，对于可穿戴式高清视频转播下的远程手术指导也较早，2013年美国伯明翰阿拉巴马大学利用谷歌眼镜开展了远程虚拟手术。在国内，目前基于高清视频的手术指导系统已经得到了较为广泛的应用，但是大多数远程手术指导系统都是基于2d屏幕进行观看和指示操作的，使得专家的远程指导比较粗糙，现场人员不能清楚直观的明白专家的手术指导操作。
3.骨科手术是外科手术一个重要分支。针对骨科手术来说，难度较大的骨科手术需要多名专家进行会诊，骨骼是人体重要的组成部位，在骨科手术过程中，非常微小的偏差，会给骨科手术带来安全隐患。
4.因此，亟需提供一种远程骨科手术指导方法，为医疗资源稀缺地方实现精准、微创、安全的骨科手术提供技术支持。


技术实现要素：

5.混合现实技术(mr)是虚拟现实技术的进一步发展，该技术通过在现实场景呈现虚拟场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。混合现实(mr)指的是合并现实和虚拟世界而产生的新的可视化环境。在新的可视化环境里物理和数字对象共存，并实时互动。
6.基于mr的同步共享技术，骨科专家佩戴vr(虚拟现实)头戴式显示器，本地用户佩戴mr头戴式显示器，将mr头戴式显示器中捕捉到的内容传输到虚拟现实头戴式显示器中，通过这种方式，专家就可以观察到本地用户在工作环境中正在取得的进展并提出建议。
7.基于以上混合现实技术应用基础，本技术提供了一种基于混合现实技术的远程骨科手术指导装置和操作方法。本技术技术方案如下：
8.一种远程骨科手术指导装置，其包括：本地设备和远程设备；其中，
9.所述本地设备包括：采集设备、混合现实设备hololens、本地5g通讯终端，所述采集设备和混合现实设备hololens连接至本地5g通讯终端；
10.所述远程设备所括：头戴式显示器、远程控制终端、计算机设备、以及远程5g通讯终端；所述头戴式显示器与远程控制终端连接于计算机设备，所述计算机设备连接于远程5g通讯终端；
11.所述本地设备与远程设备通过所述本地5g通讯终端和远程5g通讯终端以无线方式实现实时数据传输。
12.进一步地，所述采集设备用于采集拍摄的人体骨骼图像和信息，并将所述骨骼图像和信息通过所述本地5g通讯终端传输至远程设备。
13.进一步地，所述混合现实设备hololens包括三维建模单元、三维显示单元。
14.进一步地，所述三维建模单元用于根据人体骨骼图像建立虚拟的人体骨骼的三维模型。
15.进一步地，所述三维显示单元用于显示虚拟的人体骨骼的三维模型和远程设备端生成的虚拟手术操作。
16.进一步地，所述混合现实设备hololens通过本地5g通讯终端和远程5g通讯终端传输至计算机设备。
17.进一步地，所述远程控制终端包括手持控制器和远程跟踪设备。
18.进一步地，所述手持控制器用于生成虚拟的手术操作。
19.进一步地，所述远程跟踪设备用于识别远程专家用户的场景及动作信息。
20.进一步地，所述计算机设备用于将所述远程控制端的指令信息和本地设备传输的三维模型合并成为虚拟手术操作图像，并传输至本地和远程的显示终端上。
21.进一步地，所述混合现实设备hololens具备视频储存单元，用于生成远程手术指导操作视频。
22.进一步地，所述混合现实设备hololens和头戴式显示器具备语音单元，用于远程手术指导操作过程中的实时交流。
23.进一步地，所述头戴式显示器具备显示单元。
24.进一步地，所述远程骨科手术指导装置包括至少一组前述本地设备和前述远程设备的组合。
25.一种上述远程骨科手术指导装置的操作方法，包括：
26.采集设备采集人体骨骼图像并传输至混合现实设备hololens；
27.混合现实设备hololens通过所述人体骨骼图像构建虚拟的三维人体骨骼模型；并将所述虚拟的三维人体骨骼模型传输至远程设备端；
28.远程专家用户通过远程控制终端的手持控制器完成在虚拟的三维人体骨骼模型上的虚拟手术操作；
29.计算机设备合成图像信息生成手术指导影像，并传输至显示终端；
30.本地用户观看手术指导影像。
31.进一步地，所述人体骨骼图像包括x光图像、ct图像及mri图像的至少一种。
32.进一步地，所述采集设备还采集人体骨骼信息，所述人体骨骼信息从医院emr、pacs或lis系统进行数据同步。
33.进一步地，所述混合现实设备hololens接收所述人体骨骼图像，所述混合现实设备中的三维建模单元通过人体骨骼图像构建虚拟的三维人体骨骼模型，并将所述虚拟的三维人体骨骼模型通过本地5g通讯终端和远程5g通讯终端传输至远程的计算机设备。
34.进一步地，所述采集设备采集的人体骨骼信息可以通过本地5g通讯终端和远程5g通讯终端传输到远程设备的计算机设备。
35.进一步地，所述计算机设备将接收到的人体骨骼图像和人体骨骼信息显示在本地设备和远程设备的显示终端上，本地设备的显示终端位于混合现实设备hololens上，远程
设备的显示终端位于前述头戴式显示器，所述头戴式显示器为虚拟现实(vr)设备。
36.进一步地，所述人体骨骼信息的重要信息显示于前述显示终端，所述重要信息包括：患者姓名、年龄、受损骨骼部位及程度说明。若需要查看更详细的人体骨骼信息，可通过远程设备中远程控制终端的手持控制器操作后显示。
37.进一步地，远程控制终端采集专家用户的手势和位姿信息，并将手势和位姿信息传递至计算机设备。
38.进一步地，远程控制终端包括手持控制器和远程跟踪设备，所述手持控制器用于采集远程专家用户的手势信息，所述远程跟踪设备用于采集专家用户的位姿信息。
39.进一步地，所述计算机设备接收前述手势和位姿信息，并将手势和位姿信息转化为虚拟的手势和位姿图像，然后将虚拟的手势和位姿图像与前述的虚拟的三维人体骨骼模型融合，生成合并的骨科模拟手术场景图像，显示在本地设备和远程设备的显示终端上。
40.进一步地，远程专家用户通过手持控制器，变换手部动作和姿势，在虚拟的三维人体骨骼模型上进行模拟手术操作，所述模拟手术操作的影像实时显示在本地设备和远程设备的显示终端上。
41.本技术涉及一种基于混合现实技术的远程骨科手术指导装置和操作方法，与现有技术相比，本技术至少具有以下有益效果：
42.(1)通过所述远程骨科手术指导装置和操作方法使一名或多名远程专家在混合现实环境中实时接收到来自工作环境中的一名或多名本地用户共享的信息，并为本地用户远程提供手术指导操作。
43.(2)医院或医疗机构无需建立专门的远程会诊室及搭建复杂的硬件环境，成本得到极大的控制。
44.(3)所述远程骨科手术指导装置具备无线、移动化等特征，使参与病例讨论和远程专家可随时随地开展工作，极大降低时间成本、提高效率。同时，本地医师与远端医师只需佩戴mr智能终端并连线，即可同时对患者进行面诊交流，本地医师与远端医师可以共享面诊画面，并相互交流。
45.(4)所述远程骨科手术指导装置和操作方法是解决优势医疗资源特别是骨科医疗资源稀缺与分布不均问题的途径之一。
附图说明
46.以下将结合附图和优选实施例来对本技术进行进一步详细描述，但是本领域技术人员将领会的是，这些附图仅是出于解释优选实施例的目的而绘制的，并且因此不应当作为对本技术范围的限制。此外，除非特别指出，附图仅示意在概念性地表示所描述对象的组成或构造并可能包含夸张性显示，并且附图也并非一定按比例绘制。
47.图1为本技术实施例提供的远程骨科手术指导装置示意图。
48.图2为本技术实施例提供的远程骨科手术指导装置操作方法流程图。
具体实施方式
49.下面结合附图1至2，对本技术作详细的说明。
50.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对
本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
51.本技术所述的远程骨科手术指导装置的示意图如图1所示。
52.在本技术实施例中，远程骨科手术指导装置拥有两个应用场景，本地场景和远程场景，因此远程骨科手术指导装置包括在本地场景使用的本地设备1和在远程场景使用的远程设备2；其中，本地场景的本地用户为需要手术指导支持的一方，远程场景的专家用户为提供手术指导的一方，相应地，本地用户和专家用户分别使用配置在所在场景下的本地设备1和远程设备2。
53.在本技术实施例中，所述本地设备1包括：采集设备11、混合现实设备hololens12、本地5g通讯终端13，所述采集设备11和混合现实设备hololens12连接至本地5g通讯终端13，连接方式包括有线或无线连接。
54.在本技术实施例中，所述远程设备2所括：头戴式显示器21、计算机设备22、远程控制终端23、以及远程5g通讯终端24；所述头戴式显示器21与远程控制终端23连接于计算机设备22，连接方式包括有线或无线连接，所述计算机设备22连接于远程5g通讯终端24；连接方式包括有线或无线连接。
55.在本技术实施例中，所述本地设备1与远程设备2通过所述本地5g通讯终端13和远程5g通讯终端24以无线方式实现实时数据传输，所述无线方式是基于5g通讯网络实现的。
56.在本技术实施例中，所述采集设备11用于采集拍摄的人体骨骼图像和信息，并将所述骨骼图像和信息通过所述本地5g通讯终端13传输至远程设备2。所述的本地5g通讯终端13和远程5g通讯终端24同时具备接收和传输的功能。
57.在本技术实施例中，所述混合现实设备hololens12包括三维建模单元121、三维显示单元122。所述三维建模单元121用于根据人体骨骼图像建立虚拟的人体骨骼的三维模型。所述三维显示单元122用于显示虚拟的人体骨骼的三维模型和远程设备端生成的虚拟手术操作。
58.在本技术实施例中，所述混合现实设备hololens12通过本地5g通讯终端13和远程5g通讯终端24传输至计算机设备22。
59.在本技术实施例中，所述远程控制终端23包括手持控制器231和远程跟踪设备232。专家用户使用所述手持控制器231，通过调节手部手势和动作生成虚拟的手术操作。
60.在本技术实施例中，所述远程跟踪设备232用于识别远程专家用户的场景及动作信息。
61.在本技术实施例中，所述远程控制终端23通过手持控制器231和远程跟踪设备232获得的信息，生所指令信息传输到计算机设备22。
62.在本技术实施例中，所述计算机设备22用于将所述远程控制端23的指令信息和本地设备1传输的三维模型合并成为虚拟手术操作图像，并传输至本地和远程的显示终端上，所述的显示终端即混合现实设备hololens12的三维显示单元121和头戴式显示器21的显示单元211。
63.在本技术实施例中，所述混合现实设备hololens12还具备视频储存单元124，用于生成远程手术指导操作视频，该操作视频可以通过三维显示单元121或显示单元211观看。
64.在本技术实施例中，所述混合现实设备hololens12和头戴式显示器21分别具备语
音单元123和语音单元212，所述语音单元123和语音单元212用于远程手术指导操作过程中的实时语音交流。
65.在本技术实施例中，所述远程骨科手术指导装置包括至少一组前述本地设备1和前述远程设备的组合2。多组本地设备1和远程设备2组合，可以构建实现多用户线上远程互助医疗系统。
66.在本技术实施例中，前述的本地场景亦可以转化为远程场景，前述的远程场景亦可能成为本地场景，在此种情况下，在任一的本地场景或远程场景下，优选地，应同时具备一组本地设备1和前述远程设备的组合设备。
67.本技术提供了一种上述远程骨科手术指导装置的操作方法，所述操作方法即基于混合现实技术开发的上述远程骨科手术指导装置在远程医疗互助的应用，所述操作方法的流程如图2所示。
68.s0、开始。
69.s1、采集设备采集人体骨骼图像并传输至混合现实设备hololens12。
70.在本技术实施例中，所述人体骨骼图像包括x光图像、ct图像及mri图像的至少一种；另外，所述采集设备还采集人体骨骼信息，所述人体骨骼信息从医院emr、pacs或lis系统进行数据同步，所述人体骨骼信息包括：人名、年纪、骨骼部位、受损情况等；采集设备将采集到人体骨骼图像和人体骨骼信息传输至混合现实设备hololens12。
71.s2、混合现实设备hololens12通过所述人体骨骼图像构建虚拟的三维人体骨骼模型；并将所述虚拟的三维人体骨骼模型传输至远程设备2端。
72.在本技术实施例中，所述混合现实设备hololens12接收所述人体骨骼图像，所述混合现实设备hololens12的三维建模单元121通过人体骨骼图像构建虚拟的三维人体骨骼模型，并将所述虚拟的三维人体骨骼模型通过本地5g通讯终端13和远程5g通讯终端传输24至远程的计算机设备22，并进一步地显示在本地设备1和远程设备2的显示终端上，显示终端的显示内容除了虚拟的三维人体骨骼模型和重要的人体骨骼信息，还有供远程专家用户操作的功能按扭。所述重要的人体骨骼信息包括：患者姓名、年龄、受损骨骼部位及程度说明。若需要查看更详细的人体骨骼信息，可通过远程设备中远程控制终端23的手持控制器231操作后显示。
73.在本技术实施例中，所述本地5g通讯终端13和远程5g通讯终端24均具备数据传输及接收功能。
74.s3、远程专家用户通过远程控制终端23的手持控制器231完成在虚拟的三维人体骨骼模型上的虚拟手术操作。
75.在本技术实施例中，所述手持控制器23用于采集远程专家用户的手势信息，远程控制终端23还包括远程跟踪设备232，所述远程跟踪设备232用于采集专家用户的位姿信息。
76.s4、计算机设备合成图像信息生成手术指导影像，并传输至显示终端。
77.在本技术实施例中，所述计算机设备22接收前述手势和位姿信息，并将手势和位姿信息转化为虚拟的手势和位姿图像，然后将虚拟的手势和位姿图像与前述的虚拟的三维人体骨骼模型融合，生成合并的骨科模拟手术场景图像，显示在本地设备1和远程设备2的显示终端上。
78.在本技术实施例中，远程专家用户通过手持控制器231，变换手部动作和姿势，在虚拟的三维人体骨骼模型上进行模拟手术操作，所述模拟手术操作的影像实时显示在本地设备1和远程设备2的显示终端上。
79.s5、本地用户观看手术指导影像。
80.在本技术实施例中，本地设备1的显示终端位于混合现实设备hololens12上，远程设备2的显示终端位于前述头戴式显示器21，所述头戴式显示器21为虚拟现实(vr)设备。
81.在本技术实施例中，本地用户所佩戴的混合现实设备hololens12和远程专家用户头戴式显示器21分别具备语音单元123和语音单元212，所述语音单元123和语音单元212用于远程手术指导操作过程中的实时语音交流，实现更好的指导效果。
82.在本技术实施例中，根据需要，可以组织多个本地用户和远程专家用户进行在线交流指导，在此种情况下，所述远程骨科手术指导装置包括至少一组前述本地设备1和前述远程设备的组合2。多组本地设备1和远程设备2组合，可以构建实现多用户线上远程互助医疗系统。
83.综上所述，本技术涉及一种基于混合现实技术的远程骨科手术指导装置和操作方法，所述远程骨科手术指导装置包括：本地设备和远程设备；其中，所述本地设备包括：采集设备、混合现实设备hololens、本地5g通讯终端，所述远程设备所括：头戴式显示器、远程控制终端、计算机设备、以及远程5g通讯终端。通过操作所述远程骨科手术指导装置，一名或多名远程专家在混合现实环境中实时接收到来自工作环境中的一名或多名本地用户共享的信息，并为本地用户远程提供手术指导操作。
84.以上对本技术进行了详细介绍，本技术中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术及核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以对本技术进行若干改进和修饰，这些改进和修饰也落入本技术权利要求的保护范围内。