基于VR的交互系统、方法、存储介质、设备及终端与流程

基于vr的交互系统、方法、存储介质、设备及终端
技术领域
1.本发明属于vr技术领域，尤其涉及一种基于vr的交互系统、方法、存储介质、设备及终端。


背景技术：

2.目前，虚拟现实技术是一种能够创建和体验虚拟世界的计算机仿真技术，它利用计算机生成一种交互式的三维动态视景，其实体行为的仿真系统能够使用户沉浸到该环境中。在医疗领域，虚拟现实技术主要应用于建立虚拟的人体模型，使医学生能够更加容易的了解人体内部的器官构造，并方便医学生在虚拟环境中进行手术操作，减少医学生的练习培训费用，提高医学生的实操能力，但是，基于患者视角的虚拟现实技术的应用并未得到推广应用。
3.目前，各类手术的术前访视和术后健康宣讲都依靠护士或医生人工进行，不仅占用大量的医护人员的时间，同时宣讲不彻底、不直观；且现有技术没有将虚拟现实技术应用在术前访视、术中观看以及术后健康宣教的方法或系统。
4.通过上述分析，现有技术存在的问题及缺陷为：现有的前访视和术后健康宣讲不仅占用大量的医护人员的时间，同时宣讲不彻底、不直观；且现有技术没有将虚拟现实技术应用在术前访视、术中观看以及术后健康宣教的方法或系统。


技术实现要素：

5.针对现有技术存在的问题，本发明提供了一种基于vr的交互系统、方法、存储介质、设备及终端。
6.本发明是这样实现的，一种基于vr的交互系统，所述基于vr的交互系统包括：
7.智能终端，用于进行相关数据的显示；
8.带教模块，用于利用vr眼镜显示手术教学视频；
9.健康宣教模块，用于利用vr眼镜进行术前访视以及术后健康宣讲，同时用于利用vr眼镜进行手术过程图像数据的显示；
10.图像获取模块，用于利用摄像设备采集手术过程的图像数据；
11.通信模块，用于利用5g网络进行数据的传输与通信。
12.进一步，所述摄像设备为360
°
的摄像设备，所述摄像设备设置于手术室中。
13.进一步，所述基于vr的交互系统还包括：
14.数据预处理模块，用于通过数据预处理程序对获取的手术过程的图像数据进行增强去噪的预处理操作；
15.中央控制模块，与智能终端、带教模块、健康宣教模块、图像获取模块、数据预处理模块、数据分析模块、通信模块、数据存储模块连接，用于通过中央处理器协调控制所述基于vr的交互系统各个模块的正常运行；
16.数据分析模块，用于通过数据分析程序对预处理后的手术过程的图像数据进行分
析处理，获得数据分析结果；
17.数据存储模块，用于通过云数据库服务器存储手术教学视频、手术过程的图像数据、数据预处理结果以及数据分析结果的实时数据。
18.本发明的另一目的在于提供一种应用所述基于vr的交互系统的基于vr的交互方法，所述基于vr的交互方法包括以下步骤：
19.步骤一，利用vr眼镜显示手术教学视频，并进行术前访视以及术后健康宣讲，同时用于利用vr眼镜进行手术过程图像数据的显示；
20.步骤二，利用设置于手术室的360
°
摄像设备采集手术过程的图像数据，并通过数据预处理程序对获取的手术过程的图像数据进行增强去噪的预处理；
21.步骤三，利用摄像设备采集手术过程的图像数据，并通过数据分析模块利用数据分析程序对预处理后的手术过程的图像数据进行分析处理；
22.步骤四，通过云数据库服务器存储手术教学视频、手术过程的图像数据、数据预处理结果以及数据分析结果的实时数据；
23.步骤五，利用5g网络将采集的手术过程的图像数据传输至对应vr眼镜中，并利用vr眼镜进行显示。
24.进一步，所述步骤二中的过数据预处理程序对获取的手术过程的图像数据进行增强去噪的预处理包括：
25.获取待去噪的手术过程的图像数据；
26.计算待去噪的手术过程的图像区域的像素值和重建预测残差值；
27.采用卷积神经网络模型，将所述图像区域的像素值和重建预测残差值输入至卷积神经网络模型中进行图像数据进行增强去噪处理。
28.进一步，所述待去噪手术过程的图像区域的重建预测残差值的计算公式为：
[0029][0030]
其中，为待去噪的手术过程的图像区域的重建预测残差值，h
p,q
是用于图像目标块估计的分量块，w
p,q
是对应分量块的权重系数，k,p为图像块的帧索引，k对应于同图像组内的非关键帧，p对应于同图像组内的关键帧和非关键帧。
[0031]
进一步，所述步骤五中的利用5g网络将采集的手术过程的图像数据传输至对应vr眼镜中包括：
[0032]
获取数据传输指令；
[0033]
根据所述数据传输指令确定待传输的手术过程的图像数据，所述待传输手术过程的图像数据包括事件信息及事件的时间校验标记；
[0034]
判断所述事件的时间校验标记是否为未校验；若是，则对所述事件的产生时间进行校验和数据更新，并将所述更新后的待传输数据传输至vr眼镜。
[0035]
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
[0036]
利用vr眼镜显示手术教学视频，并进行术前访视以及术后健康宣讲，同时用于利
用vr眼镜进行手术过程图像数据的显示；利用设置于手术室的360
°
摄像设备采集手术过程的图像数据，并通过数据预处理程序对获取的手术过程的图像数据进行增强去噪的预处理；利用摄像设备采集手术过程的图像数据，并通过数据分析模块利用数据分析程序对预处理后的手术过程的图像数据进行分析处理；通过云数据库服务器存储手术教学视频、手术过程的图像数据、数据预处理结果以及数据分析结果的实时数据；利用5g网络将采集的手术过程的图像数据传输至对应vr眼镜中，并利用vr眼镜进行显示。
[0037]
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
[0038]
利用vr眼镜显示手术教学视频，并进行术前访视以及术后健康宣讲，同时用于利用vr眼镜进行手术过程图像数据的显示；利用设置于手术室的360
°
摄像设备采集手术过程的图像数据，并通过数据预处理程序对获取的手术过程的图像数据进行增强去噪的预处理；利用摄像设备采集手术过程的图像数据，并通过数据分析模块利用数据分析程序对预处理后的手术过程的图像数据进行分析处理；通过云数据库服务器存储手术教学视频、手术过程的图像数据、数据预处理结果以及数据分析结果的实时数据；利用5g网络将采集的手术过程的图像数据传输至对应vr眼镜中，并利用vr眼镜进行显示。
[0039]
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的基于vr的交互系统。
[0040]
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的基于vr的交互系统，能够智能化、全面的对患者以及学生进行健康或教学的宣讲；同时能够有利于患者沉浸式体验手术过程；利用vr视频进行宣讲，能够全面、彻底的进行相关知识的宣讲，可视化程度高，且直观。
附图说明
[0041]
图1是本发明实施例提供的基于vr的交互系统结构示意图；
[0042]
图中：1、智能终端；2、带教模块；3、健康宣教模块；4、图像获取模块；5、数据预处理模块；6、中央控制模块；7、数据分析模块；8、通信模块；9、数据存储模块。
[0043]
图2是本发明实施例提供的基于vr的交互方法流程图。
[0044]
图3是本发明实施例提供的通过数据预处理程序对获取的手术过程的图像数据进行增强去噪的预处理方法流程图。
[0045]
图4是本发明实施例提供的利用5g网络将采集的手术过程的图像数据传输至对应vr眼镜中的方法流程图。
具体实施方式
[0046]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0047]
针对现有技术存在的问题，本发明提供了一种基于vr的交互系统、方法、存储介质、设备及终端，下面结合附图对本发明作详细的描述。
[0048]
如图1所示，本发明实施例提供的基于vr的交互系统包括：
[0049]
智能终端1，用于进行相关数据的显示；
[0050]
带教模块2，用于利用vr眼镜显示手术教学视频；
[0051]
健康宣教模块3，用于利用vr眼镜进行术前访视以及术后健康宣讲；同时用于利用vr眼镜进行手术过程图像数据的显示；
[0052]
图像获取模块4，用于利用摄像设备采集手术过程的图像数据；
[0053]
数据预处理模块5，用于通过数据预处理程序对获取的手术过程的图像数据进行增强去噪的预处理操作；
[0054]
中央控制模块6，与智能终端1、带教模块2、健康宣教模块3、图像获取模块4、数据预处理模块5、数据分析模块7、通信模块8、数据存储模块9连接，用于通过中央处理器协调控制所述基于vr的交互系统各模块的正常运行；
[0055]
数据分析模块7，用于通过数据分析程序对预处理后的手术过程的图像数据进行分析处理，获得数据分析结果；
[0056]
通信模块8，用于利用5g网络进行数据的传输与通信；
[0057]
数据存储模块9，用于通过云数据库服务器存储手术教学视频、手术过程的图像数据、数据预处理结果以及数据分析结果的实时数据。
[0058]
本发明实施例提供的摄像设备为360
°
的摄像设备，所述摄像设备设置于手术室中。
[0059]
如图2所示，本发明实施例提供的基于vr的交互方法包括：
[0060]
s101，利用vr眼镜显示手术教学视频，并进行术前访视以及术后健康宣讲，同时用于利用vr眼镜进行手术过程图像数据的显示；
[0061]
s102，利用设置于手术室的360
°
摄像设备采集手术过程的图像数据，并通过数据预处理程序对获取的手术过程的图像数据进行增强去噪的预处理；
[0062]
s103，利用摄像设备采集手术过程的图像数据，并通过数据分析模块利用数据分析程序对预处理后的手术过程的图像数据进行分析处理；
[0063]
s104，通过云数据库服务器存储手术教学视频、手术过程的图像数据、数据预处理结果以及数据分析结果的实时数据；
[0064]
s105，利用5g网络将采集的手术过程的图像数据传输至对应vr眼镜中，并利用vr眼镜进行显示。
[0065]
如图3所示，本发明实施例提供的步骤s102中的通过数据预处理程序对获取的手术过程的图像数据进行增强去噪的预处理包括：
[0066]
s201，获取待去噪的手术过程的图像数据；
[0067]
s202，计算待去噪的手术过程的图像区域的像素值和重建预测残差值；
[0068]
s203，采用卷积神经网络模型，将所述图像区域的像素值和重建预测残差值输入至卷积神经网络模型中进行图像数据进行增强去噪处理。
[0069]
本发明实施例提供的待去噪手术过程的图像区域的重建预测残差值的计算公式为：
[0070]
[0071]
其中，为待去噪的手术过程的图像区域的重建预测残差值，h
p,q
是用于图像目标块估计的分量块，w
p,q
是对应分量块的权重系数，k,p为图像块的帧索引，k对应于同图像组内的非关键帧，p对应于同图像组内的关键帧和非关键帧。
[0072]
如图4所示，本发明实施例提供的步骤s105中的利用5g网络将采集的手术过程的图像数据传输至对应vr眼镜中包括：
[0073]
s301，获取数据传输指令；
[0074]
s302，根据所述数据传输指令确定待传输的手术过程的图像数据，所述待传输手术过程的图像数据包括事件信息及事件的时间校验标记；
[0075]
s303，判断所述事件的时间校验标记是否为未校验；若是，则对所述事件的产生时间进行校验和数据更新，将所述更新后的待传输数据传输至vr眼镜。
[0076]
下面结合具体实施例对本发明的技术方案做进一步说明。
[0077]
比如说5g vr技术在各类手术术前访视和术后健康宣教的应用。
[0078]
该系统预装app，两个通道，一个是学生带教，一个是患者健康宣教，每个通道都有两个功能：1.实时直播2.场景展示。带好该vr眼镜可以选择体验即刻在手术的直播，也可以选择我们录制好的各类手术的场景，不管任何模式均是360度真是体验！
[0079]
背景：1.现新冠疫情的影响不能大规模的进行授课讲座，同时由于手术室的预防感染要求，手术观摩人员的控制，无非进入手术室观摩。2.手术患者术前容易抑郁、焦虑等负面情绪。该技术vr系统通过5g网络以及手术室360度摄像设备，vr通过5g的连接和360度摄像设备通过5g的实刻传输，虚拟进入手术室进行真实体验，360度无死角沉浸式体验整个手术过程！在预防院内感染、不参加手术的前提下，近距离接触完整的手术操作，改善患者对手术和手术室的应激反应，缓解焦虑、抑郁等负性情绪。
[0080]
做的好的话，可以设计系统，一个app，有两个通道一个是学生带教，一个是患者健康宣教，如果是患者宣教要了解手术的过程，患者配带vr眼镜，手术室有专门的360度摄像设备，通过5g网络实时，沉浸式体验手术过程！
[0081]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0082]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所
作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。