一种基于VR的高临场视觉感知方法及相关装置与流程

一种基于vr的高临场视觉感知方法及相关装置
技术领域
1.本技术涉及vr视觉感知技术领域，尤其涉及一种基于vr的高临场视觉感知方法及相关装置。


背景技术：

2.目前vr与电力机器人的结合主要有两个应用：一是将vr头戴设备仅作为视频观测屏幕，观测远程平台(如，无人机、无人车)上搭载相机返回的视频数据；另一种是将vr头戴设备与作业机器人视觉感知系统相结合，把vr头戴设备的位姿与末端搭载了相机的小型6自由度机械臂相结合，一方面让用户用vr头戴设备控制机械臂末端运动，一方面让用户通过机械臂末端搭载的摄像头观测机械臂末端指向方位的可见光图像。
3.现有基于机械臂的vr头戴设备不仅受限于机械有效的工作空间较小，还受到机械臂动力学性能的限制，难以实现机械臂对头部运动的高速跟踪，导致明显的延时，从而产生眩晕感，而多自由度的机械臂价格高昂，整体的实用价值低。


技术实现要素：

4.本技术提供了一种基于vr的高临场视觉感知方法及相关装置，用于解决现有基于机械臂的vr高临场视觉感知方法受制于机械壁的运动机制，难以实现高质量的实时感知，进而产生眩晕感的技术问题。
5.有鉴于此，本技术第一方面提供了一种基于vr的高临场视觉感知方法，包括：
6.获取深度相机采集目标观测物体的深度目标信息和vr头戴设备的空间位姿信息，所述深度目标信息包括点云模型和rgb图像，所述空间位姿信息包括空间位置和姿态信息；
7.基于所述深度相机、所述vr头戴设备和三自由度云台进行虚实坐标映射，得到逆运动学变换模型；
8.通过所述逆运动学变换模型根据所述空间位姿信息调节所述深度相机的观测角度，得到角度变化量；
9.根据所述角度变化量以及所述深度相机与所述点云模型之间的虚拟距离对所述rgb图像进行比例缩放，实现所述目标观测物体的远近感知。
10.优选地，所述基于所述深度相机、所述vr头戴设备和三自由度云台进行虚实坐标映射，得到逆运动学变换模型，具体包括：
11.基于所述深度相机的虚拟观测点位置、所述vr头戴设备的所述空间位姿信息和三自由度云台的云台姿态信息进行虚实坐标映射，得到逆运动学变换模型。
12.优选地，所述比例缩放的比例为：
[0013][0014]
其中，l为所述深度相机与所述目标观测物体的距离，d为所述vr头戴设备的移动距离，s为所述vr头戴设备的映射比例。
[0015]
优选地，所述根据所述角度变化量以及所述深度相机与所述点云模型之间的虚拟距离对所述rgb图像进行比例缩放，实现所述目标观测物体的远近感知，之后还包括：
[0016]
将比例缩放后得到的所述rgb图像显示在所述vr头戴设备的内置屏幕上供用户观看。
[0017]
本技术第二方面提供了一种基于vr的高临场视觉感知装置，包括：
[0018]
图像获取模块，用于获取深度相机采集目标观测物体的深度目标信息和vr头戴设备的空间位姿信息，所述深度目标信息包括点云模型和rgb图像，所述空间位姿信息包括空间位置和姿态信息；
[0019]
模型构建模块，用于基于所述深度相机、所述vr头戴设备和三自由度云台进行虚实坐标映射，得到逆运动学变换模型；
[0020]
角度调整模块，用于通过所述逆运动学变换模型根据所述空间位姿信息调节所述深度相机的观测角度，得到角度变化量；
[0021]
缩放感知模块，用于根据所述角度变化量以及所述深度相机与所述点云模型之间的虚拟距离对所述rgb图像进行比例缩放，实现所述目标观测物体的远近感知。
[0022]
优选地，所述模型构建模块，具体用于：
[0023]
基于所述深度相机的虚拟观测点位置、所述vr头戴设备的所述空间位姿信息和三自由度云台的云台姿态信息进行虚实坐标映射，得到逆运动学变换模型。
[0024]
优选地，所述比例缩放的比例为：
[0025][0026]
其中，l为所述深度相机与所述目标观测物体的距离，d为所述vr头戴设备的移动距离，s为所述vr头戴设备的映射比例。
[0027]
优选地，还包括：
[0028]
显示模块，用于将比例缩放后得到的所述rgb图像显示在所述vr头戴设备的内置屏幕上供用户观看。
[0029]
本技术第三方面提供了一种基于vr的高临场视觉感知设备，所述设备包括处理器以及存储器；
[0030]
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
[0031]
所述处理器用于根据所述程序代码中的指令执行第一方面所述的基于vr的高临场视觉感知方法。
[0032]
本技术第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所述的基于vr的高临场视觉感知方法。
[0033]
从以上技术方案可以看出，本技术实施例具有以下优点：
[0034]
本技术中，提供了一种基于vr的高临场视觉感知方法，包括：获取深度相机采集目标观测物体的深度目标信息和vr头戴设备的空间位姿信息，深度目标信息包括点云模型和rgb图像，空间位姿信息包括空间位置和姿态信息；基于深度相机、vr头戴设备和三自由度云台进行虚实坐标映射，得到逆运动学变换模型；通过逆运动学变换模型根据空间位姿信息调节深度相机的观测角度，得到角度变化量；根据角度变化量以及深度相机与点云模型之间的虚拟距离对rgb图像进行比例缩放，实现目标观测物体的远近感知。
[0035]
本技术提供的基于vr的高临场视觉感知方法，采用三自由度云台代替机械臂，能够以原点为基准实现放射型观测，避免了机械臂运动受限带来的不便；且根据角度变化量和虚拟距离对虚拟的rgb图像进行比例缩放，而不是对实际图像或者设备进行跟踪调整，能够减少时间延迟，提供较为可靠的视觉跟踪，避免眩晕感的产生，提供较佳的视觉感知体验。因此，本技术能够解决现有基于机械臂的vr高临场视觉感知方法受制于机械壁的运动机制，难以实现高质量的实时感知，进而产生眩晕感的技术问题。
附图说明
[0036]
图1为本技术实施例提供的一种基于vr的高临场视觉感知方法的流程示意图；
[0037]
图2为本技术实施例提供的一种基于vr的高临场视觉感知装置的结构示意图；
[0038]
图3为本技术实施例提供的基于vr的高临场视觉感知系统设备示意图；
[0039]
图4为本技术实施例提供的构建逆运动学变换模型的设备坐标系示意图；
[0040]
图5为本技术实施例提供的比例缩放结构示意图；
[0041]
图6为本技术实施例提供的比例缩放几何关系示意图。
具体实施方式
[0042]
为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0043]
为了便于理解，请参阅图1，本技术提供的一种基于vr的高临场视觉感知方法的实施例，包括：
[0044]
步骤101、获取深度相机采集目标观测物体的深度目标信息和vr头戴设备的空间位姿信息，深度目标信息包括点云模型和rgb图像，空间位姿信息包括空间位置和姿态信息。
[0045]
请参阅图3，本实施例中的方法采用的硬件设备包括vr头戴设备、深度相机和三自由度云台。三自由度串联机器人主要实现根据vr头戴设备的姿态变化改变深度相机观测朝向；vr头戴设备用于反馈相机图像并反映用户头部位置和姿态；深度相机安装于三自由度串联机器人末端，基于tof测距原理，可获取观测目标的深度目标信息，即点云模型和rgb图像；控制器包括控制三自由度串联机器人运动、处理深度相机点云图像、根据vr头戴设备反映的位置信息改变目标图像大小实现远观和近看的效果等功能。
[0046]
如上描述，可以在获取vr头戴设备的空间位姿信息后，对vr头戴设备进行观测角度和观测距离的调整，保持较佳的头部姿态，确保观测的舒适度。
[0047]
步骤102、基于深度相机、vr头戴设备和三自由度云台进行虚实坐标映射，得到逆运动学变换模型。
[0048]
采用三自由度云台而不是六自由度机械臂的优势在于，三自由度云台可以从一个原点向周围进行放射型观测，不受机械臂的有效运动范围有限以及结构约束的影响，且三自由度云台的成本更低，可靠性更高；更加具有实用价值。
[0049]
进一步地，步骤102，具体包括：
[0050]
基于深度相机的虚拟观测点位置、vr头戴设备的空间位姿信息和三自由度云台的云台姿态信息进行虚实坐标映射，得到逆运动学变换模型。
[0051]
请参阅图4，不论是vr头戴设备还是三自由度云台，都具有各自的坐标参考系，而深度相机的参考则是虚拟观测点位置。逆运动学变换模型的构建过程即为坐标系的映射过程，具体的可以根据坐标系构建坐标关系：
[0052]
q2＝-arccos(cos(ry)cos(rz))
[0053][0054][0055][0056][0057]
依据坐标映射变换关系即可构建得到逆运动学变换模型。
[0058]
步骤103、通过逆运动学变换模型根据空间位姿信息调节深度相机的观测角度，得到角度变化量。
[0059]
采用逆运动学变换模型调整深度相机观测角度的目的是为了使深度相机的观测角度与用户双眼的观测角度一致；便于获取到目标虚拟图像。
[0060]
步骤104、根据角度变化量以及深度相机与点云模型之间的虚拟距离对rgb图像进行比例缩放，实现目标观测物体的远近感知。
[0061]
进一步地，比例缩放的比例为：
[0062][0063]
其中，l为深度相机与目标观测物体的距离，d为vr头戴设备的移动距离，s为vr头戴设备的映射比例。
[0064]
与六自由度机械臂的vr感知系统相比，本实施例中的三自由度云台和深度相机对观测临场是根据虚拟观测距离和角度变化量对虚拟图像进行尺寸缩放的调整，且可以实现多角度的三维缩放调整，不受具体的机械设备的局限，也不会产生较大延迟，带来观测眩晕感。但是六自由度机械臂的vr感知系统则是由机械臂末端位置移动引起的实际观测距离变化调整被观测物体的大小变化，所以容易产生眩晕感，且还是平面图像的比例调整。
[0065]
对与缩放比例的设置，本实施例考虑到相机云台为3自由度，只用于映射vr头戴设备姿态，对于vr头戴设备的位置变化处，将通过改变vr设备内置屏幕的图像大小，实现深度相机的虚拟移动。由于深度相机采集的目标信息同时包含目标的rgb信息和点云模型，可通过相对位置变换实现图像的比例缩放。假设vr头戴设备处于初始位置b，深度相机对处于距离为l外、轮廓外圆实际直径为d的观测目标进行观测并显示在vr内置屏幕；则当vr头戴设
备随头部在当前观测角度前移距离d时，目标显示的轮廓外圆尺寸相对于初始状态将按比例缩放，缩放比例计算如下：
[0066]
令初始时刻，物体在vr头戴设备内置屏幕中的显示比例为k1，则：
[0067][0068]
当vr头戴设备移动d，在预设相机的虚拟移动距离与vr头戴设备实际运动距离的映射比例为s情况下，物体在vr头戴设备内置屏幕中的显示比例为k2，则：
[0069][0070]
当vr头戴设备移动d后，物体在vr头戴设备内置屏幕中的显示尺寸像缩放倍数k。具体的依据缩放比例进行虚拟图像的缩放原理请参阅图5和图6。
[0071]
进一步地，步骤104，之后还包括：
[0072]
将比例缩放后得到的rgb图像显示在vr头戴设备的内置屏幕上供用户观看。
[0073]
本技术实施例提供的基于vr的高临场视觉感知方法，采用三自由度云台代替机械臂，能够以原点为基准实现放射型观测，避免了机械臂运动受限带来的不便；且根据角度变化量和虚拟距离对虚拟的rgb图像进行比例缩放，而不是对实际图像或者设备进行跟踪调整，能够减少时间延迟，提供较为可靠的视觉跟踪，避免眩晕感的产生，提供较佳的视觉感知体验。因此，本技术实施例能够解决现有基于机械臂的vr高临场视觉感知方法受制于机械壁的运动机制，难以实现高质量的实时感知，进而产生眩晕感的技术问题。
[0074]
为了便于理解，请参阅图2，本技术提供了一种基于vr的高临场视觉感知装置的实施例，包括：
[0075]
图像获取模块201，用于获取深度相机采集目标观测物体的深度目标信息和vr头戴设备的空间位姿信息，深度目标信息包括点云模型和rgb图像，空间位姿信息包括空间位置和姿态信息；
[0076]
模型构建模块202，用于基于深度相机、vr头戴设备和三自由度云台进行虚实坐标映射，得到逆运动学变换模型；
[0077]
角度调整模块203，用于通过逆运动学变换模型根据空间位姿信息调节深度相机的观测角度，得到角度变化量；
[0078]
缩放感知模块204，用于根据角度变化量以及深度相机与点云模型之间的虚拟距离对rgb图像进行比例缩放，实现目标观测物体的远近感知。
[0079]
进一步地，模型构建模块202，具体用于：
[0080]
基于深度相机的虚拟观测点位置、vr头戴设备的空间位姿信息和三自由度云台的云台姿态信息进行虚实坐标映射，得到逆运动学变换模型。
[0081]
进一步地，比例缩放的比例为：
[0082][0083]
其中，l为深度相机与目标观测物体的距离，d为vr头戴设备的移动距离，s为vr头戴设备的映射比例。
[0084]
进一步地，还包括：
[0085]
显示模块205，用于将比例缩放后得到的rgb图像显示在vr头戴设备的内置屏幕上供用户观看。
[0086]
本技术还提供了一种基于vr的高临场视觉感知设备，设备包括处理器以及存储器；
[0087]
存储器用于存储程序代码，并将程序代码传输给处理器；
[0088]
处理器用于根据程序代码中的指令执行上述方法实施例中的基于vr的高临场视觉感知方法。
[0089]
本技术还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行上述方法实施例中的基于vr的高临场视觉感知方法。
[0090]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0091]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0092]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0093]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文全称：read-only memory，英文缩写：rom)、随机存取存储器(英文全称：random access memory，英文缩写：ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0094]
以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。