一种2D-3D融合的虚拟现实交互方法及设备

一种2d-3d融合的虚拟现实交互方法及设备
技术领域
1.本发明涉及虚拟现实交互领域，具体涉及一种2d-3d融合的虚拟现实交互方法及设备。


背景技术：

2.在虚拟现实交互中，通常使用手柄对物体进行直观的3d操作，手柄可以提供选择目标、交互触发、稳定的3d追踪和操作物体等功能，如操作物体时，使用者通过按下特定按键可以将虚拟对象与手柄临时绑定，然后通过手柄对物体进行选择、移动和旋转；当想引入一个新设备作为交互设备时，手柄可以充当新设备的追踪器。
3.手柄一般是单手操作，交互效率较高，但稳定性较差；且手柄是直接空间3d操作，无法与有形2d设备完成对齐任务达到相同精度。尽管一些手柄提供了触摸板功能，但其面板尺寸有限与手机相比具有明显缺点。
4.与此同时，手机已经成为人们日常生活必不可少的设备，其具有丰富的传感器和多种使用方式，如打电话、打字、拍摄等，具有高清屏幕和多点触控识别，可以进行虚拟图形用户输入和精确的有形2d输入，即在显示详细图像和文本的同时，手指在屏幕上滑动以提供高效、精确的有形2d输入。同时，熟悉的手势输入模式和无线连接能促进利用手机与虚拟内容交互的发展。但手机缺乏独立的空间追踪功能，需要额外的设备输入，此外，手机缺乏物理按钮，无法提供物理反馈，且vr环境中无法正常使用手机，体验手机简单功能(如接打电话、回复信息等)都需要摘下头带式显示器，严重影响虚拟现实体验。
5.综上所述，手柄可以进行直观的3d操作和空间追踪，但操作稳定性差，无法提供精准输入。手机具有多传感器和高分辨率屏幕，可以进行虚拟图形用户输入和精准的有形2d输入，但缺乏独立的空间追踪和物理按钮。
6.大量文献已经证实，在vr环境中，手机可以作为一种精准的6自由度输入设备，实现其基本功能。fabrice matulic等公开发表的文献“phonetroller:visual representations of fingers for precise touch input with mobile phones in vr(chi’2021:p.1
–
13)”中利用6自由度虚拟现实追踪器对手机进行追踪，在手机屏幕上方固定一面镜子，反射手机前置摄像头，从而获得操作者拇指的俯视图，此设计可以在vr环境中实现手指精准触摸手机屏幕上的按钮。但此设计产生的虚拟手效果与真实手差距较大，且无物理反馈，所以操作沉浸感差，且此设计利用手机前置摄像头获得手指信息，不能再使用手机摄像头，所以无法产生虚拟物理空间融合的效果，功能单一。peter mohr等公开发表的文献“trackcap:enabling smartphones for 3d interaction on mobile head-mounted displays”(chi’2019)中将手机做为一种精准的6自由度输入设备，利用自制的追踪装置和手机摄像头实现手机空间追踪。但此设计由于手机摄像头的限制，不能对手机进行旋转操作，操作感变差。


技术实现要素：

7.为了解决目前在vr环境中利用手柄与虚拟对象交互时，稳定性差且无法实现精准输入的技术问题，以及利用手机与虚拟对象交互时只能进行简单的2d输入，没有触觉反馈，无法提供大范围、全角度空间追踪的技术问题，本发明通过将手机和手柄结合并克服了图像传输延迟、沉浸感差，手机和vr系统之间的实时通信的技术难点，而提出了一种2d-3d融合的虚拟现实交互设备及方法。
8.本发明的发明构思是：
9.本发明通过连接结构将手机和手柄连接为一体，通过软件方法设计使两者实现通信，产生多种交互方式。本发明提出了手机屏幕镜像方法解决图像传输延迟问题，即利用手机上装载的手机镜像软件和计算机上装载的屏幕采集软件捕捉获取手机屏幕信息，将其作为纹理贴图传入到vr虚拟环境中的手机模型表面；本发明提出了手部区域可视化方法增强操作沉浸感，即利用深度相机采集手部区域的颜色和深度值，并将其传输到计算机，在三维虚拟空间中以点云格式对可视化的手部区域进行实时渲染，增强了操作沉浸感，交互期间通过tcp/ip通信实现手机和vr系统之间的实时通信。交互时，手柄提供触觉反馈和空间的大范围3d输入，对虚拟物体进行移动、旋转和缩放；手柄还可作为手机追踪器，在vr环境中实时追踪手机位置；手机提供虚拟图形用户输入、精准的有形2d输入和其基本功能。
10.本发明将两种设备在外观和功能设置两方面都设计为一个整体，在实现其基础功能的同时，也可以产生一系列新功能和新效果，如：利用手机相机功能可以实现在虚拟环境中实时观看物理世界；操作物体时在使用者位置不变的情况下，移动此交互设备，可以看到虚拟物体的各个方向，降低工作负荷，提高操作效率。
11.本发明的技术方案是：
12.2d-3d融合的虚拟现实交互方法，其特殊之处在于，包括以下步骤：
13.步骤1：建立系统通信框架：
14.采用分布式开发模式，利用服务器实现数据的处理、中转与保存，将vr头盔和手机作为客户端；vr头盔和手机工作时，通过tcp/ip通信通道将操控指令发送到服务器；vr头盔与手机以所述服务器为交互媒介进行数据传送；tcp/ip通信机制支持在虚拟空间中的手机与控制器vr头盔间的同步；vr头盔、手机和服务器并行工作；
15.步骤2：在vr虚拟环境中创建三维场景：
16.创建三维物体模型，导入vr虚拟环境中，然后将所述三维物体模型所在的模型坐标系转换到vr虚拟环境的世界坐标系下；
17.步骤3：手机与手柄物理结合：
18.通过连接结构将手机与手柄连接于一体；
19.步骤4：虚实模型校准融合：
20.在场景创建软件中创建出所述手机的三维手机模型，将所述三维手机模型的局部坐标系中心转换到手柄的局部中心坐标系下，使vr虚拟环境中的手柄虚拟模型与三维手机模型之间的位姿关系与物理世界中手机与手柄的位姿保持一致；
21.步骤5：手机屏幕镜像：
22.利用手机上装载的手机镜像软件将手机屏幕投射到所述服务器的窗口上，利用计算机上装载的屏幕采集软件获取手机屏幕信息，通过数据流传输到vr虚拟环境中，并将获
取到的物理手机屏幕作为纹理贴图实时传输到vr虚拟环境中的三维手机模型表面；
23.步骤6：在vr头盔前设置深度相机，并将深度相机与vr相机校准:：
24.6.1、在vr头盔上设置一个用于捕捉操作者手部区域环境的深度相机，并将深度相机与vr头盔连接到所述服务器上；
25.6.2、将深度相机在相机坐标系下的坐标值转换为在vr头盔坐标系下的坐标值，使vr虚拟环境中能显示操作者手部点云信息；
26.步骤7：手部区域分割和可视化：
27.7.1、利用深度相机获取当前区域的点云数据集，将操作者手部区域从背景中分割出来；
28.7.2、将前景颜色图像从rgb转换为hsv颜色空间，并应用肤色概率检测，从前景检测手部区域获得的肤色像素作为最后的手部区域，根据校准深度相机时得到的外部参数，得到校准后的手部区域的颜色和深度值上传到计算机，最终在三维虚拟空间中以点云格式对可视化的手部区域进行实时渲染，使操作者以点云形式看到手部区域；
29.步骤8：交互：
30.以手柄作为手机追踪器，通过手机进行2d输入和/或执行手机自身基本功能；
31.通过手柄进行大范围空间输入和3d追踪。
32.进一步地，步骤8中采用以下交互模式中的一种或多种：
33.交互模式1：以手柄作为手机的追踪器，并为手机提供额外的物理按钮，在vr环境中，不摘vr头盔的情况下，操作手机，实现手机的基本功能；
34.交互模式2：在手机的屏幕上设计多种虚拟按钮，通过手柄发射射线选中虚拟物体后，点击手机屏幕上的虚拟按钮操控虚拟物体；
35.交互模式3：将手机屏幕上的2d物体在vr虚拟环境中显示为3d虚拟物体，通过手柄发射射线选中该3d虚拟物体，对3d虚拟物体进行操作；同理，移动手机，使得vr虚拟环境中的3d虚拟物体与三维手机模型发射出的射线碰撞后，将所述3d虚拟物体在物理手机的屏幕中以2d形式显示；
36.交互模式4：通过手柄发射射线选中虚拟物体，手机的屏幕上同时出现一个形状一样的物体，通过操作手机屏幕上的物体，带动vr虚拟环境中的物体移动、旋转和缩放；
37.交互模式5：在不摘掉vr头盔的前提下，利用手机的相机实时看到物理世界，将ar与vr虚拟场景相融合；
38.交互模式6：在操作虚拟物体时，移动手机，操作者看到虚拟物体的各个方向；
39.交互模式7：
40.双手手持交互设备，一手操作手柄，利用手柄选中虚拟物体和提供大范围的空间3d输入，另一手手指在手机的屏幕上滑动，提供2d输入，通过手柄和手机均可对虚拟物体进行移动、旋转和缩放操作；
41.交互模式8：
42.在手机的屏幕上绘画或写字，以3d的形式实时在vr环境中显示。
43.进一步地，步骤2中所述的连接结构包括连接结构本体，以及设置在连接结构本体上用于安装手机的滑槽和用于安装手柄的曲面空心槽。
44.一种2d-3d融合的虚拟现实交互设备，包括手柄；其特殊之处在于：还包括与手柄
连接于一体的手机；将所述手机的三维手机模型、手柄的手柄虚拟模型导入vr虚拟环境中后，所述三维手机模型和手柄虚拟模型的位姿关系与物理世界中手机与手柄之间的位姿关系一致；所述手机的屏幕可作为纹理贴图实时传输到vr虚拟环境中的三维手机模型表面；通过所述手机与手柄配合，并利用上述的交互方法实现虚拟现实交互，交互时：所述手柄作为手机追踪器以及进行大范围空间输入和3d追踪；所述手机用于进行2d输入和/或在不摘vr头盔时实现手机自身基本功能。
45.进一步地，所述手机与手柄通过连接结构连接于一体；所述连接结构包括连接主体以及设置在连接主体上用于安装手机的滑槽和用于安装手柄的曲面空心槽。
46.本发明的有益效果：
47.1.本发明在物理世界中，利用连接结构将手机和手柄连接为一体，通过软件设计实现两者通信，增强操作真实感，其中手柄可以提供大范围空间输入和3d追踪，手机可进行虚拟图形用户输入、精确的有形2d输入和手机拍照等基本功能，二者相互配合，充分发挥各自优势。利用客户端-服务端并行交互模式进行数据传输，在虚拟世界中进行混合的2d-3d操作。
48.2.本发明支持双手操作的交互模式，有助于增强操作的稳定性，提高人与vr系统的协调性。
49.3.本发明支持多设备输入的交互模式，可以提高操作的效率，丰富交互模式的种类。
50.4.本发明利用深度相机捕捉手部环境，虚拟模型和真实物理模型的配合以及手机屏幕的实时反馈，多种信息融合系统下，使用者、真实环境和虚拟环境三者之间的无缝融合，实现自然和谐的人机交互，使人获得更好的触觉增强体验。
51.5.本发明将手机与手柄两者结合后，在实现各自基本功能的同时，也能够实现多种新交互模式，如利用手机屏幕进行3d空间绘图并进行操作，手机和手柄多自由度融合操作物体，虚拟物理空间融合等。
附图说明
52.图1为本发明交互设备的通信框架图(图中箭头代表数据的流向)。
53.图2为本发明交互设备中手机与手柄结合的物理结构图以及虚拟场景配准图，a为真实物理世界中手机与手柄结合后的示意图，b为虚拟环境中手机模型与手柄模型的示意图，c为用于实现手机与手柄连接的连接结构的示意图。
54.图3中a-h分别为本发明交互设备支持的八种交互模式示意图。
55.图4为本发明交互设备在整个vr系统中的应用示意图。
具体实施方式
56.以下结合附图对本发明作进一步说明。
57.参阅图1～图4，本实施例2d-3d融合的虚拟现实交互方法，具体步骤如下：
58.步骤1：建立系统通信框架：
59.如图1所示，采用分布式开发模式，将计算机作为服务器101，负责数据的处理、中转与保存，vr头盔和手机作为客户端102、103；当vr头盔和手机这两个客户端工作时，通过
tcp/ip通信通道将操控指令发送到服务器101。vr头盔与服务器101通过数据线连接进行数据传输，手机与服务器101通过无线连接进行数据传输；vr头盔与手机以服务器为交互媒介进行数据传送；客户端102、103和服务器101并行工作，以tcp/ip通信通道为媒介进行数据间的接收和发送。其中，tcp/ip通信机制支持在虚拟空间中的手机与控制器vr头盔间的同步。
60.步骤2：在vr中创建三维场景：
61.2.1、利用三维建模软件创建任意形状、尺寸的三维物体模型，然后将三维物体模型导入vr虚拟环境中，通过usb数据线将vr头盔与计算机相连，在vr头盔中显示三维场景。
62.2.2、坐标系的转换：
63.步骤2.1、绘制的三维物体模型导入vr虚拟环境中后，由于三维物体模型所在的模型坐标系与vr虚拟环境的世界坐标系不一致，因而需要将模型坐标系转换到vr虚拟环境的世界坐标系下；设vr虚拟环境的世界坐标系为ocxcyczc，模型坐标系为omxmymzm，两者转换关系如下：
[0064][0065]
式中，r代表旋转矩阵，t代表平移向量。
[0066]
若步骤2.1采用的三维建模软件为3dmax、导入的vr虚拟环境为unity，
[0067]
步骤3：手机与手柄物理结合：
[0068]
结合手机201和手柄202的真实形状和尺寸，设计一种如图2中a图所示的连接结构，该连接结构上设有用于安装手机的滑槽204和用于安装手柄202的曲面空心槽，通过将手机201滑入滑槽204中固定，手柄202放置在曲面空心槽内，从而将手机210与手柄202通过接连结构连接于一体。
[0069]
步骤4：虚实模型校准融合：
[0070]
在场景创建软件中直接创建出三维手机模型，但手柄虚拟模型与三维手机模型之间的位姿关系与物理世界中手机与手柄的位姿不一致，因而需要进行虚实模型校准，即利用视觉跟踪方法将三维手机模型几何中心的局部坐标系转换到手柄202的局部中心坐标系下，方法为：
[0071]
计算从三维手机模型的局部中心坐标系到手柄202的局部中心坐标系的变换矩阵，设手柄202的局部中心坐标为o
p
(x
p
，y
p
，z
p
)，三维手机模型的局部中心坐标为os(xs，ys，zs)，两者关系为：
[0072][0073]
式中，r代表旋转矩阵，t代表平移向量。
[0074]
虚实模型校准之后，三维手机模型与手柄虚拟模型绑定为一体，且与手机与手柄在物理世界的位姿一致，其中，本发明采用的vr头盔与手柄间的追踪原理是基于其虚拟现实设备开发时的红外光的主动式光学定位追踪方案，主要是通过vr头盔的摄像头观测到手柄上红外光电发射的红外光，通过检测光点并根据多视图几何原理计算初步的位姿，然后融合产生于手柄imu(inertial measurement unit)的关键数据对手柄进行的定位跟踪。所以手柄202为本发明交互设备中的手机210提供了现成的实时空间跟踪功能，则虚拟交互设备会随着物理环境中的交互设备作相应移动和旋转，以达到与真实交互设备一致的视觉和触觉反馈，如图2右图所示，虚线表示的是在vr虚拟环境中的交互设备(三维手机模型与手柄虚拟模型)。
[0075]
步骤5：手机屏幕镜像：
[0076]
利用手机上装载的手机镜像软件(现有已公开的软件)将手机屏幕通过无线通信投射到计算机窗口上，利用计算机(服务器101)上装载的屏幕采集软件(现有已公开的软件)获取手机屏幕信息，通过数据流传输到vr虚拟环境中，并将获取到的物理手机屏幕作为一种纹理贴图实时传输到vr虚拟环境中的三维手机模型表面。
[0077]
步骤6：在vr头盔前设置深度相机，并将深度相机与vr相机校准：
[0078]
6.1、在vr头盔401前设置一个用于捕捉操作者手部区域环境的深度相机402，通过usb数据线将深度相机402与vr头盔401连接到同一台计算机(服务器101)上；
[0079]
6.2、深度相机402与vr头盔401的校准：
[0080]
深度相机402获得在相机坐标系下的操作者手部点云，在vr头盔坐标系呈现数据点，所以需要对深度相机402和vr头盔401进行校准，即利用迭代最近点(icp)将深度相机402的相机坐标系转换到vr头盔坐标系下，从而达到在vr虚拟场景中显示操作者手部点云信息的效果，其转换关系如下：
[0081]
r＝rr(r
l
)t
[0082]
t＝t
r-rt
l
[0083]
式中，r代表深度相机402与vr头盔401之间的旋转矩阵，t代表深度相机402与vr头盔401之间的平移矩阵，rr与tr分别代表vr头盔401的旋转矩阵和平移向量；r
l
与t
l
分别代表深度相机402的旋转矩阵和平移向量。
[0084]
步骤7：手部区域分割和可视化：
[0085]
7.1、利用深度相机402获取当前区域的点云数据集，去除位于手部区域之外的点云，从而将操作者手部区域从背景中分割出来；
[0086]
7.2、将前景颜色图像从rgb转换为hsv颜色空间，并应用肤色概率检测，从前景检测手部区域获得的肤色像素作为最后的手部区域。根据深度相机402和vr头盔401中红外相机校准过程中获得的外部参数，得到校准后的手部区域的颜色和深度值并上传到计算机，最终在三维虚拟空间中以点云格式对可视化的手部区域进行实时渲染，使操作者以点云形
式看到自己真实的手。
[0087]
步骤8：交互：
[0088]
在vr虚拟环境中实现手机的基本功能：通过真实手机201上装载的屏幕镜像软件实时采集手机屏幕内容，纹理传输到vr虚拟环境中的三维虚拟手机模型上，利用真实手机的键盘、相机等基本软件实现在vr虚拟环境中聊天和实时观察物理世界；
[0089]
操作虚拟物体：一只手203操作手柄202使射线碰撞vr虚拟环境中的三维物体模型，按下手柄202的扳机键，此时三维物体模型被临时与手柄202绑定(若松开手柄上的扳机键，则为取消物体的选择)，三维物体模型会随手柄202移动而移动；同时，另一只手通过手机进行2d输入，首先选择移动、旋转或缩放模式，然后手指在真实手机的屏幕上滑动或点击相应按钮以操控虚拟物体。其中：基于平面坐标系提供x，y轴两个自由度的输入，第三个自由度被定义为与其他两个自由度正交：z＝x
×
y，并通过两指在手机触摸屏上向上/向下滚动来控制。
[0090]
如图3所示，本发明支持八种交互模式，这八种交互模式都需双手手持交互设备，具体为：
[0091]
交互模式1：
[0092]
在vr环境中实现手机的基本功能：如图3中a图所示，在vr虚拟环境中实现手机的基本功能，其中手柄202做为手机201的追踪器和为真实手机提供额外的物理按钮，利用手机屏幕镜像和手部区域可视化技术，在不摘下vr头盔的情况下，操作者可以通过观察虚拟环境中手机屏幕界面的变化，对手机201进行正常使用。
[0093]
交互模式2：
[0094]
如图3中b图所示，在真实手机201的屏幕上设计多种虚拟按钮，通过手柄202发射射线选中虚拟物体后，操作者可以通过点击手机201屏幕上的虚拟按钮操控虚拟物体。
[0095]
交互模式3：
[0096]
2d-3d内容传输：如图3中c图所示，实现手机和虚拟空间之间的内容转换。将真实手机201屏幕上的2d物体拖入到vr空间中，从而在虚拟环境中显示出对应的3d虚拟物体，通过手柄202发射射线选中该3d虚拟物体，对3d虚拟物体进行操作；同理，移动真实手机，使得vr虚拟环境中的3d虚拟物体与三维手机模型发射的射线碰撞后，将3d虚拟物体在真实和虚拟手机201的屏幕中以2d形式显示。
[0097]
交互模式4：
[0098]
手机屏幕有形输入：如图3中d图所示，通过手柄202发射射线选中虚拟物体，手机201的屏幕上同时出现一个形状一样的物体，通过操作真实手机201屏幕上的物体，从而带动vr虚拟环境中的物体移动、旋转和缩放。
[0099]
交互模式5：
[0100]
增强虚拟：如图3中e图所示，在不摘掉vr头盔的前提下，利用手机201的相机实时看到物理世界，将ar与vr虚拟场景相融合。
[0101]
交互模式6：
[0102]
第二虚拟视角：如图3中f图所示，在操作虚拟物体时，通过移动真实手机201，操作者可看到虚拟物体的各个方向。
[0103]
交互模式7：
[0104]
不对称操作：如图3中g图所示，双手手持交互设备，一手操作手柄202，利用手柄202选中虚拟物体和提供大范围的空间3d输入，另一手手指在真实手机201的屏幕上滑动，提供精准的2d输入，通过手柄202和手机201都可对虚拟物体进行移动、旋转和缩放操作。图3中g图标号308所指示的手势为两个手指实现虚拟物体缩放的固定手势，标号304所指示的手势为通过一个手指实现虚拟物体沿x、y轴移动或旋转的手势，标号305所指示的手势为通过两个手指实现虚拟物体沿z轴移动或旋转的手势。
[0105]
交互模式8：
[0106]
空间有形输入：如图3中h图所示，操作者可以在手机201的屏幕上绘画或写字(例如绘制曲线307)，以3d的形式实时在vr环境中显示(显示为虚拟曲线306)。