一种基于虚实混合技术的交互控制方法与流程

1.本发明涉及交互控制技术领域，具体为一种基于虚实混合技术的交互控制方法。


背景技术：

2.目前用户参与的共享交互交流是虚拟现实领域研究的热点之一，已广泛应用于游戏、共享工作空间、视频会议等各个领域。采用的方法主要有三种，现代高端装备的技术复杂度越来越高，系统部件及其交互关系越来越复杂。针对高端装备的工作原理教学和模拟训练场景的需求场景越来越复杂，针对这类场景的模拟训练设备需要兼容的外部设备也越来越多样，要求的性能越来越苛刻，此外，有的一些交互方法，其体验的感觉难以满足用户的需求，本发明针对以上问题提出了一种新的技术方案。


技术实现要素：

3.（一）解决的技术问题针对现有技术的不足，本发明提供了一种基于虚实混合技术的交互控制方法，以解决背景技术中提到的问题。
4.（二）技术方案为实现上述目的，本发明提供如下技术方案：一种基于虚实混合技术的交互控制方法，包括以下步骤：步骤一：准备交互设备，对各项交互设备之间进行连接以及远程控制，对参数对象进行分析以及输入相关的参数，根据模拟训练场景和用户需求，确定模拟训练系统的模拟对象；步骤二：在步骤一的基础上构建基于多摄像机采集的远程沉浸协同工作装置，所述的工作装置包括：三个摄像机、三个呈α角度放置的显示器和分别位于每个显示器前以45度角放置的用于改变光路的半透半反镜；步骤三：利用第一步构建的装置实现三维场景中用户的实时运动影像的采集、提取、传输、加载，然后将影像压缩，传输到远程节点端；步骤四：通过建模手段对步骤三中所得到的相关进行洗进行建模，同时实现功能逻辑，基于模拟训练场景对外接设备的接入需求进行分析；步骤五：对外接设备与系统的交互需求进行分析，将需要交互的握持设备以及反应设备进行分析与设置；步骤六：对各个视图进行归类总结，然后对视图种类进行建群归纳，将有相关标签的视图归纳在同一个群中，同时在群公告中添加客户的相关特征描述。优选的，所述步骤二中三个摄像机分别固定在半透半反镜正上方，镜头在半透半反镜中的投影与用户正对显示器时眼睛在半透半反镜中的投影重合，通过采集半透半反镜反射的光线采集到用户的前景影像，其中α大于90度。
5.在进一步中优选的是，所述步骤三中利用三个摄像机采集用户的三路视频，从视
频中提取出用户的前景影像，把三路采集的前景影像进行编码合成，生成一个用户半侧面的连续图像，该图像是半三维前景影像，有立体感。
6.在进一步中优选的是，所述步骤一中针对模拟对象进行组成层次分析，针对每个对象进行参数化分析，明确特征参数、性能指标参数和其它技/战术指标参数。
7.在进一步中优选的是，所述针对对象层次分类，抽取形成外接设备的设备清单，包含虚拟的，也包含实物的，明确各外接设备的数据交互需求，形成接口控制文件，即icd文件。
8.在进一步中优选的是，所述步骤五中基于虚拟接口模型架构，采用相似度分析的方式，找到虚拟接口模型架构中的部件接口样式库中相似度最高的样本，使用icd图形化编辑工具，对选取的样本进行编辑，形成系统兼容的xml格式的标准icd文件。
9.在进一步中优选的是，所述步骤三中摄像机标定：通过对所述的三个摄像机进行标定；三个摄像机接收外部主机发出的同一个外触发信号，通过采集所述的半透半反镜反射的光线对同一个场景进行同步真实图像的采集。
10.在进一步中优选的是，所述步骤三中所述的三个摄像机在同一个硬件触发信号控制下同步采集目标物体的图像，分别得到图像iml、imm和imr。
11.在进一步中优选的是，所述步骤三中用户进入所述的三个摄像机的采集范围，所述的三个摄像机同步采集以原背景为背景，以用户为前景的三个图像im1、im2和im3。
12.在进一步中优选的是，所述步骤三中所述的控制用户影像在三维场景中漫游及交互控制装置有键盘鼠标方式、方向盘脚踏方式和手势方式三种，可择其一进行，或同时选择。
13.（三）有益效果与现有技术相比，本发明提供了一种基于虚实混合技术的交互控制方法，具备以下有益效果：本发明利用视频比模型真实感好的特性，通过对用户的视频进行前景提取和与虚拟场景的alpha混合使真人影像进入到虚拟场景中；为了克服二维视频放在三维场景中不真实的缺点，对三路视频进行压缩合成，生成了有侧面连续信息的半三维影像；为了克服视频无法与虚拟对象进行交互的缺点，采用对特定手势的识别来完成交互，这种使真人进入的虚实混合远程协同设计方法具有真实、便利、共享、方便交流等优点，另外，控制内核与虚拟接口组合的技术实现方案，提高了构建模拟训练设备或其他具备类似特征的系统设备时核心控制系统开发的高效性和便捷性；本发明的步骤容易实现，步骤不繁杂；同时还能在工作的过程中对部件接口样式库进行更新，提高兼容性和扩展能力；同时各步骤间容易依据彼此完成情况互相调整，具有较高的协调性。
具体实施方式
14.下面将结合本发明实施例中，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
15.实施例1：
一种基于虚实混合技术的交互控制方法，包括以下步骤：步骤一：准备交互设备，对各项交互设备之间进行连接以及远程控制，对参数对象进行分析以及输入相关的参数，根据模拟训练场景和用户需求，确定模拟训练系统的模拟对象；步骤二：在步骤一的基础上构建基于多摄像机采集的远程沉浸协同工作装置，所述的工作装置包括：三个摄像机、三个呈α角度放置的显示器和分别位于每个显示器前以45度角放置的用于改变光路的半透半反镜；步骤三：利用第一步构建的装置实现三维场景中用户的实时运动影像的采集、提取、传输、加载，然后将影像压缩，传输到远程节点端；步骤四：通过建模手段对步骤三中所得到的相关进行洗进行建模，同时实现功能逻辑，基于模拟训练场景对外接设备的接入需求进行分析；步骤五：对外接设备与系统的交互需求进行分析，将需要交互的握持设备以及反应设备进行分析与设置；步骤六：对各个视图进行归类总结，然后对视图种类进行建群归纳，将有相关标签的视图归纳在同一个群中，同时在群公告中添加客户的相关特征描述。在本实施例中，所述步骤二中三个摄像机分别固定在半透半反镜正上方，镜头在半透半反镜中的投影与用户正对显示器时眼睛在半透半反镜中的投影重合，通过采集半透半反镜反射的光线采集到用户的前景影像，其中α大于90度。
16.在本实施例中，所述步骤三中利用三个摄像机采集用户的三路视频，从视频中提取出用户的前景影像，把三路采集的前景影像进行编码合成，生成一个用户半侧面的连续图像，该图像是半三维前景影像，有立体感。
17.在本实施例中，所述步骤一中针对模拟对象进行组成层次分析，针对每个对象进行参数化分析，明确特征参数、性能指标参数和其它技/战术指标参数。
18.在本实施例中，所述针对对象层次分类，抽取形成外接设备的设备清单，包含虚拟的，也包含实物的，明确各外接设备的数据交互需求，形成接口控制文件，即icd文件。
19.在本实施例中，所述步骤五中基于虚拟接口模型架构，采用相似度分析的方式，找到虚拟接口模型架构中的部件接口样式库中相似度最高的样本，使用icd图形化编辑工具，对选取的样本进行编辑，形成系统兼容的xml格式的标准icd文件。
20.在本实施例中，所述步骤三中摄像机标定：通过对所述的三个摄像机进行标定；三个摄像机接收外部主机发出的同一个外触发信号，通过采集所述的半透半反镜反射的光线对同一个场景进行同步真实图像的采集。。
21.在本实施例中，所述步骤三中所述的三个摄像机在同一个硬件触发信号控制下同步采集目标物体的图像，分别得到图像iml、imm和imr。
22.在本实施例中，所述步骤三中用户进入所述的三个摄像机的采集范围，所述的三个摄像机同步采集以原背景为背景，以用户为前景的三个图像im1、im2和im3。
23.在本实施例中，所述步骤三中所述的控制用户影像在三维场景中漫游及交互控制装置有键盘鼠标方式、方向盘脚踏方式和手势方式三种，可择其一进行，或同时选择。
24.实施例2：一种基于虚实混合技术的交互控制方法，包括以下步骤：
步骤一：准备交互设备，对各项交互设备之间进行连接以及远程控制，对参数对象进行分析以及输入相关的参数，根据模拟训练场景和用户需求，确定模拟训练系统的模拟对象；步骤二：在步骤一的基础上构建基于多摄像机采集的远程沉浸协同工作装置，所述的工作装置包括：三个摄像机、三个呈α角度放置的显示器和分别位于每个显示器前以45度角放置的用于改变光路的半透半反镜；所述步骤二中三个摄像机分别固定在半透半反镜正上方，镜头在半透半反镜中的投影与用户正对显示器时眼睛在半透半反镜中的投影重合，通过采集半透半反镜反射的光线采集到用户的前景影像，其中α大于90度；步骤三：利用第一步构建的装置实现三维场景中用户的实时运动影像的采集、提取、传输、加载，然后将影像压缩，传输到远程节点端；所述步骤三中利用三个摄像机采集用户的三路视频，从视频中提取出用户的前景影像，把三路采集的前景影像进行编码合成，生成一个用户半侧面的连续图像，该图像是半三维前景影像，有立体感；步骤四：通过建模手段对步骤三中所得到的相关进行洗进行建模，同时实现功能逻辑，基于模拟训练场景对外接设备的接入需求进行分析；步骤五：对外接设备与系统的交互需求进行分析，将需要交互的握持设备以及反应设备进行分析与设置；步骤六：对各个视图进行归类总结，然后对视图种类进行建群归纳，将有相关标签的视图归纳在同一个群中，同时在群公告中添加客户的相关特征描述。在本实施例中，所述步骤二中三个摄像机分别固定在半透半反镜正上方，镜头在半透半反镜中的投影与用户正对显示器时眼睛在半透半反镜中的投影重合，通过采集半透半反镜反射的光线采集到用户的前景影像，其中α大于90度。
25.在本实施例中，所述针对对象层次分类，抽取形成外接设备的设备清单，包含虚拟的，也包含实物的，明确各外接设备的数据交互需求，形成接口控制文件，即icd文件。
26.在本实施例中，所述步骤五中基于虚拟接口模型架构，采用相似度分析的方式，找到虚拟接口模型架构中的部件接口样式库中相似度最高的样本，使用icd图形化编辑工具，对选取的样本进行编辑，形成系统兼容的xml格式的标准icd文件。
27.实施例3：一种基于虚实混合技术的交互控制方法，包括以下步骤：步骤一：准备交互设备，对各项交互设备之间进行连接以及远程控制，对参数对象进行分析以及输入相关的参数，根据模拟训练场景和用户需求，确定模拟训练系统的模拟对象；步骤二：在步骤一的基础上构建基于多摄像机采集的远程沉浸协同工作装置，所述的工作装置包括：三个摄像机、三个呈α角度放置的显示器和分别位于每个显示器前以45度角放置的用于改变光路的半透半反镜；步骤三：利用第一步构建的装置实现三维场景中用户的实时运动影像的采集、提取、传输、加载，然后将影像压缩，传输到远程节点端；所述步骤三中摄像机标定：通过对所述的三个摄像机进行标定；三个摄像机接收外部主机发出的同一个外触发信号，通过采集所述的半透半反镜反射的光线对同一个场景进行同步真实图像的采集；步骤三中所述的三个摄像机在同一个硬件触发信号控制下同步采集目标物体的图像，分别得到图像iml、imm
和imr；用户进入所述的三个摄像机的采集范围，所述的三个摄像机同步采集以原背景为背景，以用户为前景的三个图像im1、im2和im3；所述的控制用户影像在三维场景中漫游及交互控制装置有键盘鼠标方式、方向盘脚踏方式和手势方式三种，可择其一进行，或同时选择；步骤四：通过建模手段对步骤三中所得到的相关进行洗进行建模，同时实现功能逻辑，基于模拟训练场景对外接设备的接入需求进行分析；步骤五：对外接设备与系统的交互需求进行分析，将需要交互的握持设备以及反应设备进行分析与设置；步骤六：对各个视图进行归类总结，然后对视图种类进行建群归纳，将有相关标签的视图归纳在同一个群中，同时在群公告中添加客户的相关特征描述。在本实施例中，所述步骤二中三个摄像机分别固定在半透半反镜正上方，镜头在半透半反镜中的投影与用户正对显示器时眼睛在半透半反镜中的投影重合，通过采集半透半反镜反射的光线采集到用户的前景影像，其中α大于90度。
28.在本实施例中，所述步骤三中利用三个摄像机采集用户的三路视频，从视频中提取出用户的前景影像，把三路采集的前景影像进行编码合成，生成一个用户半侧面的连续图像，该图像是半三维前景影像，有立体感。
29.在本实施例中，所述步骤一中针对模拟对象进行组成层次分析，针对每个对象进行参数化分析，明确特征参数、性能指标参数和其它技/战术指标参数。
30.在本实施例中，所述针对对象层次分类，抽取形成外接设备的设备清单，包含虚拟的，也包含实物的，明确各外接设备的数据交互需求，形成接口控制文件，即icd文件。
31.综上，上文中提到的全部方案中，涉及两个部件之间连接的可以根据实际情况选择焊接、螺栓和螺母配合连接、螺栓或螺钉连接或者其它公知的连接方式，在此不一一赘述，上文中凡是涉及有写固定连接的，优先考虑是焊接，尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。