一种基于虚实混合技术的交互控制方法与流程

技术特征：
1.一种基于虚实混合技术的交互控制方法，其特征在于，包括以下步骤：步骤一：准备交互设备，对各项交互设备之间进行连接以及远程控制，对参数对象进行分析以及输入相关的参数，根据模拟训练场景和用户需求，确定模拟训练系统的模拟对象；步骤二：在步骤一的基础上构建基于多摄像机采集的远程沉浸协同工作装置，所述的工作装置包括：三个摄像机、三个呈α角度放置的显示器和分别位于每个显示器前以45度角放置的用于改变光路的半透半反镜；步骤三：利用第一步构建的装置实现三维场景中用户的实时运动影像的采集、提取、传输、加载，然后将影像压缩，传输到远程节点端；步骤四：通过建模手段对步骤三中所得到的相关进行洗进行建模，同时实现功能逻辑，基于模拟训练场景对外接设备的接入需求进行分析；步骤五：对外接设备与系统的交互需求进行分析，将需要交互的握持设备以及反应设备进行分析与设置；步骤六：对各个视图进行归类总结，然后对视图种类进行建群归纳，将有相关标签的视图归纳在同一个群中，同时在群公告中添加客户的相关特征描述。2.根据权利要求1所述的一种基于虚实混合技术的交互控制方法，其特征在于，所述步骤二中三个摄像机分别固定在半透半反镜正上方，镜头在半透半反镜中的投影与用户正对显示器时眼睛在半透半反镜中的投影重合，通过采集半透半反镜反射的光线采集到用户的前景影像，其中α大于90度。3.根据权利要求2所述的一种基于虚实混合技术的交互控制方法，其特征在于，所述步骤三中利用三个摄像机采集用户的三路视频，从视频中提取出用户的前景影像，把三路采集的前景影像进行编码合成，生成一个用户半侧面的连续图像，该图像是半三维前景影像，有立体感。4.根据权利要求3所述的一种基于虚实混合技术的交互控制方法，其特征在于，所述步骤一中针对模拟对象进行组成层次分析，针对每个对象进行参数化分析，明确特征参数、性能指标参数和其它技/战术指标参数。5.根据权利要求4所述的一种基于虚实混合技术的交互控制方法，其特征在于，所述针对对象层次分类，抽取形成外接设备的设备清单，包含虚拟的，也包含实物的，明确各外接设备的数据交互需求，形成接口控制文件，即icd文件。6.根据权利要求5所述的一种基于虚实混合技术的交互控制方法，其特征在于，所述步骤五中基于虚拟接口模型架构，采用相似度分析的方式，找到虚拟接口模型架构中的部件接口样式库中相似度最高的样本，使用icd图形化编辑工具，对选取的样本进行编辑，形成系统兼容的xml格式的标准icd文件。7.根据权利要求1所述的一种基于虚实混合技术的交互控制方法，其特征在于，所述步骤三中摄像机标定：通过对所述的三个摄像机进行标定；三个摄像机接收外部主机发出的同一个外触发信号，通过采集所述的半透半反镜反射的光线对同一个场景进行同步真实图像的采集。8.根据权利要求7所述的一种基于虚实混合技术的交互控制方法，其特征在于，所述步骤三中所述的三个摄像机在同一个硬件触发信号控制下同步采集目标物体的图像，分别得到图像iml、imm和imr。
9.根据权利要求8所述的一种基于虚实混合技术的交互控制方法，其特征在于，所述步骤三中用户进入所述的三个摄像机的采集范围，所述的三个摄像机同步采集以原背景为背景，以用户为前景的三个图像im1、im2和im3。10.根据权利要求9所述的一种基于虚实混合技术的交互控制方法，其特征在于，所述步骤三中所述的控制用户影像在三维场景中漫游及交互控制装置有键盘鼠标方式、方向盘脚踏方式和手势方式三种，可择其一进行，或同时选择。

技术总结
本发明涉及一种基于虚实混合技术的交互控制方法，包括以下步骤：步骤一：准备交互设备，对各项交互设备之间进行连接以及远程控制，对参数对象进行分析以及输入相关的参数，根据模拟训练场景和用户需求，确定模拟训练系统的模拟对象；步骤二：在步骤一的基础上构建基于多摄像机采集的远程沉浸协同工作装置，所述的工作装置包括：三个摄像机、三个呈α角度放置的显示器和分别位于每个显示器前以45度角放置的用于改变光路的半透半反镜；步骤三：利用第一步构建的装置实现三维场景中用户的实时运动影像的采集、提取、传输、加载，然后将影像压缩，传输到远程节点端。传输到远程节点端。


技术研发人员：王文天 刘伟 赵明欣 段详骏 孟晓丽
受保护的技术使用者：中国电力科学研究院有限公司
技术研发日：2022.08.17
技术公布日：2022/11/11