一种基于扩展现实的无人交互控制方法及系统与流程

1.本发明涉及无人控制系统技术领域，尤其涉及一种基于扩展现实的无人交互控制方法及系统。


背景技术：

2.无人系统是指具有一定自治能力和自主性的无人控制系统，它是人工智能与机器人技术以及实时控制决策系统的结合产物。其中，地面无人系统融合了动力、机动、控制、传感器、人工智能等多学科先进技术于一体，地面无人系统发展过程中，起步阶段的无人系统仅能移动数米距离，现代无人系统则能够探测与规避障碍，可自主“跟随”车辆或人员行进，之后相继开展了移动机器人、智能车辆和地面无人平台的关键技术研究。但是传统无人系统中，人与无人系统交互方式单一，友好性不高，导致的操作员易产生疲劳和精神压力，影响作业效率，容易出现操作偏差等问题。


技术实现要素：

3.本发明要解决的技术问题在于，针对现有技术的不足，提供一种能满足复杂多变任务环境的应用要求，能提高作业人员与真实无人系统的契合度，有助于减轻工作压力，更具易用性和易操作性的基于扩展现实的无人交互控制方法及系统。
4.为解决上述技术问题，本发明采用如下技术方案。
5.一种基于扩展现实的无人交互控制方法，其包括有如下步骤：步骤s1，构建虚拟无人系统模型，之后将虚拟无人系统模型导入unity3d游戏引擎中；步骤s2，采取点云匹配方式或者ar标记方式将虚拟无人系统与真实无人系统重叠；步骤s3，由搭载虚拟无人系统的混合现实设备构成的本地端与由真实无人系统构成的远程端通过ros-sharp功能包进行通讯，混合现实设备利用工控机对真实无人系统的电机控制板发出信号，再由电机控制板控制电机运动，从而驱动真实无人系统完成相应动作；步骤s4，混合现实设备与真实无人系统通信成功后，混合现实设备识别多模态交互方式并实时发送至真实无人系统。
6.优选地，所述步骤s1中，通过3dmax或solidworks软件构建虚拟无人系统模型。
7.优选地，所述步骤s1中，为所述虚拟无人系统模型添加贴近真实无人系统的组件。
8.优选地，所述步骤s1中，开发混合现实场景，所述混合现实场景包括控制面板和显示面板，诉述控制面板用于为识别多模态交互方式提供接口，所述显示面板用于实时显示真实无人系统反馈的数据。
9.优选地，所述步骤s2中，所述点云匹配方式包括：利用操作者头戴的混合现实设备扫描面空间环境，以及利用移动机器人的车载3d雷达扫描周围环境，得到一次点云数据，再利用最近点迭代法计算旋转矩阵和平移矩阵。
10.优选地，所述步骤s2中，所述ar标记方式包括通过混合现实设备读取基准参照物，计算真实无人系统与虚拟无人系统之间的坐标信息后，自动将虚拟无人系统叠加至真实无人系统上。
11.优选地，所述步骤s3中，所述真实无人系统包括slam算法、自主避障算法以及路径规划算法，所述虚拟无人系统利用工控设备进行运动控制以及与混合现实设备建立通讯。
12.优选地，所述步骤s3中，所述虚拟无人系统的数据信息通过tcp/tp通讯方式传送至混合现实设备并实时显示。
13.优选地，所述步骤s4中，所述多模态交互方式基于手势交互模块、语音交互模块和图像交互模块实现。
14.一种基于扩展现实的无人交互控制系统，所述无人交互控制系统用于实现上述无人交互控制方法。
15.本发明公开的基于扩展现实的无人交互控制方法及系统中，扩展现实无人系统控制技术分成了3个部分，混合现实设备、无人系统部分、多模态交互控制系统部分。扩展现实部分提供了mr接口和虚拟环境，多模态交互控制系统部分主要组成为点云匹配器、移动机器人控制器，基于ros实现的无人机器人控制，使用混合现实设备上的深度相机扫描得到的空间映射和移动机器人上的3d雷达得到的点云发送到点云匹配器，计算两者之间的转换，对机器人的控制是通过坐标变换使用轨迹控制器实现的，具体的交互方式包括语音交互、手势交互等；无人系统具有slam、定位和控制的软件模块，同时在该系统上装配了传感器和驱动器。相比现有技术而言，本发明较好地满足了复杂多变任务环境的应用要求，能显著提高作业人员与真实无人系统的契合度，有助于减轻工作压力，同时更具易用性和易操作性。
附图说明
16.图1为本发明基于扩展现实的无人交互控制系统的架构图；
17.图2为地面真实无人系统的架构图。
具体实施方式
18.下面结合附图和实施例对本发明作更加详细的描述。
19.本发明公开了一种基于扩展现实的无人交互控制方法，请参见图1，其包括有如下步骤：
20.步骤s1，构建虚拟无人系统模型，之后将虚拟无人系统模型导入unity3d游戏引擎中；进一步地：
21.所述步骤s1中，通过3dmax或solidworks软件构建虚拟无人系统模型；
22.所述步骤s1中，为所述虚拟无人系统模型添加贴近真实无人系统的组件；
23.所述步骤s1中，开发混合现实场景，所述混合现实场景包括控制面板和显示面板，诉述控制面板用于为识别多模态交互方式提供接口，所述显示面板用于实时显示真实无人系统反馈的数据；
24.步骤s2，采取点云匹配方式或者ar标记方式将虚拟无人系统与真实无人系统重叠；具体地，在所述步骤s2中：
25.所述点云匹配方式包括：利用操作者头戴的混合现实设备扫描面空间环境，以及利用移动机器人的车载3d雷达扫描周围环境，得到一次点云数据，再利用最近点迭代法计算旋转矩阵和平移矩阵；进而改变虚拟移动机器人的位置；
26.所述ar标记方式包括通过混合现实设备读取基准参照物，计算真实无人系统与虚
拟无人系统之间的坐标信息后，自动将虚拟无人系统叠加至真实无人系统上。
27.步骤s3，由搭载虚拟无人系统的混合现实设备构成的本地端与由真实无人系统构成的远程端通过ros-sharp功能包进行通讯，混合现实设备利用工控机对真实无人系统的电机控制板发出信号，再由电机控制板控制电机运动，从而驱动真实无人系统完成相应动作；进一步地：
28.所述步骤s3中，所述真实无人系统包括slam算法、自主避障算法以及路径规划算法，所述虚拟无人系统利用工控设备进行运动控制以及与混合现实设备建立通讯；
29.所述步骤s3中，所述虚拟无人系统的数据信息通过tcp/tp通讯方式传送至混合现实设备并实时显示；
30.步骤s4，混合现实设备与真实无人系统通信成功后，混合现实设备识别多模态交互方式并实时发送至真实无人系统；
31.所述步骤s4中，所述多模态交互方式基于手势交互模块、语音交互模块和图像交互模块实现。
32.上述方法中，请参见图1，扩展现实无人系统控制技术分成了3个部分，扩展现实部分(混合现实设备)、无人系统部分、多模态交互控制系统部分。扩展现实部分提供了mr接口和虚拟环境，多模态交互控制系统部分主要组成为点云匹配器、移动机器人控制器，基于ros实现的无人机器人控制，使用混合现实设备上的深度相机扫描得到的空间映射(spatialmapping,深度相机周围的详细的环境信息)和移动机器人上的3d雷达得到的点云发送到点云匹配器，计算两者之间的转换，对机器人的控制是通过坐标变换使用轨迹控制器实现的，具体的交互方式包括语音交互、手势交互等；无人系统具有slam、定位和控制的软件模块，同时在该系统上装配了传感器和驱动器。相比现有技术而言，本发明较好地满足了复杂多变任务环境的应用要求，能显著提高作业人员与真实无人系统的契合度，有助于减轻工作压力，同时更具易用性和易操作性。
33.关于地面无人系统，请参见图2，其关键技术体系包括总体设计模块、机动平台、自主行为模块、指挥控制模块。其中：
34.总体设计模块用于研究如何利用平台“无人”的优势、规避其劣势，通过综合各分系统技术水平，实现各分系统优化匹配，并制定总体设计流程和顶层规范，是设计最优地面无人系统总体方案、促进模块化、通用化、系列化与标准化发展的关键；
35.地面无人机动平台是实现自主机动的物理基础，该技术是研制具有高机动能力、长时间续航能力和高负载能力的地面无人系统的支撑技术，也是降低无人平台对自主系统依赖程度的关键；
36.自主行为模块用于解决无人平台的智能问题，包括环境感知、路径规划与跟踪、实时行为规划与决策等多个方面；
37.地面无人系统指挥控制模块主要研究地面无人系统与指挥人员以及操控人员之间的交互机制、多个平台之间的协作机制以及所必需的其它支撑技术。
38.在此基础上，本发明还公开了一种基于扩展现实的无人交互控制系统，所述无人交互控制系统用于实现以上所述的无人交互控制方法。请参见图1，在本发明的优选实施例中，所述无人交互控制系统可实现如下功能：
39.1、坐标系统的初始化和点云匹配：为实现人员对无人系统的控制，使用点云的匹
配算法，将人员、机器人和虚拟机器人统一在一个坐标系统中，本发明提供了混合现实设备和界面，将虚拟和真实的两个世界连接在一起，控制单元与各部分相连，实现计算、界面与机器人之间的指令传递、虚拟物体的运动和机器人控制。进一步地，无人系统和扩展现实部分发送点云到点云匹配节点，点云匹配节点计算从一个坐标系统到另一个坐标系统的转换，然后计算全息透镜到真实空间坐标的转换，经过轴系比较的步骤，所有元件可以在一个共同的空间内工作。
40.2、多模态交互功能：在大数据可视化交互过程中，多模态交互结合单一模态的优点，充分发挥了人员对各个感知通道传达信息的高度接收与处理能力，有助于增强用户对交互行为的理解，进而提高对大数据可视化的探索与分析效率。在本发明的优选实施例中，多模态人机交互可实现利用语音、图像、文本、眼动和触觉等多模态信息进行人员与计算机之间的信息交换，本实施例以手势交互和语音交互为主，其中：
41.手势交互：可采用mediapipe手势识别算法。mediapipe是一种基于机器学习技术的手势识别算法，其特点是准确率高，支持五指和手势追踪，可根据一帧图像推断出单手21个立体节点，并且还能同时追踪多只手，可识别遮挡。mediapipe框架有3个模型组成，包括：手掌识别模型blazepalm(用于识别手的整体框架和方向)、landmark模型(识别立体手部节点)、手势识别模型(将识别到的节点分类成一系列手势)。其中，blazepalm是一个可识别单帧图像的模型，主要为landmark模型提供准确剪裁的手掌图像。而landmark模型，则是在blazepalm基础上识别到的21个立体节点坐标，这些节点之间的位置遮挡也可被识别。接下来，通过手势识别模型，从landmark提取的数据来推断每根手指伸直或弯曲等动作，接着将这些动作与预设的手势匹配，以预测基础的静态手势。
42.语音交互：利用改进深度神经网络的自动语音识别模块将采集到的语音数据转换为文本数据，并经过一个文本数据理解模块，将语音信号翻译成控制指令。
43.多模态融合的方法可分为3种：特征层融合方法、决策层融合方法以及混合融合方法，特征层融合方法将从多个模态中抽取的特征通过某种变换映射为一个特征向量，而后送入分类模型中，获得最终决策；决策层融合方法将不同模态信息获得的决策合并来获得最终决策；混合融合方法同时采用特征层融合方法和决策层融合方法，例如可以将两种模态特征通过特征层融合获得的决策与第3种模态特征获得的决策进行决策层融合来得到最终决策。
44.3、无人系统的slam建图、路径规划功能：ros开源社区中集成了众多的slam算法可以直接使用或者进行二次开发，其中最为常用和成熟的当属gmapping功能包。gmapping功能包集成了rao-blackwellized粒子滤波算法，为开发者隐取去了复杂的内部实现，该功能包订阅机器人的深度信息、imu信息和里程计信息，同时完成一些必要的参数配置，即可创建并输出基于概率地图。slam算法已经在gmapping功能包中实现。实际上slam解决的问题主要是构图和定位，而无人平台想要自动行驶就必须具备自主导航的能力。在无人平台明确了自身的位姿后需要通过一定的策略，规划从当前位置到目标位置的合适路径。在作业场景下，需要使用雷达等传感装备实时对环境周围采样，并生成地图，即slam技术，路径的规划问题使用启发式搜索的思想，比如a*算法等，使用全局路径规划和局部路径相互结合的方式实现从起点到终点的整个自主行驶；
45.4、混合现实接口下的交互与控制功能：虚拟空间和现实空间的连接通过mr混合现
实的接口完成，通过改进的icp点云匹配得到统一的世界坐标系，项目基于unity3d软件开发了移动机器人交互界面，使用智能头盔，搭建了混合现实的交互环境，通过头显可以看到虚拟的移动机器人，该接口叠加在真实的机器人上，并显示与之交互对象的附加信息，可以通过操纵杆、语音、手势、脑电来控制虚拟机器人移动直至到达目的地，并显示其移动的路径，同样真实的移动机器人自主规划路径，最终到达目的地，以再次实现虚拟和真实机器人的相叠加。
46.本发明公开的基于扩展现实的无人交互控制方法及系统，其解决了现有地面无人系统在执行任务中采集的相机、雷达等画面后，依靠服务器达到控制效果会引发沉浸感低、认知时间长、操作出现偏差等问题，以及单一交互方式无法满足复杂多变任务环境等问题。相比现有技术而言，本发明能提高作业人员与真实无人系统的契合度，能满足复杂多变任务环境的应用要求，有助于减轻工作压力，更具易用性和易操作性，较好地满足了应用需求。
47.以上所述只是本发明较佳的实施例，并不用于限制本发明，凡在本发明的技术范围内所做的修改、等同替换或者改进等，均应包含在本发明所保护的范围内。