一种基于混合现实技术的ROS智能车交互方法

一种基于混合现实技术的ros智能车交互方法
技术领域
1.本发明涉及移动机器人领域以及混合现实技术，具体涉及一种基于混合现实技术的ros智能车交互方法。


背景技术：

2.混合现实（mr）创造一种空间，可以实现物理对象和数字对象共存，并在现实场景，虚拟场景和操作者之间实时产生信息交互。以microsoft的hololens为代表的的mr设备给操作者呈现最直观的感觉，可以实现以增强mr操作者真实感和临场感为目的的人车交互新体验。
3.与ros智能车之间的交互是指，以一定的交互方式，为完成确定任务的人与智能车之间的信息交换过程。而在对智能车的实际遥操作过程中，例如手势交互以及语音交互等，大多数是单向的操控方式，不够自然；或者是由于信息传输存在时延人机交互界面不直观等问题，带来了操作的不适感，严重影响了操作者的工作效率，导致人与智能车之间的互动性较差。


技术实现要素：

4.针对上述技术要求，本发明要提供一种基于混合现实技术的ros智能车交互方法。
5.本发明拟公开一种基于混合现实技术的ros智能车交互方法，包括用于获取控制信息的本地端和用于ros智能车响应操作信息并执行对应操作的远程端，所述本地端主要是hololens眼镜构成，所述远程端是由搭载linux平台ros系统(下文简称“ros系统”)的工控机进行控制的的智能小车；首先进行本地端实施步骤：步骤一：通过unity设计好的项目文件通过visual studio部署至hololens端；步骤二：操作者启动并佩戴hololens眼镜，开启hololens中部署的项目文件；步骤三：在hololens全息图中，可以看见所设计的ros智能车的数字模型和渲染的场景，但此时的ros智能小车数字模型与实体是不匹配的；步骤四：等待与远程端进行连接；接下来开启远程端的实施步骤：步骤五：ros智能车的主体是ros程序控制底盘履带电机使履带进行运动控制，包括底层设备的控制，常用函数的实现，还有发布ros里程功能，通过imu进行姿态融合，基于思岚a2雷达的slam方案，构建地图，进行导航以及避障；步骤六：ros系统启动基于websocket的通信模块，连接到hololens的ros-bridge服务器；步骤七：服务器接收到连接请求后，开启端口，并订阅相关话题；步骤八：采集hololens的深度图，将深度图转换为点云，在ros智能车是放置kinect v2相机，采取ros智能车的点云信息；
步骤九：通过ros智能车所搭载的工控机，利用算法将所得到点云信息的进行匹配，得到两者的坐标之间的刚体变换矩阵t_trans，并将得到的刚体变换矩阵t_trans通过tcp通讯传送至hololens端；步骤十：由于t_human与t_mrobot的位置转换矩阵可以已知的，加上t_trans的转换矩阵，就可以计算出t_mrobot_1的转换矩阵；步骤十一：将所得到的t_mrobot_1矩阵应用到hololens的混合现实界面的数字模型中，就可以实现robot坐标系与mrobot_1坐标系相重合，进而就可以在混合现实界面中可以将ros智能小车的数字模型与实体相重合；步骤十二：届时，mr操作者就可以通过手势来拖动全息图中的数字模型来控制远程端的ros智能车；步骤十三：当拖动全息图中的小车数字模型时，hololens发布目标位置信息；步骤十四：根据ros通信格式，对ros系统接收到来自hololens的目标位置信息进行处理；步骤十五：通过ros中的action机制向 navigation 栈发布目标点位置；步骤十六：ros智能车导航中的navigation 栈接收到位置信息，驱动ros智能车运动至指定目标，同时，在混合现实界面的数字模型与实体的运动状态与姿态相符合。
6.所述ros智能车顶部搭载雷达，所述雷达与设于ros机器人底盘内的控制器连接，用于传递障碍物感知信息。
7.hololens眼镜本地端与ros智能车远程端通过ros-sharp功能包进行通讯，其通讯数据格式为json格式。
8.当ros智能车运动时，远程端发送将自身位置姿态信息至服务器，hololens眼镜本地端解析数据类型，并将其呈现在mr场景中，具体的为：当远程端运动时，ros智能车所搭载的里程计以及imu数据也随之改变，本地端通过ros-sharp功能包订阅相关话题并获取json形式数据，本地端解析json数据并将其表现在mr场景中，其json数据格式主要是包括geometry_msgs/posewithcovariance pose、geometry_msgs/twistwithcovariance twist。
9.hololens眼镜本地端可以发送位置信息至服务器，ros智能车远程端解析数据类型并做出指定动作，具体的为：远程端通过ros-sharp订阅相关节点，当mr操作者在mr界面中操作ros智能车的数字模型时，会发布位置相关的json格式信息，ros远程端获取位置信息，并执行相关指令，其json数据格式主要是包括float64 x、float64 y以及float64 z，分别是指定位置相对与起点的x轴坐标、y轴坐标以及z轴坐标。
10.采用上述方案，该发明针对ros智能车交互中存在的操作滞后、人机交互不直观等问题，利用hololens眼镜搭建的混合现实界面，加强了交互的真实感与临场感，很直观的显示了人车交互结果，提高了工作效率。
11.本发明的有益效果为：通过混合现实技术的方法来实现ros智能车交互，这种交互方式更为直观以及具有真实感与临场感，提高操作者工作效率。在混合现实界面中，可以快速呈现ros智能车的位置姿态信息，便于观察与调整。
附图说明
12.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：图1为本发明实施例的整体控制框图。
13.图2为发明实施中的ros智能车结构示意图（左视图）。
14.图3为发明实施中的ros智能车结构示意图（俯视图）。
15.图4为发明实施中混合现实界面与ros小车的坐标变换示意图。
16.附图标记：1小车主体（内置电池），2电子控制板，3雷达，4工控机，5驱动轮，6从动轮，22 stm32电机控制板，21电源控制板，7 mr操作者，8 hololens眼镜。map为mr 混合现实设备在启动项目程序时初始化坐标系，作为世界坐标系；mrobot为项目程序中设定的数字模型的坐标系；human为mr操作者实时的坐标系；robot为ros智能车的坐标系；mrobot_1为转换后的数字模型的坐标系；t_human表示mr操作者与世界坐标系之间的位置关系矩阵；t_mrobot表示数字模型与世界坐标系之间的位置关系矩阵；t_robot表示ros智能车实体与世界坐标系之间的位置关系矩阵；t_mrobot_robot表示ros智能车实体与数字模型之间的位置关系矩阵；t_trans表示ros智能车实体与mr操作者之间的位置关系矩阵；t_mrobot_1表示数字模型与世界坐标系之间的位置关系矩阵。
具体实施方式
17.下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本技术所附权利要求书所限定的范围。
18.本发明提供的一种基于混合现实技术的ros智能车交互方法，通过hololens的混合现实技术，采用json格式与ros系统进行通信，实现一种更为直接与直观的新型交互方式。
19.本发明包括用于获取控制信息的本地端和用于ros智能车响应操作信息并执行对应操作的远程端，所述本地端主要是hololens眼镜构成，所述远程端是由搭载linux平台ros系统(下文简称“ros系统”)的工控机进行控制的的智能小车；首先进行本地端实施步骤：步骤一：通过unity设计好的项目文件通过visual studio部署至hololens端；步骤二：操作者启动并佩戴hololens眼镜，开启hololens中部署的项目文件；步骤三：在hololens全息图中，可以看见所设计的ros智能车的数字模型和渲染的场景，但此时的ros智能小车数字模型与实体是不匹配的；步骤四：等待与远程端进行连接；接下来开启远程端的实施步骤：步骤五：ros智能车的主体是ros程序控制底盘履带电机使履带进行运动控制，包括底层设备的控制，常用函数的实现，还有发布ros里程功能，通过imu进行姿态融合，基于思岚a2雷达的slam方案，构建地图，进行导航以及避障；步骤六：ros系统启动基于websocket的通信模块，连接到hololens的ros-bridge
服务器；步骤七：服务器接收到连接请求后，开启端口，并订阅相关话题；步骤八：采集hololens的深度图，将深度图转换为点云，在ros智能车是放置kinect v2相机，采取ros智能车的点云信息；步骤九：通过ros智能车所搭载的工控机，利用算法将所得到点云信息的进行匹配，得到两者的坐标之间的刚体变换矩阵t_trans，并将得到的刚体变换矩阵t_trans通过tcp通讯传送至hololens端；步骤十：由于t_human与t_mrobot的位置转换矩阵可以已知的，加上t_trans的转换矩阵，就可以计算出t_mrobot_1的转换矩阵；步骤十一：将所得到的t_mrobot_1矩阵应用到hololens的混合现实界面的数字模型中，就可以实现robot坐标系与mrobot_1坐标系相重合，进而就可以在混合现实界面中可以将ros智能小车的数字模型与实体相重合；步骤十二：届时，mr操作者就可以通过手势来拖动全息图中的数字模型来控制远程端的ros智能车；步骤十三：当拖动全息图中的小车数字模型时，hololens发布目标位置信息；步骤十四：根据ros通信格式，对ros系统接收到来自hololens的目标位置信息进行处理；步骤十五：通过ros中的action机制向 navigation 栈发布目标点位置；步骤十六：ros智能车导航中的navigation 栈接收到位置信息，驱动ros智能车运动至指定目标，同时，在混合现实界面的数字模型与实体的运动状态与姿态相符合。
20.所述ros智能车顶部搭载雷达，所述雷达与设于ros机器人底盘内的控制器连接，用于传递障碍物感知信息。
21.hololens眼镜本地端与ros智能车远程端通过ros-sharp功能包进行通讯，其通讯数据格式为json格式。
22.当ros智能车运动时，远程端发送将自身位置姿态信息至服务器，hololens眼镜本地端解析数据类型，并将其呈现在mr场景中，具体的为：当远程端运动时，ros智能车所搭载的里程计以及imu数据也随之改变，本地端通过ros-sharp功能包订阅相关话题并获取json形式数据，本地端解析json数据并将其表现在mr场景中，其json数据格式主要是包括geometry_msgs/posewithcovariance pose、geometry_msgs/twistwithcovariance twist。
23.hololens眼镜本地端可以发送位置信息至服务器，ros智能车远程端解析数据类型并做出指定动作，具体的为：远程端通过ros-sharp订阅相关节点，当mr操作者在mr界面中操作ros智能车的数字模型时，会发布位置相关的json格式信息，ros远程端获取位置信息，并执行相关指令，其json数据格式主要是包括float64 x、float64 y以及float64 z，分别是指定位置相对与起点的x轴坐标、y轴坐标以及z轴坐标。
24.如上述步骤，就可完成一系列的混合交互过程。相较于传统的交互方法，本发明的优点是，加强了操作者操作ros智能车的临场感和真实感，可以直观地观察出ros智能车和场景的相对位置关系；同时明显改善ros智能车的操作滞后问题，减轻了操作者操作的不适感，有利于完成较为复杂的工作，提高了工作效率。
25.hololens眼镜由mr操作者佩戴。hololens显示设备，用于建立mr交互界面。交互界面主要包含渲染的场景以及ros智能车的数字模型。所述ros智能车的数字模型与现实ros智能车完全在混合现实界面中运动状态与姿态完全重合。所述hololens显示设备中的mr交互场景通过windows平台unity3d三维游戏引擎(下文简称“unity”)进行开发。将构造的项目文件生成并部署到hololens设备。由hololens构成的本地端与ros智能车构成的远程端通过ros-sharp功能包进行通讯。所述ros智能车具有slam、自主避障以及路径规划等功能。所述ros机器小车采用工控进行运动控制以及与hololens眼镜通讯。所述ros机器小车搭载rosbridge_suit功能包，基于websocket的通信模块，连接到hololens。
26.所述ros智能车底盘采用履带式驱动机构，能适应复杂地形。利用工控机对电机控制板发出信号，再由电机控制板控制电机，从而驱动履带完成行进的动作。所述ros智能车可以采集惯性测量单位（imu）以及里程计信息可以得出底盘位姿信息。
27.所述ros机器小车顶部搭载雷达，所述雷达单元与设于所述ros机器人底盘内的控制器连接，用于传递障碍物感知信息。整个小车的工作过程是先通过雷达来对环境进行测绘，在工控机中建立虚拟地图用来设置导航路线。
28.具体的，首先将本地端与远程端通过局域网进行远程通讯；mr操作者佩戴hololens眼镜，在hololens眼镜中显示ros智能车的数字模型以及虚拟场景所构建的混合现实交互界面，本地端获取远程端的ros智能车的位姿信息，并将位姿信息映射到ros智能车的数字模型上；采用手拖动hololens眼镜混合现实界面中的ros智能车的数字模型，本地端将数字模型的位置坐标发送给远程端，远程端接收位置坐标信息并转换为运动信息，控制ros智能车到达指定位置。同时，远程端将自身位置姿态信息实时的传送到本地端，映射到混合现实界面中的数字模型中，在整个交互过程中，ros智能车的数字模型和实体在混合现实的界面中时完全重合的。
29.上所述仅为本发明的优选实施例，并不用于限制本发明，显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。