一种基于LeapMotion交互的仿生机器鱼控制系统的制作方法

一种基于leap motion交互的仿生机器鱼控制系统
技术领域
1.本发明涉及仿生机器鱼技术领域，具体涉及一种基于leap motion交互的仿生机器鱼控制系统。


背景技术：

2.机器鱼是以仿生为主题的新型水下探测器，因其噪声小、仿生性强的特点，在水质环境勘察、军事侦察、海底勘探、教育娱乐等多个领域发挥着重要作用。目前，国内外科研机构对仿生机器鱼的研制多集中于鱼类多样性、驱动能力、个体机动性、运动控制、仿生材料等本体设计方面，在机器鱼智能化人-鱼交互方面的研究不够深入。传统的控制方式主要包括人机界面、示教器、遥控器，交互方式大多依赖于鼠标、键盘、触摸屏等，操作程序复杂繁琐且交互不够直接。新型智能语音控制方法在环境嘈杂的学校、娱乐等场所又极易出现误识别甚至无法识别的问题。如何实现操作者对仿生鱼的直接控制，提高学生或游客与鱼的互动是现有技术有待解决的问题。
3.现有技术cn112068705 a公开了一种基于手势识别的仿生机器鱼交互控制方法及系统，该专利主要特征是利用椭圆肤色检测模型实现对手势的检测，能够避免受到光照的影响，采用傅里叶算子进行手势特征提取，能够更好的进行手势识别，并建立手势特征库，对svm模型进行训练保存，依靠训练好的svm模型进行手势识别，最后实现仿生机器鱼的控制。由该专利可知，仿生鱼手势识别已有一定研究背景，但侧重于图像处理及识别。


技术实现要素：

4.本发明提供一种,。旨在解决目前人-鱼交互系统不够直观和友好的问题，赋予机器鱼更具观赏性的智能互动特技，促使仿生机器鱼从单一化表演向花样化、智能化、人-鱼互动精准化方向发展。
5.本发明所采用的技术方案是一种基于leap motion交互的仿生机器鱼控制系统，包括基于leap motion的体感路径输入模块，leap motion sdk开发包安装在pc机上，对获得的手部数据进行处理并提取手部运动特征；
6.基于b样条曲线的机器鱼路径规划模块，采用二次或高次b样条曲线来对leap motion输入的轨迹点进行拟合或插值，建立路径曲率最小化的目标函数，机器鱼游动速度由路径的曲率决定，根据速度可计算得到机器鱼游动的位置-时间序列；
7.基于aruco与惯导融合感知的机器鱼定位模块，aruco标识码地图构建将aruco二维码阵列放置到机器鱼游动场景中，利用相机对环境中随机分布的aruco码进行视觉建图，构建出二维码在三维空间中的分布图；然后确定一个参考二维码坐标系作为世界坐标系，并得到所有二维码角点在世界坐标系下的三维坐标；机器鱼携带相机游动并实时采集二维码信息，根据采集得到的图像预估当前所处的位置与姿态；
8.基于pid算法的机器鱼轨迹跟踪模块，机器鱼控制器将采集得到的实时位姿数据与预先设计的位置-时间序列进行比较，计算当前位置与目标位置的偏差，根据偏差调整自
身的速度及游动航向。
9.进一步地，所述的手部运动特征包括单手指在感知区域内画圈或多手指或单手指多次画圈，所述的画圈方向包括顺时针画圈和逆时针画圈。
10.进一步地，所述的leap motion包括两个立体摄像机和三个红外led，检测范围是在leap motion感知元件的上方25-600mm之间。
11.进一步地，所述的样条曲线节点的坐标值即为机器鱼游动的目标位置，曲线在节点处的切线为机器鱼航向。
12.本发明的有益效果是：本技术针对仿生机器鱼智能化、人机交互、地图构建及路径跟踪控制等方面进行研究，具有一定的应用价值和市场前景。以人手势运动路径作为机器人个体或多体的跟踪轨迹，交互方式友好、精准、新颖、自然，给机器鱼在娱乐观赏、科普教学等场合的应用带来十足的体验感和科技感。实现了对仿生鱼的有效控制，提高学生与机器鱼之间互动的直观性。
附图说明
13.图1为本发明仿生机器鱼人-鱼交互系统框架图。
14.图2为本发明基于aruco码及惯导信息融合定位系统图。
15.图3为本发明机器鱼游动策略图。
具体实施方式
16.仿生机器鱼的传统控制方式主要包括人机界面、示教器、遥控器，交互方式大多依赖于鼠标、键盘、触摸屏等，操作程序复杂繁琐且交互不够直接。新型智能语音控制方法在环境嘈杂的学校、娱乐等场所容易出现误识别甚至无法识别的问题。如何实现对仿生鱼的有效控制，提高学生与机器鱼互动的直观性是现有技术有待解决的问题。
17.一种基于leap motion交互的仿生机器鱼控制系统及方法，不同于传统控制及交互方式，操作者可通过单手指或多手指运动轨迹来完成对机器鱼单体或多体的路径控制，提高人-鱼交互的多样性和智能性。上位机交互平台通过leap motion对操作者的手部信息进行采集，采集数据包括双手、多手指的运动轨迹数据；然后基于机器鱼运动学模型，结合b样条曲线(b-spline)规划出切实可行的单体或多体的表演轨迹；最后将连续轨迹点离散成位置-时间序列，由无线(蓝牙、红外等)通信的方式传递给机器鱼。机器鱼接收到控制起始指令及位置-时间路径点后，按照预设轨迹进行游动，游动过程中由aruco码与惯性导航模块进行位姿的实时反馈，机器鱼控制器对实际测量位姿与预设位姿进行对比，利用pid算法进行实时修正，直至完成轨迹点的完全跟踪。
18.仿生机器鱼人-鱼交互系统框架如1所示，主要包括四个方面：(1)基于leap motion的体感路径输入；(2)基于b样条曲线的机器鱼路径规划；(3)基于aruco与惯导融合感知的机器鱼定位；(4)基于pid算法的机器鱼轨迹跟踪。
19.(1)基于leap motion的体感路径输入
20.leap motion包括两个立体摄像机和三个红外led，检测的范围大体在设备(leap motion感知元件)上方25mm到600mm之间，精度高，达到0.01mm，在pc机上，安装leap motion sdk开发包，对获得的手部数据进行处理，提取手部的运动特征。本专利主要识别两类手势，
一种是单手指在感知区域内画圈或其它图形，包括顺时针画圈和逆时针画圈两个滑动方向；另一种是多手指或单手指多次画圈，以期将不同的手指配置给不同的机器鱼，完成操作者与多鱼之间的互动。
21.(2)基于b样条曲线的机器鱼路径规划
22.为了保证机器鱼游动路径的平滑性，专利采用二次或高次b样条曲线来对leap motion输入的轨迹点进行拟合或插值，处理过程中考虑机器鱼最小转弯半径、首末端点约束、曲率连续等多约束条件，建立路径曲率最小化的目标函数，样条曲线节点的坐标值即为机器鱼游动的目标位置，曲线在节点处的切线为机器鱼航向，机器鱼游动速度由路径的曲率决定，曲率越小，速度越大，曲率越大，速度越小，根据速度可计算得到机器鱼游动的位置-时间序列。
23.(3)基于aruco与惯导感知的机器鱼全局定位
24.基于aruco码及惯导信息融合定位系统如上2所示，aruco标识码地图构建首先将aruco二维码阵列放置到机器鱼游动场景中，比如水族馆、试验池等环境中，利用相机对环境中随机分布的aruco码进行视觉建图，构建出二维码在三维空间中的分布图；然后确定一个参考二维码坐标系作为世界坐标系，并得到所有二维码角点在世界坐标系下的三维坐标；机器鱼携带相机游动并实时采集二维码信息，根据采集得到的图像预估当前所处的位置与姿态。机器鱼控制器将aruco码计算得到的位姿信息与惯导传感数据相结合，融合方式可以但不限于卡尔曼滤波算法，通过多传感数据的融合克服传统视觉导航方式对辅助物理条件依赖性强，对环境要求高且不灵活的缺陷，同时弥补惯性导航积分计算累积误差大、定位精度低的问题，将该技术借鉴到机器鱼表演模式中，具有精度高、灵活性强、应用范围广等诸多优势。
25.(4)基于pid算法的机器鱼轨迹跟踪
26.机器鱼控制器将采集得到的实时位姿数据与预先设计的位置-时间序列进行比较，计算当前位置与目标位置的偏差，根据偏差调整自身的速度及游动航向，以保证按照预设的时间沿预设路径到达预设目标点，游动策略如3所示。
27.操作者控制手势与leap motion体感控制器交互完成机器鱼游动路径的定制，控制台依据手势轨迹点自动生成机器鱼游动位置-时间函数，以无线的方式启动机器鱼，机器鱼控制器根据命令及pid算法自主完成表演。
28.本发明以人手势运动路径作为机器人个体或多体的跟踪轨迹，交互方式友好、精准、新颖、自然，给机器鱼在娱乐观赏、科普教学等场合的应用带来十足的体验感和科技感。
29.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件能够以各种不同的配置来布置和设计。