基于主-辅通道融合的机械臂抓取定位方法

1.本发明属于人机交互领域，具体涉及基于主-辅通道融合的机械臂抓取定位方法。


背景技术：

2.人机交互技术是一门研究系统与用户之间交互关系的系统学问，其要广泛体现用户意图，旨在不断提升表达意图的用户体验。传统的人机交互方式多为单一通道的界面、键盘等交互方式，依靠用户的单一视觉、触觉信息进行意图的表达显示，但当前用户与计算机交互方式多样性以及信息交互多样性的快速发展，单一的界面交互模式已经不能满足人们日常的交互任务，因此如何提高人机交互的自然协作性成为了一个亟待解决的问题
3.多通道人机交互技术，通过一定的方法将多种通道进行协调，允许用户使用多个通道进行信息输入，并且能够通过多个通道给用户进行信息反馈。面对同一时刻的多种信息来源，快速发展的计算机处理技术进行灵活的多通道信息的交互，可显著提高人机交互的协调性、高效性和趣味性。
4.视觉通道、手势通道和语音通道作为人与外界交互的最基本、最常用的方式，具有直接性、自然性和双向性等行为特征，广泛应用于人机交互的研究中。通过一定的融合方法将多种通道进行协调，允许用户灵活选择主要通道，并允许多个辅助通道进行实时输入补充人机交互信息，丰富控制信息。用户可以通过更多的输入方式进行更为复杂的操作，并能够从计算机中获取更加丰富的信息，多通道融合计算的快速应用和发展对于提高使用者意图表达体验，提高意图表达准确性和灵活性有重要的现实意义。


技术实现要素：

5.为解决上述问题，本发明公开了基于主-辅通道融合的机械臂抓取定位方法，提供主通道主导的多通道融合策略，利用主通道语音控制与辅助通道视觉指示定位控制高效进行目标定位与抓取，利用指示定位与目标检测结合的目标定位方法，最大程度满足用户日常目标选择习惯，提高复杂环境下人机交互效率。
6.为达到上述目的，本发明的技术方案如下：
7.基于主-辅通道融合的机械臂抓取定位系统其特征在于：包括主通道语音模块、辅助通道手势模块、主-辅通道融合模块、计算机数据处理与通信模块和机械臂模块，其中主通道语音模块用于提供连续性机械臂语音控制命令，辅助通道手势模块用于获取kinect相机深度信息和rgb信息，并利用上述信息进行目标物体的指示定位，主-辅通道融合模块用于对主通道语音信息和辅助通道手势指示信息进行信息融合，得到kinect下目标物体具体位置、属性信息，计算机数据处理与通信模块用于将kinect下目标物体位置转换为机械臂下目标物体位置，并传输给机械臂控制模块进行目标物体抓取，最后机械臂模块对机械臂下目标物体进行轨迹规划与抓取。本系统同时提供基于主-辅通道融合的机械臂抓取定位方法，具体实现为语音通道获取用户机械臂目标物体抓取指令信息，手势通道获取手势信息和物体检测信息确定目标物体位置和属性信息，包括基于深度学习的指示行为目标选择
方法：基于深度学习实时检测21个手部关键点坐标信息，选择食指指尖和末端关键点指示方向得到目标物体方向，发布kinect坐标系下该直线方向tf变换；基于深度学习的目标检测方法：根据采集到的kinect相机深度信息和rgb信息，使用yolo v3网络结构训练数据集，获取相机视野范围内待选择目标物体位置和属性信息，发布kinect坐标系下tf变换；指示行为结合目标检测的目标定位方法：根据上述两种方法的直线方向和待选择目标物体位置信息，直线方向与待选择目标物体位置重合确定目标物体，并存储该目标物体属性信息和位置信息作为辅助通道提供的信息。对于采集到的主通道语音信息和辅助通道手势信息，采取主-辅通道融合算法确定的目标物体位置和属性信息。其中，主-辅通道融合算法具体实现为：根据所述目标物体位置和属性信息建立任务指令结构，匹配机械臂控制任务，建立连续性任务指令存储结构；根据主通道语音通道信息和并发性辅助手势通道信息，提取主通道目标物体属性和机械臂控制动作，提取目标物体具体三维位置和属性；在融合时间阈值内填充任务控制指令，填充包括主通道机械臂控制动作、主通道目标物体属性与辅助通道目标物体属性匹配、辅助通道目标物体三维位置；根据任务控制指令填充情况，进行任务指令存储结构更新。其中涉及主-辅通道融合算法的任务指令存储结构，其是一种“双向队列式”任务指令储存结构，采用单例设计模式，任务控制指令更新仅由主通道主导进行，不完整任务的删除仅由辅助通道完成。该存储结构任务指令经计算机数据处理与通信模块映射为机械臂控制指令，交由机械臂模块执行，对于辅助通道手势模块kinect下目标物体位置，需转换为机械臂坐标系下位置，具体实现为：根据辅助通道手势模块rgb信息中图像坐标系、像素坐标系和相机坐标系转化关系，结合机械臂模块机械臂位置，多次计算目标物体在相机坐标系和机械臂坐标系下坐标转换关系，获取坐标系变换矩阵，并计算kinect下目标物体在机械臂下位置，机械臂模块接收此位置进行轨迹规划并执行。
8.本发明的有益效果为：
9.1、解决特定环境下任务操作时，单一通道无法完整准确表达任务执行所需要的全部信息的问题。流程见附图1，本发明所述的主-辅通道融合算法针对不同环境下定义特定任务执行结构的方式，提出灵活选择当前环境下高识别率、高适应性主通道来提供任务结构主要信息，并在无法单独提供完整控制信息时，灵活选择并发性辅助通道来填补任务结构缺失信息，并根据环境与任务的不同，设置不同的任务结构与任务指标，本方法通过多个通道的实时输入，采取灵活选择适应当前环境的主通道提供关键性控制信息，并在无法单独执行任务时，灵活性选择并发辅助通道填充任务结构，以达到高效、灵活的任务方式。
10.2、解决传统多通道融合无法进行连续性任务融合的问题。本发明所述的主-辅通道融合算法提出了一种主通道控制任务生成和更新，辅助通道控制任务删除的“双向任务队列”储存结构。该储存结构采用单例模式确保整个系统仅有一个任务队列，排除其他通道生成任务的影响。该结构任务的生成仅仅依靠主通道，新任务按照顺序放置在队列末尾存储，该结构融合失败任务的删除仅仅依靠辅助通道，该方式确保该储存结构内不存在无法进行融合的任务指令。同时，该方法将多通道任务的融合过程与任务的执行过程进行解耦，该队列根据任务执行情况反馈来更新该“双向任务队列”。
11.3、解决当前控制方法无法切合用户日常操作习惯的机械臂目标定位问题。本发明提出采用视觉方式进行手部关键点实时检测，快速高效定位出21个手部关键点三维坐标信息，并灵活选择单根手指指尖和末端关键点指示得到目标物体方向。该方式基于深度学习
训练手部数据集，可快速有效的得到手部关键点的三维坐标，并能得到手部关键点与腕部关节的深度信息，为之后更灵活的手部关键点控制方式提供了更多的可能。
12.4、解决当前控制方法在多相同物体情况下，无法进行快速、准确物体识别和定位的问题。本发明所述的主-辅通道融合的机械臂抓取定位方法中目标检测和定位算法采用yolov3的网络结构，经训练进行候选目标物体框选，在kinect视觉相机下识别目标物体并得到该物体的三维坐标，将识别目标物体与kinect视觉坐标系发布tf变换，得到三维相对空间位置。同时，结合上一步选取的手指与指尖方向发布tf变换，其选中指向目标物体，并该目标物体属性与主通道物体属性进行匹配，匹配成功则确定真实目标物体。下一步根据坐标系转换关系，得到目标物体在机械臂坐标系下坐标，生成控制指令并发送给机械臂控制系统。
附图说明
13.图1为本发明本发明主-辅通道融合过程示意图。
14.图2为本发明主-辅通道融合机械臂抓取定位示意图。
15.图3为本发明基于深度学习的指示行为目标选择方法示意图。
16.附图标记说明：
17.1-计算机数据处理与通信模块，2-主通道语音模块，3-辅助通道手势模块，4-主-辅通道融合模块，5-机械臂模块。
具体实施方式
18.下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
19.如图所示，本发明提供了一种主-辅通道融合控制机械臂抓取定位的方法。由附图2所示，本主-辅通道融合的机械臂抓取定位系统包括计算机数据处理与通信模块1，主通道语音模块2，辅助通道手势模块3，主-辅通道融合模块4，机械臂模块5。其中，主通道语音模块2、辅助通道手势模块3、主-辅通道融合模块4均与计算机数据处理与通信模块1连接，计算机数据处理与通信模块1采集主通道语音模块2的语音指令，计算机数据处理与通信模块1与辅助通道手势模块3通信，该模块得到手部关键点指示方向与目标检测识别物体，依据空间延长线与目标物体交汇得到确定的目标物体，将结果反馈给计算机数据处理与通信模块1。计算机数据处理与通信模块1获取主-辅通道信息，通过图2所示融合算法进行多通道指令融合，融合结果传送给机械臂模块5，计算机数据处理与通信模块1与机械臂模块5通信控制机械臂抓取，机械臂模块5轨迹规划算法与抓取算法均由计算机1提供。
20.其具体步骤如下：
21.步骤1：使用前搭建主-辅通道融合的机械臂抓取定位系统，其中，机械臂模块5连接计算机数据处理与通信模块1，主通道语音模块2连接计算机数据处理与通信模块1，辅助通道手势模块3连接计算机数据处理与通信模块1，主-辅通道融合模块4连接计算机数据处理与通信模块1、主通道语音模块2和辅助通道手势模块3。
22.步骤2：使用前进行kinect视觉坐标系到机械臂base坐标系的坐标变换，得到视觉坐标系下目标物体在base坐标系的三维坐标。标定机械臂基座、机械臂末端夹取装置在视
觉系统、机械臂系统下三维坐标，得到机械臂坐标系与视觉系统坐标系变换关系。
23.步骤3：该主-辅通道融合的机械臂抓取定位系统运行，运行主通道语音模块和辅助通道手势模块，并使用主-辅通道融合算法进行信息融合，使用者手部需位于kinect相机正面检测范围内。
24.步骤4：计算机在运行该主-辅序前，实先定义控制指令结构：
“‘
动作’
‘
位置’
‘
确切物体
’”
，并设置机械臂“双向任务队列”，该队列包括：{控制指令结构，最近通道提供有效信息时间，任务融合并发性时间阈值，任务填充完整标志}，根据主、辅通道并发性信息采集，进行任务队列填充、更新。
25.步骤5：使用者运行主-辅通道融合的机械臂抓取定位系统，kinect视觉系统进行目标物体检测及框选位置确定，等待融合任务。使用者开始发布控制任务，同时使用者自由选择桌面上目标物体，发出语音控制，同时，使用基于深度学习的指示行为目标选择方法选择目标物体，并使用指示行为结合目标检测的目标定位方法进行目标物体定位。主-辅通道融合算法提取主通道动作主体与目标物体属性信息，主-辅通道融合算法提取辅助通道目标最终确定位置信息。主-辅通道融合算法判断采集信息时间阈值关系，进行主-辅通道信号融合，填充自定义控制指令结构。
26.步骤6：计算机实时反馈控制融合结果，满足融合条件，更新“双向任务队列”，并准备继续进行控制任务发布。计算机系统根据机械臂执行反馈更新“双向任务队列”，做到命令发布与执行解耦。
27.步骤7：机械臂连接计算机通信，轨迹规划到指定位置，“动作”指定物体，完成任务执行。
28.步骤8：机械臂完成任务执行，返回初始化位置。机械臂模块准备接收下一次控制指令。
29.其中，步骤2中涉及到的坐标系变换关系由下面方法实现：
30.主-辅通道融合的机械臂抓取定位系统所需坐标变换为：确定手指指示定位目标位置在机械臂坐标系下坐标。其中，关键在于得到手部关键点指尖与末端指向与目标检测物体匹配后，其基于相机坐标系坐标，求得目标物体相机坐标系下坐标，转换为基于机械臂底座的坐标。
31.具体转换公式为：
32.像素坐标(u，v)，深度depth，其转换为相机坐标系下坐标(x
c，
yc，zc)为：
[0033][0034][0035]
zc＝depth*d
[0036]
其中，f
x
和fy为相机的焦距，c
x
和cy为相机主点，由kinect相机标定内参确定，d为深度图里给的数据与实际距离的比例，一般为1000。
[0037]
对机械臂控制，其目标位置需转换至基于基座的机械臂坐标(xw，yw，zw)，公式为：
[0038]
uc＝h*uw
[0039]
其中h为相机坐标系到机械臂坐标系变换矩阵，uc为标定点在相机坐标系下坐标，
uw为标定点在机械臂坐标系下坐标，利用多组标定点进行最小二乘得到h。至此可得到手指指示目标物体在机械臂坐标系下坐标。
[0040]
其中，步骤3中涉及到的主-辅通道融合算法由下面方法实现：
[0041]
由附图2，自定义连续性任务结构“双向任务队列”，队列存储自定义机械臂控制指令：{“动作类型”，“目标位置”，“目标物体属性”，“任务融合并发性时间阈值”，“通道有效信息采集时间”，“任务填充完整标志”}，其中“动作类型”需信息匹配，决定是否生成任务；“目标位置”为机械臂额定运动需提供的参数信息；“目标物体属性”决定与目标检测结果匹配程度；“任务融合并发性时间阈值”根据各通道信息识别采集时间、融合时间与机械臂执行时间进行试验得到，决定有限任务融合时间阈值；“通道有效信息采集时间”决定任务队列更新时时间差值与时间阈值进行比较；“任务填充完整标志”利用进行任务队列更新判断。语音通道采集信息依据音量大小自适应控制主通道的开关，根据是否采集到“动作类型”决定是否新任务指令生成，新任务指令并发采集手部指示与目标识别与检测结果，目标属性与主通道“目标物体属性”进行匹配排除误指示带来的误差，“任务填充完整标志”决定本次融合任务完成，放置到任务队列末尾，该队列依次发送队首任务，并根据机械臂执行情况反馈更新任务队列。
[0042]
其中，步骤4中涉及到的满足主-辅融合任务的“双向任务队列”由下面方法实现：
[0043]“双向队列式”任务储存结构采用单例设计模式，确保主、辅通道分别采集信息时只存在一个循环的任务队列，其仅基于主通道信息匹配进行任务生成，方法为：根据主通道采集信息是否获得生成任务的信息映射控制任务生成，新任务生成后，需判断原“双向任务队列”队尾任务指令是否填充完整，若完整则生成新任务添加于队尾，若不完整判断是否正在进行融合，若超出任务融合阈值，则更新此任务，若未超出，则进行等待。同时，其仅基于辅助通道进行无效任务指令的删除，辅助通道每次访问任务队列末尾的单个任务指令，对该任务是否填充需根据该辅助通道与主通道信息输入时间差值与该任务指令的完整程度决定，若不满足融合阈值条件则删除该任务指令，该方式确保在任务队列中不存在不符合通道融合条件的任务指令。且该“双向队列式”任务储存结构的任务发放由计算机系统与机械臂系统进行通信，并根据任务执行情况反馈进行任务队列更新。
[0044]
其中，步骤5中涉及到基于深度学习的指示行为目标选择方法由下面方法实现：
[0045]
由附图3，其中，m为目标物体；ow为相机坐标系；oc为机械臂坐标系；o(u,v)为相机像素坐标系；
[0046]
由视觉识别算法首先识别得到手部21个关键点，该方法基于手部骨架模型提取与关键点标注，训练类似于人体姿态关键点所使用的cpm-convolutional pose machines网络，其多视角手部关键点进行3d投影到2d图片的映射网络训练，并通过少量迭代实现手部关键点检测。如图3目标物体为m，选取检测到的食指指尖关键点2与末端关键点1，得到手指指尖与手指末端在图像下的像素坐标(u1,v1),(u2,v2)，由上述坐标变换公式得到相机坐标系下的坐标p(x1,y1,z1)，q(x2,y2,z2),发布两者tf与目标识别到的m物体，手指指示方向交汇在m区域位置。由上述方法得到m在机械臂坐标系下坐标。
[0047]
其中，涉及到的指示行为结合目标检测的目标定位方法由下面方法实现：
[0048]
由附图3，本发明采用yolo v3的网络结构，对实验目标物体数据集进行训练，在手指指示之前进行目标物体的检测，以识别得到kinect相机下的所有训练目标物体，并用候
选框进行框选，如图3物体m，此时得到物体m的属性信息与三维位置坐标。对于单独物体的目标检测仅需要检测到该物体即可，但面对多个相同检测物体无法简单检测得到。本发明在得到目标检测候选框，如图3，并发布tf变换，得到检测物体与相机的相对位置。采用上述手指指示方式，发布指尖与指端的tf变换，其指向与候选目标物交汇得到确切目标物体，为减少指示误差，与主通道“目标物体属性”进行匹配，匹配成功即确定最终目标物体，并由上述坐标变换方法得到目标物体在机械臂坐标系下坐标。
[0049]
本发明高度符合用户日常目标选择习惯，指示行为结合目标检测的目标定位方法高效准确。与传统机械臂系统单通道操作模式相比，利用主-辅通道信息灵活性和互补性，采用自定义控制指令结构的方式，用户可根据当前通道与工作环境的适应匹配度，自定义选择主通道与辅助通道进行指令结构填充，将多个通道信息并行化填充指令结构的形式达到实时、精确、高效控制的目的。
[0050]
需要说明的是，以上内容仅仅说明了本发明的技术思想，不能以此限定本发明的保护范围，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰均落入本发明权利要求书的保护范围之内。