一种基于机器视觉的智能售餐机器人及其使用方法与流程

1.本发明涉及服务机器人技术领域，特别是涉及一种基于机器视觉的物体抓取及方法。


背景技术：

2.服务机器人是目前机器人领域的一个重要分支，随着社会的发展，生活、工作节奏的加快，随之酝酿而生的将是庞大的服务机器人市场。与传统工业机器人具有鲜明区别的地方在于服务机器人工作在一个无序的、非结构化的环境中。工业机器人可能只需要事先规划好工作方式，就能够按照规定的动作往返操作，但是服务机器人工作环境时常会有变化，机器人需要更强的认知能力和执行力，所以对机器人的智能性及自适应性提出更高要求。如何提供一种能够解决高校食堂宿舍无人售餐的服务机器人成为一个亟待解决的技术问题。


技术实现要素：

3.本发明的目的是提供一种基于机器视觉的智能售餐机器人，以提供能够解决高校食堂宿舍无人售餐的问题。
4.为了实现上述目的，本发明提供了如下方案：
5.一种基于机器视觉的智能售餐机器人，其具体包括包括：智能点餐模块、路径规划模块、机器视觉模块、坐标转换模块、红外定位模块和机械手臂系统；其中机器视觉模块和目标检测模块相连，机器视觉模块用来获取机械手系统抓取范围内物体的rgb信息和视觉系统与物体之间的深度信息，并将所有物体的rgb信息和深度信息发送至目标检测模块；目标检测模块和坐标转换模块相连，目标检测模块用于对每个餐品的rgb信息进行分类，以此确定每个餐品的名称，并且根据每个餐品的深度信息确定每个餐品在相机坐标下的三维坐标；同时将每个餐品的名称和相机坐标系下的三维坐标发送给坐标转换模块；坐标转换模块用于将每个物体的相机坐标下的三维坐标转换成机械手坐标系下的三维坐标；智能点餐系统用以提供用户便捷的点餐操作，将获取餐品信息传递至计算机；路径规划模块与机械手臂系统连接，路径规划模块用于根据用户需要抓取物体的机械手坐标系下的三维坐标进行路径规划，获取物体抓取路径，并将物体抓取路径发送给所述机械手抓取模块；红外定位模块检测餐品所在位置；机械手臂系统用于根据所述物体抓取路径抓取用户需要餐品。
6.本发明采用的技术方案是：在物体位资确定方面，采用张正友标定法，为了可以快速确定餐品位置，首先引入归一化相机的模型。在该模型中，相机的f＝1，且成像点的中心是图像坐标系的原点(x,y)。
7.根据相似三角形原理，不难得出：
8.x＝u/w
9.y＝v/w
10.归一化相机在实际情况下是不存在的，它与真实摄像机存在两点差异：
11.(1)焦距不为1，且由于图像的最终位置是利用像素进行测量的，因此模型必须将感光体的间距考虑在内，考虑到感光体在x方向和y方向上的间距是不同的，因此引入两个比例因子：称为焦距参数。原本的映射关系就变成了：
[0012][0013][0014]
(2)像素坐标系的坐标原点和图像坐标系的并不重合，这就需要转移的位置，因此增加偏移量参数：δ
x
，δ
y
。同时引入偏移参数γ用于控制投影位置x作为真实世界中高度v的函数，原本的映射关系就变成了：
[0015][0016][0017]
另外考虑到摄像机外部因素，摄像机的位置并非总是位于世界坐标系的原点，尤其是在考虑两台及以上摄像机的情形下。为此，需要通过坐标变换，在真实世界通过投影模型前，得出摄像机坐标系中真实世界点w，即：
[0018][0019]
观察单目摄像机的投影模型不难发现：3d世界坐标中的点，在图像的投影上都要除以分母w，这就使得投影成为非线性的，不方便研究。因此对2d图像点和3d世界点的表达形式做出修改，使得投影方程变为线性的。
[0020]
利用张正友标定法对相机内参进行求取，其具体思路是：用于标定的棋盘是三维世界的一个平面∏，它在成像平面所成的像为另一个平面π。由于标定棋盘的角点坐标已知，图像的角点可以通过角点识别算法求得，通过两个平面的对应点的坐标，就可以求解出单应矩阵h，从而求出摄像机的内参数。
[0021]
设棋盘所在平面为世界坐标系下的z＝0的平面。这样，棋盘上的任意角点在世界坐标系中可表示为(x,y,0)。代入映射方程可得：
[0022][0023]
用单应矩阵可以表示为：
[0024]
[0025]
通过最小二乘法得到的内参数的解，若是为了进一步增加标定精度，可以采用最大似然估计法对上述求解结果进行优化。最终根据相机内外参数进行求解，得到精准的餐品位资。
[0026]
其具体操作方法：利用目前计算机视觉方面的库，其中以opencv(open source computer vision library)为主。利用其丰富的视觉函数库，和强大的平台适用性，对目标位资进行精确求取。主要工作流程为：
[0027]
(1)寻找棋盘：
[0028][0029]
(2)绘制棋盘：
[0030][0031]
(3)摄像机单目标定：
[0032][0033]
(4)计算矫正映射：
[0034][0035]
(5)重映射(对图像进行无畸变化处理)：
[0036][0037]
对餐品进行标定之后，利用已经训练好的卷积神经网络的目标检测算法yolo来对餐品进行识别分类，将分类信息传送至上位机。
[0038]
利用rrt算法对机械臂抓取路径进行规划，rrt算法是一种基于概率采样的搜索方法，它采用一种特殊的增量方式进行构造，这种方式能迅速缩短一个随机状态点与树的期望距离。该方法的特点是能够快速有效的搜索高维空间，通过状态空间的随机采样点，把搜索导向空白区域，从而寻找到一条从起始点到目标点的规划路径。它通过对状态空间中的采样点进行碰撞检测，避免了对空间的建模，能够有效的解决高维空间和复杂约束的路径规划问题。
[0039]
本发明公开了机械臂视觉识别抓取、无人餐车智能售货等功能，包括一下步骤：餐车在学生宿舍楼道来回缓慢移动，检测有人会自动停下，学生可以在触摸屏上选择需要的餐点；机械臂获取信息并且对餐品进行图像识别获取彩色图和深度；对目标物体的所在区域进行分割，并进行目标物体识别；获取完成识别后的目标物体的位姿；根据所述位姿进行运动规划；根据所述运动规划完成目标餐品的抓取；将抓取餐品放置在餐盘上称重并计算价格；外部显示屏显示价格和二维码等待付款；付款完成餐车上面阀门打开将餐品送出。解决了学生因课业繁忙无法外出买饭，同时机械臂有较高的识别准确率和位资估计精度，根据图像识别和远程控制实现智能打饭操作，同时可以应对复杂的工作环境，在使用过程中十分便捷，一定程度上提升了无人售货的智能性与普遍性，可广泛应用与各大高校宿舍及
食堂中。
附图说明
[0040]
图1为本发明提供的一种基于机器视觉的智能售餐机器人的组成结构图；
[0041]
图2为本发明提供的一种基本工作流程图；
[0042]
图3为本发明提供的一种智能点餐流程图；
[0043]
图4为本发明提供的机械臂抓取流程图；
[0044]
图5为本发明提供的机械臂基本结构图。
[0045]
图6为本发明提供的rrt算法机械臂路径规划流程图。
[0046]
图7为本发明提供的rrt算法仿真路径。
具体实施方式
[0047]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0048]
本发明的目的是提供一种基于机器视觉的智能售餐机器人，以提供能够解决高校食堂宿舍无人售餐的问题。为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。如图1所示其具体包括智能点餐模块、路径规划模块、机器视觉模块、坐标转换模块、红外定位模块和机械手臂系统。
[0049]
智能点餐模块主要包括外部显示屏和计算机，在用户需要进行点餐时，可以根据外部显示屏上提供的餐品信息进行选择，然后计算机将所得信息传递至ros系统。
[0050]
目标检测模块、路径规划模块和坐标转化模块均集成在ros系统之中。机器视觉模块主要包括深度相机和支架，所述深度相机包括位于中央的rgb摄像头和周围均匀分布的红外摄像头。深度相机的中央镜头是普通的rgb摄像头，用于采集周围环境的彩色图像，获得环境中物体的rgb信息，得到的rgb信息用来对环境中的物体进行分类。目标检测模块利用已经训练好的卷积神经网络的目标检测算法
‑
yolo来对餐品进行识别分类。
[0051]
目标定位模块用于根据每个物体的深度信息确定每个物体在相机坐标系下的三维坐标；具体的，目标定位模块给出了每个物体基于相机坐标系下的三维坐标。主要是通过将相机内外参数经张正友标定法进行标定，同时经坐标转换模块，将相机坐标系下的三维坐标转化为机械臂坐标系下的三维坐标，用以机械臂进行抓取。
[0052]
本发明的机械手臂系统包括机械臂基座、机械臂和末端手抓，其位于餐车内部，可以用来完成对不同餐品的抓取工作。机械臂设置在餐车内部的机械臂基座上；末端抓手设置在所述机械臂的末端。具体的，机械手臂系统包括机械臂基座、机械臂以及末端手爪，所述的机械臂基座里面装有可编程的路径规划控制器，通过ros控制可以不断优化路径规划算法来使得规划器所规划出的抓取路径更加安全、便捷；机械臂的末端手爪具有3个自由度，可以实现对指定餐品的抓取。具体的机械手臂系统为具有六个自由度的机械臂，如图5所示，理论上可以到达餐车内部的任意一个位置，来实现末端手爪对不同餐品的抓取工作。
[0053]
路径规划子模块，主要采用改进的rrt算法，可以根据用户的不同需求来对机械手
臂坐标系下的三维坐标进行路径规划，获取最为便捷、安全的物体抓取路径。路径规划子模块路径规划算法—rrt算法规划出一条安全、便捷且仿人的抓取路径信息，然后将抓取路径信息传输给机械臂手系统实施具体的目标物体抓取工作。如图7所示为rrt算法仿真路径。
[0054]
基本算法伪代码如下：
[0055][0056]
本发明中所述的ros系统(机器人操作系统)可以将目标检测算法和机械臂抓取算法全部集成到一起，且提供了一种订阅式的通信框架用以简单、快速地构建分布式计算系统。ros是一个分布式的进程框架，进程被封装在易于被分享和发布的程序包和功能包中，ros也支持一种类似于代码储存库的联合系统，在该系统中，能够实现工程的协作与发布，此设计可以使一个工程的开发到实现从文件系统到用户接口完全独立决策。