一种基于增强现实的无人仓库拣货机械手系统的制作方法

一种基于增强现实的无人仓库拣货机械手系统
1.应用领域
2.本发明涉及搬运机器人领域，特别是一种基于增强现实的无人仓库拣货机械手系统。


背景技术：

3.增强现实是一种将虚拟世界信息应用到现实世界中，实现虚拟的物体和真实的世界实时地“无缝”叠加到同一个场景中的新技术，增强现实技术作为虚拟现实的一个重要分支，能够将数据信息分层叠加在三维空间中，使观察者对现实世界产生新的体验，数据信息的主要形式是三维模型和三维动画。增强现实脱离了单纯的虚拟技术，允许用户在看到真实世界场景的同时又能看到和真实世界相结合的虚拟场景，不管是在视觉上，还是在交互上，ar系统都追求现实与虚拟的无缝实时融合，实现真正的虚实结合，从而达到增强真实世界环境的效果。
4.目前，我国物流存储仓库非自动化无人仓库仍占大多数，而物流仓储的核心是货仓的运转效率，据估算，仓储运营成本约占物流成本的20％，其中拣货成本又占仓储成本的70％，人工在仓储中很多环节中做识别、查找、搬运的工作，当长时间进行工作时，就会因为体力疲惫而提高出错率，降低拣货效率，此外，采用人工拣货的方式还存在货物倒塌而对人员造成安全威胁的风险。因此，开发一种简化无人仓库拣货装置以及程序，实现无纸化物流拣货工作，通过移动终端获取服务器中订单信息，识别货物编码来查找货物，终端显示路径及仓储虚拟信息，成为了重中之重。


技术实现要素：

5.本发明克服了现有技术的不足，提供了一种基于增强现实的无人仓库拣货机械手系统。
6.为达到上述目的本发明采用的技术方案为：一种基于增强现实的无人仓库拣货机械手系统，包括：滑动组件以及工作组件；
7.还包括可穿戴设备与摄像机构，所述摄像机构与所述可穿戴设备实现电性连接，所述可穿戴设备与机器人实现信号连接并把人体动作信号实时传送至机器人控制端上，所述机器人控制端用于控制机器人完成相应动作，所述可穿戴设备设置有显示屏，所述显示屏用于接收所述摄像机构实时拍摄的画面，所述摄像机构用于监测物品形状信息、外部环境信息以及人体动作信息；
8.仓库内物品表面对应设置有条形识别码，仓库还包括若干个光学追踪机构，所述光学追踪组件设置于无人仓库内，所述光学追踪机构用于追踪仓库内物品位置信息、仓库内障碍物位置信息以及机械手工作位置信息；
9.所述工作组件包括横架，所述横架上设置有滑动机构，所述滑动机构设置有固定块，所述固定块上配合连接有机械手，所述机械手与所述固定块一一对应设置，所述机械手自由端端部设置有万向机构；
10.所述滑动组件包括横向组件与竖向组件，所述横向组件与所述竖向组件垂直设置，所述横向组件包括第一横向滑动组件与第二横向滑动组件，所述竖向组件包括第一竖向滑动组件与第二竖向滑动组件，所述第一横向滑动组件与所述第二横向滑动组件对称设置，所述第一竖向滑动组件与所述第二竖向滑动组件对称设置。
11.进一步地，本发明的一个较佳实施例中，所述横向组件包括横向导轨，所述横向导轨上设置有横向导杆，所述横向导杆上配合连接有第一滑块，所述竖向组件一端与所述第一滑块配合连接，所述第一滑块用于带动所述竖向组件沿所述横向导杆滑动。
12.进一步地，本发明的一个较佳实施例中，所述竖向组件包括竖向导轨，所述竖向导轨上设置有竖向导杆，所述竖向导杆上配合连接有第二滑块，所述横架两端分别于所述第二滑块配合连接，所述第二滑块用于带动所述横架沿所述竖向导杆滑动。
13.进一步地，本发明的一个较佳实施例中，所述横向组件与所述竖向组件两端均设置有挡块，所述挡块一侧设置有限位件。
14.进一步地，本发明的一个较佳实施例中，所述横向导轨与所述竖向导轨均沿长度方向间隔设置有第一传感器，所述第一滑块与第二滑块上均设置有第二传感器，所述第一传感器与所述第二传感器实现信号连接。
15.进一步地，本发明的一个较佳实施例中，所述机械手设置有监测件，所述监测件用于监测机械手参数信息，所述机械手倒立设置，所述机械手为多段式联动结构，所述机械手上设置有摄像机构，所述摄像机构用于采集图像信息。
16.进一步地，本发明的一个较佳实施例中，所述万向机构上配合连接有仿生手，所述仿生手为可拆卸结构，所述仿生手与所述万向机构通过万向销连接。
17.本发明第二方面提供了一种基于增强现实的无人仓库拣货机械手系统的定位方法，应用于任一所述的一种基于增强现实的无人仓库拣货机械手系统，包括以下步骤：
18.获取真实场景环境信息，生成图像信息；
19.根据预先设置的特征点与所述图像信息中的目标特征点进行匹配，生成匹配目标信息；
20.对所述匹配目标信息进行跟踪并进行目标注册，获得目标注册信息；
21.对所述目标注册信息在模型库虚拟信息进行3d渲染；
22.将渲染后的信息传送至终端显示。
23.进一步地，本发明的一个较佳实施例中，一种基于增强现实的无人仓库拣货机械手系统的拣货方法，应用于任一所述的一种基于增强现实的无人仓库拣货机械手系统，包括以下步骤：
24.用户通过移动终端登录其账户以访问需挑选货物的信息列表；
25.通过跟踪与注册技术，基于选择订单信息，完成虚拟信息与真实场景之间的坐标变换；
26.获取目标区域与所提货物基本信息，读取货物条形识别码，以便使用者快速正确选择货物；
27.生成最佳拣货路径，通过移动终端控制机器人完成拣货动作。
28.进一步地，本发明的一个较佳实施例中，一种基于增强现实的无人仓库拣货机械手系统的人机交互方法，应用于任一所述的一种基于增强现实的无人仓库拣货机械手系
统，包括以下步骤：
29.获取现实人体姿态信息，提取现实人体姿态特征值，生成三维交互模型；
30.建立虚拟人体姿态信息，提取虚拟人体姿态特征值，生成虚拟空间模型；
31.通过三维交互模型实现现实人体姿态信息与虚拟人体姿态信息动态交互，生成交互信息；
32.建立搬运机器人操作空间，获取搬运机器人初始姿态信息，生成标定点位置信息；
33.将所述虚拟人物位置信息与所述标定点位置信息作对比，得出偏差率；
34.判断所述偏差率是否大于预设阈值；
35.若大于，生成补偿信息；
36.将所述补偿信息传送至终端。
37.本发明公开的一种基于增强现实的无人仓库拣货机械手系统，通过智能终端进行室内定位和虚拟增强信息的叠加显示，应用于无人仓库内，能够实现实时的室内导航功能、读取货物条形码对货物进行出入库的管理以及实时物体的识别，头戴显示器能够无纸化的看见拣货清单以及实时的控制机械手以最佳的路径完成拣货的过程，保证了拣货作业的最优化。此外，通过人机交互的方式实现运用机械手搬运、分拣货物，无需人员进入仓库来回跑动拣货，大大提高了拣货的效率的同时还保证了人员的安全。
附图说明
38.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他实施例的附图。
39.图1为拣货机器人整体结构示意图；
40.图2为滑动组件整体结构示意图；
41.图3为滑动组件内部结构示意图；
42.图4为工作组件结构示意图；
43.图5为拣货机器人的定位方法流程图；
44.图6为拣货机器人的拣货方法流程图；
45.图7为拣货机器人的人机交互方法流程图。
46.附图标记说明如下：1、滑动组件；2、工作组件；101、横架；102、滑动机构；103、固定块；104、机械手；105、万向机构；106、仿生手；107、监测件；108、摄像机构；109、旋转机构；201、横向组件；202、竖向组件；203、第一横向滑动组件；204、第二横向滑动组件；205、第一竖向滑动组件；206、第二竖向滑动组件；301、横向导轨；302、横向导杆；303、第一滑块；304、联轴器；305、电机；306、挡块；307、限位件。
具体实施方式
47.为了能够更加清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述，这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成，需要说明的是，在不冲突的情况
下，本技术中的实施例及实施例中的特征可以相互组合。
48.在本技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术保护范围的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。
49.在本技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本技术中的具体含义。
50.为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施方式。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本发明的公开内容理解的更加透彻全面。
51.实施例一：
52.本发明第一方面提供一种基于增强现实的无人仓库拣货机械手系统，如图1所示，包括：滑动组件1以及工作组件2。
53.如图1所示，所述工作组件2包括横架101，所述横架101上设置有滑动机构102，所述滑动机构102设置有固定块103，所述固定块103上配合连接有机械手104，所述机械手104与所述固定块103一一对应设置，所述机械手104自由端端部设置有万向机构105，所述万向机构105上配合连接有仿生手106，所述仿生手106为可拆卸结构，所述仿生手106与所述万向机构105通过万向销连接；所述机械手设置有监测件107，所述监测件107用于监测机械手104参数信息，所述机械手104倒立设置，所述机械手104为多段式联动结构，所述机械手104上设置有摄像机构108，所述摄像机构108用于采集图像信息，还包括可穿戴设备与摄像机构，所述摄像机构与所述可穿戴设备实现电性连接，所述可穿戴设备用于检测人体动作信息，所述可穿戴设备与机器人实现信号连接并把人体动作信号实时传送至机器人控制端上，所述机器人控制端用于控制机器人完成相应动作。
54.需要说明的是，如图4所示，横架101上铰接有滑动机构102，滑动机构102上倒立设置有两机械手104，滑动机构102能够带动机械手104左右滑动，机械手104基座上设置有旋转机构，仿生手106通过万向机构105配合，使得机械手104犹如人的手臂一样灵活，能够实现广角运动，灵活的完成拣货动作。另外，机械手104上设置有若干个不同类型传感器，传感器能够实时检测机械手的参数信息，包括机械手的旋转角度、移动速度、夹取力度以及路径信息等，传感器间实现信号互连，传感器与控制端实现电性连接，控制端能够实时接收传感器反馈的信息，使得机械手更智能化、在拣货过程中更安全。
55.如图2所示，所述滑动组件1包括横向组件201与竖向组件202，所述横向组件201与
所述竖向组件202垂直设置，所述横向组件201包括第一横向滑动组件203与第二横向滑动组件204，所述竖向组件202包括第一竖向滑动组件205与第二竖向滑动组件206，所述第一横向滑动组件203与所述第二横向滑动组件204对称设置，所述第一竖向滑动组件205与所述第二竖向滑动组件206对称设置；如图3所示，所述横向组件201包括横向导轨301，所述横向导轨301上设置有横向导杆302，所述横向导杆302上配合连接有第一滑块303，所述竖向组件202一端与所述第一滑块303配合连接，所述第一滑块303用于带动所述竖向组件202沿所述横向导杆302滑动；所述竖向组件包括竖向导轨，所述竖向导轨上设置有竖向导杆，所述竖向导杆上配合连接有第二滑块，所述横架两端分别于所述第二滑块配合连接，所述第二滑块用于带动所述横架沿所述竖向导杆滑动。
56.需要说明的是，一方面，竖向滑动组件铰接在横向滑动组件的滑块上，使得横向滑动组件能够带动竖向滑动组件滑动，横架铰接在竖向组件的滑块上，使得竖向滑动组件能够带动横架滑动，通过各滑动组件间的相互配合，使得机械手能够根据控制指令到达不同位置完成拣货动作，能够顺利的夹取货架上每个位置的货物。另一方面，导杆通过联轴器304相连，联轴器另一端与电机305相连，通过电机305驱动，从而带动滑块精准的滑动。
57.如图3所示，所述横向组件201与所述竖向组件202两端均设置有挡块306，所述挡块306一侧设置有限位件307；所述横向导轨与所述竖向导轨均沿长度方向间隔设置有第一传感器，所述第一滑块与第二滑块上均设置有第二传感器，所述第一传感器与所述第二传感器实现信号连接。
58.需要说明的是，滑动组件两端均设置有限位机构，限位机构可以是限位开关、磁敏感应限位器、干簧管磁感应限位器等，避免滑块在移动过程中超出限位范围而发生碰撞，保证了装置的安全。导轨上间隔设置有光电传感器或红外线传感器，能够实时的检测出机械手的位置信息，把信息反馈至终端上。
59.所述可穿戴设备设置有显示屏，所述显示屏用于接收所述摄像头实时拍摄的画面，所述摄像机构与可穿戴设备电性连接，所述摄像机构用于监测物品形状信息以及外部环境信息。
60.需要说明的是，首先，可穿戴设备能够是ar头盔，通过ar头盔对虚拟空间以及现实操作空间实现信号连接，将现实操作人员的人体姿态信息对其到虚拟世界中，提取现实世界人体特征，根据人体姿态信息建立三维交互模式，实现了人体操作控制搬运机器人，从而实现人机动作交互。其次，ar头盔还能够感知操作员周围环境信息，利用摄像头对现实环境进行标点识别，并将识别到的位置传送至显示屏上，从而实现虚拟现世界的内容与现实世界的内容交互重叠，使得现实世界与虚拟世界空间位置与姿态保持一致。
61.需要说明的是，通过智能终端进行室内定位和虚拟增强信息的叠加显示，应用于无人仓库内，能够实现实时的室内导航功能、读取货物条形码对货物进行出入库的管理以及实时物体的识别，头戴显示器能够无纸化的看见拣货清单以及实时的控制机械手以最佳的路径完成拣货的过程，保证了拣货作业的最优化。此外，通过人机交互的方式实现运用机械手搬运、分拣货物，无需人员进入仓库来回跑动拣货，大大提高了拣货的效率的同时还保证了人员的安全。
62.仓库内物品表面对应设置有条形识别码，仓库还包括若干个光学追踪机构，所述光学追踪组件设置于无人仓库内，所述光学追踪机构用于追踪仓库内物品位置信息、仓库
内障碍物位置信息以及机械手工作位置信息。
63.需要说明的是，相对于室外的环境，仓库内环境的布局更为复杂精细而且遮挡物较多、建筑墙壁以及货物架会导致十倍接收的gps信号很弱，达不到准确定位的要求，因此在室内需要采用wi
‑
fi指纹定位、三角定位、融合定位等方法进行定位。
64.需要说明的是，通过移动终端获取服务器中订单信息，利用仓库内的光学追踪机构识别仓库内货物对应的识别码来准确快速的定位货物，终端显示路径以及仓库内虚拟信息，通过人机交互的方式控制机械手完成拣货，不再需要花时间搜索仓库内的拣货地点，实现无纸化物流拣货工作，大大提高了拣货效率以及简化了拣货过程。
65.需要说明的是，由于仓库内货物较多遮挡严重，会产生多路径效应使得室内定位导航服务准确性和可靠性都不够，不能满足人们对室内导航定位精度的需求，在仓库内几米的误差就是不同的货架，面对不同的路径，为了提高拣货效率、就需要达到室内精确定位的要求。因此，将增强现实技术与传统室内定位技术结合，通过高性能的光学追踪系统，在虚拟与现实信息叠加的同时，提高室内导航的精确度。光学追踪系统能够实现实时的室内导航、读取货物条形码以及实时识别仓库内环境，通过这样一套系统来解放拣货人员的双手的同时还能够在头戴显示设备上看到无纸化的拣货清单以及实时的室内导航最佳路线，通过人机交互方式控制机械手拣货以提高拣货效率，在拣货的同时扫描货物上的识别码登记至服务器数据库中，实现货物数据的实时更新。
66.本发明第二方面提供了一种基于增强现实的无人仓库拣货机械手系统的定位方法，应用于任一所述的一种基于增强现实的无人仓库拣货机械手系统，如图5所示，包括以下步骤：
67.s102：获取真实场景环境信息，生成图像信息；
68.s104：根据预先设置的特征点与所述图像信息中的目标特征点进行匹配，
69.生成匹配目标信息；
70.s106：对所述匹配目标信息进行跟踪并进行目标注册，获得目标注册信息；
71.s108：对所述目标注册信息在模型库虚拟信息进行3d渲染；
72.s110：将渲染后的信息传送至终端显示。
73.需要说明的是，增强现实与虚拟现实创建完全虚拟的环境不同，增强现实是将虚实融合，将生成的虚拟环境信息应用到真实世界之中，让虚拟场景和真实世界叠加在一起，使之同时存在于一个空间之中，实现了数字化的真实世界。通过一个完整的增强现实系统包括对真实世界场景的录入、对特定对象的检测和识别、对摄像机的追踪定位、虚拟模型的渲染、实时的三维注册最终才能实现现实增强效果。
74.需要说明的是，增强现实技术的主要目的是实现虚实融合，实现虚实融合的关键就是跟踪注册技术，准确的将虚拟信息叠加到真实场景中所需要的位置上，保证虚拟物体与真实环境的相对位置不变，这个过程成为增强现实注册技术。在注册的过程中要求增强现实系统要实时获取真实场景，根据终端摄像机位置和角度等信息组建坐标系，然后叠加上虚拟信息的过程成为增强现实跟踪技术。增强现实跟踪注册技术可以是基于传感器的跟踪注册技术、基于机器视觉的跟踪注册技术、混合跟踪注册技术一种或多种组合。
75.进一步地，本发明的一个较佳实施例中，一种基于增强现实的无人仓库拣货机械手系统的拣货方法，应用于任一所述的一种基于增强现实的无人仓库拣货机械手系统，如
图6所示，包括以下步骤：
76.s202：用户通过移动终端登录其账户以访问需挑选货物的信息列表；
77.s204：通过跟踪与注册技术，基于选择订单信息，完成虚拟信息与真实场景之间的坐标变换；
78.s206：获取目标区域与所提货物基本信息，读取货物条形识别码，以便使用者快速正确选择货物；
79.s208：生成最佳拣货路径，通过移动终端控制机器人完成拣货动作。
80.需要说明的是，视觉拣货系统是要实现增强信息准确的显示在现实场景中适合的位置，而终端是一直处于移动状态，就需要保证增强信息在场景中是实时的跟随终端进行显示，要完成实时跟随终端的移动而变换显示的增强信息，就要实时处理摄像头所获取的场景，对应实时场景进行增强信息的叠加显示，也就是ar融合显示，ar融合显示的实质是将虚拟的增强信息变换到真实场景中显示，需要虚拟信息与真实场景之间有一个坐标的变换过程。ar融合显示中用到的摄像机成像模型是在跟踪与注册信息显示在真实场景的过程中，为了实现准确显示增强信息而进行的坐标系之间的变换。首先将真实场景中的标识图像投射在摄像机坐标系中，即世界坐标系到摄像机坐标的变换，之后通过透视投影将摄像机坐标系转化为图像坐标系，最后完成图像坐标系到物理平面坐标系之间的变换，即完成了虚拟的增强信息在真实中的显示定位。
81.进一步地，本发明的一个较佳实施例中，一种基于增强现实的无人仓库拣货机械手系统的人机交互方法，应用于任一所述的一种基于增强现实的无人仓库拣货机械手系统，如图7所示，包括以下步骤：
82.s302：获取现实人体姿态信息，提取现实人体姿态特征值，生成三维交互模型；
83.s304：建立虚拟人体姿态信息，提取虚拟人体姿态特征值，生成虚拟空间模型；
84.s306：通过三维交互模型实现现实人体姿态信息与虚拟人体姿态信息动态交互，生成交互信息；
85.s308：建立搬运机器人操作空间，获取搬运机器人初始姿态信息，生成标定点位置信息；
86.s310：将所述虚拟人物位置信息与所述标定点位置信息作对比，得出偏差率；
87.s312：判断所述偏差率是否大于预设阈值；
88.s314：若大于，生成补偿信息；
89.s316：将所述补偿信息传送至终端。
90.需要说明的是，通过三维注册技术对真实环境信息进行位置标定，并获取真实环境中需视觉增强的物体的空间位置，再将虚拟信息与真实环境信息相结合，以实现虚拟信息与真实环境相融合，增强现实的效果。三维注册技术能够计算出虚拟信息在真实环境中对应的位置，即获取虚拟信息与真实环境融合的三维坐标，通过获取的三维坐标，对虚拟场景进行处理，并在一定时间范围内将三维虚拟信息投射出去，使操作者观测到的虚拟信誉真实信息融合一致。另外，通过摄像机构对操作员的姿态信息进行检测，并计算其在规定坐标系下的坐标及状态，以此调整操作员视角下虚拟信息的投影图像，根据摄像机构采集到的图像信息，计算摄像机构的方向信息，并利用仿射变换，实现三维空间到二维空间的转换，从而使得虚拟信息能够与真实环境相融合，实现视觉增强的目的。
91.以上依据本发明的理想实施例为启示，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。