机器人控制方法及装置与流程

1.本技术涉及人工智能领域，特别涉及一种机器人控制方法及装置。


背景技术：

2.随着劳动密集型产业升级的需求不断增加，工业机器人在生产制造等领域的应用越来越广泛。工业机器人能够保持稳定可靠地运行，可以按照预先设定好的程序高效完成生产制造任务，在工业机器人作业时，通常需要获取周围环境，以根据周围环境控制机器人。
3.现有技术中获取周围环境的方法通常是在周围环境中安装摄像头，但是，机器人在工作时可能会进行移动，周围环境可能会由于机器人的移动产生盲区，导致控制失误。


技术实现要素：

4.本技术旨在提供一种机器人控制方法及装置，其能够在一定程度上减少周围环境中的盲区，从而在一定程度上减少控制失误。
5.根据本技术实施例的一个方面，提供了一种方法，包括：基于设置在机器人的关节上的视觉传感器，确定所述视觉传感器的视觉识别区域是否覆盖所述机器人所处的环境区域；若所述视觉识别区域未覆盖所述环境区域，则调整所述关节，直至所述视觉识别区域覆盖所述环境区域；在所述视觉识别区域覆盖所述环境区域之后，获取所述视觉识别区域中的环境数据；基于所述环境数据控制所述机器人。
6.根据本技术实施例的一个方面，提供了一种装置，包括：确定模块，配置为基于设置在机器的关节上的视觉传感器，确定所述视觉传感器的视觉识别区域是否覆盖所述机器人所处的环境区域；调整模块，配置为若所述视觉识别区域未覆盖所述环境区域，则调整所述关节，直至所述视觉识别区域覆盖所述环境区域；获取模块，配置为在所述视觉识别区域覆盖所述环境区域之后，获取所述视觉识别区域中的环境数据；控制模块，配置为基于所述环境数据控制所述机器人。
7.在本技术的一些实施例中，基于前述方案，所述确定模块配置为：获取所述视觉识别区域中的初始环境数据；基于所述初始环境数据，确定所述视觉识别区域是否受到遮挡；基于所述视觉识别区域是否受到遮挡，确定所述视觉识别区域是否覆盖所述机器人所处的环境区域。
8.在本技术的一些实施例中，基于前述方案，所述关节为多个，所述调整模块配置为：调整多个所述关节相对于所述机器人的基座的高度，直至所述视觉识别区域将所述环境区域的高度方向覆盖。
9.在本技术的一些实施例中，基于前述方案，所述控制模块配置为：基于所述环境数据，识别所述环境区域内的障碍物；获取所述障碍物与所述机器人之间的障碍距离；基于所述障碍距离，控制所述机器人在运动过程中避开所述障碍物。
10.在本技术的一些实施例中，基于前述方案，所述控制模块配置为：基于所述环境数
据，构建所述环境区域的环境图像；获取所述环境图像与预设图像之间的差异像素；基于所述差异像素，识别所述环境区域内的障碍物。
11.在本技术的一些实施例中，基于前述方案，所述控制模块配置为：所述视觉传感器有多个，基于多个所述视觉传感器中每个视觉传感器识别的环境数据，生成与所述每个视觉传感器对应的区域图像；将多个所述视觉传感器对应的多个区域图像进行拼接以构建所述环境图像。
12.在本技术的一些实施例中，基于前述方案，所述控制模块配置为：获取所述障碍物的位置信息和轮廓信息；基于所述位置信息和所述轮廓信息，确定所述障碍距离。
13.在本技术的一些实施例中，基于前述方案，所述环境区域包括安全区域、警示区域和危险区域，所述控制模块配置为：基于所述障碍距离，确定所述障碍物在所述安全区域、所述警示区域或所述危险区域；若所述障碍物在所述安全区域，则控制所述机器人正常运行；若所述障碍物在所述警示区域，则控制所述机器人降速运行，并进行与所述警示区域对应的告警；若所述障碍物在所述危险区域，则控制所述机器人停止运行，并进行与所述危险区域对应的告警。
14.在本技术的一些实施例中，基于前述方案，所述控制模块配置为：根据所述障碍物与所述机器人之间的障碍距离，控制所述机器人的运行速度，所述运行速度与所述障碍距离成正相关关系。
15.根据本技术实施例的一个方面，提供了一种计算机可读程序介质，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行上任一项所述的方法。
16.根据本技术实施例的一个方面，提供了一种电子装置，包括：处理器；存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如上任一项所述的方法。
17.本技术的实施例提供的技术方案可以包括以下有益效果：
18.在本技术的一些实施例所提供的技术方案中，基于设置在机器人的关节上的视觉传感器，确定视觉传感器的视觉识别区域是否覆盖机器人所处的环境区域，若视觉识别区域未覆盖环境区域，则调整关节，直至视觉识别区域覆盖环境区域，在视觉识别区域覆盖环境区域之后，获取视觉识别区域中的环境数据，基于环境数据控制机器人，由于视觉传感器是设置在机器人本体的关节上的，视觉传感器不会被机器人本体的移动遮挡产生盲区，同时，由于关节是活动的，关节的位置能够进行调节，避免了视觉传感器被机器人自身关节的运动遮挡，进而能够环境区域中的全部环境数据，因此，能够根据获取到的全部环境数据更好的控制机器人，从而在一定程度上减少控制失误。
19.应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本技术。
附图说明
20.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并于说明书一起用于解释本技术的原理。
21.图1示出了可以应用本技术实施例的技术方案的示例性系统架构的示意图；
22.图2示意性示出了可以应用本技术实施例的技术方案的机器人的结构示意图；
23.图3示意性示出了根据本技术的一个实施例的机器人控制方法的流程图；
24.图4示意性示出了本技术的一个视觉感知系统覆盖机器人所处环境区域的高度划分示意图；
25.图5示意性示出了本技术的一个视觉感知系统覆盖机器人所处环境区域的安全区域、警示区域及危险区域划分示意图；
26.图6示意性示出了本技术的一个视觉传感器观测图像的示意图；
27.图7示意性示出了本技术的一个控制系统示意图；
28.图8示意性示出了根据本技术的一个实施例的机器人控制装置的框图；
29.图9是根据一示例性实施例示出的一种电子装置的硬件图。
具体实施方式
30.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本技术将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
31.此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本技术的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本技术的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本技术的各方面。
32.附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
33.附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
34.图1示出了可以应用本技术实施例的技术方案的示例性系统架构100的示意图。
35.如图1所示，系统架构100可以包括控制设备101(终端设备可以为智能手机、平板电脑、便携式计算机、台式计算机、服务器中的一种或多种)、传输介质102、机器人103。传输介质102用以在控制设备101和机器人103之间提供通信链路。传输介质102可以包括各种连接类型，例如电传输介质、蓝牙传输介质、网络介质、有线通信介质、无线通信介质等等。
36.应该理解，图1中的控制设备101、传输介质102和机器人103的数目仅仅是示意性的。根据实现需要，可以具有任意数目的控制设备101、传输介质102和机器人103。比如控制设备101可以是多个服务器组成的服务器集群等。
37.图2示意性示出了可以应用本技术实施例的技术方案的机器人的结构示意图。
38.如图2所示，视觉传感器104可以分布在机器人103的多个关节上，并且在每个关节上可以分布多个视觉传感器104。
39.在本技术的一个实施例中，控制设备101基于设置在机器人103的关节上的视觉传感器104，确定视觉传感器104的视觉识别区域是否覆盖机器人103所处的环境区域，若视觉识别区域未覆盖环境区域，则调整关节，直至视觉识别区域覆盖环境区域，在视觉识别区域
覆盖环境区域之后，获取视觉识别区域中的环境数据，基于环境数据控制机器人103，由于视觉传感器104是设置在机器人103本体的关节上的，视觉传感器104不会被机器人103本体的移动遮挡产生盲区，同时，由于关节能够活动，关节的位置能够进行调节，避免了视觉传感器104被机器人103自身关节的运动遮挡，进而能够环境区域中的全部环境数据，因此，能够根据获取到的全部环境数据更好的控制机器人，从而在一定程度上减少控制失误。
40.需要说明的是，本技术实施例所提供的机器人控制方法一般由控制设备101执行，相应地，机器人控制装置一般设置于控制设备101中。但是，在本技术的其它实施例中，机器人103也可以与控制设备101具有相似的功能，从而执行本技术实施例所提供的机器人控制方法。
41.以下对本技术实施例的技术方案的实现细节进行详细阐述：
42.图3示意性示出了根据本技术的一个实施例的机器人控制方法的流程图，该机器人控制方法的执行主体可以是可以是图1中所示的控制设备101，比如可以是服务器。
43.参照图3所示，该机器人控制方法至少包括步骤s310至步骤s340，详细介绍如下：
44.在步骤s310中，基于设置在机器人关节上的视觉传感器，确定视觉传感器的视觉识别区域是否覆盖机器人所处的环境区域。
45.在本技术的一个实施例中，视觉传感器可以是嵌入式双目3d视觉传感器，可以将嵌入式双目3d视觉传感器嵌入机器人的关节，相比于将摄像头设置在周围环境中，设置在机器人本体的视觉传感器能够防止机器人遮挡视觉识别区域，从而在一定程度上减少控制失误。
46.在本技术的一个实施例中，关节可以有多个，每个关节上可以设置多个视觉传感器，多个视觉传感器可以在每个关节的外表面对称分布，以使每个关节上的多个视觉传感器能够将每个关节四周的环境区域全覆盖。
47.在本技术的一个实施例中，可以将每个关节上的多个视觉传感器沿着每个关节的一个横截面的边缘平均分布。例如，若某一关节设置3个视觉传感器，则在3个视觉传感器所在的横截面中，相邻的两个视觉传感器所在的半径之间的圆心角可以为120度；若某一关节设置6个视觉传感器，则在6个视觉传感器所在的横截面中，相邻的两个视觉传感器所在的半径之间的圆心角可以为60度；若某一关节设置2个视觉传感器，则在2个视觉传感器所在的横截面中，相邻的两个视觉传感器所在的半径之间的圆心角可以为180度；若某一关节设置4个视觉传感器，则在4个视觉传感器所在的横截面中，相邻的两个视觉传感器所在的半径之间的圆心角可以为90度。
48.在本技术的一个实施例中，每个关节上的多个视觉传感器可以分布在每个关节的不同高度方向，以使多个视觉传感器的视觉识别区域能够覆盖机器人所处的环境区域的全部高度，有利于控制机器人。
49.在本技术的一个实施例中，可以获取视觉识别区域中的初始环境数据，基于初始环境数据，确定视觉识别区域是否受到遮挡，基于视觉识别区域是否受到遮挡，确定视觉识别区域是否覆盖机器人所处的环境区域。
50.在本技术的一个实施例中，初始环境数据可以包括在调整关节之前，关节上的视觉传感器的视觉识别区域识别到的机器人所处的环境区域的面积、高度、是否有工作任务、工作任务所在位置、工作任务类型、是否有障碍物、障碍物所在位置、障碍物类型、环境区域
中可行走路线等。
51.在本技术的一个实施例中，机器人所处的环境区域可以是机器人所在的车间、机器人的工作区域、与机器人的工作区域在安全距离以内的区域或其他设定区域。
52.在本技术的一个实施例中，可以根据初始环境数据还原调整关节之前视觉传感器的视觉识别区域覆盖的环境区域图像，将还原的环境区域图像与预设图像进行比对，以确定调整关节之前视觉传感器的视觉识别区域是否被遮挡。
53.在本技术的一个实施例中，预设图像可以是机器人所处环境区域的图像。
54.继续参照图3，在步骤s320中，若视觉识别区域未覆盖环境区域，则调整关节，直至视觉识别区域覆盖环境区域。
55.在本技术的一个实施例中，若检测到视觉识别区域被遮挡，则调整关节的位置，直至视觉识别区域不被遮挡。
56.在本技术的一个实施例中，关节可以有多个，可以调整关节相对于机器人的基座的高度，直至视觉识别区域将环境区域的高度方向覆盖。
57.在本技术的一个实施例中，可以根据调整关节之前视觉识别区域中的初始环境数据，确定如何调整关节能够使视觉识别区域覆盖环境区域。
58.在本技术的一个实施例中，多个关节中的尾关节可以连接加工器具，在调整多个关节时可以不调整尾关节，以避免影响加工器具加工。
59.在步骤s330中，在视觉识别区域覆盖环境区域之后，获取视觉识别区域中的环境数据。
60.在本技术的一个实施例中，获取的环境数据可以包括机器人所处的环境区域的面积、高度、是否有工作任务、工作任务所在位置、工作任务类型、是否有障碍物、障碍物所在位置、障碍物类型、环境区域中可行走路线等。
61.在步骤s340中，基于环境数据控制机器人。
62.在本技术的一个实施例中，可以基于环境数据，识别环境区域内的障碍物，获取障碍物与机器人之间的障碍距离，基于障碍距离，控制机器人在运动过程中避开障碍物。
63.在本技术的一个实施例中，可以基于环境数据，构建环境区域的环境图像，获取环境图像与预设图像之间的差异像素，基于差异像素，识别环境区域内的障碍物。
64.在本技术的一个实施例中，获取差异像素之后，可以基于差异像素获取差异像素对应的物品的轮廓信息，基于轮廓信息判断差异像素对应的物品是障碍物或加工对象，以将障碍物和加工对象进行区分。
65.在本技术的一个实施例中，获取差异像素之后，可以基于差异像素获取差异像素对应的物品的位置信息，基于位置信息判断差异像素对应的物品是障碍物或加工对象，以将需要加工的工件与放置在储存区的备用工件进行区分。
66.在本技术的一个实施例中，预设图像可以是机器人所处环境区域的图像。
67.在本技术的一个实施例中，视觉传感器可以有多个，可以基于多个视觉传感器中每个视觉传感器识别的环境数据，生成与每个视觉传感器对应的区域图像，将多个视觉传感器对应的多个区域图像进行拼接以构建环境图像。
68.在本技术的一个实施例中，可以获取障碍物的位置信息和轮廓信息，基于位置信息和轮廓信息，能够确定机器人相对于障碍物外表面的距离，进而更准确的确定障碍距离。
69.在本技术的一个实施例中，环境区域可以包括安全区域、警示区域和危险区域，可以基于障碍距离，确定障碍物在安全区域、警示区域或危险区域；若障碍物在安全区域，则控制机器人正常运行；若障碍物在警示区域，则控制机器人降速运行，并进行与警示区域对应的告警；若障碍物在危险区域，则控制机器人停止运行，并进行与危险区域对应的告警，相比于只为机器人设定危险区域，在危险区域检测到障碍物则紧急停止，机器人先减速再停止，能够防止紧急停止使机器人损坏。
70.在本技术的一个实施例中，机器人位于危险区域中，警示区域位于危险区域外，安全区域位于警示区域外，随着障碍物由安全区域接近机器人，机器人由正常运行变为降速运行、由降速逐渐停止运行，从而能够防止紧急停止使机器人损坏，延长机器人的使用寿命。
71.在本技术的一个实施例中，可以根据障碍物与机器人之间的障碍距离，控制机器人的运行速度，运行速度与障碍距离成正相关关系，随着障碍物接近机器人逐渐降低机器人的运行速度，能够延长机器人的使用寿命。
72.在本技术的一个实施例中，障碍物可以是物品、动物或人。
73.在本技术的一个实施例中，本技术提供一种机器人控制系统，包括视觉感知系统、控制处理系统和执行系统，视觉感知系统由视觉传感器组成；控制处理系统由计算机组成，包含图像拼接程序，物体识别程序，距离计算程序，指令控制程序；执行系统包含机器人电机控制系统，警示灯控制系统，种机器人控制系统用于执行上述机器人控制方法。
74.在本技术的一个实施例中，以多关节机器人为例，在机器人结构上安装双目视觉传感器，安装位置可以包括基座、各个关节以及抓手，经过合适的位置选择后，来实现对于机器人运动空间附近范围的覆盖。当机器人运动时，视觉传感器随机械臂本体一起移动，多个传感器模组相互配合，不会造成遮挡，不会出现视角盲区。
75.在该实施例中，基座上可以设置有3-6组双目嵌入式3d视觉传感器，并相隔60
°-
120
°
，对称分布，实现全方位的周围环境观测，及时地将机器人运动区域附近较低高度范围内的环境数据反馈给控制系统。
76.在该实施例中，第一关节上可以设置有2-4组双目嵌入式3d视觉传感器，并相隔90
°-
180
°
，其对称地分布在第一关节运动方向的前部和后部，实现运动方向上的无死角周围环境观测，及时地将机器人运动区域附近中等高度范围内的环境观测信息反馈给控制系统。
77.在该实施例中，第四关节上可以设置有2-4组双目嵌入式3d视觉传感器，并相隔90
°-
180
°
，其对称地分布在第四关节的两侧，实现运动方向上的无死角周围环境观测，及时地将机器人运动区域附近较高高度范围内的环境观测信息反馈给控制系统。
78.在该实施例中，第六关节中的腕部结构上可以设置有2-4组双目嵌入式3d视觉传感器，并相隔90
°-
180
°
，其水平对称地分布在腕部结构的两侧。实现对于执行端运动区域的无死角观测，及时地将执行端运动路径上的环境观测信息反馈给控制系统。
79.在该实施例中，基座、第一关节末端、第四关节末端、第六关节末端处于静止状态时，视觉感知系统实现机器人运动区域附近的全面覆盖，由于视觉感知系统中的视觉传感器相对于基座的高度不同，如图4所示，视觉感知系统能够覆盖机器人所处环境区域的较低高度a区域、中间高度b区域和较高高度c区域，图4示意性示出了本技术的一个视觉感知系
统覆盖机器人所处环境区域的高度划分示意图，实时传递周围环境图像与位置信息给计算机。
80.在该实施例中，基座、第一关节末端、第四关节末端、第六关节末端处于运动状态时，相应的视觉传感器同样进行相应运动，视觉传感器视角范围不受影响。视觉感知系统实现机器人运动区域附近的全面覆盖，实时传递周围环境图像与位置信息给计算机。
81.在该实施例中，机器人的基座上设置的3-6组双目嵌入式3d视觉传感器，第一关节4组双目嵌入式3d视觉传感器，第四关节上设置的2-4组双目嵌入式3d视觉传感器，机器人第六关节中腕部结构上设置的2-4组双目嵌入式3d视觉传感器的摄像头帧率60-120fps，像素尺寸为6.0
×
6.0-18.0
×
18.0μm,视角为120-180
°
，焦距为2.95 /-5％mm-5.95 /-5％mm,重量为30-60g。
82.本技术提出的机器人控制方法可以应用于各种机器人，如图5举例所示，机器人均可通过本技术提出的机器人控制方法实现安全区域、警示区域及危险区域的全面覆盖，保证采集到的图像与距离信息的准确性，实现对突发状况的及时处理，保护机器人本体与人员，保证系统的稳定性，图5示意性示出了本技术的一个视觉感知系统覆盖机器人所处环境区域的安全区域、警示区域及危险区域划分示意图。
83.本技术通过多模组双目视觉传感器组成的视觉感知系统采集环境图像信息，并实时反馈给计算机组成的控制处理系统，控制处理系统进行图像拼接，物体识别，距离计算，指令更改，输出结果影响执行系统。
84.在本技术的一个实施例中，图6示意性示出了本技术的一个视觉传感器观测图像的示意图，如图6所示，将本技术应用于工业机器人本体后，使用多组双目3d视觉传感器601同时对目标物体进行观测，并将观测到的图像实时传递给计算机。利用视觉双目三维成像原理，多组双目3d视觉传感器601协同观测，在同一时刻从不同方位拍摄物体的图像，通过这些图片的特征来重建物体的空间位置和模型。双目3d视觉传感器601观测视野范围内环境信息，捕捉到正在接近物体，及时将物体的轮廓信息，空间位置信息以图像形式反馈给控制处理系统。各组双目3d视觉传感器601同时工作，实时传输同一物体不同角度的不同轮廓与位置信息给控制处理系统，控制处理系统整合这些信息，并进行拼接，识别与计算。
85.在该实施例中，多组双目3d视觉传感器601协同观测的工作模式实现了对于周围环境的全面覆盖，提高了标定精度，确保了绝对定位误差处于极低的可接受的范围内。
86.在该实施例中，双目3d视觉传感器601可以是图2中视觉传感器104。
87.在本技术的一个实施例中，图7示意性示出了本技术的一个控制系统示意图，如图7所示，基本步骤是：由传感器模组1
……
传感器模组n等多组传感器模组构成的视觉传感器获取图像的形状与位置信息，并且传递给控制处理系统；控制处理系统的图像拼接程序对于获取的图像进行拼接，物体识别程序判断是人或者是其他物体；距离计算程序对目标距离进行测算，判断目标是在安全区域，警示区域或者危险区域；控制处理系统的指令更改程序控制机器人的执行系统的机器人电机和警示灯。
88.在该实施例中，系统随着人员的接近，机器人的运行速度可以逐步降低直至完全停止；而随着人员离开监控区域，机器人会自动恢复运行状态；随着机器人的运动轨迹，来即时改变监控区域；无需紧急制动，机器人始终保持使能状态，恢复运行更快。
89.在该实施例中，机器人基座全方位观测的传感器模组、机器人的第二关节和第四
关节向运动方向探测的传感器模组、机器人手腕处朝向工作目标探测的传感器模组检测周围环境，实时传输图像信息与位置信息给控制处理系统，控制处理系统进行图像拼接与计算。拼接结果显示有物体靠近机器人工作空间，首先识别靠近物是人或者其他物体。识别结果显示靠近物是人或者其他物体。距离计算结果显示物体处于安全区域内，控制处理系统不更改控制指令，机器人依然保持原来的状态进行运转，运转状态指示灯显示绿色，并且保持对周围环境的检测。
90.在该实施例中，距离计算结果显示物体到达警示区域的范围，控制处理系统更改控制指令，机器人首先降低自身电机运转速度，之后将运转状态指示灯转变为黄色，并且发出黄色警告灯或警报声，提醒人员进入警示区域，双目视觉传感器保持对人员的检测状态，人员越接近机器人，机器人运转速度越慢，当到达机器人危险区域的范围时，机器人完全停止运转，双目视觉传感器保持对周围环境的检测。
91.在该实施例中，距离计算结果显示物体已经进入危险区域范围内，控制处理系统更改控制指令，机器人已经停止运转，此时将运转状态灯转变为红色，并且发出红色警告灯或警报声，提醒工作人员尽快离开危险区域，双目视觉传感器保持对周围环境的检测。
92.在该实施例中，距离计算结果显示物体离开机器人危险区域时，控制处理系统更改控制指令，运转状态灯由危险级别转变为警示级别，警示灯由红色转变为黄色，并且机器人开始缓慢恢复运转，双目视觉传感器保持对周围环境的检测。
93.在该实施例中，距离计算结果显示物体离开机器人警示区域时，控制处理系统更改控制指令，相关运转状态灯转变为绿色，警示灯或警示声停止，机器人恢复工作时正常运动速度，双目视觉传感器保持对周围环境的检测。
94.如此循环往复，持续观察周围环境，并实时反馈给控制处理系统控制系统。多个目标同时出现时，以最靠近机器人工作区域的物体为主要监测目标，并反馈给控制处理系统，进行指令更改。
95.在该实施例中，通过多个双目3d视觉传感器相互配合，实现机器人工作区域附近视角的全面覆盖，保证了采集到的图像与距离信息的准确性；实现突发状况的及时处理，保证了系统的稳定性。嵌入式双目3d视觉感知系统使机器人具备识别物体、分析图像、处理突发状况等高级功能，能够实现对于人员的无接触检测，随着人员的接近，系统能够进行警告并且改变机器人运动速度，实现对于机器人本体与工作人员的保护。视觉感知系统大大降低了紧急停止这种突发状况对于生产线造成的不良影响，方便了机器人的调试和维修。嵌入式双目3d视觉感知技术可以建立虚拟的安全区域，这种区域设计可以达到节省空间，允许人员进入，无需紧急制动的效果。视觉感知系统将机器人的周围区域划分为危险、警示、安全“三个区域”，能够分区域进行相应控制反馈，帮助机器人始终保持使能状态，可以很快恢复正常运转。双目视觉感知技术无需接触、感知范围大、感知信息丰富等优点，帮助工业机器人加强环境感知能力。
96.以下介绍本技术的装置实施例，可以用于执行本技术上述实施例中的机器人控制方法。对于本技术装置实施例中未披露的细节，请参照本技术上述的机器人控制方法的实施例。
97.图8示意性示出了根据本技术的一个实施例的机器人控制装置的框图。
98.参照图8所示，根据本技术的一个实施例的机器人控制装置800，包括确定模块
801、调整模块802、获取模块803和控制模块804。
99.在本技术的一些实施例中，基于前述方案，确定模块801配置为基于设置在机器的关节上的视觉传感器，确定视觉传感器的视觉识别区域是否覆盖机器人所处的环境区域；调整模块802配置为若视觉识别区域未覆盖环境区域，则调整关节，直至视觉识别区域覆盖环境区域；获取模块803配置为在视觉识别区域覆盖环境区域之后，获取视觉识别区域中的环境数据；控制模块804配置为基于环境数据控制机器人。
100.在本技术的一些实施例中，基于前述方案，确定模块801配置为：获取视觉识别区域中的初始环境数据；基于初始环境数据，确定视觉识别区域是否受到遮挡；基于视觉识别区域是否受到遮挡，确定视觉识别区域是否覆盖机器人所处的环境区域。
101.在本技术的一些实施例中，基于前述方案，关节为多个，调整模块802配置为：调整多个关节相对于机器人的基座的高度，直至视觉识别区域将环境区域的高度方向覆盖。
102.在本技术的一些实施例中，基于前述方案，控制模块803配置为：基于环境数据，识别环境区域内的障碍物；获取障碍物与机器人之间的障碍距离；基于障碍距离，控制机器人在运动过程中避开障碍物。
103.在本技术的一些实施例中，基于前述方案，控制模块804配置为：基于环境数据，构建环境区域的环境图像；获取环境图像与预设图像之间的差异像素；基于差异像素，识别环境区域内的障碍物。
104.在本技术的一些实施例中，基于前述方案，控制模块804配置为：视觉传感器有多个，基于多个视觉传感器中每个视觉传感器识别的环境数据，生成与每个视觉传感器对应的区域图像；将多个视觉传感器对应的多个区域图像进行拼接以构建环境图像。
105.在本技术的一些实施例中，基于前述方案，控制模块804配置为：获取障碍物的位置信息和轮廓信息；基于位置信息和轮廓信息，确定障碍距离。
106.在本技术的一些实施例中，基于前述方案，环境区域包括安全区域、警示区域和危险区域，控制模块804配置为：基于障碍距离，确定障碍物在安全区域、警示区域或危险区域；若障碍物在安全区域，则控制机器人正常运行；若障碍物在警示区域，则控制机器人降速运行，并进行与警示区域对应的告警；若障碍物在危险区域，则控制机器人停止运行，并进行与危险区域对应的告警。
107.在本技术的一些实施例中，基于前述方案，控制模块804配置为：根据障碍物与机器人之间的障碍距离，控制机器人的运行速度，运行速度与障碍距离成正相关关系。
108.所属技术领域的技术人员能够理解，本技术的各个方面可以实现为系统、方法或程序产品。因此，本技术的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
109.下面参照图9来描述根据本技术的这种实施方式的电子设备90。图9显示的电子设备90仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
110.如图9所示，电子设备90以通用计算设备的形式表现。电子设备90的组件可以包括但不限于：上述至少一个处理单元91、上述至少一个存储单元92、连接不同系统组件(包括存储单元92和处理单元91)的总线93、显示单元94。
111.其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元91执行，
使得所述处理单元91执行本说明书上述“实施例方法”部分中描述的根据本技术各种示例性实施方式的步骤。
112.存储单元92可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)921和/或高速缓存存储单元922，还可以进一步包括只读存储单元(rom)923。
113.存储单元92还可以包括具有一组(至少一个)程序模块925的程序/实用工具924，这样的程序模块925包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
114.总线93可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
115.电子设备90也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备90交互的设备通信，和/或与使得该电子设备90能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口95进行。并且，电子设备90还可以通过网络适配器96与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器96通过总线93与电子设备90的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备90使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
116.通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本技术实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本技术实施方式的方法。
117.根据本技术一个实施例，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本技术的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本技术各种示例性实施方式的步骤。
118.根据本技术一个实施例，用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本技术的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
119.所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器
(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
120.计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
121.可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
122.可以以一种或多种程序设计语言的任意组合来编写用于执行本技术操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c 等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
123.此外，上述附图仅是根据本技术示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
124.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本技术的范围仅由所附的权利要求来限制。