机器人视觉识别定位方法

1.本发明涉及机器人运动控制的技术领域，特别涉及机器人视觉识别定位方法。


背景技术：

2.扫地机器人等智能家居清扫机器人用于对固定区域环境进行自动清扫。扫地机器人的运动范围直接决定其清扫面积的大小。现有技术都是预先设定扫地机器人的运动路径，这样扫地机器人会沿着预定运动路径来回往复运动，从而对预定运动路径所覆盖的地面区域进行清扫。上述方式需要在扫地机器人每次启动时预先设定运动路径数据，这需要用户手动更新扫地机器人的运动路径数据，从而增加了用户的工作负担。此外，扫地机器人沿着预定运动路径运动将无法全面覆盖当前所处环境的全部地面区域，无法使扫地机器人进行实时可变的地面清扫操作，以及降低扫地机器人运作的自动化和智能化程度。


技术实现要素：

3.针对现有技术存在的缺陷，本发明提供机器人视觉识别定位方法，其从机器人当前所处环境的全景影像中识别得到若干预定标识物的存在位置信息，以此确定机器人在所处环境的活动边界线分布信息，从而确定机器人的可活动范围；当机器人在可活动范围内部运动时，拍摄与分析机器人的运动前方影像，确定在机器人运动前方方向的障碍物存在信息，再以此确定机器人在运动过程中与障碍物之间的位置变化趋势，从而调整机器人的运动状态，上述定位方法通过识别全景影像确定机器人的可活动范围，确保机器人能够在相应的区域范围内自由运动，同时在运动过程中识别前方存在的障碍物，调整机器人的运动状态，避免机器人在运动过程中与障碍物发生碰撞，提高机器人运动的可控性和安全性。
4.本发明提供机器人视觉识别定位方法，其包括如下步骤：
5.步骤s1，指示机器人的内置摄像头对当前所处环境进行全景扫描拍摄，获取相应的全景影像；从所述全景影像中识别得到若干预定标识物于所述环境的存在位置信息，并根据所述存在位置信息，确定机器人在所述环境的活动边界线分布信息；
6.步骤s2，根据所述活动边界线分布信息，确定机器人在所述环境的可活动范围；当机器人在所述可活动范围内部运动时，指示所述内置摄像头沿着机器人运动前方方向拍摄，获取相应的运动前方影像；分析所述运动前方影像，确定在机器人运动前方方向的障碍物存在信息；
7.步骤s3，根据所述障碍物存在信息，确定机器人在运动过程中与障碍物之间的位置变化趋势；根据所述位置变化趋势，调整机器人的运动状态。
8.进一步，在所述步骤s1中，指示机器人的内置摄像头对当前所处环境进行全景扫描拍摄，获取相应的全景影像具体包括：
9.在机器人未启动并处于静止状态时，指示机器人的内置摄像头以预定扫描频率对当前所处环境进行全景扫描拍摄，获取相应的全景影像；
10.对所述全景影像进行卡尔曼滤波处理后，以机器人当前在所述环境中所处位置点
为原点，构建与所述全景影像对应的三维空间坐标系。
11.进一步，在所述步骤s1中，从所述全景影像中识别得到若干预定标识物于所述环境的存在位置信息，并根据所述存在位置信息，确定机器人在所述环境的活动边界线分布信息具体包括：
12.提取所述全景影像的图像像素轮廓信息，根据所述图像像素轮廓信息，确定所述环境中存在的所有预定标识物；其中，所述预定标识物为电源插座；
13.获取所述全景影像中每个电源插座包含的所有插孔的存在位置信息，并以每个电源插座的所有插孔的几何对称中心作为对应电源插座的标识点；
14.再根据所有电源插座的标识点的存在位置，确定机器人在所述环境的活动边界线分布信息。
15.进一步，在所述步骤s1中，根据所有电源插座的标识点的存在位置，确定机器人在所述环境的活动边界线分布信息具体包括：
16.获取每个电源插座在所述环境的安装位置，并将安装在同一墙壁上的电源插座划分为属于同一电源插座集合；
17.将属于同一电源插座集合的所有电源插座的标识点沿着墙壁的走向依次连接，得到相应的标识点连接，从而将所述标识点连线作为机器人在所述环境的活动边界线。
18.进一步，在所述步骤s2中，根据所述活动边界线分布信息，确定机器人在所述环境的可活动范围具体包括：
19.将机器人所处环境四周的活动边界线所围成的封闭区域作为机器人在所述环境的可活动范围；
20.获取机器人当前所处位置与所述封闭区域的活动边界线上距离最远的点以及距离最近的点；
21.根据所述封闭区域的活动边界线上距离最远的点以及距离最近的点各自与机器人当前所处位置的相对距离值和相对方位角，指示机器人在所述可活动范围内运动，从而使机器人在运动过程中不超出所述可活动范围。
22.进一步，所述三维空间坐标系的构建过程包括：先利用安装在机器人内部的光纤陀螺仪寻北仪对当前环境进行寻北，找到当前机器人在运动方向与真北方向的夹角，进而确定出真北方向，再以真北方向为x轴，机器人运动方向沿着真北方向顺时针旋转90度后的运动方向为y轴，垂直于x轴和y轴向上的轴线为z轴建立三维空间坐标系，并且根据机器人的运动方向与真北方向的夹角控制机器人的运动速度，以确保机器人越靠近真北方向，运动速度越小，使得机器人对真北方向背光一侧的空间进行细化清扫，其具体过程包括：
23.第一、利用下面公式(1)，根据安装在机器人内部的光纤陀螺仪寻北仪对当前环境进行寻北，得到机器人当前运动方向与真北方向的夹角，
24.25.在上述公式(1)，θ(a1,a2,a3,a4)表示按照与机器人当前运动方向分别为a1,a2,a3,a4的角度值采集光纤陀螺仪的地球自转角速度进行寻北计算得到的机器人当前运动方向与真北方向的夹角；ω(a1),ω(a2),ω(a3),ω(a4)表示按照与机器人当前运动方向分别为a1,a2,a3,a4的角度值采集光纤陀螺仪的地球自转角速度；||表示求取绝对值运算；∧表示逻辑关系与运算；
26.先将(a1,a2,a3,a4)的值取为(0
°
,90
°
,180
°
,270
°
)，求得一次寻北后机器人当前运动方向与真北方向的夹角θ(0
°
,90
°
,180
°
,270
°
)；
27.第二、利用下面公式(2)，根据机器人当前运动方向与真北方向的夹角的角度值判断是否需要进行二次寻北，从而得到二次寻北的角度值，
[0028][0029]
在上述公式(2)中，θ2表示二次寻北后机器人当前运动方向与真北方向的夹角；若θ2＝θ(0
°
,90
°
,180
°
,270
°
)，则表示未进行二次寻北，则二次寻北与一次寻北的角度值相同，即机器人当前运动方向与真北方向的夹角为θ(0
°
,90
°
,180
°
,270
°
)；
[0030]
第三、利用下面公式(3)，根据机器人当前运动方向与真北方向的夹角的角度值，控制机器人的运动速度，
[0031][0032]
在上述公式(3)中，v表示机器人控制后的运动速度；v
max
表示机器人的最大运动速度。
[0033]
进一步，在所述步骤s2中，当机器人在所述可活动范围内部运动时，指示所述内置摄像头沿着机器人运动前方方向拍摄，获取相应的运动前方影像；分析所述运动前方影像，确定在机器人运动前方方向的障碍物存在信息具体包括：
[0034]
当机器人在所述可活动范围内运动时，指示所述内置摄像头以机器人的运动方向为中轴线向左右偏转相同角度，对机器人运动前方方向进行扫描拍摄，获得相应的运动前方影像；
[0035]
对所述运动前方影像依次进行像素灰度化转换处理和像素边缘锐化处理后，从所述运动前方影像中提取在机器人运动前方方向的障碍物边缘轮廓信息；
[0036]
根据所述障碍物边缘轮廓信息，确定障碍物的几何中心在所述三维空间坐标系的坐标点；
[0037]
根据机器人当前在所述三维空间坐标系的坐标点和所述几何中心在所述三维空间坐标系的坐标点，确定机器人与障碍物之间的距离以及障碍物相对于机器人的方位角。
[0038]
进一步，在所述步骤s3中，根据所述障碍物存在信息，确定机器人在运动过程中与障碍物之间的位置变化趋势具体包括：
[0039]
根据机器人与障碍物之间的距离，障碍物相对于机器人的方位角，以及机器人当前的运动速度，确定机器人在运动过程中与障碍物之间的相对距离变化趋势。
[0040]
进一步，在所述步骤s3中，根据所述位置变化趋势，调整机器人的运动状态具体包括：
[0041]
根据机器人在运动过程中与障碍物之间的相对距离变化趋势，获取机器人在运动
过程中与障碍物之间的最小相对距离；
[0042]
若所述最小相对距离大于或等于预设距离阈值，则保持机器人当前的运动状态不变；
[0043]
若所述最小相对距离小于预设距离阈值，则指示机器人停止当前运动后，再指示机器人沿远离障碍物的方向重新运动。
[0044]
相比于现有技术，该机器人视觉识别定位方法从机器人当前所处环境的全景影像中识别得到若干预定标识物的存在位置信息，以此确定机器人在所处环境的活动边界线分布信息，从而确定机器人的可活动范围；当机器人在可活动范围内部运动时，拍摄与分析机器人的运动前方影像，确定在机器人运动前方方向的障碍物存在信息，再以此确定机器人在运动过程中与障碍物之间的位置变化趋势，从而调整机器人的运动状态，上述定位方法通过识别全景影像确定机器人的可活动范围，确保机器人能够在相应的区域范围内自由运动，同时在运动过程中识别前方存在的障碍物，调整机器人的运动状态，避免机器人在运动过程中与障碍物发生碰撞，提高机器人运动的可控性和安全性。
[0045]
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
[0046]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0047]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0048]
图1为本发明提供的机器人视觉识别定位方法的流程示意图。
具体实施方式
[0049]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0050]
参阅图1，为本发明实施例提供的机器人视觉识别定位方法的流程示意图。该机器人视觉识别定位方法包括如下步骤：
[0051]
步骤s1，指示机器人的内置摄像头对当前所处环境进行全景扫描拍摄，获取相应的全景影像；从该全景影像中识别得到若干预定标识物于该环境的存在位置信息，并根据该存在位置信息，确定机器人在该环境的活动边界线分布信息；
[0052]
步骤s2，根据该活动边界线分布信息，确定机器人在该环境的可活动范围；当机器人在该可活动范围内部运动时，指示该内置摄像头沿着机器人运动前方方向拍摄，获取相应的运动前方影像；分析该运动前方影像，确定在机器人运动前方方向的障碍物存在信息；
[0053]
步骤s3，根据该障碍物存在信息，确定机器人在运动过程中与障碍物之间的位置
变化趋势；根据该位置变化趋势，调整机器人的运动状态。
[0054]
上述技术方案的有益效果为：该机器人视觉识别定位方法从机器人当前所处环境的全景影像中识别得到若干预定标识物的存在位置信息，以此确定机器人在所处环境的活动边界线分布信息，从而确定机器人的可活动范围；当机器人在可活动范围内部运动时，拍摄与分析机器人的运动前方影像，确定在机器人运动前方方向的障碍物存在信息，再以此确定机器人在运动过程中与障碍物之间的位置变化趋势，从而调整机器人的运动状态，上述定位方法通过识别全景影像确定机器人的可活动范围，确保机器人能够在相应的区域范围内自由运动，同时在运动过程中识别前方存在的障碍物，调整机器人的运动状态，避免机器人在运动过程中与障碍物发生碰撞，提高机器人运动的可控性和安全性。
[0055]
优选地，在该步骤s1中，指示机器人的内置摄像头对当前所处环境进行全景扫描拍摄，获取相应的全景影像具体包括：
[0056]
在机器人未启动并处于静止状态时，指示机器人的内置摄像头以预定扫描频率对当前所处环境进行全景扫描拍摄，获取相应的全景影像；
[0057]
对该全景影像进行卡尔曼滤波处理后，以机器人当前在该环境中所处位置点为原点，构建与该全景影像对应的三维空间坐标系。
[0058]
上述技术方案的有益效果为：在实际操作中，该机器人可为但不限于是扫地机器人。在机器人进行工作之前，先将未启动的机器人静止放置于一室内环境中，此时机器人的内置摄像头会对该室内环境进行全景扫描拍摄，并获得与室内环境相匹配的全景影像，该全景影像至少包含该室内环境四周墙壁的影像细节。随后对该全景影像进行卡尔曼滤波处理，可减少该全景影像的背景噪声干扰，提高该全景影像包含的墙壁部分子影像的信噪比。在同一空间坐标系中确定机器人与障碍物的相对位置关系，减少不必要的坐标转换计算工作。
[0059]
优选地，在该步骤s1中，从该全景影像中识别得到若干预定标识物于该环境的存在位置信息，并根据该存在位置信息，确定机器人在该环境的活动边界线分布信息具体包括：
[0060]
提取该全景影像的图像像素轮廓信息，根据该图像像素轮廓信息，确定该环境中存在的所有预定标识物；其中，该预定标识物为电源插座；
[0061]
获取该全景影像中每个电源插座包含的所有插孔的存在位置信息，并以每个电源插座的所有插孔的几何对称中心作为对应电源插座的标识点；
[0062]
再根据所有电源插座的标识点的存在位置，确定机器人在该环境的活动边界线分布信息。
[0063]
上述技术方案的有益效果为：将墙壁上安装的电源插座作为预定标识物，这样无需额外设置其他形式的标识物也可以对机器人进行视觉标定。此外，可在墙壁的同一高度位置上安装多个电源插座，这样可为对机器人进行视觉标定提供数量充足的标识物，提高视觉标定的准确性。从该全景影像中提取相应的图像像素轮廓信息，再与电源插座对应的图像像素轮廓信息进行对比匹配，这样能够确定该全景影像中所有电源插座的存在位置，并进一步确定每个电源插座包含的所述插孔的存在位置。接着以每个电源插座的所有插座的几何对称中心作为电源插足的标识点，这样能够将每个电源插座等价成一个标识点，这样能够便于后续在墙壁上以点连线的方式确定机器人的活动边界线。
[0064]
优选地，在该步骤s1中，根据所有电源插座的标识点的存在位置，确定机器人在该环境的活动边界线分布信息具体包括：
[0065]
获取每个电源插座在该环境的安装位置，并将安装在同一墙壁上的电源插座划分为属于同一电源插座集合；
[0066]
将属于同一电源插座集合的所有电源插座的标识点沿着墙壁的走向依次连接，得到相应的标识点连接，从而将该标识点连线作为机器人在该环境的活动边界线。
[0067]
上述技术方案的有益效果为：将安装在同一墙壁上的所有电源插座归类到同一电源插座集合中，接着对属于同一电源插座集合的所有电源插座的标识点沿着墙壁的走向依次连接，这样得到的标识点连线可作为机器人在所处环境活动边界线，从而对机器人在朝向该墙壁的运动进行限制。
[0068]
优选地，在该步骤s2中，根据该活动边界线分布信息，确定机器人在该环境的可活动范围具体包括：
[0069]
将机器人所处环境四周的活动边界线所围成的封闭区域作为机器人在该环境的可活动范围；
[0070]
获取机器人当前所处位置与该封闭区域的活动边界线上距离最远的点以及距离最近的点；
[0071]
根据该封闭区域的活动边界线上距离最远的点以及距离最近的点各自与机器人当前所处位置的相对距离值和相对方位角，指示机器人在该可活动范围内运动，从而使机器人在运动过程中不超出该可活动范围。
[0072]
上述技术方案的有益效果为：机器人所处环境四周均存在墙壁，并且每个墙壁都对应有活动边界线，这样将四周墙壁的活动边界线围成的封闭区域作为机器人的可活动范围。接着获取机器人当前所处位置与该封闭区域的活动边界线上距离最远的点以及距离最近的点各自与机器人当前所处位置的相对距离值和相对方位角，这样以该最远距离点和最近距离点为基准可指示机器人在该可活动范围内运动，从而为机器人在该环境中划定安全的活动区域。
[0073]
优选地，该三维空间坐标系的构建过程包括：先利用安装在机器人内部的光纤陀螺仪寻北仪对当前环境进行寻北，找到当前机器人在运动方向与真北方向的夹角，进而确定出真北方向，再以真北方向为x轴，机器人运动方向沿着真北方向顺时针旋转90度后的运动方向为y轴，垂直于x轴和y轴向上的轴线为z轴建立三维空间坐标系，并且根据机器人的运动方向与真北方向的夹角控制机器人的运动速度，以确保机器人越靠近真北方向，运动速度越小，使得机器人对真北方向背光一侧的空间进行细化清扫，其具体过程包括：
[0074]
第一、利用下面公式(1)，根据安装在机器人内部的光纤陀螺仪寻北仪对当前环境进行寻北，得到机器人当前运动方向与真北方向的夹角，
[0075]
[0076]
在上述公式(1)，θ(a1,a2,a3,a4)表示按照与机器人当前运动方向分别为a1,a2,a3,a4的角度值采集光纤陀螺仪的地球自转角速度进行寻北计算得到的机器人当前运动方向与真北方向的夹角；ω(a1),ω(a2),ω(a3),ω(a4)表示按照与机器人当前运动方向分别为a1,a2,a3,a4的角度值采集光纤陀螺仪的地球自转角速度；||表示求取绝对值运算；∧表示逻辑关系与运算；
[0077]
先将(a1,a2,a3,a4)的值取为(0
°
,90
°
,180
°
,270
°
)，求得一次寻北后机器人当前运动方向与真北方向的夹角θ(0
°
,90
°
,180
°
,270
°
)；
[0078]
第二、利用下面公式(2)，根据机器人当前运动方向与真北方向的夹角的角度值判断是否需要进行二次寻北，从而得到二次寻北的角度值，
[0079][0080]
在上述公式(2)中，θ2表示二次寻北后机器人当前运动方向与真北方向的夹角；若θ2＝θ(0
°
,90
°
,180
°
,270
°
)，则表示未进行二次寻北，则二次寻北与一次寻北的角度值相同，即机器人当前运动方向与真北方向的夹角为θ(0
°
,90
°
,180
°
,270
°
)；
[0081]
第三、利用下面公式(3)，根据机器人当前运动方向与真北方向的夹角的角度值，控制机器人的运动速度，
[0082][0083]
在上述公式(3)中，v表示机器人控制后的运动速度；v
max
表示机器人的最大运动速度。
[0084]
上述技术方案的有益效果为：利用上述公式(1)根据安装在机器人内部的光纤陀螺寻北仪对当前环境进行寻北得到当前机器人的运动方向与真北方向的夹角，进而将真北方向找到并建立三维空间坐标系，同时还将机器人与真北的角度归算到0
°‑
360
°
的范围内，确保后续计算的方便；然后利用上述公式(2)根据当前机器人的运动方向与真北方向的夹角的角度值判断是否需要进行二次寻北，并得到二次寻北的角度值，进而对夹角为0
°
和360
°
附近的数据进行二次寻北以避开光纤陀螺仪的敏感轴部位确保寻北计算的准确性；最后利用上述公式(3)根据当前机器人的运动方向与真北方向的夹角的角度值控制机器人的运动速度，进而确保机器人越靠近北方向速度越慢，使得北方向背光一侧的空间打扫的更加仔细。
[0085]
优选地，在该步骤s2中，当机器人在该可活动范围内部运动时，指示该内置摄像头沿着机器人运动前方方向拍摄，获取相应的运动前方影像；分析该运动前方影像，确定在机器人运动前方方向的障碍物存在信息具体包括：
[0086]
当机器人在该可活动范围内运动时，指示该内置摄像头以机器人的运动方向为中轴线向左右偏转相同角度，对机器人运动前方方向进行扫描拍摄，获得相应的运动前方影像；
[0087]
对该运动前方影像依次进行像素灰度化转换处理和像素边缘锐化处理后，从该运动前方影像中提取在机器人运动前方方向的障碍物边缘轮廓信息；
[0088]
根据该障碍物边缘轮廓信息，确定障碍物的几何中心在该三维空间坐标系的坐标点；
[0089]
根据机器人当前在该三维空间坐标系的坐标点和该几何中心在该三维空间坐标系的坐标点，确定机器人与障碍物之间的距离以及障碍物相对于机器人的方位角。
[0090]
上述技术方案的有益效果为：当机器人在该可活动范围内运动时，再次指示该内置摄像头对机器人的运动前方方向范围进行扫描拍摄，这样可对机器人的运动前方方向进行广角摄像，最大限度地获取机器人运动前方方向范围的障碍物存在情况。接着以障碍物的几何中心为基准点，在该三维空间坐标系中确定机器人与障碍物之间的距离以及障碍物相对于机器人的方位角，从而实时动态确定机器人与障碍物之间的相对位置关系。
[0091]
优选地，在该步骤s3中，根据该障碍物存在信息，确定机器人在运动过程中与障碍物之间的位置变化趋势具体包括：
[0092]
根据机器人与障碍物之间的距离，障碍物相对于机器人的方位角，以及机器人当前的运动速度，确定机器人在运动过程中与障碍物之间的相对距离变化趋势。
[0093]
上述技术方案的有益效果为：机器人在该可活动范围内运动时，其会以预定大小和方向的速度运动。随着机器人的运动，机器人与障碍物之间的相对距离会动态变化，这样实时确定机器人与障碍物之间的相对距离的大小变化情况，从而便于准确预测机器人在运动过程中是否与障碍物发生碰撞。
[0094]
优选地，在该步骤s3中，根据该位置变化趋势，调整机器人的运动状态具体包括：
[0095]
根据机器人在运动过程中与障碍物之间的相对距离变化趋势，获取机器人在运动过程中与障碍物之间的最小相对距离；
[0096]
若该最小相对距离大于或等于预设距离阈值，则保持机器人当前的运动状态不变；
[0097]
若该最小相对距离小于预设距离阈值，则指示机器人停止当前运动后，再指示机器人沿远离障碍物的方向重新运动。
[0098]
上述技术方案的有益效果为：根据机器人在运动过程中与障碍物之间的相对距离变化趋势，确定机器人与障碍物之间的最小相对距离。当该最小相对距离大于或等于预设距离阈值，表明机器人在当前运动状态下不会与障碍物发生碰撞，这样可保持机器人当前的运动状态不变。当该最小相对距离小于预设距离阈值，表明机器人在当前运动状态下会与障碍物发生碰撞，此时指示机器人停止当前运动，并指示机器人沿远离障碍物的方向重新运动，这样可避免机器人与障碍物发生碰撞。
[0099]
从上述实施例的内容可知，该机器人视觉识别定位方法从机器人当前所处环境的全景影像中识别得到若干预定标识物的存在位置信息，以此确定机器人在所处环境的活动边界线分布信息，从而确定机器人的可活动范围；当机器人在可活动范围内部运动时，拍摄与分析机器人的运动前方影像，确定在机器人运动前方方向的障碍物存在信息，再以此确定机器人在运动过程中与障碍物之间的位置变化趋势，从而调整机器人的运动状态，上述定位方法通过识别全景影像确定机器人的可活动范围，确保机器人能够在相应的区域范围内自由运动，同时在运动过程中识别前方存在的障碍物，调整机器人的运动状态，避免机器人在运动过程中与障碍物发生碰撞，提高机器人运动的可控性和安全性。
[0100]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。