基于多目视觉传感器的位姿解算处理方法、装置及设备与流程

1.本发明涉及人工智能领域，具体而言，涉及一种基于多目视觉传感器的位姿解算处理方法、装置及设备。


背景技术：

2.智能机器人领域中，自主导航机器人初始化定位世界系源点是机器人定位系统不可缺少的一环。
3.近几年，基于视觉标记物定位世界系源点的技术因成本低廉，定位快速，使用简单越来越受青睐。基于视觉标记物的技术，一般使用相机检测标记物(例如，平面标记板等)并解算相机与标记物之间的位姿(位置与方位角)，实现了机器人的初始化定位过程。
4.现有的基于视觉传感器(例如，相机等)的技术方案，一般有以下几种组合：基于单目相机与单个标记物；基于单个相机与多个标记物；基于多个相机(大于等于两个相机，例如，多目相机)与单个标记物；基于多个相机与多个标记物。
5.然而，基于视觉传感器的方案，也有不利的一面，即容易受外界环境的影响，例如，在弱光或者黑暗的环境下，相机很难或者识别不到标记物，同样在非常强烈的太阳光下也存在类似的问题，而是当相机被部分或者完全遮挡之后，亦不能检测到标记物。
6.由于易受环境条件的影响，大大限制了基于视觉检测标记物的使用场景。因此，如何降低基于相机检测标记物定位世界源点的技术受到环境的影响，以提高机器人的工作效率，是目前亟待解决的问题。


技术实现要素：

7.本发明的主要目的在于公开了一种基于多目视觉传感器的位姿解算处理方法及装置，以至少解决相关技术中基于相机检测标记物技术，易受环境条件的影响，导致识别率降低，大大限制了基于视觉检测标记物的使用场景等问题。
8.根据本发明的一个方面，提供了一种基于多目视觉传感器的位姿解算处理方法。
9.根据本发明的基于多目视觉传感器的位姿解算处理方法包括：在当前帧使用多目视觉传感器检测标记物；在上述多目视觉传感器中仅有不超过一个视觉传感器检测到上述标记物的情况下，触发当前环境的调节处理流程；当上述多目视觉传感器中至少两目检测到上述标记物时，根据上述至少两目之间的相对位姿参数，判断上述至少两目相对于所述标记物的位姿解算结果是否满足预设精度要求；在上述至少两目相对于所述标记物的位姿解算结果满足上述预设精度要求时，将上述至少两目相对于所述标记物的位姿解算结果作为当前帧的位姿解算结果。
10.根据本发明的另一方面，提供了一种基于多目视觉传感器的位姿解算处理装置。
11.根据本发明的基于多目视觉传感器的位姿解算处理装置包括：检测模块，用于在当前帧使用多目视觉传感器检测标记物；调节模块，用于在上述多目视觉传感器中仅有不超过一个视觉传感器检测到上述标记物的情况下，触发当前环境的调节处理流程；判断模
块，用于当上述多目视觉传感器中至少两目均检测到上述标记物时，根据上述至少两目之间的相对位姿参数，判断上述至少两目相对于所述标记物的位姿解算结果是否满足预设精度要求；保存模块，用于在上述至少两目相对于所述标记物的位姿解算结果满足上述预设精度要求时，将上述至少两目相对于所述标记物的位姿解算结果作为当前帧的位姿解算结果。
12.根据本发明的又一方面，提供了一种基于多目视觉传感器的位姿解算处理设备。
13.根据本发明的基于多目视觉传感器的位姿解算处理装置包括：多目视觉传感器、感光传感器、补光器件、存储器及处理器，其中，上述多目视觉传感器，用于检测标记物；上述感光传感器，用于检测当前光线状况；上述补光器件，用于在光线不足时进行补光；上述存储器，用于存储计算机执行指令；上述处理器，用于执行上述存储器存储的计算机执行指令，使得上述机器人执行如上述位姿解算处理方法。
14.根据本发明，使用多目视觉传感器检测标记物时，在上述多目视觉传感器中仅有不超过一个视觉传感器(仅有1个视觉传感器或者0个视觉传感器)检测到上述标记物的情况下，会触发执行当前环境的调节处理流程；通过设置调节处理流程，可以解决相关技术中基于相机检测标记物，易受环境条件影响，导致识别率降低的问题。并且，当上述多目视觉传感器中至少两目(2个或者2个以上视觉传感器)均检测到上述标记物时，可以根据上述至少两目之间的相对位姿参数，判断上述至少两目相对于所述标记物的位姿解算结果是否满足预设精度要求，在上述至少两目相对于所述标记物的位姿解算结果满足上述预设精度要求时，将上述至少两目相对于所述标记物的位姿解算结果作为当前帧的位姿解算结果。通过上述精度判断处理方案，提高了位姿解算精度。
附图说明
15.图1是根据本发明实施例的基于多目视觉传感器的位姿解算处理方法的流程图；
16.图2是根据本发明优选实施例的基于双目视觉传感器的标记物检测流程图；
17.图3是根据本发明优选实施例的基于双目视觉传感器的位姿解算精度判断处理流程图；
18.图4是根据本发明实施例的基于多目视觉传感器的位姿解算处理装置的结构框图；
19.图5是根据本发明实施例的基于多目视觉传感器的位姿解算处理设备的结构框图。
具体实施方式
20.下面结合说明书附图对本发明的具体实现方式做一详细描述。
21.根据本发明实施例，提供了一种基于多目视觉传感器的位姿解算处理方法。
22.图1是根据本发明实施例的基于多目视觉传感器的位姿解算处理方法的流程图。如图1所示，该基于多目视觉传感器的位姿解算处理方法包括：
23.步骤s101：在当前帧使用多目视觉传感器检测标记物；
24.步骤s102：在上述多目视觉传感器中仅有不超过一个视觉传感器检测到上述标记物的情况下，触发执行当前环境的调节处理流程；
25.步骤s103：当上述多目视觉传感器中至少两目检测到上述标记物时，根据上述至少两目之间的相对位姿参数，判断上述至少两目相对于所述标记物的位姿解算结果是否满足预设精度要求；
26.步骤s104：在上述至少两目相对于所述标记物的位姿解算结果满足上述预设精度要求时，将上述至少两目相对于所述标记物的位姿解算结果作为当前帧的位姿解算结果。
27.相关技术中，基于相机检测标记物技术，易受环境条件的影响，导致识别率降低，大大限制了基于视觉检测标记物的使用场景，采用图1所示的基于多目视觉传感器(例如，多目相机，多目视觉模组等)的位姿解算处理方法，使用多目视觉传感器检测标记物时，在上述多目视觉传感器中仅有不超过一个视觉传感器(仅有1个视觉传感器或者0个视觉传感器)检测到上述标记物的情况下，会触发执行当前环境的调节处理流程；通过设置调节处理流程，可以解决相关技术中基于相机检测标记物，易受环境条件影响，导致识别率降低的问题。并且，当上述多目视觉传感器中至少两目(2个或者2个以上视觉传感器)检测到上述标记物时，可以根据上述至少两目之间的相对位姿参数，判断上述至少两目相对于所述标记物的位姿解算结果是否满足预设精度要求，在上述至少两目相对于所述标记物的位姿解算结果满足上述预设精度要求时，将上述至少两目相对于所述标记物的位姿解算结果作为当前帧的位姿解算结果，通过上述精度判断处理方案，提高了位姿解算精度。
28.当然，上述标记物可以为包含自然特征、固定特征等各类特征标识的物体，例如，平面标记板等。标记物上的标识可以是apriltag，也可以是其他类型的标识，如artag,artoolkit,aruco等。
29.在优选实施过程中，可以将多个(2个或者2个以上)视觉传感器间隔设置构成多目视觉传感器设备，用来检测标记物(例如，apriltag标记板等)。当上述多目视觉传感器中有至少两目均检测到上述标记物时，根据上述至少两目之间的相对位姿参数，判断上述至少两目相对于所述标记物的位姿解算结果是否满足预设精度要求；在上述至少两目相对于所述标记物的位姿解算结果满足上述预设精度要求时，将上述至少两目相对于所述标记物的位姿解算结果作为当前帧的位姿解算结果。如果仅有不超过一个视觉传感器(0个或者1个视觉传感器)检测到上述标记物的情况下，可以触发执行当前环境的调节处理流程；当上述多目视觉传感器中至少两目检测到上述标记物时，根据上述至少两目之间的相对位姿参数，判断上述至少两目相对于所述标记物的位姿解算结果是否满足预设精度要求；在上述至少两目相对于所述标记物的位姿解算结果满足上述预设精度要求时，将所述至少两目相对于所述标记物的位姿解算结果作为当前帧的位姿解算结果。
30.优选地，上述当前环境的调节处理流程可以进一步包括以下处理：使用感光传感器检测当前光线状况；当光线过曝时，调节视觉传感器的曝光时间和/或增益，之后继续检测上述标记物，循环执行该步骤，直至上述多目视觉传感器中至少两目均检测到上述标记物；当光线不足时，使用补光器件调节补光强度，之后继续检测上述标记物，循环执行该步骤，直至上述多目视觉传感器中至少两目检测到上述标记物。
31.优选地，在使用感光传感器检测当前光线状况之前，还可以包括以下处理：对上述标记物的直方图进行均衡化处理，继续检测上述标记物，循环执行此步骤，判断上述多目视觉传感器中是否有至少两目均检测到上述标记物。
32.以下以双目视觉传感器为例进行说明，在优选实施过程中，采用双目视觉传感器
检测标记物，如果双目均检测到标记物，则保存两目分别相对于所述标记物的位姿解算结果。如果其中一目检测到标记物，则保存该目相对于所述标记物的位姿解算结果，如果另一目未检测到标记物，则触发执行当前环境的调节处理流程；或者，如果双目均未检测到标记物，则针对未检测到标记物的视觉传感器，也需要触发执行当前环境的调节处理流程。
33.可选地，可以先通过标记物图像的直方图均衡化处理，之后再检测标记物，循环执行此步骤，判断双目中之前未检测到的视觉传感器是否检测到上述标记物，如果检测到上述标记物，则保存该视觉传感器相对于所述标记物的位姿解算结果。
34.如果通过标记物图像的直方图均衡化处理，无法确保之前未检测到的视觉传感器检测到上述标记物，则使用感光传感器检测当前光线状况；
35.当光线过曝(例如，检测平面标记板时，平面标记板在图像上很亮导致很难检测)时，调节视觉传感器的曝光时间和/或增益，例如，缩小曝光时间，以减少感光平面的光子的数量，降低标记物图像的亮度，之后上报给扫码应用模块，由扫码应用模块继续尝试扫码，即继续检测上述标记物，循环执行该步骤，直至之前未检测到的视觉传感器检测到上述标记物；当光线不足时，可以使用补光器件(例如，红外(ir)补光灯等)调节补光强度，之后继续检测上述标记物，循环执行该步骤，直至两目均检测到上述标记物。上述补光器件调节补光强度可以采用如下策略：当感光传感器的值小于预定阈值时,即光线不足，设定补光灯亮度值范围为[0,a]，根据光线不足环境，从上述区间中确定多个亮度元素值组成一个集合，当a＝100时，集合为{0，20，40，60，80，90，100}，之后采用二分查找的策略切换补光灯的亮度，例如，先设定补光灯亮度值为中间值60，如果未成功，则选择向左或者向右查找，如继续向右查找，80，90，100三个值，则设定补光灯亮度值为中间值90，如果未成功，则选择继续向右，设定补光灯亮度值为100，如果还是未成功，则选择向左查找，0，20，40三个值，则设定补光灯亮度值为中间值20，如果未成功，则选择继续向左，以此类推，直至成功。
[0036]
优选地，当光线过曝时，确定无法通过调节视觉传感器的曝光时间和/或增益，实现上述多目视觉传感器中至少两目检测到上述标记物时，对上述标记物的直方图进行均衡化处理，继续检测上述标记物，循环执行此步骤，直至上述多目视觉传感器中至少两目检测到上述标记物。
[0037]
优选地，当光线不足时，确定无法通过使用补光器件调节补光强度，实现上述多目视觉传感器中至少两目均检测到上述标记物时，调节视觉传感器的曝光时间和/或增益，之后继续检测上述标记物，循环执行此步骤；
[0038]
在优选实施过程中，以双目视觉传感器为例进行说明，当光线不足时，确定无法通过使用补光器件调节补光强度，实现两目均检测到上述标记物时，可能由于双目的一目(左目或者右目)在补光调整策略下一直处于过爆的情况(由于开启了补光灯导致的过爆)，因此可以接着调整增益(或者曝光时间)进一步尝试扫码。
[0039]
优选地，循环执行上述步骤，在确定无法通过调节视觉传感器的曝光时间和/或增益，实现上述多目视觉传感器中至少两目均检测到上述标记物时，对上述标记物的直方图进行均衡化处理，之后继续检测上述标记物，循环执行此步骤，直至上述多目视觉传感器中至少两目均检测到上述标记物。需要说明的是，如果确定无法通过对上述标记物的直方图进行均衡化处理，实现上述多目视觉传感器中至少两目均检测到上述标记物时，则确定结束当前环境的调节处理流程。
[0040]
在具体实施方式中，还包括以下处理方式如下：在上述多目视觉传感器中仅有一个视觉传感器检测到上述标记物的情况下，保存该视觉传感器相对于所述标记物的单目位姿解算结果；在确定无法通过执行上述当前环境的调节处理流程，实现上述多目视觉传感器中至少两目均检测到上述标记物时，将保存的单目位姿解算结果作为当前帧的位姿解算结果；在执行多帧的位姿解算处理之后，当保存的各帧位姿解算结果中，均未出现上述至少两目相对于所述标记物的位姿解算结果时，对距离当前最近的至少两帧的单目位姿解算结果求取第二均值，并将上述第二均值作为最终的位姿解算结果。即，特殊情况下，对于预定数量的帧(例如，100帧，200帧等)，如果没有出现一帧存在至少两目均检测到上述标记物的情况，则为了提高识别率，只能采用单目位姿解算结果作为最终的位姿解算结果。为了提高精度和保证稳定性，可以使用多帧融合的方式，对距离当前最近的至少两帧的单目位姿解算结果求取均值，并将均值作为最终的位姿解算结果。
[0041]
以下结合图2的示例进一步描述上述优选实施方式。
[0042]
图2是根据本发明优选实施例的基于双目视觉传感器的标记物检测流程图。如图2所示，该标记物(以平面标记板为例进行说明)检测流程主要包括：
[0043]
步骤s201:在当前帧使用双目视觉传感器检测平面标记板；
[0044]
步骤s202:当双目视觉传感器中，仅有左目检测到上述平面标记板，则保存左目对应的位姿解算结果；并触发执行当前环境的调节处理流程；
[0045]
步骤s203：对上述平面标记板的直方图进行均衡化处理，继续检测上述平面标记板，循环执行此步骤，判断右目是否检测到上述平面标记板；如果是，执行流程s211；如果否，执行步骤s204。
[0046]
步骤s204：在确定通过执行步骤s203无法实现右目检测到上述平面标记板的情况下，使用感光传感器检测当前光线状况；当光线过曝时，执行步骤s205，当光线不足时，执行步骤s208。
[0047]
步骤s205：当光线过曝时，调节右目的曝光时间和/或增益(例如，缩小曝光时间等)，之后上报给扫码应用，继续检测上述平面标记板，循环执行该步骤，判断右目是否检测到上述平面标记板；如果是，执行步骤s211；如果否，执行步骤s206。
[0048]
步骤s206：当确定无法通过调节未检测到上述平面标记板的视觉传感器的曝光时间和/或增益，实现上述多目视觉传感器中至少两目均检测到上述平面标记板时，对上述平面标记板的直方图进行均衡化处理，继续检测上述平面标记板，循环执行此步骤，判断右目是否检测到上述平面标记板；如果是，执行步骤s211；如果否，确定右目检测流程失败，执行步骤s207。
[0049]
步骤s207：在确定无法通过执行当前环境的调节处理流程，实现左右两目均检测到上述平面标记板时，将保存的左目位姿解算结果作为当前帧的位姿解算结果。
[0050]
步骤s208：当光线不足时，使用补光器件调节补光强度，之后继续检测上述平面标记板，循环执行该步骤，判断右目是否检测到上述平面标记板；如果是，执行步骤s211；如果否，执行步骤s209。
[0051]
步骤s209：当光线不足时，确定无法通过使用补光器件调节补光强度，实现上述多目视觉传感器中至少两目均检测到上述平面标记板时，调节曝光时间和/或增益，之后继续检测上述平面标记板，循环执行此步骤；判断右目是否检测到上述平面标记板；如果是，执
行步骤s211；如果否，执行步骤s210。
[0052]
步骤s210：确定无法通过调节视觉传感器(例如，相机)的曝光时间和/或增益，实现右目检测到上述平面标记板时，则对上述平面标记板的直方图进行均衡化处理，之后继续检测上述平面标记板，循环执行此步骤，判断右目是否检测到上述平面标记板；如果是，执行步骤s211；如果否，确定右目检测流程失败，执行步骤s207。
[0053]
步骤s211：检测流程结束，保存右目对应的位姿解算结果。
[0054]
优选地，上述步骤103中，根据上述至少两目之间的相对位姿参数，判断上述至少两目相对于所述标记物的位姿解算结果是否满足预设精度要求可以进一步包括：对于上述至少两目中的每个视觉传感器，分别获取该视觉传感器对应的位姿解算结果，其中，每个视觉传感器分别对应两个解算矩阵；根据上述至少两目中两个视觉传感器之间的相对位姿参数，上述两个视觉传感器相对于所述标记物的位姿解，确定上述两个视觉传感器相对于所述标记物的位姿解算结果是否满足预设精度要求。
[0055]
优选地，根据上述两个视觉传感器之间的相对位姿参数，上述两个视觉传感器分别对应的位姿解，确定上述两个视觉传感器相对于所述标记物的位姿解算结果是否满足预设精度要求可以进一步包括：
[0056]
通过以下公式，解算得到上述两个视觉传感器之间的相对位姿参数：其中，x为集合{1，2}，t
1x
表示上述两个视觉传感器中的第一视觉传感器对应的两个位姿解，t
2x
表示上述两个视觉传感器中的第二视觉传感器对应的两个位姿解，上述表示上述两个视觉传感器之间的相对位姿参数；将计算获取的与预先确定的两个视觉传感器之间的相对位姿参数进行比对，确定上述两个视觉传感器分别对应的正确位姿解；根据上述正确位姿解所对应的与预先确定的两个视觉传感器之间的相对位姿参数之间的误差，确定上述两个视觉传感器的位姿解算结果是否满足预设精度要求。
[0057]
在优选实施过程中，视觉传感器(例如，相机等)与标记物之间的位姿解算可以使用pnp(perspective-n-point)算法求解3d(三维)到2d(二维)的透视投影方法。但当视觉传感器远离标记物，使得投影到视觉传感器平面的标记物很小，导致投影模型弱化成类透视投影模型，使得求解的旋转具有二异性(即有两个旋转解)，另外投影到视觉传感器平面的标记物过小时，图像噪声的影响更加明显，同样也增加了旋转的二异性。为了解决该问题，可以使用更为鲁棒的ippe(infinitesimal plane-based pose estimation)算法，该算法能够求解两个解，但无法分辨哪个解是正确的。可以利用双目的优势找出正确的那个解，下面以双目视觉传感器为例进行说明：
[0058]
对左右目分别利用ippe方法求解位姿，然后将ippe的位姿解作为初始解利用levenberg-marquardt(lm)优化算法方法进一步优化，其中，t
11
＝[r
11
,t
11
]，t
12
＝[r
12
,t
12
]表示左目的两个优化位姿解,t
21
＝[r
21
,t
21
],t
22
＝[r
22
,t
22
]表示右目的两个优化位姿。由于双目之间的位姿是已知的,可利用以下公式找出左右目正确的位姿解其中，x为集合{1,2}。即，通过组合可以得到四组结果，将最接近已知双目之间的位姿t的那一组中的两个位姿解作为双目分别对应的正确位姿解。并根据正确位姿解所对应的与已知的双目之间的位姿之间的误差，判断是否满足预设精度要求，如果误差大于预设阈值，
则不满足预定要求，如果误差小于或者等于预设阈值，则满足预设精度要求。
[0059]
例如，对于预定数量的帧(例如，100帧，200帧等)，如果出现多帧至少两目均检测到上述标记物，且上述至少两目相对于所述标记物的位姿解算结果均满足预设精度要求的情况，为了提高精度和保证稳定性，可以使用多帧融合的方式，对距离当前最近的至少两帧的位姿解算结果求取均值，并将均值作为最终的位姿解算结果。
[0060]
优选地，在判断上述至少两目相对于所述标记物的位姿解算结果是否满足预设精度要求之后，还可以包括以下处理：在上述至少两目相对于所述标记物的位姿解算结果不满足上述预设精度要求时，选择上述标记物的感兴趣区域，并对于上述感兴趣区域执行亮度均衡化处理；继续判断上述至少两目相对于所述标记物的位姿解算结果是否满足预设精度要求，在上述至少两目相对于所述标记物的位姿解算结果满足上述预设精度要求时，保存上述至少两目相对于所述标记物的位姿解算结果。
[0061]
优选地，在继续判断上述至少两目相对于所述标记物的位姿解算结果是否满足预设精度要求之后，还可以包括：在上述至少两目相对于所述标记物的位姿解算结果不满足上述预设精度要求时，使用感光传感器检测当前光线状况；当光线过曝时，调节未检测到上述标记物的视觉传感器的曝光时间和/或增益，之后继续检测上述标记物，循环执行该步骤，直至上述多目视觉传感器中至少两目均检测到上述标记物；当光线不足时，使用补光器件调节补光强度，之后继续检测上述标记物，循环执行该步骤，直至上述多目视觉传感器中至少两目检测到上述标记物。
[0062]
在优选实施过程中，当光线过曝时，确定无法通过调节视觉传感器的曝光时间和/或增益，实现上述多目视觉传感器中至少两目均检测到上述标记物时，对上述标记物的直方图进行均衡化处理，继续检测上述标记物，循环执行此步骤，直至上述多目视觉传感器中至少两目均检测到上述标记物。
[0063]
在优选实施过程中，当光线不足时，确定无法通过使用补光器件调节补光强度，实现上述多目视觉传感器中至少两目均检测到上述标记物时，调节视觉传感器的曝光时间和/或增益，之后继续检测上述标记物，循环执行此步骤；确定无法通过调节视觉传感器的曝光时间和/或增益，实现上述多目视觉传感器中至少两目检测到上述标记物时，对上述标记物的直方图进行均衡化处理，之后继续检测上述标记物，循环执行此步骤，直至上述多目视觉传感器中至少两目均检测到上述标记物。
[0064]
优选地，可以循环执行上述位姿解算处理方法，直至获取多帧的至少两目相对于所述标记物的位姿解算结果；对多帧中距离当前最近的至少两帧中的每一帧，分别将该帧的位姿解算结果转换至同一坐标系下，求取转换后的位姿解算结果均值；根据所述至少两帧中的每一帧位姿解算结果均值，求取第一均值，并将所述第一均值作为最终的位姿解算结果。
[0065]
例如，在获取了多帧(例如，10帧)的左右目相对于所述标记物的位姿解算结果，可以选择最近的3帧，将这3帧中每一帧的右目相对于所述标记物的位姿解算结果，通过左右目之间的相对位姿参数，转换到左目相同的坐标系下。之后求取每一帧的左右目相对于所述标记物的位姿解算结果的均值，之后再对这3帧分别对应的均值，求取一个均值，即第一均值，将第一均值作为最终的位姿解算结果。
[0066]
以下结合图3的示例进一步描述上述优选实施过程。
[0067]
图3是根据本发明优选实施例的基于双目的位姿解算精度判断处理流程图；如图3所示，该位姿解算精度判断处理流程主要包括：
[0068]
步骤s301；获取保存的当前帧的左右目相对于所述标记物(以平面标记板为例进行说明)的位姿解算结果，其中，由于双目远离标记版使得投影到双目平面的标记板很小，导致投影模型弱化成类透视投影模型，使得求解的旋转具有二异性(有两个旋转解)，另外投影到双目平面的标记板过小时，图像噪声的影响更加明显，同样也增加了旋转的二异性，因此左右目分别对应两个位姿解；例如，t
11
＝[r
11
,t
11
],t
12
＝[r
12
,t
12
]表示左目的两个优化的位姿,t
21
＝[r
21
,t
21
],t
22
＝[r
22
,t
22
]表示右目的两个优化位姿。其中，r代表旋转矩阵，t代表平移矩阵。
[0069]
步骤s302；通过以下公式，解算得到双目之间的相对位姿参数：其中，x为集合{1，2}，t
1x
表示左目对应的两个位姿解t
11
和t
12
，t
2x
表示右目对应的两个位姿解t
21
和t
22
，表示左右目之间的相对位姿参数。
[0070]
步骤s303；由于双目之间的位姿是已知的，将计算获取的与已知双目之间的相对位姿参数进行比对，可以确定左目和右目分别对应的正确位姿解；例如，t
11
为左目的正确位姿解，t
22
为右目的正确位姿解。
[0071]
步骤s304；根据t22*(t11)-1的计算结果与已知双目之间的相对位姿参数确定误差，根据误差确定上述左右目相对于所述平面标记板的位姿解算结果是否满足预设精度要求。如果满足预设精度要求，则执行步骤s305，否则，执行步骤s306。
[0072]
步骤s305；在左右目相对于所述平面标记板的位姿解算结果满足上述预设精度要求时，将左右目相对于所述平面标记板的位姿解算结果作为当前帧的位姿解算结果。
[0073]
步骤s306；在左右目相对于所述平面标记板的位姿解算结果不满足上述预设精度要求时，选择上述平面标记板的感兴趣区域，并对于上述感兴趣区域执行亮度均衡化处理。
[0074]
继续判断双目相对于所述平面标记板的位姿解算结果是否满足预设精度要求，满足上述预设精度要求时，执行步骤s305，否则，执行步骤s307。
[0075]
步骤s307；在双目相对于所述平面标记板的位姿解算结果不满足上述预设精度要求时，使用感光传感器检测当前光线状况；当光线过曝或者不足时，继续执行上述相应的调节方案(例如，调节视觉传感器的曝光时间和/或增益，使用补光器件调节补光强度等)，具体参见图2中的步骤s205至步骤s210，此处不再赘述，直至左右目检测到平面标记板。之后，返回执行步骤s301，继续判断左右目的位姿解算结果是否满足预设精度要求。
[0076]
根据本发明实施例，还提供了一种基于多目视觉传感器的位姿解算处理装置。
[0077]
图4是根据本发明实施例的基于多目视觉传感器的位姿解算处理装置的结构框图。如图4所示，该基于多目视觉传感器的位姿解算处理装置包括：检测模块40，用于在当前帧使用多目视觉传感器检测标记物；调节模块42，用于在上述多目视觉传感器中仅有不超过一个视觉传感器检测到上述标记物的情况下，触发执行当前环境的调节处理流程；判断模块44，用于当上述多目视觉传感器中至少两目均检测到上述标记物时，根据上述至少两目之间的相对位姿参数，判断上述至少两目相对于所述标记物的位姿解算结果是否满足预设精度要求；确定模块46，用于在上述至少两目相对于所述标记物的位姿解算结果满足上述预设精度要求时，将上述至少两目相对于所述标记物的位姿解算结果作为当前帧的位姿
解算结果。
[0078]
采用图4所示的基于多目视觉传感器的位姿解算处理装置，检测模块40使用多目视觉传感器检测标记物时，调节模块42在上述多目视觉传感器中仅有不超过一个视觉传感器(仅有1个视觉传感器或者0个视觉传感器)检测到上述标记物的情况下，会触发执行当前环境的调节处理流程；通过设置调节处理流程，可以解决相关技术中基于相机检测标记物，易受环境条件影响，导致识别率降低的问题。并且，判断模块44在上述多目视觉传感器中至少两目(2个或者2个以上视觉传感器)均检测到上述标记物时，可以根据上述至少两目之间的相对位姿参数，判断上述至少两目相对于所述标记物的位姿解算结果是否满足预设精度要求，确定模块46在上述至少两目相对于所述标记物的位姿解算结果满足上述预设精度要求时，将上述至少两目相对于所述标记物的位姿解算结果作为当前帧的位姿解算结果，通过上述精度判断处理方案，提高了位姿解算精度。
[0079]
优选地，上述调节模块42可以进一步包括：检测单元(图3中未示出)，用于使用感光传感器检测当前光线状况；第一执行单元(图3中未示出)，用于当光线过曝时，调节未检测到上述标记物的视觉传感器的曝光时间和/或增益，之后继续检测上述标记物，循环执行该步骤，直至上述多目视觉传感器中至少两目均检测到上述标记物；第二执行单元(图3中未示出)，用于当光线不足时，使用补光器件调节补光强度，之后继续检测上述标记物，循环执行该步骤，直至上述多目视觉传感器中至少两目均检测到上述标记物。
[0080]
需要说明的是，上述基于多目视觉传感器的位姿解算处理装置中的各模块各单元相互结合的优选实施方式，具体可以参见图1至图3的描述，此处不再赘述。
[0081]
根据本发明实施例，还提供了一种基于多目视觉传感器的位姿解算处理设备。
[0082]
图5是根据本发明优选实施例的基于多目视觉传感器的位姿解算处理设备的结构框图。如图5所示，该基于多目视觉传感器的位姿解算处理设备包括：多目视觉传感器50、感光传感器52、补光器件54、存储器56及处理器58，上述多目视觉传感器50，用于检测标记物；上述感光传感器52，用于检测当前光线状况；上述补光器件54，用于在光线不足时进行补光；上述存储器56，用于存储计算机执行指令；上述处理器58，用于执行上述存储器存储的计算机执行指令，使得上述机器人执行上述的位姿解算处理方法。具体可以参见图1至图3的描述，其实现方式与原理相同，不再赘述。
[0083]
综上所述，针对相关技术中基于相机检测标记物技术，易受环境条件的影响(特别是在不利的环境光下(例如，黑暗、晦暗、强光等))，识别率低，机器人相对于标记物的位姿解算精度不够的问题，借助本发明提供的上述实施例，使用多目(例如，双目，三目等)视觉传感器检测标记物，当仅有不超过一个视觉传感器检测到所述标记物时，会触发执行当前环境的调节处理流程，通过设置调节处理流程，可以解决识别率低的问题。并且，当所述多目视觉传感器中至少两目(2个或者2个以上视觉传感器)均检测到所述标记物时，可以根据所述至少两目之间的相对位姿参数，判断所述至少两目相对于所述标记物的位姿解算结果是否满足预设精度要求，在所述至少两目相对于所述标记物的位姿解算结果满足所述预设精度要求时，将所述至少两目相对于所述标记物的位姿解算结果作为当前帧的位姿解算结果，通过上述精度判断处理方案，提高了位姿解算精度。并且，对于视觉传感器位姿解算的二异解问题，还利用了多目的优势，使用至少两目之间的相对位姿参数，找到正确的位姿解，进一步提高了解算的精度。此外，还使用了多帧融合的方法，将多帧位姿解算结果求均
值，采用均值作为最终的位姿解算结果，进一步提高了精度以及稳定性。
[0084]
以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。