一种机器人自动校准方法和系统与流程

1.本技术涉及自动化技术领域，尤其是涉及一种机器人自动校准方法和系统。


背景技术：

2.工业自动化是在工业生产中广泛采用自动控制、自动调整装置，用以代替人工操纵机器和机器体系进行加工生产的趋势。其中，汽车制造是先进制造业中的排头兵。
3.汽车装配的智能化应用包括有地面净空及载具作业高度智能可调，在车间中，目前已应用了移动式的底盘载具或底盘吊具用以在装配线间运输车辆，但是在运输到相应的装配线上时，车辆与装配机器人之间会存在位置偏移的情况。


技术实现要素：

4.为了能够自动调整车辆在装配线上的位置，本技术提出了一种机器人自动校准方法和系统。
5.在本技术的第一方面，提出了一种基于自动识别的车辆只能调整方法，该方法包括，获取车辆的轮辋轮廓图像；基于最小二乘椭圆拟合算法计算所述轮辋轮廓图像中轮辋中心的坐标；将所述轮辋轮廓图像和预设图像、所述轮辋中心的坐标和预设坐标进行比较，判断所述轮辋的大小及坐标是否位于预设阈值内；若否，则根据所述轮辋轮廓图像与预设图像的比较结果、所述轮辋中心的坐标与预设坐标的比较结果，确定所述车辆的偏移位置及偏移量；根据所述偏移位置及偏移量对所述车辆进行调整。
6.通过采用上述技术方案，首先获取到在固定位置拍摄到的车辆侧面的轮辋轮廓图像，轮辋轮廓图像是经过处理后的清晰的线性轮廓图像，基于最小二乘椭圆拟合算法计算轮辋的中心坐标后，将轮辋轮廓图像与预设的图像作比较，轮辋中心的坐标与预设坐标作比较，分析轮辋的大小以及坐标位置是否位于预设图像中的预设阈值内，若否，说明车辆的位置发生了较大的偏移，需对车辆进行调整，装配机器人才能更加精准的对其进行装配零部件，故可根据两个图像的比较结果，以及坐标的偏移确定车辆的偏移位置即偏移量，再控制底盘载具对车辆进行位置的调整，通过这种方式，可以使得底盘载具在移动车辆到相应的装配线上时，自动调整车辆的位置，也可使得装配机器人对其精准的装配。
7.优选地，所述基于最小二乘椭圆拟合算法计算所述轮辋轮廓图像中轮辋中心的坐标，采用以下公式：
8.平面任意位置椭圆的方程表达式为：
[0009][0010]
其中，a代表长轴半径、b代表短轴半径、θ代表长轴与x轴的夹角。
[0011]
令：
[0012]
[0013][0014][0015][0016][0017]
则椭圆的方程可改写为：
[0018]
x2 axy by2 cx dy e＝0
[0019]
根据最小二乘原理，通过求目标函数：
[0020][0021]
来确定参数a、b、c、d和e。其中k＝1,2,3,
…
,n,n≥5。
[0022]
由极值原理，使f值最小，则：
[0023][0024]
求解得a、b、c、d和e的值后便可得到椭圆中心坐标为：求解得a、b、c、d和e的值后便可得到椭圆中心坐标为：
[0025]
优选地，在计算所述轮辋轮廓图像中轮辋中心的坐标之前，还包括，
[0026]
根据最小二乘椭圆拟合算法获得所述轮辋轮廓图像中轮辋的双环特征区域的边缘的内、外椭圆长轴之比；
[0027]
若所述长轴之比在预设范围内，则认定所述轮辋轮廓图像中的双环为轮辋的双环特征区域；
[0028]
若所述长轴之比不在预设范围内，则认定所述轮辋轮廓图像中的双环不是轮辋的双环特征区域。
[0029]
优选地，所述获取车辆的轮辋轮廓图像包括，
[0030]
获取车辆的第一图像，第一图像包括车辆侧面的整体图像；
[0031]
对所述第一图像中的轮辋进行色彩及滤波处理，获得第二图像；
[0032]
利用canny边缘检测算法对所述第二图像中的轮辋进行边缘检测及形状识别，获得轮辋轮廓图像。
[0033]
优选地，所述第一图像为rgb模式，所述对所述第一图像中的轮辋进行色彩及滤波处理，包括，
[0034]
将所述第一图像由rgb色彩空间转换为hsv色彩空间；
[0035]
根据hsv色彩空间的色相值对所述第一图像进行滤波，得到第二图像。
[0036]
在本技术的第二方面，提出了一种基于自动识别的车辆智能调整装置，包括，第一获取模块，用于获取车辆的轮辋轮廓图像；第一处理模块，用于基于最小二乘椭圆拟合算法计算所述轮辋轮廓图像中轮辋中心的坐标；判断模块，用于所述轮辋轮廓图像和预设图像、所述轮辋中心的坐标和预设坐标进行比较，判断所述轮辋的大小及坐标是否位于预设阈值内；确定模块，用于在所述轮辋的大小及坐标未位于预设阈值内时，根据所述轮辋轮廓图像与预设图像的比较结果、所述轮辋中心的坐标与预设坐标的比较结果，确定所述车辆的偏移位置及偏移量；调整模块，用于根据所述偏移位置及偏移量对所述车辆进行调整。
[0037]
优选地，所述处理模块具体用于计算以下公式，
[0038]
平面任意位置椭圆的方程表达式：
[0039][0040]
其中，a代表长轴半径、b代表短轴半径、θ代表长轴与x轴的夹角。
[0041]
令：
[0042][0043][0044][0045][0046][0047]
则椭圆的方程可改写为：
[0048]
x2 axy by2 cx dy e＝0
[0049]
根据最小二乘原理，通过求目标函数：
[0050][0051]
来确定参数a、b、c、d和e。其中k＝1,2,3,
…
,n,n≥5。
[0052]
由极值原理，使f值最小，则：
[0053][0054]
求解得a、b、c、d和e的值后便可得到椭圆中心坐标为：求解得a、b、c、d和e的值后便可得到椭圆中心坐标为：
[0055]
优选地，还包括，
[0056]
第二获取模块，用于获取车辆的第一图像，第一图像包括车辆侧面的整体图像；
[0057]
第二处理模块，用于对所述第一图像中的轮辋进行色彩及滤波处理，获得第二图像；
[0058]
第三处理模块，用于利用canny边缘检测算法对所述第二图像中的轮辋进行边缘检测及形状识别，获得轮辋轮廓图像。
[0059]
在本技术的第三方面，提出了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如上面任一项所述的方法。
[0060]
在本技术的第四方面，提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上面所述任一项的方法。
附图说明
[0061]
结合附图并参考以下详细说明，本技术各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
[0062]
图1示出了本技术实施例的机器人自动校准方法的应用场景示意图。
[0063]
图2示出了本技术实施例的一种电子设备的结构图。
[0064]
图3示出了本技术实施例中的机器人自动校准方法流程图。
[0065]
图4示出了一种实施例中机器人自动校准方法中对轮辋轮廓图像的处理的方法流程图。
[0066]
图5示出了本技术实施例中的机器人自动校准系统的原理框图。
具体实施方式
[0067]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0068]
工业自动化是在工业生产中广泛采用自动控制、自动调整装置，用以代替人工操纵机器和机器体系进行加工生产的趋势。其中，汽车制造是先进制造业中的排头兵。汽车装配的智能化应用包括有地面净空及载具作业高度智能可调，在车间中，目前已应用了移动式的底盘载具或底盘吊具用以在装配线间运输车辆，现有的底盘吊具或底盘载具不仅z向可升降，且可在0
°
至110
°
范围旋转，但是在运输到相应的装配线上时，车辆与装配机器人之间会存在位置偏移的情况，如何控制底盘载具或底盘吊具对车辆进行位置调整是一直在研究的问题。故本技术提出了一种机器人自动校准方法和系统。
[0069]
下面对本技术实施例所涉及的应用场景进行介绍。需要说明的是，本技术实施例描述的应用场景为智能装配车间的某条装配线上对车辆位置进行调整的场景，仅仅是为了更加清楚的说明本技术实施例的技术方案，并不构成对本技术实施例提供的技术方案的限定。本技术实施例提供的机器人自动校准方法在其他装配车间的装配线上需要对车辆进行调整的相似或类似的场景同样适用。
[0070]
图1所示为本技术实施例的机器人自动校准方法的应用场景示意图。在图1所示的
场景中，示意性地示出在智能装配车间中的某条装配线上，底盘载具将车辆运输到对车辆进行零配件装配的智能机器人旁边，由于智能机器人的手臂长度及灵活度有限，故需通过在固定的位置设置摄像机，使用同角度同距离同焦距对车辆的侧面进行整车的拍照，并根据对拍照获取到的图像进行识别来确认车辆的当前位置，从而确定车辆的位置是否位于智能机器人的可精准操控的范围内，若超出此范围，则控制底盘载具对车辆进行相应的位置调整，提高了智能机器人对其进行零配件装配的精准度。需要说明的是，底盘载具是按照预设运动轨迹进行待装配车辆运输的，在运输到相应的装配线时是有固定位置及方位进行停靠的，故车辆是不会发生大位置或大角度偏移的，本技术解决的问题为在底盘载具按照规定位置停靠后，对车辆位置的精准调整。
[0071]
图2所示为本技术实施例的一种电子设备的结构图，在一些可选地实施方式中，图2所示的电子设备为布置在装配车间的控制设备或控制装配车间的控制设备。
[0072]
参照图2，电子设备200包括处理器201和存储器203。其中，处理器201和存储器203相连，如通过总线202相连。可选地，电子设备200还可以包括收发器204。需要说明的是，实际应用中收发器204不限于一个，该电子设备200的结构并不构成对本技术实施例的限定。
[0073]
处理器201可以是cpu(central processing unit，中央处理器)，通用处理器，dsp(digital signal processor，数据信号处理器)，asic(application specific integrated circuit，专用集成电路)，fpga(field programmable gate array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器201也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。
[0074]
总线202可包括一通路，在上述组件之间传送信息。总线202可以是pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。总线202可以分为地址总线、数据总线、控制总线等。为便于表示，图2中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0075]
存储器203可以是rom(read only memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，ram(random access memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是eeprom(electrically erasable programmable read only memory，电可擦可编程只读存储器)、cd-rom(compact disc read only memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
[0076]
存储器203用于存储执行本技术方案的应用程序代码，并由处理器201来控制执行。处理器201用于执行存储器203中存储的应用程序代码，以实现车辆的图像识别或者控制装配机器人对车辆的位置进行调整。
[0077]
其中，电子设备包括但不限于：笔记本电脑、台式计算机、工控机等固定终端。需要说明的是，图2示出的电子设备仅仅是一个示例，不应对本技术实施例的功能和使用范围带
来任何限制。
[0078]
图3所示为本技术实施例中机器人自动校准方法的流程图，如图3所示，该方法包括如下步骤：
[0079]
步骤s301，获取车辆的轮辋轮廓图像。
[0080]
在本技术实施例中，车辆的轮辋轮廓图像为经过处理之后的轮辋的清晰线性轮廓图像，具体地，在一种可实现的方式中，如图4所示，得到轮辋轮廓图像的处理过程为：
[0081]
步骤s401，获取车辆的第一图像，第一图像包括车辆侧面的整体图像。
[0082]
步骤s402，对第一图像中的轮辋进行色彩及滤波处理，获得第二图像。
[0083]
步骤s403，利用canny边缘检测算法对第二图像中的轮辋进行边缘检测及形状识别，获得轮辋轮廓图像。
[0084]
下面分别对其进行解释：
[0085]
需要说明的是，本技术实施例中，轮辋轮廓图像和预设图像公用相同的平面坐标系。
[0086]
在步骤s401中，第一图像的获取为，在装配线的固定位置设定一个相机，以相同角度、相同焦距、相同的距离对底盘载具运输过来的车辆进行拍照，拍摄范围为车辆整个侧面车身，得到车辆的第一图像，因车辆的侧面包含用于固定轮胎的轮辋，故第一图像中包括轮辋图像。
[0087]
在步骤s402中，获取到的第一图像均为rgb模式，对第一图像中的轮辋进行色彩及滤波处理，在一种可实现的方式中，首先对第一图像进行色彩空间转换，因第一图像为rgb模式，即全色彩图像，由各为8比特像素深度的红、绿、蓝图像组成，红色作为主要特征、蓝色作为辅助特征进行图像的特征提取操作，通过以下公式来进行色彩空间转换：
[0088]
v＝max(r,g,b)
[0089][0090][0091]
h＝h 360(h《0)
[0092]
然后采用最佳h阈值、最佳s阈值和最佳v阈值，对所述第一图像进行滤波；滤波后的图像为第二图像。
[0093]
在步骤s403中，利用canny边缘检测算法对第二图像中的轮辋进行边缘检测及形状识别，即可获得轮辋轮廓图像。
[0094]
通过上述步骤s401至步骤s403的处理过程可获取得到本技术实施例中的轮辋轮廓图像。
[0095]
步骤s302，基于最小二乘椭圆拟合算法计算轮辋轮廓图像中轮辋中心的坐标。
[0096]
在本技术实施例中，通过最小二乘椭圆拟合算法计算轮辋中心坐标的过程为：
[0097]
平面任意位置椭圆的方程表达式为：
[0098][0099]
其中，a代表长轴半径、b代表短轴半径、θ代表长轴与x轴的夹角。
[0100]
令：
[0101][0102][0103][0104][0105][0106]
则椭圆的方程可改写为：
[0107]
x2 axy by2 cx dy e＝0
[0108]
根据最小二乘原理，通过求目标函数：
[0109][0110]
来确定参数a、b、c、d和e。其中k＝1,2,3,
…
,n,n≥5。
[0111]
由极值原理，使f值最小，则：
[0112][0113]
求解得a、b、c、d和e的值后便可得到椭圆中心坐标为：求解得a、b、c、d和e的值后便可得到椭圆中心坐标为：
[0114]
需要说明的是，一般情况下，轮辋为圆形，但是由于相机与车身会存在一定的角度，故在拍摄的第一图像上，轮辋的形状为椭圆，故在本技术中采用的最小二乘椭圆拟合算法计算轮辋中心坐标。
[0115]
在一些申请实施例中，在计算轮辋的中心坐标之前还包括，判断轮辋轮廓图像中图像是否为真正的轮辋图像，其判断方法，在一种可实现的方式中，采用以下方法：根据最小二乘椭圆拟合算法获得轮辋轮廓图像中轮辋的双环特征区域的边缘的内、外椭圆长轴之
比；若长轴之比在预设范围内，则认定所述轮辋轮廓图像中的双环为轮辋的双环特征区域；若长轴之比不在预设范围内，则认定轮辋轮廓图像中的双环不是轮辋的双环特征区域。
[0116]
步骤s303，将轮辋轮廓图像和预设图像、轮辋中心的坐标和预设坐标进行比较，判断轮辋的大小及坐标是否位于预设阈值内。
[0117]
在本技术实施例中，预设图像是底盘载具将车辆调整至正确位置后，通过设置的相机对其进行拍照，将采集的图像进行如上述步骤s401至步骤s403的方式进行处理获得的图像，需要说明的是，在本技术中，预设图像既轮辋轮廓图像是使用的相同的相机，相机的设置位置、拍摄角度、拍摄焦距等均相同。在一些实施例中，可将实际车间中需进行装配的所有车型进行拍照，处理图像获得该车型的轮辋轮廓图像，将这些图像在系统中进行存储，在进行比对时，首先将获取到的第一图像进行车型识别，根据车型在系统中调取与该车型相应的轮辋轮廓图像作为预设图像进行比较。
[0118]
轮辋轮廓图像与预设图像的比较包括，比较轮辋轮廓图像中的轮辋轮廓是否与预设图像中的轮辋轮廓位置相同且大小相同，判断两个图像中轮辋中心的坐标位置是否相同，若否，则判断是否处于预设的阈值之内，若其中任一项未处于预设阈值之内，则确定该车辆的位置相对规定位置发生了偏移；若每项均处于预设阈值范围内，则可确定该车辆的位置位于规定位置，可直接进行后续的装配工作了。
[0119]
步骤s304，在轮辋的大小及坐标未位于预设阈值内时，根据轮辋轮廓图像与预设图像的比较结果、轮辋中心的坐标与预设坐标的比较结果，确定车辆的偏移位置及偏移量。
[0120]
在本技术实施例中，当轮辋的大小及坐标未位于预设阈值内时，则对车辆的位置偏移位置及偏移量进行分析，在一种可实现的方式中，可以预设车辆位置的一个点作为原点建立三维坐标系，以垂直于地面向上的方向作为z轴，以于车头所面向的方位作为x轴，以远离摄像机的方位作为y轴，在此基础上来做偏移位置及偏移量的分析，分析过程包括，首先比较轮辋轮廓图像中的两个轮辋大小是否一样，若一样，证明车辆的侧面是与预设的车辆位置保持平行的，即与x轴与z轴所在平面保持平行，则此时只需再判断车辆与预设的车辆位置相比整辆车分别在x轴、y轴和z轴方向的偏移量即可，即比较轮辋轮廓图像中的轮辋大小是否与预设图像中的轮辋大小相同，若相同，证明轮辋轮廓图像中的车辆与预设图像中的车辆在相同的水平面，此时根据轮辋中心坐标的偏移方位及偏移量，即可确定当前车辆在x轴方向和z轴方向分别需要做的位置调整；若轮廓图像中的轮辋大小与预设图像中的轮辋大小不同，则证明当前车辆与预设图像中的车辆在y轴方向上有偏差，根据两个图像中轮辋的大小偏差比例确定其需在y轴调整的偏移量，调整之后再根据两个图像中轮辋中心坐标的偏移即可确认当前车辆在x轴方向和z轴方向分别需要做的位置调整。此过程为轮辋轮廓图像中的两个轮辋大小相同的情况下的调整分析过程，若轮辋轮廓图像中的两个轮辋大小不同，说明当前车辆的车头和车尾在y轴方向发生了偏移，轮辋大小较小的一头沿着y轴方向发生了偏移，则首先根据轮辋轮廓图像中轮辋大小较大的轮辋与预设图像中相对应的轮辋进行大小比较，调整其沿y轴方向的偏移，使两个轮辋大小向相同，因预设图像中两个轮辋中心的距离是可知的，对应的可利用三角函数来计算轮辋轮廓图像中沿y轴偏移的一头需调整的转动角度，将两个图像中的车辆调整为在x轴和z轴所在的同一水平面后，可按照上述轮辋轮廓图像中的两个轮辋大小相同的情况下的调整方法进行调整。
[0121]
步骤s305，根据所述偏移位置及偏移量对所述车辆进行调整。
[0122]
本技术实施例中，处理器可根据步骤s304中的分析过程控制车辆一步一步的进行调整，也可在分析结束之后，根据累计的调整指令统一进行车辆的位置调整。
[0123]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本技术所必须的。
[0124]
以上是关于方法实施例的介绍，以下通过装置实施例，对本技术所述方案进行进一步说明。
[0125]
图5所示为本技术实施例中机器人自动校准系统的原理框图，如图5所示，该系统包括：
[0126]
第一获取模块501，用于获取车辆的轮辋轮廓图像。
[0127]
第一处理模块502，用于基于最小二乘椭圆拟合算法计算轮辋轮廓图像中轮辋中心的坐标。
[0128]
判断模块503，用于将轮辋轮廓图像和预设图像、轮辋中心的坐标和预设坐标进行比较，判断轮辋的大小及坐标是否位于预设阈值内。
[0129]
确定模块504，用于在轮辋的大小及坐标未位于预设阈值内时，根据轮辋轮廓图像与预设图像的比较结果、轮辋中心的坐标与预设坐标的比较结果，确定车辆的偏移位置及偏移量。
[0130]
调整模块505，用于根据偏移位置及偏移量对车辆进行调整。
[0131]
在一些申请实施例中，处理模块具体用于计算以下公式，
[0132]
平面任意位置椭圆的方程表达式：
[0133][0134]
其中，a代表长轴半径、b代表短轴半径、θ代表长轴与x轴的夹角。
[0135]
令：
[0136][0137][0138][0139][0140][0141]
则椭圆的方程可改写为：
[0142]
x2 axy by2 cx dy e＝0
[0143]
根据最小二乘原理，通过求目标函数：
[0144][0145]
来确定参数a、b、c、d和e。其中k＝1,2,3,
…
,n,n≥5。
[0146]
由极值原理，使f值最小，则：
[0147][0148]
求解得a、b、c、d和e的值后便可得到椭圆中心坐标为：求解得a、b、c、d和e的值后便可得到椭圆中心坐标为：
[0149]
在一些申请实施例中，该装置还包括：
[0150]
第二获取模块，用于获取车辆的第一图像，第一图像包括车辆侧面的整体图像。
[0151]
第二处理模块，用于对第一图像中的轮辋进行色彩及滤波处理，获得第二图像。
[0152]
在一些申请实施例中，该装置还包括：
[0153]
第三处理模块，用于利用canny边缘检测算法对所述第二图像中的轮辋进行边缘检测及形状识别，获得轮辋轮廓图像。
[0154]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0155]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如：同轴电缆、光纤、数据用户线(digital subscriber line，dsl))或无线(例如：红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如：软盘、硬盘、磁带)、光介质(例如：数字通用光盘(digital versatile disc，dvd))或半导体介质(例如：固态硬盘(solid state disk，ssd))等。值得注意的是，本技术实施例提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。
[0156]
以上所述为本技术提供的示例性实施例，并不用以限制本技术实施例，凡在本技术实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。