基于视觉定位的螺栓上料预拧紧系统及控制方法与流程

1.本发明涉及汽车及工程车辆发动机装配螺栓拧紧控制技术领域，特别涉及一种基于视觉定位的发动机主轴承盖螺栓机器人上料预拧紧系统及控制方法。


背景技术：

2.直列式四缸四冲程汽油发动机主轴承盖等类似的连接结构是发动机的关键组成部分，主要由发动机缸体、轴承盖、主轴承盖螺栓三部分组成。发动机主轴承盖的作用是将滑动轴承固定在缸体上，而滑动轴承用来支撑曲轴，保证曲轴正常运转和动力输出。主轴承盖螺栓提供足够稳定的预紧力，紧紧压住主轴承盖，从而将滑动轴承紧固可靠。
3.主轴承盖螺栓作为连接结构的重要组成部分，主要将主轴承盖和曲轴固定在缸体上，对螺栓施加预紧力的同时还要承受复杂的交变载荷。由于螺栓的工作环境较为恶劣，若预紧力过大则会导致螺栓拉断失效；若螺栓预紧力过小，则会导致主轴承盖未夹紧，在交变载荷下损毁主轴承盖和螺栓；进而导致发动机发生故障，甚至威胁到驾驶员的生命安全。因此，保证主轴承盖螺栓的可靠性连接直接关系到发动机的可靠性和稳定性。
4.目前，国内外汽车生产线上大多采用了多轴自动拧紧设备和各种高效的装配方法完成发动机主轴承盖螺栓组联接的装配工作，并在装配联接中精确控制扭矩和预紧力。但是，在拧紧工位前需要安排一个专门的螺栓上料工位，通过人工抓取的方式将预联接螺栓放置到发动机主轴承盖各螺栓孔中，为后续工位螺栓的自动拧紧装配做好准备。
5.在上述螺栓组手工上料方式中，存在工作效率低、节拍慢、自动化程度不高的问题。


技术实现要素：

6.本发明的主要目的在于提出一种基于视觉定位的螺栓上料预拧紧系统及控制方法，旨在提升工作质量，提高发动机主轴承盖螺栓上料和预拧紧效率，降低生产成本。
7.为实现上述目的，本发明提供了一种基于视觉定位的螺栓上料预拧紧系统，包括上位机控制系统、机器人和工装夹具，其中，所述机器人与所述上位机控制系统通信连接，所述工装夹具安装于所述机器人上，所述工装夹具上安装有螺栓抓放及预拧紧组件、用于驱动所述螺栓抓放及预拧紧组件动作的气动控制单元、用于对发动机主轴承盖螺栓孔进行拍照定位并引导机器人带动所述螺栓抓放及预拧紧组件抓放和预拧紧螺栓的视觉组件。
8.本发明进一步地技术方案是，所述工装夹具包括夹具组件安装板、与所述夹具组件安装板垂直设置的夹具连接板，所述夹具连接板的中心位置设置有与所述机器人连接的法兰安装结构，所述螺栓抓放及预拧紧组件、视觉组件均安装于所述夹具组件安装板上。
9.本发明进一步地技术方案是，所述视觉组件包括从上至下依次设置于所述夹具组件安装板上的相机、远心镜头和同轴光源。
10.本发明进一步地技术方案是，所述螺栓抓放及预拧紧组件包括预拧紧电机安装板、直线导轨、滑块、步进电机、同步传动带和螺栓套筒模块，其中，所述直线导轨安装于所
述预拧紧电机安装板的背面，通过所述滑块与所述夹具组件安装板滑动连接，所述步进电机通过步进电机法兰安装板安装于所述预拧紧电机安装板的正面，所述步进电机通过所述同步传动带与所述螺栓套筒模块连接，用于驱动所述螺栓套筒模块旋转并进行螺栓预拧紧操作。
11.本发明进一步地技术方案是，所述螺栓套筒模块通过两个安装座安装于所述预拧紧电机安装板上，所述螺栓套筒模块包括圆柱形套筒、拧紧披头、同步带轮以及压紧弹簧，其中，所述圆柱形套筒通过销钉套设于所述拧紧披头以及所述压紧弹簧外，所述圆柱形套筒可相对于所述拧紧披头上下运动，所述压紧弹簧的下端与所述销钉相抵接，所述同步带轮与所述同步传动带连接。
12.本发明进一步地技术方案是，所述螺栓上料预拧紧系统还包括辅助运动模块，所述辅助运动模块包括固定牵引块、浮动接头、气缸、磁性开关、节流阀，其中，所述固定牵引块于所述步进电机法兰安装板下方安装于所述预拧紧电机安装板上，所述浮动接头安装于所述气缸和所述固定牵引块之间，所述磁性开关和节流阀安装于所述气缸的底部。
13.本发明进一步地技术方案是，所述气动控制单元包括安装于所述夹具组件安装板上的真空发生器和气体过滤器，所述气缸、节流阀、浮动接头、固定牵引块、磁性开关配合所述真空发生器、气体过滤器构建成气动控制机构。
14.本发明进一步地技术方案是，所述气动控制机构还包括与所述工装夹具连接的空压机。
15.本发明基于视觉定位的螺栓上料预拧紧系统的有益效果是：本发明通过上述技术方案，包括上位机控制系统、机器人和工装夹具，其中，所述机器人与所述上位机控制系统通信连接，所述工装夹具安装于所述机器人上，所述工装夹具上安装有螺栓抓放及预拧紧组件、用于驱动所述螺栓抓放及预拧紧组件动作的气动控制单元、用于对发动机主轴承盖螺栓孔进行拍照定位并引导机器人带动所述螺栓抓放及预拧紧组件抓放和预拧紧螺栓的视觉组件，提升了工作质量，提高了发动机主轴承盖螺栓上料和预拧紧效率，降低了生产成本。
16.为实现上述目的，本发明还提出一种基于视觉定位的螺栓上料预拧紧系统控制方法，其特征在于，所述方法应用于如上所述的基于视觉定位的螺栓上料预拧紧系统，所述方法包括以下步骤：
17.上位机控制系统获取视觉组件拍摄到的螺栓孔图片；
18.对所述螺栓孔图片进行处理，得到所述螺栓孔中心点的坐标值，并将所述螺栓孔中心点的坐标值发送给机器人；
19.控制所述机器人抓取螺栓，并根据所述螺栓孔中心点的坐标值将螺栓放入所述螺栓孔内进行预拧紧。
20.本发明进一步地技术方案是，所述对螺栓孔图片进行处理的步骤包括对视觉组件的标定、机器人和视觉组件的手眼标定、螺栓孔形状的模板匹配、以模板为中心建模模块坐标系以及找圆工具进行螺栓孔中心位置的二次确认过程。
21.本发明基于视觉定位的螺栓上料预拧紧系统控制方法的有益效果是：本发明通过上述技术方案：上位机控制系统获取视觉组件拍摄到的螺栓孔图片；对所述螺栓孔图片进行处理，得到所述螺栓孔中心点的准确坐标值，并将所述螺栓孔中心点的坐标值发送给机
器人；控制所述机器人抓取螺栓，并根据所述螺栓孔中心点的坐标值将螺栓放入所述螺栓孔内进行预拧紧，提升了工作质量，提高了发动机主轴承盖螺栓上料和预拧紧效率，降低了生产成本。
附图说明
22.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
23.图1是本发明基于视觉定位的螺栓上料预拧紧系统较佳实施例的整体组成示意图；
24.图2是本发明基于视觉定位的螺栓上料预拧紧系统较佳实施例的工装夹具第一结构示意图；
25.图3是本发明基于视觉定位的螺栓上料预拧紧系统较佳实施例的工装夹具第二结构示意图；
26.图4是本发明基于视觉定位的螺栓上料预拧紧系统较佳实施例的工装夹具第三结构示意图；
27.图5是本发明的螺栓抓放及预拧紧组件第一局部结构示意图；
28.图6是本发明的螺栓套筒模块的爆炸图；
29.图7是本发明的螺栓抓放及预拧紧组件第二局部结构示意图；
30.图8是本发明的辅助运动模块的局部示意图；
31.图9是本发明基于视觉定位的螺栓上料预拧紧系统控制方法的系统控制流程图；
32.图10是本发明基于视觉定位的螺栓上料预拧紧系统控制方法的上位机和机器人通讯流程图；
33.图11是本发明基于视觉定位的螺栓上料预拧紧系统控制方法的图像处理流程图；
34.图12是远心成像模型图；
35.图13是机器人手眼关系图；
36.图14是螺纹孔模板匹配图。
37.附图标号说明：
38.机器人1；网络交换机2；机器人控制柜3；机器人示教器4；上位图像处理计算机5；汽车发动机待装配拧紧对象6；料架7；螺栓8；工装夹具9；夹具组件安装板10；夹具连接板11；法兰安装结构12；相机13；远心镜头14；同轴光源15；预拧紧电机安装板16；直线导轨17；滑块18；步进电机19；同步传动带20；步进电机法兰安装板21；固定牵引块22；同步带轮23；安装座24；圆柱形套筒25；拧紧披头26；压紧弹簧27；销钉28；浮动接头29；气缸30；磁性开关31；节流阀32；真空发生器33；气体过滤器34；空压机35。
39.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
40.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后
……
)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
42.另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，全文中出现的“和/或”的含义，包括三个并列的方案，以“a和/或b”为例，包括a方案、或b方案、或a和b同时满足的方案。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
43.考虑到现有技术中的螺栓组手工上料方式中，存在工作效率低、节拍慢、自动化程度不高的问题，本发明提出一种基于视觉定位的螺栓上料预拧紧系统。本发明利用视觉组件为机器人提供发动机主轴承盖螺栓孔的准确位置，引导机器人实现螺栓组螺栓的快速自动上料，从而提高生产效率，降低生产成本；同时利用圆柱形套筒内的吸嘴对螺栓进行抓放处理，避免螺栓在抓放到放入螺栓孔的过程中出现脱落或产生倾斜的现象，确保装配前位置精度；此外，还利用步进电机及驱动装置对放置的螺栓进行预拧紧处理，有利于后续正式拧紧工序拧紧轴对螺栓的快速认帽及同步拧紧处理。
44.具体地，如图1至图8所示，本发明基于视觉定位的螺栓上料预拧紧系统较佳实施例主要包括机器人1、网络交换机2、机器人控制柜3、机器人示教器4、上位图像处理计算机5、汽车发动机待装配拧紧对象6、放置待上料螺栓8的料架7、一定数量的待上料拧紧螺栓8和安装在机器人1末端法兰盘上的工装夹具9。其中，网络交换机2、机器人控制柜3、机器人示教器4和上位图像处理计算机5相互连接，形成上位机控制系统。
45.其中，机器人1与上位机控制系统通信连接，工装夹具9安装于机器人1上，工装夹具9上安装有螺栓抓放及预拧紧组件、用于驱动螺栓抓放及预拧紧组件动作的气动控制单元、用于对发动机主轴承盖螺栓孔进行拍照定位并引导机器人1带动螺栓抓放及预拧紧组件抓放和预拧紧螺栓8的视觉组件。
46.机器人1的承载能力，应该大于安装在机器人1末端法兰盘上的工装夹具9在工具坐标三个方向上产生的载荷大小。同时，汽车发动机待装配拧紧对象6包含的主轴承盖螺栓组，对于本实施例选用的直列式四缸四冲程汽油发动机而言共有五个轴承盖需要连接，需要按照装配工艺规范将十个主轴承盖螺栓8从料架7拾取并插入主轴承盖的连接通孔，并在下半部分螺栓孔部分实施预拧紧操作，保证后续自动拧紧机按照设定的装配方法进行装配，曲轴在工作过程中安全可靠地运行。
47.在工作时，上位机控制系统分别与机器人1和视觉组件建立成功的通讯联系；随后，以汽车发动机待装配拧紧对象6的几何安装位置为粗定位指引，机器人1带着视觉组件运动到主轴承盖上方对螺栓孔进行拍照并将所拍摄的图像以及机器人1当前位置传递至上位图像处理计算机5，然后上位图像处理计算机5调用图像处理程序对传递过来的图像进行
处理并输出螺栓孔中心点的坐标值，上位图像处理计算机5读取到螺栓孔中心点的坐标值后进行计算并输出螺栓孔中心点在机器人工具坐标系下的坐标值发给机器人1，机器人1接收到螺栓孔中心坐标值后运动到物料架7处进行抓取螺栓8，最后将螺栓8放入相应的螺栓孔内并控制步进电机19对螺栓8进行预拧紧处理，并在依次处理完十个螺栓8之后回到原点等待下一次任务的开始。
48.如图2至图4所示，本实施例中，工装夹具9包括夹具组件安装板10、与夹具组件安装板10垂直设置的夹具连接板11，夹具连接板11的中心位置设置有与机器人1连接的法兰安装结构12，螺栓抓放及预拧紧组件、视觉组件均安装于夹具组件安装板10上。
49.其中，本实施例中，工装夹具9以两块相互垂直的夹具组件安装板10和夹具连接板11为基础，在夹具连接板11的中心位置设计了对接机器人第六轴法兰的法兰安装结构12，便于工装夹具9与机器人第六轴法兰通过八个m4的六角螺钉进行安装连接；进一步，在夹具组件安装板10上可以进行各组件的安装，包括视觉组件、螺栓抓放及预拧紧组件、辅助运动模块等，实现对螺栓8的定位、抓放及预拧紧工作。
50.进一步地，如图3所示，本实施例中，视觉组件包括从上至下依次设置的相机13、远心镜头14和同轴光源15。
51.本实施例中，相机13、远心镜头14和同轴光源15位于夹具组件安装板10的左侧，远心镜头14与相机13的c接口之间通过螺纹拧紧固定连接。
52.进一步地，如图5至图7所示，螺栓抓放及预拧紧组件包括预拧紧电机安装板16、直线导轨17、滑块18、步进电机19、同步传动带20和螺栓套筒模块，其中，直线导轨17安装于预拧紧电机安装板16的背面，通过滑块18与夹具组件安装板10滑动连接，步进电机19通过步进电机法兰安装板21安装于预拧紧电机安装板16的正面，步进电机19通过同步传动带20与螺栓套筒模块连接，用于驱动螺栓套筒模块旋转并进行螺栓8的预拧紧操作。
53.本实施例中，螺栓抓放及预拧紧组件于右侧步进电机19下方安装固定牵引块22，实现整个螺栓抓放及预拧紧组件在z轴方向的运动。步进电机19通过步进电机法兰安装板21安装在预拧紧电机安装板16的右侧，并通过同步传动带20与左侧螺栓套筒模块的同步带轮23进行连接，为螺栓8的预拧紧提供动力源。
54.进一步地，本实施例中，螺栓套筒模块通过两个安装座24安装于预拧紧电机安装板16的左侧，螺栓套筒模块包括圆柱形套筒25、拧紧披头26、同步带轮23以及压紧弹簧27，其中，圆柱形套筒25通过销钉28套设于拧紧披头26以及压紧弹簧27外，圆柱形套筒25可相对于拧紧披头26上下运动，压紧弹簧27的下端与销钉28相抵接，同步带轮23与同步传动带20连接。
55.其中，整个螺栓套筒模块处于中空状态，便于气体的流动。气动控制单元可使得圆柱形套筒25内形成局部真空，实现对螺栓8的头部的吸力，圆柱形套筒25在抓取螺栓8时产生真空负压以实现螺栓8的吸取、抓放，并配合步进电机19实现旋转预拧紧动作。此外，还有使螺栓螺帽受力均匀的作用，初步避免螺栓8在抓放过程中因受力不均导致倾斜；拧紧披头26用于对螺栓8的预拧紧，动力源来自同步传动带20的转动；当拧紧披头26对螺栓8进行预拧紧旋转运动时，压紧弹簧27用于保证圆柱形套筒25可以沿z轴正方向适当的进给运动，并给螺栓8维持一定的轴向压力。
56.进一步地，如图8所示，所述螺栓上料预拧紧系统还包括辅助运动模块，辅助运动
模块包括固定牵引块22、浮动接头29、气缸30、磁性开关31、节流阀32，其中，固定牵引块22于步进电机法兰安装板21下方安装于预拧紧电机安装板16上，浮动接头29安装于气缸30和固定牵引块22之间，磁性开关31和节流阀32安装于气缸30的底部。
57.气动控制单元包括安装于夹具组件安装板10上的真空发生器33和气体过滤器34，气动控制单元使得在抓取螺栓8时圆柱形套筒25内产生负压，从而实现对螺栓8的抓取。
58.作为一种实施方式，气动控制单元还包括与工装夹具连接的空压机35。
59.气缸30、节流阀32、浮动接头29、固定牵引块22、磁性开关31配合真空发生器33、气体过滤器34、空压机35构建成气动控制机构。
60.本发明基于视觉定位的螺栓上料预拧紧系统的有益效果是：本发明通过上述技术方案，包括上位机控制系统、机器人和工装夹具，其中，机器人与上位机控制系统通信连接，工装夹具安装于机器人上，工装夹具上安装有螺栓抓放及预拧紧组件、用于驱动螺栓抓放及预拧紧组件动作的气动控制单元、用于对发动机主轴承盖螺栓孔进行拍照定位并引导机器人带动螺栓抓放及预拧紧组件抓放和预拧紧螺栓的视觉组件，提升了工作质量，提高了发动机主轴承盖螺栓上料和预拧紧效率，降低了生产成本。
61.为实现上述目的，本发明还提出一种基于视觉定位的螺栓上料预拧紧系统控制方法，本发明基于视觉定位的螺栓上料预拧紧系统控制方法应用于如上实施例所述的基于视觉定位的螺栓上料预拧紧系统，本发明基于视觉定位的螺栓上料预拧紧系统控制方法较佳实施例包括以下步骤：
62.上位机控制系统获取视觉组件拍摄到的螺栓孔图片；
63.对螺栓孔图片进行处理，得到螺栓孔中心点的坐标值，并将螺栓孔中心点的坐标值发送给机器人；
64.控制机器人抓取螺栓，并根据螺栓孔中心点的坐标值将螺栓放入螺栓孔内进行预拧紧。
65.其中，对螺栓孔图片进行处理的步骤包括对视觉组件的标定、机器人和视觉组件的手眼标定、螺栓孔形状的模板匹配、以模板为中心建模模块坐标系以及找圆工具进行螺栓孔中心位置的二次确认过程。
66.具体地，请参照图9所示的系统控制流程图。
67.在系统工作流程的初始化阶段，作为上位机控制系统的图像处理计算机分别与机器人和相机建立成功的通讯联系；随后，以汽车发动机待装配拧紧对象的几何安装位置为粗定位指引，机器人带着相机运动到发动机主轴承盖上方对螺栓孔进行拍照并将所拍摄的图片以及机器人当前位置传递至上位机控制系统，然后上位机控制系统调用图像处理程序对传递过来的图像进行处理并输出螺栓孔中心点的坐标值，上位机控制系统读取到螺栓孔中心点的坐标值后进行计算并输出螺栓孔中心点在机器人工具坐标系下的坐标值发给机器人，机器人接收到螺栓孔中心坐标值后运动到物料架处进行抓取螺栓，最后将螺栓放入相应的螺栓孔内并控制步进电机对螺栓进行预拧紧处理，并在依次处理完十个螺栓之后回到原点等待下一次任务的开始。
68.请参照图10，相机和上位控制系统之间的系统通讯方式采用以太网通讯中的vision gige协议来进行通讯；机器人和上位控制系统之间的通讯方式采用tcp/ip协议中的socket来建立通讯，其中机器人作为客户端，上位控制系统作为服务器。机器人和上位控
制系统之间的通讯流程是上位控制系统先创建一个socket套接字并绑定ip地址和监听的端口，在创建监听队列后服务器处在阻塞状态等待客户端连接，直到有客户端连接才能进行收发数据；紧接着作为客户端的机器人创建一个socket套接字并与上位机控制系统中的服务器建立连接，连接成功后就可以进行信息交互。
69.请参照图11和图12，图像处理流程包括对相机的标定、机器人和相机之间的手眼标定、螺栓孔形状的模板匹配、以模板中心建立模板坐标系以及利用找圆工具进行螺栓孔中心位置的二次确认过程。整个视觉处理过程是上位图像处理计算机通过网络交换机接受相机的图像信息，利用上位图像处理计算机中的上位机控制系统调用visionpro视觉处理程序完成。其中，相机的标定主要是为了获取世界坐标系到相机坐标系的矩阵转换关系；手眼标定是为了获取相机坐标系到机器人工具坐标系的矩阵转换关系；模板匹配是为了对螺栓孔进行初步的定位；以模板中心建立模板坐标系是为了初步定位螺栓孔的中心位置；利用找圆工具在模板坐标系下根据螺栓孔及周边金属所反射的光谱不一致的特点，进一步根据图像灰度的变化确认螺栓孔的位置。
70.以下对相机标定、手眼标定和模板匹配分别进行介绍。
71.一、相机标定
72.由于汽车发动机的主轴承盖上的螺纹孔与紧固螺栓之间的间隙只有0.2mm，因此对视觉测量系统提出了很高的定位精度要求。视觉测量系统的精度除了受其分辨率影响外，还受其内外参数以及畸变参数等的影响。为了避免相机镜头固有的特性以及由于安装因素产生的透视失真影响视觉测量系统最终的测量结果，使螺栓能够准确并以垂直螺纹孔端面的姿态放入螺纹孔中的目的，本发明在实验准备阶段采用分辨率为1230万像素的工业相机对规格为格子大小为1*1mm，外形为50*50mm的高精度陶瓷棋盘格标定板作为靶标进行相机标定。由于远心镜头成像模型是一种平行成像，大部分的针孔模型的标定方法并不适用于远心成像模型的标定，因此本发明采用以下方法对远心成像模型进行标定：
73.如图12所示，为本发明采用的远心镜头的成像模型，其中0
w
(x
w
,y
w
,z
w
)是用世界坐标系作为统一坐标系来描述空间所有物体的相对位置，相机坐标系为o
c
(x
c
,y
c
,z
c
)，通常选择相机的光轴直接作为相机坐标系的z
c
，p1(x,y)点是世界坐标系中的p(xw,yw,zw)点在成像平面图像坐标系上成像的点。
74.由于远心镜头成像是平行投影关系，图像坐标系在成像过程中会缺失z轴上的信息，所以远心镜头成像实际上可理解为得到的二维坐标信息经过一定的放大倍率投射在相机的成像面上。假设此处镜头放大倍率是m，由于远心镜头的外参缺少z轴上参数变化的信息，则相机坐标和图像坐标的关系有
75.即
76.由于相机外部参数包括旋转矩阵r和平移向量t，是描述世界坐标系和图像坐标系之间位置转换关系的参数，所以远心镜头模型也符合这个规律，由此可建立远心镜头世界坐标和图像坐标之间的初始转换关系，远心镜头成像模型如式2所示：
[0077][0078]
其中(u,v,1)是像素坐标，(x
w
,y
w
,z
w
)是世界坐标，α和β是像素坐标的轴向放大系数，γ是镜头的扭曲因子，这些参数是构成相机的内参数矩阵a的元素；r
ij
、t
ij
分别为旋转矩阵和平移矢量的元素，k
s
代表相机的外参数矩阵，p是世界坐标系上的一点。
[0079]
由于远心镜头也存在一定的径向、切向和薄棱镜畸变，并且切向和薄棱镜畸变比径向畸变小得多，径向畸变总体上在远心镜头畸变中占主导地位，因此这里忽略切向和薄棱镜畸变，则其径向畸变方程为：
[0080][0081]
其中径向距离(x
i
,y
i
)是理想的无失真图像坐标，k1、k2…
是径向畸变系数。
[0082]
为了提高所有相机内部参数和外部参数的标定精度，对获得的参数初值进行非线性优化处理，其优化方程如下：
[0083][0084]
其中x
*
是靶标上标记点到预测像素坐标之间的最小距离，n是图像个数，m是图像中的标记点，p
ij
是提取的第i张图像中第j个标记点的像素坐标，是对应的预测像素坐标，是第i图像的相机外参数矩阵，p
j
是靶标在世界坐标系中的第j个标记点。这个非线性优化方程可以通过levenberg
‑
marquardt算法来求解。
[0085]
为了更好的反映相机标定的精度，这里用均方根误差(rmse)来反映标定的精度，其方程如下：
[0086][0087]
其中n是相机能够识别到的标记点个数，observed是靶标上的标记点，predicted是对应的预测像素点。
[0088]
为了求解上述关键的参数，本发明采用visionpro视觉软件中的perspectiveandradiawarp算法对视觉系统先后进行投影以及透视畸变的矫正，其标定步骤如下：
[0089]
步骤1：通过激光水平仪先后从两个相互垂直的角度对视觉测量系统以及靶标进行测量，同时根据激光水平仪的测量结果适当调整视觉测量系统的姿态，确保标定相机过程中相机能够以垂直靶标的姿态进行标定，减小因倾斜带来的投影畸变；
[0090]
步骤2：根据远心镜头的有效工作距离将视觉测量系统对靶标的拍照高度调整到合适的位置，同时调整拍摄角度使靶标上的点尽可能多的进入到相机视野中；
[0091]
步骤3：将上述陶瓷棋盘格标定板的信息输入到visionpro视觉软件中，同时触发相机拍照，并采用perspectiveandradiawarp算法对相机进行标定；
[0092]
步骤4：perspectiveandradiawarp算法对相机的内外参数以及畸变参数等作进一步的标定以及修正，便于提高相机的标定精度，同时得到图像坐标与世界坐标的映射关系，并利用式1.5进行计算后反馈此次标定结果；
[0093]
步骤5：为了确保此次标定结果的准确性以及能够直观的看到标定误差，这里在相机标定结束后采用calipero测量工具在标定图像中的四个角以及中心位置分别量取各个位置格子的大小；
[0094]
步骤6：将步骤5中各个位置量取的格子大小与本发明所采用的格子大小为1*1mm的陶瓷标定板作比较，若误差值较大，则说明标定结果误差较大，需要重新进行标定；若误差较小甚至可以忽略，则可以直接使用该次的标定结果。本发明经过多次相机标定的过程，选取其中标定误差最小的结果作为相机的标定，标定流程结束。
[0095]
二、手眼标定
[0096]
在机器人视觉定位系统中除了要知道相机的内外参数以及畸变等参数外，还需要知道机器人和相机的相对位姿关系，获取这种位姿关系的方法就是进行机器人和相机配合的手眼标定。对于本发明的eye
‑
in
‑
hand系统(即眼在手，相机安装在机器人末端的形式)就是求取相机坐标系相对于机器人末端坐标系的位姿变换关系。
[0097]
机器人基坐标w、机器人末端坐标系e、相机坐标系c、靶标坐标系g之间的关系如图13所示，其中t
w
表示机器人基坐标系和机器人末端坐标系的转换关系，t
x
表示机器人末端坐标系和相机坐标系的转换关系，t
c
表示相机坐标系和靶标坐标系的转换关系，t
g
下表示靶标坐标系和机器人基坐标系的转换关系t
w
由机器人控制器读取各关节变量值并经正运动学求解可得,t
c
由相机标定时得到的外参数可得，因此根据上述的转换关系有以下方程：
[0098]
t
g
＝t
w
*t
x
*t
c
ꢀꢀꢀꢀꢀ
(6)
[0099]
由于靶标固定不动，并且相机安装在机器人末端的工件上，所以t
x
、t
g
不变，设机器人处于某一任意位姿时t
w
＝t1,t
c
＝t
c1
；而而后改变机器人末端位姿，设此时t
w
＝t2,t
c
＝t
c2
，则有
[0100]
t1*t
x
*t
c1
＝t2*t
x
*t
c2
ꢀꢀꢀ
(7)
[0101]
对公式7进行简单变换，有：
[0102]
(1/t2)*t1*tx＝tx*t
c2
*(1/t
c1
)
ꢀꢀ
(8)
[0103]
设a＝(1/t2)*t1、b＝t
c2
*(1/t
c1
)，则手眼关系的基本关系式为
[0104]
at
x
＝bt
x
ꢀꢀꢀꢀꢀ
(9)
[0105]
手眼标定就是通过实验获得a、b值建立标定关系式，并求取机器人末端坐标系与相机坐标系的转换关系t
x
的过程，由于相机坐标系的值不容易直接获取以及机器人方面直接应用的是末端的安装工具，因此这里采用像素坐标系和机器人工具坐标系间接代替相机坐标系和机器人末端坐标系进行手眼标定。
[0106]
目前常用于求解机器人末端坐标系与相机坐标系的转换关系的方法有tsai的两步法、矩阵直积法及九点标定法等，本发明采用的是九点标定法进行手眼标定，其标定原理
以及过程如下：
[0107]
九点标定法利用仿射变换建立机器人工具坐标系和相机坐标系的转换关系，由于相机坐标系的值不容易直接获得，因此间接采用像素坐标系中的像素值来代替。仿射变换一般按平移、旋转以及缩放进行变换，其变换方程为：
[0108][0109]
(u0,v0,1)是像素坐标,s
x
和t
x
′
分别表示x轴方向上的缩放和平移，s
y
和t
y
′
分别表示y轴方向上的缩放和平移；θ表示对应的旋转角度，x0和y0表示机器人工具坐标系上的二维坐标，则对应的手眼标定转换矩阵h为：
[0110][0111]
对式10进行变换，有：
[0112][0113]
由式12可知至少需要3组包含像素坐标和机器人工具坐标的值才能求出5个未知数，我们这里采用9组包含像素坐标和机器人工具坐标的值，利用9组数据求最优解可以参考最小二乘法来进行非线性优化，非线性优化方程为：
[0114][0115]
其中q
x
、q
y
表示像素坐标，p
x
、p
y
表示机器人工具坐标，h为手眼标定转换矩阵，i表示数据组编号，表示非线性优化方程的最优解。
[0116]
手眼标定实验步骤如下：
[0117]
步骤1：在机器人末端工件单元上的螺栓套筒上安装标定针，并根据六点法(xz)对标定座建立工具坐标系，此时已确定机器人末端和套筒上的标定针的转换关系；
[0118]
步骤2：在相机视野正下方放一块图案为实心圆的九宫格标定板，并触发相机对该标定板进行拍照；
[0119]
步骤3：利用visionpro视觉软件的找圆工具依次找出九个实心圆的中心点像素坐标值，并填入visionpro视觉软件的cogcalibnpointtonpointtool工具的未校正x、y栏；
[0120]
步骤4：利用相机静止，机器人运动的方式进行手眼标定，控制机器人带着套筒上的标定针依次对准标定板上实心圆的中心点位置，并将在九个实心圆位置的工具坐标系值依次填入visionpro视觉软件的cogcalibnpointtonpointtool工具的的原始已校正的x、y栏中；
[0121]
步骤5：在cogcalibnpointtonpointtool工具选择需要计算的自由度为“缩放、纵横比、旋转、倾斜以及平移”，并点击计算校正以获得工具坐标系和像素坐标系的转换矩阵。
[0122]
步骤6：在完成手眼标定后，在九宫格标定板的不同位置上画3个规则的实心圆并使相机回到原手眼标定拍照位置重新进行拍照；
[0123]
步骤7：利用找圆工具获取步骤6中实心圆的中心点位置，同时控制机器人带着标定针对步骤6中实心圆的中心点位置，并将找圆工具得出的结果与机器人工具坐标系在实心圆的中心点位置的坐标进行对比，以便确认整个标定过程是否满足精度要求，若不满足精度要求则需要重新进行标定。
[0124]
三、模板匹配
[0125]
为了快速并且准确的在图像中找到我们感兴趣的特定形状，这里采用模板匹配的方法快速识别螺纹孔，模板匹配的过程可以理解为选择特定的感兴趣区域作为模板在待检测的图像上从左至右，从上至下的滑动，模板从源图像左上角开始每次以模板的左上角像素点为单位从左至右，从上至下移动，每到达一个像素点，就会以这个像素点为左上角顶点从源图像中截取出与模板一样大小的图像与模板进行像素比较运算，并根据运算结果判断匹配程度，本发明中采用的是平方差匹配法，如式14：
[0126][0127]
其中r(x,y)为比较运行结果的存储矩阵，t(x
′
,y
′
)为模板图像矩阵，i(x,y)为源图像矩阵。模板匹配的思路是利用模板图像像素减去覆盖的源图像像素的差的平方和为对应矩阵的点的值，如果该值越接近0，说明匹配程度越高。本发明中对螺纹孔进行模板匹配的结果如图14所示。
[0128]
本发明基于视觉定位的螺栓上料预拧紧系统控制方法的有益效果是：本发明通过上述技术方案：上位机控制系统获取视觉组件拍摄到的螺栓孔图片；对螺栓孔图片进行处理，得到螺栓孔中心点的准确坐标值，并将螺栓孔中心点的坐标值发送给机器人；控制机器人抓放螺栓，并根据螺栓孔中心点的坐标值将螺栓放入螺栓孔内进行预拧紧，提升了工作质量，提高了发动机主轴承盖螺栓上料和预拧紧效率，降低了生产成本。
[0129]
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。