一种基于3D视觉的捏合机桨叶自动清理机器人系统的制作方法

一种基于3d视觉的捏合机桨叶自动清理机器人系统
技术领域
1.本技术涉及捏合机桨叶清理的技术领域，特别是一种基于3d视觉的捏合机桨叶自动清理机器人系统，利用3d视觉和点云匹配对桨叶位姿进行快速定位，控制桨叶停止在合适的清理位置，并通过机器人进行自动清理捏合机桨叶的快速自动清理系统。


背景技术：

2.随着科技的进步和化学化工产业的发展，越来越多的化工产品兴起，而这些产品很多都是由多种原料融合而成，成型前需要在生产车间内通过捏合机进行搅拌均匀。由于混合药浆对原料的混合比例要求严格，且混合后的产品往往流动性和粘性强、不易清理、具有一定的污染性和易燃易爆等危险性等特点，因此需要在每次混合完成后对桨叶上的残料进行清理，这对保障药浆产品的混合比例、减少对车间环境污染以及保障现场人员的安全等极具现实意义。而目前现有的捏合机桨叶清理方式都存在各自的问题。
3.传统的桨叶清理通常是由工作人员穿戴防护手套和护具进入车间利用手持铲刀进行桨叶的清理，由于混合药浆的粘性和流动性药浆很容易黏在工作人员的身上，再加上混合药浆往往具有一定的腐蚀性和易燃易爆，工作人员在清理前必须除静电，即便如此化工车间事故的案例也屡见不鲜。此外，由于捏合机的实心桨和空心桨处于捏合状态，需要额外的工作人员配合清理人员转动桨叶，工作效率低。
4.因此需要一套不干扰捏合机的正常工作，自动识别桨叶转动位姿，且能根据识别结果调整桨叶清理轨迹的桨叶自动清理系统，完成桨叶所有区域的快速自动清理和远程监控。
5.部分车间采用通用六轴机器人配合2d相机进行桨叶的定位和清理，但2d相机是基于贴在桨叶上的色带以及编码等特征物进行识别，特征物易受现场粉尘的遮挡覆盖导致识别错误，且相机固定在车间内，拍摄视角有限。捏合机桨叶在自转的同时进行公转，且每次公转位置的桨叶自转角度不同，再加上桨叶处于捏合状态，桨叶必须停止在离线轨迹的附近才能进行清理，上述方案需要在桨叶停止后检测位姿，若不合适则继续转动桨叶，检测效率很低，不能满足现场的清理需求，且清理时机器人底座固定，末端执行器不具有柔性，清理效果差。


技术实现要素：

6.为了解决现有人工清理桨叶劳动强度大，清理效率低，操作不当易发生危险的问题，提供一种基于3d视觉的捏合机桨叶自动清理机器人系统。
7.通过设计不依赖在桨叶上添加标记物特征的桨叶位姿检测方法，以及桨叶清理的末端执行器，该系统能够在桨叶转动过程中检测桨叶的位姿，将其停止在适合清理的位置，计算出当前位置与基准位置的坐标变换矩阵，并将数据以socket通信的方式传递给机器人修正清理轨迹。该系统还设计一套带有柔性的末端执行器和快换装置，保证末端执行器可以适应桨叶各个表面的清理工作。此外，机器人与导轨连接，形成机器人的第七轴，增大机
器人清理过程中的灵活性。
8.本技术采用如下的技术方案：
9.一种基于3d视觉的捏合机桨叶自动清理机器人系统，包括位于捏合机一侧且可靠近和远离捏合机移动的六轴关节臂机器人、连接于机器人且用于对捏合机进行清理的末端执行器、连接于机器人的3d相机，捏合机包括桨叶；
10.机器人系统进行自动清理的方法为：
11.确定桨叶清理位置，建立桨叶位姿识别的基坐标系，进行机器人离线轨迹示教以及离线编程等获得离线轨迹，3d相机拍照创建基准点云；
12.转动桨叶，使3d相机对桨叶转动后的实际位置拍照获得桨叶实际点云图像，处理桨叶实际点云图像，获得待匹配点云；
13.待匹配点云与基准点云进行点云配准，获得桨叶的转角及其转轴的平移量；
14.主机与机器人通信，主机将桨叶的转角及其转轴的平移量发送给机器人，机器人根据桨叶的转角及其转轴的平移量修正基坐标系在机器人底座世界坐标系下的位置，机器人控制末端执行器按照修正后的基坐标系并调用离线轨迹完成桨叶清理。
15.在上述的自动清理机器人系统中，所述末端执行器包括于机器人连接的柔性机构、与柔性机构连接的柔性铲刀，柔性机构包括连接平板、弹簧、上端盖、下端盖和限位部，连接平板与机器人连接，弹簧的两端分布固定连接于连接平板和限位部，上端盖和下端盖位于弹簧的上下两侧，且上端盖和下端盖与连接平板固定连接，上端盖固定连接有限位杆，限位部的两端开设有限位槽，限位杆位于限位槽内且限位杆可在限位槽内自由移动。
16.在上述的自动清理机器人系统中，所述柔性机构还包括与机器人连接的法兰、与法兰固定连接的相机支撑、连接于相机支撑和连接平板之间的多维力传感器。
17.在上述的自动清理机器人系统中，所述柔性铲刀以高强度的碳纤维材料为骨架，并在骨架外表包覆柔性材料。
18.在上述的自动清理机器人系统中，所述柔性铲刀设置多个，包括用于刮捏合机桨叶凸面的凹面刮刀、和用于刮捏合机的桨叶凹面的凸面刮刀。
19.在上述的自动清理机器人系统中，所述柔性铲刀设置有快换转持器，柔性机构与柔性铲刀连接的端部设置有快换机构，快换机构与快换转持器配合实现柔性铲刀的快速更换，柔性铲刀设置有刀具库，柔性铲刀固定在刀具库的卡槽内.
20.所述柔性铲刀(18)与刀具库(3)之间通过零点定位夹持器定位。
21.在上述的自动清理机器人系统中，所述机器人系统进行自动清理的方法在确定桨叶清理位置之前还包括：3d相机标定，获得相机内参和3d相机相对于机器人机械臂与法兰连接的末端法兰的位置。
22.在上述的自动清理机器人系统中，所述按照已清理桨叶表面二次污染小的原则以及桨叶调整位置少的原则选取多个桨叶清理位置。
23.在上述的自动清理机器人系统中，所述多个桨叶清理位置均建立基坐标系，并确定该位置时3d相机的最佳拍照位置进行拍照，获得不同桨叶清理位置的基准点云。
24.在上述的自动清理机器人系统中，所述以机器人底座底部的中心建立世界坐标系，改变基坐标系在世界坐标系下的位置，机器人再按照实际离线轨迹进行桨叶清理。
25.综上所述，本技术至少包括以下有益技术效果：
26.1.通过设置机器人系统的识别方法，实现了对本技术中自转加公转这种复杂结构桨叶、复杂运动场景的桨叶位姿识别，实现了桨叶的自动清理，采用机器人代替工作人员，降低了工人的劳动强度，将易燃易爆的化工产品与员工隔离，保障工人的人身安全；
27.2.通过3d相机和点云配准方式的识别结果自动转动桨叶，避免现场工人与控制室工人交流不便，引起桨叶转动对人体的碰撞；采用3d相机和点云配准的方式，可以提高桨叶转角的识别精度，同时不基于特征物和标记物进行识别，现场粉尘覆盖和光照变化带来的影响比2d相机识别小的多；
28.3.采用与桨叶表面贴合的仿形柔性铲刀，并设置刀具库，极大程度地提高了清理效率；柔性铲刀与末端执行器其他组件之间通过快换转持器连接，可以快速完成刀具的更换。
29.4.机器人底座与导轨连接，可以在捏合机工作过程中退到安全位置，并提高了机器人清理作业的灵活性，增大了工作空间。
30.5.末端执行器中设置有多维力传感器，可以检测柔性铲刀的受力情况，保证柔性铲刀清理过程中具有足够的力，同时在柔性铲刀与桨叶碰撞引起力突变时报警。
31.6.系统中设置摄像机，拍摄机器人清理桨叶的工作状态，可由工作人员远程监控。
附图说明
32.图1为本发明具体实施方式中自动清理机器人系统的整体立体结构示意图；
33.图2为机器人在移动导轨上不同位置的状态示意图；
34.图3为柔性机构与柔性铲刀的整体结构示意图；
35.图4为柔性机构各部分的爆炸结构示意图；
36.图5为柔性铲刀的结构示意图；
37.图6为捏合机的桨叶和混合锅的整洁结构示意图；
38.图7为机器人系统进行自动清理的方法流程示意图；
39.图8为自动清理机器人系统的整体平面结构示意图。
40.附图标记说明：1、移动导轨；2、机器人；3、刀具库；4、步梯；5、末端执行器；6、支撑平台；7、桨叶；8、混合锅；
41.11、3d相机；12、法兰；13、相机支撑；14、多维力传感器；15、连接法兰；16、连接平板；17、柔性机构；18、柔性铲刀；19、快换机构；20、弹簧；21、下端盖；22、限位部；23、上端盖；
42.27、公转盘；25、空心桨叶；26、实心桨叶。
具体实施方式
43.下面结合附图1-8和具体实施例对本技术作进一步详细的描述：
44.本技术实施例公开一种基于3d视觉的捏合机桨叶自动清理机器人系统。
45.参照图1和图8，一种基于3d视觉的捏合机桨叶自动清理机器人系统，包括位于捏合机一侧且可靠近和远离捏合机移动的机器人2、连接于机器人2且用于对捏合机进行清理的末端执行器5、连接于机器人2的3d相机11。通过机器人2与3d相机11的组合，该系统能够在桨叶7转动过程中检测桨叶7的位姿，将其停止在适合清理的位置，计算出当前位置与基准位置的坐标变换矩阵，并将数据传递给机器人2修正清理轨迹，然后实现机器人2带动末
端执行器5对桨叶7的自动清理。
46.本实施例中机器人2采用kuka六轴关节臂机器人2，捏合机的一侧设置有移动导轨1，机器人2底座与移动导轨1水平滑动连接，实现了机器人2可靠近和远离捏合机移动，移动导轨1采用步进电机精确控制机器人2水平方向的进给量，与机器人2联合使用，作为机器人2的第七轴，避免机器人2安装对捏合机清理的干扰，同时增加机器人2清理过程中的灵活性和增大工作空间。3d相机11可以在2d相机获取的rgb图像的基础上获得图像的深度信息，进而获得检测物的三维点云图像，基于点云图像进行图像匹配可以极大程度减小现场环境的影响。捏合机的一侧还设置有步梯4，步梯4设置两个，两个步梯4分别位于移动导轨1的两侧。
47.根据系统功能，捏合机桨叶自动清理机器人系统又可以分为四个子系统：桨叶清理机器人系统(含刀具库3)、桨叶位姿检测系统、轨迹编程和仿真系统、以及集成控制系统。
48.参照图2和图6，捏合机包括支撑平台6、桨叶7、混合锅8，支撑平台6的下表面设置有水平的公转盘27，公转盘27相对于支撑平台6竖直转动，桨叶7竖直转动连接于公转盘27的下表面，桨叶7包括至少两个，本实施例中，桨叶7包括两个，分别为空心桨叶25和实心桨叶26，空心桨叶25和实心桨叶26竖直转动连接于公转盘27，空心桨叶25为远心桨，实心桨叶26为近心桨；混合锅8与支撑平台6竖直滑动连接，混合锅8下移，桨叶7移出混合锅8，此时可对桨叶7进行清理。
49.参照图3，末端执行器5包括于机器人2连接的柔性机构17、与柔性机构17连接的柔性铲刀18。
50.参照图3和图4，柔性机构17包括连接平板16、弹簧20、上端盖23、下端盖21、限位部22、与机器人2连接的法兰12、与法兰12固定连接的相机支撑13、连接于相机支撑13和连接平板16之间的多维力传感器14，多维力传感器14与连接平板16之间通过连接法兰15连接，连接平板16与机器人2连接，弹簧20的两端分布固定连接于连接平板16和限位部22，上端盖23和下端盖21位于弹簧20和限位部22的上下两侧，上端盖23和下端盖21与连接平板16固定连接，上端盖23固定连接有限位杆，限位部22的两端开设有限位槽，限位杆位于限位槽内且限位杆可在限位槽内自由移动。限位部22远离弹簧20的端部固定连接有限位板，限位板对限位部22进行限位，使得限位部22不会完全进入到上端盖23和下端盖21之间，限制弹簧的最大压缩量。
51.核心部分为柔性的弹簧20，即可以承受正向的拉压应力，也可以在一定角度范围内进行翻转，加上限位杆和限位槽的配合，还可以保证刮刀有一定程度的左右摆动，在相机检测存在误差时进行有效的补偿。由于混合药浆具有一定的粘性，为了提高清理效果，需要柔性铲刀18具有足够的力，因此设计弹簧20，限位部22与上端盖23配合可以保证在铲刀与桨叶7接触前就具有一定的弹簧20预紧力，预紧力设置为6kg，该力可以保证在清理过程中不会因为重力等因素引起末端执行器5额外的变形，同时限位部22保证弹簧20不会被过压缩引起塑性变形。此外为了避免铲刀与桨叶7发生碰撞，在末端执行器5中设置六维力传感器，当检测到力或者扭矩超过阈值时触发报警装置。
52.参照图5，根据桨叶7的截面形状设计不同的清理刀具，将刮刀与桨叶7叶面贴合，可以保证一次完成单个表面的快速清理。根据桨叶的形状，柔性刮刀18设置多个，分别与桨叶的不同表面贴合。柔性铲刀18设置有快换转持器，柔性机构17与柔性铲刀18连接的端部
设置有快换结构，快换结构与快换转持器配合实现柔性铲刀18的快速更换。铲刀末端的快换转持器，使用压力为6bar的干燥无油空气系统进行控制，重复更换定位精度小于0.005mm，同时快换转持器具有自锁功能，即使在压力下降情况下仍可保持拉力不变。
53.铲刀要完成清理任务就需要铲刀本身具有足够的强度和韧性，同时铲刀必须具有足够的柔性以补偿与桨叶7之间的微小错位，提高系统的兼容性和清理效果。因此铲刀以高强度的碳纤维材料为骨架，并在骨架外表包覆防静电硅胶等柔性材料。
54.柔性铲刀18设置有刀具库3，柔性铲刀18固定在刀具库3的卡槽内实现定位。刀具库3中最多可放置8把柔性铲刀18，每把柔性铲刀18都设置快换转持器，并固定在刀具库3的卡槽内实现定位，通过机器人2io输出的控制信号实现快换转持器的锁紧与放开。因为刀具库3和柔性铲刀18的位置固定，因此只需要调用不同的离线轨迹便可以实现刀具的快速更换。刀具库3的设计极大程度的简化了单一柔性铲刀18的复杂度，且外置的刀具库3清洗方便，可以避免混合药浆清理不及时导致的危险。
55.刀具库3设置有刮刀视觉检测模块，包括防爆相机、防爆环形光源、防爆玻璃片等组成，用于在清理工作前后对刮刀的外形进行检测，防止清理过程中刮刀意外破损或脱出，落入混合锅8内导致事故。若视觉系统检测到刮刀外形存在缺损，则系统停机报警，由人工进行排查。
56.由于捏合机桨叶7驱动系统不具备位置闭环控制功能，因此无法从捏合机控制系统中获取桨叶7的位姿信息，需要单独设计桨叶7位姿检测系统来获取桨叶7的精确位姿。系统对桨叶7位姿的自动精确识别是实现自动化清理的关键。
57.鉴于两个桨叶7的运动形式是自转 公转，因此其位姿信息包括桨叶7转轴的位置和桨叶7的转角。由于桨叶7公转与自转的传动比不是整数倍关系，即当两个桨叶7的转轴公转一周回到初始位置时，桨叶7的自转角度却与初始状态不同，因此无法仅通过测量混合机的公转角确定桨叶7转轴的位置和桨叶7的转角。
58.参照图7，机器人2系统进行自动清理的方法为：
59.(1)末端执行器5安装：末端执行器5包括伸缩组件、弹簧20柔性组件以及铲刀固定组件，根据桨叶7清理位置调整末端执行器5的装配长度。
60.(2)相机安装接线、拍照调试：相机的安装位置决定了成像效果，安装相机时需要考虑在最佳拍照距离时铲刀是否会与桨叶7碰撞，同时末端执行器5不能对阻挡相机的拍照视角，安装完成后，利用上位机检测拍照效果。
61.(3)3d相机11标定：获得相机内参和3d相机11相对于机器人2末端法兰的位置，机器人2可自动获得机械臂末端法兰相对于机器人2底座的坐标变换矩阵，那么机器人2即可获得3d相机11相对于机器人2底座的坐标变换矩阵；
62.(4)确定桨叶7清理位置、建立桨叶位姿识别的基坐标系并确定拍照位置：按照桨叶7调整位置次数少、已清理桨叶7表面二次污染小的原则选取多个桨叶7清理位置，以桨叶7的自转转轴为z轴、桨叶7自转转轴的中心为原点建立基坐标系，并确定3d相机11拍照位置，保证相机只拍摄单个桨叶7的点云图。
63.(5)机器人2离线轨迹示教：由于桨叶7的曲面较复杂，人工示教的方式效率很低，因此机器人2轨迹编程和仿真系统采用pqart软件进行离线轨迹生成，通过“三点定位法”进行桨叶7转轴的定位，将仿真系统中机器人2与桨叶7的相对位姿与实际情况相统一，根据桨
叶7曲面生成清理轨迹，获得离线轨迹。
64.(6)相机拍照创建基准点云：捏合机桨叶7的捏合关系如图6所示。由于桨叶7直径较大，采用3d相机11一次拍摄的桨叶7点云图像有限，因此需要移动相机多次拍摄后进行桨叶7的局部三维重建。由于相机拍摄位置改变，需要利用相机基于基坐标系的坐标变换矩阵将点云图像转换到基坐标系中，在基坐标系中完成点云的合并，而合并后的点云并不均匀且存在很多噪音，因此需要使用voxelgrid体素滤波器进行滤波使点云均匀，并根据邻近点的个数移除点云图像中的离群点以除去噪音，之后利用xyz的坐标值消除点云图中的环境因素。从而实现对桨叶7各个角度进行拍照并拼接出一个完整的基准点云。
65.(7)图像处理获得待匹配点云：转动桨叶7后，移动机械臂到拍照位进行拍照，获得桨叶7实际点云图像，并对拍摄的点云图像进行下采样、滤波、去除离群点、重心平移和坐标变换等图像处理，将拍摄的点云图像转换到对应的基坐标系下，获得待匹配点云。
66.(8)点云icp配准：待匹配点云与基准点云进行点云icp配准，icp算法为最近点迭代算法，即寻找拍摄点云与基准点云的匹配点对，通过迭代使匹配点对之间的偏差值最小。icp算法的关键在于寻找两个点云图像之间的匹配点对，由于基准点云点的数量多因此作为被匹配点云，通过kd-tree可以快速获得基准点云中距离拍照点云各个点最近的目标点，由于噪声的干扰，最近点未必是匹配点，因此设置距离阈值检测是否为匹配点。为了增强匹配效果，设置匹配阈值与匹配点对的平均误差成正比。
67.icp算法获得的点云配准结果是拍摄点云相对于目标点云先旋转后平移，机器人2需要的是桨叶7相对于对应基准位置的桨叶绕自转轴的转角以及平移量。对拍摄点云到目标点云，当基坐标系的z轴不是桨叶7基准点云的轴线时，使拍摄点云分别按照自身对应的桨叶7的轴线为轴线旋转、与按照基坐标系的z轴旋转，两种方式的获得的平移量不同；而当桨叶7基准点云的轴线就是基坐标系的z轴时，绕定坐标系先旋转后平移和绕动坐标系先平移后旋转计算出的位移量相同。采用机器人2底座作为基坐标系显然无法满足需求，因此将每个基坐标系分别建立在桨叶7基准位置的轴线，即桨叶7自转转轴的中心为基坐标系的原点、桨叶7自转轴线为基坐标系的z轴，便可保证基准点云的轴线为坐标系的z轴。
68.点云配准的具体实现为：首先对基准点云以及待匹配点云进行下采样减少点云的密度以提高点云配准的速度；根据相机在新建基准坐标系的位置将相机坐标系下的待匹配点云通过坐标变换转化到基准坐标系；计算两个点云图像的重心并将拍摄点云的重心移动到基准点云重心的位置，以使两个点云的初始位置较优减少后续迭代次数；通过kd-tree以及设置的距离阈值建立两个点云之间的配对点，并计算配对点的平均距离误差loss；根据loss值对旋转矩阵r和平移矩阵t进行迭代，至到终止条件；icp迭代后桨叶7可能存在z轴的平移和绕xy轴的旋转，因此迭代完成后设置局部寻优修正，获得loss值最小的最终输出结果。为了兼顾计算速度和匹配精度，终止条件为同时满足：设置最大迭代次数、设置相邻两次变换矩阵变化量的阈值、设置相邻两次迭代loss差值的阈值。
69.根据配准结果获得桨叶7的转角及其转轴的平移量。
70.(9)socket通信：以机器人2底座底面的中心为原点建立世界坐标系，pqart软件以及机器人2人工示教等生成的离线轨迹可执行文件依赖于建立的基准坐标系以及工具坐标系，因此建立工作机与机器人2的socket通信，以笔记本电脑(工作机)为客户端，机器人2为服务端，利用socket实现两者之间的通信，将桨叶7的转角和平移发送给机器人2，并对基准
坐标系在机器人2底座世界坐标系中的位置进行修正，保证桨叶7在基准坐标系中的位姿保持不变，便可以调用之前建立好的离线轨迹对桨叶7进行自动清理。机器人2控制机械臂按照离线轨迹完成桨叶7清理后，机器人2回归零位等待下一个清理位置。
71.以上均为本技术的较佳实施例，并非依此限制本技术的保护范围，故：凡依本技术的结构、形状、原理所做的等效变化，均应涵盖于本技术的保护范围之内。