预应力钢绞线张拉与切割视觉定位控制方法、系统及介质与流程

摘要: 本发明创造涉及预应力施工智能装备,特别是涉及一种预应力钢绞线张拉与切割视觉定位控制方法、系统及介质。背景技术:1、相关技术中,预制梁、箱梁、t梁、u梁以及类似混...
预应力钢绞线张拉与切割视觉定位控制方法、系统及介质与流程

本发明创造涉及预应力施工智能装备,特别是涉及一种预应力钢绞线张拉与切割视觉定位控制方法、系统及介质。

背景技术:

1、相关技术中,预制梁、箱梁、t梁、u梁以及类似混凝土构件在预应力施工过程中通常涉及对钢绞线进行张拉作业和对张拉后外露的钢绞线进行切割作业。张拉作业要求张拉机穿心孔组与钢绞线束保持同轴或近似同轴;切割作业要求切割平面位置、预留长度和刀具运动空间满足施工要求。但是,上述作业区域存在钢绞线数量多、外露长度短、端面存在毛刺、梁端表面粗糙、局部遮挡、施工杂物和设备姿态变化等特点,导致人工操作劳动强度大、效率低。

2、目前,行业内已出现智能张拉机器人和智能切割机器人等自动化设备。但现有的自动化方案通常采用激光测距、触控探测、端面图像、光电测量件或设计模型配准等方式获取限位板、钢绞线的位置。但这些自动化方案虽然在一定程度上减少了人工操作,但在实际工程现场中任存在以下问题:(一)限位板由人工套入钢绞线,可能发生歪斜、局部贴合不充分或孔位偏移,限位板平面角度与钢绞线真实轴线角度存在差别。(二)梁体浇筑和模板安装会产生实际尺寸偏差,直接依赖设计模型或理想模板进行全局匹配时容易产生误差累积。(三)张拉作业与切割作业虽然均在梁端同一作业区域实施且均需视觉定位,但两者的作业目标、执行末端和安全约束各不相同,若分别开发两套视觉流程,不仅造成重复建设,而且难以建立统一的定位结果校验标准。(四)现场光照、阴影和曝光变化对二维图像检测有明显影响,仅依靠rgb图像(彩色图像)难以稳定输出机器人可直接使用的空间位姿,制约了自动化作业的可靠性和安全性。

3、针对相关技术中预应力钢绞线张拉与切割作业缺乏统一的视觉定位方法,难以在光照变化、限位板歪斜和钢绞线短外露等干扰下,为张拉提供基于真实轴线的可靠位姿与为切割准确提供基准面的问题,目前尚未提出有效的解决方案。

技术实现思路

1、本发明创造实施例提供的预应力钢绞线张拉与切割视觉定位控制方法、系统及介质,至少解决相关技术中预应力钢绞线张拉与切割作业缺乏统一的视觉定位方法,难以在光照变化、限位板歪斜和钢绞线短外露等干扰下,为张拉提供基于真实轴线的可靠位姿与为切割准确提供基准面的问题。

2、本发明创造实施例提供了一种预应力钢绞线张拉与切割视觉定位控制方法,包括:

3、采集目标区域的三维视觉数据,基于所述三维视觉数据生成与光照无关的二维特征图,并在所述二维特征图上对基准件和/或目标件执行二维识别,得到二维识别结果;其中,所述三维视觉数据包括点云、深度图、点图以及法线图中至少一种;

4、对所述三维视觉数据执行三维定位,得到所述基准件和/或所述目标件的三维定位结果,将所述三维定位结果投影至所述二维特征图,基于投影结果与所述二维识别结果进行定位可信度验证;

5、当所述定位可信度验证通过后,基于所述三维定位结果和作业模式,生成作业执行机构的控制指令。

6、在一些实施例中,所述采集目标区域的三维视觉数据,基于所述三维视觉数据生成与光照无关的二维特征图,包括:

7、对所述三维视觉数据中有效像素对应的几何法线向量进行单位化处理,计算单位化后的法线向量与预设虚拟光照方向的点积,并将所述点积映射为灰度值;

8、先对映射后的有效区域执行掩膜约束,再对所述有效区域执行补洞和局部对比度均衡处理中的至少一项,生成不依赖现场实际光源的所述二维特征图。

9、在一些实施例中,所述对所述三维视觉数据执行三维定位,得到所述目标件的三维定位结果,将所述三维定位结果投影至所述二维特征图,基于投影结果与所述二维识别结果进行定位可信度验证,包括:

10、将所述三维定位结果包含的三维几何特征通过相机内参投影为二维投影特征;

11、计算所述二维投影特征与所述二维识别结果包含的二维识别特征之间的交并比或重投影误差;

12、当所述交并比低于第一预设值或所述重投影误差高于第二预设值时,触发数据重采、识别重算以及作业暂停中任一项。

13、在一些实施例中,所述基于投影结果与所述二维识别结果进行定位可信度验证,包括:

14、所述定位可信度验证基于检测置信度、几何拟合质量、空间约束一致性、作业安全性中至少一种确定。

15、在一些实施例中,所述当所述定位可信度验证通过后,基于所述三维定位结果和作业模式,生成作业执行机构的控制指令,包括:

16、当所述作业模式为张拉模式时,基于所述三维视觉数据中所述目标件的端部点云和侧壁点云拟合单根所述目标件的中心轴线,并对多根所述目标件的中心轴线施加共轴约束,求解得到多根所述目标件形成的线束的真实作业轴线,基于所述真实作业轴线生成所述作业执行机构的控制指令;和/或,

17、当所述作业模式为切割模式时,基于所述三维定位结果确定切割基准面及切割目标,并结合环境障碍信息规划切割路径,生成所述作业执行机构的控制指令。

18、在一些实施例中,所述当所述作业模式为所述张拉模式时,基于所述三维视觉数据中所述目标件的端部点云和侧壁点云拟合单根所述目标件的中心轴线,包括:

19、利用所述基准件的平面角度确定所述目标件的搜索区域,所述平面角度不作为所述作业执行机构的最终作业角度;

20、在所述搜索区域外侧提取与所述基准件的平面存在距离突变的凸出点云,并对所述凸出点云进行端面候选点分割;

21、对分割得到的每个端面候选点簇在局部投影平面内拟合圆或椭圆,至少获得每根目标件末端的端面圆中心。

22、在一些实施例中,所述基于所述三维视觉数据中所述目标件的端部点云和侧壁点云拟合单根所述目标件的中心轴线,包括:

23、利用多根目标件的固定相对位置建立线束模板;

24、基于所述端面圆中心和所述线束模板,在每根所述目标件的端面后方构造短圆柱搜索区域;

25、在所述短圆柱搜索区域内剔除端面密集点,保留所述目标件的外圆柱面或圆柱侧壁曲面点;

26、对所述外圆柱面或圆柱侧壁曲面点进行圆柱拟合或轴线拟合,获取单根所述目标件的中心轴线、半径和拟合残差中的至少一种。

27、在一些实施例中,所述对多根所述目标件的中心轴线施加共轴约束,求解得到多根所述目标件形成的线束的真实作业轴线,包括:

28、根据每根所述目标件的可见长度、点云数量、可见弧长、半径偏差以及所述拟合残差中至少一种确定权重;

29、对多根所述目标件的中心轴线施加共同平行约束或共用轴线约束,结合所述权重求解多根所述目标件形成的线束的真实作业轴线。

30、在一些实施例中,当所述作业模式为张拉模式时,所述作业执行机构的目标姿态基于以下方式确定:

31、利用多根所述目标件的固定相对位置建立线束模板;

32、以所述线束模板或所述端面圆中心的几何中心为原点,以所述线束的真实作业轴线为穿入轴建立线束坐标系;

33、根据所述作业执行机构的穿心孔坐标系与所述线束坐标系之间的预标定关系,调整所述作业执行机构在设备坐标系下的目标位姿。

34、在一些实施例中,当所述作业模式为张拉模式时,基于所述真实作业轴线生成所述作业执行机构的控制指令,包括:

35、控制所述作业执行机构从初始位置运动至与所述线束保持安全距离的中间位置处,并基于所述三维视觉数据进行避障规划;

36、控制所述作业执行机构从所述中间位置处沿所述真实作业轴线进行直线运动,且在运动过程中保持所述作业执行机构的穿心孔组与所述真实作业轴线同轴。

37、在一些实施例中,所述当所述作业模式为切割模式时,基于所述三维定位结果确定切割基准面及切割目标,并结合环境障碍信息规划切割路径,生成所述作业执行机构的控制指令,包括:

38、对所述目标区域的所述基准件执行所述三维定位,输出具有预设尺度或预设比例关系的三维几何特征;

39、根据所述三维几何特征的目标面和所述目标件的预设长度参数,确定所述切割基准面和切割目标点。

40、在一些实施例中,所述三维视觉数据至少包括全局点云;

41、所述基于所述三维定位结果确定切割基准面及切割目标,并结合环境障碍信息规划切割路径,包括:

42、在设备坐标系下将所述全局点云转换为障碍点集或占据栅格,并将切割工具外形转换为工具包络;

43、根据起始位姿、切割目标位姿和安全距离生成候选运动路径;

44、对所述候选运动路径进行碰撞检测、距离代价评估和可达性判定,输出切割执行路径。

45、第二方面,本发明创造实施例还提供了一种预应力钢绞线张拉与切割视觉定位控制系统,用于执行上述的预应力钢绞线张拉与切割视觉定位控制方法,包括:

46、三维视觉采集模块,用于采集目标区域的三维视觉数据;

47、作业执行模块,用于对目标件执行作业动作;

48、控制处理模块,所述控制处理模块与所述三维视觉采集模块和所述作业执行模块通信连接,以向所述作业执行模块输出控制指令。

49、在一些实施例中,所述作业执行模块包括:

50、张拉执行模块,所述张拉执行模块与所述控制处理模块通信连接,所述张拉执行模块用于接收所述控制处理模块输出的作业执行机构的目标姿态、作业执行机构在执行张拉作业时的初始位置、中间位置以及运动轨迹中至少一种指令,并执行张拉作业;

51、切割执行模块,所述切割执行模块与所述控制处理模块通信连接,所述切割执行模块用于接收所述控制处理模块输出的作业执行机构执行的切割目标位和切割路径中至少一种指令,并执行切割作业。

52、在一些实施例中,所述作业执行模块为张拉执行模块时,包括:

53、张拉机构,所述张拉机构包括限位环和工具锚,当所述张拉机构执行作业时,所述工具锚用于限位所述目标件,所述限位环用于配合所述工具锚以对所述目标件进行限位;

54、自动装卸执行机构,所述自动装卸执行机构包括自动装取机构或者关节式机械臂,在所述张拉机构执行作业前后,所述自动装卸执行机构用于自动装卸所述限位环和所述工具锚;

55、其中,在所述张拉机构执行张拉作业前,所述控制处理模块控制所述自动装卸执行机构自动安装所述限位环和所述工具锚;

56、在所述张拉机构完成张拉作业后,所述控制处理模块控制所述自动装卸执行机构自动拆卸所述限位环和所述工具锚。

57、第三方面,本发明创造实施例还提供了一种存储有计算机指令的非瞬时机器可读介质,所述计算机指令用于使所述计算机执行上述的预应力钢绞线张拉与切割视觉定位控制方法。

58、本发明创造实施例通过采集目标区域的三维视觉数据,并基于获得的三维视觉数据生成与光照无关的二维特征图,保证了二维识别结果的稳定性。同时通过对三维视觉数据执行三维定位得到基准件(如限位板、工作锚板等)和/或目标件(如钢绞线)的三维定位结果,并将三维定位结果投影至二维特征图,基于投影结果与二维识别结果进行定位可信度验证,实现了二维识别与三维定位的相互校验,显著提高了基准件和/或目标件空间位姿解算的精度和可靠性。当定位可信度验证通过后,基于三维定位结果并根据作业模式生成作业执行机构的控制指令,如此可使张拉作业与切割作业共用同一视觉定位流程,避免了需要分别设置两套视觉流程导致的重复设置,难以建立统一的定位结果校验标准。也即是说,本发明创造实施例有效解决了预应力钢绞线张拉与切割作业缺乏统一视觉定位方法、难以在光照变化、限位板歪斜和钢绞线短外露等干扰下同时为张拉提供基于真实轴线的可靠位姿与为切割准确提供基准面的技术问题。