多场景自适应的钢筋连接机器人视觉智能作业方法及系统

本发明涉及建筑施工自动化领域，具体涉及一种多场景自适应的钢筋连接机器人视觉智能作业方法及系统。

背景技术：

1、目前钢筋绑扎主要采用人工绑扎、手持式电动/气动绑扎枪、固定式激光焊接设备及少量轨道式视觉引导绑扎机器人。人工绑扎劳动强度大、效率低；手持式工具减轻部分操作负担，但仍依赖人工移动与对准；激光焊接连接强度高且无耗材，但设备固定、环境要求高；固定式视觉机器人仅适用于预制构件厂的规整生产线，无法移动作业。

2、现有技术普遍存在以下不足：一是场景适应性差，缺乏既能适应工厂规整环境、又能应对工地泥泞坑洼地形的移动式自动化设备；二是绑扎方式单一，无法根据钢筋直径、受力要求及作业环境（室内/室外、潮湿/干燥）灵活选择绑扎或焊接；三是依赖人工目视识别节点，在钢筋密集、光照昏暗或反光条件下易漏绑、错绑；四是移动平台对复杂地面、多变光照及振动的鲁棒性不足，难以实现全天候连续作业。

3、尤其在多场景作业中，视觉识别结果缺少不确定性表达。不同光照条件（如室外强光、阴影交替、夜间低照度、室内反光或局部过曝）会导致采集图像出现曝光不足、过度、噪声增大或局部特征淹没等问题，进而造成部分钢筋交叉节点无法被有效识别。现有系统通常直接输出确定的节点位置，缺乏对识别置信度的量化评估与传递机制。低置信度节点仍可能被直接纳入作业路径规划，导致机械臂按错误或缺失的节点执行绑扎/焊接动作，引发误绑、漏绑或机械臂与钢筋笼发生碰撞，严重影响作业安全与质量。

4、综上，现有方案尚未实现多场景自适应移动、双模连接执行、智能视觉识别与路径规划的有机统一，也缺乏面向视觉不确定性的鲁棒决策机制。

技术实现思路

1、针对现有技术存在的场景适应性差、作业效率低以及智能化程度不足的问题，本发明通过多场景自适应的钢筋连接机器人视觉智能作业方法及系统，实现了对复杂施工环境的自适应图像采集、钢筋节点的精准识别定位以及符合结构逻辑的智能路径规划，显著提升了钢筋连接作业的自动化水平与作业质量。

2、本发明通过下述技术方案实现：

3、本发明第一发明提供了多场景自适应的钢筋连接机器人视觉智能作业方法，包括如下步骤：

4、步骤1、基于作业场景对钢筋连接机器人进行作业适配，并将作业适配后的钢筋连接机器人移动至待作业区域；

5、步骤2、对待作业区域进行自适应图像采集，将采集的图像输入至三维节点检测网络进行钢筋节点识别与定位，输出钢筋交叉节点列表；所述钢筋交叉节点列表中每个节点包含钢筋交叉节点及其语义标签；

6、步骤3、基于语义标签将钢筋交叉节点构建为钢筋拓扑结构图，根据所确定的钢筋连接方式，对所述钢筋拓扑结构图进行遍历，生成符合钢筋结构作业逻辑的作业路径；

7、步骤4、钢筋连接机器人按照所述作业路径逐钢筋节点连接，并在完成单个钢筋节点的连接后，对所述钢筋节点进行质量校验。

8、在上述方法中，通过自适应适配机制确保了机器人能够稳定、可靠地到达待作业区域，解决了现有固定式或轨道式设备移动能力受限、无法适应复杂地形的问题。

9、通过检测环境光照强度及色温，自动调节自适应照明模块的亮度与色温，并同步调整工业相机的曝光参数与增益，从而抑制高光反射与阴影干扰，确保采集到的图像清晰、对比度良好。随后，将采集到的图像输入至三维节点检测网络，该网络能够从二维图像中推断出三维空间信息，精准回归每个钢筋交叉节点的空间包围盒中心坐标，并输出相应的语义标签；这一步骤实现了对密集钢筋节点的智能化识别与定位，有效降低了漏检率和误检率。

10、构建钢筋拓扑结构图时，将每个钢筋交叉节点作为一个图节点，并根据钢筋网的实际物理连接关系建立节点之间的边，这种图结构不仅包含节点的几何位置信息，还蕴含了钢筋网的拓扑逻辑。在生成作业路径时，根据确定的连接方式，对拓扑结构图进行遍历。

11、机器人按照规划好的作业路径，控制机械臂依次移动至每个钢筋节点位置，并调用相应的执行器完成连接作业；同时，在完成每一个单独节点的连接操作后，立即对该节点进行质量校验。这种“作业-校验”的闭环反馈机制，确保了每个节点的作业质量，避免了批量性错误的发生，显著提升了整体工程的施工质量。

12、在一种可选的实施例中，所述三维节点检测网络，包括：

13、rgb特征提取分支，用于从采集的图像中提取rgb特征，并生成rgb特征图；其中，所述rgb特征，包括：钢筋表面纹理特征、边缘特征和反光区域特征；

14、几何特征提取分支，用于从采集的图像中提取几何特征，并生成深度图；其中，所述几何特征，包括钢筋轮廓特征、交叉角度特征和局部空间结构特征；

15、伪点云生成模块，用于基于相机内参和深度图的深度估计结果将二维像素反投影为三维点；

16、体素令牌编码模块，用于将三维点划分至体素网格，并将体素网格中的体素中心位置编码与点特征聚合结果结合，生成体素令牌；

17、稀疏transformer编码器，用于对钢筋交叉节点周围的体素令牌进行上下文增强；

18、三维检测头，用于输出钢筋交叉节点的三维坐标、语义标签、置信度和坐标不确定性。

19、在一种可选的实施例中，将采集的图像输入至三维节点检测网络进行钢筋节点识别与定位，包括如下步骤：

20、步骤21、将采集的图像输入至rgb特征提取分支、几何特征提取分支中进行特征提取，生成包含rgb特征的rgb特征图和包含几何特征的深度图；

21、步骤22、对所述深度图逐像素进行离散深度预测，并使用预测的离散深度将每个像素散射至离散的离散点上，得到伪点云的三维坐标；

22、步骤23、根据所述三维坐标从所述rgb特征图中取出对应的rgb特征，并将其与几何特征进行拼接，生成该伪点云的原始特征向量；

23、步骤24、将所有伪点云划分为均匀的体素，对每个体素的中心坐标进行位置编码，生成位置编码向量，将所述位置编码向量与所述原始特征向量进行相加，生成体素令牌；

24、步骤25、将所述体素令牌输入至稀疏transformer编码器进行上下文增强，得到增强体素特征序列；

25、步骤26、采用三维检测头对增强体素特征序列进行检测，并基于检测结果输出钢筋交叉节点的三维坐标、语义标签、置信度和坐标不确定性。

26、在一种可选的实施例中，采用三维检测头对增强体素特征序列进行检测，包括如下步骤：

27、步骤261、分别通过四个并行的子分支对增强体素特征序列进行处理，输出中心回归参数、置信度参数、语义分类参数和不确定性参数；

28、步骤262、根据中心回归参数计算钢筋节点中心坐标，并根据钢筋节点中心坐标筛选候选节点；

29、步骤263、对每个候选节点，根据其所述语义分类参数确定最大概率对应类别，并计算对应类别的置信度，生成候选节点集；所述候选节点集包括：钢筋节点中心坐标、置信度参数、对应类别的置信度和不确定性参数；

30、步骤264、对所述候选节点集进行三维非极大值抑制，生成最终节点集，并将最终节点集中的不确定参数作为该节点坐标在各方向的标准差，若最终节点集中的不确定参数大于不确定阈值，则触发不确定门控。

31、在一种可选的实施例中，采用三维检测头对增强体素特征序列进行检测，还包括：

32、每个候选节点增加置信度标志位，若所述候选节点的置信度参数低于置信度阈值时，将所述置信度标志位设置为低置信度，将所述候选节点设置为低置信度候选节点；

33、遍历所述最终节点集，将所有低置信度候选节点加入待重检队列中；

34、遍历所述待重检队列，对每个待重检节点计算当前视角的不确定性方向，根据所述不确定性方向重新规划最优新视角，控制钢筋连接机器人将相机移动至所述最优新视角下并进行图像采集。

35、在一种可选的实施例中，基于语义标签将钢筋交叉节点构建为钢筋拓扑结构图，包括：

36、将每个钢筋交叉节点作为一个图节点，基于钢筋网拓扑先验，若两个图节点位于同一根钢筋上且相邻，则建立无向边；

37、为每个图节点赋予三维位置特征、语义标签、连接方式、置信度和不确定性作为节点特征；并为每个无向边赋予欧氏距离、方向和钢筋属性作为边特征。

38、在本实施例中，钢筋属性用于表示是否属于同一根钢筋。

39、在一种可选的实施例中，根据所确定的钢筋连接方式，对所述钢筋拓扑结构图进行遍历，包括如下步骤：

40、步骤31、将钢筋拓扑结构图的遍历建模为带图结构约束的序列表征学习问题；其中，将所有未访问节点的集合作为状态空间，将选择下一个访问节点作为动作空间；

41、步骤32、从状态空间中选取未访问节点，将钢筋连接方式与未访问节点的节点特征、边特征进行拼接为输入特征，将所述输入特征输入至基于注意力机制的图神经网络中，输出当前已访问节点及下一目标访问节点；

42、步骤33、采用改进的a*算法对当前已访问节点碰撞检测机平滑过滤，输出轨迹点序列；

43、步骤34、基于轨迹点序列更新状态空间，并重复步骤31至34直至状态空间中不存在未访问节点。

44、在一种可选的实施例中，将所述输入特征输入至基于注意力机制的图神经网络中，包括如下步骤：

45、步骤331、将所述输入特征输入至图编码器中，所述图编码器包括3层gatv2，在每一层gatv2中对输入特征进行注意力计算，并根据计算结果更新节点特征；

46、步骤332、采用基于注意力机制的顺序生成网络对更新节点特征及其上下文进行注意力计算，并根据计算结果选取下一个节点；

47、步骤333、通过softmax函数计算所选取的下一个节点的概率分布，并选择概率最大的点作为下一目标访问节点。

48、在一种可选的实施例中，采用改进的a*算法对当前已访问节点碰撞检测机平滑过滤，包括如下步骤：

49、步骤341、采用机械臂基座作为坐标系，将机械臂工作空间离散化为体素网格，形成三维语义地图，基于语义信息赋予所述三维语义地图代价系数，形成三维语义代价地图；

50、步骤342、将机械臂末端当前位置作为起始点，将下一目标访问节点作为目标点，遍历起始点与目标点之间的图节点，生成初始路径；

51、步骤343、采用b样条平滑与碰撞检测技术对所述初始路径进行路径回溯，并通过运动学约束对路径回溯后的路径进行平滑过滤，生成关节空间轨迹；其中，所述运动学约束包括关节可达性与判断及方向约束。

52、本发明第二方面提供了多场景自适应的钢筋连接机器人视觉智能作业系统，包括：

53、场景适配与自主导航模块，用于基于作业场景对钢筋连接机器人进行作业适配，并将作业适配后的钢筋连接机器人移动至待作业区域；

54、自适应图像采集及钢筋节点识别与定位模块，用于对待作业区域进行自适应图像采集，将采集的图像输入至三维节点检测网络进行钢筋节点识别与定位，输出钢筋交叉节点及其语义标签；

55、连接方式选择与语义路径规划模块，用于基于语义标签将钢筋交叉节点构建为钢筋拓扑结构图，根据所确定的钢筋连接方式，对所述钢筋拓扑结构图进行遍历，生成符合钢筋结构作业逻辑的作业路径；

56、连接及质量校验模块，用于钢筋连接机器人按照所述作业路径逐钢筋节点连接，并在完成单个钢筋节点的连接后，对所述钢筋节点进行质量校验。

57、本发明通过低置信度节点多视角复核机制、钢筋拓扑结构图与图神经网络路径遍历及运动学约束轨迹优化，解决了多场景下复杂光照与密集遮挡导致的识别不可靠问题，实现了高精度、无碰撞、高效率的钢筋连接自动化作业。