基于钢筋节点识别和不确定性感知的钢筋绑扎方法、装置、设备及介质

摘要: 本发明涉及图像处理,特别涉及基于钢筋节点识别和不确定性感知的钢筋绑扎方法、装置、设备及介质。背景技术:1、在诸如预制梁场等真实建筑施工环境中,钢筋排布高度密集,...
基于钢筋节点识别和不确定性感知的钢筋绑扎方法、装置、设备及介质

本发明涉及图像处理,特别涉及基于钢筋节点识别和不确定性感知的钢筋绑扎方法、装置、设备及介质。

背景技术:

1、在诸如预制梁场等真实建筑施工环境中,钢筋排布高度密集,节点相互重叠且遮挡严重,产生大量非标准节点(如复杂箍筋、弯折筋、多层重叠节点),同时伴随钢筋锈蚀与反光等问题。目前行业内针对钢筋绑扎机器人节点识别问题,普遍采用一次性训练固定模型、依靠人工事后纠错的传统方式,工程应用中存在明显短板,具体问题如下:目前的大部分节点识别模型只能识别最简单的十字型节点。当遇到训练集中未包含的异型节点时,模型极易产生错识或漏识,造成绑扎机器人错绑和漏绑,甚至引发碰撞致使作业停止。钢筋节点密集、重叠遮挡时,传统后处理与损失函数无法控制预测框间距,框体粘连,达不到绑扎所需的高精度要求,经常出现绑扎位置错误,无法满足工地多类型节点绑扎需求,严重影响绑扎作业质量与效率。

2、综上所述,如何优化钢筋绑扎机器人的钢筋节点识别算法以降低错识或漏识导致绑扎作业质量与效率低下的问题是目前亟需解决的问题。

技术实现思路

1、有鉴于此,本发明的目的在于提供基于钢筋节点识别和不确定性感知的钢筋绑扎方法、装置、设备及介质,能够优化钢筋绑扎机器人的钢筋节点识别算法以降低错识或漏识导致绑扎作业质量与效率低下的问题。其具体方案如下:

2、第一方面,本技术提供了一种基于钢筋节点识别和不确定性感知的钢筋绑扎方法,应用于钢筋绑扎机器人,所述钢筋绑扎机器人上部署有预设钢筋节点识别模型;其中,所述方法包括:

3、采集当前建筑施工环境的原始钢筋图像,并通过所述预设钢筋节点识别模型识别所述原始钢筋图像中的钢筋节点,以得到相应的识别结果;所述预设钢筋节点识别模型基于yolov8检测框架构建,包括嵌入biformer注意力机制的特征提取网络、基于渐进式特征金字塔网络构建的特征融合网络和优化后卷积检测头;所述预设钢筋节点识别模型的损失函数中包括预设排斥损失函数,用于约束预测框和真实框,以及预测框相互之间的距离关系;

4、通过置信度检验、节点数量对比以及节点特征模板匹配,对所述识别结果进行不确定性感知,以根据感知结果筛选出所述识别结果中的目标不确定性节点;

5、利用所述预设钢筋节点识别模型,评估所述目标不确定性节点的预测稳定性,以得到相应的评估结果,并基于所述感知结果、所述评估结果和所述识别结果进行绑扎作业。

6、可选的,所述优化后卷积检测头中包括深度可分离卷积和用于强化钢筋的边缘纹理特征的细节增强卷积;所述预设钢筋节点识别模型的损失函数中还包括预设分类损失函数和预设置信度损失函数;所述预设排斥损失函数包括吸引项、真实框排斥项和预测框间排斥项;所述吸引项用于约束预测框与对应真实框的重合度;所述真实框排斥项用于约束预测框与除对应真实框外的其他真实框之间的距离不小于第一预设距离;所述预测框间排斥项用于控制同一钢筋节点的不同预测框之间的距离不小于第二预设距离。

7、可选的,所述置信度检验的过程,包括:

8、确定所述识别结果中每个钢筋节点预测框的置信度得分;

9、将所述置信度得分处于预设置信度得分范围内的钢筋节点确定为目标风险节点;所述预设置信度得分范围基于所述建筑施工环境的环境特征设定;

10、将所述置信度得分低于所述预设置信度得分范围的下限的钢筋节点判定为环境噪声,并从所述识别结果中剔除,以得到剔除后识别结果;

11、相应的,所述基于所述感知结果、所述评估结果和所述识别结果进行绑扎作业的过程中,包括:

12、针对所述置信度得分高于所述预设置信度得分范围的上限的钢筋节点进行绑扎作业。

13、可选的,所述节点数量对比的过程,包括:

14、根据所述剔除后识别结果,统计所述原始钢筋图像中各帧的钢筋节点数量;

15、若存在所述钢筋节点数量超出预设节点数量区间的钢筋图像帧,则判定所述钢筋图像帧中的钢筋节点为目标异常节点;所述预设节点数量区间基于钢筋排布信息设定;所述钢筋排布信息基于所述建筑施工环境的施工图纸和建筑信息模型导入;

16、对所述目标异常节点和所述目标风险节点进行去重整合,以得到目标节点集合。

17、可选的,所述节点特征模板匹配的过程,包括:

18、提取所述目标节点集合中各节点的节点特征,并基于所述节点特征与预设异型节点库进行相似度匹配,得到相应的匹配结果;所述预设异型节点库用于存储若干异型节点的特征模板;

19、根据所述匹配结果,将所述目标节点集合中未匹配成功的钢筋节点确定为目标不确定性节点;

20、相应的,所述基于所述感知结果、所述评估结果和所述识别结果进行绑扎作业的过程中,包括:

21、根据所述匹配结果,针对所述目标节点集合中匹配成功的钢筋节点,利用预设绑扎策略进行绑扎作业。

22、可选的,所述利用所述预设钢筋节点识别模型,评估所述目标不确定性节点的预测稳定性,包括:

23、基于蒙特卡罗随机失活机制并利用所述预设钢筋节点识别模型,对所述目标不确定性节点分别进行多次前向推理,以生成多组预测结果,并计算所述多组预测结果的一致性得分;

24、将所述一致性得分高于预设得分阈值的钢筋节点确定为目标稳定节点,并修正所述目标稳定节点的置信度得分;

25、将所述一致性得分不高于所述预设得分阈值的钢筋节点确定为目标不稳定节点,并推送至目标人工标注平台中,以得到所述目标不稳定节点的标注结果;

26、相应的,所述基于所述感知结果、所述评估结果和所述识别结果进行绑扎作业的过程中,包括:

27、针对所述目标稳定节点进行绑扎作业。

28、可选的,还包括:

29、将所述目标不稳定节点和相应的所述标注结果,以及所述目标不确定性节点存储至预设样本库中,以便在所述预设样本库中的样本量达到预设样本量后,获取目标云端服务器发送的优化后模型权重,并基于所述优化后模型权重热更新所述预设钢筋节点识别模型;

30、其中,所述优化后模型权重通过所述目标云端服务器对本地的优化后钢筋节点识别大模型进行知识蒸馏得到;所述优化后钢筋节点识别大模型为所述目标云端服务器利用所述预设样本库对本地的钢筋节点识别大模型进行增量训练所得到的大模型;所述钢筋节点识别大模型为所述预设钢筋节点识别模型的教师模型。

31、第二方面,本技术提供了一种基于钢筋节点识别和不确定性感知的钢筋绑扎装置,应用于钢筋绑扎机器人,所述钢筋绑扎机器人上部署有预设钢筋节点识别模型;其中,所述装置包括:

32、节点识别模块,用于采集当前建筑施工环境的原始钢筋图像,并通过所述预设钢筋节点识别模型识别所述原始钢筋图像中的钢筋节点,以得到相应的识别结果;所述预设钢筋节点识别模型基于yolov8检测框架构建,包括嵌入biformer注意力机制的特征提取网络、基于渐进式特征金字塔网络构建的特征融合网络和优化后卷积检测头;所述预设钢筋节点识别模型的损失函数中包括预设排斥损失函数,用于约束预测框和真实框,以及预测框相互之间的距离关系;

33、结果感知模块,用于通过置信度检验、节点数量对比以及节点特征模板匹配,对所述识别结果进行不确定性感知,以根据感知结果筛选出所述识别结果中的目标不确定性节点;

34、绑扎作业模块,用于利用所述预设钢筋节点识别模型,评估所述目标不确定性节点的预测稳定性,以得到相应的评估结果,并基于所述感知结果、所述评估结果和所述识别结果进行绑扎作业。

35、第三方面,本技术提供了一种电子设备,包括:

36、存储器,用于保存计算机程序;

37、处理器,用于执行所述计算机程序,以实现前述的基于钢筋节点识别和不确定性感知的钢筋绑扎方法。

38、第四方面,本技术提供了一种计算机可读存储介质,用于保存计算机程序;其中,所述计算机程序被处理器执行时实现前述的基于钢筋节点识别和不确定性感知的钢筋绑扎方法。

39、本技术中,采集当前建筑施工环境的原始钢筋图像,并通过所述预设钢筋节点识别模型识别所述原始钢筋图像中的钢筋节点,以得到相应的识别结果;所述预设钢筋节点识别模型基于yolov8检测框架构建,包括嵌入biformer注意力机制的特征提取网络、基于渐进式特征金字塔网络构建的特征融合网络和优化后卷积检测头;所述预设钢筋节点识别模型的损失函数中包括预设排斥损失函数,用于约束预测框和真实框,以及预测框相互之间的距离关系;通过置信度检验、节点数量对比以及节点特征模板匹配,对所述识别结果进行不确定性感知,以根据感知结果筛选出所述识别结果中的目标不确定性节点;利用所述预设钢筋节点识别模型,评估所述目标不确定性节点的预测稳定性,以得到相应的评估结果,并基于所述感知结果、所述评估结果和所述识别结果进行绑扎作业。由上可见,本技术的钢筋绑扎机器人采集建筑施工环境的原始钢筋图像,使用基于yolov8搭建,融合biformer注意力机制、渐进式特征金字塔网络与优化卷积检测头,并搭载预设排斥损失函数的预设钢筋节点识别模型识别钢筋节点,再通过置信度检验、节点数量比对、节点特征模板匹配的方式开展不确定性感知,筛选出目标不确定性节点,借助预设钢筋节点识别模型评估所述目标不确定性节点的预测稳定性,综合各类结果指导钢筋绑扎作业。这样一来,通过本技术的上述过程,预设钢筋节点识别模型基于yolov8框架并嵌入biformer注意力机制、采用渐进式特征金字塔网络与优化卷积检测头的架构,能够在大幅降低模型参数量、适配机器人端侧实时部署的同时,解决密集、遮挡、异型钢筋节点的漏检、误检问题,提升钢筋节点检测精度;损失函数引入排斥损失函数,有效约束检测框和真实框的位置,解决密集节点框粘连问题,保证定位准确性,避免误检,从损失层面直接解决密集节点的定位失效问题;结合置信度检验、节点数量对比和特征模板匹配做不确定性感知,精准定位识别存疑的节点,降低人工成本;利用模型评估不确定节点预测稳定性,全面研判识别结果可靠性,降低识别误差,保障钢筋绑扎作业依规有序开展,进而优化钢筋绑扎机器人的钢筋节点识别算法以降低错识或漏识导致绑扎作业质量与效率低下的问题。