一种钢筋绑扎控制系统和绑扎定位识别方法与流程

1.本发明涉及钢筋绑扎控制技术领域，尤其涉及一种钢筋绑扎控制系统和绑扎定位识别方法。


背景技术：

2.在建筑行业，钢筋就相当于人体的骨骼，起到支撑、拉结建筑本体的作用，大量的钢筋在浇筑混凝土前需要依照工程图纸依次固定，使得钢筋骨架得以可靠的固定，随着建筑工业化及装配式建筑的发展，传统的pc构件钢筋加工方式主要是采用人工看图纸在地面上划线绑扎，效率低下，不同型号的叠合板需要反复重新划线，出错率高，对操作工人专业性要求高，并且下一个工序需对钢筋进行检查复核，非常容易产生废次品的出现。
3.因此，亟需一种钢筋绑扎控制系统，实现机械操控识别定位，进而完成钢筋绑扎动作。


技术实现要素：

4.（一）要解决的技术问题鉴于上述技术中存在的问题，本发明至少从一定程度上进行解决。为此，本发明的第一个目的在于提出了一种钢筋绑扎控制系统，利于待绑扎位置的精确识别，进而控制执行机构完成高质量绑扎操作。
5.本发明的第二个目的在于提出了一种绑扎定位识别方法。
6.（二）技术方案为了达到上述目的，本发明提供一种钢筋绑扎控制系统，包括：图像采集设备，用于获取待绑扎钢筋所在区域的深度图像和rgb图像；中央处理器，包括图像预处理模块和待绑扎位置识别模块；图像预处理模块，用于根据深度图像的空间深度数据，剔除rgb图像中的背景信息和底层钢筋信息，并将rgb图像中背景信息、底层钢筋信息所在的位置填充为单色，获得预处理的rgb图像；待绑扎位置识别模块，用于将预处理的rgb图像输入预先训练的待绑扎位置识别模型中，输出待绑扎交叉点的包围盒，基于局部特征点的方法对每一个包围盒进行处理，获得包围盒中每条钢筋的边缘特征点，根据边缘特征点拟合钢筋的直线边缘，将每一个包围盒中钢筋直线边缘的交点作为待绑扎位置；执行机构驱动器，用于根据待绑扎位置控制执行机构绑扎钢筋。
7.可选地，图像采集设备为rgb-d相机。
8.可选地，待绑扎位置识别模块，用于将预处理的rgb图像输入预先训练的ghost-yolox网络模型中，输出待绑扎交叉点的包围盒；ghost-yolox网络模型的构建，包括：将yolox网络的cbl模块中的卷积替换为ghost模块。
9.可选地，ghost-yolox网络模型的构建，还包括：在yolox网络的主干特征提取网络
中引入基于注意力通道机制的se模块，主干特征提取网络提取的特征层输入se模块中，根据se模块的输出进行特征融合。
10.可选地，待绑扎位置识别模块基于局部特征点的方法对每一个包围盒进行处理，获得包围盒中每条钢筋的边缘特征点，包括：待绑扎位置识别模块在包围盒区域中设置多条横线和多条竖线，多条横线作为第一组line roi，多条竖线作为第二组line roi；提取line roi中每条直线上对应的图像像素值，计算获得每条直线上像素值变化最大的位置以作为钢筋的边缘特征点。
11.可选地，待绑扎位置识别模块，还用于使用ransac算法通过迭代优化的方法剔除钢筋边缘特征点中的离群点；离群点为处于噪声位置的边缘特征点；相应地，待绑扎位置识别模块根据剩余的边缘特征点拟合钢筋的直线边缘，将每一个包围盒中钢筋直线边缘的交点作为待绑扎位置。
12.第二方面，本发明提供一种绑扎定位识别方法，包括以下步骤：s1、获取待绑扎钢筋所在区域的深度图像和rgb图像；s2、根据深度图像的空间深度数据，剔除rgb图像中的背景信息和底层钢筋信息，并将rgb图像中背景信息、底层钢筋信息所在的位置填充为单色，获得预处理的rgb图像；s3、将预处理的rgb图像输入预先训练的待绑扎位置识别模型中，输出待绑扎交叉点的包围盒，基于局部特征点的方法对每一个包围盒进行处理，获得包围盒中每条钢筋的边缘特征点，根据边缘特征点拟合钢筋的直线边缘，将每一个包围盒中钢筋直线边缘的交点作为待绑扎位置。
13.作为本发明方法的一种改进，待绑扎位置识别模型为ghost-yolox网络模型；ghost-yolox网络模型的构建，包括：将yolox网络的cbl模块中的卷积替换为ghost模块。
14.作为本发明方法的一种改进，ghost-yolox网络模型的构建，还包括：在yolox网络的主干特征提取网络backbone中引入了基于注意力通道机制的se模块，主干特征提取网络提取的特征层输入se模块中，根据se模块的输出进行特征融合。
15.作为本发明方法的一种改进，基于局部特征点的方法对每一个包围盒进行处理，获得包围盒中每条钢筋的边缘特征点，包括：在包围盒区域中设置多条横线和多条竖线，多条横线作为第一组line roi，多条竖线作为第二组line roi；提取line roi中每条直线上对应的图像像素值，计算获得每条直线上像素值变化最大的位置以作为钢筋的边缘特征点。
16.（三）有益效果本发明的有益效果是：本发明提供的钢筋绑扎控制系统，通过获取待绑扎钢筋所在区域的深度图像和rgb图像，并根据深度图像对rgb图像进行预处理，增加rgb图像顶层待识别钢筋与背景的对比度，利于待绑扎位置的精确识别；并且先通过待绑扎位置识别模型提取每个未绑扎交叉点的粗略位置，再基于局部特征点的方法在每个未绑扎交叉点的粗略位置中识别未绑扎交叉点，能够获得待绑扎位置的准确坐标。
附图说明
17.本发明借助于以下附图进行描述：
图1是根据本发明具体实施方式的钢筋绑扎控制系统的结构示意图；图2是根据本发明具体实施方式的ghost模块的结构示意图；图3是根据本发明具体实施方式的gbl模块中两种残差结构的示意图；其中，ghost module表示ghost模块，bn表示批量归一化，silu表示silu激活函数，add表示求和，dwconv表示深度可分离卷积；图4是根据本发明具体实施方式的ghost-yolox网络结构示意图；其中，input表示输入，focus表示图片切片操作，spp表示空间金字塔池化，upsample表示图片上采样，concat表示特征融合；图5是根据本发明具体实施方式的se模块的结构示意图；图6是根据本发明具体实施方式的一个包围盒区域的钢筋绑扎位置识别结果示意图。
18.【附图标记说明】1：图像采集设备；2：中央处理器；21：图像预处理模块；22：待绑扎位置识别模块；23：通讯模块；3：执行机构驱动器。
具体实施方式
19.为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
20.如图1所示，本发明提供一种钢筋绑扎控制系统。该钢筋绑扎控制系统包括图像采集设备1、中央处理器2和执行机构驱动器3。
21.图像采集设备1，用于获取待绑扎钢筋所在区域的深度图像和rgb图像。如此，获取rgb图像是由于yolox网络只能处理rgb图像，而不能处理深度图像；获取深度图像，是为了对rgb图像进行预处理，这是由于rgb图像中不存在空间深度数据。
22.优选地，图像采集设备1为rgb-d相机，rgb-d相机可同时采集待绑扎钢筋所在区域的深度图像和rgb图像，方便后续的图像处理过程。
23.中央处理器2包括图像预处理模块21和待绑扎位置识别模块22。
24.图像预处理模块21，用于根据深度图像的空间深度数据，剔除rgb图像中的背景信息和底层钢筋信息，并将rgb图像中背景信息、底层钢筋信息所在的位置填充为单色，获得预处理的rgb图像。其中，背景信息是指rgb图像中除钢筋信息以外的其他信息，底层钢筋信息是指rgb图像中除顶层待识别钢筋以外的其他钢筋信息。如此，增加rgb图像顶层待识别钢筋与背景的对比度，利于待绑扎位置的精确识别。
25.具体地，作为一个示例，图像预处理模块21，用于根据深度图像的空间深度数据，剔除rgb图像中的背景信息和底层钢筋信息，并将rgb图像中背景信息、底层钢筋信息所在的位置填充为黑色，获得预处理的rgb图像。
26.待绑扎位置识别模块22，用于将预处理的rgb图像输入预先训练的待绑扎位置识别模型，输出待绑扎交叉点的包围盒，基于局部特征点的方法对每一个包围盒进行处理，获得包围盒中每条钢筋的边缘特征点，根据边缘特征点拟合钢筋的直线边缘，将每一个包围盒中钢筋直线边缘的交点作为待绑扎位置。如此，先通过待绑扎位置识别模型提取每个未
绑扎交叉点的粗略位置，再基于局部特征点的方法在每个未绑扎交叉点的粗略位置中识别未绑扎交叉点，能够获得待绑扎位置的准确坐标。
27.优选地，待绑扎位置识别模块22，用于将预处理的rgb图像输入预先训练的ghost-yolox网络模型中，输出待绑扎交叉点的包围盒， ghost-yolox网络模型的构建，包括：将yolox网络的cbl模块中的卷积替换为ghost模块。
28.其中，yolox网络可分为三部分：主干特征提取网络backbone、上下文特征融合neck以及结果预测prediction。在主干特征提取网络中首先使用focus操作（图像切片操作）得到没有信息丢失的二倍下采样特征图，同时将通道数扩充为了原来的四倍，然后使用cbl模块和csp模块进行特征提取。在上下文特征融合部分，根据主干特征提取网络提取的三个特征层进行特征金字塔的构建并进行有效地特征融合。在结果预测部分，首先使用一个1
×
1卷积将分类和回归预测解耦，然后对目标所属类别和目标位置分别进行预测。本发明对yolox网络改进后获得的ghost-yolox网络，是将yolox网络的cbl模块中的卷积替换为ghost模块，由此cbl模块变成了gbl模块，如图4所示。如此，一方面选取yolox网络作为本发明的基准模型，绑扎位置的检测精度和检测速度较高，另一方面通过将yolox网络的cbl模块中的卷积替换为ghost模块，进一步加快模型的执行效率和提取特征的准确度。
29.其中，ghost模块的结构如图2所示，对于输入，其中，为实数矩阵，为输入数据的通道数，为输入数据的高度，为输入数据的宽度。首先使用一个卷积运算把输入映射到本征特征图，其中，为特征图通道数，为特征层的高度，为特征层的宽度。然后对本征特征图使用深度可分离卷积得到ghost特征图，并且将本征特征图（图1中对输入进行卷积运算得到的结果是本征特征图）和ghost特征图（对本征特征图使用深度可分离卷积后的结果为ghost特征图）在通道维度上拼接，得到最后的输出。使用更少的常规卷积生成本征特征图以及使用深度可分离卷积生成ghost特征图，大大减少模型的参数量并且提高模型的推理速度。将ghost模块组合批量归一化操作bn、silu激活函数以及深度可分离卷积dwconv构建的两种残差结构如图3所示，gbl模块由如图3所示的两种残差结构串联堆叠而成，如此设置的残差结构用于提取图片中的特征，相较于普通卷积结构提取的特征更为准确。
30.优选地，ghost-yolox网络模型的构建，还包括：在yolox网络的主干特征提取网络中引入基于注意力通道机制的se模块，主干特征提取网络提取的特征层输入se模块中，根据se模块的输出进行特征融合，如图4所示。如此，se模块使主干特征提取网络提取的特征层不同通道能够使用全局感受野的信息。
31.se模块的结构如图5所示，首先将输入通过变换映射到特征图，然后通过操作将特征图在其空间维度（）上的特征压缩产生一个通道描述符，该描述符可以生成一个逐通道特征响应的全局分布特征表示，之后通过操作将该全局特征表示输出为每个通道调整后权重的集合；最后，根据此权重集合，使用操作将特征图调整为输出。如此，进一步提高ghost-yolox网络模型的检测精确度。
32.优选地，待绑扎位置识别模块22基于局部特征点的方法对每一个包围盒进行处理，获得包围盒中每条钢筋的边缘特征点，包括：待绑扎位置识别模块22在包围盒区域中设
置多条横线和多条竖线，多条横线作为第一组line roi，多条竖线作为第二组line roi；提取line roi中每条直线上对应的图像像素值，计算获得每条直线上像素值变化最大的位置以作为钢筋的边缘特征点。
33.由于使用ghost-yolox网络提取的每个感兴趣区域（即包围盒）中仅包含一条横向钢筋、一条纵向钢筋以及少量干扰噪声。因此，在每个矩形感兴趣区域中可分别设置一组横向line roi和一组纵向line roi（如图6所示的感兴趣区域，设置有多条线，所有横线可看成一组横向line roi，所有竖线可看成一组纵向line roi），即可分别提取纵向钢筋和横向钢筋的边缘特征点，进而根据边缘特征点可以准确拟合钢筋的直线边缘，通过计算横向钢筋边缘和纵向钢筋边缘的交点，即可得到待绑扎位置的准确坐标。
34.作为一个示例，通过包围盒相对于整张图片的左上角和右下角顶点的横纵坐标，对包围盒进行描述。
35.进一步优选地，待绑扎位置识别模块22提取line roi中每条直线上对应的图像像素值，使用一阶差分算法计算获得每条直线上像素值变化最大的位置以作为钢筋的边缘特征点。具体地，在本实施例中，如图6所示，一组line roi中包含15条直线 ，即一组line roi可以提取 15个独立的边缘特征点。
36.由于line roi可能提取到噪声位置，噪声位置的边缘特征点可以看作是离群点。故进一步优选地，待绑扎位置识别模块22，还用于使用ransac算法通过迭代优化的方法剔除钢筋边缘特征点中的离群点；相应地，待绑扎位置识别模块22根据剩余的边缘特征点拟合钢筋的直线边缘，将每一个包围盒中钢筋直线边缘的交点作为待绑扎位置。进一步地，离群点剔除数量为总边缘特征点数的30~50%。具体地，在本实施例中，离群点剔除数量为总边缘特征点数的40%。
37.执行机构驱动器3，用于根据待绑扎位置控制执行机构绑扎钢筋。
38.具体地，在本实施例中，执行机构驱动器3为绑扎伺服电机驱动器。
39.优选地，中央处理器2还包括通讯模块23，通讯模块23用于将待绑扎位置信息转换为伺服电机驱动器支持的协议格式。具体地，在本实施例中，通讯模块23用于将待绑扎位置信息转换为伺服电机驱动器支持的modbus协议格式，中央处理器2通过串口以rs485通信发送至伺服电机驱动器，进而控制执行机构绑扎钢筋。
40.本发明还提供一种绑扎定位识别方法，包括以下步骤：步骤s1、获取待绑扎钢筋所在区域的深度图像和rgb图像，对深度图像和rgb图像进行对齐处理。
41.步骤s2、根据深度图像的空间深度数据，剔除rgb图像中的背景信息和底层钢筋信息，并将rgb图像中背景信息、底层钢筋信息所在的位置填充为单色，获得预处理的rgb图像；步骤s3、将预处理的rgb图像输入预先训练的待绑扎位置识别模型中，输出待绑扎交叉点的包围盒，基于局部特征点的方法对每一个包围盒进行处理，获得包围盒中每条钢筋的边缘特征点，根据边缘特征点拟合钢筋的直线边缘，将每一个包围盒中钢筋直线边缘的交点作为待绑扎位置。
42.在步骤s1之前，还包括：使用工业相机采集现场钢筋绑扎和未绑扎的图片，并使用lableimg图片标注工具对图片中已经绑扎或待绑扎位置进行标注，标注标签为绑扎和未绑
扎两类，作为训练数据供待绑扎位置识别模型训练使用。
43.需要说明的是，本发明提供的绑扎定位识别方法中图像处理的流程，可参照上述实施例提供的钢筋绑扎控制系统的详细描述，此处不再赘述。
44.需要理解的是，以上对本发明的具体实施例进行的描述只是为了说明本发明的技术路线和特点，其目的在于让本领域内的技术人员能够了解本发明的内容并据以实施，但本发明并不限于上述特定实施方式。凡是在本发明权利要求的范围内做出的各种变化或修饰，都应涵盖在本发明的保护范围内。