钢捆标牌焊接方法、装置、设备及存储介质与流程

1.本技术涉及计算机技术领域，尤其涉及一种钢捆标牌焊接方法、装置、设备及存储介质。


背景技术：

2.在钢筋的生产制造流程中，交付客户时为成捆交货，需要对已捆扎的钢筋打上标牌，即将标牌焊接到钢捆的端面上，标牌用于显示钢筋的钢种、规格型号、生产日期、单根钢筋长度等信息。
3.目前，通常采用以下方式将标牌焊接到钢捆的端面上：获取待焊接钢捆的端面图像，对端面图像进行图像处理(比如图像分割、轮廓提取)，确定标牌焊接点；根据标牌焊接点的三维坐标，控制伸缩焊枪对待焊接钢捆的标牌进行焊接。但是，通过上述方式确定的标牌焊接点不够准确。


技术实现要素：

4.本技术提供一种钢捆标牌焊接方法、装置、设备及存储介质，以解决目前方式将标牌焊接到钢捆的端面上时，确定的标牌焊接点不够准确的问题。
5.第一方面，本技术提供一种钢捆标牌焊接方法，包括：
6.获取目标钢捆的端面的二维图像和三维点云；
7.获取目标钢捆包含的单根钢筋的二维掩膜图像；
8.基于二维掩膜图像和三维点云，获取单根钢筋对应的端面点云；
9.基于三维点云、单根钢筋对应的端面点云以及待焊接在端面的标牌信息，确定目标焊接点，目标焊接点为焊接位置。
10.可选的，标牌信息包括标牌大小和标牌的焊接位置相对于标牌的位置信息，基于三维点云、单根钢筋对应的端面点云以及待焊接在端面的标牌信息，确定目标焊接点，包括：根据三维点云、标牌大小和位置信息，确定目标焊接区域；根据单根钢筋对应的端面点云，确定目标焊接区域中的目标钢筋；将目标钢筋的中心点确定为目标焊接点。
11.可选的，根据三维点云、标牌大小和位置信息，确定目标焊接区域，包括：根据三维点云，获取目标钢捆的端面轮廓；根据标牌大小和目标钢捆的端面轮廓，确定标牌在目标钢捆的端面上的固定区域；根据位置信息和固定区域，确定目标焊接区域。
12.可选的，根据三维点云、标牌大小和位置信息，确定目标焊接区域，包括：根据三维点云，获取目标钢捆的端面轮廓的中心位姿；根据中心位姿、标牌大小以及位置信息，确定目标焊接区域的中心位置；根据中心位置和预设焊接范围，确定目标焊接区域。
13.可选的，根据单根钢筋对应的端面点云，确定目标焊接区域中的目标钢筋，包括：根据单根钢筋对应的端面点云，确定目标焊接区域中的钢筋的端面形态；基于端面形态，将端部相对于相邻钢筋凸出的钢筋确定为目标钢筋。
14.可选的，获取目标钢捆包含的单根钢筋的二维掩膜图像，包括：将二维图像输入目
标检测模型进行目标检测，获取目标钢捆包含的单根钢筋的二维掩膜图像。
15.可选的，目标检测模型是通过以下方式获得的：获取样本图像，样本图像包含钢捆端面以及钢捆端面的标注信息，标注信息用于确定钢捆中单根钢筋的掩膜；将样本图像输入初始目标检测模型进行拟合处理，得到损失函数值，拟合处理用于拟合出单根钢筋的掩膜；根据损失函数值，调整初始目标检测模型的参数，迭代训练初始目标检测模型，直至计算得到的损失函数值满足预设评估条件，得到目标检测模型。
16.可选的，获取目标钢捆包含的单根钢筋的二维掩膜图像之后，该钢捆标牌焊接方法还包括：根据目标钢捆包含的单根钢筋的二维掩膜图像，得到目标钢捆包含的钢筋数量。
17.可选的，该钢捆标牌焊接方法还包括：获取在目标焊接点焊接了标牌的钢捆的端面的目标二维图像；将目标二维图像输入复检模型，得到复检结果；若复检结果为没有标牌，则执行获取目标钢捆的端面的二维图像和三维点云的步骤。
18.可选的，复检模型是通过以下方式获得的：获取样本图像，样本图像包含钢捆端面以及钢捆端面是否焊接有标牌的标注信息，将样本图像按比例分成训练集和验证集；将训练集输入初始复检模型中进行训练，并通过初始复检模型的损失函数得到损失函数值，在损失函数值满足预设评估条件时，停止训练；将验证集输入经训练的初始复检模型中，输出带有标注信息的样本图像，将带有标注信息的样本图像的标注信息与验证集中相应样本图像的标注信息进行比较，在准确率高于阈值时，完成对复检模型的训练。
19.第二方面，本技术提供一种钢捆标牌焊接装置，包括：
20.第一获取模块，用于获取目标钢捆的端面的二维图像和三维点云；
21.第二获取模块，用于获取目标钢捆包含的单根钢筋的二维掩膜图像；
22.第三获取模块，用于基于二维掩膜图像和三维点云，获取单根钢筋对应的端面点云；
23.确定模块，用于基于三维点云、单根钢筋对应的端面点云以及待焊接在端面的标牌信息，确定目标焊接点，目标焊接点为焊接位置。
24.可选的，标牌信息包括标牌大小和标牌的焊接位置相对于标牌的位置信息，确定模块具体用于：根据三维点云、标牌大小和位置信息，确定目标焊接区域；根据单根钢筋对应的端面点云，确定目标焊接区域中的目标钢筋；将目标钢筋的中心点确定为目标焊接点。
25.可选的，确定模块在用于根据三维点云、标牌大小和位置信息，确定目标焊接区域时，具体用于：根据三维点云，获取目标钢捆的端面轮廓；根据标牌大小和目标钢捆的端面轮廓，确定标牌在目标钢捆的端面上的固定区域；根据位置信息和固定区域，确定目标焊接区域。
26.可选的，确定模块在用于根据三维点云、标牌大小和位置信息，确定目标焊接区域时，具体用于：根据三维点云，获取目标钢捆的端面轮廓的中心位姿；根据中心位姿、标牌大小以及位置信息，确定目标焊接区域的中心位置；根据中心位置和预设焊接范围，确定目标焊接区域。
27.可选的，确定模块在用于根据单根钢筋对应的端面点云，确定目标焊接区域中的目标钢筋时，具体用于：根据单根钢筋对应的端面点云，确定目标焊接区域中的钢筋的端面形态；基于端面形态，将端部相对于相邻钢筋凸出的钢筋确定为目标钢筋。
28.可选的，第二获取模块具体用于：将二维图像输入目标检测模型进行目标检测，获
取目标钢捆包含的单根钢筋的二维掩膜图像。
29.可选的，该钢捆标牌焊接装置还包括第四获取模块，用于通过以下方式获得目标检测模型：获取样本图像，样本图像包含钢捆端面以及钢捆端面的标注信息，标注信息用于确定钢捆中单根钢筋的掩膜；将样本图像输入初始目标检测模型进行拟合处理，得到损失函数值，拟合处理用于拟合出单根钢筋的掩膜；根据损失函数值，调整初始目标检测模型的参数，迭代训练初始目标检测模型，直至计算得到的损失函数值满足预设评估条件，得到目标检测模型。
30.可选的，第二获取模块还用于：获取目标钢捆包含的单根钢筋的二维掩膜图像之后，根据目标钢捆包含的单根钢筋的二维掩膜图像，得到目标钢捆包含的钢筋数量。
31.可选的，该钢捆标牌焊接装置还包括处理模块，用于：获取在目标焊接点焊接了标牌的钢捆的端面的目标二维图像；将目标二维图像输入复检模型，得到复检结果；若复检结果为没有标牌，则执行获取目标钢捆的端面的二维图像和三维点云的步骤。
32.可选的，该钢捆标牌焊接装置还包括第五获取模块，用于通过以下方式获得复检模型：获取样本图像，样本图像包含钢捆端面以及钢捆端面是否焊接有标牌的标注信息，将样本图像按比例分成训练集和验证集；将训练集输入初始复检模型中进行训练，并通过初始复检模型的损失函数得到损失函数值，在损失函数值满足预设评估条件时，停止训练；将验证集输入经训练的初始复检模型中，输出带有标注信息的样本图像，将带有标注信息的样本图像的标注信息与验证集中相应样本图像的标注信息进行比较，在准确率高于阈值时，完成对复检模型的训练。
33.第三方面，本技术提供一种电子设备，包括：处理器，以及与处理器通信连接的存储器；
34.存储器存储计算机执行指令；
35.处理器执行存储器存储的计算机执行指令，以实现如本技术第一方面所述的钢捆标牌焊接方法。
36.第四方面，本技术提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序指令，计算机程序指令被处理器执行时，实现如本技术第一方面所述的钢捆标牌焊接方法。
37.第五方面，本技术提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如本技术第一方面所述的钢捆标牌焊接方法。
38.本技术提供的钢捆标牌焊接方法、装置、设备及存储介质，通过目标钢捆的端面的二维图像，获取目标钢捆包含的单根钢筋的二维掩膜图像，基于二维掩膜图像和目标钢捆的端面的三维点云，获取单根钢筋对应的端面点云，能够准确地获得单根钢筋对应的端面点云；基于目标钢捆的端面的三维点云、单根钢筋对应的端面点云以及待焊接在端面的标牌信息，确定目标焊接点，目标焊接点为焊接位置。由于本技术结合了目标钢捆的端面的三维点云和单根钢筋对应的端面点云来确定目标焊接点，因此，能够更加灵活准确地确定标牌焊接点，从而使得焊接的标牌能够更好地满足焊接要求。
附图说明
39.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
40.图1为本技术一实施例提供的应用场景示意图；
41.图2为本技术一实施例提供的钢捆标牌焊接方法的流程图；
42.图3为本技术一实施例提供的三维点云的示意图；
43.图4为本技术一实施例提供的目标钢捆包含的单根钢筋的二维掩膜图像的示意图；
44.图5为本技术一实施例提供的单根钢筋对应的端面点云的示意图；
45.图6为本技术另一实施例提供的钢捆标牌焊接方法的流程图；
46.图7为本技术一实施例提供的目标钢捆的端面轮廓的中心位姿的示意图；
47.图8为本技术一实施例提供的目标焊接区域的中心位置的示意图；
48.图9为本技术一实施例提供的目标焊接区域的示意图；
49.图10为本技术一实施例提供的单根钢筋的中心位姿的示意图；
50.图11为本技术一实施例提供的目标焊接区域中的目标钢筋的示意图；
51.图12为本技术一实施例提供的目标钢捆焊接了标牌的示意图；
52.图13为本技术一实施例提供的钢捆标牌焊接装置的结构示意图；
53.图14为本技术一实施例提供的电子设备的结构示意图。
具体实施方式
54.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
55.本技术的技术方案中，所涉及的金融数据或用户数据等信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
56.目前，在将标牌焊接到钢捆的端面上时，通常是基于传统计算机视觉如图像分割、轮廓提取化等方式，对待焊接钢捆的端面的二维图像或者深度图像进行处理，确定标牌焊接点，以及获得钢捆包含的钢筋数量。但是，通过上述方式确定的标牌焊接点不够准确，钢筋焊接标牌的位置选取不居中，会出现打标点不在单根钢筋中心，而且选择打标的单根钢筋有可能是内凹钢筋，导致焊接标牌失败。另外，在通过上述方式获得钢捆包含的钢筋数量时，对于钢筋紧密贴合的情况可能出现计数不准，经常出现漏检。
57.基于上述问题，本技术提供一种钢捆标牌焊接方法、装置、设备及存储介质，通过将目标钢捆的端面的二维图像和三维点云结合，二维图像用于获取目标钢捆包含的单根钢筋的二维掩膜图像以及获取目标钢捆包含的钢筋数量；将三维点云按照单根钢筋分开，然后根据目标钢捆端面的整体点云和分开的单根钢筋的点云确定标牌在目标钢捆的焊接位置，能够更加灵活准确地确定标牌焊接点，从而使得焊接的标牌能够更好地满足焊接要求，且能够更加准确地确定目标钢捆包含的钢筋数量。
58.以下，首先对本技术提供的方案的应用场景进行示例说明。
59.图1为本技术一实施例提供的应用场景示意图。如图1所示，本应用场景中，服务器101通过三维(three dimensional，3d)结构光相机102获取目标钢捆的端面的二维图像和三维点云。服务器101基于目标钢捆的端面的二维图像和三维点云，确定标牌在目标钢捆的端面的焊接位置，然后将焊接位置发给机器人103。机器人103将标牌焊接到目标钢捆的焊接位置。
60.需要说明的是，图1仅是本技术实施例提供的一种应用场景的示意图，本技术实施例不对图1中包括的设备进行限定，也不对图1中设备之间的位置关系进行限定。例如，在图1所示的应用场景中，还可以包括数据存储设备，该数据存储设备相对服务器101可以是外部存储器，也可以是集成在服务器101中的内部存储器。
61.接下来，通过具体实施例介绍钢捆标牌焊接方法。
62.图2为本技术一实施例提供的钢捆标牌焊接方法的流程图。本技术实施例的方法可以应用于电子设备中，该电子设备可以是服务器或服务器集群等。如图2所示，本技术实施例的方法包括：
63.s201、获取目标钢捆的端面的二维图像和三维点云。
64.本技术实施例中，示例性地，比如使用3d结构光相机，拍照获取目标钢捆的端面的二维彩色图像和三维点云。图3为本技术一实施例提供的三维点云的示意图，如图3所示，示出了目标钢捆的端面的三维点云。
65.s202、获取目标钢捆包含的单根钢筋的二维掩膜图像。
66.该步骤中，在获得了目标钢捆的端面的二维图像后，可以根据目标钢捆的端面的二维图像，获取目标钢捆包含的单根钢筋的二维掩膜图像。具体地，比如对目标钢捆的端面的二维图像进行目标检测，获取目标钢捆包含的单根钢筋的二维掩膜图像。图4为本技术一实施例提供的目标钢捆包含的单根钢筋的二维掩膜图像的示意图，如图4所示，每根钢筋对应有一个小矩形框401，每个小矩形框401即为每根钢筋的二维掩膜图像。对于具体如何获取目标钢捆包含的单根钢筋的二维掩膜图像，可参考后续实施例，此处不再赘述。
67.s203、基于二维掩膜图像和三维点云，获取单根钢筋对应的端面点云。
68.该步骤中，在获得了目标钢捆包含的单根钢筋的二维掩膜图像后，可以结合单根钢筋的二维掩膜图像与目标钢捆的端面的三维点云，根据单根钢筋的二维掩膜图像，将目标钢捆的端面的三维点云进行分割，来提取得到单根钢筋对应的端面点云。示例性地，图5为本技术一实施例提供的单根钢筋对应的端面点云的示意图，如图5所示，示出了基于图3所示的目标钢捆的端面的三维点云，获得的用不同颜色标注的单根钢筋对应的端面点云。
69.s204、基于三维点云、单根钢筋对应的端面点云以及待焊接在端面的标牌信息，确定目标焊接点，目标焊接点为焊接位置。
70.该步骤中，在获得了单根钢筋对应的端面点云后，可以基于三维点云、单根钢筋对应的端面点云以及待焊接在端面的标牌信息，确定目标焊接点。可以理解，目标焊接点即为将标牌焊接到目标钢捆的端面的焊接位置。对于具体如何基于三维点云、单根钢筋对应的端面点云以及待焊接在端面的标牌信息，确定目标焊接点，可参考后续实施例，此处不再赘述。
71.在确定了目标焊接点后，可以将标牌焊接到目标钢捆的端面的目标焊接点。
72.本技术实施例提供的钢捆标牌焊接方法，通过目标钢捆的端面的二维图像，获取
目标钢捆包含的单根钢筋的二维掩膜图像，基于二维掩膜图像和目标钢捆的端面的三维点云，获取单根钢筋对应的端面点云，能够准确地获得单根钢筋对应的端面点云；基于目标钢捆的端面的三维点云、单根钢筋对应的端面点云以及待焊接在端面的标牌信息，确定目标焊接点，目标焊接点为焊接位置。由于本技术实施例结合了目标钢捆的端面的三维点云和单根钢筋对应的端面点云来确定目标焊接点，因此，能够更加灵活准确地确定标牌焊接点，从而使得焊接的标牌能够更好地满足焊接要求。
73.图6为本技术另一实施例提供的钢捆标牌焊接方法的流程图。在上述实施例的基础上，本技术实施例对钢捆标牌焊接方法进行进一步说明。如图6所示，本技术实施例的方法可以包括：
74.s601、获取目标钢捆的端面的二维图像和三维点云。
75.该步骤的具体描述可以参见图2所示实施例中s201的相关描述，此处不再赘述。
76.本技术实施例中，图2中s202步骤可以进一步包括如下的s602步骤：
77.s602、将二维图像输入目标检测模型进行目标检测，获取目标钢捆包含的单根钢筋的二维掩膜图像。
78.该步骤中，目标检测模型是预先训练好的，用于对目标钢捆的端面的二维图像进行目标检测。将目标钢捆的端面的二维图像输入目标检测模型进行目标检测，可以直接获得目标钢捆包含的单根钢筋的二维掩膜图像。
79.可选的，目标检测模型是通过以下方式获得的：获取样本图像，样本图像包含钢捆端面以及钢捆端面的标注信息，标注信息用于确定钢捆中单根钢筋的掩膜；将样本图像输入初始目标检测模型进行拟合处理，得到损失函数值，拟合处理用于拟合出单根钢筋的掩膜；根据损失函数值，调整初始目标检测模型的参数，迭代训练初始目标检测模型，直至计算得到的损失函数值满足预设评估条件，得到目标检测模型。
80.示例性地，目标检测模型比如是使用神经网络实现的。目标检测模型的输入为样本图像，样本图像包含钢捆端面以及钢捆端面的标注信息，标注信息比如为需要检测的钢捆中单根钢筋对应的小矩形框。在训练阶段，将样本图像输入初始目标检测模型进行拟合处理，拟合出钢捆中单根钢筋的掩膜(比如掩膜的位置、长度和宽度)，得到损失函数值。其中，损失函数用于掩膜的位置、长度和宽度的准确性度量。将损失函数值反向传递回目标检测模型各个层级的卷积核，更新其权重，即根据损失函数值，调整初始目标检测模型的参数，迭代训练初始目标检测模型，直至计算得到的损失函数值满足预设评估条件，得到目标检测模型。与目前的目标检测算法相比较，不需手动设置复杂的规则，泛化性能好，不需要设定锚点(如果锚点设置不好，从原理上会导致漏识别)，去掉了耗时的全连接层等操作，使目标检测模型只需关注局部特征即可。
81.s603、根据目标钢捆包含的单根钢筋的二维掩膜图像，得到目标钢捆包含的钢筋数量。
82.该步骤中，在获得了目标钢捆包含的单根钢筋的二维掩膜图像之后，可以根据目标钢捆包含的单根钢筋的二维掩膜图像，得到目标钢捆包含的钢筋数量。可以理解，目标钢捆包含的单根钢筋对应的掩膜的数量，即为目标钢捆包含的钢筋数量。
83.s604、基于二维掩膜图像和三维点云，获取单根钢筋对应的端面点云。
84.该步骤的具体描述可以参见图2所示实施例中s203的相关描述，此处不再赘述。
85.标牌信息包括标牌大小和标牌的焊接位置相对于标牌的位置信息，本技术实施例中，图2中s204步骤可以进一步包括如下的s605至s607三个步骤：
86.s605、根据三维点云、标牌大小和位置信息，确定目标焊接区域。
87.该步骤中，可以预先确定标牌大小和标牌的焊接位置相对于标牌的位置信息。在获得了目标钢捆的端面的三维点云后，可以根据三维点云、标牌大小和位置信息，确定目标焊接区域。可选的，目标焊接区域为使得标牌焊接在目标钢捆的端面后，不会超出目标钢捆的端面轮廓；或者，基于在目标钢捆的端面焊接标牌的需求，确定目标焊接区域为使得标牌焊接在目标钢捆的端面后，超出目标钢捆的端面轮廓的超出程度处于设定标准内。
88.进一步地，可选的，根据三维点云、标牌大小和位置信息，确定目标焊接区域，可以包括：根据三维点云，获取目标钢捆的端面轮廓；根据标牌大小和目标钢捆的端面轮廓，确定标牌在目标钢捆的端面上的固定区域；根据位置信息和固定区域，确定目标焊接区域。
89.示例性地，参考图3所示的目标钢捆的端面的三维点云，可以获取目标钢捆的端面轮廓。标牌大小是预先确定的，可以根据标牌大小和目标钢捆的端面轮廓，确定标牌在目标钢捆的端面上的固定区域。可以理解，该固定区域可以使得标牌焊接在目标钢捆的端面后，不会超出目标钢捆的端面轮廓。根据该固定区域以及标牌的焊接位置相对于标牌的位置信息，可以确定目标焊接区域。
90.进一步地，考虑到保证打标位置在目标钢捆的端面尽量居中，作为一种可能的实施方式，根据三维点云、标牌大小和位置信息，确定目标焊接区域，可以包括：根据三维点云，获取目标钢捆的端面轮廓的中心位姿；根据中心位姿、标牌大小以及位置信息，确定目标焊接区域的中心位置；根据中心位置和预设焊接范围，确定目标焊接区域。
91.示例性地，图7为本技术一实施例提供的目标钢捆的端面轮廓的中心位姿的示意图，如图7所示，示出了根据目标钢捆的端面的三维点云，获取的目标钢捆的端面轮廓的中心位姿，对应图7中位于三维点云中心位置的灰度圆。图8为本技术一实施例提供的目标焊接区域的中心位置的示意图，如图8所示，示出了根据中心位姿、标牌大小以及位置信息，确定的目标焊接区域的中心位置，对应图8中位于三维点云中心偏上的灰度圆。预设焊接范围比如为以目标焊接区域的中心位置为中心，包含至少两根钢筋的焊接范围。图9为本技术一实施例提供的目标焊接区域的示意图，如图9所示，矩形框内的区域即为根据目标焊接区域的中心位置和预设焊接范围，确定的目标焊接区域，目标焊接区域中包含三根钢筋的位姿(对应矩形框内的三个灰度圆)。
92.s606、根据单根钢筋对应的端面点云，确定目标焊接区域中的目标钢筋。
93.该步骤中，在确定了目标焊接区域后，可以根据单根钢筋对应的端面点云，确定目标焊接区域中的目标钢筋。
94.进一步，可选的，根据单根钢筋对应的端面点云，确定目标焊接区域中的目标钢筋，可以包括：根据单根钢筋对应的端面点云，确定目标焊接区域中的钢筋的端面形态；基于端面形态，将端部相对于相邻钢筋凸出的钢筋确定为目标钢筋。
95.示例性地，图10为本技术一实施例提供的单根钢筋的中心位姿的示意图，如图10所示，根据单根钢筋对应的端面点云，可以计算获得单根钢筋的中心位姿，其中，1001为x轴，1002为y轴，1003为z轴。目标焊接区域包含多根钢筋的中心位姿，可以确定目标焊接区域中的钢筋的端面形态，该端面形态比如为钢筋的端部是否相对于相邻钢筋凸出。基于端
面形态，可以将端部相对于相邻钢筋凸出的钢筋确定为目标钢筋。可以理解，目标钢筋更容易焊接标牌。示例性地，图11为本技术一实施例提供的目标焊接区域中的目标钢筋的示意图，如图11所示，将目标焊接区域中端部相对于相邻钢筋凸出的钢筋作为目标钢筋，对应图11中位于三维点云中心偏上的灰度圆。
96.s607、将目标钢筋的中心点确定为目标焊接点。
97.该步骤中，在确定了目标焊接区域中的目标钢筋后，可以根据目标钢筋的中心位姿，将目标钢筋的中心点确定为目标焊接点。在确定了目标焊接点后，可以将标牌焊接到目标钢捆的端面的目标焊接点。示例性地，图12为本技术一实施例提供的目标钢捆焊接了标牌的示意图，如图12所示，标牌在目标钢捆的焊接位置居中，四角不超过目标钢捆的端面轮廓。
98.s608、获取在目标焊接点焊接了标牌的钢捆的端面的目标二维图像。
99.示例性地，比如使用3d结构光相机，拍照获取在目标焊接点焊接了标牌的钢捆的端面的目标二维图像。
100.s609、将目标二维图像输入复检模型，得到复检结果。
101.该步骤中，复检模型是预先训练好的，用于根据目标二维图像，识别在目标焊接点焊接的标牌是否脱落，如果脱落，则需要重新打标。在获得了目标二维图像后，可以将目标二维图像输入复检模型，直接得到复检结果。
102.可选的，复检模型是通过以下方式获得的：获取样本图像，样本图像包含钢捆端面以及钢捆端面是否焊接有标牌的标注信息，将样本图像按比例分成训练集和验证集；将训练集输入初始复检模型中进行训练，并通过初始复检模型的损失函数得到损失函数值，在损失函数值满足预设评估条件时，停止训练；将验证集输入经训练的初始复检模型中，输出带有标注信息的样本图像，将带有标注信息的样本图像的标注信息与验证集中相应样本图像的标注信息进行比较，在准确率高于阈值时，完成对复检模型的训练。
103.示例性地，复检模型的输入为样本图像，样本图像包含钢捆端面以及钢捆端面是否焊接有标牌的标注信息，样本图像比如为100张图像，本技术对此不进行限定。将样本图像按比例分成训练集和验证集，将训练集输入初始复检模型中进行训练，并通过初始复检模型的损失函数得到损失函数值，在损失函数值趋于0时，停止训练。通过验证集验证经训练的初始复检模型，在准确率高于阈值时，完成对复检模型的训练。
104.s610、确定复检结果是否为没有标牌。
105.该步骤中，假设复检结果为1，表示有标牌，假设复检结果为2，表示没有标牌，则可以根据复检结果，确定复检结果是否为没有标牌。若复检结果为2，表示没有标牌，则执行s601步骤；若复检结果为1，表示有标牌，则结束流程。
106.本技术实施例提供的钢捆标牌焊接方法，通过将二维图像输入目标检测模型进行目标检测，获取目标钢捆包含的单根钢筋的二维掩膜图像；根据目标钢捆包含的单根钢筋的二维掩膜图像，能够更加准确地得到目标钢捆包含的钢筋数量；基于二维掩膜图像和目标钢捆的端面的三维点云，获取单根钢筋对应的端面点云，能够准确地获得单根钢筋对应的端面点云；基于目标钢捆的端面的三维点云、单根钢筋对应的端面点云以及待焊接在端面的标牌信息，确定目标焊接点，目标焊接点为焊接位置。由于本技术实施例结合了目标钢捆的端面的三维点云和单根钢筋对应的端面点云来确定目标焊接点，因此，能够更加灵活
准确地确定标牌焊接点，从而使得焊接的标牌能够更好地满足焊接要求。
107.下述为本技术装置实施例，可以用于执行本技术方法实施例。对于本技术装置实施例中未披露的细节，请参照本技术方法实施例。
108.图13为本技术一实施例提供的钢捆标牌焊接装置的结构示意图，如图13所示，本技术实施例的钢捆标牌焊接装置1300包括：第一获取模块1301、第二获取模块1302、第三获取模块1303和确定模块1304。其中：
109.第一获取模块1301，用于获取目标钢捆的端面的二维图像和三维点云。
110.第二获取模块1302，用于获取目标钢捆包含的单根钢筋的二维掩膜图像。
111.第三获取模块1303，用于基于二维掩膜图像和三维点云，获取单根钢筋对应的端面点云。
112.确定模块1304，用于基于三维点云、单根钢筋对应的端面点云以及待焊接在端面的标牌信息，确定目标焊接点，目标焊接点为焊接位置。
113.可选的，标牌信息包括标牌大小和标牌的焊接位置相对于标牌的位置信息，确定模块1304可以具体用于：根据三维点云、标牌大小和位置信息，确定目标焊接区域；根据单根钢筋对应的端面点云，确定目标焊接区域中的目标钢筋；将目标钢筋的中心点确定为目标焊接点。
114.可选的，确定模块1304在用于根据三维点云、标牌大小和位置信息，确定目标焊接区域时，可以具体用于：根据三维点云，获取目标钢捆的端面轮廓；根据标牌大小和目标钢捆的端面轮廓，确定标牌在目标钢捆的端面上的固定区域；根据位置信息和固定区域，确定目标焊接区域。
115.可选的，确定模块1304在用于根据三维点云、标牌大小和位置信息，确定目标焊接区域时，可以具体用于：根据三维点云，获取目标钢捆的端面轮廓的中心位姿；根据中心位姿、标牌大小以及位置信息，确定目标焊接区域的中心位置；根据中心位置和预设焊接范围，确定目标焊接区域。
116.可选的，确定模块1304在用于根据单根钢筋对应的端面点云，确定目标焊接区域中的目标钢筋时，可以具体用于：根据单根钢筋对应的端面点云，确定目标焊接区域中的钢筋的端面形态；基于端面形态，将端部相对于相邻钢筋凸出的钢筋确定为目标钢筋。
117.可选的，第二获取模块1302可以具体用于：将二维图像输入目标检测模型进行目标检测，获取目标钢捆包含的单根钢筋的二维掩膜图像。
118.可选的，该钢捆标牌焊接装置还包括第四获取模块1305，用于通过以下方式获得目标检测模型：获取样本图像，样本图像包含钢捆端面以及钢捆端面的标注信息，标注信息用于确定钢捆中单根钢筋的掩膜；将样本图像输入初始目标检测模型进行拟合处理，得到损失函数值，拟合处理用于拟合出单根钢筋的掩膜；根据损失函数值，调整初始目标检测模型的参数，迭代训练初始目标检测模型，直至计算得到的损失函数值满足预设评估条件，得到目标检测模型。
119.可选的，第二获取模块1302还可以用于：获取目标钢捆包含的单根钢筋的二维掩膜图像之后，根据目标钢捆包含的单根钢筋的二维掩膜图像，得到目标钢捆包含的钢筋数量。
120.可选的，该钢捆标牌焊接装置1300还包括处理模块1306，用于：获取在目标焊接点
焊接了标牌的钢捆的端面的目标二维图像；将目标二维图像输入复检模型，得到复检结果；若复检结果为没有标牌，则执行获取目标钢捆的端面的二维图像和三维点云的步骤。
121.可选的，该钢捆标牌焊接装置还包括第五获取模块1307，用于通过以下方式获得复检模型：获取样本图像，样本图像包含钢捆端面以及钢捆端面是否焊接有标牌的标注信息，将样本图像按比例分成训练集和验证集；将训练集输入初始复检模型中进行训练，并通过初始复检模型的损失函数得到损失函数值，在损失函数值满足预设评估条件时，停止训练；将验证集输入经训练的初始复检模型中，输出带有标注信息的样本图像，将带有标注信息的样本图像的标注信息与验证集中相应样本图像的标注信息进行比较，在准确率高于阈值时，完成对复检模型的训练。
122.本实施例的装置，可以用于执行上述任一所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
123.图14为本技术一实施例提供的电子设备的结构示意图。示例性地，电子设备可以被提供为一服务器或计算机。参照图14，电子设备1400包括处理组件1401，其进一步包括一个或多个处理器，以及由存储器1402所代表的存储器资源，用于存储可由处理组件1401的执行的指令，例如应用程序。存储器1402中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1401被配置为执行指令，以执行上述任一方法实施例。
124.电子设备1400还可以包括一个电源组件1403被配置为执行电子设备1400的电源管理，一个有线或无线网络接口1404被配置为将电子设备1400连接到网络，和一个输入输出(i/o)接口1405。电子设备1400可以操作基于存储在存储器1402的操作系统，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm或类似。
125.本技术还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上钢捆标牌焊接方法的方案。
126.本技术还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上的钢捆标牌焊接方法的方案。
127.上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
128.一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(application specific integrated circuits，asic)中。当然，处理器和可读存储介质也可以作为分立组件存在于钢捆标牌焊接装置中。
129.本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
130.最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。