基于YOLO目标检测和多目采样的贴标定位方法

基于yolo目标检测和多目采样的贴标定位方法
技术领域
1.本技术涉及贴标定位技术领域，特别是涉及基于yolo目标检测和多目采样的贴标定位方法，以及装置、电子装置及存储介质。


背景技术：

2.金属罐被广泛应用于工业生产，如化工涂料、油漆的灌装，奶粉、茶叶、饼干等食品包装。因此对金属罐的贴标处理成为生产线中不可或缺的基本工艺环节。
3.相关技术中，喷涂机器人已经广泛应用于各个行业，自动化喷涂发展极为迅速，传统的人工喷涂技术被自动化喷涂机械取代，喷涂行业已经朝着智能化、自动化方向全面发展；但喷涂自动化的一大难点，是喷涂位置的标定，将准确的坐标信息告知控制器；同时，对于油漆桶而言，在生产过程中喷涂上标签是重要一环，也是实现油漆桶完全自动化生产的重要一步；由于油漆桶是由一圈白铁皮卷折并点焊，最后加上底盖而成，桶身本身仅为一个信息量较少的圆柱体，可识别信息是点焊后产生的焊缝，而油漆桶焊缝识别的效果将直接影响标签贴和的精准度；相关技术中，焊缝识别技术是基于光电开关扫描识别焊缝，存在识别的精准度和灵敏度较低、识别耗时长和抗干扰能力弱的不足；同时，基于光电开关扫描的焊缝识别在强光环境下存在检测效果较差、焊缝识别效率低、识别的标签位置误差大的问题。
4.针对相关技术中基于光电开关扫描的焊缝识别在强光环境下存在检测效果较差、焊缝识别效率低、识别的标签位置误差大的问题，尚未提出有效的解决方案。


技术实现要素：

5.本技术实施例提供了一种基于yolo目标检测和多目采样的贴标定位方法、装置、电子装置及存储介质，以至少解决相关技术中基于光电开关扫描的焊缝识别在强光环境下存在检测效果较差、焊缝识别效率低、识别的标签位置误差大的问题。
6.第一方面，本技术实施例提供了一种基于yolo目标检测和多目采样的贴标定位方法，应用于金属桶标签贴标生产线，包括：获取待贴标定位的目标图像，其中，所述目标图像是基于多目摄像装置进行多目采样采集的，并用于表征所述金属桶的桶身图像；利于yolo目标检测模型对所述目标图像进行处理，得到以预设形式标记的目标区域，其中，所述yolo目标检测模型是根据样本图像和与所述样本图像对应的实测焊缝区域信息训练得到的神经网络模型，所述目标区域用于表征所述目标图像中出现焊缝的区域；在所述目标区域内，进行霍夫垂直直线检测，得到所述焊缝对应的坐标数据，其中，所述坐标数据用于表征所述焊缝在对应图像中的像素点坐标；根据所述焊缝对应的坐标数据和预设基准数据，确定贴标位置。
7.第二方面，本技术实施例提供了一种基于yolo目标检测和多目采样的贴标定位装置，应用于金属罐标签贴标生成线，包括：获取模块，用于获取待贴标定位的目标图像，其中，所述目标图像是基于多目摄像
装置进行多目采样采集的，并用于表征所述金属桶的桶身图像；识别模块，用于利于yolo目标检测模型对所述目标图像进行处理，得到以预设形式标记的目标区域，其中，所述yolo目标检测模型是根据样本图像和与所述样本图像对应的实测焊缝区域信息训练得到的神经网络模型，所述目标区域用于表征所述目标图像中出现焊缝的区域；定位模块，用于在所述目标区域内，进行霍夫垂直直线检测，得到所述焊缝对应的坐标数据，其中，所述坐标数据用于表征所述焊缝在对应图像中的像素点坐标；处理模块，用于根据所述焊缝对应的坐标数据和预设基准数据，确定贴标位置。
8.第三方面，本技术实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于yolo目标检测和多目采样的贴标定位方法。
9.第四方面，本技术实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的基于yolo目标检测和多目采样的贴标定位方法。
10.相比于相关技术，本技术实施例提供的基于yolo目标检测和多目采样的贴标定位方法、装置、电子装置和存储介质，通过获取待贴标定位的目标图像，其中，所述目标图像是基于多目摄像装置进行多目采样采集的，并用于表征所述金属桶的桶身图像；利于yolo目标检测模型对所述目标图像进行处理，得到以预设形式标记的目标区域，其中，所述yolo目标检测模型是根据样本图像和与所述样本图像对应的实测焊缝区域信息训练得到的神经网络模型，所述目标区域用于表征所述目标图像中出现焊缝的区域；在所述目标区域内，进行霍夫垂直直线检测，得到所述焊缝对应的坐标数据，其中，所述坐标数据用于表征所述焊缝在对应图像中的像素点坐标；根据所述焊缝对应的坐标数据和预设基准数据，确定贴标位置；解决了相关技术中基于光电开关扫描的焊缝识别在强光环境下存在检测效果较差、焊缝识别效率低、识别的标签位置误差大的问题，实现了减小标签位置误差，加快生产油漆铁桶的速度及提高油漆桶加工的效率的有益效果。
11.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
12.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：图1是根据本技术实施例的基于yolo目标检测和多目采样的贴标定位方法的终端的硬件结构框图；图2是根据本技术实施例的基于yolo目标检测和多目采样的贴标定位方法的流程图；图3是根据本技术实施例的多模板匹配定位模型的构建流程图；图4是根据本技术优选实施例的基于yolo目标检测和多目采样的贴标定位方法的流程图；图5是根据本技术实施例的基于yolo目标检测和多目采样的贴标定位装置的结构框图。
具体实施方式
13.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。基于本技术提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本技术公开的内容相关的本领域的普通技术人员而言，在本技术揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本技术公开的内容不充分。
14.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本技术所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
15.除非另作定义，本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本技术所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
16.本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例，图1是本技术实施例的基于yolo目标检测和多目采样的贴标定位方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置）和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
17.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的基于yolo目标检测和多目采样的贴标定位方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
18.传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端10的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（network interface controller，简称为nic），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（radio frequency，简称为rf）模块，其用于通过无线方式与互联网进行通讯。
19.本实施例提供了一种运行于上述终端的基于yolo目标检测和多目采样的贴标定位方法，图2是根据本技术实施例的基于yolo目标检测和多目采样的贴标定位方法的流程图，如图2所示，该流程包括如下步骤：步骤s201，获取待贴标定位的目标图像，其中，目标图像是基于多目摄像装置进行多目采样采集的，并用于表征金属桶的桶身图像。
20.在本实施例中，执行本技术实施例的贴标定位方法的执行主体为对金属桶贴标定位进行控制的终端、服务器；在本实施例中，通过获取待贴标定位的目标图像，将待贴标的金属桶对应的外观形状转换成计算机可识别处理的图像数据，进而能够进一步利用yolo目标检测模型对图像数据进行处理计算，是实现自动贴标定位的基础，并最终提高贴标定位的效率与精准度；在本实施例中，桶身图像指的是金属罐侧面的图像，即金属罐水平放置时，多目摄像装置保持与水平面平行；因为生产中贴标位置一般在金属罐的侧面（即罐身），拍摄的目标图像直接采集桶身图像，不仅能排除干扰，提高定位的准确率，而且操作方便，减少计算量，提高定位的效率；考虑到实际生产条件下，待贴标定位的金属罐多处于流水线移动状态，当焊缝处于镜头视场外（或焊缝处于镜头视场内但角度相对镜头较大）时，需要旋转金属罐进行识别以提高识别准确度，会影响生产效率；因此，在本实施例中，采用多角度设置的多个摄像装置（摄像头），进行多角度（尽量覆盖侧周360
°
）获取多张目标图像，不仅解决了对大质量的金属罐难以光电开关扫描实现标签定位的问题，且拍摄图像时可以不停留，提高了生产效率，也能提高识别的精准度；在本实施例中，多目摄像装置为四个等角度分布设置的摄像头，执行主体通过获取四个摄像头的实时视频数据；通过多个摄像头的轮转调度，可以获取到油漆桶完整的侧面图像信息；为了配合后续的贴标定位处理的流程，本技术实施例通过控制金属桶与摄像头之间的距离，使得每个摄像头只能够拍摄到金属桶的桶身的四分之一。
21.步骤s202，利于yolo目标检测模型对目标图像进行处理，得到以预设形式标记的目标区域，其中，yolo目标检测模型是根据样本图像和与样本图像对应的实测焊缝区域信息训练得到的神经网络模型，目标区域用于表征目标图像中出现焊缝的区域。
22.在本实施例中，yolo目标检测模型是训练完备的yolov5s模型，在本实施例中，利用训备完的yolov5s模型轮流对获取到的目标图像进行推理检测，若当前画面中存在焊缝，模型会以矩形框的形式标出焊缝的大概位置，也就是得到目标区域。
23.在本实施例中，通过利用yolo目标检测模型处理目标图像，得到目标图像中出现焊缝的焊缝目标区域，降低了计算量，实现高效精准的焊缝区域识别。
24.步骤s203，在目标区域内，进行霍夫垂直直线检测，得到焊缝对应的坐标数据，其中，坐标数据用于表征焊缝在对应图像中的像素点坐标。
25.在本实施例中，通过在具有焊缝的目标区域内，进行垂直直线检测，得到在本实施例中，运用垂直直线检测能够高效的识别出焊缝的直线特征，减少了计算量，提升了贴标定
位的效率。
26.在本实施例中，在目标区域的区域内，进行霍夫垂直直线检测，得到目标图像对应的焊缝坐标信息，并根据焊缝坐标信息确定贴标位置，能够使得贴标定位的效率更高；由于金属桶自身结构，基本的直线特征较少，运用霍夫垂直直线检测能够高效的识别出焊缝的直线特征，减少了计算量，提升了贴标定位的效率步骤s204，根据焊缝对应的坐标数据和预设基准数据，确定贴标位置。
27.在本实施例中，预设基准数据包括焊缝对应的坐标数据相对预设的参照点（原始点）的焊缝偏转角度、摄像头自带的角度、用户设定的标签与焊缝间的角度；在本实施例中，会先通过采用多项式回归算法拟合出焊缝偏转角度与图像坐标点之间的映射关系，然后，基于焊缝所对应的坐标数据，在拟合出的表征焊缝偏转角度与图像坐标点之间的映射关系的回归曲线上找到与焊缝对应的坐标数据所对应的偏转角度，以获得焊缝相对于参考点原始点的偏转角度，再加上摄像头的自带的角度及用户设定的标签与焊缝间的角度，则得到标签位置。
28.在本实施例中，通过对焊缝对应的坐标数据进行多项式回归计算，得到焊缝相对于参照点的偏转角度，进而确定贴标位置，能够使得贴标定位的方法更加可靠，提高了贴标定位的准确率。
29.通过上述步骤s201至步骤s204，采用获取待贴标定位的目标图像，其中，目标图像是基于多目摄像装置进行多目采样采集的，并用于表征金属桶的桶身图像；利于yolo目标检测模型对目标图像进行处理，得到以预设形式标记的目标区域，其中，yolo目标检测模型是根据样本图像和与样本图像对应的实测焊缝区域信息训练得到的神经网络模型，目标区域用于表征目标图像中出现焊缝的区域；在目标区域内，进行霍夫垂直直线检测，得到焊缝对应的坐标数据，其中，坐标数据用于表征焊缝在对应图像中的像素点坐标；根据焊缝对应的坐标数据和预设基准数据，确定贴标位置；解决了相关技术中基于光电开关扫描的焊缝识别在强光环境下存在检测效果较差、焊缝识别效率低、识别的标签位置误差大的问题，实现了减小标签位置误差，加快生产油漆铁桶的速度及提高油漆桶加工的效率的有益效果。
30.需要说明的是，在本实施例中，基于多目摄像装置拍摄的方式，筛选合适方位的目标图片，并使用深度学习的yolo目标识别算法，能够较为精确地完成不同环境下的油漆桶焊缝的实时检测与定位，以确定的矩形框为掩膜，结合霍夫变换，以多项式回归计算金属桶贴标所需要的旋转角度；同时，本技术实施例的贴标定位方法还具有以下有益效果：本技术实施例采用了深度学习算法替代传统图像处理算法，提高检测效果，具有更强的鲁棒性，并且，深度学习算法为端到端的网络，减轻了算法设计和训练的难度，在应用上具有较高的灵活性；本技术实施例采用多项式回归来拟合图像坐标与实际空间中角度之间映射的方法，在化简角度计算的同时也保证了较高的精度；本技术实施例使用yolo检测模型进行优化部署，提高贴标定位的计算效率。
31.在其中一些实施例中，利于yolo目标检测模型对目标图像进行处理，得到以预设形式标记的目标区域，包括如下步骤：步骤21、对目标图像进行预处理，得到预处理后的目标图像，其中，预处理包括归一化处理、图像插值处理。
32.在本实施例中，在获取到目标图像后，对目标图像进行数据增强处理，也就是对目
标图像进行数据预处理，并且在对图像进行预处理之前，还将目标图像转换为矩阵数据，然后进行归一化处理、图像插值处理，进而提高图像识别的准确率。
33.步骤22、利用yolo目标检测模型对预处理后的目标图像进行处理，得到目标图像中出现焊缝的备选区域及每个备选区域对应的置信度。
34.在本实施例中，目标图像以预设的分辨率输入到yolo目标检测模型中后，yolo目标检测模型的主干网络对目标图像不断进行下采样得到目标图像对应的不同尺度的特征图，然后，将最终的特征图输入到yolo目标检测模型尾部的检测头中，对于不同尺度的特征图采用不同的检测头进行结果的输出，每个检测头进行不同程度下采样来得到新的特征图并基于该特征图对目标和位置进行预测，得到包括焊缝的目标区域的位置（一个位置对应一个备选区域）和置信度。
35.步骤23、选取置信度大于预设置信度阈值的备选区域作为目标区域。
36.通过上述步骤中的对目标图像进行预处理，得到预处理后的目标图像，其中，预处理包括归一化处理、图像插值处理；利用yolo目标检测模型对预处理后的目标图像进行处理，得到目标图像中出现焊缝的备选区域及每个备选区域对应的置信度；选取置信度大于预设置信度阈值的备选区域作为目标区域，采用基于深度学习算法的yolo模型进行图像识别，确定目标区域，实现了焊缝目标区域的快速识别，识别准确率高，进而提升了贴标定位的效率。
37.需要理解的是，本技术实施例所采用的yolo目标检测模型包括现有技术中所采用的目标识别模型，且基于本技术实施例的yolo目标检测模型是可以完成目标区域的快速识别的。
38.在其中一些实施例中，在目标区域内，进行霍夫垂直直线检测，得到焊缝对应的坐标数据，通过如下步骤实现：步骤31、通过边缘检测算子对目标区域进行边缘提取，得到边缘图像，其中，边缘检测算子包括canny算子。
39.在本实施例中，通过对目标区域进行边缘检测，籍以拟合焊缝的边界信息，从而为通过霍夫垂直直线检测提供准确的图像区域数据。
40.步骤32、对边缘图像进行霍夫直线检测，得到与焊缝对应的目标直线，其中，目标直线用于表征焊缝在目标区域中的位置。
41.在本实施例中，通过输入提取过边缘的边缘图像，则可获得目标区域中出现直线的具体位置，也就是焊缝对应的直线所对应的位置。
42.步骤33、确定目标直线对应的像素点，并根据像素点在目标区域中的像素点坐标，得到焊缝对应的坐标数据。
43.在本实施例中，将霍夫直线检测得到的目标直线上的点转换为目标图像中的像素点坐标，则可以对应确定焊缝所对应的坐标数据；在本实施例中，焊缝所对应的目标区域大体为矩形区域，因此，通过获取相邻两条的目标直线的交点在目标图像中的像素点坐标，通过至少四个交点所对应的像素点坐标，则可以确定焊缝对应的区域的坐标数据。
44.通过上述步骤中的通过边缘检测算子对目标区域进行边缘提取，得到边缘图像，其中，边缘检测算子包括canny算子；对边缘图像进行霍夫直线检测，得到与焊缝对应的目标直线，其中，目标直线用于表征焊缝在目标区域中的位置；确定目标直线对应的像素点，
并根据像素点在目标区域中的像素点坐标，得到焊缝对应的坐标数据，实现基于提取过边缘的边缘图像，进行霍夫直线检测确定焊缝所对应的坐标数据，并通过快速确定焊缝对应的坐标数据，提高贴标定位的效率。
45.在其中一些实施例中，根据所述焊缝对应的坐标数据和预设基准数据，确定贴标位置，通过如下步骤实现：步骤41、将焊缝对应的坐标数据输入预设的回归模型，得到对应的第一偏转角，其中，第一偏转角用于表征焊缝在对应的摄像装置所对应的摄像区域内的偏转角度，回归模型被拟合为用于根据输入的样本坐标数据，输出该样本坐标数据相对设定的参照点的偏转角。
46.在本实施例中，回归模型包括但不限于基于多项式回归算法的回归模型，且将焊缝对应的坐标数据输入回归模型，可以得到焊缝相对预设的参考点的偏转角。
47.步骤42、在预设基准数据中获取第二偏移角度，并至少基于第一偏转角和第二偏移角度，确定待贴标签所对应的贴标位置，其中，第二偏移角度为待贴标签与对应的焊缝间预设的角度偏差。
48.在本实施例中，第二偏移角度还包括提供目标图像的摄像装置自身的偏转角度，也就是对应的摄像装置置于何角度得到该目标图像，通过将为待贴标签与对应的焊缝间预设的角度偏差、摄像装置自身的偏转角度及第一偏转角，则可确定焊缝相对贴标机的精准的偏转角度；之后，执行主体对应控制贴标机旋转对应角度或让金属桶旋转对应物理角度，找准贴标区的水平位置，随后根据标签距桶底的高度调节贴标机的高度，即可找准贴标区的垂直距离，从而使贴标机与贴标区域完全对准完成贴标任务。
49.通过上述步骤中的将焊缝对应的坐标数据输入预设的回归模型，得到对应的第一偏转角，其中，第一偏转角用于表征焊缝在对应的摄像装置所对应的摄像区域内的偏转角度，回归模型被拟合为用于根据输入的样本坐标数据，输出该样本坐标数据相对设定的参照点的偏转角；在预设基准数据中获取第二偏移角度，并至少基于第一偏转角和第二偏移角度，确定待贴标签所对应的贴标位置，其中，第二偏移角度为待贴标签与对应的焊缝间预设的角度偏差，实现了贴标位置的确定。
50.需要说明的是，在本实施例中，由于目标图像在拍摄时，镜头焦距是确定的，拍摄时距离金属桶的距离，以及镜头与金属桶前进方向的角度都是预设好的，结合位置信息，计算得到相关的偏转角度信息；通过回归算法得到的物理角度，虽然不可避免地存在一定的误差，但这是在这在预期范围内的，而这样处理减少的计算量能够提升计算的速度，从而提升贴标定位的效率。
51.在其中一些实施例中，至少基于第一偏转角和第二偏移角度，确定待贴标签所对应的贴标位置，通过如下步骤实现：计算第一偏转角和第二偏移角度的角度之和，并将得到的总偏移角作为待贴标签对应的贴标位置。
52.在其中一些实施例中，回归模型包括基于多项式回归算法拟合的多项式回归模型，回归模型的拟合过程包括如下步骤：步骤51、获取角度模板样本，其中，角度模板样本是从进行角度均分处理后的预设图像样本中，获取的像素点坐标与对应的角度数据的映射样本。
53.在本实施例中，在进行多项式回归拟合之前，制作角度模板，角度模板的长度和摄
像装置涉及的画面范围均为桶周长的1/4，将角度模板进行角度的细化均分，并通过采样的方式获得像素点坐标与模板角度映射样本。
54.步骤52、将角度模板样本按预设的多项式进行拟合，并采用梯度下降算法更新多项式对应的权重及偏置，直至拟合误差收敛至预设误差范围，得到多项式回归模型。
55.在其中一些实施例中，在获取待贴标定位的目标图像之前，还实施如下步骤：步骤61、获取按预设角度间隔设置的多目摄像装置所采集的待检视频画面。
56.步骤62、在待检视频画面的视频帧中进行焊缝检测，并对检测到焊缝的视频帧进行画面采集，得到目标图像。
57.以下将介绍yolo目标检测模型的构建与训练方法，图3是根据本技术实施例的yolo目标检测模型的构建流程图，如图3所示，包括以下步骤：步骤s301，采集图像数据，并进行图像数据的标注作为数据集。
58.在本实施例中，通过寻找适宜的金属桶样本，并对其焊缝在不同角度进行拍摄，经筛选后得到2900张含有焊缝的图片；之后，人工对收集到的图片进行标注，即将图片中含有焊缝的大概区域用矩形框标注出来，得到了含有标签的数据集；在训练之前对数据集进行了划分，选取其中2000张作为训练集，300张作为验证集，600张作为测试集。
59.步骤s302，使用深度学习方法对yolo目标检测模型进行训练。
60.在本实施例中，使用数据集对yolo目标检测模型进行初步的训练，并对其在测试集上进行测试，对测试结果中发现的缺点进行训练策略的针对性调整，在多次调整后在模型训练时加入透明度变换，图像裁切与重组、随机对比度调整等数据增强操作，并调试学习率、训练轮次以及batchsize等关键超参，最终得到在测试集上识别率达到97%的目标检测模型。
61.步骤s303，使用tensorrt技术对模型进行优化。
62.在本实施例中，根据tensorrt的技术流程，使用cuda编程重构yolo模型结构，并部署到开发板上进行边端推理，将检测推理的速度提高了66%。
63.通过上述步骤得到满足要求的目标检测模型，利用该模型对采集到的二维图像进行一系列的下采样操作，得到图像的特征图，再经过模型尾部的检测头输出目标对象，实现对焊缝的初始定位；该方法只需要输入图像，输出即为算法流程所要求的形式，属于端到端的算法模型，简化了开发难度；同时结合了tensorrt技术，在保证精度的同时也提高了速度。
64.下面通过优选实施例对本技术实施例进行描述和说明。
65.图4是根据本技术实施例的基于yolo目标检测与多目采样的金属桶标签贴合方法的流程图。如图4所示，该贴标定位方法包括如下步骤：步骤s401，获取金属桶焊缝数据并构建为数据集。
66.在本实施例中，采集金属桶焊缝图片，且保证焊缝图片中包含金属桶焊缝的不同角度，经筛选后得到2900张图片，并分出2000张作为训练集、300张作为验证集、600张作为测试集，并分别为其标上标签。
67.步骤s402，构建yolo目标检测模型，并使用深度学习方法进行模型训练。
68.在本实施例中，使用数据集对模型进行初步的训练，并对其在测试集上进行测试，对测试结果中发现的缺点进行训练策略的针对性调整，在多次调整后在模型训练时加入透
明度变换，图像裁切与重组、随机对比度调整等数据增强操作，并调试学习率、训练轮次以及batchsize等关键超参，最终得到在测试集上识别率达到97%的目标检测模型；对yolo目标检测模型进行模型评估，得到识别效果最优的yolo目标检测模型。使用验证集对目标检测模型进行模型的评估，得到模型的评分，根据模型评分来确定识别效果最好的模型并保存。
69.步骤s403，获取待贴标定位的目标图像。
70.在本实施例中，在权衡角度换算难度和不影响传送带正常运作的前提下，采用四个摄像头同时进行待贴标定位的目标图像的摄取，让四个摄像头相邻相垂直，各自与传送带呈45
°
角摆放，且需要和金属桶水平摆放；为了获取焊缝区域的更多特征，并减小因相机镜头畸变引起的误差，故选择尽量让金属桶处于画面中央且获取最大的图像占比。
71.步骤s404，通过yolo目标检测模型处理目标图像，得到包含焊缝的目标区域。
72.在本实施例中，yolo目标检测模型对焊缝的目标区域的计算采用如下公式进行计算：式中: φ(x)代表目标检测模型；r代表模型输出；x代表目标区域的左上角点的横坐标；y代表目标区域的左上角点的纵坐标；w代表目标区域的宽；h代表目标区域的高。
73.步骤s405，对包含焊缝的目标区域通过canny算子处理，并进行霍夫垂直直线检测，得到目标图像对应的焊缝的具体坐标信息。
74.在本实施例中，对目标区域进行canny边缘检测得到边缘图像，将该边缘图像中的坐标空间（x-y空间）与参数空间（k-d空间中）进行映射，在k-d参数空间中寻找到符合要求的一个点作为备选解，最后根据一定的阈值在备选解中寻找到最优解作为焊缝的具体坐标位置。
75.步骤s406，根据焊缝的具体坐标信息代入多项式回归模型得到其相对参照点的偏转角度，在此基础上加入焊缝与标签间的相对角度偏移确定贴标位置。
76.在本实施例中，多项式回归模型对应的公式如下所示：在本实施例中，多项式回归模型对应的公式如下所示：在本实施例中，多项式回归模型对应的公式如下所示：σ(x)代表多项式回归模型；x代表输入的焊缝具体坐标信息；w1、w2为模型权重；b代表模型偏置；l代表多项式回归模型的代价函数（均方误差）；yi代表样本的正确输出，σ(xi)代表多项式回归模型对样本给出的预测值；
▽
j代表进行当前代价函数的梯度，在本实施例中，yolo目标检测模型基于此梯度的方向进行梯度更新以达到代价函数的最小化，获得最优的多项式回归模型。
77.本实施例还提供了基于yolo目标检测和多目采样的贴标定位装置，该装置用于实
现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
78.图5是根据本技术实施例的基于yolo目标检测和多目采样的贴标定位装置的结构框图，如图5所示，该装置包括：获取模块51、识别模块52、定位模块53和处理模块54，其中，获取模块51，用于获取待贴标定位的目标图像，其中，目标图像是基于多目摄像装置进行多目采样采集的，并用于表征金属桶的桶身图像。
79.识别模块52，与获取模块51耦合连接，用于利于yolo目标检测模型对目标图像进行处理，得到以预设形式标记的目标区域，其中，yolo目标检测模型是根据样本图像和与样本图像对应的实测焊缝区域信息训练得到的神经网络模型，目标区域用于表征目标图像中出现焊缝的区域。
80.定位模块53，与识别模块52耦合连接，用于在目标区域内，进行霍夫垂直直线检测，得到焊缝对应的坐标数据，其中，坐标数据用于表征焊缝在对应图像中的像素点坐标。
81.处理模块54，与定位模块53耦合连接，用于根据焊缝对应的坐标数据和预设基准数据，确定贴标位置。
82.通过本技术实施例提供的基于yolo目标检测和多目采样的贴标定位装置，采用获取待贴标定位的目标图像，其中，目标图像是基于多目摄像装置进行多目采样采集的，并用于表征金属桶的桶身图像；利于yolo目标检测模型对目标图像进行处理，得到以预设形式标记的目标区域，其中，yolo目标检测模型是根据样本图像和与样本图像对应的实测焊缝区域信息训练得到的神经网络模型，目标区域用于表征目标图像中出现焊缝的区域；在目标区域内，进行霍夫垂直直线检测，得到焊缝对应的坐标数据，其中，坐标数据用于表征焊缝在对应图像中的像素点坐标；根据焊缝对应的坐标数据和预设基准数据，确定贴标位置；解决了相关技术中基于光电开关扫描的焊缝识别在强光环境下存在检测效果较差、焊缝识别效率低、识别的标签位置误差大的问题，实现了减小标签位置误差，加快生产油漆铁桶的速度及提高油漆桶加工的效率的有益效果。
83.在其中一些实施例中，该识别模块52进一步包括：第一预处理单元，用于对目标图像进行预处理，得到预处理后的目标图像，其中，预处理包括归一化处理、图像插值处理；第一识别单元，与第一预处理单元耦合连接，用于利用yolo目标检测模型对预处理后的目标图像进行处理，得到目标图像中出现焊缝的备选区域及每个备选区域对应的置信度；第一选取单元，与第一识别单元耦合连接，用于选取置信度大于预设置信度阈值的备选区域作为目标区域。
84.在其中一些实施例中，该定位模块53进一步包括：第一提取单元，用于通过边缘检测算子对目标区域进行边缘提取，得到边缘图像，其中，边缘检测算子包括canny算子；第一检测单元，与第一提取单元耦合连接，用于对边缘图像进行霍夫直线检测，得到与焊缝对应的目标直线，其中，目标直线用于表征焊缝在目标区域中的位置；
第一处理单元，与第一检测单元耦合连接，用于确定目标直线对应的像素点，并根据像素点在目标区域中的像素点坐标，得到焊缝对应的坐标数据。
85.在其中一些实施例中，该处理模块54进一步包括：第一转换单元，用于将焊缝对应的坐标数据输入预设的回归模型，得到对应的第一偏转角，其中，第一偏转角用于表征焊缝在对应的摄像装置所对应的摄像区域内的偏转角度，回归模型被拟合为用于根据输入的样本坐标数据，输出该样本坐标数据相对设定的参照点的偏转角；第一定位单元，与第一转换单元耦合连接，用于在预设基准数据中获取第二偏移角度，并至少基于第一偏转角和第二偏移角度，确定待贴标签所对应的贴标位置，其中，第二偏移角度为待贴标签与对应的焊缝间预设的角度偏差。
86.在其中一些实施例中，该第一定位单元还用于计算第一偏转角和第二偏移角度的角度之和，并将得到的总偏移角作为待贴标签对应的贴标位置。
87.在其中一些实施例中，在获取待贴标定位的目标图像之前，该装置还用于获取按预设角度间隔设置的多目摄像装置所采集的待检视频画面；在待检视频画面的视频帧中进行焊缝检测，并对检测到焊缝的视频帧进行画面采集，得到目标图像。
88.需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
89.本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
90.可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
91.可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：s1，获取待贴标定位的目标图像，其中，目标图像是基于多目摄像装置进行多目采样采集的，并用于表征金属桶的桶身图像。
92.s2，利于yolo目标检测模型对目标图像进行处理，得到以预设形式标记的目标区域，其中，yolo目标检测模型是根据样本图像和与样本图像对应的实测焊缝区域信息训练得到的神经网络模型，目标区域用于表征目标图像中出现焊缝的区域。
93.s3，在目标区域内，进行霍夫垂直直线检测，得到焊缝对应的坐标数据，其中，坐标数据用于表征焊缝在对应图像中的像素点坐标。
94.s4，根据焊缝对应的坐标数据和预设基准数据，确定贴标位置。
95.需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
96.另外，结合上述实施例中的基于yolo目标检测和多目采样的贴标定位方法，本技术实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种基于yolo目标检测和多目采样的贴标定位方法。
97.本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组
合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
98.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。