一种产品配件识别和重量评估方法、装置及相关设备与流程

1.本发明涉及机器视觉技术领域，尤其涉及一种产品配件识别和重量评估方法、装置及相关设备。


背景技术：

2.在海量的中小制造企业中，由于产品多样化和复杂性，目前仍然有大量的流水线依赖人工进行产品的配件安装，这导致在生产过程中会出现错、漏配件的情况发生。
3.现有大多数企业采取的抽检的方法，需要对不同的产品线配置大量品控人员，但随着对产品的出品质量要求越来越高，抽检的形式已经无法满足很多生产厂家的出厂要求，而且大量的品控人员也存在效率低下、人力浪费等弊端，大大影响了制造企业的生产效益。


技术实现要素：

4.针对以上相关技术的不足，本发明提出一种成本低、检测效果好及生产效率高的产品配件识别和重量评估方法、装置及相关设备。
5.为了解决上述技术问题，第一方面，本发明实施例提供了一种产品配件识别和重量评估方法，包括以下步骤：
6.s1、采集流水线上的产品装配件的图像数据，并通过通讯传输将所述图像数据上传至ai云平台；
7.s2、通过所述ai云平台对所述图像数据进行标记，并标记每个所述装配件的标签，在所述ai云平台上调用深度学习网络模型对所述图像数据进行训练；
8.s3、通过所述通讯传输将训练后获得的ai模型发送到所述流水线的检测终端，所述检测终端加载所述ai模型后，对后续采集的图像进行预测；
9.s4、采集新的图像，通过扫码枪获取产品上条形码信息，通过调用所述ai模型对所述新的图像进行预测，并将识别配件框选在所述新的图像上；
10.s5、通过将所述新的图像与标准装配件的图像进行对比，并对所述s4中识别的图像装配件进行判定，判断是否为错配或漏配，若是，则显示结果为不合格，并执行s7；若否，则显示检测结果为合格，并执行s6；
11.s6、对产品进行称重，通过串口获得台秤发出的产品的重量，并将该产品的所述条形码信息、ai识别结果和重量发送到生产mes系统；
12.s7、将所述s5中产品装配件的ai识别结果发送给所述流水线的执行分拣机构，对识别的不良品进行分拣操作。
13.优选的，所述s1具体包括以下子步骤：
14.s11、通过在产品流水线的正上方安装工业相机对流水线上的产品进行拍照；
15.s12、使用飞拍模式在流水线上产品触发工业相机下方指定位置的传感器后，相机采集一帧图像，并将所述图像通过通讯传输传送给计算机。
16.优选的，所述s2具体包括以下子步骤：
17.s21、对所述图像数据进行整理和标注；其中，所述整理具体为剔除产品超出图像边界的图像；所述标注具体为根据检测要求定义检测配件的标签，并使用标注工具对图像中装配件标注上与之对应的标签名称，并生成标注文件。
18.优选的，所述s2还包括以下子步骤：
19.s22、循环采集1000n张图像，执行所述s21操作，选取900n张作为训练数据集，100n张作为测试数据集，按照训练数据集、标签、测试数据集进行处理获得数据集，其中，n为正整数；
20.s23、将所述数据集通过所述通讯传输上述到所述ai云平台上，通过在所述ai云平台中调用的所述深度学习的网络框架，并设置模型中初始化参数、损失函数以及优化器；
21.s24、通过所述深度学习的网络框架对所述训练数据集进行迭代处理后获得收敛的识别模型。
22.优选的，所述s2还包括以下子步骤：
23.s25、调取所述训练数据集中一张图像，通过所述识别模型对所述图像进行预测，将预测的结果与原图标记结果进行对比，判断模型识别的准确度，如果识别精度足够，那么模型训练完成，否则继续迭代或增加训练数据集。
24.优选的，所述s4具体包括以下子步骤：
25.将产品到达工业相机下方，传感器触发采集新的图像，此时触发扫码枪获取产品上新的条形码信息，将所述新的图像和新的条形码发给所述检测终端，通过所述识别模型对所述新的图像进行预测，并将识别配件框选在所述新的图像上。
26.优选的，所述s6具体包括以下子步骤：
27.获取产品的条形码信息、ai识别结果和产品重量信息；
28.通过获取所述检测终端上传的信息保持至所述mes数据库；
29.统计产品不良品种类、良品率及优化生产效率。
30.第二方面，本发明实施例还提供一种产品配件识别和重量评估装置，包括：
31.第一图像采集模块，用于采集流水线上的产品装配件的图像数据，并通过通讯传输将所述图像数据上传至ai云平台；
32.训练模块，用于通过所述ai云平台对所述图像数据进行标记，并标记每个所述装配件的标签，在所述ai云平台上调用深度学习网络模型对所述图像数据进行训练；
33.预测模块，用于通过所述通讯传输将训练后获得的ai模型发送到所述流水线的检测终端，所述检测终端加载所述ai模型后，对后续采集的图像进行预测；
34.第二图像采集模块，用于采集新的图像，通过扫码枪获取产品上条形码信息，通过调用所述ai模型对所述新的图像进行预测，并将识别配件框选在所述新的图像上；
35.对比模块，用于通过将所述新的图像与标准装配件的图像进行对比，并对所述第二图像采集模块中识别的图像装配件进行判定，判断是否为错配或漏配，若是，则显示结果为不合格，并执行分拣模块；若否，则显示检测结果为合格，并执行发送模块；
36.发送模块，用于对产品进行称重，通过串口获得台秤发出的产品的重量，并将该产品的所述条形码信息、ai识别结果和重量发送到生产mes系统；
37.分拣模块，用于将所述对比模块中产品装配件的ai识别结果发送给所述流水线的
执行分拣机构，对识别的不良品进行分拣操作。
38.第三方面，本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例任一项的产品配件识别和重量评估中的步骤。
39.第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例任意一项所述的产品配件识别和重量评估中的步骤。
40.与相关技术相比，本发明通过采集流水线上的产品装配件的图像数据，并通过通讯传输将所述图像数据上传至ai云平台；通过所述ai云平台对所述图像数据进行标记，并标记每个所述装配件的标签，在所述ai云平台上调用深度学习网络模型对所述图像数据进行训练；通过所述通讯传输将训练后获得的ai模型发送到所述流水线的检测终端，所述检测终端加载所述ai模型后，对后续采集的图像进行预测；通过采集新的图像，通过扫码枪获取产品上条形码信息，通过调用所述ai模型对所述新的图像进行预测，并将识别配件框选在所述新的图像上；通过将所述新的图像与标准装配件的图像进行对比，并对上述中识别的图像装配件进行判定，判断是否为错配或漏配，对产品进行称重，通过串口获得台秤发出的产品的重量，并将该产品的所述条形码信息、ai识别结果和重量发送到生产mes系统；将上述中产品装配件的ai识别结果发送给所述流水线的执行分拣机构，对识别的不良品进行分拣操作。通过在图像上对产品的装配件进行分割和识别，通过采集生产线上产品的图像数据，上传到ai云平台进行数据标注和模型的自动化训练，然后对生产线上的产品进行预测，识别产品的配件安装是否准确、是否漏装配件，从而实现对流水线产品的实时检测；通过使用ai视觉检测的基础上增加称重环节，并将ai识别结果和称重结果上传的生产企业的mes系统，最终管控不良产品的动向，实现高效的生成效率和自动生产管控的效果。
附图说明
41.下面结合附图详细说明本发明。通过结合以下附图所作的详细描述，本发明的上述或其他方面的内容将变得更清楚和更容易理解。附图中：
42.图1为本发明产品配件识别和重量评估方法的方法流程图；
43.图2为本发明步骤s1具体的方法流程图；
44.图3为本发明步骤s2具体的方法流程图；
45.图4为本发明产品配件识别和重量评估方法的整体方法流程图；
46.图5为本发明产品配件识别和重量评估装置的模块图；
47.图6为图5的计算机设备的模块图。
具体实施方式
48.下面结合附图详细说明本发明的具体实施方式。
49.在此记载的具体实施方式/实施例为本发明的特定的具体实施方式，用于说明本发明的构思，均是解释性和示例性的，不应解释为对本发明实施方式及本发明范围的限制。除在此记载的实施例外，本领域技术人员还能够基于本技术权利要求书和说明书所公开的内容采用显而易见的其它技术方案，这些技术方案包括采用对在此记载的实施例的做出任
何显而易见的替换和修改的技术方案，都在本发明的保护范围之内。
50.请参考图1-4所示，其中，图1为本发明产品配件识别和重量评估方法的方法流程图；图2为本发明步骤s1具体的方法流程图；图3为本发明步骤s2具体的方法流程图；图4为本发明产品配件识别和重量评估方法的整体方法流程图。
51.实施例一
52.本发明提供一种产品配件识别和重量评估方法，包括以下步骤：
53.s1、采集流水线上的产品装配件的图像数据，并通过通讯传输将所述图像数据上传至ai云平台。通过相机采集流水线上通过的产品装配件，将拍摄的图像形成图像数据，通过tcp通讯网络将图像数据上传至ai云平台上，人工智能ai(artificial intelligence)。
54.s2、通过所述ai云平台对所述图像数据进行标记，并标记每个所述装配件的标签，在所述ai云平台上调用深度学习网络模型对所述图像数据进行训练。
55.其中，深度学习网络模型为yolox网络模型，通过所述ai云平台对所述图像数据进行标记，并标记每个所述装配件的标签，在所述ai云平台上调用yolox网络模型对所述图像数据进行训练，图像标记效果好，模型训练效率高。
56.s3、通过所述通讯传输将训练后获得的ai模型发送到所述流水线的检测终端，所述检测终端加载所述ai模型后，对后续采集的图像进行预测。
57.s4、采集新的图像，通过扫码枪获取产品上条形码信息，通过调用所述ai模型对所述新的图像进行预测，并将识别配件框选在所述新的图像上。
58.其中，条形码信息为sn条码信息。
59.s5、通过将所述新的图像与标准装配件的图像进行对比，并对所述s4中识别的图像装配件进行判定，判断是否为错配或漏配，若是，则显示结果为不合格，并执行s7；若否，则显示检测结果为合格，并执行s6。
60.s6、对产品进行称重，通过串口获得台秤发出的产品的重量，并将该产品的所述条形码信息、ai识别结果和重量发送到生产mes系统。
61.其中，制造执行系统(manufacturing execution system，简称mes)旨在加强mrp计划的执行功能，把mrp计划同车间作业现场控制，通过执行系统联系起来。这里的现场控制包括plc程控器、数据采集器、条型码、各种计量及检测仪器、机械手等。mes系统设置了必要的接口，与提供生产现场控制设施的用户建立合作关系。
62.s7、将所述s5中产品装配件的ai识别结果发送给所述流水线的执行分拣机构，对识别的不良品进行分拣操作。
63.具体的，通过采集流水线上的产品装配件的图像数据，并通过通讯传输将所述图像数据上传至ai云平台；通过所述ai云平台对所述图像数据进行标记，并标记每个所述装配件的标签，在所述ai云平台上调用深度学习网络模型对所述图像数据进行训练；通过所述通讯传输将训练后获得的ai模型发送到所述流水线的检测终端，所述检测终端加载所述ai模型后，对后续采集的图像进行预测；通过采集新的图像，通过扫码枪获取产品上条形码信息，通过调用所述ai模型对所述新的图像进行预测，并将识别配件框选在所述新的图像上；通过将所述新的图像与标准装配件的图像进行对比，并对所述s4中识别的图像装配件进行判定，判断是否为错配或漏配，若是，则显示结果为不合格，并执行s7；若否，则显示检测结果为合格，并执行s6；对产品进行称重，通过串口获得台秤发出的产品的重量，并将该
产品的所述条形码信息、ai识别结果和重量发送到生产mes系统；将上述中产品装配件的ai识别结果发送给所述流水线的执行分拣机构，对识别的不良品进行分拣操作。通过在图像上对产品的装配件进行分割和识别，通过采集生产线上产品的图像数据，上传到ai云平台进行数据标注和模型的自动化训练，然后对生产线上的产品进行预测，识别产品的配件安装是否准确、是否漏装配件，从而实现对流水线产品的实时检测；通过使用ai视觉检测的基础上增加称重环节，并将ai识别结果和称重结果上传的生产企业的mes系统，最终管控不良产品的动向，实现高效的生成效率和自动生产管控的效果。
64.在本实施例中，所述s1具体包括以下子步骤：
65.s11、通过在产品流水线的正上方安装工业相机对流水线上的产品进行拍照。
66.s12、使用飞拍模式在流水线上产品触发工业相机下方指定位置的传感器后，相机采集一帧图像，并将所述图像通过通讯传输传送给计算机。
67.具体的，在产品流水线的正上方安装工业相机对流水线上的产品进行拍照，采集系统使用飞拍模式，流水线上产品触发工业相机下方指定位置的传感器后，相机采集一帧图像，并将图像通过tcp网络传送给pc机(个人计算机)。通过pc机进行处理，使得图像采集效果良好。
68.其中，使用tcp通讯将训练后的ai模型发送到流水线的检测终端pc机，终端检测软件加载识别模型(model)后，对流水线后续采集的图像进行预测。
69.在本实施例中，所述s2具体包括以下子步骤：
70.s21、对所述图像数据进行整理和标注；其中，所述整理具体为剔除产品超出图像边界的图像；所述标注具体为根据检测要求定义检测配件的标签，并使用标注工具对图像中装配件标注上与之对应的标签名称，并生成标注文件。
71.具体的，对步骤s1中采集到的图像进行整理和标注，所述图像整理操作是剔除产品超出图像边界的图像，所述图像标注是根据检测要求定义检测配件的标签，并使用标注工具对图像中装配件标注上与之对应的标签名称，并生成标注文件。使得图像数据的整理和标注方便，精确度高，同时，还便于进行标注文件调用，使用方便。
72.在本实施例中，所述s2还包括以下子步骤：
73.s22、循环采集1000n张图像，执行所述s21操作，选取900n张作为训练数据集，100n张作为测试数据集，按照训练数据集、标签、测试数据集进行处理获得数据集，其中，n为正整数。可选的，n为1、2、3等。
74.s23、将所述数据集通过所述通讯传输上述到所述ai云平台上，通过在所述ai云平台中调用的所述深度学习的网络框架，并设置模型中初始化参数、损失函数以及优化器。
75.s24、通过所述深度学习的网络框架对所述训练数据集进行迭代处理后获得收敛的识别模型。
76.具体的，当n为1时，通过循环采集1000张图像，执行s21操作，最后取900张作为训练数据集，100张作为测试数据集，按照训练数据集、标签、测试数据集组成{trainx、y、testx}数据集的制作。将数据集{trainx、y、testx}通过tcp上传到ai云平台，在ai云平台的web端选择要调用的深度学习的网络框架，这里选择yolox网络框架，通过设置模型中初始化参数，损失函数以及优化器；将训练数据集{trainx、y}输入到yolox网络中，迭代模型参数后得到收敛的识别模型(model)。
77.在本实施例中，所述s2还包括以下子步骤：
78.s25、调取所述训练数据集中一张图像，通过所述识别模型对所述图像进行预测，将预测的结果与原图标记结果进行对比，判断模型识别的准确度，如果识别精度足够，那么模型训练完成，否则继续迭代或增加训练数据集。
79.具体的，对模型进行测试，调取testx数据集中一张图像img_test，利用识别模型(model)对img_test进行预测，将预测的结果与原图标记结果进行对比，判断模型识别的准确度，如果识别精度足够，那么模型训练完成，否则继续迭代或增加训练数据集。
80.在本实施例中，所述s4具体包括以下子步骤：将产品到达工业相机下方，传感器触发采集新的图像，此时触发扫码枪获取产品上新的条形码信息，将所述新的图像和新的条形码发给所述检测终端，通过所述识别模型对所述新的图像进行预测，并将识别配件框选在所述新的图像上。
81.具体的，产品到达工业相机下方，传感器触发采集新的图像img_new，此时触发扫码枪获取产品上sn条码信息sn_new，将新的图像img_new和新的sn条码sn_new发给终端检测软件，软件调用识别模型(model)对图像进行预测，并将识别配件框选在图像上。
82.在本实施例中，所述s6具体包括以下子步骤：获取产品的条形码信息、ai识别结果和产品重量信息；通过获取所述检测终端上传的信息保持至所述mes数据库；统计产品不良品种类、良品率及优化生产效率。
83.具体的，对比标准装配件的图像及配件标签的名称和位置，对s7中识别的图像配件进行判定，判断是否为错配或漏配。如果错配或漏配，在软件上显示检测结果为ng,如果与标准图像一致，则在软件上显示检测结果为ok。
84.对产品进行称重，通过串口获得台秤发出的产品的重量weight_new，判断产品重量是否与标准产品重量一致，在软件界面上显示重量检测结果“合格”/“不合格”，并将该件产品的sn码sn_new，ai识别结果“ok/ng”和重量结果“合格”/“不合格”发送到生产mes系统。
85.在上述中产品装配件的ai识别结果为ng时，触发流水线的执行分拣机构，对识别的不良品进行分拣操作。
86.实施例二
87.请参考图5所示，图5为本发明产品配件识别和重量评估装置的模块图。本发明实施例还提供一种产品配件识别和重量评估装置200，包括：
88.第一图像采集模块201，用于采集流水线上的产品装配件的图像数据，并通过通讯传输将所述图像数据上传至ai云平台；
89.训练模块202，用于通过所述ai云平台对所述图像数据进行标记，并标记每个所述装配件的标签，在所述ai云平台上调用深度学习网络模型对所述图像数据进行训练；
90.预测模块203，用于通过所述通讯传输将训练后获得的ai模型发送到所述流水线的检测终端，所述检测终端加载所述ai模型后，对后续采集的图像进行预测；
91.第二图像采集模块204，用于采集新的图像，通过扫码枪获取产品上条形码信息，通过调用所述ai模型对所述新的图像进行预测，并将识别配件框选在所述新的图像上；
92.对比模块205，用于通过将所述新的图像与标准装配件的图像进行对比，并对所述第二图像采集模块中识别的图像装配件进行判定，判断是否为错配或漏配，若是，则显示结果为不合格，并执行分拣模块207；若否，则显示检测结果为合格，并执行发送模块206；
93.发送模块206，用于对产品进行称重，通过串口获得台秤发出的产品的重量，并将该产品的所述条形码信息、ai识别结果和重量发送到生产mes系统；
94.分拣模块207，用于将所述对比模块中产品装配件的ai识别结果发送给所述流水线的执行分拣机构，对识别的不良品进行分拣操作。
95.具体的，通过第一图像采集模块201采集流水线上的产品装配件的图像数据，并通过通讯传输将所述图像数据上传至ai云平台；训练模块202通过所述ai云平台对所述图像数据进行标记，并标记每个所述装配件的标签，在所述ai云平台上调用深度学习网络模型对所述图像数据进行训练；预测模块203通过所述通讯传输将训练后获得的ai模型发送到所述流水线的检测终端，所述检测终端加载所述ai模型后，对后续采集的图像进行预测；第二图像采集模块204采集新的图像，通过扫码枪获取产品上条形码信息，通过调用所述ai模型对所述新的图像进行预测，并将识别配件框选在所述新的图像上；对比模块205通过将所述新的图像与标准装配件的图像进行对比，并对所述第二图像采集模块中识别的图像装配件进行判定，判断是否为错配或漏配，若是，则显示结果为不合格，并执行分拣模块207；若否，则显示检测结果为合格，并执行发送模块206；发送模块206对产品进行称重，通过串口获得台秤发出的产品的重量，并将该产品的所述条形码信息、ai识别结果和重量发送到生产mes系统；分拣模块207将所述对比模块中产品装配件的ai识别结果发送给所述流水线的执行分拣机构，对识别的不良品进行分拣操作。通过在图像上对产品的装配件进行分割和识别，通过采集生产线上产品的图像数据，上传到ai云平台进行数据标注和模型的自动化训练，然后对生产线上的产品进行预测，识别产品的配件安装是否准确、是否漏装配件，从而实现对流水线产品的实时检测；通过使用ai视觉检测的基础上增加称重环节，并将ai识别结果和称重结果上传的生产企业的mes系统，最终管控不良产品的动向，实现高效的生成效率和自动生产管控的效果。
96.实施例三
97.请参考图6所示，图6为本发明计算机设备的模块图。本发明实施例还提供一种计算机设备，包括存储器301、处理器302及存储在所述存储器301上并可在所述处理器302上运行的计算机程序，所述处理器302执行所述计算机程序时实现上述实施例一的产品配件识别和重量评估中的步骤。
98.实施例四
99.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例一的产品配件识别和重量评估中的步骤。
100.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何纂改、等同替换、改进等，均应包含在本发明的权利要求范围之内。