一种针对消费电子产品缺陷的检测方法和设备与流程

1.本发明涉及电子产品检测领域，特别涉及一种针对消费电子产品缺陷的检测方法和设备。


背景技术：

2.为了保证产品的满足生产的标准需要对产品进行检测，其中，消费电子领域是机器视觉应用最广，但同时也是目视检查工人最多的一个领域，一方面是由于消费电子产品众多、零部件多，质量问题会严重影响性能，相比其他领域，需要的检测人员更多；另一方面，电子产品的零部件众多，缺陷微小多样，复杂多样，且存在角度性等特征，常规的机器视觉方案检测困难，且依赖于深度学习工程师针对特定产品的每一类缺陷进行深度的检测模型打造，成本昂贵，且每一个产品都难以进行复用，导致定制化成本高，落地周期长。
3.专利cn111612789a中提出了对玻璃等平面产品进行检测的方法，具体的公开了一种通过将总融合特征图根据训练图像对应的标注图进行交叉熵损失的计算以及通过反向传播训练更新u
‑
net网络及resnet网络中的参数，使得损失值减小，最终得到预测模型，实现对产品缺陷的预测模型进行精准的提高，从而实现对玻璃等平面产品的缺陷进行精准的检测。专利cn112082999a中提出了通过工业智能相机获取产品的图片，同时设置嵌入式管理器实现对检测模型的升级和自我学习。专利cn108257121a中公开一种产品缺陷检测系统模型更新的方法来保证对产品进行高效率的检测。cn109064454a中公开了通过对产品图像的数进行矩阵化处理，实现对产品的缺陷进行准确的检测的方法。cn111951238a中公开了通过将获得的可以进行模型检测的图像发送给深度模型及灰度检测模型进行检测，最终获取产品每个光学面返回的检测结果；物理量过滤步骤：对于返回的检测结果进阈值或者缺陷长度、缺陷宽度及缺陷亮度物理量进行过滤来保证检测的精度。cn112017172a中公开了一种通过通过树莓派对产品的图像进行处理来提高检测精度的设备及相关方法。cn112330583a中公开了通过获取数据存储模块的工作状态；若所述数据存储模块的工作状态为有效状态，获取所述数据存储模块中的位置信息，所述有效状态用于指示所述数据存储模块存储有产品图像中缺陷部位的位置信息，所述位置信息用于指示产品图像中缺陷部位的位置；根据所述位置信息，对所述产品图像中的缺陷部位进行标记。cn111179223a通过基于深度学习的工业自动化缺陷检测方法，避免一般机器学习方法中复杂的手工特征选取过程，以及需要相关领域的先验知识等问题，在复杂环境和多目标场景中具有较高检测准确率和很好的泛化能力。但是电子产品存在截骨复杂各个零部件的缺陷标准存在差异，因此需要一种可以高效的对电子产品进行检测的方法和设备。


技术实现要素：

4.为了解决上述技术问题，本发明中披露了一种对消费电子产品的各种缺陷进行精准数据标注和检测的检测方法和设备，本发明的技术方案是这样实施的：
5.一种针对消费电子产品缺陷的检测方法，包括如下步骤：s1：通过多光源和组合光
源相结合的方式对待检测产品进行一次多个图像的采集；s2：对待检测产品的轮廓进行标定检测形成mask图像，同时对采集的多个图像中的特征点进行统一对齐；s3：将处理完成的图像上传至云端，不同的pc端可以通过云端对图像进行同步标注；s4：通过检测模型对采集的多个图像进行检测，并输出检测结果；其中，所述检测模型的训练的方法，包括如下步骤：s01：在云端上设置图像组，将采集的多个图像一次性上传至云端；s02：使用交互标注工具对图像进行标注，根据需要设置rgb通道，在显示的图片上进行标注，其他图片进行自动匹配；s03：选择训练任务以及模型的类型；s04：依据选择的训练任务以及模型的类型选择训练参数；s05：提取图像的缺陷特征信息同时融合网络所有特征信息作为决策网络的输入生成检测模型；s06：输出生成的检测模型。
6.优选地，所述图像处理方法为采用ai算法分割的方式对所述产品图像的轮廓进行像素级的标定检测。
7.优选地，所述云端的模型数据以交互式呈现。
8.优选地，所述检测模型的迭代训练方法包括知识蒸馏法和数据叠加训练。
9.优选地，所述检测模型通过不断的数据新增验证进行自主迭代，具体包括如下步骤：a：收集新的缺陷数据；b：依据缺陷的种类对数据的种类进行划分；c：依据数据的种类设置相应的标签；d：采用不同的迭代训练方法验证不同训练模型的性能；e：将训练模型性能最优的模型输出。
10.一种针对消费电子产品缺陷的检测设备，根据上述的一种针对消费电子产品缺陷的检测方法，包括产线检测端和云端训练平台，所述产线检测端与所述云端训练平台相适配，所述产线检测端包括图像获取模块、图像预处理模块、检测模块和通讯模块，所述图像获取模块采用多光源和组合光源组合的方式获取产品图片，所述产品图片通过所述通讯模块上传至所述云端训练平台，所述云端训练平台将生成的训练模型传输至所述产线检测端的检测模块，所述云端训练平台包括同步模块和自我迭代模块，通过所述同步模块实现不同的客户端对获取的图像进行同步标注，所述自我迭代模块通过收集缺陷数据，将所述缺陷数据设置成标签实现对检测模型的升级。
11.优选地，所述云端训练平台还包括多通道模块，所述多通道模块对多图像进行同步处理同时可以依据需要选择rgb通道。
12.优选地，所述云端训练平台还包括模型参数模块，所述模型参数模块存储产品缺陷模型数据。
13.实施本发明的技术方案可解决现有技术中消费电子产品的缺陷检测较为复杂，人力和时间成本较大以及机器检测存在较大误差的技术问题；实施本发明的技术方案，通过图像数据采集、图像训练、图像检测，部署集成到一起，设计相应的同步模块、自我迭代模块，实现多种复杂缺陷数据的快速准确采集，达到精准的数据标注，实现高准确率的检测，并且通过后续产线运转后的采图，完成进一步的优化训练和程序更新，形成自我迭代优化的闭环系统，可实现的产品缺陷检测系统使用简单，无需专业的深度学习工程师亦能完成，可以大幅度降低研发成本，实现更广泛应用的技术效果。
附图说明
14.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一种实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
15.其中相同的零部件用相同的附图标记表示。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“底面”和“顶面”、“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。
16.图1为检测模型训练模型示意图；
17.图2为模型数据检测流程示意图；
18.图3为检测模型自动迭代流程示意图；
19.图4为产品检测模块结构示意图。
具体实施方式
20.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.实施例1
22.在优选的实施例1中，如图1、图2和图3所示，一种针对消费电子产品缺陷的检测方法，包括如下步骤：s1：通过多光源和组合光源相结合的方式对待检测产品进行一次多个图像的采集；s2：对待检测产品的轮廓进行标定检测形成mask图像，同时对采集的多个图像中的特征点进行统一对齐；s3：将处理完成的图像上传至云端，不同的pc端可以通过云端对图像进行同步标注；s3：通过检测模型对采集的多个图像进行检测，并输出检测结果；其中，检测模型的训练的方法，包括如下步骤：s01：在云端上设置图像组，将采集的多个图像一次性上传至云端；s02：使用交互标注工具对图像进行标注，根据需要设置rgb通道，在显示的图片上进行标注，其他图片进行自动匹配；s03：选择训练任务以及模型的类型；s04：依据选择的训练任务以及模型的类型选择训练参数；s05：提取图像的缺陷特征信息同时融合网络所有特征信息作为决策网络的输入生成检测模型；s06：输出生成的检测模型。
23.在实施例1中，由于消费电子产品的结构较为复杂，对于消费电子产品的缺陷检测需要大量的人力成本同时存在需要相关人员具有丰富的经验，因此对于消费电子缺陷检测的准确率较低，实施例1为对消费电子进行缺陷检测的方法，首先需要对产品的缺陷检测模型进行训练，通过云端实现对检测模型的训练和迭代，云端通过虚拟化的运行环境，能够保持系统的干净、绿色，且研发和使用的成本较低，同时方便进行共享，检测模型的训练步骤如图1所示，s01：在云端上设置多个不同的图像组，将采集的多个图像一次性上传至云端；s02：使用交互标注工具对图像进行标注，根据需要设置rgb通道，在显示的图片上进行标注，其他图片进行自动匹配；s03：选择训练任务以及模型的类型，例如选择划痕模型、破损模型或者凹坑模型；s04：依据选择的训练任务以及模型的类型选择训练参数，依据选定的模型比如划痕模型，选择相应的训练参数；s05：提取图像的缺陷特征信息同时融合网络所有特征信息作为决策网络的输入生成检测模型；s06：输出生成的检测模型。通过多图融合的方式可以保证训练模型的学习泛化能力，在初次使用时需要在云端上输入相应的缺陷数
据，在使用的过程中通过不断的数据更新实现模型的泛化学习能力。如图2所示，云端接收图像组数据之后对图像进行标注之后，可以由具有权限的人员对云端标注的内容进行审核，将审核完成的内容在进行训练可一保证标注的准确性以及训练模型的准确度。
24.在云端生成检测模型之后，将检测模型传输至产线端，产线端开始不断对生产出的消费电子产品进行检测，对产品的检测步骤包括：s1：通过多光源和组合光源相结合的方式对待检测产品进行一次多个图像的采集，多光源和组合光源对产品进行一次多个图像的拍摄能够有效的对消费电子产品的表面缺陷进行不同角度的获取；s2：对待检测产品的轮廓进行标定检测形成mask图像，mask图像处理过程为用选定的图像、图形或物体，对处理的图像进行遮挡，来控制图像处理的区域或处理过程，同时对采集的多个图像中的特征点进行统一对齐；s3：将处理完成的图像上传至云端，不同的pc端可以通过云端对图像进行同步标注，例如产线的质量人员和训练工程师可以同步进行标注，保证标注的准确率继而提高模型训练的精度；s4：通过检测模型对采集的多个图像进行检测，并输出检测结果。
25.随着检测模型的不断使用通过不断的收集和更新缺陷的数据实现对检测模型的不断迭代，如图3所示，模型迭代的方法具体包括如下步骤：a：收集新的缺陷数据；b：依据缺陷的种类对数据的种类进行划分；c：依据数据的种类设置相应的标签；d：采用不同的迭代训练方法验证不同训练模型的性能；e：将训练模型性能最优的模型输出。通过检测模型的自动迭代来提升检测的准确率，当检测模型投入到产线使用的过程中，会不断收集到更多的图像数据，同时对每一个产品图像进行判断，并框选出缺陷位置。所有复判后的数据会自动上传到云端，所有的检测推理信息会自动转为标签。自我迭代设计了2种训练方法，知识蒸馏法以及数据叠加训练，通过对两种训练方法生成的训练模型进行数据的比较，效果较好的一类会自动导出模型。数据叠加训练法，即通过所有新增的数据基于之前训练的模型(小模型)，继续训练，得到一个新模型，由于数据的增多，模型的泛化能力检测能力会更强；知识蒸馏法是一种模型压缩方法，是一种基于“教师
‑
学生网络思想”的训练方法，首先使用复杂的模型，以便从非常大、高度冗余的数据集中提取出信息，这样的效果最好，但是模型往往规模很大，推理速度慢，难以满足工业应用需求。在通过复杂模型训练后会得到众多参数，平台会通过小模型进行学习大模型的参数，从而得出一个更快且更准的模型。在自我迭代中，通过不断新增的数据进行验证2个新模型，得到一个效果最好的模型而后进行升级。
26.在一种优选的实施方式中，图像处理方法为采用ai算法分割的方式对所述产品图像的轮廓进行像素级的标定检测。
27.在该具体的实施方式中，对采集的产品图像进行ai算法分割的方式进行处理，将检测目标的轮廓进行像素级的标定检测，形成mask图像，并根据不同产品的特征，标定图像的特征点进行统一对齐，还可以去除一定的背景干扰因素，提升图像的质量，可以有效帮助提升训练的准确性，提升最终检测的精度。
28.在一种优选的实施方式中，云端的模型数据以交互式呈现。
29.在该具体实施方式中，在云端上，根据相应的缺陷特征提供相应的检测预处理模型以及模型参数，模型参数仅需在简单的培训过后，可由非深度学习人员进行使用。常规培训人员根据特征需求，简单选择模型及参数后，即可训练得到一个效果良好的检测模型。
30.在一种优选的实施方式中，检测模型的迭代训练方法包括知识蒸馏法和数据叠加训练。
31.在该具体实施方式中，训练模型的迭代采用了两种不同的训练方式，通过两种不同的训练方式可以得到不同的训练模型，通过对不同训练模型进行比较并输出性能较好的训练模型，这样迭代的模式能够有效的保证训练模型的精准度，避免训练模型长期受限于某种固定的模式而影响检测模型的精准度，检测模型的更新具有全面性。
32.在一种优选的实施方式中，所述检测模型通过不断的数据新增验证进行自主迭代，具体包括如下步骤：a：收集新的缺陷数据；b：依据缺陷的种类对数据的种类进行划分；c：依据数据的种类设置相应的标签；d：采用不同的迭代训练方法验证不同训练模型的性能；e：将训练模型性能最优的模型输出。
33.在该具体的实施方式中，检测模型在对缺陷数据收集基础上进行自动的迭代升级，保证检测模型可以随着检测数量的不断增大检测模型也可以随着新的缺陷数据进行实时的更新，同时为了避免单一更新体系存在的弊端，通过两种不同的训练方式生成两种不同的训练模型，通过对两种不同的训练模型进行比较输出较为优良的检测模型。
34.实施例2
35.一种针对消费电子产品缺陷的检测设备，如图4所示，包括产线检测端和云端训练平台，所述产线检测端与所述云端训练平台相适配，所述产线检测端包括图像获取模块、图像预处理模块、检测模块和通讯模块，所述图像获取模块采用多光源和组合光源组合的方式获取产品图片，所述产品图片通过所述通讯模块上传至所述云端训练平台，所述云端训练平台将生成的训练模型传输至所述产线检测端的检测模块，所述云端训练平台包括同步模块和自我迭代模块，通过所述同步模块实现不同的客户端对获取的图像进行同步标注，所述自我迭代模块通过收集缺陷数据，将所述缺陷数据设置成标签实现对检测模型的升级。
36.在具体的实施例2中，检测设备由云端部分和产线端部分组成，产线检测端包括图像获取模块、图像预处理模块、检测模块和通讯模块，图像获取模块通过光源和相机控制采用多光源和组合光源的方式对产品进行一次多图像的采集，这样可以实现对产品的缺陷进行全方位的获取，这样就可以确保检测的精准度。同时通过组合光的方式，一定程度可以减少拍摄的站数，从而降低硬件成本。图像预处理模块通过ai算法分割的方式对采集的图像进行处理，将检测目标的轮廓进行像素级的标定检测，形成mask图像，并根据不同产品的图特征，标定图像特征点进行统一对齐。通过图像预处理模块，可以去除一定的背景干扰因素，提升图像的质量，通过在数据采集端完成图像的预处理，可以有效帮助提升训练的准确性，提升最终检测的精度。检测模块中设置检测模型，通过对检测模型对经过处理的图像进行检测，检测模块对缺陷数据的收集并把相应的数据上传至云端训练平台，云端训练平台依据缺陷数据对训练模型进行迭代。产线检测端与云端训练平台相适配，云端训练平台将生成的训练模型传输至产线检测端，产线检测端将收集到的缺陷数据上传至云端训练平台，云端训练平台依据缺陷数据对训练模型不断的迭代，通讯模块实现了产线检测端与云端训练平台之间的通讯。云端训练平台包括同步模块和自动迭代模块，其中同步模块实现了当产品的图像组上传至云端训练平台后，可以在不同的pc端通过云端训练平台对上传的图像进行同步标注，例如，产线端质量人员和训练工程师可以在不同的客户端连接云端训练平台对某一批次产品的图像进行标注，通过不同的专业人员对产品的缺陷进行标注既能够对产品的缺陷有一个查缺补漏保证产品检测的精度。自动迭代模块实现对检测模型的自
动迭代升级，自动迭代模块在对产品缺陷数据进行收集后，通过不断更新的产品缺陷数据自动对检测模型进行更新，这样实现了对产品能够实时进行高准确率的检测，产线检测端对每一个产品的图像进行判断，并框选出缺陷位置。所有复判后的数据会自动上传到云平台该项目中，所有的检测推理信息会自动转为标签。自动迭代模块中可以可以设置多个训练方式方法，多个训练方式方法生成不同的检测模型，随后通过对不同的训练方式方法生成的检测模型进行对比输出最优的一个检测模型用于产品检测，由于检测数据的不断变化，在不同的阶段会选择不同训练方式方法生成的训练模型。
37.云端训练平台还包括多通道模块和模型参数模块，多通道模块实现可以同时上传多组图像至云端训练平台，云端训练平台可以同时对多组图像进行处理，提高了检测的效率同时能够保证云端训练平台可以对检测数据进行收集，模型参数模块对缺陷模型及其相关参数进行存储，在检测模型自动迭代的过程中，模型参数模块提供相应的的模型参数实现对检测模型的自动迭代升级，同时模型参数模块通过交互式呈现的方式，模型参数仅需在简单的培训过后，可由非深度学习人员进行使用。常规培训人员根据特征需求，简单选择模型及参数后，即可训练得到一个效果良好的检测模型。
38.在一种优选的实施方式中，云端训练平台还包括多通道模块，多通道模块对多图像以及rgb多通道进行同步处理。
39.在该具体的实施方式中，云端训练平台中的多通道模块可以对多组图像进行同时处理，依据不同的需要选择设置不同的rgb通道，同时不同的客户端可以对云端训练平台上的数据进行同步标注，通过多通道模块可以实现多产品进行高精度高效率的检测。
40.在一种优选的实施方式中，云端训练平台还包括模型参数模块，模型参数模块存储产品缺陷模型数据。
41.在该具体的实施方式中，模型参数模块对检测模型及其相关的参数进行存储，在模型参数模块在对相关参数进行存储之前可以通过具有审核权力的人员对缺陷数据进行审核后进行存储，这样在检测模型自动迭代的过程当中可以实现缺陷数据更精确化，实现对缺陷进行更精确的检测。
42.需要指出的是，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。