具有视觉检查站的产品组装机的制作方法

1.本文的主题总体上涉及产品组装机。


背景技术：

2.检查系统用于在制造过程期间检查零件或产品以检测有缺陷的零件或产品。常规的检查系统使用人员来手动检查零件。这样的手动检查系统是劳动密集型且高成本的。手动检查系统的检测精度低，导致产品的一致性差。此外，手动检查系统遭受由于疲劳引起的人为错误，例如遗漏的缺陷、错误的计数、零件的错位，等等。一些已知的检查系统使用机器视觉来检查零件或产品。机器视觉检查系统使用相机对零件或产品进行成像。然而，视觉检查可能会是耗时的。用于操作视觉检查机器的硬件和软件是昂贵的。
3.仍然需要一种可以以成本有效且可靠的方式操作的用于产品组装机的视觉检查系统。


技术实现要素：

4.在实施例中，提供了一种产品组装机，其包括支撑零件的平台，所述零件配置为组装以形成组装产品，且该平台将组装产品从组装站移动到视觉检查站。组装站具有零件组装构件，用于将零件组装成组装产品。视觉检查站包括成像装置和视觉检查控制器，该成像装置对组装产品进行成像，该视觉检查控制器从成像装置接收图像并基于图像分析模型处理来自成像装置的图像以确定组装产品的检查结果。视觉检查控制器具有人工智能学习模型，其操作为基于从成像装置接收的图像更新图像分析模型。
5.在实施例中，提供一种产品组装机，其包括具有上表面的旋转平台、将第一零件馈送到旋转平台的第一零件馈送装置、将第二零件馈送到旋转平台的第二零件馈送装置、以及具有零件组装构件的组装站，该零件组装构件用于将第一零件与第二零件组装成组装产品。旋转平台用于将第一零件和第二零件中的至少一个移动到组装站。产品组装机包括邻近旋转平台的视觉检查站。旋转平台将组装产品从组装站移动到视觉检查站。视觉检查站包括成像装置和视觉检查控制器，该成像装置对组装产品进行成像，该视觉检查控制器从成像装置接收图像并基于图像分析模型处理来自成像装置的图像以确定组装产品的检查结果。视觉检查控制器具有人工智能学习模型，其操作为基于从成像装置接收的图像更新图像分析模型。旋转平台用于将被检查的组装产品移动到产品移除装置以基于检查结果移除被检查的组装产品。
6.在实施例中，提供了一种检查组装产品的方法，包括：将零件装载到平台上，将零件移动到组装站，在组装站处将零件组装成组装产品，以及将组装产品从组装站移动到视觉检查站。该方法包括：在视觉检查站处使用成像装置对组装产品进行成像，在视觉检查控制器处基于图像分析模型处理来自成像装置的图像以确定组装产品的检查结果，以及使用人工智能学习模型更新图像分析模型以基于从成像装置接收的图像来配置图像分析模型。
附图说明
7.图1是根据示例性实施例的产品组装机的示意图，用于从多个零件(例如第一零件和第二零件)组装产品。
8.图2是根据示例性实施例的产品组装机的俯视图。
9.图3是根据示例性实施例的产品组装机的侧视透视图。
10.图4示出了根据示例性实施例的产品组装机的控制架构。
11.图5是根据示例性实施例的产品组装机的控制架构的示意图。
12.图6是示出根据示例性实施例的检查组装产品的流程图。
具体实施方式
13.图1是用于从多个零件(例如第一零件52和第二零件54)组装产品50的产品组装机10的示意图。零件52、54组装在一起以形成组装产品50。例如，第一零件52可以在组装期间接收在第二零件54中。在示例性实施例中，产品组装机10包括一个或多个组装站20，其用于将各种零件组装成组装产品50。在各种实施例中，提供多个组装站20以分阶段组装多个零件。在各种实施例中，组装产品50是电连接器。例如，零件可以包括触头、外壳、电路板、或其他类型的零件，以形成组装产品50。在各种实施例中，零件可以包括弹簧，例如环形弹簧、c形夹等，它们接收在外壳中。在替代实施例中，机器10可以用于制造在其他行业中使用的零件。
14.产品组装机10包括视觉检查站100，其用于检查各种组装产品50。组装产品50在组装站20和视觉检查站100之间运输。视觉检查站100用于组装产品50的质量检查。基于来自视觉检查站100的输入，产品组装机10移除有缺陷的产品50以进行报废或进一步的检查。已经通过视觉检查站100的检查的合格的组装产品50被从产品组装机10运输走，例如到仓或另一机器以进行进一步的组装或处理。
15.产品组装机10包括平台80，其在各个站之间支撑零件52、54和组装产品50。例如，平台80用于将第一零件52和/或第二零件54移动到组装零件52、54的组装站20。平台80可以包括用于相对于平台80支撑和定位零件52和/或零件54的固定元件。平台80用于将组装产品50移动到视觉检查站100。平台80用于将组装产品50从视觉检查站100转移到移除组装产品50的产品移除站30。在示例性实施例中，产品移除站30可以用于将合格的组装产品50与有缺陷的组装产品50分离，例如通过将组装产品50分离到不同的仓中。
16.视觉检查站100包括一个或多个成像装置102，其在(多个)成像装置102的视场内对平台80上的组装产品50进行成像。视觉检查站100包括视觉检查控制器110，其从成像装置102接收图像并处理图像以确定检查结果。例如，视觉检查控制器110确定每个组装产品50通过或未通过检查。视觉检查控制器110可以拒绝有缺陷的组装产品50。在示例性实施例中，视觉检查控制器110包括形状识别工具，其配置为识别视场中的组装产品50，例如零件52、54的边界和零件52、54的相对位置。在示例性实施例中，视觉检查控制器110包括人工智能(ai)学习模块，其用于基于从成像装置102接收的图像来更新图像分析模型。例如，可以基于来自ai学习模块的数据来更新图像分析模型。可以基于来自ai学习模块的学习或训练数据来定制图像分析模型。视觉检查控制器110可以在视觉检查站100的操作期间实时地更新和训练。
17.在检查组装产品50之后，组装产品50被转移到将组装产品50从平台80移除的产品移除站30。在示例性实施例中，产品移除站30可以用于基于由视觉检查控制器110确定的检查结果将合格的组装产品50与有缺陷的组装产品50分离。产品移除站30可以包括弹出器，例如用于从平台80拾取和移除组装产品50的真空弹出器。产品移除站30可以包括弹出器，例如用于从平台80移除组装产品50的推动器。产品移除站30可以包括多轴机器人操纵器，其配置为抓取和拾取产品50离开平台80。
18.图2是根据示例性实施例的产品组装机10的俯视图。图3是根据示例性实施例的产品组装机10的侧视透视图。产品组装机10包括平台80、零件装载站40、组装站20、视觉检查站100和产品移除站30。在示例性实施例中，产品组装机10可以包括触发传感器90，用于触发产品组装机10的一个或多个操作。触发传感器90可以用于感测组装产品50和/或零件52、54的存在。触发传感器90可以控制零件装载、成像、零件移除等的定时。
19.平台80包括板82，其具有上表面84，用于支撑零件52、54和组装产品50。在各种实施例中，板82可以是旋转板，其配置为在各个站之间旋转零件52、54和组装产品50。在其他各种实施例中，板82可以是另一类型的板，例如是振动托盘，其被振动以使组装产品50前进，或者是操作为使组装产品50前进的输送机。
20.零件装载站40用于将零件52、54装载到平台80上，例如装载到板82的上表面84上。在示例性实施例中，零件装载站40包括用于各种零件52、54的不同的零件装载装置。例如，零件装载站40包括用于装载第一零件52的第一零件装载装置42和用于装载第二零件54的第二零件装载装置44。零件装载装置42、44可以是料斗、输送机、或另一类型的馈送装置，例如多轴机器人操纵器，其配置为抓取并移动零件52、54到平台80上的位置。零件装载装置42和/或44在组装过程中可以位于组装站20的上游，以相对于彼此定位零件52、54来进行组装。在各种实施例中，第二零件装载装置44可以位于组装站20处以在组装站20处将第二零件54装载到第一零件52中。零件52、54可以通过平台80在站之间前进或移动。
21.产品移除站30用于从平台80移除组装产品50。在示例性实施例中，产品移除站30包括不同的产品移除装置。例如，产品移除站30包括用于移除合格的产品50的第一产品移除装置32和用于移除有缺陷的产品50的第二产品移除装置34。产品移除装置32、34可以包括弹出器36，例如用于从平台80拾取和移除组装产品50的真空弹出器。弹出器36可以是机械推动器，例如电动或气动操作的推动器，用于从平台80移除组装产品50。产品移除装置32、34可以包括多轴机器人操纵器，其配置为抓取和拾取产品离开平台80。
22.在示例性实施例中，视觉检查站100包括成像装置102、镜头104和照明装置106，它们布置在平台80上方的成像区域附近以对组装产品50的顶部进行成像。镜头104用于聚焦图像。照明装置106控制组装产品50在成像区域处的照明。成像装置102可以是相机，例如高速相机。可选地，视觉检查站100可以包括第二成像装置102、第二镜头104和第二照明装置106，例如在平台80下方以对组装产品50的底部进行成像。第二成像装置102可以在其他位置以对组装产品50的其他部分进行成像，例如组装产品50的侧面。在其他各种实施例中，第二视觉检查站100可以设置为远离第一视觉检查站100，例如以在不同的组装阶段对组装产品50进行成像。例如，这样的视觉检查站100可以位于两个不同的组装站20之间。
23.在示例性实施例中，成像装置102安装至位置操纵器，以相对于平台80移动成像装置102。位置操纵器可以是支撑成像装置102的臂或支架。在各种实施例中，位置操纵器可以
在多个方向上可定位，例如在二维或三维空间中。位置操纵器可以自动调节，例如通过控制位置操纵器的定位的控制器。位置操纵器可以由另一控制模块调节，例如ai控制模块。在其他各种实施例中，位置操纵器可以手动调节。成像装置102的位置可以基于被成像的组装产品50的类型来调节。例如，当不同类型的组装产品50进行成像时，成像装置102可以基于被成像的零件的类型来移动。
24.成像装置102通过机器视觉软件与视觉检查控制器110通信以处理数据、分析结果、记录发现，并基于信息做出决定。视觉检查控制器110提供一致且高效的检查自动化。视觉检查控制器110确定组装产品50的制造质量，例如确定组装产品50是合格的还是有缺陷的。视觉检查控制器110识别零件52、54和/或组装产品50中的缺陷(如果存在的话)。例如，视觉检查控制器110可以确定零件52、54中的任一者是否在组装期间损坏。视觉检查控制器110可以确定零件52、54是否正确组装，例如零件52、54相对于彼此处于正确的取向。视觉检查控制器110可以确定零件52、54和/或组装产品50中的任一者或两者的取向。视觉检查控制器110可操作地联接到产品移除站30以控制产品移除站30的操作。视觉检查控制器110基于组装产品50的识别的取向来控制产品移除站30的操作。
25.视觉检查控制器110从成像装置102接收图像并处理图像以确定检查结果。在示例性实施例中，视觉检查控制器110包括用于处理图像的一个或多个处理器180。视觉检查控制器110确定组装产品50通过或未通过检查。视觉检查控制器110控制产品移除站30移除组装产品50(例如合格的零件和/或有缺陷的零件)到不同的收集仓(例如，通过仓和不通过仓)中。在示例性实施例中，视觉检查控制器110包括形状识别工具182，其配置为识别视场中的组装产品50。形状识别工具182能够识别和分析组装产品50的图像。形状识别工具182可以用于识别零件52、54和组装产品50的边缘、表面和边界等。形状识别工具182可以用于识别零件52、54在组装产品50中的相对位置。
26.一旦接收图像，基于图像分析模型来处理图像。将图像与图像分析模型进行比较以确定组装产品50是否有任何缺陷。图像分析模型可以是三维模型，其限定被成像的组装产品50的基线结构。在其他各种实施例中，图像分析模型可以是一系列的二维模型，例如针对每个成像装置102。图像分析模型可以基于已知的或质量合格的组装产品50的图像，例如在学习或训练过程期间。图像分析模型可以基于组装产品50的设计规格。例如，图像分析模型可以包括组装产品50的边缘、表面和特征的设计参数。图像分析模型可以包括参数的公差因数，允许公差因数内的偏移。在处理期间，图像可以被单独地处理或可以组合成组装产品50的数字模型，其然后与图像分析模型进行比较。可以对图像进行处理以检测损坏、不正确取向、部分组装、完全组装、过度组装、污垢、碎屑、凹痕、划痕或其他类型的缺陷。可以通过基于图像分析模型对图像执行模式识别来处理图像。例如，在示例性实施例中，视觉检查控制器110包括图案识别工具184，其配置为将图像中的图案或特征与图像分析模型中的图案或特征进行比较。可以通过对图像中检测到的边界和表面执行特征提取并将边界和表面与图像分析模型进行比较来处理图像。视觉检查控制器110可以识别图像内的线、边缘、桥、凹槽或者其他边界或表面。
27.在示例性实施例中，视觉检查控制器110可以执行图像数据的预处理。例如，视觉检查控制器110可以在处理期间执行图像的对比度增强和/或噪声减少。视觉检查控制器110可以在处理期间执行图像分割。例如，视觉检查控制器可以将图像裁剪到感兴趣的区域
或遮蔽图像在感兴趣的区域之外的区域，从而减少由视觉检查控制器110处理的数据。视觉检查控制器110可以识别图像内的感兴趣区域以进行增强处理。
28.在示例性实施例中，视觉检查控制器110包括人工智能(ai)学习模块190。ai学习模块190使用人工智能来训练视觉检查控制器110并改善视觉检查控制器110的检查精度。ai学习模块190基于从成像装置102接收的图像更新图像分析。视觉检查控制器110在视觉检查站100的操作期间实时地更新和训练。视觉检查控制器110的ai学习模块190可以在学习模块下操作以训练视觉检查控制器110并改进图像分析模型。图像分析模型基于来自ai学习模块190的输入(例如，基于由成像装置102获取的组装产品50的图像)随时间变化。可以基于来自ai学习模块的数据来更新图像分析模型。例如，可以更新由图像分析模型使用的图像库并用于未来的图像分析。成像分析模型可以使用用于分析图像中的组装产品50的形状、边界或其他特征的形状识别工具或图案识别工具，且这样的形状或图案识别工具可以由ai学习模块190使用以更新和训练ai学习模块，例如通过更新由ai学习模块190使用的图像库。在各种替代实施例中，ai学习模块190可以是与视觉检查控制器108分开的模块且与视觉检查控制器110独立地操作。例如，ai学习模块190可以单独地联接到成像装置102或机器的其他部件。
29.在示例性实施例中，视觉检查控制器110包括用户接口192。用户接口192包括显示器194，例如监视器。用户接口192包括一个或多个输入196，例如键盘、鼠标、按钮等。操作者能够使用用户接口192与视觉检查控制器110交互。
30.图4示出了产品组装机10的控制架构。在示例性实施例中，产品组装机10包括机器控制器200，其用于控制机器10的各种部件的操作。机器控制器200通过网络202(例如tcp/ip网络)与视觉检查系统100通信。
31.视觉检查系统100可以嵌入计算机204中。视觉检查控制器110可以设置在计算机204上。视觉检查系统100包括联接到网络202的通信模块206。视觉检查控制器110通信地联接到通信模块206，例如以与机器控制器200或其他部件通信。成像装置102联接到视觉检查系统100。视觉检查系统100包括图像处理单元(gpu)208，用于处理来自成像装置102的图像。
32.机器控制器200包括联接到网络202的通信模块210。机器控制器200通过网络202与视觉检查控制器110通信。机器控制器200包括i/o模块212，其具有输入214和输出216。触发传感器90联接到i/o模块212。来自触发传感器90的触发信号，例如零件52、54和/或组装产品50中的一个的存在(例如，当零件52、54或组装产品通过触发传感器90时)被传输到输入214。机器控制器200将这样的触发信号通信至视觉检查控制器110。产品移除装置32、34通信地联接到输出216。用于控制产品移除装置32、34的控制信号通过输出216传输至产品移除装置32、34。用于产品移除装置32、34的控制信号是基于由视觉检查控制器110确定的检查结果。
33.图5是产品组装机10的控制架构的示意图。在产品组装机10的操作期间，在300，触发传感器90在触发事件时将触发信号发送给机器控制器200，例如当零件52、54或组装产品50通过触发传感器90时。在示例性实施例中，平台80旋转组装产品50在站之间经过触发传感器90，例如到成像装置102。在302，机器控制器200在触发信号生成器220处生成触发信号。在示例性实施例中，机器控制器200包括零件追踪器222。在304，当零件52、54或组装产
品50在站之间移动(例如，旋转)时，零件追踪器222追踪零件52、54或组装产品50。零件追踪器222可以使用来自触发信号生成器220的触发信号以追踪零件52、54或组装产品50。
34.在310，视觉检查系统100从机器控制器200的触发信号生成器220接收触发信号。视觉检查系统100基于接收的触发信号控制成像装置102的操作。例如，成像的定时基于触发信号来控制。在312，图像由视觉检查控制器110来获取。在314，视觉检查控制器110预处理图像，例如用于噪声减少。例如，可以识别感兴趣的区域，且可以裁剪图像或遮蔽这样的感兴趣的区域之外的区域。视觉检查控制器110可以执行对比度增强和/或图像分割。
35.在316，视觉检查控制器110处理图像以确定组装产品50通过或未通过检查。在示例性实施例中，视觉检查控制器110识别视场中的组装产品50的形状或特征以分析组装产品的图像。例如，形状识别工具182可以用于识别零件52、54和组装产品50的边缘、表面、边界等以识别零件52、54在组装产品50中的相对位置。在示例性实施例中，基于图像分析模型来处理图像。将图像与图像分析模型进行比较以确定组装产品50是否有任何缺陷。图像分析模型可以是三维模型，其限定被成像的组装产品50的基线结构。在其他各种实施例中，图像分析模型可以是一系列的二维模型，例如针对每个成像装置102。图像分析模型可以基于已知的或质量合格的组装产品50的图像，例如在学习或训练过程期间。图像分析模型可以基于组装产品50的设计规格。例如，图像分析模型可以包括组装产品50的边缘、表面和特征的设计参数。图像分析模型可以包括参数的公差因数，允许公差因数内的偏移。在处理期间，图像可以被单独地处理或可以组合成组装产品50的数字模型，其然后与图像分析模型进行比较。可以基于图像分析模型通过执行图像的图案识别来处理图像，以将图像中的图案或特征与图像分析模型中的图像或特征进行比较。可以通过对图像中检测到的边界和表面执行特征提取并将边界和表面与图像分析模型进行比较来处理图像。视觉检查控制器110可以识别图像内的线、边缘、桥、凹槽或者其他边界或表面。可以对图像进行处理以检测损坏、不正确取向、部分组装、完全组装、过度组装、污垢、碎屑、凹痕、划痕或其他类型的缺陷。
36.在318，视觉检查系统100可以可选地将经处理的图像传输到ai学习模块190。图像可以由ai学习模块190使用以更新图像分析模型。ai学习模型可以使用用于分析图像中的组装产品50的形状、边界或其他特征的形状识别工具或图案识别工具，且这样的形状或图案识别工具可以由ai学习模块190使用以更新和训练ai学习模块，例如通过更新由ai学习模块190使用的图像库。
37.在320，视觉检查控制器110确定检查结果并生成检查结果输出。检查结果是基于图像分析模型。在各种实施例中，检查结果输出可以是通过/未通过检查结果。例如，如果视觉检查控制器110确定组装产品50是合格的，则检查结果输出可以是通过输出，或者如果视觉检查控制器110确定组装产品50是有缺陷的，则检查结果输出可以是未通过输出。在替代实施例中可以提供其他检查结果输出，例如需要进一步检查的结果，例如由操作者。
38.视觉检查控制器110包括结果输出信号生成器230，以将检查结果传输至机器控制器200。在322，当检查结果输出是通过输出时，视觉检查控制器110将通过信号发送给机器控制器200。在324，当检查结果输出是未通过输出时，视觉检查控制器110将未通过信号发送给机器控制器200。
39.机器控制器200包括第一产品移除装置信号生成器232，其生成用于第一产品移除
装置32的激活信号。在332，当从视觉检查控制器110接收到通过信号时，第一产品移除装置信号生成器232生成激活信号以激活第一产品移除装置32。第一产品移除装置32操作为从平台80移除合格的组装产品，例如到通过仓中。机器控制器200包括第二产品移除装置信号生成器234，其生成用于第二产品移除装置34的激活信号。在334，当从视觉检查控制器110接收到未通过信号时，第二产品移除装置信号生成器234生成激活信号以激活第二产品移除装置34。第二产品移除装置34操作为从平台80移除有缺陷的组装产品，例如到未通过仓中。可选地，第一产品移除装置信号生成器232和/或第二产品移除装置信号生成器234可以将信号发送给产品计数器240，用于计数合格的(通过的)组装产品的数量和/或用于计数有缺陷的(未通过的)组装产品50的数量。
40.图6是示出根据示例性实施例的检查组装产品的流程图。方法在400包括将零件52、54装载到平台80上。零件52、54可以手动或自动地装载。第一零件52可以装载到第一位置中，且第二零件54可以装载到第二位置中。在各种实施例中，第二零件54可以装载到第一零件52中。
41.在402，方法包括将零件52、54移动到组装站20。平台80用于移动第一零件52和/或第二零件54。平台80可以旋转以移动第一零件52和/或第二零件54。例如，平台80可以是圆形的且旋转以移动第一零件52和/或第二零件54。在其他各种实施例中，零件52、54可以由输送机、推动器或另一移动装置移动。
42.在404，方法包括在组装站20处将零件52、54组装成组装产品50。第一零件52可以在组装站20处装载到第二零件54中。例如，第一零件52可以是弹簧，且第二零件54可以是外壳，弹簧装载到外壳中。在替代实施例中，可以在组装站20中组装其他类型的零件。在组装零件52、54之后，在406，组装产品50从组装站20移动到视觉检查站100。平台80用于将组装产品50移动到视觉检查站100。例如，组装产品50可以从组装站20旋转到视觉检查站100。
43.在408，方法包括使用成像装置102在视觉检查站100处对组装产品50进行成像。在示例性实施例中，成像装置102直接位于平台80上方以从上方观察组装产品50。可以使用触发传感器90控制成像的定时，以检测组装产品50何时移动到视觉检查站100。
44.在410，方法包括在视觉检查控制器110处基于图像分析模型处理来自成像装置102的图像以确定组装产品50的检查结果。视觉检查控制器110从成像装置102接收图像。视觉检查控制器110包括形状识别工具182，其用于分析组装产品50的图像。在各种实施例中，通过将图像与图像分析模型进行比较以确定组装产品50中是否有缺陷来处理图像。在各种实施例中，通过基于图像分析模型来执行图像的图案识别来处理图像。在各种实施例中，可以通过对图像中检测到的边界和表面执行特征提取并将边界和表面与图像分析模型进行比较来处理图像。
45.在412，方法包括使用ai学习模块190来更新图像分析模型，以基于从成像装置102接收的图像来配置图像分析模型。基于来自成像装置102的图像来更新图像分析模型。可以使用ai学习模块190基于成像装置102获取的图像来修改或更新形成图像分析模型的基础的图像。例如，图像分析模型可以基于多个图像，其基于来自ai学习模块190的图像来更新或扩展。随着ai学习模块190扩展图像分析模型，可以改善图像处理的质量。
46.应该理解的是，以上描述旨在是说明性的而不是限制性的。例如，上述实施例(和/或其方面)可以彼此组合使用。另外，在不脱离其范围的情况下，可以做出许多修改以使特
定情况或材料适应本发明的教导。本文描述的尺寸、材料类型、各种零件的取向、以及各种零件的数量和位置旨在限定某些实施例的参数，并且绝不是限制性的，并且仅仅是示例性实施例。在阅读以上描述后，在权利要求的理念和范围内的许多其他实施例和修改对于本领域的普通技术人员将是显而易见的。因此，本发明的范围应该参照所附的权利要求以及这些权利要求的等同物的全部范围来确定。在所附权利要求中，术语“包括”和“其中”用作相应术语“包含”和“在其中”的纯英语等同物。此外，在随附的权利要求中，术语“第一”、“第二”和“第三”等仅被用作标签，并且并非旨在对其对象施加数字要求。此外，所附权利要求的限制不是以手段加功能格式撰写的，并且并非旨在基于35u.s.c.
§
112(f)，除非并且直到这样的权利要求限制明确地使用短语“用于
……
的装置”，然后是功能陈述，而没有进一步的结构。