流水线的动态训练的制作方法

流水线的动态训练
1.相关申请的交叉引用
2.本技术要求于2019年2月28日提交的第16/289,422号美国专利申请的优先权，其全部内容通过引用并入本文。
技术领域
3.本主题技术为流水线工作流程提供改进，并且特别地，包括用于基于使用机器学习模型做出的反馈和前馈误差传播预测来自适应地更新流水线操作员指令的系统和方法。如下文进一步详细讨论的，该技术的一些方面包括基于对制造偏差或装配偏差做出的推断来自动调整在一个或更多个操作站处提供的指导视频的系统和方法。


背景技术：

4.在传统的流水线工作流程中，检测制造误差并确定如何通过在下游流程中的修改来校正误差需要人工(操作员)监控和专业知识。注意，装配和制造以及流水线和生产线在本文中可互换使用。由于依赖人工装配误差检测，误差很可能被忽视(或未报告)，并随后在装配过程中向下游传播。此外，许多装配工人只接受过执行有限任务的训练，因此可能无法识别如何修改他们自己的工作流程以最好地纠正源自装配工作流程中上游的误差。
5.在传统的制造工作流程中，人工检查过程的一部分中人为误差的修复通常通过对该人工节点采取校正措施来处理。如果那个人继续存在问题，她通常会被另外的人取代，另外的人和我们所有人一样，容易受到许多相同的限制。多年日以继夜地重复一个动作而没有差错是很困难的，而且大多数装配工都没有采取校正措施的权利。即使给予了这些权利，权利也会是不一致的，并且仅根据人员在应用该单一流程节点时的经验来了解。此外，没有从任何错误中学习的机制，甚至没有任何积极的校正措施。
6.进一步地，流水线的电子监控是有限的，并且不包括为流水线中的下游步骤提供即时调整以补偿上游步骤中出现的误差的强大机制。此外，需要新机制来评估操作员动作的变化和/或装配模式的变化如何影响最终的制造产品，并提供校正措施以提高制造产品的性能和/或特性。


技术实现要素：

7.在一些方面，所公开的技术涉及一种用于优化流水线中工作流程的方法，该方法包括以下步骤：接收来自布置在流水线中第一工位处的第一图像捕获设备的第一动作数据，基于第一动作数据计算第一操作员执行的动作的误差方差，以及基于误差方差识别制品中的偏差，其中，第一动作数据对应于与第一工位相关联的第一操作员(从一个或更多个操作员中选择)在与制品交互时执行的动作。在一些方面，该方法可进一步包括用于基于所计算的误差方差自动调整提供给一个或更多个操作员中至少一个操作员的装配指令以生成修改的装配指令的步骤。
8.在另外的方面，所公开的技术包括一种用于优化流水线中工作流程的系统，该系
统包括多个图像捕获设备，以及装配指令模块，其中，每个图像捕获设备布置在流水线中多个工位的一个或更多个工位处，装配指令模块被配置为自动修改提供给多个工位的一个或更多个工位的引导和指令，其中，装配指令模块与多个图像捕获设备耦接。装配指令模块可以被配置为执行操作，操作包括从多个图像捕获设备中的第一图像捕获设备接收第一动作数据，以及基于第一动作数据计算由第一操作员执行的动作的误差方差，并且其中，第一图像捕获设备布置在流水线中的第一工位，其中，第一动作数据对应于与第一工位相关联的第一操作员在与制品交互时执行的动作。在一些实施方式中，装配指令模块可以进一步被配置为执行用于基于误差方差识别制品中的偏差的操作，并基于所计算的误差方差自动调整提供给一个或更多个操作员中的至少一个操作员的装配指令以生成修改的装配指令。
9.在另一方面，所公开的技术涉及非暂时性计算机可读介质，包括存储在其上的指令，当由一个或更多个处理器执行时，指令被配置为使处理器执行的指令包括：接收来自布置在流水线中第一工位处的第一图像捕获设备的第一动作数据，基于第一动作数据计算由第一操作员执行的动作的误差方差，以及基于误差方差识别制品中的偏差，其中，第一动作数据对应于从一个或更多个操作员中选择的与第一工位相关联的第一操作员在与制品交互时执行的动作。在一些实施方式中，指令可以进一步被配置为使处理器执行用于基于所计算的误差方差自动调整提供给一个或更多个操作员中的至少一个的装配指令以生成修改的装配指令的操作。
附图说明
10.所附权利要求中阐述了主题技术的某些特征。然而，为了提供进一步理解而包括附图示出所公开的方面，并且与说明书一起用于解释本主题技术的原理。图中：
11.图1概念性地示出了根据所公开的技术的一些方面的示例性生产线部署的流程图。
12.图2示出了根据所公开的技术的一些方面的用于在给定的操作站处执行装配误差校正的过程的示例。
13.图3示出了可以利用其实现本主题技术的一些方面的电子系统的示例。
具体实施方式
14.下面阐述的详细描述旨在作为对本主题技术的各种配置的描述，并不旨在表示可以实施本主题技术的唯一配置。附图并入本文并构成详细描述的一部分。详细描述包括用于提供对本主题技术的更透彻理解的具体细节。然而，清楚且明显的是，本主题技术不限于在此阐述的具体细节并且可以在没有这些细节的情况下实施。在一些情况下，结构和组件以框图形式示出以避免混淆本主题技术的概念。
15.所公开的技术的方面通过提供用于跟踪、训练和逐步改进生产线装配和最终的制造产品的方法来解决传统流水线工艺流程的前述限制。通过向每个装配操作员提供动态视觉反馈和指令来实现改进，并且在一些实施方式中，操作员反馈是基于误差的，误差可以包括但不限于在生产线中的一处或多处检测到的装配误差、低效的过程和/或动作、劣质产品。
16.通过实施所公开的技术，与手动实施方法相比，可以显着提高误差校正的速度，例
如，通过基于近实时的误差检测快速更改或改变在每个工位(或者所有工位)处提供的参考/指令信息。尽管本文描述的一些实施例讨论了视频形式的参考/指令信息的使用，但也考虑了其他格式。例如，装配/制造指令可以作为提供给装配操作员的听觉、视觉和/或触觉提示来提供。举例来说，听觉指令信息可包括语音指令或其他听觉指示器。视觉装配指令信息可以包括视频或动画格式，例如使用增强现实(a/r)系统或虚拟现实(v/r)系统。在一些方面，视觉装配指令可以作为动画提供，其提供关于在流水线中给定工位处的操作员如何操纵工件(或工具)的示例。此外，在一些方面，装配/制造指令可包括机器指令，例如，可由机器人装配操作员或机器装配操作员接收并实施的机器指令。本文使用的术语操作员可以指人类、机器人或使用动作来装配制造产品的机器。此外，术语操作员包括人工辅助制造实施，例如在人工操作员与机器人或机器工具协同工作或由机器人或机器工具辅助的情况下。
17.在装配/制造指令作为参考/指令视频被提供的情况下，此视频有时被称为标准操作协议(sop)。由于最小的硬件要求，例如，为每个操作员使用摄像机和显示器，可以有效地部署所公开技术的系统，而可以在集中计算资源处(例如在计算集群中或云环境中)执行机器学习训练、更新和误差传播。
18.在一些方面，视频指令信息可以作为增强现实显示器的部分提供给一个或更多个操作员。即，可以使用增强现实向操作员传达来自标准装配/制造方法的指令或偏差，其中，显示器以增强视频、动画图形和/或表示记录场景的视频数据的混合形式提供。举例来说，增强现实显示器可以向正在装配的工件和/或正在装配/制造过程中使用的工具的实时馈送提供作为动画或图形覆盖提供的指令或指导。
19.在一些实施方式中，所公开的技术的系统包括布置在生产线中各个操作工位处的一个或更多个视频或动作捕获设备。捕获设备配置为记录操作员在该特定工位处与零件、设备、材料或其他工具(“组件”)的动作/交互。在一些方面，可以使用视频记录来捕获操作员动作，然而，也考虑了其他的动作捕获格式，例如，使用表示操作员动作和/或操作员与工具或制造产品交互的三维(3d)点云。进一步地，可以通过记录特定工位的一位或多位专家的动作以及专家与该工位处组件的交互来创建每个工位的参考视频。可以提取每个专家的动作路径，并且在使用多位专家的实施例中，可以对提取的动作路径集合(例如，平均值)执行计算以创建特定工位的参考视频。参考视频可以是在特定工位处待执行的动作路径的数字或动画渲染的形式。请注意，专家可以指任何在提供指导的特定装配步骤方面有技能或知识渊博的人。
20.在一些实施例中，布置在生产线中各个操作工位处的视频或动作捕获设备还可以捕获在相应的工位处的工件/组件/工具的属性(例如，质量、抗拉强度、缺陷数量)，可将其用于计算装配误差。
21.通过捕获操作员在其各自工位处的交互，可以通过将捕获的交互与表示理想/专家操作员交互/工作流程的基准(基本事实)模型进行比较来检测操作员误差。也就是说，来自理想化交互模型的操作员偏差可用于计算装配误差，这些误差可以在装配链中的不同位置进行修复，例如，通过更改在不同工位处提供的操作员指令/指导进行修复。此外，可以在每个工位处捕获组件的质量，并将其与该工位的基准组件进行比较。组件与基准组件的偏差还可用于为特定工位处组件指定质量等级或计算操作员/装配误差，这些误差可通过更
改提供给各个工位的操作员指令/指导来进行修复。
22.装配校正可以以各种方式执行，这取决于期望的实施方式。在一些方面，操作员变化/误差可用于执行分类，例如，通过将零件分类为质量等级(例如，a、b、c等)，随后将那些零件引导到适当的生产线中。在另外的方面，检测到的装配误差可用于更改给定工位处的过程以提高质量并减少变化。也就是说，检测到的装配误差可用于在同一工位处自动提供指令或指导，例如，纠正在该工位处引起的误差(例如，工位内返工)。
23.例如，装配误差检测可用于驱动对在已知发生误差的给定工位处提供的操作员指令或视频的更新/改变。举例来说，如果误差/偏差被识别为源自在第一工位处工作的第一操作员，通过更改例如经由第一工位处的显示设备提供给第一操作员的装配指令来减少与离开第一工位的制品相关联的误差方差。
24.在另外的方面，检测到的装配误差可用于更改后续工位装配以克服工位方差。也就是说，误差检测可用于基于由上游操作员引起的误差自动触发新/更新装配指南的下游传播。例如，由第一操作员执行的动作的误差方差可用于调整提供给与第一工位下游的第二工位相关联的第二操作员的装配指令。
25.在又一方面，在跨所有工位检测到的误差方差均可以被前向传播以确保可以在整个剩余下游装配链的过程中执行全部返工或部分返工。即，通过调整提供给一个或更多个下游操作员的装配指令可以修复/减少跨一个或更多个工位产生的误差。在一个示例中，由在第一工位处的第一操作员引起的制品中的误差方差可以通过由在第二工位处的第二操作员和在第三工位处的第三操作员顺序执行的操作来修复，即，通过调整在第二工位和第三工位处提供的装配指令来修复。
26.在另外的示例中，跨多个工位累积的误差方差可以由一个或更多个后续工位减少。例如，通过调整提供给第三工位处和第四工位(例如，分别给第三操作员和第四操作员)的装配指令，可以随后修复跨第一工位和第二工位累积的制品中的误差方差。
27.通过将装配流程中每个操作员/操作工位视为网络节点，机器学习模型可用于通过减少每个节点(工位)处的装配方差以最小化误差来优化装配过程。通过最小化单个节点(操作员)方差，以及执行实时更新以减轻前向误差传播，所公开的技术的系统可以极大地减少最终产品的制造方差。此外，通过准确量化和跟踪装配工作流程中来自特定部分的误差贡献，可以按产品质量或偏差量对产品进行分级和分类。因此，某些质量分类的产品可以被转向到不同的制造过程或不同的客户，即，取决于产品质量。
28.机器学习/人工智能(ai)模型可用于执行误差检测和/或执行优化工位装配变化所需的修改。举例来说，可以使用多种训练数据来源训练机器学习模型，包括但不限于：最终产品等级、最终产品方差统计、期望的最终产品特性(例如，装配时间、所使用材料的量、物理特性、缺陷数量等)、工位特定组件等级、工位特定组件方差、期望的工位组件特性。此外，可以基于来自专家或“主设计师”提供的输入训练或初始化部署的机器学习模型，以便制度知识可以在用于执行误差检测和误差定量计算的理想化模型中表示。
29.如本领域技术人员所理解的，在不脱离所公开的技术的情况下，基于机器学习的分类技术可以根据期望的实现方式而变化。例如，机器学习分类方案可以单独或联合应用以下的一项或更多项：隐马尔可夫模型、循环神经网络、卷积神经网络(cnn)、深度学习；贝叶斯符号方法、全面对抗网络(gan)、支持向量机、图像配准方法以及适用的基于规则的系
统。在使用回归算法的情况下，可能包括但不限于：随机梯度下降回归量和/或被动积极回归量等。
30.机器学习分类模型还可基于聚类算法(例如，小批量k均值(k
‑
means)聚类算法)、推荐算法(例如，miniwise哈希算法，或欧几里得局部敏感哈希(lsh)算法)，和/或异常检测算法，例如局部异常因子。此外，机器学习模型可以采用降维方法，例如，采用以下中的一种或更多种：小批量字典学习算法、增量主成分分析(pca)算法、隐狄利克雷分配算法和/或小批量k
‑
means算法等。
31.在一些实施方式中，可以部署多种不同类型的机器学习训练/人工智能模型。举例来说，可以使用一般形式的机器学习来动态调整流水线过程，从而优化制造产品。正如本领域技术人员所认识到的，所选择的机器学习/人工智能模型并不只是包含一组装配/制造指令，而是一种对整个流水线过程及其对最终的制造产品产生的影响提供反馈的方法，以及为流水线中的下游操作工位提供动态调整的方式，以补偿上游操作工位中发生的动作。这种基于人工智能的反馈和前馈模型在本文中被称为人工智能过程控制(aipc)。
32.在一些实施例中，可以选择最佳的/期望的制造产品的设计，并且可以根据所选择的设计部署熟练的操作员来执行在每个操作工位处执行的用于装配制造产品的每个步骤。最佳可以基于最终产品的期望的性能和/或特性(例如，如果制造产品是纸飞机，那么最佳的纸飞机可能是实现期望飞行目标的飞机)，最大限度地减少最终制造产品中的误差，或其他一些标准。多个成像设备可用于捕获操作员的动作以及其与正在装配的制造产品的交互，以生成视频、图像和/或3d点云数据。捕获的数据可以提供粒度信息，例如：在装配制造产品时关于制造产品的操作员手部坐标、一只手与另一只手的关系以及在装配制造产品时手指(在一些实施例中，为手指中的关节)与制造产品的关系。从熟练的操作员处收集的数据可用作为最佳的/期望的制造产品的装配的基本事实。进一步地，为了了解操作员动作或误差的变化如何影响最终的制造产品，可以部署许多操作员执行最佳制造产品的装配中的一个或更多个步骤。这可以针对流水线中的每个操作工位完成。所得的最终产品及其各自的装配工艺可以相互比较并与基本事实进行比较，以确定操作员动作中的误差和/或变化如何影响制造产品的特性和/或性能(例如，操作员的速度可能会导致质量较差的飞机)。在实际装配过程(即，人类、机器人或机器在一个或更多个工位处执行动作的过程)期间基于操作员收集的数据在本文中将被称为“实际训练数据”。可以用模拟数据补充实际训练数据，以获得更丰富的数据集，并为实现最佳的制造产品提供额外的变化。注意，术语“最佳的”和“期望的”在本文中可互换使用。
33.在一些实施例中，本文所讨论的不同的ai/机器学习/深度学习模型可以按照如下所述的特定顺序进行部署以实现人工智能过程控制(aipc)来优化制品的装配。参照图1(例如，与aipc深度学习模型112相关)和图2更详细地讨论其中可以实现aipc深度学习模型的示例性过程。可用于实现aipc深度学习模型的硬件系统和/或设备的示例在图3和下面相应的描述中提供。
34.第一，可以在流水线过程中使用cnn，以在每个操作工位处对不同配置中操作员的手部和制品的特征进行分类。
35.第二，强化学习(rl)和rl代理可用于实现来自cnn分类的期望结果和预定义的期望结果，并由于实现期望结果而得到奖励。rl代理可以是有监督的或无监督的。
36.第三，生成对抗网络(gan)可用于在冲突的rl代理之间进行选择。gan可以涉及最少的人工监督，仅依靠人工来选择要输入哪些rl代理来作为gan的节点。
37.第四，rnn可以将获胜的rl作为输入节点来创建反馈和前馈系统，使得学习可以是连续的和无监督的。
38.下面更详细地讨论这四种ai/机器学习模型的实现：
39.在一些实施例中，可以将实际训练数据输入到cnn中以对装配过程中的相关数据进行分类，例如，对装配的每个步骤中每个操作工位处使用哪些手指/手部进行分类，对在任何时间和空间点处被操作员的手指接触的正在被装配的产品的部分进行分类，以及对在任何时间和空间点处正在被装配的制造产品的形状或配置进行分类。
40.在进一步的实施例中，还可以收集不跟踪手部动作但表示制造产品的装配模式中不同变化的数据(例如，如果制造产品是折叠的纸飞机，则可以根据更改折叠顺序、实施折叠变化和/或引入潜在误差来收集数据，如果制造产品是一件衣服，例如，可以根据缝合顺序、实施缝合变化和/或引入潜在的误差来收集数据)。该数据可以从实际训练数据中模拟和/或收集。可以比较最终的制造产品和它们各自的装配过程，以确定装配模式中的误差或变化如何影响制造产品的特性和/或性能。
41.在一些方面，用于生成机器学习模型的训练数据可以组合地或单独地来自模拟数据和/或来自实际训练数据。在一些实施例中，可以使用模拟数据结果来构建机器学习模型，例如(但不限于)强化学习(rl)代理。在其他实施例中，可以使用实际训练数据构建机器学习模型，例如(但不限于)强化学习(rl)代理。rl代理因实现良好的/期望的结果而得到奖励，并且因不良的结果而受到惩罚。
42.在一些情况下，许多rl代理(一些基于实际训练数据，一些基于模拟数据)可以被部署以协同工作，并被配置为最大化累积奖励：例如，装配具有与理想模型/理想示例有最小偏差的制造产品。可以奖励rl代理的示例性结果包括：以尽可能少的步骤完成完美的制造产品，减少实现制造产品所需的材料或时间的量。基于模拟数据的rl代理和基于实际训练数据的rl代理可用于确定产生最佳的/期望的制品的最佳的动作模式和/或最佳的装配模式。
43.这两组rl代理(例如，基于实际训练数据创建的rl代理和基于模拟数据创建的rl代理)如今可以协作，甚至竞争，因为它们都因做出最佳的/期望的制造产品的动作而获得奖励。在一些实施例中，从基于模拟的rl代理获得的数据(其导致最佳的制造产品的最佳的装配模式)可用于减少实际训练数据集的可能性空间。例如，可以使用模拟rl代理来确定最佳的装配模式，然后可以仅针对最佳的装配模式收集实际训练数据，而不是针对非最佳的装配模式收集实际训练数据。通过仅专注于收集实际训练数据或最佳的装配模式，可以收集较少的训练数据和/或可使用较大的容量以收集更多实际训练数据，但仅针对最佳的装配模式。
44.仅依靠强化学习来优化流水线是有限的，因为奖励有时会发生冲突。例如，在产品的装配中，一些rl代理可能会因为最少的假移动数量(例如，折叠并立即对该折叠撤消折叠，或添加缝合并立即取消该缝合)而被奖励，而其他rl代理可能会因为速度被奖励。因为速度而被奖励的rl代理可能会确定更多的假移动会导致更快的装配时间，因为在装配过程中的下游需要更少的修正。做出此类实现权衡决策并不是人类容易算出的事情。即使具有
经验和大量的示例，人类仍然缺乏理解最终结果如何从以不同方式工作的不同操作员产生的微妙之处的计算能力。
45.为了解决这些相互冲突的rl代理优化，可以部署gan以充当仲裁者。冲突可以发生在基于实际训练数据的rl代理之间、基于模拟数据的rl代理之间和/或基于实际训练数据的rl代理与基于模拟数据的rl代理之间。
46.在一些实施例中，gan可以测试每个rl代理并存储结果以创建更加稳健的神经网络。gan通过采用rl代理并使用在零和博弈中产生胜者和败者的模型来工作。在gan中，有“生成器”和“鉴别器”。在这种情况下，生成器将存储来自冲突rl代理的奖励数据，而鉴别器将评估其中哪些与创建期望的制造产品的任务最相关。gan使用深度网络节点(或神经元)来决定如何对节点进行加权。由于每个rl代理都认为它已经做出了最佳的决策，因此gan的作用是确定哪个冲突rl代理实际上做出了最适当的选择，鉴别器相应地调整权重。当冲突rl代理之间进行零和博弈时，会在冲突rl代理之间产生一组胜者，只有那些胜者才会用于优化流水线中工作流程所使用的机器学习模型。尽管可能已经产生了大量数据来确定获胜的rl代理，但结果比用于创建和查找这些用作为输入节点的胜者的数据要稀疏得多。
47.在一些实施例中，一旦确定了哪些rl代理在gan的较量中幸存下来并得到正确的奖励，它们就可以被输入到被称为循环神经网络(rnn)的另外的ai系统中。rnn与cnn有很多相似之处，因为它是深度学习神经网络，通过输入数据的各种形式的加权来优化最终结果。与cnn不同的一个区别是，cnn是从输入到输出的线性过程，rnn是反馈所得输出的循环，甚至内部节点作为新的训练信息。rnn既是反馈系统又是前馈系统。
48.人工智能过程控制(aipc)的真实应用涉及向流水线中已经完成其任务的操作员提供反馈(例如，通过自动修改视频指令)，以及向流水线中下游尚未完成其任务(“前馈”)的操作员提供指令(还例如，通过自动修改视频指令)。该反馈
‑
前馈系统或aipc可以利用本文所述的ai方法实现，并且在一些实施例中，以本文所述的特定顺序实现，以便流水线中的操作员可以做出优化最终制造产品的选择，无需额外的人工监督。
49.在一些实施例中，这涉及将以上系统仅压缩为rnn，并且以两种方式查看在创建一个或更多个制造产品的过程中的每个移动：成功或不成功。每个移动都作为训练。如果rnn的输出节点不是最优的，那么网络可以反馈给流水线中的实际个体以做出不同的选择，并且在通过rnn的许多节点和层的路径中，可以重新加权权重并将输出标记为成功或不成功。随着过程的迭代，权重本身的准确性会提高。此外，网络可以了解什么是有效的，什么是无效的，即使执行装配的个体并不了解。这增加到训练集。还允许在装配过程的不同阶段进行调整。在某些情况下，可能会发现在任何给定时刻生产具有特定特征的制品的最佳的方法是不回到起点，而是随着过程的进展调整指令。然后，rnn总是针对最佳的制造产品进行优化，并学习向已执行其任务的生产线中操作工位处的每个操作员提供反馈，并向尚未执行其任务的生产线中操作工位处的操作员前馈信息。
50.图1概念性地示出了根据所公开的技术的一些方面的用于实施生产线部署的示例性过程100的流程图。图1的过程开始于步骤102，其中，开始生产部署。示例性生产线的工作流程通常包括在其中装配或制造工件(产品)的多个操作工位(节点)。各个节点可以按顺序组织，以便每个后续节点处的工作仅在前一个节点处的操作完成后才开始。
51.在步骤104中，生成和/或更新一个或更多个参考视频。如上所述的视频，可用于向
特定节点(本文也称为操作工位)提供制造/装配指令。也就是说，可以向工作流程中的每个节点提供参考视频，该参考视频为如何完成制造工作流程中与该特定节点对应的步骤提供指导。
52.在步骤106中，将在步骤104中生成的每个视频部署到相应的工位/节点。举例来说，给定的工作流可以包括十个节点，每个节点具有各自的和不同的/唯一的参考视频。在其他实施方式中，视频的数量可以少于节点的总数。根据实施方式，在各个工位/节点处部署的参考视频可能是唯一的，或者可能提供类似的指导/指令。如下文进一步详细讨论的，参考视频的内容可以是动态的，并且可以随时间更新/增强。
53.在步骤108中，在每个工位/节点处捕获动作的连续记录。动作记录产生的动作数据可以描述操作员与工作流程中其节点/工位处的工件/组件/工具的交互。即，在每个节点捕获的动作数据可以表示与产品装配或制造的特定部分相对应的一个或更多个操作员动作，并且可以与由与该节点相关联的参考视频提供的指令相对应。在某些情况下，动作捕获可以包括视频数据的捕获，即，捕获在该工位处操作员的全部动作或部分动作的记录。在其他实施例中，动作捕获可以包括3d点云的记录，例如，在图像捕获设备的视野中记录一个或更多个特定点的动作。操作员的动作以及组件的属性(例如，组件质量、抗拉强度、缺陷数量)都可以在工作流程中的每个节点/工位上捕获。
54.在步骤110中，可以计算过程方法分析偏差，其中，可以分析在步骤108中为一个或更多个工位捕获的动作数据以识别与比较模型的任何偏差，例如，比较模型包括(或表示)相应工位的理想化的动作曲线。如图1所示，步骤110可以利用aipc深度学习模型(步骤112)，例如，其可以被配置为识别/分类与比较模型的动作偏差，并就装配或制造过程可能如何受到影响做出推断。该比较可以在每个工位级别和/或整个过程级别上进行。分析还可以考虑每个工位处的组件属性或组件与基线的偏差，以及工位的动作偏差如何影响组件的质量。
55.在步骤112中调用的aipc深度学习模型可以基于各种类型的训练数据的集合，例如，可以包括给定工位/节点的理想的或质控的装配/制造交互的示例。还可以使用由领域/行业信息115提供的数据、客户对使用过程100制造的特定产品的反馈(步骤111)提供的数据、对使用过程100(步骤113)制造的特定产品的质量控制检查的反馈提供的数据来增强(或调整)aipc深度学习模型。应当理解的是，aipc深度学习模型可以使用多种计算系统来实现，计算系统包括分布式硬件和/或软件模块。举例来说，aipc深度学习模型可以使用分布式系统来实现，分布式系统包括多个图像捕获设备和多个显示设备，这些设备部署在流水线处并耦接到一个或更多个被配置为实现各种ai/机器学习模型和/或分类器的系统。
56.一旦在步骤110中检测/识别出与比较模型的偏差，就可以使用aipc深度学习模型112生成步骤114中的自动调整。如上所讨论的，视频调整可以针对提升工作流程中一个或更多个工位处的制造/装配质量。例如，视频调整可以应用于已知的(或预测的)会产生误差的给定节点/工位，例如，为了以减少或修复原点误差的方式改变提供给操作员的指令或指导。在其他实施方式中，视频调整可应用于在产生误差的工位的下游，例如，在制造工作流程完成之前校正误差。在进一步的实施方式中，一旦工作流程完成，就可以分析整个工作流程并且可以对工作流程中的一个或更多个工位进行调整。
57.在一些实施例中，在检测到误差之后立即实时进行调整。在其他实施例中，以固定
间隔或在工作流程完成之后进行调整。
58.在一些方面，在步骤114确定的自动调整可以在步骤117总结和/或作为生产质量报告提供。例如，从动作偏差的分析(步骤110)产生的调整可以用于产生一个或更多个质量报告，该质量报告基于与装配/制造过程的理想化模型的已识别偏差来描述工件的各个质量方面。
59.图2示出了根据本技术的一些方面的用于执行可用于促进装配误差校正的误差检测分析的示例性过程200。
60.从步骤210处开始，可以实施使用理想化的视频指导来改进制造/装配的过程。在步骤215中，执行一个或更多个装配工位的视频跟踪。视频跟踪可以包括在给定工位/节点处人工操作员的记录。在一些实施例中，视频跟踪可进一步包括在给定工位/节点处组件属性的捕获。
61.在步骤220至步骤224中，执行处理以分析来自装配工位的记录视频。例如，在一些实施例中，可以执行背景提取以隔离所记录视频中的移动/组件。在一些方面，一旦完成背景提取，处理过的视频仅包含与装配操作员(步骤224)和在相应装配步骤(步骤220)中使用的涉及的组件有关的动作/视频数据。在步骤220中，可以执行附加的处理以隔离零件/组件。如过程200的示意图所示，步骤220可以包括附加的处理操作，附加的处理操作包括异常检测(步骤221)、表面变化的检测(222)以及部件分类和/或质量评分(步骤223)。应当理解的是，任何视频处理步骤都可以使用各种信号和/或图像处理技术来执行，包括但不限于一个或更多个ai/机器学习算法和/或分类器的使用，例如，执行异常检测(221)，检测表面变化(222)，和/或执行评分/分类(步骤223)。
62.在处理步骤220至步骤224完成之后，过程200可以进行到步骤226，其中，执行动作比较。动作比较(步骤226)可以包括涉及一个或更多个工位/节点处的一个或更多个工位操作员的过程装配工位视频数据与相应的理想化视频/动作数据的比较。跨多个工位/节点执行的动作比较可用于推断/预测最终零件/组件质量的变化。
63.在步骤228中，可以执行各种零件/组件的方差/质量分类。举例来说，零件/组件可以被分为不同的质量等级和/或可根据它们相关联的分类/差异进行拆卸或维修。
64.在确定分类/差异之后，过程200可以进行到步骤230，其中，执行整个过程/工作流程的分析，例如，基于在步骤226和步骤228中确定的每个工位/节点的分类/差异。通过分析整个工作流程，可以对视频进行自动调整，以解决如上所述的检测到的偏差/缺陷。
65.图3示出了可以用于实现所公开的技术的系统的示例性处理设备。处理设备300包括主中央处理单元(cpu)362、接口368和总线315(例如，pci总线)。当在适当软件或固件的控制下动作时，cpu 362负责执行所公开的技术的各种误差检测监控和过程调整步骤。cpu 362优选地在包括操作系统和任何适当应用软件的软件的控制下完成所有这些功能。cpu362可以包括一个或更多个处理器363，例如来自摩托罗拉(motorola)系列微处理器或mips系列微处理器的处理器。在可替代的实施例中，处理器363是专门设计的用于控制aipc系统310的运行的硬件。在特定的实施例中，存储器361(例如非易失性ram和/或rom)也形成cpu 462的部分。然而，存在许多不同的可以将存储器耦接到系统的方式。
66.在一些方面，处理设备310可以包括图像处理系统370或可以与图像处理系统370耦接。图像处理系统370可以包括多种图像捕获设备，例如，能够监控操作员移动并生成动
作数据的摄像机。举例来说，图像处理系统370可以被配置为捕获视频数据和/或输出/生成3d点云。
67.接口368通常被提供作为接口卡(有时称为“线卡”)。通常，它们通过网络控制数据包的发送和接收，有时支持与路由器一起使用的其他外围设备。可以提供的接口包括以太网接口、帧中继接口、电缆接口、dsl接口、令牌环接口等。此外，可以提供各种超高速接口，例如快速令牌环接口、无线接口、以太网接口、千兆以太网接口、atm接口、hssi接口、pos接口、fddi等。通常，这些接口可以包括适于与适当的介质通信的端口。在某些情况下，它们还可能包括独立的处理器，在某些情况下，还包括易失性ram。独立处理器可以控制诸如分组交换、介质控制和管理之类的通信密集型任务。通过为通信密集型任务提供单独的处理器，这些接口允许主微处理器362高效地执行路由计算、网络诊断、安全功能等。
68.虽然图3所示的系统是本发明的一种具体的处理设备，但它绝不是可以实现本发明的唯一的网络设备架构。例如，经常使用具有处理通信以及路由计算等的单处理器的架构。进一步地，也可以使用其他类型接口和介质。
69.不管网络设备的配置如何，都可以采用一个或更多个存储器或存储器模块(包括存储器361)，其被配置为存储用于通用网络操作的程序指令和本文所述的漫游、路由优化和路由功能的机制。例如，程序指令可以控制操作系统的操作和/或一个或更多个应用程序的操作。一个或更多个存储器还可以被配置为存储诸如移动绑定、注册和关联表等的表。
70.各种实施例的逻辑操作被实现为：(1)在通用计算机内的可编程电路上运行一系列计算机实现的步骤、操作或过程，(2)在特定用途的可编程电路上运行的一系列计算机实现的步骤、操作或过程；和/或(3)在可编程电路内互连的机器模块或程序引擎。系统300可以实践全部或部分所述方法，可以是所述系统的部分，和/或可以根据所述非暂时性计算机可读存储介质中的指令进行操作。此类逻辑操作可以被实现为模块，该模块配置为控制处理器363以根据模块的编程来执行特定功能。
71.应当理解的是，所公开的过程中的步骤的任何特定顺序或层次是对示例性方法的说明。基于设计偏好，应当理解的是，过程中步骤的特定顺序或层次可以重新排列，或者仅执行所示步骤的部分。一些步骤可以被同时执行。例如，在某些情况下，多任务处理和并行处理可能是有利的。此外，上述实施例中各个系统组件的分离不应理解作为在所有实施例中都需要此类分离，应当理解的是，所描述的程序组件和系统一般可以集成在单个软件产品中或打包成多种软件产品。
72.提供前述描述以使本领域技术人员能够实践本文描述的各种方面。对这些方面的各种修改对于本领域技术人员来说将是显而易见的，并且本文定义的一般原理可以应用于其他方面。因此，权利要求不旨在限于本文所示的方面，而是被赋予与语言权利要求一致的全部范围，其中，除非具体来说，否则引用单数形式元素并不旨在表示“一个且仅一个”，而是“一个或更多个”。
73.诸如“方面”之类的短语并不暗示此方面对于本主题技术是必不可少的或者此方面适用于本主题技术的所有配置。与一方面相关的公开可适用于所有配置，或者可适用于一种或更多种配置。诸如方面之类的短语可以指一个或更多个方面，反之亦然。诸如“配置”之类的短语并不暗示此配置对于本主题技术是必不可少的或者此配置适用于本主题技术的所有配置。与配置相关的公开可适用于所有配置，或者可适用于一种或更多种配置。诸如
配置之类的短语可以指一种或更多种配置，反之亦然。
74.本文中使用的词语“示例性”意指“作为示例或说明”。本文中描述为“示例性”的任何方面或设计不一定被解释为比其他方面或设计优选或有利。