用于制造过程的系统、方法和介质与流程

用于制造过程的系统、方法和介质
1.相关申请的交叉引用
2.本技术要求于2019年11月6日提交的美国临时申请序列no.62/931,448、于2019年11月7日提交的美国临时申请序列no.62/932,063以及于2019年11月6日提交的美国临时申请序列no.62/931,453的优先权，通过引用将以上申请的全部内容并入本文。
技术领域
3.本公开总体上涉及一种用于制造过程的系统、方法和介质。


背景技术：

4.从18世纪工业革命的开始，自动化控制了商品的生产。虽然今天的工厂已经完全接受自动化作为核心原理—机器人在高生产环境中执行许多可重复的任务—但许多装配任务继续由人执行。这些任务由于成本、严重故障的风险或者部署用于低量生产运行的机器人系统的组织工作而难以自动化。这些生产线由标准过程控制和人员管理监督，使得装配者被教授随着时间执行一定的质量度量，或者它们由另一操作员替换。自装配出现以来，这个过程在很大程度上保持不变。


技术实现要素：

5.在一些实施例中，本文公开了一种制造系统。该制造系统包括监测平台、控制模块以及一个或更多个站。每个站被配置为执行部件的多步骤制造过程中的至少一个步骤。监测平台被配置为监测部件在整个多步骤制造过程中的进展。控制模块被配置为动态地调整多步骤制造过程的步骤的处理参数以实现部件的期望的最终质量度量，控制模块被配置为执行操作。操作包括接收一个或更多个站中的第一站的工具的图像数据。操作还包括从图像数据识别一组关键点。关键点对应于工具在第一站处的处理期间的位置信息。操作还包括通过机器学习模型基于关键点来确定部件的最终质量度量。操作还包括确定最终质量度量不在最终质量度量的阈值容差内。操作还包括：基于所述确定，更新多步骤制造过程中的后续站的处理参数。
6.在一些实施例中，本文公开了一种制造系统。该制造系统包括监测平台、控制模块以及一个或更多个站。每个站被配置为执行部件的多步骤制造过程中的至少一个步骤。监测平台被配置为监测部件在整个多步骤制造过程中的进展。控制模块被配置为动态地调整多步骤制造过程的步骤的处理参数以实现部件的期望的最终质量度量，控制模块被配置为执行操作。操作包括在一个或更多个处理站中的第一处理站处识别对应于部件的位置信息。操作还包括基于对应于部件的位置信息确定存在不可逆误差。操作还包括基于所述确定，生成更新的指令集以校正不可逆误差，更新的指令集由下游站执行。操作还包括由机器学习模型基于更新的指令集预测部件的最终质量度量。操作还包括基于预测的最终质量度量，将更新的指令集提供给下游站。
7.在一些实施例中，本文公开了一种制造系统。该制造系统包括监测平台、控制模块
以及一个或更多个站。每个站被配置为执行部件的多步骤制造过程中的至少一个步骤。监测平台被配置为监测部件在整个多步骤制造过程中的进展。控制模块被配置为动态地调整多步骤制造过程的步骤的处理参数以实现部件的期望的最终质量度量，控制模块被配置为执行操作。操作包括接收一个或更多个站中的第一站的工具的图像数据。操作还包括从图像数据识别一组关键点。关键点对应于工具在第一站处的处理期间的位置信息。操作还包括通过机器学习模型基于关键点来确定部件的最终质量度量。操作还包括确定最终质量度量不在最终质量度量的阈值容差内。操作还包括基于所述确定，推断对应于第一处理站处的部件的位置信息。操作还包括基于所述确定，生成将由下游站执行的更新的指令集。操作还包括由机器学习模型基于更新的指令集来预测部件的最终质量度量。操作还包括基于预测的最终质量度量，将更新的指令集提供给下游站。
附图说明
8.为了能够详细理解本公开的上述特征的方式，可以通过参考实施例(在附图中示出了这些实施例中的一些)来得到以上简要概述的本公开的更具体描述。然而，应注意，附图仅示出了本公开的典型实施例，且因此不被应视为限制其范围，因为本公开可允许其他等效实施例。
9.图1是示出根据示例实施例的制造环境的框图。
10.图2是示出根据示例性实施例的控制模块的框图，。
11.图3是示出根据示例实施例的lstm模型的示例性架构的框图。
12.图4是形象地示出根据示例实施例的用于工具模块的反馈区段的总过程流程的框图。
13.图5是示出根据示例实施例的gru模型的架构的框图。
14.图6是示出根据示例实施例的校正多步骤制造过程的方法的流程图。
15.图7是示出根据示例实施例的校正多步骤制造过程的方法的流程图。
16.图8a示出了根据示例实施例的系统总线计算系统架构。
17.图8b示出了根据示例实施例的具有芯片组架构的计算机系统。
18.为了便于理解，在可能的情况下，已经使用相同的参考数字来指代附图中共有的相同元素。预期在一个实施例中公开的元素可有益地用于其他实施例而无需具体叙述。
具体实施方式
19.制造过程可以是复杂的并且包括由不同的处理站(或“站”)处理直到生产最终部件的原材料。在一些实施例中，每个处理站接收用于处理的输入并且可以输出中间输出，该中间输出可以被传递到后续(下游)处理站以用于附加的处理。在一些实施例中，最终处理站可接收用于处理的输入并且可输出最终部件或更一般地输出最终输出。
20.在一些实施例中，每个站可以包括一个或更多个工具/设备，该一个或更多个工具/设备可以执行一组处理步骤。示例性处理站可以包括但不限于传送带、注塑成型压机、切割机、冲模机、挤压机、计算机数控(cnc)铣床、研磨机、装配站、三维打印机、质量控制站、验证站等。
21.在一些实施例中，每个处理站的操作可以由一个或更多个过程控制器管理。在一
些实施例中，每个处理站可包括一个或更多个过程控制器，一个或更多个过程控制器可被编程以控制处理站的操作。在一些实施例中，操作员或控制算法可以为站控制器提供站控制器设定点，这些站控制器设定点可以表示每个控制值的期望值或值范围。在一些实施例中，用于制造过程中的反馈或前馈的值可以被称为控制值。示例性控制值可以包括但不限于：速度、温度、压力、真空、旋转、电流、电压、功率、粘度、在站处使用的材料/资源、生产速率、中断时间、有害烟雾等。
22.本文提供的一种或更多种技术通过提供一种系统来改进常规过程，通过该系统，可以将图像和/或视频数据用于预测或预报部件的最终质量度量。在一些实施例中，该系统可以包括监测系统，该监测系统被配置为捕获或记录制造系统的每个处理节点或站的工具的视频和/或图像数据。基于在处理步骤期间工具的定位，本系统可以被配置为预测或预报部件的最终质量度量。如果预测的最终质量度量落在可接受值的范围之外，则本系统可以生成更新的处理指令并向下游处理节点和/或站提供更新的处理指令，以试图校正处理中的任何误差，使得可以实现期望的最终质量度量。
23.在一些实施例中，该系统可以包括监测系统，该监测系统被配置为捕获或记录制造系统的每个处理节点或站处的部件的视频和/或图像数据。基于关于处理节点末端处的部件的视觉信息，本系统可以被配置为预测或预报部件的最终质量度量。如果预测的最终质量度量落在可接受值的范围之外，则本系统可以生成更新的处理指令并向下游处理节点和/或站提供更新的处理指令，以试图校正处理中的任何误差，使得可以实现期望的最终质量度量。
24.以此方式，本系统能够在制造过程的任何阶段预测或预报部件的最终质量度量，而不必实际测试该部件。这种系统对于以其他方式需要破坏性测试的最终质量度量特别有用，或者对于直到处理完成才能评估的最终质量度量特别有用。
25.图1是示出根据示例实施例的制造环境100的框图。制造环境100可以包括制造系统102、监测平台104和控制模块106。制造系统102可以广泛地表示多步骤制造系统。在一些实施例中，制造系统102可表示装配线系统，其中每个处理站可表示工作人员。在一些实施例中，制造系统102可以表示用于在增材制造(例如，3d打印系统)中使用的制造系统。在一些实施例中，制造系统102可以表示在减材制造(例如，cnc机加工)中使用的制造系统。在一些实施例中，制造系统102可以表示在增材制造和减材制造的组合中使用的制造系统。更一般地，在一些实施例中，制造系统102可以表示用于在一般制造过程中使用的制造系统。
26.制造系统102可包括一个或更多个站108
1-108n(通常，“站108”)。每个站108可以表示多步骤制造过程中的步骤和/或站。例如，每个站108可以表示3d打印过程中的层沉积操作(例如，站1081可以对应于层1，站1082可以对应于层2等)。在另一示例中，每个站108可对应于特定处理站。在另一示例中，每个站108可对应于在装配线制造过程中执行特定任务的特定人工操作员。
27.每个站108可以包括过程控制器114和控制逻辑116。每个过程控制器114
1-114n可被编程以控制每个相应站108的操作。在一些实施例中，控制模块106可为每个过程控制器114提供站控制器设定点，该站控制器设定点可表示用于每个控制值的期望值或值的范围。控制逻辑116可参考与站108的处理步骤相关联的属性/参数。在操作中，根据最终质量度量的当前轨迹，可以由控制模块106在整个制造过程中动态地更新用于每个站108的控制逻辑
116。
28.监测平台104可以被配置为监测制造系统102的每个站108。在一些实施例中，监测平台104可以是制造系统102的部件。例如，监测平台104可以是3d打印系统的部件。在一些实施例中，监测平台104可以独立于制造系统102。例如，监测平台104可以改装到现有制造系统102上。在一些实施例中，监测平台104可以表示被配置为在多步骤处理的每个步骤处捕获部件或工具(例如，工人或处理工具)的图像的成像装置。例如，监测平台104可以被配置为捕获在每个站108处的部件的图像和/或在每个站108处开发部件的部件(例如，工具、人等)的图像。通常，监测平台104可以被配置为捕获与部件(例如，图像、电压读数、速度读数等)和/或工具(例如，手位置、工具位置等)的生产相关联的信息，并且将该信息作为输入提供给控制模块106用于评估。
29.控制模块106可以经由一个或更多个通信信道与制造系统102和监测平台104通信。在一些实施例中，一个或更多个通信信道可表示经由互联网(诸如蜂窝或wi-fi网络)的单独连接。在一些实施例中，一个或更多个通信信道可使用诸如射频识别(rfid)、近场通信(nfc)、蓝牙
tm
、低能耗蓝牙
tm
(ble)、wi-fi
tm
、zigbee
tm
、环境反向散射通信(abc)协议、usb、wan或lan等的直接连接来连接终端、服务和移动装置。
30.控制模块106可以被配置为控制制造系统102的每个过程控制器。例如，基于由监测平台104捕获的信息，控制模块106可以被配置为调整与特定站108相关联的过程控制。在一些实施例中，控制模块106可被配置为基于预计的最终质量度量来调整特定站108的过程控制。
31.图2是示出根据示例性实施例的控制模块106的框图。控制模块106可以包括工具模块202和部件模块204。
32.工具模块202可以被配置为基于通过监测平台104获得的图像数据来预计标本在给定生产阶段的最终质量度量。在操作中，控制模块106可以从监测平台104接收输入。在一些实施例中，这样的输入可以采取在多步骤制造过程的给定步骤处执行子过程的工具的图像或视频的形式。例如，该图像或视频数据可以包括在执行多步骤制造过程的特定子过程时人的手的图像或视频数据。在另一示例中，图像或视频数据可包括执行沉积多层制造过程的特定层的三维打印机的图像或视频数据。基于该输入，控制模块106可以预计部件的最终质量度量。根据部件的预计最终质量度量，控制模块106可以确定在后续制造步骤中要采取的一个或更多个动作，以便达到期望的或阈值最终质量度量。例如，如果预计的最终质量度量落在可接受值的范围之外，则控制模块106可采取一个或更多个行动以纠正制造过程。在一些实施例中，控制模块106可以与后续站108中的站控制器对接，以调整它们相应的控制和/或站参数。在一些实施例中，控制模块106可为人类制造商提供将在生产线的每个下游处理站处执行的更新的指令。这些调整可有助于校正制造过程，使得最终质量度量可在可接受质量度量的范围内。
33.部件模块204可被配置为基于由监测平台104获得的图像数据来预计标本在给定生产阶段的最终质量度量。在一些实施例中，部件模块204可以从监测平台104接收输入。在一些实施例中，这样的输入可以采取在多步骤制造过程的给定步骤处的部件的图像或视频的形式。在一些实施例中，部件模块204可以从工具模块202接收多步骤制造过程的给定步骤处的推断的部件数据。例如，工具模块202可以基于工具图像或视频数据推断关于多步骤
制造过程的给定步骤处的部件的信息并且将推断的信息作为输入提供至部件模块204。基于该输入，部件模块204可预计部件的最终质量度量。根据部件的预计最终质量度量，部件模块204可确定在后续制造步骤中要采取的一个或更多个动作，以便达到期望或阈值最终质量度量。例如，如果预计的最终质量度量落在可接受值的范围之外，则部件模块204可识别一个或更多个动作以纠正制造过程。在一些实施例中，控制模块106可以与后续站108中的站控制器对接，以调整它们相应的控制和/或站参数。在一些实施例中，控制模块106可为人类制造商提供将在生产线的每个下游处理站处执行的更新的指令。这些调整可有助于校正制造过程，使得最终质量度量可在可接受质量度量的范围内。
34.工具模块202和部件模块204中的每一个可以包括一个或更多个软件模块。一个或更多个软件模块可以是存储在介质(例如，与控制模块106相关联的计算系统的存储器)上的代码或指令的集合，该代码或指令的集合表示实施一个或更多个算法步骤的一系列机器指令(例如，程序代码)。这样的机器指令可以是处理器解释以实现指令的实际计算机代码，或者可替代地，可以是被解释以获得实际计算机代码的指令的更高级编码。一个或更多个软件模块还可以包括一个或更多个硬件部件。示例算法的一个或更多个方面可由硬件部件(例如，电路)本身执行，而不是作为指令的结果。此外，在一些实施例中，工具模块202和部件模块204中的每一个均可以被配置为在部件之间传输一个或更多个信号。在这样的实施例中，这样的信号可以不限于由计算装置执行的机器指令。
35.在一些实施例中，工具模块202和部件模块204可以经由一个或更多个局域网通信。网络可以是任何合适的类型，包括经由互联网(诸如蜂窝或wi-fi网络)的单独连接。在一些实施例中，网络可以使用诸如射频识别(rfid)、近场通信(nfc)、蓝牙
tm
、低能耗蓝牙
tm
(ble)、wi-fi
tm
、zigbee
tm
、环境反向散射通信(abc)协议、usb、wan或lan等的直接连接来连接终端、服务和移动装置。由于所传输的信息可以是个人的或机密的，安全问题可规定这些类型的连接中的一个或更多个被加密或以其他方式被保护。然而，在一些实施例中，所传输的信息可能是较少个人的，因此为了方便而不是安全，可选择网络连接。
36.工具模块202可以包括采集系统206、提取器模块208和预测模块210。通常，多节点或多站装配环境(诸如制造系统102)可以被广泛地表示为其中可以表示部件在所有i节点处的状态，并且可以表示在所有i节点处，将由工具在部件上执行的一组动作。给定标准或规范质量测量vc，工具模块202可以被配置为利用估计的质量度量优化装配过程中的误差，使得可以在阈值距离vc内。在一些实施例中，工具模块202可以估计状态以及动作状态可以是在所有n个节点处的部件的状态的数字表示，动作可表示每个节点处的指令或控制值。
37.采集系统206可被配置为在每个节点n处接收装配过程的图像数据。在一些实施例中，采集系统206可以接收监测平台104的装配过程的图像数据。在一些实施例中，对于每个节点n，采集系统206可以接收v个图像，其中v可以表示可以记录每个节点处的装配过程的监测平台104的相机的数量。因此，v个图像中的每个图像可以在处理期间捕获部件的不同视角。在接收到图像数据之后，采集系统206可以被配置为提取帧的图像的子集。例如，采集
系统206可以被配置为从所接收的图像数据中提取l个图像。提取的图像可被称为界标帧。界标帧可以是处于高运动的那些图像帧。提取的图像可包括包含部件的某些界标的那些图像或帧，其中并且可以表示部件的整个制造过程。
38.针对给定操作员的最小运动(例如，“界标”)帧和最大运动(例如，“高运动”)帧两者可以包含针对分类器的有用信息，所述分类器尝试跨多个操作员以鲁棒的方式使手指-手-臂数据与飞行性能数据相关联。在一些实施例中，光流算法可以用于测量任何给定帧中的运动量。采集系统206可以选择包含最多运动的那些帧。
39.提取器模块208可被配置为从l个图像提取关键点。例如，提取器模块208可被配置为每个界标ii提取k个关键点(即，(x,y)对)。换言之，提取器模块208可被配置为针对给定输入(其中l∈[0,l-1])，输出k个关键点。作为输出，提取器模块208可以生成单个向量这个向量可以包括k个(x,y)对的界标表示，k个(x,y)对可以由表示，其中i∈[0,l-1]。
[0040]
在一些实施例中，为了生成提取器模块208可以实现两种单独的算法：(1)边界框估计；以及(2)关键点检测。
[0041]
关于边界框估计，给定每个界标帧可以用阈值图像分割来处理以生成用于每个工具部件的掩模图像。例如，在工具是人的实施例中，提取器模块208可以针对用户的每只手生成掩模图像。在一些实施例中，提取器模块208可以实施斑点检测以定位工具的部件。使用人作为示例，提取器模块208可假设图像总是包含用户的左手和右手。当帧未能包含双手时，提取器模块208可向值分配任意常数值c。
[0042]
关于关键点检测，提取器模块208可以基于估计的边界框识别工具的关键点。例如，在给定输入的情况下，提取器模块208可以估计k个点连同其置信值在一些实施例中，提取器模块208不仅可以估计在帧上可见的点，而且可以估计由于关节连接、视点、对象或工具交互中的一个或更多个而可能在帧中被遮挡的点。因为目的可能是使用跟踪的关键点来预测质量测量，所以非估计的被遮挡点可能是表示装配过程的独特且重要的特征。因此，遮挡阈值to可以从对界标帧的小的随机选择的子集中的遮挡点上的ci值的观测得出。使用to，提取器模块208可以过滤掉co《to的估计。对于那些经过滤的点，提取器模块208可以将任意的常数值c分配给它们。无论帧上的工具或关键点的可见度如何，提取器模块208的输出都可以包括用于每个部件的l*k(x,y)对。
[0043]
换言之，提取器模块208可以被配置为为被遮挡的部件分配默认的基础置信水平，因此估计那些关键点，使得全组关键点可以被用于测量所观测的试验工具部件位置与规范工具部件位置之间的差异。在一些实施例中，工具模块202可以得出关于部件在给定时间点(例如，站i)处的状态的推断，然后输出推荐的根据规范修正的后续动作以进行校正测量的差异。
[0044]
预测模块210可以被配置为预测最终质量度量例如，给定l个时间点的工具跟踪信息预测模块210可以被配置为预测最终质量度量其中，
可以从每个处理站108收集。在一些实施例中，预测模块210可实现长短期记忆(lstm)模型以输出最终质量度量。lstm模型可允许预测模块210克服在常规递归神经网络中常见的消失梯度问题。消失梯度问题是模型未能针对长序列输入将早期输入与较晚输入相关的情况。lstm模型消除了这个问题。
[0045]
图3是示出根据示例实施例的lstm模型的示例性架构的框图。如图所示，lstm模型300可包括三层302
1-3023(通常为层302)。如图所示，每个层302可以包括一个或更多个单元304。在一些实施例中，每个单元304的输入可以是pi，其中i∈[0,l-1]。lstm中的每个单元可被定义为：
[0046]
等式1：fi＝σ(wf*[h
i-1
,pi] bf)
[0047]
等式2：i_i＝σ(w_i*[h_(i-1),p_i] b_i)
[0048]
等式3：c＝fi*c
t-1
ii*tanh(wc*[h
i-1
,pi] bc)
[0049]
等式4：oi＝σ(wo*[h
i-1
,pi] bo)
[0050]
等式5：hi＝oi*tanh ci[0051]
其中，等式1决定是否保持来自前一单元的信息；等式(2)决定更新哪些值；等式(3)更新单元；以及等式(4)决定输出哪个部分。等式(5)可对输出部分进行过滤，使得lstm模型300仅输出其被编程为输出的内容。
[0052]
在一些实施例中，lstm模型300可包括具有30个隐藏尺寸的三个层302。在一些实施例中，lstm模型300可为序列对一的lstm模型。对于训练，可以使用亚当优化器来最小化l1、平均绝对误差(mae)、损失函数：
[0053][0054]
在一些实施例中，不管误差的方向如何，都可以使用mae，因为目标可以是最小化或减小误差的大小。
[0055]
返回参见图2，可以使用规范指令集和多个分量m来训练预测模块210。例如，使用m个数据的10个节点视频，可以通过首先通过采集系统206和提取器模块208进行预处理来构造预测模块210的输入。在一些实施例中，可以通过检查其成分(例如，形状)的验证算法来验证训练中涉及的每个分量。在一些实施例中，验证算法可以通过将成分与规范成分进行比较来计算关于每个节点的末端处的成分的相似性指数。因此，用于训练的分量大致类似于规范成分。
[0056]
在一些实施例中，对于输出，可在受控环境中测试对应物理部件以测量其质量度量。使用具有对应输出数据的所准备的输入数据，预测模块210可以被训练，例如，其中m的一部分是训练数据并且m的另一部分是验证数据。一旦被训练，预测模块210就能够基于工具的图像数据在给定处理步骤处预测部件的质量测量。
[0057]
现在参考部件模块204，部件模块204可以包括随机梯度下降(sgd)模块212、门控循环单元(gru)模型214和模拟模块216。出于本讨论的目的，部件的部分构造可以被定义为其中步骤k在制造过程中引入不可逆误差，并且步骤k 1,...,n尚未定义。部件模块204可以被配置为识别剩余动作的最优校正序列[{r
k 1
,t
k 1
},...,{rn,tn}]，其中，r和t可以对应于在制造系统102的每个后续处理站(k 1至n)处对部件执行的特定操作。更一般地，任何
部件可以被定义为在制造系统的每个处理站1...n处执行的所有操作的序列。在数学上，在每个制造步骤i＝1,...,10处，虚拟表示系统可以将欧几里得空间中的分量(例如，)表示为一组连接表面和沿着每个表面的外轮廓均匀分布的一组连接点。在一些实施例中，生成这些表示的虚拟表示函数可以被分别称为和在一些实施例中，部件模块204可以被配置为朝向特定的规范部件校正
[0058]
模拟模块216可以被配置为模拟或生成给定部件的表面模型。例如，模拟模块216可以从工具模块202接收工具信息。基于由工具模块202生成的关键点，模拟模块216可以被配置为在特定过程步骤i处生成表示部件的状态的表面模型。在一些实施例中，表面模型可以被表示为在一些实施例中，模拟模块216可以进一步被配置为生成或估计部件的质量度量。根据表面模型，模拟模块216可以被配置为生成表示部件的特定坐标的点模型例如，根据表面模型模拟模块216可以通过在中围绕每个表面的边界轮廓均匀地间隔放置多个点来创建点模型在一些实施例中，可以用于模拟人工制品的性能。
[0059]
sgd模块212可以从模拟模块216接收点模型sgd模块212可以通过在步骤i处将点模型与规范部件的规范点模型进行比较来确定是否已经发生不可逆误差k。不可逆误差可以被定义为在步骤k与规范部件的可测量地显著的结构偏差。sgd模块212可以被配置为通过取豪斯多夫(hausdorff)距离来检测不可逆误差。例如，sgd模块212可以基于相应的欧几里得点集将当前部件的处理步骤与规范部件进行匹配。在数学上，sgd模块212可以被配置为计算与(其中i∈i＝1,...,n)之间的豪斯多夫距离。例如，
[0060][0061]
其中d(x,y)可以是x和y之间的欧几里得距离，并且无向豪斯多夫距离可以是：
[0062]
h(x,y)＝max{h(x,y),h(y,x)
[0063]
在当前部件与规范部件之间的豪斯多夫距离超过某个阈值容差时，可能存在不可逆误差。例如，sgd模块212可以在以下情况下确定在步骤k处发生误差：
[0064][0065]
其中，τh是一些适当定义的容差阈值。
[0066]
假设存在误差，sgd模块212可以被配置为构造一组更新的动作[{r
k 1
,t
k 1
},...,{rn,tn}]，假定是直到误差点(不可逆误差k)的一组动作。在一些实施例中，该组更新的动作可被称为x
tail
。在误差步骤k之前且包括误差步骤k的步骤或动作的序列可称为x
head
。x
tail
和x
head
一起可以定义部件基于x
head
，sgd模块212可以使用随机梯度下降法求解x
tail
。
[0067]
gru模型214可以被配置为基于来预测部件的最终质量度量，其中可以表示向量级联运算符。由gru模型214生成的最终质量度量可以与规范最终质量度量进行比较，以确定x
tail
是否合适。例如，假设x
tail
和x
head
的组合产生落在可接受值范围之外的最终质量度量，则gru模型214可以指示sgd模块212生成用于进一步评估的更新的动作的更新的序列。
[0068]
图5是示出根据示例实施例的gru模型214的架构的框图。如图所示，gru模型214可以包括n个gru单元502
1-502n(通常为gru单元502)，其中每个gru单元502对应于相应的处理站108。每个gru单元502可以包括预定尺寸的输入对(ri,ti)和隐藏状态输出这些输入对(ri,ti)可以一起定义给定部件在一些实施例中，每个gru单元502可以由以下定义：
[0069][0070][0071][0072][0073]
其中，可以是在时间t处的隐藏状态，可以是在时间t处的输入，并且和可以分别表示在时间t处的复位、更新和新门。
[0074]
gru模型214可以被训练以生成与其对应的权重。例如，可以迭代地训练gru模型214，以使gru模型214偏向求解特定子问题。在一些实施例中，在第一迭代过程中，gru模型214可以生成多个(例如，几百至几千个)最佳预测(步骤k处针对每个可能的误差的最佳预测)以在步骤k 1,...,n处，连同对应于每个预测的对应的预测的质量度量，完成给定部件
[0075]
在一些实施例中，可以在虚拟表示系统中渲染所有预测的飞机完成，计算它们的逐步豪斯多夫距离，并模拟它们的渲染表面，以获得生成的预测和规范之间的距离测量。在一些实施例中，可以计算规范质量度量与预测质量度量之间的损耗值并将该损耗值反馈到gru模型214中，可以经由反向传播来调整gru模型的权重，从而产生第二迭代。此过程可继续，直到获得期望的误差阈值。
[0076]
图4是形象地示出了根据示例实施例的用于工具模块202的反馈区段400的整体处理流程的框图。
[0077]
如图所示，反馈区段400可以包括第一部分402、第二部分404和第三部分406。在第一部分402期间，工具模块202可以执行采集过程，诸如至少部分由采集系统206执行的采集过程。
[0078]
如图所示，在框408处，制造系统102可以接收用于处理部件的处理指令。在一些实施例中，制造系统102可以在每个站108的基础上接收处理指令。例如，制造系统102的每个站108可以接收独立的处理指令。在一些实施例中，处理指令可包括定义用于制造的站108的属性(例如，温度、压力等)的控制值。在一些实施例中，处理指令可以包括形象地向人工
操作员示出如何在制造过程的处理节点处执行特定处理步骤的视频或图像。
[0079]
在框410处，采集系统206可以从监测平台104接收图像数据。在一些实施例中，对于每个节点n，采集系统206可以接收v个图像，其中v可以表示可以记录每个节点处的装配过程的监测平台104的相机的数量。在接收到图像数据之后，在框412处，采集系统206可以被配置为提取帧的图像的子集。例如，采集系统206可以被配置为从所接收的图像数据中提取l个图像。提取的图像可被称为界标帧。提取的图像可包括包含某些界标的那些图像或帧，并且可表示部件的整个制造过程。
[0080]
第二部分404可以对应于由提取器模块208执行的操作。如图所示，提取器模块208可从采集系统206至少接收提取的图像。提取器模块208可被配置为从l个图像提取关键点。例如，提取器模块208可以被配置为每个界标ii提取k个关键点(即，(x,y)对)。
[0081]
在框414处，提取器模块208可以执行边界框估计。例如，给定每个界标帧可以用阈值图像分割来处理以生成用于每个工具部件的掩模图像。例如，如所示出的，在工具是人的实施例中，提取器模块208可以针对用户的每只手生成掩模图像。
[0082]
在框416处，在给定边界框估计的情况下，提取器模块208可执行关键点检测。例如，在给定输入的情况下，提取器模块208可以估计k个点连同其置信值在一些实施例中，提取器模块208不仅可以估计在帧上可见的点，而且可以估计由于关节连接、视点、对象或工具交互中的一个或更多个而可能在帧中被遮挡的点。
[0083]
第三部分406可对应于由预测模块210执行的操作。如所示出的，在框418处，预测模块210可以从提取器模块208接收关键点信息，并且可以被配置为预测最终质量度量在一些实施例中，预测模块210可实现长短期记忆(lstm)模型以输出最终质量度量。
[0084]
图6是示出根据示例实施例的校正多步骤制造过程的方法600的流程图。方法600可在步骤602处开始。
[0085]
在步骤602处，可以将指令集提供给制造系统102。指令集可以表示用于由制造系统102执行的制造过程的一组指令。在一些实施例中，可以将指令集提供给每个站108。例如，提供给每个相应站108的每个规范指令集可以定义用于特定制造步骤的处理参数。在另一示例中，每个规范指令集可以是将由人工参与者在特定处理节点或站108处执行的离散步骤的视频。
[0086]
在步骤604处，控制模块106可以从监测平台104接收工具(例如，站108)的图像数据。例如，采集系统206可以在相应的处理节点处接收装配过程的图像数据。在一些实施例中，采集系统206可接收v个图像，其中v可表示可记录特定处理站108处的装配过程的监测平台104的相机的数量。因此，v个图像中的每个图像可以在处理期间捕获工具的不同视角。
[0087]
在步骤606处，控制模块106可从获得的图像数据提取图像子集。例如，在接收到图像数据之后，采集系统206可以被配置为提取帧的图像的子集。例如，采集系统206可以被配置为从接收的图像数据提取l个图像，即界标帧。提取的图像可被称为界标帧。界标帧可以是处于高运动的那些图像帧。提取的图像可包括包含部件的某些界标的那些图像或帧，其中并且可以表示部件的整个制造过程。
[0088]
在步骤608处，控制模块106可以从界标帧中提取工具的一个或更多个关键点。例
如，提取器模块208可从l个图像中提取关键点。提取器模块208可识别或提取给定输入的k个关键点，其中l∈[0,l-1]。作为输出，提取器模块208可以生成单个向量这个向量可以包括k个(x,y)对的界标表示，这些表示可以由表示，其中i∈[0,l-1]。
[0089]
在步骤610处，控制模块106可至少基于所识别的关键点来预测部件的最终质量度量。在一些实施例中，预测模块210可实现长短期记忆(lstm)模型以输出最终质量度量。
[0090]
在步骤612处，控制模块106可以将最终质量度量与期望的质量度量进行比较。如果在步骤610处，控制模块106确定最终质量度量是期望的质量度量的阈值容差，则制造过程可以根据原始指令集继续进行到下一处理站或节点(例如，步骤616)。然而，如果在步骤612处，控制模块106确定最终质量度量不在期望的质量度量的阈值容差内，则在步骤614处，控制模块106可以调整下游处理站的处理参数。在一些实施例中，控制模块106可以与后续站108中的站控制器对接，以调整它们相应的控制和/或站参数。在一些实施例中，控制模块106可为人类制造商提供将在生产线的每个下游处理站处执行的更新的指令。这些调整可有助于校正制造过程，使得最终质量度量可在可接受质量度量的范围内。
[0091]
图7是示出了根据示例实施例的校正多步骤制造过程的方法700的流程图。方法700可以在步骤702处开始。
[0092]
在步骤702处，可以将指令集提供给制造系统102。指令集可以表示用于由制造系统102执行的制造过程的一组指令。在一些实施例中，可以将指令集提供给每个站108。例如，提供给每个相应站108的每个规范指令集可以定义用于特定制造步骤的处理参数。在另一示例中，每个规范指令集可以是将由人工参与者在特定处理节点或站108处执行的离散步骤的视频。
[0093]
在步骤704处，控制模块106可以识别对应于相应处理节点处的部件的信息。在一些实施例中，模拟模块216可以从工具模块202接收工具信息。基于由工具模块202生成的关键点，模拟模块216可以被配置为在特定处理步骤i处生成表示部件的状态的表面模型。在一些实施例中，表面模型可以被表示为在一些实施例中，模拟模块216可以进一步被配置为生成或估计部件的质量度量。根据表面模型中，模拟模块216可以被配置为生成表示部件的特定坐标的点模型
[0094]
在步骤706处，控制模块106可以确定是否已经发生不可逆误差。例如，sgd模块212可以从模拟模块216接收点模型sgd模块212可以通过在步骤i处将点模型与规范部件的规范点模型进行比较来确定是否已经发生不可逆误差k。sgd模块212可以被配置为通过取点模型与对应的规范点模型之间的豪斯多夫距离来检测不可逆误差。当在相应处理站或节点处的当前部件与规范部件之间的豪斯多夫距离超过某个阈值容差时，可能存在不可逆误差。
[0095]
如果在步骤706处，控制模块106确定没有发生不可逆误差，那么根据原始指令集，制造过程可以进行到下一处理站或节点(步骤705)。然而，如果在步骤706处，控制模块106
确定已经发生不可逆误差，则方法700前进到步骤708。
[0096]
在步骤708处，控制模块106可以生成更新的一组动作以校正不可逆误差。sgd模块212可以构造一组更新的动作[{r
k 1
,t
k 1
},...,{rn,tn}]，假定是直到误差点(不可逆误差k)的一组动作。在一些实施例中，该组更新的动作可被称为x
tail
。在误差步骤k之前且包括误差步骤k的步骤或动作的序列可称为x
head
。x
tail
和x
head
一起可以定义部件基于x
head
，sgd模块212可以使用随机梯度下降法求解x
tail
。在误差步骤k之前且包括误差步骤k的步骤或动作的序列可称为x
head
。x
tail
和x
head
一起可以定义部件基于x
head
，sgd模块212可以使用随机梯度下降法求解x
tail
。
[0097]
在步骤710处，控制模块106可以基于由sgd模块212生成的一组动作来生成部件的预测的最终质量度量。例如，gru模型214可以被配置为基于来预测部件的最终质量度量，其中可以表示向量级联运算符。
[0098]
在步骤712处，控制模块106可以确定预测的最终质量度量是否在规范最终质量度量的阈值容差内。例如，由gru模型214生成的最终质量度量可以与规范最终质量度量进行比较，以确定x
tail
是否合适。在步骤712处，如果控制模块106确定预测的质量度量在阈值容差内，则在步骤714处，控制模块106可以调整下游处理站的处理参数。在一些实施例中，控制模块106可以与后续站108中的站控制器对接，以调整它们相应的控制和/或站参数。在一些实施例中，控制模块106可为人类制造商提供在生产线的每个下游处理站处执行的更新的指令。这些调整可有助于校正制造过程，使得最终质量度量可在可接受质量度量的范围内。
[0099]
然而，如果在步骤712处，控制模块106确定预测的质量度量不在阈值容差内，则gru模型214可以提示sgd模块212生成新的x
tail
。例如，方法700可以返回到步骤708以使sgd模块212构造新的一组更新的动作。
[0100]
图8a示出了根据示例实施例的系统总线计算系统架构800。系统800的一个或更多个部件可以使用总线805彼此电通信。系统800可以包括处理器(例如，一个或更多个cpu、gpu或其他类型的处理器)810和系统总线805，该系统总线805将包括系统存储器815(诸如只读存储器(rom)820和随机存取存储器(ram)825)的各个系统部件耦接至处理器810。系统800可以包括与处理器810直接连接、紧密接近或集成为处理器810的一部分的高速存储器的高速缓存。系统800可以将数据从存储器815和/或存储装置830复制到高速缓存812以供处理器810快速访问。以此方式，高速缓存812可提供避免处理器810在等待数据时延迟的性能提升。这些和其他模块可以控制或被配置为控制处理器810以执行各种动作。其他系统存储器815也可供使用。存储器815可以包括具有不同性能特性的多个不同类型的存储器。处理器810可以表示单个处理器或多个处理器。处理器810可包括通用处理器或硬件模块或软件模块中的一个或更多个，诸如存储在存储装置830中的的服务1 832、服务2 834和服务3 836，通用处理器或硬件模块或软件模块中的一个或更多个被配置为控制处理器810，以及其中软件指令被合并到实际处理器设计中的专用处理器。处理器810实质上可以是完全独立的计算系统，包含多个核或处理器、总线、存储器控制器、高速缓存等。多核处理器可以是对称的或非对称的。
[0101]
为了实现与计算装置800的用户交互，输入装置845可以是任何数量的输入机构，
如用于语音的麦克风、用于手势或图形输入的触敏屏、键盘、鼠标、运动输入、语音等等。输出装置835还可以是本领域技术人员已知的多个输出机构中的一个或更多个。在一些实例中，多模式系统可以使得用户能够提供多种类型的输入来与计算装置800通信。通信接口840通常可以控制和管理用户输入和系统输出。对在任何特定硬件布置上的操作没有限制，因此，此处的基本特征可以容易地替代为改进的硬件或固件布置，因为它们被开发。
[0102]
存储装置830可以是非易失性存储器并且可以是硬盘或可以存储由计算机可访问的数据的其他类型的计算机可读介质，如磁带盒、闪存卡、固态存储器装置、数字通用盘、盒式磁带、随机存取存储器(ram)825、只读存储器(rom)820、以及它们的混合。
[0103]
存储装置830可以包括用于控制处理器810的服务832、834和836。其他硬件或软件模块是可预期的。存储装置830可以被连接到系统总线805。在一个方面，执行特定功能的硬件模块可包括存储在计算机可读介质中的软件部件，该软件部件与必要硬件部件(诸如处理器810、总线805、显示器835等)连接，以执行该功能。
[0104]
图8b示出了根据示例实施例的具有芯片组架构的计算机系统850。计算机系统850可以是可用于实现所公开的技术的计算机硬件、软件和固件的示例。系统850可包括一个或更多个处理器855，该一个或更多个处理器855表示能够执行软件、固件和硬件的任何数目的物理和/或逻辑上不同的资源，软件、固件和硬件被配置为执行识别的计算。一个或更多个处理器855可与芯片组860通信，芯片组860可控制到一个或更多个处理器855的输入和从一个或更多个处理器855的输出。在此示例中，芯片组860将信息输出到输出865(例如，显示器)，且可将信息读取并将其写入到存储装置870，存储装置870可包括例如磁介质和固态介质。芯片组860还可以从ram 875读取数据和向ram 875写入数据。可以提供用于与各种用户接口部件885连接的桥880以用于与芯片组860连接。这样的用户接口部件885可以包括键盘、麦克风、触摸检测和处理电路、诸如鼠标之类的指点装置等。一般而言，到系统850的输入可以来自机器生成和/或人工生成的各种源中的任何源。
[0105]
芯片组860还可以与可以具有不同物理接口的一个或更多个通信接口890连接。这样的通信接口可以包括用于有线和无线局域网、用于宽带无线网络以及个人局域网的接口。本文公开的用于生成、显示和使用gui的方法的一些应用可包括通过物理接口接收经排序的数据集，或由机器本身通过一个或更多个处理器855分析存储在存储装置870或875中的数据来生成。进一步，机器可通过用户接口部件885从用户接收输入，并通过使用一个或更多个处理器855解释这些输入来执行适当的功能，诸如浏览功能。
[0106]
可以认识到，示例系统800和850可以具有多于一个的处理器810或是联网在一起以提供更大处理能力的计算装置组或群集的一部分。
[0107]
虽然前述内容针对本文描述的实施例，但是在不背离其基本范围的情况下，可以设计其他和进一步的实施例。例如，本公开的各方面可用硬件或软件或硬件和软件的组合来实现。本文描述的一个实施例可以实现为与计算机系统一起使用的程序产品。程序产品的程序定义实施例的功能(包括本文描述的方法)，并且可以被包含在各种计算机可读存储介质上。说明性计算机可读存储介质包括但不限于：(i)其上永久地存储信息的非可写存储介质(例如，计算机内的只读存储器(rom)装置，诸如可由cd-rom驱动器读取的cd-rom盘、闪存、rom芯片或任何类型的固态非易失性存储器)；以及(ii)其上存储有可变信息的可写存储介质(例如，盘驱动器内的软盘或硬盘驱动器或任何类型的固态随机存取存储器)。当携
带指导所公开的实施例的功能的计算机可读指令时，这样的计算机可读存储介质是本公开的实施例。
[0108]
本领域技术人员将理解的是，前述示例是示例性的而非限制性的。在阅读说明书和研究附图时，所有置换、增强、等同物、及其改进对于本领域技术人员而言都是显而易见的，都被包括在本公开的真实精神和范围内。因此，所附权利要求旨在包括落入这些教导的真实精神和范围内的所有这些修改、置换和等同物。