用于机器自动化中的组件的预测性维护的制作方法

1.本文中所公开的至少一些实施例大体上涉及针对机器的维护服务，且更特定来说，(但不限于)待针对机器提供的维护服务的计时和/或类型的预测性确定。


背景技术：

2.通常针对具有随时间推移随着持续操作而磨损的组件的物理机器进行维护。在操作期间发生的磨损可例如归因于来自移动机器的零件或来自机器的组件暴露于各种环境(例如，刺激性化学物质和/或极冷或极热温度)的物理磨损。
3.针对机器(例如，工业制造设备或机动车)的维护常规地基于操作的预定里程碑来安排。举例来说，可每三个或六个月，或在预定产品生产量或行进的距离之后安排一次例行维护服务。
4.当机器的组件在机器的操作期间出现故障或失灵时，这种事件会有安全危险。在这种事件发生之后，可必然在不方便的时间安排机器的服务所需的行程或其它物流(例如，零件递送)。
5.自动化机器(例如，自动化装配线或其它工业设施，或自主机动车)的技术领域的最近发展允许计算系统至少在一些条件下操作机动或另一类型的机器的控制元件而不需要来自人类操作员的辅助。
6.例如，传感器(例如，相机和雷达)可安设在机动车上以检测在车道上行进的车辆的周围环境的条件。在具有或不具有来自车辆的人类操作员的任何输入的情况下，安设在车辆上的计算系统分析传感器输入以识别条件且产生用于车辆的方向和/或速度的自主调整的控制信号或命令。
7.在一些布置中，当计算系统辨识到其中计算系统可能无法继续以安全方式操作车辆的情形时，计算系统警告人类操作员且请求人类操作员接管对车辆的控制且手动地驾驶，而不是允许计算系统自主驾驶车辆。
8.2017年1月3日公开的标题为“用于电动车辆的电子控制设备(electronic control apparatus for electrically-driven vehicle)”的第9,533,579号美国专利公开具有自诊断功能的车辆的电子控制设备。
9.自主驾驶(或在一些情况下，另一机器操作)通常涉及使用人工神经网络(ann)来识别在传感器输入中捕获的事件和/或物体。一般来说，人工神经网络(ann)使用神经元网络来处理到网络的输入且产生来自网络的输出。
10.举例来说，网络中的每一神经元接收一组输入。到神经元的输入中的一些可以是网络中的某些神经元的输出；且到神经元的输入中的一些可以是提供到神经网络的输入。网络中的神经元当中的输入/输出关系表示网络中的神经元连接性。
11.举例来说，每一神经元可分别针对其输入具有偏置、激活函数和一组突触权重。激活函数可呈阶跃函数、线性函数、双弯曲(log-sigmoid)函数等形式。网络中的不同神经元可具有不同激活函数。
12.举例来说，每一神经元可产生其输入与其偏置的加权和，且接着产生作为加权和的函数的输出，所述输出是使用神经元的激活函数计算出的。
13.ann的输入与输出之间的关系一般来说由ann模型限定，所述ann模型包含表示网络中的神经元的连接性的数据，以及每一神经元的偏置、激活函数和突触权重。使用给定ann模型，计算装置根据到网络的给定一组输入来计算网络的输出。
14.举例来说，可基于相机输入来产生到ann网络的输入；且来自ann网络的输出可以是如事件或物体的项的识别。
15.脉冲神经网络(snn)是一种类型的ann，其紧密模仿自然神经网络。当神经元的激活电平足够高时，snn神经元产生脉冲作为输出。snn神经元的激活电平模仿自然神经元的膜电位。snn神经元的输出/脉冲可改变接收输出的其它神经元的激活电平。作为时间的函数的snn神经元的当前激活电平通常使用微分方程来模型化且视为snn神经元的状态。来自其它神经元的传入脉冲可将所述神经元的激活电平推得更高，以达到产生脉冲的阈值。
16.一旦神经元产生脉冲，其激活电平就复位。在产生脉冲之前，snn神经元的激活电平可随时间推移而衰减，如由微分方程所控制。snn神经元的行为中的时间元素使得snn适合于处理时空数据。snn的连接性通常是稀疏的，这有利于减少计算工作负载。
17.一般来说，可使用监督方法来训练ann，其中调整ann中的参数以最小化或减少由相应输入产生的已知输出与通过将输入应用于ann而产生的计算出的输出之间的误差。监督学习/训练方法的实例包含强化学习，和具有误差校正的学习。
18.替代地或组合地，可使用无监督方法来训练ann，其中由给定一组输入产生的精确输出在训练完成之前是未知的。可训练ann将项分类成多个类别，或将数据点分类成集群。可采用多个训练算法用于复杂机器学习/训练范例。


技术实现要素：

19.在一方面中，本公开提供一种系统，其包括：通信接口，其配置成通过网络接收在至少一个机器的操作期间由至少一个传感器收集的传感器数据；存储器，其配置成存储接收到的传感器数据，其中所述接收到的传感器数据包括与所述至少一个机器的所述操作相关联的正常数据模式；和计算装置，其配置成基于来自人工神经网络(ann)的输出来预测针对所述至少一个机器的维护服务，其中所述接收到的传感器数据的一部分是到所述ann的输入，且预测所述维护服务包括检测偏离所述正常数据模式中的至少一个的异常。
20.在另一方面中，本公开提供一种方法，其包括：由存储器装置从与至少一个机器的操作相关联的至少一个传感器接收传感器数据；将接收到的传感器数据存储在所述存储器装置的非易失性存储介质中；和基于来自人工神经网络(ann)的输出来预测针对所述至少一个机器的维护服务，其中所述ann使用所述接收到的传感器数据的至少一部分作为输入。
21.在又一方面中，本公开提供一种非暂时性计算机可读介质，其存储指令，所述指令在存储器装置上执行时使得所述存储器装置：通过网络从收集与机器的操作相关联的数据的至少一个传感器接收传感器数据流；将接收到的传感器数据流存储在非易失性存储器中；基于来自人工神经网络(ann)的输出来预测维护服务，其中所述传感器数据流的一部分是到所述ann的输入；和通过所述网络且基于所预测的维护服务发信号通知所述机器的控制器以引起所述机器的所述操作的改变。
附图说明
22.在附图的图中作为实例而不是限制说明实施例，在附图中，相似参考标号指示类似元件。
23.图1展示根据一些实施例的由传感器监测机器以用于使用人工神经网络预测维护服务的系统。
24.图2展示根据一些实施例的包含收集用于监视各种类型的机器的传感器数据且基于使用人工神经网络进行的对未来维护服务的预测来控制机器的计算机系统的设施。
25.图3和4说明根据一些实施例的用于维护服务预测的人工神经网络的训练。
26.图5至7展示根据一些实施例的预测性维护服务的方法。
具体实施方式
27.下文的至少一些实施例涉及待针对机器(例如，如在工业自动化中所使用)提供的维护服务的计时和/或类型的预测性确定。在一些实施例中，系统、方法和设备用于处理与一或多个机器的操作相关联的所收集的传感器数据以促进预测性维护。使用一或多个人工神经网络(ann)来分析所收集的传感器数据。
28.在一个实施例中，存储器装置从机器(例如，产生用于由原始设备制造商(oem)客户安设在计算装置中的存储器产品的机器)收集传感器数据。在一个实例中，存储器装置可安装在机器中或机器附近，或可无线地连接到机器的传感器。在一个实例中，存储器装置是安装在机器中的固态驱动器(ssd)。由存储器装置收集的数据用于预测针对机器的维护服务。机器可例如是若干机器的装配线中(例如，在半导体晶片制造设施中)的制造机器、自主车辆或为物理结构(例如，建筑物或房屋)提供电气、化学、机械、数据和/或通信服务的系统。
29.如本文中所使用，“机器”包含例如具有物理组件的任何设备。在一个实例中，机器是用于进行一或多个任务的以机械方式、以电气方式或以电子方式操作的装置。在一个实例中，机器具有相对于彼此移动的物理组件(例如，自主车辆)。在一个实例中，机器具有以电气和/或物理方式协作的物理组件(例如，电池)。在一个实例中，机器具有由控制器或另一电子装置控制的物理组件(例如，用于无线通信的无线电)。
30.在机器的组件在机器的操作期间出现故障或失灵之前，可存在组件是否需要更换或维护的指示。这种指示对于机器的典型操作员或用户可能并不明显。
31.维护服务的先前方法遭受未能充分地监测对服务的需要、未能通知操作员这种需要和/或未能引起机器的操作的改变以避免未来技术失灵的技术问题。这可在一些情况下导致物理损伤或死亡，且在其它情况下导致机器或产品损坏。在一个实例中，可能直到产品已运送给客户之后才发现产品损坏。
32.本公开的各种实施例提供针对以上技术问题中的一或多个的技术解决方案。在一些实施例中，针对所监测的机器收集传感器数据。使用ann来分析传感器数据以预测机器的组件故障的概率。预测可用于安排维护服务(例如，针对特定所识别组件)，这可减少或消除机器的组件在机器的操作期间(如，在提供充分服务是困难或不可能的关键时间(例如，车道上车辆的运行))出现故障或失灵的事件的几率。另外，预测允许在方便的时间安排服务，在所述时间实施服务在技术上和/或成本上更有效益。
33.在一个实施例中，从收集与机器的操作相关联的数据的一或多个传感器(例如，化学、温度和/或图像传感器)接收传感器数据流。接收到的传感器数据流存储在非易失性存储器(例如，在机器内部、安装在机器上或无线地耦合到机器的控制器的nand快闪存储器装置)中。基于来自人工神经网络(ann)的输出来预测维护服务。在一个实例中，ann由存储器装置的控制器执行。传感器数据流的一部分作为到ann的输入提供。基于输出，将信号发送或提供到机器的控制器(例如，通过网络、经由蓝牙连接无线地等)以引起机器的操作的改变。在一个实例中，所述改变是服务事件的安排(例如，由存储器装置实施以减少存储器装置的nand快闪存储介质的某些部分中的过度存储器磨损的自维护操作)。
34.在一个实施例中，具人工智能(ai)功能的存储器产品用于工业自动化系统中以检测系统的数据业务的异常。举例来说，具有脉冲检测能力的存储器装置可用于实施脉冲神经网络(snn)以检测异常。在一个实例中，数据业务是从各种传感器发送到工业自动化系统的集中式位置(例如，计算装置；实施于与系统中的一或多个机器通信的云端中的服务器)的数据。
35.可视需要将额外传感器添加到工业自动化系统以收集与工业自动化系统的健康/操作相关的传感器数据。此些传感器可包含例如用以拾取噪声的麦克风、数码相机、压力传感器、应力传感器等。在一个实例中，传感器通过一或多个机器的局域控制器网络将数据提供到计算装置。
36.在正常操作时段期间，snn经过训练以辨识正常数据模式。随后，snn检测偏离正常模式的异常。基于检测，安排预测性维护。snn可经过训练以通过诱发/再现系统中的故障来预测常见故障。在一些情况下，snn可与存储最近的一组数据的黑匣子数据记录器结合使用，使得当出现操作问题或另一问题时，可检索黑匣子数据以训练snn提前辨识对故障的指示。随后，snn可建议抢先式维护操作以避免前述故障。
37.在一个实施例中，服务预测系统包含通信接口(例如，无线收发器)以接收在若干机器的操作期间由传感器收集的传感器数据。系统进一步包含存储器以存储接收到的传感器数据。接收到的传感器数据包含与机器的操作相关联的正常数据模式。系统进一步包含计算装置(例如，包含存储器和处理装置的ssd)以基于来自人工神经网络(ann)的输出来预测针对机器中的一或多个的维护服务。接收到的传感器数据的一部分用作到ann的输入。通过检测偏离正常数据模式中的至少一个的异常(例如，使用snn，如本文中所描述)来预测维护服务。
38.在一个实施例中，传感器安设在机器系统中或机器系统附近以在其例行操作期间收集数据；且传感器数据可用于预测组件是否需要更换或维护和多久之后需要更换或维护。传感器数据可作为输入提供到人工智能(ai)系统的人工神经网络(ann)(例如，脉冲神经网络(snn))以在预期机器正常操作的时间段中训练自身(例如，使用无监督机器学习技术)。
39.在一个实施例中，训练可针对机器的操作员或用户的特定操作环境和/或机器的特定操作环境定制ann。随后，当操作数据偏离正常模式时，ann可检测到异常条件。ai系统可用于建议维护服务和/或识别可能需要更换或维护的组件。
40.图1展示根据一些实施例的由传感器103、108、110监测机器106、114、116以用于使用人工神经网络(例如，112、122和/或125)预测维护服务的系统。
41.在一个实施例中，具有机器(例如，位于制造设施127中的机器)的装配线或另一自动化系统111还包含将传感器数据提供到存储器装置104(例如，使用通信网络117)的传感器103、108、110。存储器装置104配置成使用人工神经网络(ann)122基于由传感器收集的数据来预测/识别对维护服务的需要。在一些实施例中，自动化系统111(例如，装配线)的机器是移动的。
42.在一个实施例中，来自装配线111的传感器数据由位于机器114中的存储器装置101收集。存储器装置101包含可用于基于由存储器装置101收集的数据来预测维护服务的人工神经网络112。在一个实例中，所预测的维护服务是针对机器114。在一个实例中，所预测的维护服务替代地和/或另外针对机器106和/或116。
43.机器114通过网络(例如，局域网)与其它机器106、116通信。此外，机器106、114、116中的每一个可通过通信网络117与服务器119通信。
44.在一个实施例中，所收集的传感器数据存储在存储器装置101和/或存储器装置104的非易失性存储器中。在一些情况下，可基于存储在存储器装置101和104两者中的所收集的数据来预测维护服务。在一个实例中，ann 112和ann 122组合使用以产生用于预测维护服务的输出。举例来说，来自ann 112的输出可以是到ann 122的输入。
45.在一个实施例中，与机器106、114、116的服务和/或物理条件相关联的记录存储为维护服务数据123。传感器数据121存储在服务器119处且可包含从传感器103、108、120收集的传感器数据。可使用对应于机器106、114、116的正常操作时段的传感器数据121和维护服务数据123来训练服务器119的ann 125。接着，ann 125的输出用于基于从传感器103、108、110接收到的最近收集的传感器数据来预测维护服务。
46.传感器(例如，103、108、110)可包含数码相机、激光雷达、雷达、超声波声纳、制动传感器、速度传感器、加速度传感器、安全气囊传感器、全球定位系统(gps)接收器、音频传感器/麦克风、振动传感器、力/应力传感器、变形传感器、运动传感器、温度传感器等。传感器中的一些可配置成主要监测装配线111的环境；且其它传感器可配置成主要监测机器的一或多个组件(例如，内燃机、电动机、电池等)的操作条件。在一个实例中，组件是机器106的组件118。
47.在一个实施例中，作为时间的函数的传感器的输出作为传感器数据流提供到ann(例如，112、122、125)中的一或多个，以提供机器操作控制(例如，自主操作)和/或维护预测。在一些情况下，服务器119、存储器装置101或存储器装置104中的一个可充当主控制器以基于每一相应处理装置的当前处理负载将ann的部分分布到各种处理装置。在一个实例中，ann的所分布部分可分布在用于存储器装置101、存储器装置104和服务器119的处理装置当中。在一个实例中，基于ann 112、122和/或125的输出来分布所述部分。
48.在一个实例中，一或多个ann可用于处理视频图像监测装配线输出、装配线速度、装配线的部分的振动数据等。在一个实例中，装配线输出是产品120(例如，存储器装置)。
49.在一个实例中，每一机器具有无线通信装置以经由无线信号113和通信网络117与远程服务器119通信。远程服务器119可在与装配线111相同的位置处或远离装配线111的位置处配置。在一个实例中，每一机器可将一些传感器数据121提供到服务器119且基于来自ann 125的输出从服务器119接收控制信号。
50.通信网络117的一个实例是蜂窝电话网络，其具有一或多个基站(例如，115)以接
收无线信号(例如，113)。通信网络117的另一实例是因特网，其中由机器(例如，经由存储器装置101)传输的无线局域网信号(例如，113)在接入点(例如，115)中接收以用于进一步传达到服务器119。在一些实施方案中，机器使用到卫星109的通信链路107或通信气球以与服务器119通信。
51.服务器119还可与一或多个维护服务设施(例如，127)通信以接收机器(例如，106、114、116)的维护服务数据123。在一个实例中，机器106、114、116是制造设施127的部分。在一个实例中，机器在不同制造设施中，但来自具有类似操作特性的机器(其位于设施127中)的数据用于训练ann中的一或多个。
52.维护服务数据123可包含以上机器中的任一个的组件的检验记录和/或服务记录。举例来说，检验记录和/或服务记录可指示在组件在维护服务设施(例如，127)处的服务期间检验到的所述组件的磨损程度、故障或失灵组件的识别等。在服务之前的时间段中的机器的传感器数据121和维护服务数据123可用于训练以上ann中的一或多个以预测组件需要维护服务的概率。
53.更新后的ann可用于基于在最近时间段中接收到的传感器数据121来预测和建议针对机器的维护服务。替代地，可将更新后的ann传输到机器(例如，以更新ann 112)。具有更新ann的机器可在机器的例行操作期间使用从传感器产生的数据来预测和建议针对自身的维护服务。由机器预测的维护服务可发送到服务器119和/或另一计算装置以引起安排或与服务机器相关联的另一动作。在这一情况下，机器自动地自报告对服务的需要。
54.在一个实施例中，存储器装置101配置成在一时间段内记录可用于ann 112和/或ann 125中以用于预测性维护的传感器数据。维护预测通常持续相对较长时间段(例如几天、几周和/或几个月)。
55.在一个实施例中，记录传感器数据以用于回顾涉及自主车辆的事故、碰撞或几乎碰撞(例如，在事故之前的较短时间段(例如300秒或更短)内)。在一个实施例中，黑匣子数据记录器128配置成记录传感器数据以用于回顾/分析与机器116相关联的事故或故障。所记录的传感器数据用于基于故障之后的传感器数据来训练用于预测未来这种故障的ann。在一个实施例中，黑匣子数据记录器126记录从机器106、114、116中的一或多个接收到的传感器数据。来自记录器126的数据可用于训练ann 125以用于预测维护服务以避免未来故障，如上文所描述。
56.在一个实施例中，存储器装置101存储在将机器114发送到服务设施之前的时间段的传感器数据。服务设施可从存储器装置101下载传感器数据121且将传感器数据121和对应维护服务数据123提供到服务器119以促进ann 125的训练。
57.任选地或以组合方式，存储器装置101配置有机器学习模块以定制和/或训练ann112以用于预测性维护。举例来说，存储器装置101的机器学习模块可用于校准ann112以考虑操作机器114的典型/日常环境和/或机器114的操作员的偏好。
58.在一个实例中，在当预期机器114以健康组件在典型/日常环境下操作时的时间段期间，由与机器114相关联的传感器(例如，安设在机器114中的传感器)产生的传感器数据可用于训练ann 112以辨识表示无故障操作的传感器数据的模式。这种模式可基于不同机器(例如，106、114、116)的例行操作环境和特性而针对所述不同机器改变。训练允许ann 112检测与辨识到的正常模式的偏差且报告异常以用于维护预测。
59.举例来说，ann 112可包含配置成对传感器数据的基于时间的变化进行分类和/或检测与机器114的传感器数据的已知模式的偏差的snn，所述机器114在正常/健康状况下但在定制环境(例如，用于特定客户产品的程序)中操作和/或使用定制模式操作。
60.图2展示根据一些实施例的包含从用于监测各种机器210的传感器103收集传感器数据的计算机系统131的设施202。在一个实施例中，计算机系统131基于使用人工神经网络(例如，ann 125和/或脉冲神经网络(snn)208)进行的对未来维护服务的预测来控制机器210。在一个实施例中，计算机系统131基于ann的输出来预测维护服务。在一个实例中，计算机系统131用于预测针对图1的机器106、114、116的维护服务。
61.与机器相关联的一或多个传感器103可包含可见光相机、红外相机、激光雷达、雷达或声纳系统、外围传感器、全球定位系统(gps)接收器、卫星定位系统接收器、制动传感器和/或安全气囊传感器。此外，传感器103可包含配置成监测来自机器中的各种组件和位置的噪声的音频传感器(例如，麦克风)、振动传感器、压力传感器、力传感器、应力传感器和/或配置成测量机器的组件上的负载的变形传感器、测量机器的一些组件的运动的加速度计和/或陀螺仪传感器等。这种传感器可用于监测组件的操作状态和/或健康以用于预测性维护。
62.传感器103可将实时传感器数据流提供到计算机系统131。由机器的传感器103产生的传感器数据可包含使用利用对人眼可见的光成像的相机，或使用红外光成像的相机，或声纳、雷达或lidar系统来捕获物体的图像。从机器的至少一个传感器获得的图像数据是用于在存储器装置204中或在计算机系统131的另一存储器中记录的所收集的传感器数据的部分。
63.在一个实例中，相机可用于获得关于机器的信息，所述信息可由ann 125处理以产生机器的控制信号。举例来说，相机可用于监测机器的组件的操作状态/健康，所述操作状态/健康可由ann 125处理以预测或安排维护服务。
64.由机器的传感器103产生的传感器数据可包含音频流，其捕获机器上或机器附近的位置(如发动机、电机、传输系统、车轮、车门等附近的位置)处的声音的特性。从至少一个传感器103获得的音频数据可以是用于在存储器装置204中记录和/或作为到ann125和/或snn 208的输入的所收集的传感器数据的部分。举例来说，音频和/或图像流可用于监测机器的组件(例如，反应腔室、光刻机、电动机)的操作状态/健康，所述操作状态/健康可由ann或snn处理以预测或安排维护服务。
65.设施202包含通信装置139，所述通信装置139由计算机系统131使用以与机器210和传感器103通信。举例来说，通信装置131用于将控制信号发送到机器210。任选地，通信装置139可建立与操作员的移动装置的连接以通知操作员所推荐的维护服务和/或服务的所推荐日期、将预约输入日历等。
66.计算机系统131连接到各种机器的控制件，如方向性控制件、运动控制件、加速度控制件等。在一些实施例中，图1的系统中的装配线111使用具有类似配置和/或类似组件的机器。在一个实施例中，这些控制件包含机器控制器141、温度控制器143和/或运动控制器145。在一个实例中，温度控制器143改变用于制造半导体产品的机器的反应器或另一腔室的操作温度。在一个实例中，运动控制器145通过装配线(例如，通过控制封装输送机系统上的机器人技术)改变产品的移动。
67.在一个实施例中，机器控制器141响应于来自计算机系统131的命令而在机器上实施服务过程。在一个实例中，命令是基于ann 125和/或snn 208的输出。在一个实例中，服务过程针对机器的存储器装置(例如，nand快闪装置)进行维护动作。
68.在一个实施例中，由传感器103收集的传感器数据作为传感器数据206存储在存储器装置204中。在一个实例中，计算机系统131通过处理器133将写入命令发送到存储器装置204而存储传感器数据。在一个实例中，计算机系统131通过处理器133将读取命令发送到存储器装置204而读取传感器数据206。
69.传感器数据206的一部分用于训练包含脉冲神经网络(snn)208的人工神经网络。接着，snn 208使用传感器数据206的后续存储的部分来预测维护服务。
70.在一个实施例中，ann 125用于物体检测、辨识、识别和/或分类。ann 125和/或另一ann(例如，配置于存储器装置204中)可用于预测机器的组件需要维护服务(例如，修复、更换或调整)的概率。
71.在一个实施例中，存储器装置204配置成至少部分地处理传感器数据，用于以任务是操作机器的其它组件的处理器133上的减小的计算负担进行预测性维护。
72.在一个实施例中，传感器103中的一些用于收集与机器的组件的健康相关的数据，且由传感器103产生的传感器数据可用于预测组件的即将发生故障的可能性。这一预测可用于采取应急动作以将机器置于安全状态(例如，通过关闭或改变操作模式)。
73.计算机系统131包含存储固件(或软件)147的存储器135，该固件(或软件)147包含用于处理器133的计算机指令和用于一或多个ann的数据模型。
74.图3和4说明根据一些实施例的用于维护服务预测的人工神经网络的训练。在图3中，监督机器学习的模块171用于训练人工神经网络125以最小化从传感器数据121产生的服务预测129与维护服务数据123之间的差异。在其它实施例中，可类似地训练ann 112或122。
75.举例来说，维护服务数据123可识别作为时间的函数的组件的所测量的磨损和撕裂以预测推荐服务的时间。传感器数据121可用于ann 125中以产生推荐服务的所预测时间。监督机器学习模块171可调整人工神经网络125以减少/最小化基于传感器数据121所预测的时间与从磨损和撕裂的测量计算出的时间之间的差。
76.举例来说，维护服务数据123可识别更换或修复的组件。在组件的更换或修复之前的时间段内记录的传感器数据121可用于计算更换或修复的时间。另外，在更换或修复之前的时间段中的传感器数据流的片段可用于ann 125中以产生对更换或修复的时间的预测。监督学习171可用于调整ann 125以减少更换或修复的所预测时间和更换或修复的实际时间。
77.图3的监督学习171可基于机器的群体的传感器数据和其维护服务数据123来应用以产生机器的群体的通用ann。
78.图3的监督学习171可基于与机器相关联的传感器数据和其维护服务数据在机器中应用，以产生机器的群体的定制/个性化ann。举例来说，通用ann可初始地用于机器中；且机器的传感器数据和其维护服务数据可用于进一步训练ann 125以用于ann 125(例如，用于控制机器的ann)的定制/个性化。
79.在图4中，无监督机器学习的模块175用于训练或优化人工神经网络125以促进异
常检测173。无监督机器学习模块175配置成基于传感器数据121中的分类、集群或辨识模式来调整ann(例如，snn 208)，使得在最近时间段中产生的传感器数据121中的与分类、集群或辨识模式的偏差程度可用于发信号通知对异常的检测173。异常检测173允许安排机器在维护服务设施中进行检验。任选地，在检验之后，维护服务数据可用于应用监督学习171以产生对服务的更精确预测，如在图3中。
80.通常，可假设机器在某一时间段中在正常/健康条件下操作。举例来说，在初始地安设新机器以用于服务之后，可假设机器在至少一时间段(例如，几个月)内提供无故障服务。举例来说，在组件的更换或修复之后的时间段之后，可假设组件在至少一时间段(例如，几个月或一年)内提供无故障服务。因此，可将在此时间段期间获得的传感器数据121预分类为“正常”，以使用无监督学习175或监督学习171训练ann 125。
81.举例来说，经由在机器或组件的“正常”服务时间段期间收集的传感器数据121可经由无监督学习175分类到数个集群中。不同集群可对应于不同类型的正常条件(例如，在具有不同天气条件的日子、在一天的不同时间段中、一周中的不同日子、操作员的不同习惯)。当后续传感器数据121分类在“正常”集群之外时，检测到异常。
82.任选地，监督机器学习171可用于训练ann 125(或另一ann)。在机器或组件的“正常”服务时段期间，可将预期分类用于标记传感器数据121。监督学习171可用于使根据传感器数据121使用ann 125进行的预测与预期分类之间的分类差异最小化。另外，当传感器数据121已知为“异常”时(例如，在维护服务设施中或由用户或操作员作出的诊断或其它确定/观察结果之后)，预期分类可改变为“异常”，以进一步训练ann125以用于异常的直接辨识(例如，而不是依赖于与已知“正常”集群的偏差来推断异常)。因此，ann 125(或其它ann)可经过训练以识别异常传感器数据且估计异常的严重程度(例如，与正常值的预定偏差)以安排维护服务。
83.图5至7展示根据一些实施例的预测性维护的方法。在一个实例中，图5至7的方法可针对图1中的机器实施。
84.图5至7的方法可通过处理逻辑进行，所述处理逻辑可包含硬件(例如，处理装置、电路系统、专用逻辑、可编程逻辑、微码、装置的硬件、集成电路等)、软件(例如，在处理装置上运行或执行的指令)或其组合。在一些实施例中，图5至7的方法至少部分地由一或多个处理装置(例如，服务器119的处理装置，或存储器装置101的处理装置)进行。
85.虽然以特定序列或次序展示，但除非另外规定，否则所述过程的次序可修改。因此，应理解所说明实施例仅作为实例，且所说明过程可以不同次序进行，且一些过程可并行地进行。另外，可在各种实施例中省略一或多个过程。因此，在每一实施例中并非需要全部过程。其它过程流程是可能的。
86.参考图5，在框501处，接收在机器的操作期间由传感器收集的传感器数据。在一个实例中，传感器数据121由传感器103、108、110收集。
87.在框503处，通过将写入命令发送到存储器而存储传感器数据。在一个实例中，收集传感器数据且将其存储在存储器装置204中。处理器133将写入命令发送到存储器装置204以存储新接收到的传感器数据。当从传感器103接收数据流时，处理器133继续发送写入命令以存储传感器数据。
88.在框505处，通过将读取命令发送到存储器而检索传感器数据的一部分。在一个实
例中，在准备预测维护服务时，处理器133将读取命令发送到存储器装置204以获得传感器数据206的一部分。在一个实例中，处理器133指定对应于或识别待检索的传感器数据的时间段。在一个实例中，处理器133指定用于选择待检索的传感器数据的特性或分类。
89.在框507处，基于来自人工神经网络的输出来预测针对机器的维护服务。在一个实例中，处理器133使用人工神经网络125进行计算以便预测针对机器210中的一个的维护服务。在一个实例中，存储器装置204使用脉冲神经网络208来预测维护服务。在一个实例中，脉冲神经网络208和人工神经网络125组合使用以限定针对机器210中的一个的维护服务和/或引起由机器控制器141进行的控制的改变。在一个实例中，控制的改变引起机器的操作特性的改变。
90.参考图6，在框601处，接收来自与机器的操作相关联的传感器的传感器数据。在一个实例中，传感器数据103由存储器装置101接收。
91.在框603处，存储接收到的传感器数据。在一个实例中，传感器数据由存储器装置101存储。由通信接口124从传感器103、传感器108和/或传感器110接收传感器数据。
92.在框605处，引起机器的操作中的扰动。在一个实例中，处理器133使用机器控制器141启动机器的操作中的人工干扰。人工干扰模拟与机器的操作相关联的需要在未来避免的问题或情形。
93.在框607处，在引起扰动之后收集来自传感器的数据。在一个实例中，从传感器103收集传感器数据以监测由于人工干扰而在操作中发生的变化。在一个实例中，传感器数据存储在存储器装置204中。
94.在框609处，确定与扰动相关联的结果。在一个实例中，处理器133基于传感器数据206评估机器的操作条件，所述传感器数据206已在引起扰动之后收集。
95.在框611处，使用收集到的数据和/或结果训练人工神经网络。在一个实例中，基于传感器数据206和针对机器210中的一个的观察到的操作来训练snn 208。
96.在框613处，使用人工神经网络来预测针对机器的维护服务。在一个实例中，来自snn 208的输出由处理器133使用以预测针对机器210中的一个的维护服务。
97.参考图7，在框701处，从收集与机器的操作相关联的数据的一或多个传感器接收传感器数据流。在一个实例中，从传感器103、108和/或110接收传感器数据流。
98.在框703处，将传感器数据流存储在非易失性存储器中。在一个实例中，传感器数据流存储在存储器装置101和/或104中。在一个实例中，传感器数据流存储在黑匣子数据记录器128中。
99.在框705处，基于在正常操作的时间段中收集的传感器数据流的一部分来训练人工神经网络。在一个实例中，使用存储在存储器装置104中的传感器数据来训练ann 122，所述传感器数据对应于机器106、114和/或116的正常操作的时间。
100.在框707处，使用人工神经网络来预测维护服务。在一个实例中，使用来自传感器103的传感器数据训练ann 112，所述传感器数据在机器114的正常操作时间期间收集。ann 112用于预测针对机器114的维护服务。
101.在框709处，基于所预测的维护服务，将信号发送到控制器以改变机器的操作。在一个实例中，存储器装置101使用通信接口124将控制信号发送到机器114的处理装置。控制信号引起机器114的操作特性改变。在一个实例中，控制信号使得机器114启动由机器114自
动实施的维护序列。
102.在一个实施例中，一种系统包括：通信接口(例如，124、通信装置139)，其配置成通过网络(例如，117)接收在至少一个机器(例如，106、114、116或210)的操作期间由至少一个传感器(例如，103、108、110)收集的传感器数据(例如，121、206)；存储器(例如，101、104、204)，其配置成存储接收到的传感器数据，其中所述接收到的传感器数据包括与所述至少一个机器的所述操作相关联的正常数据模式；和计算装置(例如，存储器装置101、服务器119、计算机系统131)，其配置成基于来自人工神经网络(ann)(例如，112、122、125、和/或208)的输出来预测针对所述至少一个机器的维护服务，其中所述接收到的传感器数据的一部分是到所述ann的输入，且预测所述维护服务包括检测偏离所述正常数据模式中的至少一个的异常。
103.在一个实施例中，所述存储器是非易失性存储器装置；且所述计算装置进一步配置成使用写入命令将所述接收到的传感器数据存储在所述存储器中，和使用读取命令从所述存储器检索所述接收到的传感器数据的所述部分。
104.在一个实施例中，所述至少一个传感器包含麦克风、振动传感器、压力传感器、力传感器、应力传感器、变形传感器或加速度计中的至少一个。
105.在一个实施例中，所述存储器是黑匣子数据记录器(例如，128)，且所述计算装置进一步配置成：响应于已发生第一类型的事故的确定而从所述黑匣子数据记录器检索数据；和使用从所述黑匣子数据记录器检索到的所述数据来训练所述ann，其中所预测的维护服务配置成防止所述第一类型的未来事故。
106.在一个实施例中，所述计算装置进一步配置成经由所述通信接口发信号通知所述至少一个机器中的第一机器的控制器(例如，141、143、145)，其中所述发信号通知使得所述控制器改变所述第一机器的操作特性(例如，温度、运动、速率)。
107.在一个实施例中，所述计算装置进一步配置成：基于来自所述ann的所述输出来确定配置；和将所述配置发送到所述控制器，其中所述控制器基于所述配置来改变所述操作特性。
108.在一个实施例中，所述至少一个机器是制造产品(例如，120)的装配线(例如，111)的部分，且所述传感器数据进一步包括在装配期间或装配之后收集的所述产品的图像。
109.在一个实施例中，所述ann包含经过训练以辨识所述正常数据模式且检测所述异常的脉冲神经网络(例如，snn 208)。
110.在一个实施例中，所述计算装置进一步配置成使用在所述至少一个机器安设于自动化装配线中、制造、服务或修复的预定时间内收集的所述传感器数据来训练所述ann。
111.在一个实施例中，所述计算装置进一步配置成：引起影响所述至少一个机器的所述操作的第一类型的事件(例如，模拟的人工干扰在正常操作范围之外达预定偏差，如操作参数的正常范围或值的大于25％或大于2-3西格玛标准偏差)；在所述事件期间收集第一数据；和使用所述第一数据来训练所述ann。所述所预测的维护服务与防止所述第一类型的未来事件相关联。
112.在一个实施例中，一种方法包括：由存储器装置从与至少一个机器的操作相关联的至少一个传感器接收传感器数据；将接收到的传感器数据存储在所述存储器装置的非易失性存储介质中；和基于来自人工神经网络(ann)的输出来预测针对所述至少一个机器的
维护服务，其中所述ann使用所述接收到的传感器数据的至少一部分作为输入。
113.在一个实施例中，所述ann包括脉冲神经网络(snn)，且预测所述维护服务包括基于来自所述ann的所述输出来检测偏离所述至少一个机器的操作的正常数据模式的异常。
114.在一个实施例中，所述方法进一步包括：引起所述至少一个机器的所述操作中的扰动；在引起所述扰动之后从所述至少一个传感器收集第一数据；确定与所述扰动相关联的第一类型的结果；和使用所述第一数据或所确定结果中的至少一个来训练所述ann。预测所述维护服务包括识别所述至少一个机器的动作(例如，自维护序列)，且所述动作配置成防止所述第一类型的未来结果。
115.在一个实施例中，所述方法进一步包括响应于预测所述维护服务，引起存储在所述至少一个机器上的软件(例如，固件147、机器210上的软件)的更新，其中所述软件控制所述至少一个机器的所述操作。
116.在一个实施例中，所述方法进一步包括：识别预定类型(例如，存储在存储器中的数据库中的类型)的发生的事；响应于识别到所述发生的事，检索存储在所述存储器装置中的所述传感器数据的第一部分，其中所述第一部分对应于在识别到所述发生的事之前的预定时间段；和使用所述传感器数据的所述第一部分来训练所述ann。预测所述维护服务包括识别待针对所述至少一个机器进行的抢先式动作。
117.在一个实施例中，所述预定类型的所述发生的事是导致对所述至少一个机器或使用所述至少一个机器来制造的产品的物理损坏的事件。
118.在一个实施例中，一种非暂时性计算机可读介质存储指令，所述指令在存储器装置上执行时使得所述存储器装置：通过网络从收集与机器的操作相关联的数据的至少一个传感器接收传感器数据流；将接收到的传感器数据流存储在非易失性存储器中；基于来自人工神经网络(ann)的输出来预测维护服务，其中所述传感器数据流的一部分是到所述ann的输入；和通过所述网络且基于所预测的维护服务发信号通知所述机器的控制器以引起所述机器的所述操作的改变。
119.在一个实施例中，所述ann配置成经由无监督机器学习进行自训练以检测异常。
120.在一个实施例中，所述指令进一步使得所述存储器装置训练所述ann。所述训练是基于以下分类：在预定时间段内收集的所述传感器数据流是正常的，所述ann配置成检测异常，且所述ann包含脉冲神经网络。
121.在一个实施例中，所述至少一个传感器(例如，103、108、110)是以下中的至少一个：安装在所述机器附近、附接到所述机器、安设在所述机器中或配置成测量所述机器的运动参数。
122.在一个实例中，人工神经网络(ann)可配置成识别需要维护服务中的修复或更换的车辆或另一机器的组件，和/或识别组件故障或失灵的所预测时间段，或在组件故障或失灵之前对组件的所推荐维护服务的所建议时间段。因此，当车辆在道路上运行时，所预测的维护服务的进行可避免组件故障或失灵的事件。
123.在一个实例中，传感器103可以是安装在组件附近的麦克风、附接到组件的振动传感器、安设在组件中的压力传感器、安装在组件上或附接到组件的力传感器或应力传感器、附接到组件的变形传感器、配置成测量组件的运动参数的加速度计。
124.任选地，存储器装置(例如，101、104、204)、计算机系统131和/或远离机器的服务
器119可具有机器学习模块，所述机器学习模块配置成在假设机器处于健康状态的时间段(如，来自离开工厂或维护服务设施的车辆或另一机器的预定时间段)期间训练人工神经网络(ann)。
125.在一个实例中，机器学习模块可使用无监督机器学习来训练ann以辨识/分类传感器数据的正常模式，且因此具有基于与正常模式的偏差来检测异常的能力。替代地，可使用监督机器学习。
126.在一个实例中，可在其中已知机器和/或组件在无故障或劣化的情况下操作的预定时间段期间由存储器装置或计算机系统131应用无监督机器学习。替代地或组合地，可将存储在存储器装置中的传感器数据中的一些上载到服务器119以用于训练ann。服务器119、计算机系统131和/或存储器装置可各自实施为各自包含处理装置和存储器的一或多个数据处理系统。
127.本公开包含进行所述方法且实施上文所描述的系统的各种装置，包含进行这些方法的数据处理系统，和含有指令的计算机可读介质，所述指令在数据处理系统上执行时使得系统进行这些方法。
128.描述和附图是说明性的，且不应理解为限制性的。描述许多特定细节以提供透彻理解。然而，在某些情况下，不描述众所周知的或常规的细节以免混淆描述。本公开中对一个或一实施例的参考未必参考同一实施例；且这种参考意味着至少一个。
129.在本说明书中对“一个实施例”或“一实施例”的参考意味着结合实施例描述的特定特征、结构或特性包含在本公开的至少一个实施例中。本说明书中的各处中的短语“在一个实施例中”的出现未必完全是指同一实施例，也未必是与其它实施例相互排斥的单独或替代性实施例。此外，描述了可由一些实施例而不是由其它实施例呈现的各种特征。类似地，描述了各种要求，所述要求可以是对于一些实施例的要求但不是对于其它实施例的要求。
130.在本说明书中，各种功能和/或操作可描述为由软件代码进行或由软件代码引起以简化描述。然而，所属领域的技术人员将认识到，这种表达的意思是所述功能和/或操作由一或多个处理装置来执行代码所引起，所述处理装置如微处理器、专用集成电路(asic)、图形处理器和/或现场可编程门阵列(fpga)。替代地或组合地，可使用专用电路系统(例如，逻辑电路系统)在有或没有软件指令的情况下实施功能和操作。可在没有软件指令的情况下使用硬连线电路系统或结合软件指令来实施实施例。因此，所述技术既不限于硬件电路系统与软件的任何特定组合，也不限于由计算装置执行的指令的任何特定来源。
131.虽然一些实施例可在完全功能的计算机和计算机系统中实施，但各种实施例能够以各种形式分布为计算产品且能够应用，而无关于实际上实现分布的特定类型的计算机可读介质。
132.可至少部分地在软件中体现所公开的至少一些方面。也就是说，所述技术可响应于其处理装置(如微处理器)执行存储器(如rom、易失性ram、非易失性存储器、高速缓存或远程存储装置)中所含有的指令序列而在计算装置或另一系统中进行。
133.执行以实施所述实施例的例程可实施为操作系统、中间件、服务递送平台、软件开发工具包(sdk)组件、网络服务或其它特定应用程序、组件、程序、对象、模块或指令序列(有时称为计算机程序)的部分。对这些例程的调用接口可作为应用程序编程接口(api)暴露于
软件开发团体。计算机程序通常在各种时间在计算机中的各种存储器和存储装置中包括一或多个指令集，且所述指令集在由计算机中的一或多个处理器读取和执行时使得所述计算机进行对执行涉及各种方面的元素来说必要的操作。
134.计算机可读介质可用于存储在由计算装置执行时使得所述装置进行各种方法的软件和数据。可执行软件和数据可存储在包含例如rom、易失性ram、非易失性存储器和/或高速缓存的各处。这一软件和/或数据的部分可存储在这些存储装置中的任一个中。另外，可从集中式服务器或对等网络获得数据和指令。数据和指令的不同部分可在不同时间且在不同通信会话中或同一通信会话中从不同集中式服务器和/或对等网络获得。可在执行应用程序之前获得全部数据和指令。替代地，可动态地、及时地在需要执行时获得数据和指令的部分。因此，并不要求数据和指令在特定时刻全部处于计算机可读介质上。
135.计算机可读介质的实例包含但不限于可记录和不可记录类型的介质，如易失性和非易失性存储器装置、只读存储器(rom)、随机存取存储器(ram)、快闪存储器装置、固态驱动器存储介质、可装卸式磁盘、磁盘存储介质、光学存储介质(例如，光盘只读存储器(cd rom)、数字通用光盘(dvd)等)和其它介质。计算机可读介质可存储指令。计算机可读介质的其它实例包含但不限于使用nor快闪或nand快闪架构的非易失性嵌入式装置。在这些架构中使用的介质可包含未管理的nand装置和/或受管理的nand装置，包含例如emmc、sd、cf、ufs和ssd。
136.一般来说，非暂时性计算机可读介质包含以可由计算装置(例如，计算机、移动装置、网络装置、个人数字助理、具有控制器的制造工具、具有一或多个处理器的集合的任何装置等)存取的形式提供(例如，存储)信息的任何机构。
137.在各种实施例中，硬连线电路系统可与软件和固件指令组合使用以实施所述技术。因此，所述技术既不限于硬件电路系统与软件的任何特定组合，也不限于由计算装置执行的指令的任何特定来源。
138.可使用各种各样不同类型的计算装置来实施本文中所阐述的各种实施例。如本文中所使用，“计算装置”的实例包含但不限于服务器、集中式计算平台、多个计算处理器和/或组件的系统、移动装置、用户终端、车辆、个人通信装置、可佩戴数字装置、电子自助服务终端、通用计算机、电子文档阅读器、平板计算机、手提式计算机、智能电话、数码相机、住宅家庭设备、电视或数字音乐播放器。计算装置的额外实例包含作为称为“物联网(iot)”的部分的装置。这种“物”可与其拥有者或管理员偶然交互，所述拥有者或管理员可监测所述物或修改对这些物的设定。在一些情况下，这类拥有者或管理员扮演关于“物”装置的用户的角色。在一些实例中，用户的主要移动装置(例如，苹果iphone(apple iphone))可以是关于由用户佩戴的配对的“物”装置(例如，苹果手表(apple watch))的管理员服务器。
139.在一些实施例中，计算装置可以是计算机或主机系统，其例如实施为台式计算机、手提式计算机、网络服务器、移动装置，或包含存储器和处理装置的另一计算装置。主机系统可包含或耦合到存储器子系统，使得主机系统可从存储器子系统读取数据或将数据写入到存储器子系统。主机系统可经由物理主机接口耦合到存储器子系统。一般来说，主机系统可经由同一通信连接、多个单独通信连接和/或通信连接的组合存取多个存储器子系统。
140.在一些实施例中，计算装置是包含一或多个处理装置的系统。处理装置的实例可包含微控制器、中央处理单元(cpu)、专用逻辑电路系统(例如，现场可编程门阵列(fpga)、
专用集成电路(asic)等)、芯片上系统(soc)或另一合适的处理器。
141.在一个实例中，计算装置是存储器系统的控制器。控制器包含处理装置和存储器，所述存储器含有由处理装置执行以控制存储器系统的各种操作的指令。
142.虽然附图中的一些以特定次序说明数个操作，但可将非次序相依性操作重新排序且可组合或分解其它操作。虽然具体提及了一些重新排序或其它分组，但其它重新排序或分组对于所属领域的技术人员来说是显而易见的，且因此不提供详尽的替代方案列表。此外，应认识到，阶段可以硬件、固件、软件或其任何组合实施。
143.在前述说明书中，本公开已参考其具体示范性实施例进行描述。将显而易见的是，可在不脱离如所附权利要求书中所阐述的较广泛精神和范围的情况下对其作出各种修改。因此，应在说明性意义上而非限制性意义上看待本说明书和附图。