本文公开的至少一些实施例总体上涉及具有线控驱动系统的车辆，并且更具体地，涉及但不限于监测线控驱动系统的传感器以进行预测性维护。
背景技术：
自主驾驶技术领域中的最新发展允许计算系统至少在一些状况下在没有来自车辆的人类操作者的辅助的情况下操作机动车辆的控制元件。
例如，传感器(例如，相机和雷达)可以安装在机动车辆上，以检测在道路上行进的车辆的周围事物的状况。安装在车辆上的计算系统分析传感器输入，以标识状况并且生成控制信号或命令，以用于在有或没有来自车辆的人类操作者的任何输入的情况下自主调整车辆的方向和/或速度。
在一些布置中，当计算系统识别出计算系统可能无法以安全的方式继续操作车辆的情况时，计算系统警告车辆的人类操作者并且请求人类操作者接管对车辆的控制并手动驾驶，而不是允许计算系统自主驾驶车辆。
自主驾驶和/或高级驾驶员辅助系统(adas)可以使用人工神经网络(ann)用于标识在传感器输入中捕获的事件和/或对象。传感器输入的实例包含来自数字相机、激光雷达、雷达、超声声纳等的图像。
人工神经网络(ann)通常使用神经元网络来处理到网络的输入并且从网络生成输出。
例如，网络中的每个神经元接收一组输入。到神经元的输入中的一些输入可以是网络中某些神经元的输出；并且到神经元的输入中的一些输入可以是提供到神经网络的输入。网络中的神经元之间的输入/输出关系表示网络中的神经元连通性。
例如，每个神经元可以分别具有偏置、激活函数和一组突触权重用于其输入。激活函数可以呈阶跃函数、线性函数、对数-s型函数等形式。网络中的不同神经元可以具有不同的激活函数。
例如，每个神经元可以生成其输入和其偏置的加权和并且然后产生输出，所述输出是使用神经元的激活函数计算的加权和的函数。
ann的一或多个输入与一或多个输出之间的关系通常由ann模型定义，所述ann模型包含表示网络中的神经元的连通性的数据以及每个神经元的偏置、激活函数和突触权重。使用给定的ann模型，计算装置从到网络的给定的一组输入计算网络的一或多个输出。
例如，可以基于相机输入来生成到ann网络的输入；并且来自ann网络的输出可以是如事件或对象等项目的标识。
尖峰神经网络(snn)是密切模仿自然神经网络的类型的ann。当神经元的激活水平足够高时，snn神经元产生尖峰作为输出。snn神经元的激活水平模仿自然神经元的膜电位。snn神经元的输出/尖峰可以改变接收输出的其它神经元的激活水平。通常使用微分方程对snn神经元的作为时间的函数的当前激活水平进行建模并且将其视为snn神经元的状态。从其它神经元传入的尖峰可以将神经元的激活水平推动更高以达到用于尖峰化的阈值。一旦神经元尖峰化，就重置神经元的激活水平。在尖峰化之前，如通过微分方程控制的，snn神经元的激活水平可以随时间推移衰减。snn神经元的行为中的时间元素使snn适合于处理时空数据。snn的连通性通常是稀疏的，这在减少计算工作负荷时是有利的。
通常可以使用监督式方法来训练ann，在所述监督式方法中，对ann中的参数进行调整，以最小化或减少因相应输入而产生的已知输出与从将输入应用于ann生成的计算输出之间的误差。监督式学习/训练方法的实例包含强化学习和具有误差校正的学习。
可替代地或组合地，可以使用非监督式方法来训练ann，在所述非监督式方法中，在训练完成之前因给定的一组输入而产生的确切输出是未知的。可以训练ann以将项目分类为多个类别或者将数据点分类为集群。
可以采用多种训练算法用于复杂的机器学习/训练范例。
技术实现要素：
在一方面，本申请提供了一种方法，所述方法包括：在配置在车辆中的数据存储装置中从所述车辆的至少一个线控驱动系统接收传感器数据；确定所述车辆的与所述至少一个线控驱动系统的所述传感器数据相关的操作参数；由所述数据存储装置使用人工神经网络并且基于所述至少一个线控驱动系统的所述传感器数据和所述操作参数来确定所述至少一个线控驱动系统的操作是否异常；以及响应于根据所述人工神经网络确定所述至少一个线控驱动系统的所述操作异常而针对所述车辆生成维护警报。
在另一方面，本申请进一步提供了一种数据存储装置，所述数据存储装置配置在车辆中，所述数据存储装置包括：主机接口，所述主机接口被配置成从所述车辆的至少一个线控驱动系统接收传感器数据；一或多个存储器组件，所述一或多个存储器组件被配置成将所述传感器数据循环地存储在输入区域中；控制器，所述控制器被配置成确定所述车辆的与所述至少一个线控驱动系统的所述传感器数据相关的操作参数；以及推理引擎，所述推理引擎被配置成使用人工神经网络并且基于所述至少一个线控驱动系统的所述传感器数据和所述操作参数来确定所述至少一个线控驱动系统的操作是否异常，其中响应于根据所述人工神经网络确定所述至少一个线控驱动系统的所述操作异常而针对所述车辆生成维护警报。
在再一方面，本申请进一步提供了一种车辆，所述车辆包括：至少一个线控驱动系统，所述线控驱动系统具有：传感器，所述传感器被配置成测量用户与控制元件的交互以生成输入信号；以及控制单元，所述控制单元被配置成基于从所述传感器以电子方式传输到所述控制单元的所述输入信号来生成控制信号以驱动所述车辆；计算机系统，所述计算机系统被配置成提供所述车辆的操作参数；以及数据存储装置，所述数据存储装置具有：通信接口，所述通信接口被配置成从所述车辆的至少一个线控驱动系统接收传感器数据；一或多个存储器组件，所述一或多个存储器组件被配置成存储所述传感器数据；以及推理引擎，所述推理引擎被配置成使用人工神经网络并且基于所述至少一个线控驱动系统的所述传感器数据和所述操作参数来确定所述至少一个线控驱动系统的操作是否异常；其中所述计算机系统被配置成响应于根据所述人工神经网络确定所述至少一个线控驱动系统的所述操作异常而生成维护警报。
附图说明
在附图的图中通过实例而非限制的方式展示了实施例，在附图中，相同的附图标记指示类似的元件。
图1示出了根据一个实施例的用于监测车辆的线控驱动系统的传感器以进行预防性维护的系统。
图2示出了根据一些实施例的具有被配置成收集和处理传感器数据的车辆的系统。
图3示出了根据一个实施例的自主车辆。
图4-6展示了根据一些实施例的用于预测的人工神经网络的训练。
图7示出了根据一个实施例的具有神经网络加速器的数据存储装置。
图8示出了根据一个实施例的用于加速神经网络计算的存储器组件。
图9示出了根据一个实施例的被配置成支持神经网络计算的存储器容量。
图10展示了根据一个实施例的用于人工神经网络(ann)模型的存储器区域的配置。
图11展示了根据一个实施例的用于到人工神经元的输入的存储器区域的配置。
图12展示了根据一个实施例的用于来自人工神经元的输出的存储器区域的配置。
图13示出了根据一个实施例的自主车辆与数据存储装置之间的通信。
图14示出了根据一个实施例的数据存储装置内的通信。
图15示出了根据一个实施例的被配置成监测车辆的线控驱动系统的传感器的数据存储装置。
图16示出了根据一个实施例的用于生成用于车辆的线控驱动系统的预测性维护警报的方法。
具体实施方式
本文公开的至少一些实施例提供了在有或没有高级驾驶员辅助系统(adas)的情况下预测性地维护机动车辆或另一种车辆的线控驱动系统的传感器的系统、方法和设备。
汽车系统可以具有若干个线控驱动系统，如线控节气门、线控制动器和线控转向器。在线控驱动系统中，使用传感器来确定用户与控制元件的交互，如加速踏板、制动器踏板或转向盘。传感器输入被传输到控制单元，所述控制单元将控制信号应用于汽车系统以加速、制动或转向。线控驱动系统取代了将控制元件连接到相应控制单元以生成控制信号的机械机构。
线控驱动系统中的传感器和/或通信信道可能会随时间推移而降级和/或故障。
在本文所讨论的至少一些实施例中，人工神经网络被配置成监测和分析来自线控驱动系统中的传感器和/或通信信道的传感器数据，以检测异常和/或预测潜在故障。系统可以响应于检测到的异常和/或预测的故障而警告用户进行维护服务。因此，可以减少和/或避免潜在的事故和/或故障。
例如，人工神经网络(ann)(例如，尖峰神经网络(snn))可以被配置成处理与线控驱动系统的操作和健康状况有关的各种信号和数据，以检测与正常操作下的行为偏离的错误行为。例如，可以将在正常操作的一段时间内收集的此类信号和数据存储在存储器/存储装置中。存储器/存储装置可以配置有神经网络加速器，所述神经网络加速器训练ann以识别正常操作下的行为和模式。信号和数据可以以循环的方式保存到存储器/存储装置中，其中最早的数据集被擦除以存储最新的数据集。当新的数据集变得可用时，网络加速器可以进一步训练ann。在训练时期之后，可以使用ann来分类记录在存储器/存储装置中的新数据集是否可以被识别为具有与训练时期中的正常操作相对应的行为/模式。
当检测到可疑的错误行为时，神经网络加速器可以防止记录的数据被擦除或丢弃(例如，通过将数据保存到单独的分区中和/或保存到云)。进一步，神经网络加速器可以为驾驶员、所有者和/或维护设施生成关于可疑的错误行为的警报。
在维护设施中进行调查或诊断后，数据可以标记为正常或错误并且因此用于进一步训练人工神经网络(例如，snn)，以用于改进将来的检测。
当在维护访问后诊断出车辆组件中的缺陷时，诊断和所记录数据可以用于训练人工神经网络，以从类似数据中识别出缺陷。
任选地，传感器数据可以进一步包含表示车辆的操作状况的数据，如车辆的环境温度、车辆的速度、车辆的位置、车辆在行进的道路、来自车辆的其它传感器的输入、基于来自传感器中的一些传感器的输入生成的推理结果、车辆的组件如车辆的节气门、制动器、转向机构、信息娱乐系统和/或通信装置的状态。
图1示出了根据一个实施例的用于监测车辆的线控驱动系统的传感器以进行预防性维护的系统。
在图1中，展示了用于节制、制动和转向的线控驱动系统。如图1所展示的，车辆通常可以具有更多或更少的线控驱动系统。
线控驱动节气门传感器105被配置成检测用户与节气门控制元件如加速踏板的交互。由线控驱动节气门传感器105生成的感测输入通过一或多个通信信道107以电子方式传送到节气门控制单元145，所述节气门控制单元生成用于车辆的节气门106的控制信号。
类似地，线控驱动制动器传感器103被配置成检测用户与制动器控制元件如制动器踏板的交互。由线控驱动制动器传感器103生成的感测输入通过所述一或多个通信信道107以电子方式传送到制动器控制单元143，所述制动器控制单元生成用于车辆的制动器104的控制信号。
类似地，线控驱动转向器传感器101被配置成检测用户与转向器控制元件如转向盘的交互。由线控驱动转向器传感器101生成的感测输入通过所述一或多个通信信道107以电子方式传送到转向器控制单元143，所述转向器控制单元生成用于车辆的转向器机构102的控制信号。
在图1中，来自传感器101、103、105的感测输入和/或由控制单元141、143、145生成的控制信号也通过所述一或多个通信信道107传送到数据存储装置112。
数据存储装置112具有被配置成存储来自传感器101、103、105和/或来自控制单元141、143、145的传感器数据121的媒体108。例如，媒体108可以包含集成电路存储器晶胞；并且集成电路存储器晶胞可以是非易失性存储器(例如，nand、feram、nor、pcm、mram、交叉点存储器)。数据存储装置112的控制器151可以以循环方式将传感器数据121存储在输入区域、分区或名称空间中，使得最新的一组传感器数据121在数据存储装置112中可用。当方法和其中描述的技术(例如，图16的方法)至少部分地凭借通过可编程装置(例如，推理引擎101和/或控制器151)执行的指令来实施时，指令可以存储在媒体108或另一个机器可读媒体中。
数据存储装置112包含可以使用配置在数据存储装置112中的ann125分析传感器数据121的推理引擎109。ann125被配置成将传感器数据121分类为正常或异常。
例如，在假设车辆的线控驱动系统具有正常操作的时间段期间，可以使用在数据存储装置112中收集的传感器数据121来训练ann125以识别传感器数据121的正常模式。
例如，在从车辆离开制造商的预定时间段内，可以假设车辆具有正常操作。例如，当在车辆的预定量的初始里程内操作时，可以假设车辆的线控驱动系统具有正常操作。
随后，随着车辆具有异常操作的可能性增加，推理引擎109被配置成使用ann125来确定当前传感器数据121是否偏离所识别的正常模式。当检测到新的或异常的模式时，数据存储装置112可以生成警报以进行维护服务。
例如，数据存储装置112可以配置在图2所展示的车辆中。推理引擎109可以训练ann125，以识别在线控驱动系统具有正常操作的可能性被预定为高于阈值的时间段期间收集的传感器数据121的正常模式。随后，推理引擎109可以使用ann125来确定来自传感器101、103、105和控制单元141、143、145的当前传感器数据121是否具有正常模式；并且当当前传感器数据121不具有正常模式时，车辆可以呈现警报以进行维护访问。
图2示出了根据一些实施例的具有被配置成收集和处理传感器数据的车辆111的系统。
图2中的车辆111具有数据存储装置112、传感器122、ann125和adas128，所述adas被配置成处理包含来自传感器122的输入的传感器数据以生成用于车辆111的控制信号。
例如，传感器122可以包含图1所展示的线控驱动系统的传感器101、103、105。
通常可以在车辆111上配置一或多个传感器(例如，122)，以生成输入到adas128和/或数据存储装置112的传感器数据。数据存储装置112和/或adas128可以被配置成使用ann125来生成推理结果。推理结果可以包含用于操作或驾驶车辆111的控制信号、针对车辆111的维护服务的建议等。
在一些实施方案中，由传感器(例如，122)生成的数据中的至少一部分在adas128中用于驾驶员辅助并且在ann125中用于维护预测。任选地，可以在数据存储装置112和adas128两者中使用ann124的输出。ann125可以是adas128的一部分。
传感器122中的一些传感器可以配置在数字相机、激光雷达、雷达、超声声纳等中。也可以使用其它类型的传感器，如制动器传感器、速度传感器、加速度传感器、安全气囊传感器、gps(全球定位系统)接收器、音频传感器/麦克风、振动传感器、力/应力传感器、变形传感器、运动传感器、温度传感器等。传感器122中的一些传感器可以被主要配置成监测车辆111的环境；并且其它传感器122可以被主要配置成监测车辆111的一或多个组件如内燃机、排气系统、电动机、制动器、轮胎、电池等的操作状况。
车辆111的ann125被配置成处理来自传感器122的传感器输入数据，以控制车辆111和/或数据存储装置112和/或生成警报以进行维护服务。
一或多个传感器122的作为时间的函数的输出通常作为传感器数据流提供到adas128和/或ann125以提供驾驶员辅助(例如，自主驾驶)和维护预测。
传感器数据流的至少一部分可以提供到数据存储装置112以用于存储和/或用于处理。例如，可以在数据存储装置112中实施ann125的一部分。数据存储装置112的推理引擎109可以处理传感器数据流以生成推理结果，以供adas128进一步处理。因此，到数据存储装置112的输入数据流可以包含来自传感器122的传感器数据流的至少一部分；并且输出数据流可以包含使用ann125在数据存储装置112中针对车辆111的adas128生成的推理结果。可以从数据存储装置112的输入/输出数据流中的模式确定车辆111的操作状况并且因此确定数据存储装置112的工作负荷。
车辆111的和/或数据存储装置112中的ann125可以包含snn，所述snn被配置成对传感器数据的基于时间的变化进行分类和/或检测与车辆111的传感器数据的已知模式的偏离。当ann125检测到与已知模式的偏离时，可以将与偏离相对应的传感器数据存储在数据存储装置112中，以用于进一步分析和/或用于进一步训练ann125。
车辆111的数据存储装置112可以被配置成在一段时间内记录传感器数据。所记录的传感器数据可以在ann125中用于预测性维护和/或用于进一步训练ann125。维护服务设施(例如，127)可以从数据存储装置112下载传感器数据121并且将传感器数据121和对应的推理结果数据123提供到服务器119以促进对ann125的训练。
任选地或组合地，数据存储装置112配置有机器学习模块，以定制和/或训练安装在车辆111中和/或数据存储装置112中的ann125。
车辆111可以具有用于通过无线信号113和通信网络117与远程服务器119通信的无线通信装置。远程服务器119通常被配置在远离车辆111在服务中的道路114的位置。例如，车辆111可以向服务器119提供一些传感器数据121并且从服务器119接收ann125的更新。
通信网络117可以是具有用于接收无线信号(例如，113)的一或多个基站(例如，115)的蜂窝电话网络。可替代地或组合地，通信网络117可以包含互联网，其中在接入点(例如，115)中接收由车辆113传输的无线局域网信号(例如，113)以进一步传送到服务器119。在一些实施方案中，车辆111使用到卫星118或通信气球的通信链路116与服务器119通信。
服务器119还可以与一或多个维护服务设施(例如，127)通信，以接收车辆(例如，111)的传感器数据121和/或期望的推理结果数据123。
例如，期望的推理结果数据123可以由人类操作者检查传感器数据121(例如，来自传感器122的图像)和/或车辆111的相关状况来生成。例如，期望的推理结果数据123可以包含车辆(例如，111)的组件的检查记录和/或服务记录。例如，检查记录和/或服务记录可以指示其在维护服务设施(例如，127)处服务期间检查的组件的磨损程度、故障或失灵组件的标识等。在与期望的推理结果数据123有关的时间段内获得的车辆(例如，111)的传感器数据121可以用于在服务器119处训练ann125，以提高ann125的推理能力。
更新的ann125可以在维护服务设施127处安装在车辆111中。可替代地，可以将更新的ann125传输到车辆111以在空中更新车辆111。
ann125的负责处理来自传感器122的输入的部分可以被配置在数据存储装置112中。数据存储装置112的推理引擎109处理来自传感器122的输入，以生成从数据存储装置112传输到adas128的推理结果。基于来自传感器122的输入和/或对adas128的推理结果，数据存储装置112的推理引擎109可以通过调整缓冲/高速缓存、垃圾收集、磨损均衡等操作来生成推理结果以优化数据存储装置112在处理输入数据流和输出数据流时的性能。
图3示出了根据一个实施例的自主车辆111。例如，图2的系统中的车辆111可以使用图3的自主车辆111实施。
车辆111通常可以包含信息娱乐系统149、通信装置139、一或多个传感器122和连接到车辆111的一些控制的计算机系统131，所述一些控制如用于车辆111的方向的转向控制141、用于车辆111的停止的制动控制143、用于车辆111的速度的加速控制145等。在一些实施例中，图2的系统中的车辆111具有类似的配置和/或类似的组件。
图3的车辆111配置有高级驾驶员辅助系统(adas)128。车辆111的adas128可以具有用于基于传感器122中生成的图像进行对象检测、识别、标识和/或分类的人工神经网络(ann)125。可以在图1的数据存储装置112中实施ann125的一部分。
车辆111的计算机系统131可以包含一或多个处理器133、数据存储装置112和存储固件(或软件)147的存储器135，所述固件包含用于adas128的计算机指令和数据模型。
车辆111的传感器122可以包含可见光相机、红外相机、激光雷达、雷达或声纳系统、外围传感器、全球定位系统(gps)接收器、卫星定位系统接收器、制动器传感器和/或安全气囊传感器。进一步，车辆111的传感器122可以包含被配置成监测来自车辆111中的各个组件和位置的噪声的音频传感器(例如，麦克风)、被配置成测量车辆111的组件上的负荷的振动传感器、压力传感器、力传感器、应力传感器和/或变形传感器、测量车辆111的一些组件的运动的加速度计和/或陀螺仪传感器等。此类传感器可以用于监测组件的操作状态和/或健康状况，以进行预测性维护。
传感器122可以将实时传感器数据流提供到计算机系统131。车辆111的传感器122生成的传感器数据可以包含使用以下捕获对象的图像：使用人眼可见的光进行成像的相机或者使用红外光进行成像的相机或者声纳、雷达或激光雷达系统。优选地，图像由数据存储装置112的推理引擎109处理以生成推理结果作为数据存储装置112的输出数据流并且因此减少主计算机系统131的计算工作负荷。
例如，相机可以用于针对车辆111的行进获得道路信息，所述道路信息可以由ann125处理以生成用于车辆111的控制信号。例如，相机可以用于监测车辆111的组件的操作状态/健康状况，所述操作状态/健康状况可以由ann125处理以预测或调度维护服务。
车辆111的信息娱乐系统149可以用于呈现来自传感器122的数据和/或推理结果。例如，具有降低的分辨率和刷新频率的压缩图像可以在传感器122中生成并且传输到信息娱乐系统149以用于呈现给车辆111的乘员。任选地，通信装置139可以建立到车辆111的乘员的移动装置的连接以进行呈现。
当车辆111配置有adas128时，adas128的输出可以在自主驾驶期间用于控制(例如，141、143、145)车辆111的加速度、车辆111的速度和/或车辆111的方向。
图4-6展示了根据一些实施例的用于预测的人工神经网络125的训练。
在图4中，监督式机器学习模块171用于训练人工神经网络125，以最小化从传感器数据121生成的预测129与期望的推理结果数据123之间的差异。
例如，传感器数据121可以包含示出对象的图像；并且期望/预期的推理结果数据123可以标识对象所占据的图像区域、对象的特征、对象的分类、对象的身份等。
例如，传感器数据121可以包含车辆111周围的图像；并且期望/预期的推理结果数据123可以包含用于转向控制141、制动控制143和加速控制145的优选控制输入。
期望/预期的推理结果数据123可以由人类操作者生成。例如，传感器数据121可以用于构造车辆111遇到的情况的虚拟现实演示，所述虚拟现实演示包含来自传感器122的示出车辆111的环境的图像；并且期望/预期的推理结果数据123可以包含人类操作者响应于情况的虚拟现实演示而生成的响应。
监督式机器学习模块171可以调整人工神经网络125以减小/最小化基于传感器数据121生成的预测129与由人类操作者生成的期望/预期的推理结果数据123之间的差异。
可以基于车辆群体的传感器数据和对应的期望/预期的推理结果数据123将图4的监督式学习171应用于服务器119中，以生成用于车辆群体的通用ann。
可以基于车辆的传感器数据和推理结果数据123将图4的监督式学习171应用于车辆111中，以生成定制/个性化的ann125。例如，可以在车辆111中最初使用通用ann125；并且车辆111的传感器数据和特定于车辆111的期望/预期的推理结果数据123可以用于进一步训练车辆的ann125，以用于车辆111中的ann125的定制/个性化。
在图5中，非监督式机器学习模块175用于训练或改进人工神经网络125以促进异常检测173。非监督式机器学习模块175被配置成调整ann(例如，snn)以生成传感器数据121中的正常分类、聚类或所识别模式，使得与传感器数据121中的正常分类、聚类或所识别模式的偏离程度可以用于发信号通知异常检测173。
例如，异常检测173可以用于保存与异常相关联的传感器数据121以用于进一步分析。响应于车辆111中的异常检测173，计算机系统131可以向传感器122发出读取命令，以从传感器122检索与异常相关联的图像数据并且将检索到的图像数据存储在数据存储装置112中。在不影响adas128的正常操作的情况下，可以使用传感器122与数据存储装置112之间的可用通信带宽在一段时间内将与异常相关联的图像数据临时保存在传感器122的存储器装置中并且加载到数据存储装置112。
当车辆111在维护服务设施127中时，可以从数据存储装置112中检索与异常相关联的图像数据(和其它传感器数据)，以生成期望/预期的推理结果数据123，以用于使用图4的监督式学习171对ann125进行进一步训练。
任选地，监督式机器学习171可以用于训练ann125，如图6中所展示的。监督式学习171可以用于最小化根据传感器数据121使用ann125作出的预测179与预期分类177之间的分类差异。
例如，在不存在事故、接近事故事件或指示异常状况的用户输入的情况下，可以假设分类为“正常”。事故、近事故事件或用户输入可以用于标识导致事故、事件或用户输入的针对传感器数据“异常”的预期分类。监督式机器学习171可以用于训练人工神经网络125以利用与预期分类177相比减小/最小化的差异来进行分类179。
任选地，数据存储装置112的推理引擎109可以被配置成加速在数据存储装置112中实施的人工神经网络(ann)125的一部分的计算。
例如，推理引擎109可以包含神经网络加速器159，所述神经网络加速器专门用于执行涉及人工神经网络(ann)125的计算的至少一部分，如向量和张量的点积、乘法和累加运算等。
图7示出了根据一个实施例的具有神经网络加速器159的数据存储装置112。例如，图7的数据存储装置112可以在图2或3所展示的车辆111中使用。
在图7中，数据存储装置112具有被配置成与主机处理器(例如，图3中的133)通信的主机接口157。例如，主机处理器(例如，133)与主机接口157之间的通信可以至少部分地根据外围组件互连快速(pcie)总线、串行高级技术附件(sata)总线、通用串行总线(usb)和/或存储区域网络(san)的通信协议。
例如，主机计算机系统131可以与主机接口157通信，以从含有由车辆111的传感器122生成的传感器数据的输入数据流中检索由数据存储装置112生成的推理结果。
例如，主机接口157可以用于从传感器122接收车辆111的传感器数据121；并且传感器数据121可以任选地存储在数据存储装置112中，以用于对后续的事故或接近事故事件进行分析。
在图7中，存储器组件161到163中的每个存储器组件可以是被配置成存储数据的存储器集成电路。
神经网络加速器159和控制器151可以通过堆叠在存储器组件161到163的集成电路管芯上的一或多个集成电路管芯上形成的逻辑电路来实施。神经网络加速器159和控制器151的一或多个集成电路管芯与存储器组件161到163的集成电路管芯之间的穿透硅通孔可以用于提供高通信带宽以用于处理存储在存储器组件161到163中的数据以生成推理结果。推理结果可以存储在控制器151的本地存储器153和/或存储器组件161到163中的一些存储器组件中，以供主机系统如车辆111的计算机系统131检索。例如，不同的存储器组件161到163或存储器组件(例如，161或163)的不同部分可以使用穿透硅通孔来促进对神经网络加速器159和控制器151的不同部分的并行存取。
一些存储器集成电路通常是易失性的并且需要电力来维持存储的数据；并且一些存储器集成电路是非易失性的并且即使不供电时也可以保留存储的数据。存储器组件161到163可以包含易失性存储器和/或非易失性存储器。存储器组件161到163可以实施不同类型的存储器或相同类型的存储器。
非易失性存储器的实例包含闪速存储器、基于与非(nand)逻辑门、或非(nor)逻辑门形成的存储器单元、相变存储器(pcm)、磁存储器(mram)、电阻式随机存取存储器、交叉点存储和存储器装置。交叉点存储器装置可以使用无晶体管存储器元件，所述无晶体管存储器元件中的每个无晶体管存储器元件具有一起堆叠成列的存储器晶胞和选择器。存储器元件列通过在垂直方向上运行的两层导线连接，其中在层中在一个方向上运行的一层的导线定位于存储器元件列上方，另一层的导线处于另一个方向上并且在层中定位于存储器元件列下方。可以在所述两个层中的每个层上的一根导线的交叉点处单独选择每个存储器元件。交叉点存储器装置是快速且非易失性的并且可以用作用于处理和存储的统一存储器池。非易失性存储器的另外实例包含只读存储器(rom)、可编程只读存储器(prom)、可擦除可编程只读存储器(eprom)和电可擦除可编程只读存储器(eeprom)等。易失性存储器的实例包含动态随机存取存储器(dram)和静态随机存取存储器(sram)。
数据存储装置112可以具有控制器151，所述控制器包含易失性本地存储器153和至少一个处理装置155。
控制器151的本地存储器可以是嵌入式存储器，所述嵌入式存储器被配置成存储用于执行控制处理装置155的操作(包含处理数据存储装置112与车辆111的一或多个处理器(例如，133)之间的通信)的各种过程、操作、逻辑流和例程以及本文描述的其它功能的指令。任选地，控制器151的本地存储器153可以包含用于存储微代码的只读存储器(rom)和/或存储例如存储器指针、获取的数据等的存储器寄存器和/或如动态随机存取存储器(dram)和静态随机存取存储器(sram)等易失性存储器。
在图7中，数据存储装置112包含耦接到控制器151和/或存储器组件161到163的神经网络加速器159。
例如，神经网络加速器159可以被配置成比控制器151的处理装置155更高效地执行矩阵算术计算。涉及ann125的计算具有矩阵乘法和累加运算，所述矩阵乘法和累加运算对于通用处理器(例如，133、155)来说可以是计算密集型的。使用神经网络加速器159来执行矩阵算术计算可以减少要传输到车辆111的一或多个处理器133的数据并且减少一或多个处理器133、155的计算工作负荷。
当ann125包含尖峰神经网络(snn)时，对于通用处理器(例如，133、155)来说，模拟用于控制snn神经元的激活水平的一或多个微分方程可以是计算密集型的。任选地，神经网络加速器159可以使用特殊的硬件来模拟一或多个微分方程并且因此提高实施snn时的计算效率。
在一些实施方案中，神经网络加速器159是与控制器151和/或存储器组件161到163分离的集成电路装置。可替代地或组合地，神经网络加速器159与控制器151集成在集成电路管芯中。可替代地或组合地，如图8所展示的，神经网络加速器159的一部分可以集成在存储器组件161到163中的至少一个存储器组件的一或多个集成电路管芯上。
图8示出了根据一个实施例的用于加速神经网络计算的存储器组件160。例如，图7中的存储器组件161到163中的每个存储器组件或一些存储器组件可以使用图8的存储器组件160实施。
在图8中，存储器组件160可以形成于集成电路管芯上。存储器组件160的输入/输出(i/o)接口169被配置成处理存储器组件160的输入/输出信号。例如，输入/输出信号可以包含用于指定媒体单元165中的位置的地址信号和表示要在通过地址信号指定的位置处写入媒体单元165中的数据或从媒体单元165中的位置中检索到的数据的数据信号。
在图8中，神经网络加速器159与控制逻辑167和/或媒体单元165耦接，以执行用于在评估ann125的一部分的输出时和/或训练ann125时使用的计算。
例如，输入/输出接口169可以接收标识存储在媒体单元中并且要通过神经网络加速器159对其进行操作的矩阵的地址。存储器组件160可以响应于地址而提供神经网络加速器159的计算结果作为输出数据、将输出数据存储在缓冲器中以用于进一步操作、将输出数据存储在媒体单元165中的通过地址信号指定的位置中。因此，由神经网络加速器159执行的计算可以在存储器组件160内，所述存储器组件靠近矩阵数据所存储于的媒体单元165。
例如，可以根据预定模式将snn神经元的状态数据存储在媒体单元165中。神经网络加速器159可以根据用于控制snn神经元随时间推移的激活水平的一或多个微分方程自动更新snn神经元的状态。任选地，神经网络加速器159被配置成处理神经网络中的神经元的尖峰化。可替代地，数据存储装置112的神经网络加速器159和/或一或多个处理器133可以被配置成处理神经元的尖峰化和/或到snn的输入的累加。
例如，传感器122以预定频率生成传感器数据(例如，图像)。每个图像以循环方式存储在存储器组件161到163中，其中最新图像覆写最旧图像。存储器组件161到163进一步存储车辆111的ann125的负责处理来自传感器122的图像的部分。控制器151根据ann125的所述部分来处理存储器组件161到163中的图像，以生成推理结果。推理结果存储在存储器组件161到163中和/或控制器151的本地存储器153中，以供如车辆111的计算机系统131等主机系统读取。
例如，数据存储装置112从配置在车辆111上的至少一个传感器122接收传感器数据流并且根据ann125的存储在存储器组件161到163中的所述部分基于传感器数据流来生成推理结果。数据存储装置112内配置的神经网络加速器159基于人工神经网络125和传感器数据流来执行至少一部分计算。
任选地，可以将神经网络加速器159配置在与控制器151分离和/或与存储器组件161到163分离的集成电路管芯上。
任选地，神经网络加速器159可以配置在包含数据存储装置112的控制器151或数据存储装置112的存储器组件160、161或163的集成电路管芯上。
神经网络加速器159可以被配置成使用存储在数据存储装置112中的数据来执行计算，如ann的矩阵算术计算和/或snn的微分方程模拟。
矩阵算术计算的实例包含矩阵乘法和累加运算。在用于使用存储在数据存储装置112中的数据生成矩阵算术计算的结果的计算之后，神经网络加速器159可以提供结果作为数据检索操作中数据存储装置112的输出(例如，响应于读取命令)。可替代地或组合地，矩阵算术计算的结果可以作为下一个矩阵计算的操作数在数据存储装置112中进行缓冲，所述下一个矩阵计算与通过主机接口157中接收到的读取命令从非易失性存储器中检索到的数据矩阵组合地执行。
当人工神经网络(ann)125包含尖峰神经网络(snn)时，神经网络加速器159可以被配置成模拟控制尖峰神经网络(snn)中的神经元的激活水平的微分方程。任选地，存储器组件160被配置成根据预定模式将神经元的状态存储在尖峰神经网络中；并且神经网络加速器被配置成根据微分方程随时间推移自动更新神经元的状态。例如，神经网络加速器159可以被配置成通过非监督式机器学习来训练尖峰神经网络(snn)以检测异常。
由神经网络加速器159根据人工神经网络(ann)125执行的计算涉及具有数据存储装置112的不同使用模式的不同类型的数据。
例如，使用人工神经网络(ann)125进行预测包含使用指定人工神经网络(ann)125的模型的数据、提供到人工神经元的输入数据和由人工神经元生成的输出数据。
对于不同类型的ann相关数据，数据存储装置112的存储器容量可以被划分为不同的部分。不同部分可以被单独地配置成优化对应数据根据其使用模式由神经网络加速器159和/或数据存储装置112所配置于的计算机系统131的一或多个处理器133进行的存取和存储。
人工神经网络(ann)125的模型可以包含指定ann125中的单独人工神经元的静态属性和ann125中的神经元连通性的参数。ann125的模型数据是静态的并且在使用ann125进行预测计算期间不改变。因此，主要读取模型数据的使用模式。然而，当安装更新的ann125时，ann125的模型数据可以改变。例如，车辆111可以从服务器119将更新的ann125下载到车辆111的数据存储装置112以更新其预测能力。在使用机器学习技术(例如，171或175)训练ann125期间或之后，ann125的模型数据也可以改变。优选的是将数据存储装置112的存储器单独分区或区域配置成存储模型数据，其中根据针对模型数据的具体使用模式(例如，主要读取、不频繁更新)优化存储器单元的配置参数来操作所述分区或区域。例如，当使用基于nand逻辑门的闪速存储器实施存储器单元时，ann模型分区/区域中的存储器单元可以被配置成在多级晶胞(mlc)模式、三级晶胞(tlc)模式或四级晶胞(qlc)模式下操作，其中每个存储器晶胞存储两个位、三个位或四个位以提高存储能力。
提供到ann125中的人工神经元的输入数据可以包含外部输入和内部输入。外部输入通常由车辆111的传感器(例如，122)而不是由ann125中的人工神经元生成。可以以循环方式保存外部输入，使得可以在数据存储装置112中找到预定驱动长度的最近时间段的输入数据。因此，优选地的是将数据存储装置112的单独存储器分区或区域配置成存储外部输入数据，其中根据针对外部输入数据的存储模式优化存储器单元(例如，增强循环覆写的耐久性)的配置参数来操作所述分区或区域。例如，当使用基于nand逻辑门的闪速存储器实施存储器单元时，ann输入分区/区域中的存储器单元可以被配置成在单级晶胞(slc)模式下操作，其中每个存储器晶胞存储一位数据，以提高循环覆写操作的耐久性。
在一些实施方案中，人工神经元可以具有状态变量，所述状态变量响应于预测计算期间的输入随时间推移改变。例如，尖峰神经元的激活水平可以随时间推移改变并且被视为尖峰神经元的动态状态变量。在一些实施方案中，人工神经元的此类状态变量数据具有与外部输入数据类似的存储使用模式；并且因此，状态变量数据可以存储在被配置成用于外部输入数据的分区或区域中。在其它实施方案中，人工神经元的状态变量数据保存在缓冲器中并且不如外部输入那么频繁地存储；并且因此，可以将另一个分区/区域配置成用于存储人工神经元的动态状态变量数据。
可以缓冲由ann125中的人工神经元生成的输出数据以供神经网络加速器159和/或计算机系统131的一或多个处理器133进一步存取。输出数据可以包含外部输出和内部输出。外部输入由人工神经元生成，作为来自ann125的输出，如由ann125进行的分类或预测的结果。ann125的输出通常由计算机系统131的一或多个处理器133进一步处理。可以周期性地(例如，以类似于存储状态变量数据的方式)保存外部输入。内部输出和/或外部输出中的一些外部输出可以是到ann125中的人工神经元的内部输入。通常，可能没有必要将内部输出从数据存储装置的缓冲器存储到存储器组件。在一些实施方案中，当数据存储装置112的缓冲器容量不足以容纳全部状态变量数据和/或内部输出时，数据存储装置112可以使用交换分区/区域来扩展缓冲器的容量。可以对交换分区/区域进行配置，以优化随机存取并提高耐久性。
神经元的外部输出和/或动态状态可以以循环方式保存在单独的输出分区或区域中，使得可以周期性地存储神经元的外部输出数据和/或动态状态，并且可以在数据存储装置112中找到最新的一组外部输出和/或动态状态。可以选择性地存储神经元的外部输出和/或动态状态，因为此类数据中的一些数据可以由ann从存储在输入分区或区域中的外部输入重新生成。优选地，输出分区或区域被配置成存储不能从存储在输入分区或区域中的外部输入产生的一或多组外部输出和/或动态状态。在以循环方式将数据存储在输入/输出分区或区域中时，擦除最早存储的数据集，以便为最新数据集腾出空间。可以对ann输入/输出分区/区域进行配置，以优化用于将数据从数据存储装置的缓冲器复制到数据存储装置的存储器组件中的存储器单元中的顺序写入流。
图9示出了根据一个实施例的被配置成支持神经网络计算的存储器容量181。例如，图7的数据存储装置112的存储器组件161到163的存储器容量181可以根据图9被配置成支持神经网络计算。
图9的存储器容量181可以使用数据存储装置112的一组存储器组件(例如，161到163)实施。
可以在数据存储装置112的存储器容量181上产生一组区域183、185、187、…。区域(例如，183、185或187)中的每个区域对应于存储器容量181的命名部分。在每个区域内定义逻辑地址。地址映射191被配置成在区域183、185、187、…中定义的逻辑地址到存储器组件(例如，图7所展示的161到163)中的存储器单元的物理地址之间进行映射。
地址映射191可以包含区域183、185和187的区域优化设置192。
例如，ann模型区域183可以是被配置成用于人工神经网络(ann)125的模型数据的存储器/存储分区。区域优化设置192根据ann模型的数据使用模式(例如，以主要读取、不频繁更新为中心)来优化ann模型区域183中的存储器操作。
例如，神经元输入区域185可以是被配置成用于到人工神经网络(ann)125的外部输入数据的存储器/存储分区。区域优化设置192根据外部输入数据的数据使用模式来优化神经元输入区域185中的存储器操作(例如，以增强耐久性，从而支持连续输入数据流的循环覆写以进行顺序写入)。
例如，神经元输出区域187可以是被配置成用于从人工神经网络(ann)125提供的外部输出数据的存储器/存储分区。区域优化设置192根据外部输出数据的数据使用模式来优化神经元输出区域187中的存储器操作(例如，提高耐久性，以用于利用随机读取/写入存取来周期性地覆写数据)。
数据存储装置112包含被配置成存储人工神经网络(ann)125的临时/中间数据如ann125中的人工神经元的内部输入/输出的缓冲器。
任选地，可以在存储器容量181中配置交换区域以扩展缓冲器152的容量。
任选地，地址映射191包含主机接口157中接收的逻辑存储器地址之间的用于对人工神经元的数据和人工神经元的身份进行存取的映射。因此，用于对一个区域中的人工神经元的一种类型的数据进行存取的读取或写入命令可以使控制器151对另一个区域中的人工神经元的另一种类型的数据进行存取。
例如，响应于用于将神经元的外部输入数据写入到数据存储装置112的存储器容量181中的请求，地址映射191可以用于计算ann模型区域183中的神经元的模型参数的地址并将模型参数读取到缓冲器152中，以允许神经网络加速器159执行神经元的输出的计算。神经元的输出可以作为到其它神经元的内部输入保存在缓冲器152中(例如，以减少写入放大)。进一步，还可以从ann模型区域183将连接到神经元的其它神经元的身份检索到缓冲器152中，这允许神经网络加速器159和/或处理器进一步处理ann125中的输出的传播。从ann模型区域183中检索模型数据可以与将外部输入数据存储到神经元输入区域185中并行地执行。因此，车辆111的计算机系统131的处理器133不必显式地发送用于从ann模型区域183中检索模型数据的读取命令。
类似地，响应于读取神经元的输出数据，地址映射191可以用于计算存储在ann模型区域183中的神经元的模型参数的地址并且将模型参数读取到缓冲器152中，以允许神经网络加速器159将缓冲器152中的内部输入应用于执行神经元的输出的计算。可以提供计算出的输出作为对神经元的输出数据的读取的响应，而数据存储装置112不必将输出数据存储在存储器组件(例如，161到163)中。因此，处理器133和/或神经网络加速器159可以通过将输入写入神经元和/或从神经元读取输出来控制神经元的计算。
通常，传入到ann125的外部输入数据可以是直接由传感器(例如，122)生成而无需处理器133和/或神经网络加速器159处理的原始传感器数据121。可替代地，可以提供已由处理器133根据来自传感器122的信号针对ann125进行处理的间接传感器数据121作为外部输入数据。传入的外部输入数据可以接受在主机接口157中并且以循环方式写入到神经元输入区域185中并且自动缓冲在缓冲器152中，以供神经网络加速器159使用存储在ann模型区域183中的模型生成神经元输出。由神经网络加速器159生成的输出可以进一步缓冲为内部输入，以用于模型在ann模型区域183中的进一步应用。当外部输出变得可用时，数据存储装置112可以以外部输出的可用性的指示报告写入请求的完成。任选地，控制器151和/或神经网络加速器159可以生成内部读取命令，以在生成外部输出时在ann125中传播信号。可替代地，主机处理器133可以通过选择性地读取神经元的输出来控制信号在ann125中的传播；并且数据存储装置112可以主动地缓冲缓冲器152中可能需要的数据以加速ann计算。
图10展示了根据一个实施例的用于人工神经网络(ann)模型的存储器区域183的配置。例如，可以利用图9的逻辑存储器容量181在图7的数据存储装置112中实施图10的配置。例如，图10的设置193可以是图9的区域优化设置192的一部分。
图10的配置将ann模型区域183映射到至少一个存储器组件a161。优选地，可以由控制器151使用与托管ann数据的其它区域(例如，185和187)的存储器组件(例如，163)并行的所述至少一个存储器组件a161。例如，存储器组件a161可以在与其它区域(例如，185和187)的集成电路封装分离的集成电路封装中。可替代地，存储器组件161到163形成在嵌入同一集成电路封装中的单独集成电路管芯上。可替代地，存储器组件161到163可以在集成电路管芯的单独的区域上形成，其中可以基本上并行地操作单独的区域(例如，用于读取、用于擦除和/或用于写入)。
在图10中，设置193针对使用模式主要读取和不频繁更新进行了优化。
图11展示了根据一个实施例的用于到人工神经元的输入的区域185的配置。例如，图11的配置可以在图7和/或9所展示的数据存储装置112中实施。例如，图11的设置195可以是图9的区域优化设置192的一部分。
图11的配置将神经元输入区域185映射到至少一个存储器组件b163。优选地，可以由控制器151使用与托管ann数据的其它区域(例如，183和187)的存储器组件(例如，161)并行的所述至少一个存储器组件b163。例如，存储器组件b163可以在与其它区域(例如，183和187)的集成电路封装分离的集成电路封装中。可替代地，存储器组件161到163形成在嵌入同一集成电路封装中的单独集成电路管芯上。可替代地，存储器组件161到163可以在集成电路管芯的单独的区域上形成，其中可以基本上并行地操作单独的区域(例如，用于读取、用于擦除和/或用于写入)。
在图11中，设置195针对在记录以固定时间间隔采样的连续输入数据流时的循环顺序覆写时具有增强的耐久性的使用模式进行了优化。
图12展示了根据一个实施例的用于来自人工神经元的输出的区域187的配置。例如，图12的配置可以在图7和/或9所展示的数据存储装置112中实施。例如，图12的设置197可以是图9的区域优化设置192的一部分。
图12的配置将神经元输出区域187映射到至少一个存储器组件c162。优选地，可以由控制器151使用与托管ann数据的其它区域(例如，183和185)的存储器组件(例如，161和163)并行的所述至少一个存储器组件c162。例如，存储器组件c162可以在与其它区域(例如，183和185)的集成电路封装分离的集成电路封装中。可替代地，存储器组件161到163形成在嵌入同一集成电路封装中的单独集成电路管芯上。可替代地，存储器组件161到163可以在集成电路管芯的单独的区域上形成，其中可以基本上并行地操作单独的区域(例如，用于读取、用于擦除和/或用于写入)。
在图12中，设置197针对缓冲的数据的使用模式进行了优化，以利用随机存取进行周期性覆写。例如，存储器单元通过优化设置193到197被配置成以高于ann模型区域183中的频率但低于神经元输入区域185中的频率的频率在神经元输出区域187中更新/覆写。
通信协议/接口可以被配置成允许数据存储装置在运行中执行神经网络加速，同时减少到主机系统的数据流量。
例如，车辆111的主机处理器(例如，133)可以向数据存储装置112提供写入命令，以将人工神经网络的模型存储在模型分区(例如，183)中。
为了在分类和/或预测中使用ann模型，车辆111的主机处理器(例如，133)可以任选地将ann125的输入数据流式传输到神经元输入分区(例如，185)中。存储装置112的神经网络加速器159可以根据地址映射191将来自传感器122的图像以及来自主机处理器133的输入数据(如果有的话)自动应用于存储在ann模型分区(例如，183)中的模型。数据存储装置112使计算出的输出可用于在ann125中传播。优选地，计算出的输出通过缓冲器152可用于神经网络加速器159，而无需将中间输出存储到存储器组件(例如，161到163)中。因此，可以减少主机处理器(例如，133)与数据存储装置112之间的用于神经元输出的输送的数据通信。当输出已经传播到ann125中的输出神经元时，数据存储装置112可以提供对来自主机处理器(例如，133)的请求的响应。响应指示来自ann125中的神经元的外部输出可用。作为响应，车辆111的主机处理器(例如，133)可以任选地发出读取命令以检索外部输出以进行进一步处理。
图13示出了根据一个实施例的自主车辆111与数据存储装置112之间的通信。例如，如图13中所展示的通信可以利用图1或7中所展示的数据存储装置112在图2或3的车辆111中实施。
在图13中，主机系统的一或多个处理器133可以配置有简化的一组指令201以执行神经网络计算，因为涉及ann125的计算中的一些计算是由数据存储装置112内的神经网络加速器159执行的。在使用ann125进行预测和/或分类期间，没有必要将模型数据传输回一或多个处理器133。
传感器122可以生成连续的输入流205，作为车辆111的传感器数据121的一部分。可以以固定的预定时间间隔(例如，在车辆111的操作期间)生成输入流205中的传感器数据121。
输入流205被应用于ann125中的输入神经元。ann125中的输入神经元被配置成接受到ann125的外部输入；并且输出神经元被配置成提供来自ann125的外部输出。
一或多个处理器133可以执行指令201以处理来自数据存储装置112的输出数据207和传感器数据121中的一些传感器数据。
例如，一或多个处理器133可以将传感器数据121作为输入流205的一部分写入神经元输入区域185中并且从神经元输出区域187读取由神经网络加速器159使用模型区域183中的ann数据生成的输出数据207。
数据存储装置112以循环方式将输入流205存储到神经元输入区域185中，其中与针对当前存储在神经元输入区域185中的数据集进行数据采样的最早时间个例相对应的最早输入组被擦除以存储最新的输入组。
对于每个输入数据集，神经网络加速器159应用存储在ann模型区域183中的ann125的模型。神经网络加速器159(或一或多个处理器133)可以控制信号在神经网络内的传播。当ann125的输出神经元响应于输入数据集生成其输出时，数据存储装置112可以向处理器133提供对神经元输出准备好用于检索的指示。可以响应于来自一或多个处理器133的请求将指示配置成将输入数据集写入到神经元输入区域185中。一或多个处理器133可以任选地检索输出数据207(例如，根据指令中编程的条件和/或标准)。
在一些实施例中，在数据存储装置112中配置触发参数。当外部输出217中的输出参数满足由触发参数指定的要求时，数据存储装置提供对来自一或多个处理器133的请求的响应，以将输入数据集写入到神经元输入区域185中。
图14示出了根据一个实施例的数据存储装置112内的通信。例如，图14的通信可以在图1或7所展示的数据存储装置112中实施。
在图14中，模型区域183存储ann125的模型213。响应于从缓冲器152中的输入流205在时间个例内接收一组外部输入215，与检索含有ann模型213的与输入神经元的参数和/或连接到输入神经元的神经元的身份相对应的部分的神经元模型212并行地，数据存储装置112可以将外部输入215写入到输入区域185中。缓冲器152允许神经网络加速器159组合神经元模型212和外部输入225以生成输入神经元的输出227。
神经元输出227通常可以包含用于在ann125内进一步传播的作为内部输出216的部分和/或作为一或多个处理器133的外部输出217的部分。
内部输出216作为内部输入216存储在缓冲器152中，以用于以类似于从外部输入215生成神经元输出227的方式在ann125中进一步传播。例如，内部输入216的一部分可以使控制器151和/或神经网络加速器159检索与内部输入有关的对应神经元模型212，使得内部输入在神经网络加速器159中应用于对应的神经元模型212以生成其神经元输出227。
当完整的一组外部输出217在缓冲器152中可用时，可以将外部输出217存储到输出区域187中。
任选地，存储装置112不存储与在时间个例时采样的一组存储的外部输入215相对应的每组外部输出217。例如，存储装置112可以被配置成每当已经计数了预定数量组的外部输入(例如，215)时存储一组外部输出217。可替代地或组合地，一或多个处理器133可以确定是否存储外部输出217。例如，存储装置112可以被配置成响应于一或多个处理器133检索外部输出217以进行进一步处理而存储外部输出217。例如，存储装置112可以被配置成在一或多个处理器133中对外部输出217进行处理之后响应于来自一或多个处理器133的写入命令而存储外部输出217。
图15示出了根据一个实施例的被配置成监测车辆111的线控驱动系统的传感器的数据存储装置112。例如，图15的数据存储装置可以使用图1或7的数据存储装置112的技术在图2或3中所展示的车辆111中实施。
在图15中，数据存储装置112包含神经网络加速器159和存储在存储器组件161到163中的ann模型213。
控制器151被配置成通过结合操作参数233使用ann模型213对传感器数据121进行分类来使用神经网络加速器159进行维护预测。
传感器数据121包含由线控驱动传感器101、103、105生成和/或在控制单元141、143、145中接收的输入。进一步，传感器数据121可以包含由控制单元141、143、145根据从线控驱动传感器101、103、105通过通信信道107以电子方式接收的输入生成的控制信号。任选地，传感器数据121可以包含来自配置在车辆111上的其它传感器的输入。
任选地，一段时间的传感器数据121被存储在存储器组件161到163中。神经网络加速器159被配置成从存储器组件161到163中检索传感器数据121，以执行计算以在数据存储装置将空转时(例如，当车辆处于停车状态时)将传感器数据121的分类标识为正常或异常。
在车辆的线控驱动系统具有正常操作的可能性被预定为高于阈值的时间段期间(例如，在自车辆从工厂初次交付起的预定时间或里程内)，数据存储装置112可以被设置为处于训练模式。随后，可以将数据存储装置112设置为处于预测模式。
与操作参数223一起接收在主机接口157中的传感器数据121可以最初存储在输入区域185中。
当数据存储装置112处于训练模式时，可以假设传感器数据121中的一或多种模式和操作参数233是正常的。控制器151使用神经网络加速器159来训练ann125，以将传感器数据121和相关联的操作参数233分类为被视为正常的集群。控制器151可以在训练时期的持续时间内递增地训练ann以识别正常集群。可以从输入区域185中擦除已经用于训练ann125的最早的训练数据，以存储新的训练数据。
当数据存储装置112处于预测模式时，控制器151使用神经网络加速器159来确定ann125是否将传感器数据121和相关联的操作参数233分类到被称为正常的集群中的任何集群。当ann125无法将传感器数据121和相关联的操作参数233分类到被称为正常的集群中的任何集群时，可以将传感器数据121和相关联的操作参数233标识为异常；并且控制器151可以将异常传感器数据121和相关联的操作参数233保存到输出区域187中。
车辆111的计算机系统131可以检查输出区域187以用于标识异常传感器数据121和相关联的操作参数233。当在输出区域187中找到一组异常传感器数据121和相关联的操作参数233时，车辆111的计算机系统131可以为车辆111的用户生成维护警报。例如，维护警报可以呈现在车辆111的信息娱乐系统149中和/或车辆111的仪表板中。
当车辆111在维护服务设施127中时，可以使用到计算机系统131的连接从数据存储装置112下载异常传感器数据121和相关联的操作参数233。可以将下载的数据上载到服务器119以进行分析。进一步，可以检查车辆111的线控驱动系统的缺陷。任选地，异常传感器数据121和相关联的操作参数233可以通过通信网络117以无线方式113传输到服务器119，以进行远程诊断和/或分析。基于检查和分析，从数据存储装置112下载的传感器数据121和相关联的操作参数233可以被确认是异常的或者被重新分类为正常。确认或重新分类可以使数据存储装置112进一步训练ann125以提高其预测准确性。
进一步，当从维护访问中发现缺陷时，可以进一步训练ann125以基于输出区域187中的传感器数据121和相关联的操作参数233来预测缺陷。
通常，可以通过操作参数233标识车辆111的操作状况。车辆111的操作参数233可以包含车辆111的环境温度、车辆111的速度、车辆111的位置、车辆111在行进的道路、来自车辆111的传感器122中的一些传感器的输入、基于来自传感器122中的一些传感器的输入生成的推理结果、车辆控制(例如，141、143、145)的状态、车辆111的组件如车辆111的信息娱乐系统149和/或通信装置139的状态。车辆111的操作参数233可以包含高级驾驶员辅助系统(adas)128和/或在车辆111中运行的其它应用/组件的状态和操作。
操作参数233的实例可以包含从数据存储装置112的输入数据流生成和/或在数据存储装置112的输出数据流中提供的推理结果。
图16示出了根据一个实施例的用于生成用于车辆111的线控驱动系统的预测性维护警报的方法。例如，图16的方法可以结合图2或3的车辆111中的图3的计算机系统131或adas128在图1、7、13或15的数据存储装置112中实施。
在框251处，配置在车辆111中的数据存储装置112从车辆111的至少一个线控驱动系统接收传感器数据121。
例如，所述至少一个线控驱动系统包含线控转向系统、线控制动器系统或线控节气门系统或其任何组合。
例如，线控驱动系统包含传感器(例如，101、103或105)，所述传感器被配置成测量用户与控制元件(例如，转向盘、制动器踏板或加速踏板)的交互以生成输入信号。线控驱动系统进一步包含控制单元(例如，141、143或145)，所述控制单元被配置成基于从传感器(例如，101、103或105)以电子方式传输到控制单元(例如，141、143或145)的输入信号来生成控制信号(例如，用于车辆的转向器机构、制动器或节气门)，以驱动车辆。
例如，数据存储装置112的主机接口157或另一个通信接口可以被配置成从至少一个控制单元(例如，141、143或145)或从传感器(例如，101、103或105)或从车辆111的计算机系统131的一或多个处理器接收传感器数据121。
在框253处，数据存储装置112确定车辆111的与所述至少一个线控驱动系统的传感器数据121相关联的操作参数233。
例如，操作参数233可以包含自主车辆111的环境温度、自主车辆111的速度、自主车辆111的位置、来自配置在自主车辆111上的传感器122的输入、车辆控制(例如，141、143、145)的状态、自主车辆111的信息娱乐系统149的状态或自主车辆111的高级驾驶员辅助系统128的状态或其任何组合。
操作参数233可以由车辆111的计算机系统131确定并且在输入数据流中提供到数据存储装置112。车辆111可以将来自其它传感器122的输入提供到数据存储装置112；并且操作参数233中的一些操作参数可以由数据存储装置112从来自配置在车辆111上的传感器122的输入数据来确定。
在框255处，数据存储装置112使用人工神经网络125并且基于所述至少一个线控驱动系统的传感器数据121和操作参数来确定所述至少一个线控驱动系统的操作是否异常。
例如，人工神经网络125可以包含尖峰神经网络。
例如，在车辆111的使用的初始时期(例如，在自车辆从工厂交付起的预定时间或里程内)，可以假设车辆111正常地操作；并且传感器数据121可以被视为示出正常模式。数据存储装置112可以被配置成处于第一模式，在所述第一模式下，神经网络加速器159被配置成训练人工神经网络125以将存储在数据存储装置112中的传感器数据分类为正常。随后，数据存储装置112被配置成处于第二模式，在所述第二模式下，神经网络加速器159被配置成使用在第一模式下训练的人工神经网络125确定存储在数据存储装置112中的传感器数据正常还是异常。
例如，神经网络加速器159被配置成比控制器151更高效地执行矩阵算术计算。
例如，数据存储装置112的存储容量181可以包含一或多个存储器组件161、…、163。存储容量181可以被配置成具有输入区域185和输出区域187。
从所述至少一个线控驱动系统接收的传感器数据可以循环地存储在数据存储装置112的输入区域185中，其中传感器数据中的存储在输入区域185中的最早部分被擦除以存储传感器数据121中的从所述至少一个线控驱动系统接收的传入部分。
例如，响应于人工神经网络125鉴于车辆111的操作参数233将所述至少一个线控驱动系统的传感器数据121分类为异常，数据存储装置112的控制器151将传感器数据121和车辆111的相关联的操作参数233存储在数据存储装置112的输出区域187中。
在框257处，响应于根据人工神经网络125确定所述至少一个线控驱动系统的操作异常而针对车辆111生成维护警报。
例如，车辆111的计算机系统131可以在数据存储装置112的输出区域187中检查被人工神经网络125分类为异常的数据的存在。车辆111的计算机系统131可以响应于检测到被人工神经网络125分类为异常的数据的存在而呈现警报以进行维护访问。
任选地，车辆111的计算机系统131通过来自车辆111的无线连接113将输出区域187中的被人工神经网络125分类为异常的传感器数据121传输到服务器119。可以在服务器119中分析所传输的数据以生成诊断结果。可替代地，当车辆111访问维护服务设施127时，异常传感器数据121可以在维护服务设施127处从输出区域187下载并上载到服务器119以进行分析。当诊断结果可用时，可以进一步训练数据存储装置112中和/或服务器119中的人工神经网络125，以基于异常传感器数据121来预测诊断结果。
服务器119、计算机系统131和/或数据存储装置112可以各自被实施为一或多个数据处理系统。
本公开包含：方法和执行上文描述的方法的设备，所述设备包含执行这些方法的数据处理系统；以及含有指令的计算机可读媒体，所述指令当在数据处理系统上执行时使系统执行这些方法。
典型的数据处理系统可以包含互连(例如，总线和系统核心逻辑)，所述互连将一或多个微处理器和存储器互连。微处理器通常耦接到高速缓存存储器。
互连将所述一或多个微处理器和存储器互连在一起并且还通过一或多个输入/输出(i/o)控制器将所述一或多个微处理器和存储器互连到一或多个i/o装置。i/o装置可以包含显示装置和/或外围装置，如鼠标、键盘、调制解调器、网络接口、打印机、扫描仪、摄像机和本领域已知的其它装置。在一个实施例中，当数据处理系统是服务器系统时，i/o装置中的一些i/o装置如打印机、扫描仪、鼠标和/或键盘是任选的。
互连可以包含通过各种桥、控制器和/或适配器彼此连接的一或多个总线。在一个实施例中，i/o控制器包含用于控制usb(通用串行总线)外围设备的usb适配器和/或用于控制ieee-1394外围设备的ieee-1394总线适配器。
存储器可以包含以下中的一或多个：rom(只读存储器)、易失性ram(随机存取存储器)和非易失性存储器，如硬盘驱动器、闪速存储器等。
易失性ram通常实施为动态ram(dram)，所述dram持续需要电力以刷新或维护存储器中的数据。非易失性存储器通常是磁性硬盘驱动器、磁性光学驱动器、光学驱动器(例如，dvdram)或即使在电力从系统移除后仍维护数据的其它类型的存储器系统。非易失性存储器也可以是随机存取存储器。
非易失性存储器可以是直接耦接到数据处理系统中的其余组件的本地装置。也可以使用远离系统的非易失性存储器，如通过网络接口如调制解调器或以太网接口耦接到数据处理系统的网络存储装置。
在本公开中，一些功能和操作被描述为由软件代码执行或由软件代码引起，以简化描述。然而，此类表达也用于指定功能是因如微处理器等处理器执行代码/指令而产生的。
可替代地或组合地，可以在有或没有软件指令的情况下使用专用电路系统如使用专用集成电路(asic)或现场可编程门阵列(fpga)实施如这里所描述的功能和操作。可以在没有软件指令的情况下使用硬连线电路系统或与软件指令组合地实施实施例。因此，技术既不限于硬件电路系统和软件的任何具体组合，也不限于由数据处理系统执行的指令的任何特定源。
尽管一个实施例可以在全功能计算机和计算机系统中实施，但是各个实施例能够以各种形式作为计算产品分布并且能够与用于实际影响分布的特定类型的机器或计算机可读媒体无关地被应用。
所公开的至少一些方面可以至少部分地在软件中具体化。即，可以响应于计算机系统或其它数据处理系统的处理器如微处理器执行如rom、易失性ram、非易失性存储器、高速缓存或远程存储装置等存储器中含有的指令序列在计算机系统或其它数据处理系统中实现技术。
为实施实施例而执行的例程可以实施为操作系统或者特定的应用、组件、程序、对象、模块或被称为“计算机程序”的指令的序列的一部分。计算机程序通常包含一或多个指令，所述一或多个指令在计算机中的各个存储器和存储装置中在各个时间设置并且当由计算机中的一或多个处理器读取和执行时使计算机执行执行涉及各个方面的元件所必需的操作。
机器可读媒体可以用于存储软件和数据，所述软件和数据当由数据处理系统(例如，车辆111中的计算机系统131、服务器119、具有一或多个处理器133的系统、具有推理引擎109的装置112和/或控制器151)执行时使系统执行各种方法。可执行软件和数据可以存储在各个地方，包含例如rom、易失性ram、非易失性存储器和/或高速缓存(例如，媒体108、存储器135、数据存储装置112、高速缓存存储器231、缓冲器152)。此软件和/或数据的各部分可以存储在这些存储装置中的任何一个存储装置中。进一步，可以从集中式服务器或对等网络获得数据和指令。可以在不同的时间并且在不同的通信会话中或在同一通信会话中从不同的集中式服务器和/或对等网络获得数据和指令的不同部分。可以在执行应用之前整体获得数据和指令。可替代地，可以在执行需要时及时动态地获取数据和指令的各部分。因此，数据和指令不需要在特定时间个例时整体上处于机器可读媒体上。
计算机可读媒体的实例包含但不限于非易失性、可记录和非可记录类型媒体，如易失性和非易失性存储器装置、只读存储器(rom)、随机存取存储器(ram)、闪速存储器装置、软盘和其它可移除盘、磁盘存储媒体、光学存储媒体(例如，光盘只读存储器(cdrom)、数字多功能盘(dvd)等)等等。计算机可读媒体可以存储指令。
指令还可以具体化于用于电、光学、声学或其它形式的传播信号如载波、红外信号、数字信号等的数字和模拟通信链路中。然而，如载波、红外信号、数字信号等传播的信号不是有形的机器可读媒体并且未被配置成存储指令。
机器可读媒体通常包含以机器(例如，计算机、网络装置、个人数字助理、制造工具、具有一组一或多个处理器的任何装置等)可存取的形式提供(即，存储和/或传输)信息的任何机构。
在各个实施例中，硬连线电路系统可以与软件指令组合使用以实施技术。因此，技术既不限于硬件电路系统与软件的任何具体组合，也不限于用于由数据处理系统执行的指令的任何特定源。
以上描述和附图是说明性的并且不应被解释为限制性的。描述了许多具体细节以提供透彻理解。然而，在某些情况下，未对公知的或常规的细节进行描述，以避免混模糊描述。在本公开中对一个实施例或实施例的引用不一定是对相同实施例的引用；并且，此类引用意指至少一个实施例。
在前述说明书中，已经参考本公开的具体示范性实施例描述了本公开。将显而易见的是，在不脱离如以下权利要求中阐述的更广泛的精神和范围的情况下，可以对本公开进行各种修改。因此，说明书和附图应被视为说明性意义的，而不是限制性意义的。
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
