模拟驾驶特征控制脑机接口的制作方法

1.本公开涉及脑机接口，并且更具体地，涉及利用脑机接口的车辆控制。


背景技术：

2.脑机接口(bmi)是一种使得人类能够使用人脑活动向计算机提供命令的技术。bmi系统通过使电极阵列与大脑的运动皮层区域进行衔接、并使用经训练的神经解码器对接收的活动信号进行解码来提供控制输入，所述经训练的神经解码器将神经元发射模式转换成离散的控制命令。
3.bmi接口可以包括利用与人脑运动皮层区域的侵入性直接接触而工作的直接接触电极接口技术，并且可还包括非侵入性技术，其中无线接收器使用可以在外部接触用户头部的头皮、太阳穴、前额或其他区域的电场脑电图(eeg)接收器来测量大脑势场。bmi系统通常是通过以下方式来工作的：感测势场，放大数据并通过数字信号处理器处理所接收的信号，以将神经活动模式与可以利用处理后的信号来控制装置或提供某种其他类型的输出的功能相关联。bmi技术的最新进展已经设想了使用bmi的机动车辆控制的各方面。
4.在韩国专利申请公开号kr101632830(下文称为“'830公开)中公开了一种用于使用电场eeg控制车辆的bmi系统，所述专利申请描述了识别从eeg设备获得的控制位以用于车辆的驱动控制。虽然'830公开中描述的系统可以将eeg数据的某些方面用于车辆信号控制，但是'830公开没有公开模糊状态逻辑，其可以增加控制信号的可靠性，控制信号可以缓冲非预期的控制命令。


技术实现要素：

5.所公开的系统和方法描述了在车辆中实施的bmi系统。在一些实施例中，用户可以使用bmi系统读取来自用户大脑的电脉冲、解码连续神经数据馈送、并实时或基本实时地发出车辆控制命令，从而对一些驾驶功能(诸如车辆速度或方向控制)进行控制。
6.在一个实施例中，bmi系统可以包括eeg系统，所述eeg系统被配置为使用读取运动皮层信号的头皮到电极外部物理触点接收来自用户大脑的运动皮层的电势场特征。在其他方面，电极可以靠近用户的头皮设置而不与头皮表面进行物理接触，但是位于用于信号收集和处理的相对较短的操作范围内。在一个实施例中，脑机接口装置可以包括车辆中的头枕，所述头枕被配置为接收eeg信号。
7.在一些实施例中，bmi系统可以利用与模糊状态相关联的控制层来使用bmi进行车辆控制。用户可以使用包含在连续神经数据馈送中的思想签名来发出命令，并且当用户发出思想命令时，bmi系统可以管理状态转换。
8.为了提高鲁棒性，bmi训练系统可以通过模糊状态对控制功能进行分组。模糊状态可以由多组高斯核型隶属函数在数学上定义，这些函数可以提供重叠的控制层，用于增大和减小速度和转角(或半径)，以及其他可能的功能。隶属函数被认为是“模糊状态”，因为与特定状态相关联的值可能与连续状态中的值重叠，从而导致状态之间的平滑转换。bmi训练
系统可以生成相关模型并将相关模型集成到在车辆上配置的bmi装置中，所述相关模型使连续神经数据馈送与同第一车辆控制功能相关联的模糊状态相关。
9.在一些实施例中，车辆上的经训练的脑机接口(bmi)装置可以从用户接收神经数据的连续馈送。车辆可以通过对神经数据的连续馈送的分析来确定针对车辆控制指令的用户意图，并将该用户意图与同车辆控制功能相关联的模糊状态匹配。车辆可以通过保持当前状态直到接收到符合自主车辆控制系统中定义的各种驾驶特性的后续状态来管理状态控制。
10.车辆控制单元可以基于来自bmi的输入递增或递减模糊状态，该输入基于指示与用户意图相关联的模式的神经数据馈送。通过将当前状态递增到连续模糊状态，bmi可以基于用户的想法平滑地从一个状态转换到另一个状态(例如，从零、到低、到中到高等)，该用户的想法将转换成意图、与功能相关联、系统可以使用其生成控制命令。在一些方面，该过程可由自主车辆控制器管理以防止无意的车辆命令。
11.本公开的实施例可以在与自主车辆交互时提供用户控制的附加粒度，其中用户可以执行最终由自主车辆控制器管理的一些离散的控制方面。本公开的实施例可以为身体能力有限的用户提供车辆控制，并且更一般地，可以在bmi控制系统中提供便利性和鲁棒性。
12.在本文中更详细地提供了本公开的这些和其他优点。
附图说明
13.参考附图阐述具体实施方式。使用相同的附图标记可以指示类似或相同的项。各种实施例可以利用除了在附图中示出的元件和/或部件之外的元件和/或部件，并且一些元件和/或部件可能不存在于各种实施例中。附图中的元件和/或部件不一定按比例绘制。在整个本公开中，取决于背景，可以可互换地使用单数和复数术语。
14.图1描绘了其中可以实施用于提供本文所公开的系统和方法的技术和结构的示例性计算环境。
15.图2示出了根据本公开的用于车辆的汽车控制系统的示例架构的功能示意图。
16.图3示出了根据本公开的实施例的示例性bmi训练系统。
17.图4描绘了根据本公开的实施例的bmi系统107的功能框图。
18.图5描绘了根据本公开的流程图。
具体实施方式
19.下文将参考附图更全面地描述本公开，附图中示出了本公开的示例性实施例，并且所述实施例不意图为限制性的。
20.图1描绘了示例性计算环境100，该示例性计算环境可以包括一个或多个车辆105，该一个或多个车辆包括汽车计算机145以及车辆控制单元(vcu)165，该车辆控制单元典型地包括设置成与汽车计算机145和脑机接口(bmi)装置108进行通信的多个电子控制单元(ecu)117。移动装置120(其可以与用户140和车辆105相关联)可以使用有线和/或无线通信协议和收发器来与汽车计算机145连接。移动装置120可以经由一个或多个网络125来与车辆105通信地耦合，和/或可以使用近场通信(nfc)协议、协议、wi-fi、超宽带(uwb)以及其他可能的传输技术来与车辆105直接地连接，该一个或多个网络可以经由一个
或多个无线信道130进行通信。移动装置120通常包括用于存储与应用程序135相关联的程序指令的存储器123，所述程序指令在被移动装置处理器121执行时执行本公开的各方面。应用程序135可以是bmi系统107的一部分，或者可以向bmi系统107提供信息和/或从bmi系统107接收信息。
21.汽车计算机145通常是指电子车辆控制器，其可包括存储器155和一个或多个处理器150。在一些示例性实施例中，汽车计算机145可以被设置为与移动装置120以及一个或多个服务器170通信，所述一个或多个服务器可以与远程信息处理服务交付网络(sdn)相关联和/或包括所述远程信息处理sdn。车辆105还可以接收全球定位系统(gps)175和/或与其进行通信。
22.尽管被示出为运动型多用途车，但是车辆105可以采取另一种乘用或商用汽车的形式，例如诸如汽车、卡车、运动型多用途车、跨界车辆、厢式货车、小型货车、出租车、公共汽车等，并且可以被配置为包括各种类型的汽车驱动系统。示例性驱动系统可包括具有汽油、柴油或天然气动力燃烧发动机的各种类型的内燃发动机(ice)动力传动系统，其具有常规的驱动部件，诸如变速器、驱动轴、差速器等。在另一种配置中，车辆105可被配置为电动车辆(ev)。更具体地，车辆105可包括电池ev(bev)驱动系统，或者被配置为具有独立车载动力装置的混合动力ev(hev)、被配置为包括可连接到外部电源的hev动力传动系统的插电式hev(phev)。车辆105还可以被配置为包括并联或串联混合动力动力传动系统，其具有内燃发动机动力装置和一个或多个ev驱动系统，所述一个或多个ev驱动系统可以包括电池电力存储装置、超级电容器、飞轮电力存储系统以及其他类型的电力存储装置和发电装置。在其他方面，车辆105可以被配置为燃料电池车辆(fcv)，其中车辆105由燃料电池、氢fcv、氢燃料电池车辆动力传动系统(hfcv)和/或这些驱动系统和部件的任何组合提供动力。
23.此外，车辆105可以是手动驾驶的车辆，和/或被配置为在完全自主(例如，无人驾驶)模式(例如，5级自主)下或在一种或多种部分自主模式下操作。应当理解，本公开的实施例可以在手动操作车辆或半自主特征的情况下使用bmi系统辅助车辆操作，其中人类驾驶员执行车辆操作的一些或大部分方面。
24.部分自主模式的示例在本领域中被广泛地理解为1级至5级自主。具有1级自主的自主车辆(av)通常可以包括单个自动化驾驶员辅助特征，诸如转向或加速辅助。自适应巡航控制是1级自主系统的这样一个示例，其包括加速和转向两个方面。车辆中的2级自主可以提供转向和加速功能的部分自动化，其中自动化系统由执行非自动化操作(诸如制动和其他控制)的人类驾驶员监督。车辆中的3级自主通常可以提供对驾驶特征的条件自动化和控制。例如，3级车辆自主典型地包括“环境检测”能力，其中车辆可独立于当前的驾驶员而做出明智的决策，诸如加速驶过缓慢移动的车辆，而如果系统无法执行任务，则当前的驾驶员仍准备好重新取得对车辆的控制。4级自主包括具有可独立于人类驾驶员操作但是仍包括用于超驰操作的人类控制的高级自主的车辆。4级自动化还可以使自驾驶模式能够响应于预定义的条件触发(诸如道路危险或系统故障)进行干预。5级自主与无需人类输入进行操作并且通常不包括人类操作的驾驶控制的自主车辆系统相关联。
25.在一些方面，移动装置120可以通过一个或多个无线信道130与车辆105进行通信，所述一个或多个无线信道可以在移动装置120与远程信息处理控制单元(tcu)160之间加密并建立。移动装置120可使用与车辆105上的tcu 160相关联的无线发射器与tcu 160进行通
信。发射器可使用诸如例如一个或多个网络125的无线通信网络来与移动装置120进行通信。图1中将无线信道130描绘为经由一个或多个网络125进行通信，并且还经由与车辆105的直接通信而进行通信。
26.网络125示出了连接的装置可以在其中进行通信的一种可能的通信基础设施的示例。网络125可以是和/或包括互联网、专用网络、公共网络或使用任一种或多种已知的通信协议操作的其他配置，所述已知的通信协议诸如例如传输控制协议/互联网协议(tcp/ip)、基于电气和电子工程师协会(ieee)标准802.11的wi-fi、超宽带(uwb)，以及蜂窝技术，诸如时分多址(tdma)、码分多址(cdma)、高速分组接入(hspda)、长期演进(lte)、全球移动通信系统(gsm)和第五代(5g)，仅举几个例子。
27.根据本公开，汽车计算机145可以安装在车辆105的发动机舱中(或车辆105中的其他地方)并且可以作为bmi系统107的功能部分操作。汽车计算机145可包括计算机可读存储器155和一个或多个处理器150。在一个示例中，汽车计算机145可包括计算机可读存储器155和一个或多个处理器150。
28.bmi装置108可以设置成与vcu 165通信，并且可以被配置为提供(结合vcu 165)车辆105的系统级和装置级控制。vcu 165可以设置成与汽车计算机145通信和/或作为其一部分，并且可以与汽车计算机145和bmi系统107共享公共电源总线178。bmi装置108还可以包括一个或多个处理器148、被设置成与处理器148通信的存储器149、以及人机接口(hmi)装置146，所述人机接口装置被配置为通过使用bmi装置108在用户操作车辆时接收运动皮层大脑信号与用户140进行衔接。
29.一个或多个处理器148和/或150可以设置成与被设置成与相应的计算系统进行通信的一个或多个存储器装置(例如，与存储器149、存储器155和/或图1中未示出的一个或多个外部数据库)进行通信。处理器148、150可以利用存储器149、155来存储代码程序和/或存储数据以执行根据本公开的各方面。存储器149和155可以是存储bmi解码器144的非暂时性计算机可读存储器。存储器149和155可包括易失性存储器元件(例如，动态随机存取存储器(dram)、同步动态随机存取存储器(sdram)等)中的任一者或组合，并且可包括任何一个或多个非易失性存储器元件(例如，可擦除可编程只读存储器(eprom)、快闪存储器、电子可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)等)。
30.vcu 165可以包括ecu 117(诸如例如车身控制模块(bcm)193、发动机控制模块(ecm)185、变速器控制模块(tcm)190、tcu 160、约束控制模块(rcm)187等)的任何组合。在一些方面，ecu 117可以控制车辆105的各方面，并且实施从在移动装置120上操作的应用程序135所接收的一个或多个指令集、从bmi装置108所接收的一个或多个指令集。
31.tcu 160可以被配置为向车辆105上和车辆外的无线计算系统提供车辆连接。tcu 160可以包括导航/gps接收器188和/或低功耗模块(blem)195、wi-fi收发器、超宽带(uwb)收发器和/或可配置用于车辆105与其他系统、计算机和模块之间的无线通信的其他控制模块。tcu 160还可以使用控制器局域网(can)总线180来提供ecu 117之间的通信和控制访问，这是通过从can总线180检索和发送数据并在车辆105系统、连接的服务器(例如，服务器170)和作为车辆车队的一部分进行操作的其他车辆(图1中未示出)之间协调数据来实现的。
32.blem 195可以通过广播和/或收听小广告包的广播并且与根据本文所描述的实施
例配置的响应装置建立连接来使用通信协议建立无线通信。例如，blem 195可以包括针对响应或发起通用属性配置文件(gatt)命令和请求的客户端装置的gatt装置连接性。
33.can总线180可被配置为多主控串行总线标准，以用于使用基于消息的协议来连接两个ecu作为节点，所述协议可以被配置和/或编程为允许ecu 117彼此通信。can总线180可以是或包括高速can(其在can上的位速度可以高达1mb/s，在can灵活数据速率(can fd)上的位速度可以高达5mb/s)，并且可以包括低速或容错can(高达125kbps)，在一些配置中，其可以使用线性总线配置。在一些方面，ecu 117可以与主机计算机(例如，汽车计算机145、bmi系统107和/或服务器170等)通信，并且还可以彼此通信而不必需要主机计算机。can总线180可将ecu 117与汽车计算机145连接，使得汽车计算机145可从ecu 117检索信息、向所述ecu发送信息以及以其他方式与所述ecu交互，以执行根据本公开的实施例所述的步骤。can总线180可通过两线式总线将can总线节点(例如，ecu 117)彼此连接，所述两线式总线可以是具有标称特性阻抗的双绞线。can总线180也可使用其他通信协议解决方案(诸如面向媒体的系统传输(most)或以太网)来实现。在其他方面中，can总线180可以是无线车内can总线。
34.当被配置为can总线180中的节点时，ecu 117可以各自包括中央处理单元、can控制器和收发器(图1中未示出)。在示例性实施例中，ecu 117可以基于来自人类驾驶员、自主车辆控制器、bmi系统107的输入，并经由从诸如移动装置120等其他连接的装置接收的无线信号输入来控制车辆操作和通信的各方面。
35.vcu 165可经由can总线180通信来直接控制各种负载或者可结合bcm 193实施这种控制。关于vcu 165所述的ecu 117仅出于示例性目的而提供，并且不意图是限制性的或排他性的。用图1中未示出的其他控制模块进行的控制和/或通信是可能的，并且设想了这种控制。
36.bcm 193通常包括传感器、车辆性能指示器以及与车辆系统相关联的可变反应器的集成，并且可以包括基于处理器的配电电路，所述配电电路可以监督和控制与车身(诸如灯、窗、安全装置、门锁和访问控制)相关的功能以及各种舒适性控制。中央bcm 193还可作为总线和网络接口的网关进行操作，以与远程ecu(图1中未示出)进行交互。
37.bcm 193可以协调各种车辆功能性中的任一种或多种功能，包括能量管理系统、警报、车辆防盗器、驾驶员和乘坐者进入授权系统、手机即钥匙(paak)系统、驾驶员辅助系统、自主车辆(av)控制系统、电动窗、门、致动器以及其他功能性等。bcm 193可以被配置为用于车辆能量管理、外部照明控制、雨刮器功能性、电动窗和门功能性、供暖通风和空调系统以及驾驶员集成系统。在其他方面，bcm 193可以控制辅助设备功能性，和/或负责集成这种功能性。在一个方面，具有挂车控制系统的车辆可以至少部分地使用bcm 193来集成所述系统。
38.汽车计算机145、vcu 165和/或bmi系统107的计算系统架构可以省略某些计算模块。应当容易理解，图1中描绘的计算环境是根据本公开的可能的实施方式的一个示例，并且因此不应被视为限制性的或排他性的。
39.图2示出了根据本公开的可用于控制车辆105的汽车控制系统200的示例性架构的功能示意图。控制系统200可以包括bmi系统107和车辆控制硬件，所述bmi系统可以被设置
成与汽车计算机145通信，所述车辆控制硬件包括例如发动机/马达215、驾驶员控制部件220、车辆硬件225、传感器230、移动装置120、以及图2中未示出的其他部件。
40.传感器230可包括被配置或编程为生成信号的任何数量的装置，所述信号帮助为以自主模式操作的车辆105导航。自主驾驶传感器230的示例可包括：无线电探测和测距(radar或“雷达”)传感器，其被配置用于使用无线电波检测和定位物体；光探测和测距(lidar或“激光雷达”)传感器；视觉传感器系统，其具有轨迹、障碍物检测、物体分类、增强现实和/或其他能力；等等。当车辆在以自主模式操作时，自主驾驶传感器230可帮助av 205“看到”道路和车辆周围环境，和/或绕过各种障碍物。
41.vcu 165可以作为模糊状态指令集来执行车辆控制功能。vcu 165可以使发动机控制器235向控制部件220和/或发动机215发出命令，其中命令可以被配置为增大车速、减小车速、执行车辆转弯等。因此，vcu 165可以将控制功能与同驱动功能相关联的增大或降小状态相关联。例如，vcu 165可以基于用户意图递增或递减模糊状态，这可以基于递增或递减的模糊状态增大或减小速度或转弯半径，或者速度和转弯半径的组合。
42.当bmi装置108被训练并调谐到特定用户的神经活动时，解释来自用户大脑的运动皮层的神经数据是可能的。训练程序可以包括对从所述用户获得的连续神经数据馈送进行系统映射，其中当用户向训练计算机系统提供手动输入时，并且更具体地当用户提供对指针的控制时，数据馈送提供与用户大脑活动相关联的定量值。训练计算机系统可以在用户通过控制指针并生成可以处理连续数据馈送，识别与控制功能相关联的神经皮层活动的相关模型而执行与车辆操作相关联的行动时形成神经皮层活动模式(例如，相关模型)的关联。
43.因此，当配置有使用经训练的相关模型的经训练的bmi装置时，vcu 165可以通过自主地执行车辆操作的一些方面来提供车辆控制，并且通过经训练的bmi系统107向用户提供车辆控制的其他方面。
44.图3示出了根据本公开的实施例的示例性bmi训练系统300。bmi训练系统300可以包括神经数据采集系统305、带有数字信号处理(dsp)解码的训练计算机315、以及应用程序编程接口(api)335。
45.神经数据采集系统305和训练计算机315可以是和/或包括来自传统神经桥接系统的部件。
46.通过简单的概述，以下段落将为一种使用bmi训练系统300来训练bmi系统107的示例性方法提供一般描述。在一个方面，用户310可以与手动输入装置312交互，并向bmi训练系统提供输入。bmi训练系统300可以基于用户输入生成解码模型，用于解释与该特定用户相关联的神经皮层大脑活动。例如，bmi训练系统300可以在训练计算机340的显示装置上呈现指针338。用户310可以使用手动输入装置312提供手动输入，其中手动输入包括在训练计算机340的显示装置上移动指针338。在一个方面，用户310可以在操作驾驶模拟程序345时提供这些手动控制输入。当用户310执行手动输入时，bmi训练系统300还可以使用神经数据采集系统305来获得神经数据。bmi训练系统300可以收集神经数据(例如，原始数据输入)并执行比较程序，由此用户310执行输入臂355的想象的移动350(其中所述想象的输入可以包括手闭合、手打开、前臂旋前和前臂旋后)。一些实施例可以包括在神经数据采集系统305从指示用户310的大脑活动的连续神经数据馈送中获得原始信号数据的同时执行比较程序。
47.获得连续神经数据馈送可以包括经由训练计算机340接收神经数据输入作为来自微电极阵列346的解码器值的时间序列。例如，神经数据采集系统305可以通过以预定速率(例如，每100毫秒4个解码器值、每100毫秒2个解码器值、每100毫秒10个解码器值等)对连续数据馈送进行采样来获得神经数据。bmi训练系统300可以生成相关模型(图3中未示出)，所述相关模型使连续神经数据馈送与同第一车辆控制功能相关联的模糊状态相关。bmi训练系统可以将解码器值325保存到计算机存储器330中，然后经由数字信号处理器320使用脉宽调制和其他dsp技术将解码器值转换为运动皮层映射数据。bmi解码器144可以将数据映射到车辆控制的各方面，诸如例如速度和转向控制命令。
48.微电极阵列346可以被配置为接收从用户310收集的神经皮层活动的连续神经数据。例如，神经数据可以响应于在用户310想象与车辆控制相关联的特定移动和/或执行意在代表这种控制的手动移动时到用户大脑的皮层内去甲肾上腺素能纤维中的大脑皮层皮层内注射而起源。在一种示例性程序中，可以将由用户想象的移动映射为将状态递增到下一个连续状态(例如，从低速到中速)。在另一个方面，可以将由用户想象的移动映射为将状态递减到下一个连续状态(例如，递增操作的反向动作)。在另一个示例中，用户可以想象用于使车辆进入特定状态或状态组合(例如，在轻微右转向功能期间的低速度)的移动。
49.用户310可以是如图1所示的同一用户，所述用户可以利用经训练的bmi系统107来操作车辆，其中训练程序是特定于所述特定用户的。另一方面，训练程序可以提供将连续神经数据馈送与同车辆控制功能相关联的模糊状态相关的相关模型，其中广义相关模型将广义神经皮层处理应用于更广泛的可能的神经模式阵列。在这方面，任何用户都可以通过一些有限的调谐和训练而容易地采用广义模型。一种设想用于产生广义模型的方法可以包括，例如，使用包括深度神经网络相关模型开发在内的机器学习技术。
50.微电极阵列346可以被配置为从用户310的主要运动皮层获得神经数据，所述数据是通过侵入性或者非侵入性的神经皮层连接采集的。例如，在一个方面，用于神经数据采集的侵入性方式可以包括植入式96通道皮质内微电极阵列，其被配置为通过端口接口(例如，接口，目前可通过美国犹他州盐湖城黑石微系统公司(blackrock microsystems)获得)进行通信。在另一个示例性实施例中，使用非侵入性方式，微电极阵列346可以包括多个无线接收器，这些无线接收器使用电场脑电图(eeg)装置无线地测量脑电势电场。
51.训练计算机315可以经由无线或有线连接(例如，使用以太网到pc连接)从神经数据采集系统305接收连续数据馈送。在一个示例性实施例中，训练计算机315可以是运行基于的信号处理和解码算法的工作站。设想了其他数学处理和dsp输入软件。bmi训练系统可以生成相关模型，所述相关模型使用支持向量机(svm)学习算法(libsvm)使连续神经数据馈送与同车辆控制功能相关联的模糊状态(关于图4更加详细地描述)相关，以将神经数据分类为手/前臂移动(旋后、旋前、手打开和手闭合)。
52.手移动和前臂移动(在下文统称为“手移动350”)可以针对其在表示车辆驾驶控制(分别为向右转弯、向左转弯、加速、减速)方面的直觉性而由用户选择。例如，bmi训练系统可以包括输入程序，所述输入程序被配置为提示用户310执行表示右转的姿势，并且bmi训练系统可以记录与响应的用户输入相关联的手动输入和神经皮层大脑活动。解码的手移动作为手动画的移动显示给了用户。在另一方面，bmi训练系统可以包括神经肌肉电刺激器系
统(图3中未示出)，用于获得神经活动的神经反馈，并基于用户的运动意图向用户310提供反馈。
53.在一些方面，bmi训练系统300可以将神经数据转换为与车辆控制功能相关联的车辆控制命令指令。在一个示例性实施例中，bmi训练系统可以将用户意图与同车辆控制动作的用户意图相关联的模糊状态进行匹配。车辆控制动作可以是例如转向功能，其可以包括使车辆转弯预定量(例如，其可以相对于前向方向位置以度为单位进行测量)，或者可以是可包括改变车辆的速度的车辆功能。
54.转向功能可以分类为转弯半径、转弯程度或与车辆105转弯相关联的其他特性的层。例如，第一层可以是完全的“左转”功能，指示具有特定转弯半径的大约90度转弯。在另一个示例中，第二层可以是“稍微左转”功能，其中在特定转弯半径下转弯与当前轨迹成大约30-45度。在第三个示例中，第三层可以是“直线”功能，其包括保持当前轨迹的命令，没有转弯半径。当转弯层(或转弯角度、程度等)中的每一个可以表征为值的范围时，应当理解，与每个层相关联的范围可能是“模糊的”，因为转向功能的一个状态(例如，“稍微右转”)可以与连续层(例如，“右转”)共享与相对于当前轨迹的转弯半径的程度相关联的一些值。在另一个示例中，改变速度可以归类为已组织为模糊状态的速度层。在一方面，高速状态、中速状态、低速状态、停止状态等可包括值的范围，其中一些值被多于一个模糊状态共享。
55.模糊状态的一个例外，包括与连续状态的共享值，可能是停止状态，其将(在大多数实施例中)包括单个速度(每个时间单位的零距离移动单位)，并且没有与任何其他连续状态(例如，低速前进或低速后退)重叠的值。
56.重叠模糊状态值的第二个例外可能是直线模糊状态，其可以包括相对于当前轨迹的单个转弯角度(即，相对于当前轨迹的零度转弯角度)，并且没有与任何其他连续状态(例如，“稍微左转”和“稍微右转”)重叠的值。直线模糊状态的另一种可能配置可以包括考虑平均拖尾轨迹，其中使用相对于设定时间单位的先验距离来确定相对“直线”位置。当从转弯命令转换到直线命令时，这种配置可能是有用的，其中直线轨迹可能无法提供足够的信息来使车辆转向所需的方向。
57.本文描述的模糊状态是作为示例状态提供的，因此，可以扩展为包括用于相应状态的其他定义参数、附加车辆控制功能等。
58.图4描绘了根据本公开的使用bmi系统107的车辆控制的功能框图。bmi解码器144可以从人机接口(hmi)装置146接收连续神经数据405。在一个示例性场景中，用户(图4中未示出)可以与hmi装置146衔接，并执行与关于图3所描述的训练程序一致的思想控制步骤。bmi解码器144可接收连续神经数据405馈送，并使用神经数据馈送解码器410解码该连续神经数据。神经数据馈送解码器410可以包括使用bmi训练系统300生成的相关模型，如关于图3所述。
59.在一个方面，神经数据馈送解码器410可以对连续神经数据405进行解码，以通过将连续神经数据405中的模式与图3的训练操作期间观察到的用户的神经皮层活动的模式进行匹配来确定用户的意图。例如，连续神经数据可指示多个前进功能435中的前进功能或多个后退功能440中的后退功能。一方面，转向功能445可以包括各种车辆控制层(和与层相关联的模糊状态)，诸如左转、右转、稍微右转、稍微左转和直线模糊状态。前进功能435还可以包括与速度功能相关联的多个模糊状态，诸如高、中、低和停止模糊状态。此外，后退功能
440可以包括转向功能455和速度功能460，其执行与功能445和450类似的控制方面但具有相反的方向。车辆控制的其他模糊状态也是可能的，因此，前进功能和后退功能不旨在限制，并且仅作为示例提供。
60.在将从神经数据馈送解码器410接收的用户意图与同车辆控制功能435和440相关联的一个或多个模糊状态匹配之后，bmi系统107可以基于模糊状态执行车辆控制功能。这可以包括使用模糊状态协调器420向vcu 165生成指令，该指令包括用户的意图(例如，以中等速度直线前进)。
61.vcu 165可以被配置为提供对模糊状态控制的管理，从而实施强制选择特定状态和状态递增和递减的速度以符合各种准则的规则。例如，在某些地理位置、在一天中的某些时间等超过特定速度限制可能不是有利的。因此，vcu 165可以接收与用户意图相关联的模糊状态，并管理所请求的状态是否可以基于用户意图来递增或递减。vcu 165可以控制递增和递减430，并且基于从车辆gps接收的地理信息、时间信息、日期信息、与地理信息、时间信息、日期信息相关联的规则数据集等做出管理决策。其他输入是可能的并且进行了设想。响应于确定状态改变的特定意图是不允许的，模糊状态协调器420可以根据与行程相关联的环境和其他因素保持当前状态或执行其他自主车辆控制。
62.保持特定状态可以包括在存储器中存储命令状态寄存器，并且保持存储在状态寄存器中的值直到vcu 165由于来自车辆的独立控制的车辆控制条件而中断命令，或者直到允许的用户意图导致存储的状态值被更新的值替换。例如，模糊状态协调器420可以向vcu 165发送第二车辆控制功能指令，并且响应于(由vcu 165)进行的第二车辆控制功能指令符合当前驾驶条件的确定，用第二车辆控制功能指令更新命令状态寄存器。
63.响应于确定递增或递减意图和/或一个或多个前进功能435和后退功能440的功能选择意图，模糊状态协调器420可生成车辆控制指令465。vcu 165可以通过执行与功能相关联的控制算法使车辆根据控制指令动作。
64.图5是根据本公开的一种用于使用bmi系统107控制车辆的示例性方法500的流程图。可以继续参考包括图1至图4的先前附图来描述图5。以下过程是示例性的，并且不限于下文描述的步骤。此外，替代实施例可以包括比本文示出或描述的更多或更少的步骤，并且可以与以下示例性实施例中描述的顺序不同的顺序包括这些步骤。
65.首先参考图5，在步骤505处，方法500可通过以下操作开始：训练bmi装置以解释由用户大脑的运动皮层生成的神经数据，并将所述神经数据转换成车辆控制命令指令。
66.接下来，所述方法包括步骤510：使用经训练的bmi装置从用户接收神经数据的连续神经数据馈送。
67.在步骤515处，方法500还可以包括：从所述连续神经数据馈送中确定针对车辆控制命令指令的用户意图。在一个方面，模糊状态可以与第一组高斯核型隶属函数相关联。第一组高斯核型隶属函数可以包括用于使车辆转向的控制命令指令。
68.在步骤520处，该方法包括将用户意图与同第一车辆控制命令功能相关联的模糊状态匹配。在一方面，控制功能可以由方向来表征(例如，如图4中所描绘的前进功能435和后退功能440)。在另一方面，功能可以根据车辆控制类型来表征(例如，转向功能445和速度功能450)。与命令控制功能相关联的模糊状态可以包括车辆控制方面，诸如用于使车辆转向的命令，该命令包括用于在前进运动期间执行车辆转向的指令和用于在后退运动期间执
行车辆转向的指令。在其他方面，模糊状态可以与包括用于车辆节气门和制动的控制命令指令的第二组高斯核型隶属函数相关联。其他命令是可能并且进行了设想。
69.在步骤525处，该方法可以包括基于用户意图递增或递减模糊状态。递增和递减可以包括使一个模糊状态从第一状态移动到连续模糊状态。
70.在步骤530处，该方法可以包括基于递增或递减的模糊状态执行第一车辆控制功能命令。在示例性实施例中，基于递增或递减的模糊状态执行第一车辆控制命令功能可以包括将第一车辆控制功能命令指令发送到车辆远程信息处理控制单元(tcu)，并用第一车辆控制命令功能更新与tcu相关联的命令状态寄存器。命令状态寄存器可以是例如存储模糊状态值的计算机可读存储器。执行车辆控制命令功能还可以包括基于命令状态寄存器中的第一车辆控制功能来控制电子控制模块(ecm)。相应地，存储在状态寄存器中的先前状态可以保持直到av控制器替换该值，或者该值被模糊状态协调器替换为av控制器根据与车辆的独立于bmi接口功能的av控制相关联的自主车辆驾驶规则批准的用户意图模糊状态命令。
71.在以上公开中，已经参考了形成以上公开的一部分的附图，附图示出了其中可实践本公开的具体实施方式。应理解，在不脱离本公开的范围的情况下，可利用其他实施方式，并且可进行结构改变。本说明书中对“一个实施例”、“实施例”、“示例性实施例”等的引用指示所描述的实施例可以包括特定特征、结构或特性，但每个实施例可不一定包括所述特定特征、结构或特性。此外，这样的短语不一定指相同的实施例。另外，当结合实施例描述特征、结构或特性时，无论是否明确描述，本领域的技术人员都将认识到结合其他实施例的此类特征、结构或特性。
72.还应当理解，如本文所使用的词语“示例”意图在本质上是非排他性的和非限制性的。更具体地，如本文所用的词语“示例性”指示若干示例中的一者，并且应理解，没有对所描述的特定示例进行过多的强调或侧重。
73.计算机可读介质(也称为处理器可读介质)包括参与提供可由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性(例如，有形)介质。此类介质可采取许多形式，包括但不限于非易失性介质和易失性介质。计算装置可包括计算机可执行指令，其中所述指令可由一个或多个计算装置(诸如以上列出的那些)执行并且存储在计算机可读介质上。
74.关于本文所描述的过程、系统、方法、启发法等，应理解，虽然已经将此类过程等的步骤描述为根据某个有序顺序发生，但是此类过程可用以与本文所描述的次序不同的次序执行的所描述的步骤来实践。还应理解，可同时执行某些步骤，可添加其他步骤，或者可省略本文描述的某些步骤。换句话说，本文中对过程的描述是出于说明各种实施例的目的而提供的，并且绝不应被解释为限制权利要求。
75.因此，应理解，以上描述意图是说明性的而非限制性的。在阅读以上描述时，除所提供的示例之外的许多实施例和应用将为明显的。所述范围不应参考以上描述来确定，而是应参考所附权利要求以及享有此类权利要求的权利的等效物的整个范围来确定。预计并预期本文所讨论的技术未来将有所发展，并且所公开的系统和方法将并入到此类未来实施例中。总而言之，应理解，本技术能够进行修改和改变。
76.权利要求中所用的所有术语意图被赋予其如本文所论述的领域中的技术人员所
理解的普通含义，除非在本文中做出明确的相反指示。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个”、“该”、“所述”等单数形式冠词应被解读为叙述指示的要素中的一者或多者。除非另外特别说明，或者在所使用的背景中另外理解，否则尤其诸如“能够”、“可以”、“可能”或“可”等条件语言通常意在表达虽然某些实施例可能包括但是其他实施例可不包括某些特征、要素和/或步骤。因此，此类条件语言一般并不意图暗示一个或多个实施例无论如何都需要各特征、要素和/或步骤。
77.根据本发明的实施例，处理器被进一步配置为执行指令以：将第二车辆控制命令功能指令发送到av控制器；用所述第二车辆控制命令功能指令更新命令状态寄存器；以及基于所述命令状态寄存器中的所述第二车辆控制命令功能指令来控制ecu。
78.根据本发明，一种在脑机接口(bmi)装置中的非暂时性计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令在由处理器执行时致使所述处理器：经由所述bmi装置从用户接收神经数据的连续数据馈送；根据所述连续数据馈送确定针对车辆控制命令指令的用户意图；将所述用户意图与同第一车辆控制命令功能指令相关联的模糊状态匹配；以及基于所述模糊状态执行所述第一车辆控制命令功能指令。
79.根据一个实施例，本发明的特征还在于具有存储在其上的另外的指令以：将所述第一车辆控制命令功能指令发送到自主车辆(av)控制器；用所述第一车辆控制命令功能指令更新与所述av控制器相关联的命令状态寄存器；以及基于所述命令状态寄存器中的所述第一车辆控制命令功能指令来控制电子控制单元(ecu)。
80.根据一个实施例，本发明的特征还在于具有存储在其上的另外的指令以：将第二车辆控制命令功能指令发送到av控制器；用所述第二车辆控制命令功能指令更新命令状态寄存器；以及基于所述命令状态寄存器中的所述第二车辆控制命令功能指令来控制ecu。
81.根据一个实施例，本发明的特征还在于具有存储在其上的另外的指令以：用自主模式控制器递增或递减模糊状态。