计算机实现的方法、数据处理装置、非侵入性脑电接口系统和非暂时性计算机可读介质与流程

1.本公开涉及计算机实现的方法、数据处理装置、非侵入性脑机接口系统和非暂时性计算机可读介质。


背景技术：

2.大多数当前人机界面(human
‑
machine
‑
interface，hmi)依赖于用于输入人类命令的运动动作。甚至用于语音输入的指令的发声实际上需要在咽喉、下颚和嘴部肌肉的水平处的这种运动动作。然而，触发那些运动动作的大脑活动与实际运动动作之间的神经传递延迟引入了不是非显著的时滞，这在一些应用(诸如，例如驾驶车辆)中可能是关键的。在其他应用中，诸如控制假体装置，hmi实际上旨在替代神经与肌肉之间的连接，并且因此也将从直接大脑输入受益。
3.为了获得具有来自预期和/或替代实际运动动作的大脑活动的直接输入的hmi，即，所谓的脑机接口(brain
‑
machine
‑
interface，bmi)，已经提出从脑电图(electroencephalographic，eeg)信号解码运动动作。例如，欧洲专利申请公开ep 3 556 429 a1、美国专利us 9,824,607 b1、以及国际专利申请公开wo 2015/003118 a1中已经提出了从eeg信号基于分类解码运动动作。然而，这种基于分类的解码提供离散输出，而连续输出对于任务(诸如，例如车辆转向)可以是有利的。
4.例如在美国专利申请公开us 2014/0058528 a1中提出的另一解决方案是从当用户想象执行运动任务时记录的数据来拟合用于2d/3d运动学的解码器。然而，基于想象任务的解决方案具有显著的缺点。例如，它们可能不能够预期运动动作。此外，在eeg信号中的混杂非大脑分量代表用于拟合在没有预训练的情况下甚至可应用于例如受损用户的广义解码模型的障碍。


技术实现要素：

5.本公开的第一目的是提供用于从生物电势信号可靠地获得连续信号的计算机实现的方法。
6.根据本公开的第一方面，这可以包括由计算机通过使用统计相关性分析算法从生物电势信号分离混杂分量以获得去噪的神经信号，以及由该计算机从去噪的神经信号解码连续信号。统计相关性分析算法可以是典型相关性分析(canonical correlation analysis)算法。
7.通过从生物电势信号识别和去除混杂分量，能够获得去噪的神经信号，该去噪的神经信号可以与连续信号更可靠地相关，即使具有允许短期预测连续信号的预期时移。
8.该连续信号可以具体是连续运动动作命令信号，即，与用户的意图运动动作有关的命令信号。替代性地，然而，它们可以是可能嵌入在生物电势信号内的任何其他种类的连续信号，诸如，例如与注意力或舒适水平有关的脑源信号。
9.可以使用基于生物电势信号和相关的运动、视觉、声学或其他生物电势数据的现有数据集的模型来执行该统计相关性算法。相关的运动数据可以包括emg数据、运动传感器数据或视觉运动捕获数据。除了emg数据之外，生物电势信号或相关的其他生物电势数据可以包括eeg、皮肤电导率响应(skin conductivity response，scr)或心电图(electrocardiographic，ecg)数据。
10.可以使用多线性回归(multiple linear regression)模型从去噪的神经信号解码连续信号，该多线性回归模型可以具体地使在预期时间窗内连续信号与去噪的神经信号相关，以便从当前去噪的神经信号获得连续信号的短期预测。
11.该计算机实现的方法可以包括在分离生物电势信号的混杂分量之前对生物电势信号进行滤波。
12.该计算机实现的方法还可以包括使用连续信号作为命令信号来操作机器，诸如，例如车辆(包括诸如轮椅的个人移动装置)、机械臂(robotic manipulator)、假体装置或康复装置。人类用户因此可以通过生物电势信号输出连续命令以操作机器。
13.替代于或附加于使用连续信号操作机器，该方法可包括验证连续信号是否对应于可接受的连续命令集内的连续命令。因此，最终可以预先验证要由人类用户通过例如运动动作来输出的连续命令是否是可接受的，从而能够以其他方式采取充分的预防或矫正措施。
14.替代于或附加于使用连续信号来操作机器，该方法可以包括将连续信号与由生成生物电势信号的人类用户操作的机器的响应进行比较。当测试该机器时，因此能够评估该机器是否适当地响应于用户的意图。
15.本公开的第二方面涉及数据处理装置，该数据处理装置包括被配置成执行上述计算机实现的方法的处理器，并且涉及非侵入性脑机接口系统，该非侵入性脑机接口系统包括该数据处理装置和生物电势电极阵列，诸如，例如连接至数据处理装置的eeg电极阵列、emg电极阵列、ecg电极阵列或scr电极阵列。
16.本发明的第三方面涉及包括指令的非暂时性计算机可读介质，该指令当由计算机执行时使计算机执行上述计算机实现的方法。
17.一些示例实施例的上述概要不旨在描述本发明的每个公开的实施例或每个实现方式。具体地，本说明书内的任何说明性实施例的选择的特征可以结合到另外的实施例中，除非清楚地相反地陈述。
附图说明
18.考虑以下结合附图对各个实施例的详细说明，可以更完全地理解本发明，在附图中：图1示出示意性地图示根据第一实施例的具有结合用于获得连续信号的数据处理装置的脑机接口系统的机器的框图；图2示出根据第一实施例的数据处理装置中的数据流和数据处理的示意图；图3示出示意性地图示根据第二实施例的具有结合用于获得连续信号的数据处理装置的脑机接口系统的机器的框图；图4示出根据第二实施例的数据处理装置中的数据流和数据处理的示意图；以及
图5示出示意性地图示根据第三实施例的具有结合用于获得连续信号的数据处理装置的脑机接口系统的机器的框图。
19.虽然本发明可以进行各种修改和替代形式，但是其细节已经通过示例的方式在附图中示出并且将进行详细描述。然而，应当理解，本发明并非将本发明的方面限制于所描述的具体实施例。相反，本发明将覆盖落在本发明的范围内的所有修改、等同物和替代。
具体实施方式
20.对于以下定义的术语，将应用这些定义，除非在权利要求或本说明书中的其他地方给出了不同的定义。
21.在本文中假定所有数值前面是术语“约”，无论是否明确指示。术语“约”通常是指本领域技术人员将认为等同于所记载的值(即，具有相同的功能或结果)的数值范围。在许多情况下，术语“约”可以指示为包括取整为最接近的有效数的数字。
22.通过端点对数值范围的任何记载包括该范围内的所有数字(例如，1至5包括a.o.1、4/3、1.5、2、e、2.75、3、π、3.80、4和5)。
23.虽然公开了关于各种部件、特征和/或规格的一些适合的尺寸范围和/或值，但本公开启发本领域的技术人员将理解所期望的尺寸、范围和/或值可以偏离明确公开的那些。
24.如在本说明书和所附权利要求中所使用的，单数形式“一/一种(a/an)”和“该(the)”包括复数指示物，除非内容另外清楚地指明。如在本说明书和所附权利要求中所使用的，术语“或”总体上以其包括“和/或”的含义使用，除非该内容另外清楚地指明。
25.以下详细描述应参考附图来阅读，其中，不同附图中的类似元件编号相同。详细描述和不一定按比例的附图描绘了说明性实施例并且不旨在限制本发明的范围。所描绘的说明性实施例仅旨在作为示例性的。任何说明性实施例的选择的特征可以结合到另外的实施例中，除非清楚地陈述相反情况。
26.图1示出具有包括根据本公开的第一实施例的数据处理装置1的非侵入性脑机接口(brain
‑
machine interface，bmi)系统20的机器10的框图。在该第一实施例中，机器10可以是包括转向系统50、动力总成系统60和/或制动系统70的车辆。动力总成系统60例如可以是内燃(internal combustion，ic)动力总成、电动动力总成或包括内燃动力源和电驱动动力源两者的混合动力总成。
27.数据处理装置1可以连接至或包括用于存储参考数据集的数据存储装置。数据处理装置1可以包括执行一个或多个软件程序的存储器、组合的逻辑电路、处理器(共享的、专用的、或组)、电子电路、和/或提供所描述的功能性的其他合适组件。数据处理装置1可以附加地执行车辆10中的另外功能。例如，控制装置还可以用作机器10的通用电子控制单元(electronic control unit，ecu)。
28.在该第一实施例中，bmi系统20除了数据处理装置1之外还可以包括用于从人类用户收集脑电图(electroencephalography，eeg)信号的非侵入性eeg电极阵列30。eeg电极阵列30可以连接至数据处理装置1，用于将那些eeg信号传输至数据处理装置1。替代于或附加于eeg电极阵列30，bmi系统20可以包括用于从人类用户收集肌电图(electromyography，emg)信号的非侵入性emg电极阵列40。emg电极阵列40还可以连接至数据处理装置1，用于将那些emg信号传输至数据处理装置1。
29.数据处理装置1可以包括滤波器1a和去噪单元1b，该滤波器1a可以例如是4阶巴特沃斯(butterworth)滤波器，用于滤除高于和/或低于对应频率阈值(例如0.1hz的下阈值和8hz的上阈值)的eeg和/或emg信号分量，该去噪单元1b被配置为执行统计相关性算法，诸如典型相关性分析(canonical correlation analysis，cca)算法，以识别并去除在通过滤波器1a从eeg和/或emg电极阵列30、40接收的被滤波的信号中的混杂非大脑分量，以便获得去噪的神经信号。
30.数据处理装置1还可以包括解码器单元1c，该解码器单元1c被配置为从由去噪单元1b获得的去噪的神经信号解码连续信号。具体地，解码器单元1c可以被配置为使用多线性回归(multiple linear regression，mlr)模型从去噪的神经信号解码连续信号。这些连续信号尤其可以是连续运动动作命令信号，即，与用户的意图运动有关的神经信号，例如，用于致动用于操作转向、制动和/或动力总成系统50、60、70的一个或多个控制元件(诸如车轮、踏板、手柄、杠杆、操纵杆、拨片等)的意图运动。
31.数据处理装置1还可以包括验证单元1d，该验证单元1d可以被配置为验证连续信号是否是可接受的，例如通过将它们与允许的动作集进行比较。验证单元1d可以连接至高级驾驶员辅助系统(advanced driver assistance system，adas)80，adas 80可以被配置为取决于驾驶情境更新允许的动作集。验证单元1d还可以连接至转向、制动和/或动力总成系统50、60、70，并且可以最终被配置为如果通过解码器单元1c接收的连续信号被确定为对应于不可接受的命令，则禁止它们的操作。验证单元1d可以附加地或替代性地连接至警告输出单元90，该警告输出单元90包括例如视觉显示器和/或扬声器，用于输出连续信号对应于不可接受命令的警告。替代于或附加于验证连续信号是否是可接受的，验证单元1d可以被配置为例如从adas 80接收关于机器10通过一个或多个控制元件对用户输入的响应的数据，并且将该响应与由解码器单元1c输出到验证单元1d的解码的连续信号进行比较。这可以用于例如评估在测试驾驶期间车辆的驱动能力。
32.图2图示使用非侵入性bmi系统20操作机器10的方法。这种方法可以作为计算机程序存储在计算机可读介质中，该计算机程序包括指令，该指令在由计算机(诸如数据处理装置1)执行时可以使该装置执行该方法。在该方法中，eeg和/或emg电极阵列30、40可以收集生物电势信号，诸如反映用户的神经活动的eeg和/或emg信号，并且通过滤波器1a将它们传输至数据处理装置1，并且更具体地传输至去噪单元1b。在去噪单元1b中，可以使用统计相关性算法(诸如cca算法)在eeg和/或emg信号中识别混杂分量并且将其从eeg和/或emg信号中去除。
33.cca算法可以估计两个多通道数据集x和y的线性变换，以便使不相关方差最小化。给定大小为t
×
j1和t
×
j2的两个数据集x和y，cca算法可以找到使它们最大相关的两者的线性变换。具体地，cca算法可以产生相应大小为j1×
j0和j2×
j0的变换矩阵v和u，其中，j0＜min(j1，j2)，其分别与数据集x和y的乘积产生变换数据矩阵x
v
和y
u
。每对变换数据矩阵x
v
的列和变换数据矩阵y
u
的对应列形成所谓的典型分量(canonical component，cc)，并且计算变换矩阵v和u，使得第一cc的列彼此最大相关，而每个后续cc的列也最大地彼此相关，但与之前的cc的列不相关。因此，第一cc是具有最高可能相关性的x和y的线性组合。下一对cc是与第一cc正交的最高相关组合，等等。
34.在可以由去噪单元1b应用的cca算法中，数据集y可以对应于由去噪单元1b接收的
被滤波的神经信号，并且数据集x可以对应于要从y去除的混杂分量。cca算法的这种基本式可以捕获刺激代表和大脑响应之间的瞬时交互。应用cca算法可以产生最大相关的加权和x
v
(t)＝∑
i
x
i
(t)*v
i
和y
u
(t)＝∑
j
y
j
(t)*u
j
，其中，x
i
(t)和y
j
(t)中的每一者分别代表在每个时间点t处的数据集x和y的一个通道i、j；v
i
和u
j
中的每一者是分别来自变换矩阵v和u的向量；并且每个向量v
i
和u
j
代表用于对应通道i、j的变换权重。在已经估计变换矩阵v和u并应用变换矩阵u来将数据集y变换成经变换的数据矩阵y
u
之后，来自y
u
的第一分量(其对应于与数据集x最相关的信号分量)可以从变换的数据矩阵y
u
中去除以获得去噪的变换的数据矩阵y
u,den
，逆变换矩阵u
‑1可以应用于该去噪的变换的数据矩阵y
u,den
以产生多通道数据集作为去噪的神经信号y
den
。
35.当要获得的连续命令是连续运动动作命令时，该cca算法可能已经在eeg和/或emg信号和相关的运动数据的现有数据集上训练，以便基于该数据集应用变换矩阵，用于执行去噪的大脑信号与eeg信号中的混杂分量的分离。更具体地，现有数据集可以包括来自一个或多个用户(可能包括当前用户)的数据，并且其运动数据可以已经使用放置在相关肌肉(例如用于转向控制的左和右三角肌)上的一个或多个emg电极、放置在感兴趣位置(例如用于转向控制的颈部和手腕)上的诸如加速度计的一个或多个运动传感器、和/或执行视觉运动捕获的一个或多个摄像机来获得，并且与来自相同用户的同时的eeg和/或emg信号相关。一旦这样训练，cca算法可以应用所得到的变换矩阵v和u，用于将去噪的大脑信号与在被滤波的eeg和/或emg信号中的混杂分量分离。
36.去噪的神经信号然后可以从去噪单元1b传输至解码器单元1c，解码器单元1c然后可以继续从这些去噪的神经信号解码可以被嵌入其中的连续信号。为此，解码器单元1c可以在后向建模系统识别算法中使用多线性回归(multiple linear regression，mlr)模型。
37.具体地，从去噪的神经信号y
den
开始，连续信号z可以在离散时间中被表示为：其中z(t)是该连续信号z在时间点t的值，τ代表连续信号z的时滞，g(τ,j)是回归权重，该回归权重形成mlr模型并且描述去噪的神经信号y
den
在较早时间点t
‑
τ的每个通道j的值y
den
(t
‑
τ,j)的线性变换，并且ε(t)代表未由该模型解释的在时间点t的残留信号。mlr模型描述了神经信号y
den
针对代表前向移位时间窗的时滞τ的值的指定范围的线性变换。在训练期间，可以通过最小化连续信号z的观察值z(t)与通过去噪的神经信号y
den
的线性变换计算的对应值之间的均方差(mean
‑
square error，mse)来估计回归权重g(τ,j)：
38.该最小化问题可以通过应用tikhonov回归闭合式来解决：g＝(z
t
z λi)
‑1z
t
y
den
其中，i是单位矩阵并且λ是偏置项或平滑因子。此平滑因子的添加防止沿着低方差维度过度拟合到高频噪声。可以选择前向移位时间窗(即，用于时滞τ和偏置项λ的值的范围)以优化感兴趣的解码度量(例如mse，解码皮尔逊相关性(pearson’s correlation))。
39.mlr模型因此可以使在预期时间窗内连续信号与去噪的神经信号相关，该预期时间窗在连续命令的实际输出(例如，作为运动动作)之前移位例如2
‑
3秒。结果，由解码器单元1c输出到验证单元1d的解码的连续信号可预期用户的意图运动，并且特别是用于致动用于操作转向、制动和/或动力总成系统50、60、70的一个或多个控制元件(诸如车轮、踏板、手柄、杠杆、操纵杆、拨片等)的意图运动，使得验证单元1d可以验证它们是否对应于可接受的命令，并且，如果它们不在从来自adas 80的实例接收的允许的动作集内，禁止它们和/或在用户通过他对一个或多个控制元件的致动有效地将它们输出至转向、制动和/或动力总成系统50、60、70之前输出警告，和/或将那些解码的连续信号与机器10对由用户对控制元件的致动的响应进行比较。
40.然而，代替于利用这样的控制元件(诸如车轮、踏板、手柄、杠杆、操纵杆、拨片)来操作转向、制动和/或动力总成系统50、60、70，解码的连续信号可以被转换成机器操作命令。因此，例如，在第二实施例中，在图3中图示，机器10可以是假体装置(诸如部分的外骨架)，其包括一组线性和/或角度致动器100和非侵入性bmi系统20，该非侵入性bmi系统20包括数据处理装置1和eeg和/或emg电极阵列30、40。该第二实施例中的所有等同或类似的元件将接收与第一实施例中相同的附图标记。
41.如在第一实施例中，数据处理装置1可以附加地执行在机器10中另外的功能，该数据处理装置1还可以包括执行一个或多个软件程序的存储器、组合逻辑电路、处理器(共享的、专用的、或组)、电子电路、和/或提供所描述的功能性的其他合适组件，并且其还可以连接至或包括用于存储参考数据集的数据存储装置。在该第二实施例中的数据处理装置1还可以包括滤波器1a、去噪单元1b以及解码器单元1c，该滤波器单元1a、去噪单元1b以及解码器单元1c被配置为如在第一实施例中一样，以从接收自eeg和/或emg电极阵列30、40的eeg和/或emg信号中获得连续信号，并且具体地是连续的运动动作命令信号。在该第二实施例中，可以由去噪单元1b应用的cca算法的变换矩阵和由解码器单元1c使用的mlr模型可以基于eeg和/或emg信号和来自一组多个用户(所有是当前用户(例如，相同的年龄范围、相同的右或左用手习惯)的代表)的相关运动数据的现有数据集，以反映它们的共同响应。此外，在该第二实施例中，代替第一实施例的验证单元1d或除了第一实施例的验证单元1d之外，数据处理装置1可以包括输出单元1e，该输出单元1e连接至致动器100并且被配置为将由解码器单元1c输出的解码的连续信号转换成机器操作指令并且将它们传输至致动器100以便操作机器10，可能类似于受损的肢体，如图4中图示。比基于运动影像的先前bmi系统更有利地，根据该第二实施例的bmi系统20将允许受损的神经回路的康复和/或以自然方式(即，无需用户需要任何附加的认知努力)的假体装置的操作。
42.可以从去噪的神经信号解码的连续信号不限于运动动作命令信号。例如，根据本发明的第三实施例的bmi系统20(在图5中图示)可以被配置为从eeg信号获得连续注意力信号，并且因此连续地监测用户的注意力，并且如果用户的注意力下降到低于阈值，则最终发出警告和/或切换到更高的用户辅助水平和/或自动模式。如在第一实施例中，机器10可以具体是车辆，并且用户是车辆的驾驶员。该第二实施例中的所有等同或类似的元件将接收与第一实施例和第二实施例中相同的附图标记。
43.如在第一实施例和第二实施例中，数据处理装置1可以附加地执行机器10中另外的功能，该数据处理装置1还可以包括执行一个或多个软件程序的存储器、组合逻辑电路、
处理器(共享的、专用的、或组)、电子电路、和/或提供所描述的功能性的其他合适组件，并且其还可以连接至或包括用于存储参考数据集的数据存储装置。在该第三实施例中的数据处理装置1还可以包括滤波器1a、去噪单元1b以及解码器单元1c，该滤波器1a、去噪单元1b以及解码器单元1c被配置为如在第一实施例和第二实施例中一样，以从接收自eeg电极阵列30的eeg信号中获得连续信号，并且具体地连续注意力信号。在该第三实施例中，去噪单元1b可以基于eeg信号和来自一个或多个用户(可能包括当前用户)的相关运动、声音、视觉和/或其他生物电势数据的现有数据集来应用具有变换矩阵的cca算法。相关运动数据可以已经使用一个或多个emg电极、放置在感兴趣位置上的一个或多个运动传感器(诸如加速度计)和/或执行视觉运动捕获的一个或多个摄像机获得，相关声学数据可以已经使用一个或多个麦克风获得，并且相关视觉数据可以已经使用覆盖对应用户的视野的一个或多个摄像机获得。去噪单元1b因此可以使用所得的变换矩阵来从被滤波的eeg信号中不仅去除混杂运动，还去除听觉和/或视觉分量，以获得与连续注意力信号相对应的残留神经信号。可以用于确定cca算法的变换矩阵的其它相关数据包括其他生物电势数据，诸如，例如ecg数据和/或scr数据。此外，在该第三实施例中，由解码器单元1c应用的mlr模型的回归权重可以基于由去噪单元1b获得的这些残留神经信号与情境(具体地，由可以连接至解码器单元1c的adas 80感知的驾驶情境)之间的相关性。具体地，解码器单元1c可以因此应用mlr模型以确定由去噪单元1b获得的残留神经信号与由adas 80应用以用于预测驾驶期间即将到来的事件的统计算法的先验组成的期望向量之间的耦合。解码器单元1c还可以连接至数据处理装置1内的验证单元1d，该验证单元1d被配置为确定如由解码器单元1c通过残留神经信号与即将到来的驾驶事件之间的相关性所测量的驾驶员的注意力是否低于可接受的阈值。bmi系统20还可以包括警告输出单元90，该警告输出单元90包括例如视觉显示器和/或扬声器，其连接至验证单元1d，并被配置为如果验证单元1d确定如由残留神经信号与即将到来的驾驶事件之间的相关性所测量的驾驶员的注意力低于可接受的阈值，则输出警告。替代于或附加于该连接，验证单元1d可以连接至bmi系统20内的adas 80，并且验证单元1d被配置为如果其确定驾驶员的注意力低于所述可接受的阈值，则将该adas 80切换到更高的驾驶员辅助水平和/或自动驾驶模式。
44.在该第三实施例的第一变型中，eeg电极阵列30可以被另一种类型的生物电势电极阵列(诸如emg电极阵列或甚至scr和/或ecg电极阵列)替代。在该情况下，去噪单元1b可以基于emg、scr和/或ecg信号以及来自一个或多个用户(可能包括当前用户)的相关运动、声学、视觉、和/或其他生物电势数据的现有数据集来应用具有变换矩阵的cca算法，以去除混杂分量并获得与连续注意力信号相对应的残留神经信号。
45.在该第三实施例的第二变型中，机器10可以是具有替代于adas的高度自动化驾驶系统的能够高度自动化驾驶的车辆。该高度自动化驾驶系统可以连接到转向、制动和/或动力总成系统50、60、70以命令它们的操作，并且可以被配置为以各种不同的模式执行高度自动化驾驶。在该情况下，残留神经信号可以例如与连续舒适信号和车辆情境相关，而不是与连续注意力信号相关，解码器单元1c可以被配置为，考虑由高度自动化驾驶系统传输至解码器单元1c的情境信息，通过残留神经信号和连续舒适信号之间的该相关性来解码这些连续舒适信号，并且，验证单元1d可以由驾驶模式切换单元替代，该驾驶模式切换单元被配置为取决于由解码器单元1c输出的连续信号的值和情境信息，在不同模式之间切换高度自动
化驾驶系统。
46.本领域的技术人员将认识到，本发明可表现为除本文所描述和设想的特定实施例之外的各种形式。因此，在不背离所附权利要求中描述的本发明的范围的情况下，可以做出形式和细节上的偏离。