用于神经活动解码的片上解码器和方法、包括片上解码器的脑植入物以及包括脑植入物的假体系统

本发明涉及脑机接口领域，并且具体地涉及片上解码器，该片上解码器例如旨在集成到脑植入物中，用于记录和解码神经活动，优选地与处理解码后的活动并可能相应地执行任务的数字机器（具有计算资源的任何设备）通信。这种接口例如用于恢复受伤人员的沟通能力或运动能力。在本发明中描述的本发明用于意图（或尝试）书写识别，但是也可以用于意图说话，甚至用于其他脑模态，比如听觉模态（例如以实现对声音频率的数字区分或识别）或视觉模态（例如以实现对视野中显著特征的数字检测）。本发明实现的功能（或要由数字机器执行的任务）例如可以是针对听觉模态的语音识别，并且本说明书以非限制性方式侧重于意图书写，以获得预期字母的数字表示，该数字表示然后可以由机器显示、打印、或通过网络发送。

背景技术：

1、在脑机接口领域，已经开发了许多解决方案来解码各种运动或感觉模态下的脑活动，并且用于相应地执行各种任务。最近，尖端脑机接口已经展现了诸如循环神经网络（rnn）等解码器在预测尝试书写或说话方面的潜力，从而实现瘫痪后的快速沟通恢复。rnn因其能够通过复杂表示实现高准确度，一直是广受欢迎的解码模型；但它们通常被视为黑箱模型，并且存在显著的计算复杂度和内存需求。另外，大多数已知的解决方案依赖于配备资源密集型计算单元的台式配置，从而导致体积庞大且功率需求过高。为了实现临床转化，脑机接口必须以小型化、可植入系统的形式实现，并且在各种假体任务中实现高解码准确度。迄今为止，只有少数公开的系统针对比如手指运动等常规接口任务实现了片上解码。这些解决方案存在以下缺点：仅在芯片上实现特定的解码器部件、消耗大量功率、尺寸过大、采用功率密集型商用模拟前端（afe）和/或缺乏执行更复杂的接口任务所需的高带宽。仍然缺少一种高通道数、低功耗的脑机接口，能够同时进行神经记录和解码（特别是运动解码），尤其是用于快速恢复如书写等复杂运动。

技术实现思路

1、本发明的一个目的在于，通过提出一种具有高带宽且无需大量处理资源和/或尺寸减小和/或功耗较低的解码器，克服现有技术的至少一些缺点。

2、该目的通过解码器来实现，该解码器用于从脑区中的多个神经元群的电生理多单元记录中解码该任务相关脑活动，并将其转换为分类器可用的数字数据，以生成与由所述脑区处理的任务相关信息相对应的被称为数据标签的预测，其特征在于，所述解码器使用被称为神经活动的多单元阈值穿越率作为输入数据集，该多单元阈值穿越率被细分为表示神经活动的特征的通道和时隙，在这些特征中，该解码器测量所有所述特征上的类间距离的总幅值和均匀性，以提取最显著的特征，从而生成表示最高类别显著性值的神经编码，并将该神经元状态空间降维至低维子空间。

3、由此，这种解码器可以在如权利要求1所定义的芯片上实现。

4、根据另一特征，该片上解码器的所述参数在训练期间离线计算，并存储在所述片上解码器的存储器中，以用于在线解码。

5、根据另一特征，由多单元阈值穿越率的输入数据集形成的所述神经活动事先由平滑单元通过利用高斯平滑核对放电率进行卷积将其转换为平滑放电率，以降低噪声敏感性和随时间产生的时间错位。

6、根据另一特征，所述片上解码器包括用于降低功耗的起始点对齐器，所述起始点对齐器执行以下操作：

7、通过选择所述神经活动中活动水平超过预定义阈值的子集，并将所述子集组合以生成类别平均活动，从而检测任务相关活动的时段；

8、通过检测所述类别平均活动的幅值和斜率何时均超过阈值并在预定义时段内保持高于阈值，并由此生成用于将这些神经活动与所述类别平均活动的起始点和/或峰值对齐的对齐块，从而检测任务相关活动的起始点和持续时间，使得该片上解码器根据由该对齐块生成的定时，实时地为每个类别生成所述神经编码。

9、根据另一特征，所述片上解码器执行以下算法，该算法用于生成该神经编码以提取这些最显著的特征：

10、通过下式选择神经活动的输入

11、；

12、通过下式形成该类别平均活动

13、

14、通过阈值化进行起始点检测，并生成用于对齐神经活动以及定义空闲时段和活动时段的对齐块，以及

15、在这些活动时段期间，通过下式计算类别显著性并提取该神经编码

16、。

17、根据另一特征，所述片上解码器进一步包括通过索引方法寻址的共享内存，该索引方法将所述共享内存按输入和类别划分为可变大小的段。

18、根据另一特征，所述片上解码器进一步包括分类器，该分类器与片上解码器在相同的芯片组中实现，所述分类器的参数也在训练期间离线计算，并存储在片上存储器中。

19、根据另一特征，所述分类器是线性判别分析分类器，其执行dnc权重乘法并预测距分类器超平面距离最大的类别。

20、根据另一特征，所述平滑单元在该片上解码器本身上或在专用芯片上或在向该片上解码器提供该输入的模拟前端上实现。

21、根据另一特征，所述片上解码器进一步包括模拟前端，该模拟前端向该片上解码器提供该输入，并且其中，所述模拟前端与该片上解码器在相同的芯片组中实现。

22、根据另一特征，所述模拟前端包括192个通道，并被细分为24个前端模块，每个前端模块包括用于对电生理记录进行复用的8通道时分复用器。

23、根据另一特征，所述模拟前端包括高通滤波器和/或低通滤波器，该高通滤波器用于提取动作电位，该低通滤波器用于获得局部场电位，以增强解码稳定性。

24、根据另一特征，所述片上解码器进一步包括运动转化模块，该运动转化模块与该片上解码器在相同的芯片组中实现，并且将由所述分类器判别的类别转换为机械肢体的执行器的激活序列，所述运动转化模块的参数也在训练期间离线计算，并存储在片上存储器中。

25、本发明的另一目的还在于，通过提出一种具有高带宽且无需大量处理资源和/或尺寸减小和/或功耗较低的脑植入物，克服现有技术的至少一些缺点。

26、该目的通过一种形成脑机接口的脑植入物来实现，该脑植入物用于从脑区中的多个神经元群的电生理多单元记录中解码任务相关脑活动，并将其转换为分类器可用的数字数据，以生成与由所述脑区处理的任务相关信息相对应的数据标签，其特征在于，所述脑植入物包括根据本文所述的实施例中任一项的片上解码器。

27、根据另一特征，所述脑植入物进一步包括运动转化模块，该运动转化模块在该脑植入物的另一芯片组中实现，并且将由所述分类器判别的类别转换为机械肢体的执行器的激活序列，所述运动转化模块的参数也在训练期间离线计算，并存储在片上存储器中。

28、根据另一特征，所述脑植入物的所述片上解码器包括运动转化模块，该运动转化模块与该片上解码器在相同的芯片组中实现，并且将由所述分类器判别的类别转换为机械肢体的执行器的激活序列，所述运动转化模块的参数也在训练期间离线计算，并存储在片上存储器中。

29、根据另一特征，所述脑植入物进一步包括至少一个电极阵列，该至少一个电极阵列用于植入所述脑区中并记录所述脑活动。

30、根据另一特征，所述脑植入物进一步包括连接器，该连接器用于连接到数字机器，该数字机器具有用于处理该解码后的活动并可能相应地执行任务的计算资源。

31、本发明的另一目的还在于，通过提出一种具有高带宽且无需大量处理资源和/或尺寸减小和/或功耗较低的假体系统，克服现有技术的至少一些缺点。

32、该目的通过一种用于恢复受伤受试者功能的假体脑系统来实现，该假体脑系统通过植入脑区来记录和解码所述脑活动，其特征在于，该假体脑系统包括用于记录来自脑区的电生理多单元信号的电极阵列以及根据13或14所述的至少一个脑植入物，该脑植入物执行以下操作：将所述信号转换为分类器可用的数字数据，所述脑植入物包括根据权利要求1至13之一所述的至少一个片上解码器；以及将与由所述脑区处理的任务相关信息相对应的数据标签输出到数字机器，该数字机器具有用于处理该解码后的活动并相应地执行任务的计算资源；或者将所述神经编码输出到所述分类器，该分类器生成所述数据标签并在所述数字机器中实现，该数字机器用于生成所述数据标签，处理该解码后的活动并相应地执行任务。

33、根据另一特征，所述任务是输出植入所述脑植入物的受试者想象书写的字母，所述系统包括用于输出所述字母的显示器或声音发生器。

34、根据另一特征，所述任务是当植入所述脑植入物的受试者想象真实肢体的运动时，由机械肢体执行运动，所述系统包括至少一个运动转化模块，该至少一个运动转化模块用于将所述类别转换为所述机械肢体的执行器的激活序列，这些激活序列用于根据解码后的运动来控制所述机械肢体的各个部分。

35、本发明的另一目的还在于，通过提出一种无需大量处理资源即可以高带宽解码脑活动的方法，克服现有技术的至少一些缺点。

36、该目的通过一种方法来实现，该方法用于从脑区中的多个神经元群的电生理多单元记录中解码任务相关脑活动，并将其转换为分类器可用的数字数据，以生成与由所述脑区处理的任务相关信息相对应的数据标签，其特征在于，该方法由解码器实施：

37、-使用被称为神经活动的多单元阈值穿越率作为输入数据集，

38、-将该神经活动细分为表示神经活动的特征的通道和时隙，

39、-测量所有特征上的类间距离的总幅值和均匀性，以提取最显著的特征，从而生成表示最高类别显著性值的神经编码，并将神经元状态空间降维至低维dnc子空间。

40、根据另一特征，所述方法进一步包括通过利用高斯平滑核对放电率进行卷积来将所述数据集平滑为平滑放电率，以降低噪声敏感性和随时间产生的时间错位。

41、根据另一特征，所述方法进一步包括训练阶段，该训练阶段用于离线计算解码器的参数，并将其存储在解码器可读取的存储器中，以用于在线解码。

42、根据另一特征，所述方法通过执行以下操作进一步降低功耗：

43、通过选择所述神经活动中活动水平超过预定义阈值的子集，并将所述子集组合以生成类别平均活动，从而检测任务相关活动的时段；

44、通过检测所述类别平均活动的幅值和斜率何时均超过阈值并在预定义时段内保持高于阈值，并由此生成用于将这些神经活动与所述类别平均活动的起始点和/或峰值对齐的对齐块，从而检测任务相关活动的起始点和持续时间，使得该片上解码器根据由该对齐块生成的定时，实时地为每个类别生成所述神经编码。

45、根据另一特征，生成该神经编码以提取这些最显著的特征是通过以下操作获得的：

46、通过下式选择神经活动的输入

47、；

48、通过下式形成该类别平均活动

49、

50、通过阈值化进行起始点检测，并生成用于对齐神经活动以及定义空闲时段和活动时段的对齐块，以及

51、在这些活动时段期间，通过下式计算类别显著性并提取该神经编码

52、。

53、根据另一特征，该解码器将所述神经输出到分类器，所述分类器通过分类生成与由所述脑区处理的任务相关信息相对应的所述数据标签，所述分类器的参数也在训练期间离线计算，并存储在存储器中，以用于在线解码和分类。