一种侵入式脑机接口任务相关神经信号提取方法

1.本发明涉及侵入式动作电位脑信号分析领域，尤其是涉及一种侵入式脑机接口任务相关神经信号提取方法。


背景技术：

2.理解大脑如何编解码任务信息是神经科学和神经工程的基本目标。然而神经信号展现出很强的变化性，同一个实验条件重复多次会得到差异显著的神经活动。这些变化可以由许多因素引起，例如神经系统的内在噪声、神经可塑性、信号记录的不稳定性和神经元同时编码多种任务参数等。
3.神经信号的显著变化性对神经机制研究和脑机接口(brain-machine interfaces,bmis)应用都造成了很大的影响。由于真实的任务相关的信号是未知的，目前的研究都是在原始的带有噪声信号上进行研究分析，可能会得出不可靠的结论。因此尽可能的提取干净的任务相关信号对神经科学与神经工程领域意义重大。
4.如公开号为cn103584851a的中国专利文献公开了一种多通道神经元信号采集调控与传输装置，针对神经电生理对神经元信息分析的要求，设计了基于fpga的多通道并行采集和可进行同步刺激的装置，适用于针对动物的多通道神经元信号提取，提供了多种可编程的刺激波形。
5.公开号为cn111984118a的中国专利文献公开了基于复数循环神经网络从脑电信号解码肌电信号的方法，包括：构建脑电信号数据以及肌电信号数据，并分别进行预处理；预处理后的结果分别进行短时傅里叶变换；将变换后的结果输入到复数循环神经网络进行训练与测试；测试结果进行逆短时傅里叶变换得到解码结果。
6.现在有一些方法也可以提取任务相关的神经信号，比如pi-vae,psid，vae，lfads等方法，但是他们只能提取很小的一部分神经信号。目前还没有一种方法专注于最大化提取任务相关信号的方法。


技术实现要素：

7.本发明提供了一种侵入式脑机接口任务相关神经信号提取方法，可以最大化提取任务相关信号，同时，相比其他方法解码性能与生成性能都有显著提升。
8.本发明的技术方案如下：
9.一种侵入式脑机接口任务相关神经信号提取方法，包括如下步骤：
10.(1)构建编码器h将原始神经信号x转换到特征空间，得到神经表示z＝h(x)，使用仿射函数f解码z得到目标速度y的第一预测速度y1＝f(z)；
11.(2)构建解码器g将神经表示z生成神经信号xr＝g(z)；
12.(3)将生成的神经信号xr重新送给编码器h和仿射函数f，得到第二预测速度y2＝f(h(xr))；
13.(4)构建先验生成神经网络m，由目标速度y学习先验神经表示z
p
＝m(y)；
14.(5)计算损失函数，同时训练编码器、解码器和先验生成神经网络；
15.(6)将待处理的原始信号输入训练好的编码器和解码器，得到生成的神经信号。
16.进一步地，本发明中，编码器、解码器和先验生成神经网络均采用多层感知机。
17.步骤(5)中，采用端到端的方式反向传播来训练训练编码器、解码器和先验生成神经网络。
18.计算损失函数的具体过程为：
19.(5-1)计算第一预测速度y1与目标速度y的损失函数
20.(5-2)计算生成神经信号xr与原始神经信号x的损失函数
21.(5-5)计算第二预测速度y2与目标速度y的损失函数
22.(5-6)计算先验神经表示z
p
与神经表示z的kl散度损失函数
23.(5-5)四个损失函数加权组合得到最终损失公式为：
[0024][0025]
步骤(5-1)中，计算第一预测速度y1与目标速度y的损失函数采用均方误差损失函数，公式为：
[0026][0027]
其中，i表示第i个样本，n表示样本总数。
[0028]
步骤(5-2)中，计算生成神经信号xr与原始神经信号x的损失函数采用泊松负对数似然损失函数，公式为：
[0029][0030]
步骤(5-3)中，计算第二预测速度y2与目标速度y的损失函数也采用均方误差损失函数，公式为：
[0031][0032]
步骤(5-4)中，计算先验神经表示z
p
与神经表示z的kl散度损失函数公式为：
[0033][0034]
其中，q,p分别表示z和z
p
的分布。
[0035]
与现有技术相比，本发明具有以下有益效果：
[0036]
1、本发明的方法在变分自编码器的基础上进行了改进，通过对神经表示z进行解码约束，以及重构(生成)回原始信号后再进行解码约束，可以最大化提取任务相关信号，有利于后续神经机制的研究和神经工程的应用。
[0037]
2、本发明的方法与相比其他方法，提取的神经信号解码性能和生成性能显著提高。
附图说明
[0038]
图1为本发明实施例中运动信号解码动物实验示意图；
[0039]
图2为本发明一种侵入式脑机接口任务相关神经信号提取方法的架构图；
[0040]
图3为本发明实施例与其他方法在两天测试数据上的解码和生成平均性能的对比图。
具体实施方式
[0041]
下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
[0042]
本发明使用文献“li,h.,hao,y.,zhang,s.,wang,y.,chen,w.,&zheng,x.(2017).prior knowledge of target direction and intended movement selection improves indirect reaching movement decoding.behavioural neurology,2017.”中采集的一只猴子的数据。
[0043]
实验中训练一只成年雄性恒河猴，猴子通过手臂控制大摇杆完成躲避障碍物移动光标到达目标点的任务。猴子被固定坐在椅子上，显示器放在椅子前50厘米处，猴子被训练使用手臂来控制摇杆来移动二维平面上的光标从初始位置(小圆)躲开障碍物(长方形条)到达目标位置(大圆)，此时系统会自动给水给猴子作为奖励，具体如图1所示。
[0044]
该实验使用96通道的微电极阵列(10
×
10矩阵排列，4.2
×
4.2mm)，电极被植入到猴子的背侧前运动皮层区(pmd)。阵列获得的神经信号被传输到cerebus系统，神经信号的模拟波形被放大，然后使用巴特沃兹滤波器带通滤波(0.3hz到7.5khz)进行滤波，随后进行数字化(16位分辨率和30khz采样率)和巴特沃斯高通滤波(250hz)。最后使用阈值方法(负4.5倍基线均方根)采集动作电位脉冲信号。
[0045]
本发明中，使用其中两天数据测试，使用mua(multiunit activity)数据，对脉冲信号以100ms的时间窗口进行分箱处理。
[0046]
本发明的方法框架图如图2所示，一种侵入式脑机接口任务相关神经信号提取方法，包含以下步骤：
[0047]
步骤s1，构建编码器(encoder)h将原始神经信号x转换到特征空间得到神经表示z＝h(x)，使用仿射函数f解码z得到目标速度y的第一预测速度y1＝f(z)。
[0048]
步骤s2，构建解码器(decoder)g将神经表示z生成神经信号xr＝g(z)。
[0049]
步骤s3，将生成的神经信号重新送给编码器h和仿射函数f得到第二预测速度y2＝f(h(xr))。
[0050]
步骤s4，构建先验生成神经网络m由目标速度y学习先验神经表示z
p
＝m(y)。
[0051]
步骤s5，计算损失函数，采用端到端的方式反向传播训练模型(编码器 解码器 先验生成神经网络)。
[0052]
s501，计算预测速度y1与目标速度y的损失函数
[0053][0054]
其中，i表示第i个样本，n表示样本总数。
[0055]
s502，计算生成神经信号xr与原始神经信号x的损失函数
[0056][0057]
s503，计算预测速度y2与目标速度y的损失函数
[0058][0059]
s504，计算先验神经表示z
p
与神经表示z的kl散度损失函数
[0060][0061]
其中，q,p分别表示z和z
p
的分布。
[0062]
s505，四个损失函数加权组合得到最终损失公式如下：
[0063][0064]
本发明中，编码器、解码器和先验生成神经网络均可以采用多层感知机。
[0065]
为了验证本发明的方法在运动区任务相关信号提取的可行性，作为特例将本模型在猴子运动避障范式实验中测试性能。实验中采用侵入式电极阵列捕获猴脑背侧前运动区(dorsal premotor cortex，pmd)信号，采集为多通道离散的脉冲序列。
[0066]
本方法使用两天数据，将提取的任务相关信号用人工神经网络ann进行解码，预测的结果采用决定系数r2来衡量解码效果。生成的神经信号与原始神经信号的相似程度也是一个重要指标，也用决定系数r2来衡量。
[0067]
实验结果如图3所示，实验结果表明，本发明的方法提取的神经信号的解码和生成能力显著优于vae,lfads,pi-vae,psid等方法。
[0068]
利用本发明，可以最大化提取任务相关神经信号，有利于后续神经机制的研究和神经工程的应用，解码和生成性能显著优于其他方法。
[0069]
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。