一种基于孪生网络核回归的侵入式脑机接口解码方法与流程

1.本发明属于侵入式动作电位脑信号分析领域，尤其是涉及一种基于孪生网络核回归的侵入式脑机接口解码方法。


背景技术：

2.脑机接口(brain machine interface，bmi)可以将神经活动转化为假肢装置控制的控制命令，因此在运动功能恢复和康复方面具有巨大潜力。
3.如公开号为cn106726030a的中国专利文献公开了一种基于临床皮层脑电信号控制机械手运动的脑机接口系统，包括信号采集模块、脑电特征提取及解码模块、机械手控制模块以及外设模块，信号采集模块将采集到的临床脑电信号进行预处理后输入到脑电特征提取及解码模块，脑电特征提取及解码模块提取预处理的脑电信号的特征，机械手控制模块对预处理后的脑电信号的特征进行分类，并将类标发送到机械手，完成手势运动；外设模块监督和反馈机械手执行的任务。
4.当前bmi系统的一个关键限制是神经解码器的不稳定性能，部分原因是神经活动的多变性。神经变异可以由许多因素引起，例如神经系统的内在噪声、信号记录的不稳定性和神经可塑性。
5.目前，常用的解码模型基于神经信号余弦调制运动信息的理论，采用固定的模型,包括群矢量分析(population vector analysis，pva)，最优线性估计(optimal linear estimation,ole)和卡尔曼滤波器(kalman filter，kf)。
6.公开号为cn105574324a的中国专利文献公开了一种自适应的脑神经信号处理方法及系统，同时采用卡尔曼算法、支持向量机算法、支持向量机回归算法、k邻近分类算法、广义回归神经网络算法和蒙特卡洛点过程算法对神经信号数据进行处理。
7.然而很多研究表明神经信号是多变的，神经元的偏好方向会随着许多条件改变，包括时间，速率和控制误差等等。因此，固定的模型是不能解决神经信号多变性的问题。
8.非参数核回归模型是解决上述问题的一种方法，如广义回归神经网络(general regression neural networks)，但是核回归模型关键的部分是衡量神经信号的相似度，由于原始神经信号具有大量的噪声，传统的度量方法不能有效反映神经信号的相似度；此外核回归需要大量的样本才能保证估计的准确性，因此计算复杂度和空间复杂度很高，不能满足bmi系统的实时性要求。


技术实现要素：

9.本发明提供了一种基于孪生网络核回归的侵入式脑机接口解码方法，可在一定程度上解决神经多变性问题，并相比经典方法实现效率和准确率上的提升。
10.一种基于孪生网络核回归的侵入式脑机接口解码方法，包括以下步骤：
11.(1)构建孪生神经网络h，选取训练集中的典型样本组成记忆库；
12.(2)将训练阶段待解码的原始神经信号x
i
输入孪生神经网络h得到神经表示h(x
i
)，
然后使用核回归算法将神经表示h(x
i
)与记忆库中样本{(h(x
j
),y
j
)}的神经表示h(x
j
)进行比较，得到神经表示间的相似度权重利用这些相似度权重加权对应的速度得到预测速度
13.(3)计算损失函数，采用端到端的方式反向传播训练模型；
14.(4)训练完毕后，将待解码的神经信号输入模型，经过核回归算法后得到预测的动作速度。
15.步骤(1)中，所述孪生神经网络的主体结构为多层感知机，通过成对样本的对比方式来学习神经表示。
16.所述记忆库的构建过程具体为：
17.通过k均值聚类算法对训练集所有样本的速度或神经信号聚成k类，选取距离这k个聚类中心最近的样本组成记忆库{(h(x
j
),y
j
)},j∈m；m表示记忆库样本的索引集合，h(x
j
)为神经信号输入孪生神经网络h得到的神经表示，y
j
为神经信号x
j
对应的目标速度。
18.步骤(2)中，预测速度的公式为：
[0019][0020]
其中，核函数k(
·
)采用基于欧式距离的径向基函数σ表示核函数的宽度，设置为1,m表示记忆库样本的索引集合。
[0021]
步骤(3)的具体过程为：
[0022]
(3
‑
1)使用基于欧氏距离的径向基核函数计算速度间的相似度利用速度的相似度约束神经表示的相似度计算相似度损失函数
[0023]
(3
‑
2)计算预测速度与目标速度y
i
的损失函数
[0024]
(3
‑
3)两个损失函数加权组合得到最终损失并采用端到端的方式反向传播来训练模型。
[0025]
步骤(3
‑
1)中，相似度损失函数公式为：
[0026][0027]
其中，n表示训练集的样本量。
[0028]
步骤(3
‑
2)中，预测速度与目标速度y
i
的损失函数公式为：
[0029][0030]
与现有技术相比，本发明具有以下有益效果：
[0031]
1、本发明采用基于孪生网络核回归的解码模型，可一定程度上解决神经活动多变
性问题，从而鲁棒解码。
[0032]
2、本发明相比传统核回归方法，在计算效率，存储效率和解码准确率上有较大的提高，相比传统解码方法，解码准确率提升很大。
附图说明
[0033]
图1为本发明实施例中运动信号解码动物实验示意图；
[0034]
图2为本发明基于孪生网络核回归的侵入式脑机接口解码方法的架构图；
[0035]
图3为本发明实施例与其他解码方法在多天测试数据上的解码效果。
具体实施方式
[0036]
下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
[0037]
本发明采用文献“li,h.,hao,y.,zhang,s.,wang,y.,chen,w.,&zheng,x.(2017).prior knowledge of target direction and intended movement selection improves indirect reaching movement decoding.behavioural neurology,2017.”中采集的一只猴子的实验数据。
[0038]
实验中训练一只成年雄性恒河猴，猴子通过上肢控制摇杆完成避开障碍物到达终点的任务。猴子被固定在椅子上，显示器放在椅子前50厘米处，猴子被训练使用摇杆来移动二维平面上的光标从初始位置(小圆)绕过障碍物(长方形条)到达终点(大圆)，此时会获得几滴水作为奖励，具体如图1所示。
[0039]
实验采用有96个通道的微电极阵列(10
×
10矩阵排列，4.2
×
4.2mm)，阵列被植入猴子大脑皮层背侧前运动皮层区(pmd)，手术后，抗生素治疗持续5天，猴子恢复至少一周后开展上述实验并采集数据。
[0040]
阵列获得的神经活动被传输到cerebus数据采集系统，神经信号的模拟波形被放大，然后通过巴特沃兹滤波器带通滤波(0.3hz到7.5khz)，接着进行数字化(16位分辨率和30khz采样率)和巴特沃斯高通滤波(250hz)。随后采用阈值方法(负4.5倍基线均方根)采集动作电位脉冲信号。
[0041]
本发明中，使用其中四天数据测试，使用mua(multiunit activity)数据(即不进行spike sort)，将单电极通道视作一个或多个神经元活动信号处理，对脉冲信号以100ms的时间进行分箱。
[0042]
本发明基于孪生网络核回归的侵入式脑机接口解码方法框架图如图2所示，本发明方法包含以下步骤：
[0043]
步骤(1)构建孪生神经网络h，选取训练集中的典型样本组成记忆库。
[0044]
记忆库的构建过程具体为：
[0045]
通过k均值聚类算法对训练集所有样本的速度或神经信号聚成k类，选取距离这k个聚类中心最近的样本组成记忆库{(h(x
j
),y
j
)},j∈m；m表示记忆库样本的索引集合，h(x
j
)为神经信号x
j
输入孪生神经网络h得到的神经表示，y
j
为神经信号x
j
对应的目标速度。
[0046]
步骤(2)将训练阶段待解码的原始神经信号x
i
输入孪生神经网络h得到神经表示h(x
i
)，然后使用核回归算法估计目标速度y
i
得到预测速度
[0047]
对于待解码的神经信号x
i
，将其送入步骤(1)的孪生网络得到鲁棒的神经表示h(x
i
)，核回归算法通过将它与记忆库中的样本{(h(x
j
),y
j
)}的神经表示h(x
j
)进行比较，得到神经表示间的相似度权重利用这些相似度权重加权对应的速度然后得到目标速度y
i
的估计
[0048][0049]
其中，核函数k(
·
)采用基于欧式距离的径向基函数本实例中，σ设置为1,m表示记忆库样本的索引集合。
[0050]
步骤(3)计算损失函数，采用端到端的方式反向传播训练模型。
[0051]
步骤(3
‑
1)使用基于欧氏距离的径向基核函数计算速度间的相似度利用速度的相似度约束神经表示的相似度计算相似度的损失函数
[0052][0053]
其中n表示训练集的样本量。
[0054]
步骤(3
‑
2)计算预测速度与目标速度y
i
的损失函数
[0055][0056]
步骤(3
‑
3)两个损失函数加权组合得到最终损失并采用端到端的方式反向传播来训练模型。
[0057]
为了验证本方法在运动区神经信号解码任务上的可行性，作为特例将本模型在猴子运动避障范式实验中测试性能，预测猴子控制摇杆的速度。实验中采用侵入式电极阵列捕获猴脑背侧前运动区(dorsal premotor cortex，pmd)信号，采集为多通道离散的脉冲序列。
[0058]
本方法使用四天数据，预测的结果采用决定系数r2来衡量解码效果。实验结果如图3所示，实验结果表明，本方法的解码准确率优于常用的卡尔曼滤波器和广义回归神经网络(传统核回归方法)，同时也优于多层感知机神经网络。
[0059]
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。