基于软硬件协同的脑机接口高可靠信号传输方法及系统与流程

本发明涉及脑机交互，具体为基于软硬件协同的脑机接口高可靠信号传输方法及系统。

背景技术：

1、脑机接口（brain-computer interface，bci）作为前沿的人机交互技术，可绕过外周神经与机体组织，直接建立人脑与外部机电设备间的通信控制链路。脑电图（electroencephalogram，eeg）为无创脑电采集主流技术路线，伴随硬件采集设备迭代与人工智能解码算法优化，基于 eeg 的运动意图识别技术已在实验室完成多场景验证，在助残康复、智能家居、具身机器人、无人机飞行辅助导引等领域具备产业化转化潜力。

2、在常规的脑机接口系统中，通常采用“异步流水线”架构：硬件采集设备以固定的高频采样率持续推流原始信号；脑电信号提取软件接收信号后进行特征提取与算法解析，生成离散的控制指令；最后，为了满足下游外部执行设备对低交互延迟的要求，系统普遍采用udp协议将控制指令发送至外部执行设备。

3、然而，上述基于异步架构的常规脑机接口系统在底层信号传输环节存在明显的技术缺陷：第一，在异步处理架构下，脑电信号提取软件在进行复杂的特征解析时，其计算耗时会受到当前操作系统底层cpu/gpu资源调度的严重影响，尤其是当同机运行高算力消耗的外部仿真程序时，软件端“打包并发送指令”的动作在时间轴上会产生剧烈的底层计算抖动，导致软硬件时钟严重脱节，发送节拍极不均匀；第二，在底层计算发生抖动、系统总线拥塞或进程间抢占算力的高负载状态下，采用udp协议进行传输，容易发生底层丢包或数据报文乱序到达的问题。

4、当上述两个因素叠加时，会导致用户大脑明确发出了意图信号，且软件端也成功算法解析并打包了该“高价值控制指令”，但由于底层时序错位与udp单帧丢包，该指令在传输通道中直接丢失，或者因乱序到达被执行端状态机丢弃。这种现象被称为指令的“幽灵吞没”，“幽灵吞没”使得执行设备无法响应用户的真实意图，破坏了脑机控制的可靠性，导致执行操作与用户的脑电指令严重脱节，无法满足脑机交互的实时性要求。

5、为此，本发明提出基于软硬件协同的脑机接口高可靠信号传输方法及系统。

技术实现思路

1、本发明的目的在于提供基于软硬件协同的脑机接口高可靠信号传输方法及系统，能够在不牺牲udp协议极低延迟特性的前提下，克服异步架构下系统计算底层抖动与udp丢包乱序带来的负面影响，解决脑机控制指令的“幽灵吞没”问题，实现信号的高可靠传输。

2、根据本发明的第一方面，为实现上述目的，本发明提供如下技术方案：一种基于软硬件协同的脑机接口高可靠信号传输方法，包括以下步骤：

3、s1. 获取实时采集的原始连续脑电信号，在底层数据推流过程中为原始连续脑电信号的每一帧数据报文注入单调递增的硬件绝对序列号和硬件时间戳，封装得到时序脑电数据流；

4、s2. 提取所述时序脑电数据流，基于预设频带范围对所述时序脑电数据流执行滤波与去噪操作，得到去噪时序脑电信号，对去噪时序脑电信号执行时频域转换以提取频段能量数据，构建多维脑电特征向量，将所述多维脑电特征向量输入预先构建的分类解析模型，依次通过所述分类解析模型中的空间特征聚合层、时序依赖提取层以及意图映射全连接层进行特征映射，得到当前脑电控制特征；

5、s3. 当所述当前脑电控制特征满足预设触发阈值时，提取触发当前脑电控制特征对应的所述时序脑电数据流中的硬件绝对序列号区间与起始硬件时间戳，并将所述硬件绝对序列号区间、所述起始硬件时间戳作为元数据与基于所述当前脑电控制特征生成的控制指令进行合并封装，得到时序锚定控制指令包；

6、s4. 将所述时序锚定控制指令包输入预构建的环形滑动窗口队列，提取所述环形滑动窗口队列中缓存的包含历史预设数量帧已发送指令的序列号与校验码的状态快照，保存历史控制指令编码、序列号及crc，将所述时序锚定控制指令包与所述状态快照进行联合组装与冗余编码，生成udp协同传输报文，并通过udp通道将所述udp协同传输报文发送至外部执行设备；

7、s5. 获取所述外部执行设备接收到的所述udp协同传输报文，解析所述udp协同传输报文中携带的所述硬件绝对序列号，将所述硬件绝对序列号与本地状态机维护的已执行最大序列号进行数值比对；

8、若比对结果为序列号不连续，则基于所述状态快照解析提取缺失序列号对应的历史指令进行序列重排，并结合所述起始硬件时间戳计算时间差值以进行指令延迟插值平滑，得到目标控制指令，并将所述目标控制指令下发至所述外部执行设备以驱动其执行动作。

9、进一步地，获取实时采集的原始连续脑电信号，在底层数据推流过程中为原始连续脑电信号的每一帧数据报文注入单调递增的硬件绝对序列号和硬件时间戳，封装得到时序脑电数据流，具体如下：

10、s1.1 获取前端电极传感器采集的模拟脑电电压信号，通过模数转换器按照预设采样频率对所述模拟脑电电压信号进行离散化采样与量化，得到包含多个采样点的数字脑电数据矩阵，其中为离散时间采样点索引；

11、s1.2 按照预设的数据帧长度对所述数字脑电数据矩阵进行底层内存分块，得到连续的单帧脑电数据，在每一帧所述单帧脑电数据写入发送缓冲区时，触发底层硬件寄存器内的自增计数器，生成与当前帧对应的硬件绝对序列号，所述硬件绝对序列号满足离散递推方程：

12、

13、其中，为当前数据报文的帧序号，且系统上电初始化时定义基准序列号；

14、s1.3 在触发所述自增计数器的同一硬件时钟节拍内，同步读取本地硬件晶振的当前累积振荡周期计数值，结合所述硬件晶振的固有标称频率，计算得出与所述当前帧序号严格物理对齐的硬件时间戳，其计算公式为：

15、

16、其中，为系统同步握手时记录的基准零点时间，为第帧触发时刻所读取的累加晶振计数值，为所述硬件晶振的固有标称频率；

17、s1.4 按照预设的通信总线协议位宽，将所述硬件绝对序列号与所述硬件时间戳分配至底层数据报文的内核协议报头段，并将所述单帧脑电数据映射至所述底层数据报文的数据有效载荷段，并在报文尾部追加循环冗余校验码，按位拼接形成完整的时序数据报文，将连续生成的多个所述时序数据报文依次向上传输推流，输出所述时序脑电数据流。

18、进一步地，基于时序脑电数据流处理得到所述当前脑电控制特征，具体步骤如下：

19、s2.1 解析所述时序脑电数据流的数据有效载荷段，提取包含个导联通道的原始多通道脑电序列，针对任一导联通道，采用预设的无限脉冲响应带通滤波器对该通道的脑电序列进行滤波与去噪操作，得到所述去噪时序脑电信号，其对应的时域线性常系数差分方程为：

20、

21、其中，为离散时间采样点索引，为导联通道编号，为提取自所述有效载荷段的第通道当前输入采样值，和分别为前向和反馈滤波器阶数，为第阶前向馈入系数，为第阶反馈系数，所述带通滤波器的通带截频范围根据预设的脑电特征频带范围参数设定；

22、s2.2 设定滑动时间窗长度为且窗移步长为，对各个导联通道的所述去噪时序脑电信号同步执行短时傅里叶变换，并计算目标频带区间内的累积频段能量数据，其计算公式为：

23、

24、其中，为滑动时间窗的当前窗帧索引，为离散频率索引，为抑制频谱泄露的汉明加权窗函数，与分别对应预设频带范围的频率下限与上限在离散频谱中的索引边界；将当前窗帧索引下所有个通道的所述累积频段能量数据按照导联空间拓扑顺序进行拼接，构建得到所述多维脑电特征向量；

25、s2.3 将所述多维脑电特征向量输入所述分类解析模型的空间特征聚合层，通过预训练的空间卷积权重矩阵进行通道间空间维度的非线性特征聚合，降维得到空间融合特征：

26、

27、随后将所述空间融合特征顺序输入所述分类解析模型的时序依赖提取层，结合上一窗帧隐藏状态执行时序上下文递归计算，得到包含历史动作序列依赖的融合意图特征：

28、

29、其中，、、分别为空间卷积权重矩阵、时序输入权重矩阵以及时序递归权重矩阵，与为对应的偏置向量，与均为非线性激活函数；

30、s2.4 将所述融合意图特征输入所述意图映射全连接层进行状态概率分布计算，通过归一化指数函数输出当前状态属于各项预设意图分类的概率向量，并通过取最大概率索引函数从所述概率向量中提取对应的分类标签，作为最终的所述当前脑电控制特征：

31、

32、

33、其中，为全连接层映射矩阵，为全连接层偏置向量，为预设的外部设备控制动作分类总数，为所述概率向量中的第个概率元素，所述当前脑电控制特征用于表征目标用户的当前离散动作意图。

34、进一步地，所述预先构建的分类解析模型，其具体的构建与训练过程包括以下步骤：

35、获取携带外部设备真实意图动作标签的历史连续脑电数据，对所述历史连续脑电数据执行滤波去噪与时频域特征提取操作，得到历史多维脑电特征向量序列；

36、将所述真实意图动作标签转化为独热编码格式的真实概率分布向量，将所述历史多维脑电特征向量序列与对应的所述真实概率分布向量进行样本对齐，构建得到训练样本集：

37、

38、其中为样本时间步索引，为第个时间步的历史多维脑电特征向量，为对应的真实概率分布向量，为训练样本总数；

39、构建初始分类解析模型，采用正态分布随机初始化所述空间特征聚合层的空间卷积权重矩阵与偏置向量、所述时序依赖提取层的时序输入权重矩阵、时序递归权重矩阵与偏置向量、以及所述意图映射全连接层的全连接层映射矩阵与偏置向量，将所述训练样本集中的所述历史多维脑电特征向量序列按照预设批次大小输入所述初始分类解析模型，依次经过所述空间特征聚合层的降维操作、所述时序依赖提取层的历史状态递归运算，以及所述意图映射全连接层的归一化指数映射，输出与所述样本时间步索引对应的预测概率分布向量；

40、提取所述预测概率分布向量以及所述训练样本集中对应的所述真实概率分布向量，采用交叉熵代价函数计算当前批次前向传播的全局分类损失值，其计算公式为：

41、

42、其中，为单次训练迭代的批次样本数量，为意图分类总数，为批次内第个样本的真实概率分布向量中的第个元素，为批次内第个样本的预测概率分布向量中的第个元素；

43、基于计算得到的所述全局分类损失值，应用基于链式法则的反向传播算法，计算所述全局分类损失值对所述初始分类解析模型中各项权重矩阵与偏置向量的损失梯度；

44、采用自适应矩估计优化算法，基于所述损失梯度对各项所述权重矩阵与偏置向量进行迭代更新，权重参数更新公式为：

45、

46、其中，代表待更新的任一权重矩阵或偏置向量，为当前迭代轮次，为预设的基础学习率，为当前迭代轮次下经过偏差校正的一阶动量估计值，为当前迭代轮次下经过偏差校正的二阶动量估计值，为防止分母为零的平滑常数；

47、重复执行上述训练步骤，直至所述全局分类损失值小于预设收敛阈值或达到最大迭代轮次条件，停止参数更新并固化所有所述权重矩阵与偏置向量，输出训练收敛的所述预先构建的分类解析模型。

48、进一步地，提取触发当前脑电控制特征对应的所述时序脑电数据流中的硬件绝对序列号区间与起始硬件时间戳，并将所述硬件绝对序列号区间、所述起始硬件时间戳作为元数据与基于所述当前脑电控制特征生成的控制指令进行合并封装，得到时序锚定控制指令包，具体包括：

49、s3.1 基于所述概率向量提取其中的最大分类概率值，将所述最大分类概率值与预设的意图置信度阈值进行数值比对，当判定时，确认所述当前脑电控制特征满足预设触发阈值条件，并提取预设的设备动作指令映射字典，按照唯一映射关系将所述当前脑电控制特征转化为针对所述外部设备的具体控制指令编码；

50、s3.2 获取用于提取所述当前脑电控制特征的当前滑动时间窗索引，结合预设的滑动时间窗长度、窗移步长以及所述时序脑电数据流中单帧数据报文包含的固定采样点数量，计算触发所述当前脑电控制特征的所述硬件绝对序列号区间，其计算公式为：

51、

52、

53、其中，为系统上电初始化时标定的基准序列号，为向下取整函数，为区间起始序列号，为区间终止序列号；

54、同步查询所述时序脑电数据流，提取与所述区间起始序列号对应的数据报文在其内核协议报头段中所记录的硬件时间戳，作为所述起始硬件时间戳；

55、s3.3 将计算得到的所述硬件绝对序列号区间以及所述起始硬件时间戳划分为时序元数据字段，将所述时序元数据字段拼接至所述具体控制指令编码的头部位置，并在尾部附加基于预设生成多项式计算的校验位，合并封装构建得到所述时序锚定控制指令包，所述时序锚定控制指令包的数据结构表达式为：

56、

57、其中，表示数据字段在内存中的连续位流拼接，为针对当前指令包整体计算的循环冗余校验序列。

58、进一步地，将所述时序锚定控制指令包输入预构建的环形滑动窗口队列，提取所述环形滑动窗口队列中缓存的包含历史预设数量帧已发送指令的序列号与校验码的状态快照，将所述时序锚定控制指令包与所述状态快照进行联合组装与冗余编码，生成udp协同传输报文，并通过udp通道将所述udp协同传输报文发送至外部执行设备，具体如下：

59、s4.1 将所述时序锚定控制指令包压入预构建的环形滑动窗口队列的队尾指针位置，当所述环形滑动窗口队列的当前存储长度超过预设最大窗口容量时，弹出队首的最早历史指令包；

60、从所述环形滑动窗口队列中提取当前队尾指针前序的个历史帧，提取各个历史帧对应的区间起始序列号与循环冗余校验序列，构建得到所述状态快照，其数学表达式为：

61、

62、其中，表示具有固定长度的结构体数组，表示数据字段在内存中的连续位流拼接，为预设的历史预设数量帧大小且满足，与分别为第帧历史指令对应的区间起始序列号与校验码；

63、s4.2 将所述时序锚定控制指令包与所述状态快照进行按位级联，得到联合数据块，提取预设的前向纠错编码矩阵，通过所述前向纠错编码矩阵对所述联合数据块执行伽罗瓦域乘法冗余编码运算，生成对应的冗余校验块，并将所述联合数据块与所述冗余校验块合并组装生成传输有效载荷，其计算公式为：

64、

65、

66、

67、其中，表示在预设伽罗瓦域上的有限域矩阵乘法，为生成系统纠错码的线性生成矩阵，为用于对抗网络传输丢包的冗余校验字节流；

68、s4.3 按照无连接的用户数据报协议底层标准，为所述传输有效载荷依次在头部追加由源端口与目的端口组成的传输层报头、包含目的外部执行设备 ip 地址的网络层报头以及数据链路层物理帧头，封装生成所述 udp 协同传输报文，其数据结构表达式为：

69、

70、其中，、、分别为介质访问控制层、网际协议层以及用户数据报协议层的标准通信报头段；最后通过调用底层网卡硬件驱动，将连续生成的所述 udp 协同传输报文依次通过 udp 通道异步向外发送至所述外部执行设备。

71、进一步地，所述外部执行设备包括具身机器人、飞行器、探测器、沉浸式游戏/xr设备和虚拟引擎环境。

72、进一步地，步骤s5中，所述目标控制指令的生成，具体如下：

73、s5.1 获取所述外部执行设备在传输层接收到的所述 udp 协同传输报文，对所述udp 协同传输报文进行数据反向解包，提取当前报文的有效载荷中携带的当前硬件绝对序列号区间、当前起始硬件时间戳以及当前控制指令，同时读取所述外部执行设备的本地接收状态机内存中维护的已执行最大序列号，将所述当前硬件绝对序列号区间中的起始序列号与所述已执行最大序列号进行数值运算，计算序列号差值；

74、s5.2 若判定所述序列号差值，则确定比对结果为序列号不连续，提取所述 udp 协同传输报文中冗余附加的所述状态快照，所述状态快照包含历史帧的控制指令与对应的序列号映射表；

75、根据缺失序列号集合，在所述映射表中进行匹配查找以提取缺失的所述历史指令，并将提取的所述历史指令与所述当前控制指令按照绝对序列号的单调递增规律进行内存地址重排，构建得到时序连续的待执行指令队列；

76、s5.3 针对所述待执行指令队列中的指令，获取所述外部执行设备的当前系统渲染时钟，结合所述当前起始硬件时间戳计算指令端到端传输调度的时间差值，采用指数衰减插值算法基于所述时间差值对指令控制参数进行平滑补偿，其计算公式为：

77、

78、其中，为平滑补偿后的所述目标控制指令，为所述待执行指令队列中当前出队的原始指令参数，为所述外部执行设备在上一个机器响应周期缓存的历史执行指令参数，为基于所述时间差值动态计算的自适应插值权重，为预设的外部执行设备平滑衰减常数；

79、s5.4 将经过所述平滑补偿处理得到的所述目标控制指令依次下发至所述外部执行设备的底层驱动控制器以驱动所述外部执行设备执行对应的连续动作，并在当前指令队列的动作全部执行完毕后，将所述本地接收状态机维护的所述已执行最大序列号同步更新为所述当前硬件绝对序列号区间中的终止序列号，完成单次交互控制状态机的状态迭代闭环。

80、根据本发明的第二方面，本发明提供一种基于软硬件协同的脑机接口高可靠信号传输系统，用于实现第一方面描述的一种基于软硬件协同的脑机接口高可靠信号传输方法，包括：

81、数据采集与时序封装模块，用于获取实时采集的原始连续脑电信号，在底层数据推流过程中为原始连续脑电信号的每一帧数据报文注入单调递增的硬件绝对序列号和硬件时间戳，封装得到时序脑电数据流；

82、信号预处理与特征解析模块，用于提取所述时序脑电数据流，基于预设频带范围对所述时序脑电数据流执行滤波与去噪操作，得到去噪时序脑电信号，对去噪时序脑电信号执行时频域转换以提取频段能量数据，构建多维脑电特征向量，将所述多维脑电特征向量输入预先构建的分类解析模型，依次通过所述分类解析模型中的空间特征聚合层、时序依赖提取层以及意图映射全连接层进行特征映射，得到当前脑电控制特征；

83、时序锚定指令封装模块，用于当所述当前脑电控制特征满足预设触发阈值时，提取触发当前脑电控制特征对应的所述时序脑电数据流中的硬件绝对序列号区间与起始硬件时间戳，并将所述硬件绝对序列号区间、所述起始硬件时间戳作为元数据与基于所述当前脑电控制特征生成的控制指令进行合并封装，得到时序锚定控制指令包；

84、冗余快照协同传输模块，用于将所述时序锚定控制指令包输入预构建的环形滑动窗口队列，提取所述环形滑动窗口队列中缓存的包含历史预设数量帧已发送指令的序列号与校验码的状态快照，保存历史控制指令编码、序列号及crc，将所述时序锚定控制指令包与所述状态快照进行联合组装与冗余编码，生成udp协同传输报文，并通过udp通道将所述udp协同传输报文发送至外部执行设备；

85、接收重排与平滑执行模块，用于获取所述外部执行设备接收到的所述udp协同传输报文，解析所述udp协同传输报文中携带的所述硬件绝对序列号，将所述硬件绝对序列号与本地状态机维护的已执行最大序列号进行数值比对；

86、若比对结果为序列号不连续，则基于所述状态快照解析提取缺失序列号对应的历史指令进行序列重排，并结合所述起始硬件时间戳计算时间差值以进行指令延迟插值平滑，得到目标控制指令，并将所述目标控制指令下发至所述外部执行设备以驱动其执行动作。

87、根据本发明的第三方面，本发明提供一种终端设备，包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序，所述存储器中存储有能够在处理器上运行的计算机程序，所述处理器加载并执行计算机程序时，采用了第一方面描述的基于软硬件协同的脑机接口高可靠信号传输方法。

88、本发明至少具备以下有益效果：

89、1.本发明通过在底层硬件推流端原生注入单调递增的绝对序列号与高精度时间戳，并在软件解析端精准提取该时序凭证，将其作为元数据与控制指令进行联合封装，这种深度的软硬件协同机制，使得最高层的脑控指令能够无缝且精准地追溯至最底层的物理触发时刻，有效降低因操作系统后台资源抢占带来的特征解析计算抖动，保证了全链路时序的一致性。

90、2.本发明引入了基于环形滑动窗口与历史状态快照的冗余协同编码传输机制，该机制摒弃了传统tcp协议超时重发机制带来的延迟毛刺，使得执行端在面临网络丢包时，能够直接依托后续报文中的紧凑快照实现指令恢复与重排，在维持udp极低延迟特性的同时，实现了高价值意图指令高可靠传输送达。

91、3.本发明在外部执行设备的接收端构建了深度耦合硬件时间戳的状态机模型，当系统面临极端的网络乱序或指令延迟突变时，执行端不再机械地执行滞后指令，而是基于源头起始硬件时间戳与当前系统渲染时钟的物理时间差值，动态计算指数衰减权重，对指令控制参数进行自适应的插值平滑补偿，有效滤除了因指令非均匀到达引发的外部物理设备动作卡顿以及虚拟引擎画面渲染的眩晕感，为目标用户构建了流畅、自然且高度沉浸的闭环脑机交互体验。

92、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。