一种脑机接口信号多模态高运速解码芯片的制作方法

摘要: 本发明涉及脑机接口,具体涉及一种多模态脑机接口信号的解码芯片,尤其涉及该芯片的系统框架架构。背景技术:1、脑机接口技术通过采集大脑的神经信号并将其解码为控制指令...
一种脑机接口信号多模态高运速解码芯片的制作方法

本发明涉及脑机接口,具体涉及一种多模态脑机接口信号的解码芯片,尤其涉及该芯片的系统框架架构。

背景技术:

1、脑机接口技术通过采集大脑的神经信号并将其解码为控制指令或通信信息,实现大脑与外部设备的直接交互。随着技术的发展,脑机接口系统已从单一模态的神经信号采集发展为多模态神经信号采集(如同时采集电生理信号、化学信号、光学信号等),以提高解码的准确性和鲁棒性。

2、在多模态脑机接口系统中,不同模态的神经信号由各自对应的采集前端完成采集和数字化。这些采集前端在采样率、信号处理路径长度、数据打包方式等方面存在差异,导致不同模态的数字化数据到达芯片内部融合处理单元的时间不一致,即存在时间错位。

3、在闭环脑机接口系统中,从信号采集到执行器响应之间存在严格的时间预算约束。以运动控制类脑机接口为例,从神经信号采集到运动指令输出通常需要在20ms内完成,其中包含信号采集、解码计算、指令生成等多个环节。为了消除时间错位以便进行多模态融合解码,现有技术中的融合单元必须在执行解码之前,先对时间错位的多模态数据进行时间对齐计算,包括插值、重采样、时间偏移补偿等操作。该时间对齐计算步骤占据了解码路径上的处理时间,其耗时随通道数增加而增加,在通道数量多的场景下可达数毫秒,直接挤占了可用于执行器响应的时间余量。因此,现有技术的模式显著限制了系统实现高运速(即低延迟、高吞吐)解码的能力。

4、现有技术中已有多种方案试图缓解该问题。例如,中国发明专利cn121596960a,公开了一种多模态脑机接口信号的存内自适应时钟同步方法及芯片,通过在存算一体特征提取阵列中实时提取高频脑电信号的瞬时能量特征,动态调节本地环形振荡器以产生自适应低频采样时钟,实现亚皮秒级同步精度。该方案解决的是采样时钟对齐层面的问题。又如,中国发明专利,cn121879584b公开了一种面向中文语音脑机接口的多模态神经信号同步采集方法及系统,通过全局同步控制器实现多数据源的三阶段同步启动,并在数据到达时使用主机高精度计时器标记微秒级时间戳。该方案解决的是采集启动同步层面的问题。此外,已有商业化平台通过fpga+arm架构,将所有模态数据在同一时钟域内打上硬件时间戳,实现了亚毫秒级的时钟对齐。

5、然而,需要指出的是,时钟对齐或采样时刻对齐并不等同于数据帧对齐。即便各模态的采样时刻是同步的,数据在完成采样后仍需经过各自独立的模拟前端处理、模数转换、数据打包、缓存写入等环节,不同模态的信号链路径长度和处理时间各不相同,导致数据到达芯片内部融合单元的时间仍然存在错位。因此,上述方案均未能解决数据在传输和缓存过程中累积的时间错位问题。具体而言:

6、第一,各模态信号在完成采样后,需要经过各自独立的模拟前端处理、模数转换、数据打包等环节,不同模态的信号链路径长度和处理时间各不相同,导致数据到达芯片内部缓存的时间存在差异。

7、第二,现有芯片架构中,不同模态的数据通常分别存入各自的缓存队列,融合单元需要从多个队列中分别读取数据,然后自行判断哪些数据在时间上是对应的。这一判断和计算过程本身消耗时间。

8、第三,随着脑机接口向万级通道方向发展,多模态数据的数量和处理复杂度急剧增加,融合单元的时间对齐计算开销呈非线性增长。

9、因此,现有技术中融合单元所承担的时间对齐计算环节是解码路径上的固有延迟来源,现有方案尚未能从根本上消除该延迟。此外,对于模态组合可变的场景,问题更加突出:不同应用场景下实际启用的模态数量可能不同,系统需要在不知道哪些数据会到达的情况下,做出是否提交数据行的决策,使得现有技术中“等待所有数据到齐后再处理”的模式更加低效。

技术实现思路

1、为了克服现有技术的上述缺陷,本发明的实施例提供一种脑机接口信号多模态高运速解码芯片,要解决的问题是:在多模态脑机接口芯片中,难以消除融合单元的时间对齐计算环节,使融合单元直接获取已时间对齐的多模态数据,从而降低解码延迟、提升解码速度的问题。

2、为实现上述目的,本发明提供如下技术方案:

3、为解决上述技术问题,本发明提供了一种脑机接口信号多模态高运速解码芯片,其系统框架包括:全局时间基准生成器100、采集接口层200、时间索引缓存池300、行就绪仲裁器400和融合单元500。

4、全局时间基准生成器100,用于以预设的全局帧周期生成全局帧号并向采集接口层200广播,所述全局帧号在每个全局帧周期增加1。全局时间基准生成器100是全系统唯一的时间基准源,为后续各模块提供统一的时间坐标系。

5、采集接口层200,包含多个采集接口通道,各采集接口通道分别用于连接不同模态的采集前端。每个采集接口通道在每个全局帧周期接收到全局时间基准生成器100广播的当前全局帧号时,从其所连接的采集前端获取当前采样数据。采集接口通道将所述当前采样数据与所述全局帧号、所连接的采集前端对应的模态的模态类型标识及数据有效标志封装成统一数据帧输出。

6、时间索引缓存池300,其存储空间在逻辑上组织为二维矩阵结构,所述二维矩阵的行方向对应全局帧号、列方向对应模态类型标识,每个行列交叉位置为一个槽位。时间索引缓存池300接收各采集接口通道输出的统一数据帧,从所述统一数据帧中提取全局帧号和模态类型标识。

7、时间索引缓存池300以提取到的全局帧号为行索引确定目标行、以提取到的模态类型标识为列索引确定目标列,将所述统一数据帧中的采样数据存入所述目标行与所述目标列交叉处的槽位中,并将该槽位标记为已写入。

8、行就绪仲裁器400,用于监测所述二维矩阵中每一行的填充状态,所述填充状态包括该行中哪些列已被标记为已写入。行就绪仲裁器400为每一行维护一个超时计数器,当一行中的首个槽位被标记为已写入时,启动该行对应的超时计数器,所述超时计数器以全局帧周期为单位递增。

9、行就绪仲裁器400内维护有预期掩码,所述预期掩码为位图形式,每一位对应一种模态,值为1表示系统当前期望接收该模态的数据。

10、行就绪仲裁器400针对每一行分别判断是否满足就绪条件,所述就绪条件为:该行中所述预期掩码中值为1的位所对应的列均已被标记为已写入;

11、或者,该行的超时计数器的值达到预设的超时阈值。当检测到一行满足所述就绪条件时,行就绪仲裁器400向融合单元500发送包含该行对应的全局帧号的行就绪信号,并向时间索引缓存池300发送包含该全局帧号的读指令。

12、时间索引缓存池300响应于所述读指令,将所述读指令所指定的全局帧号对应的行中各列的采样数据及数据有效标志组装成一个对齐数据行。时间索引缓存池300将所述对齐数据行发送至融合单元500,并在确认融合单元500已接收后将该行的所有槽位清空并标记为未写入。

13、融合单元500接收所述对齐数据行,所述对齐数据行中各模态的采样数据已在时间上对齐。融合单元500直接使用所述对齐数据行进行多模态融合解码。

14、上述各模块中,采集接口层200所连接的采集前端为现有技术中已有的各类神经信号采集前端(包括但不限于脑电采集前端、皮层脑电采集前端、神经递质传感器前端、近红外光谱采集前端等),本发明不对采集前端的内部电路做任何改动。

15、融合单元500内部可采用现有技术的任何融合推理实现方式(如神经网络加速器、决策树等),本发明不对融合单元500的融合推理实现方式做任何限定。

16、进一步地,所述预设的超时阈值通过芯片的配置接口进行写入和修改;所述全局帧周期通过所述配置接口进行写入和修改。

17、进一步地,所述统一数据帧至少包含帧头字段、全局帧号字段、模态类型标识字段、数据有效标志字段、采样数据字段和校验和字段,各字段按固定顺序排列。

18、所述采集接口通道在输出所述统一数据帧之前,计算所述校验和字段的值,使接收端能够通过所述校验和字段验证所述统一数据帧的完整性。时间索引缓存池300在接收到所述统一数据帧后,首先校验所述校验和字段,校验通过后才执行提取全局帧号和模态类型标识的操作,若校验不通过则丢弃该统一数据帧。

19、进一步地,所述二维矩阵的行数在芯片设计时确定。行数的确定原理如下:时间索引缓存池300需要同时容纳所有尚未提交的数据行。

20、最坏情况下,一行从开始接收数据到因超时而提交,所经历的时间为个全局帧周期。

21、其中,为所有模态中从完成采样到统一数据帧到达时间索引缓存池300所需时间的最大值与最小值之差;gfp为所述全局帧周期;为所述超时阈值能够设定的最大值;“+1”表示当前正在被写入的一个额外行。

22、因此。

23、其中,在芯片设计阶段根据各采集前端的信号处理延迟确定,与gfp采用相同的时间单位。

24、进一步地,行就绪仲裁器400为每一行维护一个已收到掩码,所述已收到掩码的位数为系统支持的模态总数,每一位对应一种模态类型标识。当时间索引缓存池300的某一行的某一列被标记为已写入时,时间索引缓存池300向行就绪仲裁器400发送更新信号,行就绪仲裁器400根据所述更新信号将该行对应的已收到掩码中与该列对应的位置为1。

25、行就绪仲裁器400还维护一个预期掩码,所述预期掩码通过芯片的配置接口写入,其位数与所述已收到掩码相同,每一位对应一种模态类型标识,值为1的位表示系统期望接收该模态的数据。

26、行就绪仲裁器400在判断“该行中所述预期掩码中值为1的位所对应的列均已被标记为已写入”这一条件时,检查该行的已收到掩码中与所述预期掩码中值为1的位相对应的各位是否全部为1,若是则判定该行中所述预期掩码中值为1的位所对应的列均已被标记为已写入。

27、进一步地,当行就绪仲裁器400因“该行的超时计数器的值达到预设的超时阈值”而判定一行满足就绪条件时,该行中预期应当收到但尚未被标记为已写入的列所对应的模态数据被标记为缺失。

28、时间索引缓存池300在组装所述对齐数据行时,对于被标记为缺失的列,在所述对齐数据行中该列的数据有效标志置为无效,采样数据置为空值,并在所述对齐数据行中记录该行属于部分帧。对于未被标记为缺失的列,所述对齐数据行中该列的数据有效标志保持原有值。

29、进一步地,当时间索引缓存池300在向某一行的某一列写入数据时,若该槽位已被标记为已写入,则时间索引缓存池300以当前待写入的新数据覆盖该槽位中原有的旧数据,并将本次覆盖事件累加至一个冲突计数器,该冲突计数器的值通过芯片的状态寄存器供外部读取。

30、进一步地,当时间索引缓存池300中的所有行均处于非空闲状态时,时间索引缓存池300向采集接口层200发送忙信号,所述非空闲状态是指该行至少有一个槽位被标记为已写入但尚未被清空。各采集接口通道在发送统一数据帧之前检测所述忙信号,若检测到所述忙信号有效,则暂停发送新的统一数据帧,直至所述忙信号失效。

31、所述忙信号在时间索引缓存池300中至少有一行处于空闲状态时失效,所述空闲状态指该行的所有槽位均被标记为未写入且该行对应的超时计数器为零。

32、进一步地,所述对齐数据行包含:

33、该行对应的全局帧号;

34、一个数据完整标志,该数据完整标志在该行因所述预期掩码中值为1的位所对应的列均已被标记为已写入而满足就绪条件时被置为“完整帧”,在该行因超时计数器的值达到超时阈值而满足就绪条件时被置为“部分帧”;

35、以及各模态列的采样数据及其对应的数据有效标志。

36、进一步地,行就绪仲裁器400为每一行维护一个行状态标志,所述行状态标志取以下三种状态之一:

37、空闲状态,表示该行的所有槽位均未被标记为已写入且该行对应的超时计数器为零;填充中状态,表示该行已有一个或多个槽位被标记为已写入但尚未满足就绪条件;

38、就绪状态,表示该行已满足就绪条件且尚未被读取。

39、行就绪仲裁器400还用于:

40、当一行中首个槽位被标记为已写入时,将该行的行状态标志从空闲状态切换为填充中状态;

41、当一行满足就绪条件时,将该行的行状态标志从填充中状态切换为就绪状态,并发送所述行就绪信号;

42、当该行被读取完成后,将该行的行状态标志从就绪状态切换回空闲状态。

43、本发明的技术效果和优点:

44、第一,消除解码路径上的时间对齐计算环节。本发明通过在时间索引缓存池300中采用二维矩阵结构,使数据在写入时即按全局帧号完成时间行聚集,通过行就绪仲裁器将已对齐的数据行主动提交给融合单元。融合单元接收到的数据天然属于同一个全局帧周期、在时间上已经对齐,无需执行插值、重采样或偏移补偿等时间对齐计算。解码路径上的处理步骤减少,解码时间缩短,系统有效吞吐率随之提升,实现高运速解码。

45、第二,融合单元功能边界简化。行就绪仲裁器负责监测各行的填充状态并主动通知融合单元,融合单元不需要主动查询时间索引缓存池中各队列的状态,也不需要自己判断哪些数据在时间上互相对应,设计复杂度降低。

46、第三,系统不因个别模态异常而阻塞。超时阈值的机制确保了当某模态数据因采集前端延迟、信号丢失等原因未能在预期时间内到达时间索引缓存池时,该时间行仍能因超时而进入就绪状态并提交部分帧,不会因为等待一个永远不会到达的数据而导致整个系统停滞。

47、第四,框架可扩展性强,适配动态模态组合。当系统需要增加一种新模态时,只需在芯片设计时预留的列资源中增加一列,并在采集接口层中增加一个对应的接口通道,更新行就绪仲裁器的预期掩码。时间索引缓存池的行判断逻辑和行就绪仲裁器的仲裁逻辑无需改动,该扩展不影响已有模态的工作。此外,在不同应用场景下,系统可通过动态配置预期掩码灵活启用或禁用不同模态的组合,无需修改芯片硬件设计,同一芯片即可适配多种应用场景。