基于流形约束与CLIP对齐的侵入式神经信号图像重建方法

摘要: 本发明属于脑机接口与神经解码,尤其涉及一种基于流形约束与clip对齐的侵入式神经信号图像重建方法。背景技术:1、近年来,脑机接口与生成式人工智能的交叉研究快速发...
基于流形约束与CLIP对齐的侵入式神经信号图像重建方法

本发明属于脑机接口与神经解码,尤其涉及一种基于流形约束与clip对齐的侵入式神经信号图像重建方法。

背景技术:

1、近年来,脑机接口与生成式人工智能的交叉研究快速发展,围绕“由脑信号解码视觉内容并进一步重建图像”的技术路线,已经形成了较为清晰的研究脉络。按照脑信号采集方式与生成目标的不同,现有技术大致可分为以下几类。

2、(一)基于 fmri 的视觉图像重建技术较早取得突破

3、在视觉重建领域,较早成熟的是基于功能性磁共振成像(fmri)的图像重建方法。该类方法通常利用 fmri 对视觉皮层活动的较高空间分辨率,将脑活动解码到多层视觉表征空间,再通过深度神经网络或扩散模型完成图像重建。早期研究已证明,可通过多尺度局部解码器从人脑活动中恢复简单视觉结构;之后,研究者进一步提出将脑活动映射到深度神经网络(dnn)的分层特征空间,再通过图像优化或生成模型恢复视觉内容,可在一定程度上重建图像的语义一致性与自然度。

4、(二)基于 eeg/meg 的视觉解码与图像生成成为热点,但重建质量和稳定性仍有限

5、与 fmri 相比,脑电(eeg)和脑磁(meg)具有成本低、便携、时间分辨率高等优势。然而,这类信号也存在空间分辨率较低、信噪比较低、跨被试差异明显、与图像空间之间缺乏天然一一对应结构等显著缺陷。

6、由此可见,现有技术虽然已经能够在一定程度上实现基于脑信号的视觉解码与图像生成,但仍主要存在以下问题:一是现有方案多基于非侵入式脑信号,难以充分利用高信噪比神经活动实现高质量图像重建;二是现有方案对脑信号潜在表示多采用普通特征编码方式,缺乏对神经流形结构的约束,导致表示稳定性与跨场景泛化能力不足;三是现有方案对图像语义信息的利用尚不充分,未能在训练阶段实现视觉信息与语义信息的互补扩充;四是现有方案主要面向观看刺激图像场景,对于想象图像场景支持有限,尤其缺乏将感知脑信号与想象脑信号进行统一对齐建模的技术路线。

7、基于此,亟需提出一种新的图像重建方法,以充分利用侵入式神经信号、图像语义信息以及神经流形结构,实现面向看图与想象两种场景的统一高质量图像生成。

技术实现思路

1、为解决上述问题,本发明提供一种基于流形约束与clip对齐的侵入式神经信号图像重建方法,在神经流形空间学习和对齐看图片和想象同一图片的一对脑信号,实现想象生图/文本的功能,完成视觉内容和语义文本的高质量重建。

2、第一方面,一种基于流形约束与clip对齐的侵入式神经信号图像重建方法,所述方法采用神经流形编码器、感知-想象配准模型、条件扩散模型、双层clip对齐模型、多模态解码模块来实现;其中,双层clip对齐模型由两个独立但互补的clip对齐层组成;

3、所述神经流形编码器用于获取脑信号的流形特征,其中,当脑信号为直视待重建图像而产生的感知脑信号时,神经流形编码器输出感知流形特征,当脑信号为想象待重建图像而产生的想象脑信号时,神经流形编码器输出想象流形特征;

4、所述感知-想象配准模型用于弥合感知与想象模态之间的神经表征差异,通过非线性变换将想象流形特征映射为类感知流形特征,使感知流形特征和类感知流形特征在统一的神经表征空间中对齐;

5、所述第一层clip对齐层,在训练阶段将图像通过clip视觉编码器提取的视觉特征,与该图像的文本描述通过clip文本编码器提取的语义特征进行对齐融合,生成关键匹配特征编码向量作为条件扩散模型进行扩散训练时的起始数据;在推理阶段不直接参与脑信号到图像的解码过程,其在训练阶段建立的视觉-语义对齐的clip特征空间为后续模块提供特征对齐基准;

6、所述第二层clip对齐层,在训练阶段将神经流形编码器输出的感知流形特征或感知-想象配准模型输出的类感知流形特征,与第一层clip对齐层输出的图像关键匹配特征编码向量通过对比学习损失进行深度对齐,建立脑信号特征到视觉-语义联合特征空间的映射关系;在推理阶段,将输入脑信号经神经流形编码器或感知-想象配准模型处理后映射至所述视觉-语义联合特征空间,生成与第一层clip对齐层所构建特征对齐基准相对齐的神经流形编码向量,并将该神经流形编码向量输出至条件扩散模型,以引导图像重建或生成过程;该神经流形编码向量融合了神经流形的几何结构约束与多模态视觉-语义信息,包含从脑信号中解码得到的视觉结构信息和语义内容信息;

7、所述条件扩散模型用于在图像关键匹配特征空间中进行扩散操作,其中,在训练阶段以神经流形编码向量为控制条件,对第一层clip对齐层输出的关键匹配特征编码向量进行正向加噪直至关键匹配特征编码向量变成高斯噪声,以完成条件扩散模型的扩散训练;在推理阶段以神经流形编码向量为控制条件,通过逆向去噪过程从高斯噪声中逐步恢复出关键匹配特征编码向量;

8、所述多模态解码模块分为图像解码器和文本解码器,分别将条件扩散模型输出的关键匹配特征编码向量解码为重建图像和描述图像内容的语义文本。

9、进一步地,所述神经流形编码器获取脑信号的流形特征的方法为:

10、基于脑信号x包含不同频段的神经振荡成分,采用三个并行的时空特征提取分支分别提取高维脑信号x的高频局部特征fhigh、中频皮层交互特征fmid、低频网络同步特征flow;

11、采用门控机制对高频局部特征fhigh、中频皮层交互特征fmid、低频网络同步特征flow进行自适应加权融合,得到多尺度时空表征ffused;

12、采用时间编码器对多尺度时空表征ffused进行空间池化并重排为时间序列s,然后在时间序列s上添加正弦位置编码得到保留有绝对时间信息的时间序列spos;

13、通过多层transformer捕捉时间序列spos的时序依赖关系,得到感知轨迹序列strajectory;

14、通过注意力池化机制将感知轨迹序列strajectory聚合为全局表征zglobal;

15、采用两层残差mlp将全局表征zglobal映射到目标维度,得到最终的低维流形特征zmanifold。

16、进一步地,脑信号x通过多个侵入式电极采集得到;

17、其中,所述高频时空特征提取分支通过一维卷积从脑信号x中提取各侵入式电极的时间编码,输出高频局部特征fhigh;

18、所述中频时空特征提取分支根据脑信号x确定各侵入式电极的物理拓扑,并基于各侵入式电极的物理拓扑构建各侵入式电极对应的k近邻图,然后将k近邻图输入图卷积网络,由图卷积网络从k近邻图中捕捉邻近电极间的协同活动,输出中频皮层交互特征fmid;

19、所述低频时空特征提取分支通过脑信号x构建大脑的功能连接图,并将功能连接图输入图注意力网络,由图注意力网络提取大脑跨皮层区域的长程同步模式,输出低频网络同步特征flow。

20、进一步地,训练由时间编码器和多层transformer组成的感知轨迹序列提取模块时所采用的损失函数ltrajectory如下:

21、ltrajectory=

22、其中,t为时间步序号,t为训练时设定的时间步总数,为第t个时间步对应的感知轨迹序列变化率,为第t-1个时间步对应的感知轨迹序列变化率。

23、进一步地,训练神经流形编码器时所采用的总损失函数由局部平滑性约束损失、全局拓扑损失、流形维度正则化损失以及多模态对齐损失组成;

24、其中,所述局部平滑性约束损失通过采集脑信号x的各侵入式电极的物理拓扑构建的k近邻图来约束语义相似图像对应的脑信号也具有相似的神经流形;

25、所述全局拓扑损失通过对比学习来约束高维脑信号空间与低维流形空间之间的拓扑等价性;

26、所述流形维度正则化损失通过特征值熵最大化来约束流形特征的维度大于设定值;

27、所述多模态对齐损失用于约束脑信号的流形特征与第一层clip对齐层输出的关键匹配特征编码向量对齐。

28、进一步地,在训练阶段,第一层clip对齐层用于将图像通过clip视觉编码器提取的视觉特征,与同一图像的文本描述通过clip文本编码器提取的语义特征进行对齐融合,输出兼具视觉细节和语义结构的关键匹配特征编码向量;第二层clip对齐层用于将脑信号通过神经流形编码器提取的神经流形特征,与第一层clip对齐层输出的关键匹配特征编码向量进行对齐,学习从神经活动模式到视觉-语义融合空间的映射关系;在推理阶段,脑信号经神经流形编码器处理后,通过第二层clip对齐层获得神经流形特征编码向量,该神经流形特征编码向量作为控制条件输入到条件扩散模型的逆向去噪过程;条件扩散模型从高斯噪声逐步恢复出关键匹配特征编码向量;关键匹配特征编码向量分别输入图像解码器和文本解码器,输出重建图像和语义文本。

29、进一步地,在推理阶段,所述条件扩散模型用于根据接收到的神经流形编码向量生成待重建图像的关键匹配特征编码向量的方法为:

30、s1:初始化:从标准正态分布中采样得到初始高斯噪声向量,作为扩散逆向去噪过程的起始数据;

31、s2:条件输入:将从第二层clip对齐层输出的神经流形编码向量作为全局控制条件,引导扩散模型的逆向去噪过程;

32、s3:迭代去噪:设定总去噪步数为t步,从时间步t=t开始逆向迭代至t=0;在每个时间步执行以下操作:将当前噪声状态、当前时间步嵌入以及神经流形编码向量输入到训练好的噪声预测网络;噪声预测网络输出当前时间步嵌入的噪声估计;根据预设的噪声调度策略和预测的噪声估计,通过去噪更新公式计算下一时间步的噪声状态;

33、s4:输出生成:当完成所有t步去噪操作后,得到完全去噪的关键匹配特征编码向量,该关键匹配特征编码向量位于第一层clip对齐层建立的视觉-语义融合空间中,包含从输入脑信号中解码的视觉结构信息和语义内容信息。

34、进一步地,所述条件扩散模型的训练方法为:

35、s1:训练数据集准备:获取训练样本集,每个训练样本包括:样本图像及其对应的文本描述、直视样本图像时产生的样本感知脑信号、通过神经流形编码器和第二层clip对齐层处理样本感知脑信号得到的神经流形编码向量样本、通过第一层clip对齐层对样本图像和文本描述进行视觉-语义对齐融合得到的关键匹配特征编码向量样本,其中,关键匹配特征编码向量样本作为监督目标;

36、s2:正向扩散过程:将神经流形编码向量样本作为控制条件输入到条件扩散模型的正向扩散过程,对于每个关键匹配特征编码向量样本,对其执行前向加噪过程:随机采样时间步tuniform({1,2,...,t}),从标准正态分布采样噪声,根据噪声调度策略,计算加噪后的噪声特征;

37、s3:将加噪后的噪声特征、关键匹配特征编码向量样本变成随机高斯噪声样本图像时的加噪步数、神经流形编码向量样本输入到噪声预测网络,得到预测的噪声估计;

38、s4:计算预测的噪声估计与真实添加的噪声之间的均方误差损失,通过反向传播优化噪声预测网络的参数,最小化上述均方误差损失;

39、s5:重复步骤s2至s4,批量遍历训练样本集,直到验证集损失不再下降或达到预设的最大训练轮数,完成条件扩散模型的训练。

40、进一步地,所述多模态解码模块包括图像解码器和文本解码器,用于将条件扩散模型输出的关键匹配特征编码向量解码为多模态输出;

41、其中,所述图像解码器用于将关键匹配特征编码向量解码为像素级图像,具体方法为:所述图像生成模型基于扩散模型架构,在推理阶段从标准高斯噪声采样初始状态,以关键匹配特征编码向量为条件控制信号,通过条件扩散去噪过程,将噪声逐步转换为像素空间的高分辨率rgb图像;所生成的高分辨率rgb图像在视觉内容、语义信息和风格特征上与被试观看或想象的原始图像保持一致;

42、所述文本解码器用于将关键匹配特征编码向量解码为自然语言描述,具体方法为:将关键匹配特征编码向量作为上下文条件输入到基于transformer架构的语言生成模型,采用自回归解码方式逐词生成文本序列,输出包含场景中物体类别、视觉属性、空间关系和动作事件语义信息的自然语言描述。

43、进一步地,所述多模态解码模块的训练方法为:

44、s1:训练数据准备:获取训练样本集,每个训练样本包括样本图像及其文本描述;通过第一层clip对齐层对样本图像和文本描述进行视觉-语义对齐融合得到的关键匹配特征编码向量样本,其中,关键匹配特征编码向量样本作为图像解码器和文本解码器的输入;样本图像本身作为图像解码器的重建目标;文本描述作为文本解码器的生成目标;

45、s2:图像解码器训练:将关键匹配特征编码向量样本输入图像解码器,得到重建图像;计算重建图像与真实样本图像之间的总重建损失,包括:像素级损失、感知损失和clip对齐损失;通过反向传播优化图像解码器参数,最小化总重建损失;

46、s3:文本解码器训练:将关键匹配特征编码向量样本输入文本解码器,采用教师强制策略,在每个解码步骤输入真实文本的前缀,预测下一个词;计算预测词分布与真实词之间的交叉熵损失;通过反向传播优化文本解码器参数,最小化交叉熵损失;

47、s4:联合优化与收敛判断:可选择性地对图像解码器和文本解码器进行联合训练,优化联合损失;在验证集上评估重建图像质量和文本生成质量;当验证集性能连续多个epoch不再提升,或达到预设的最大训练轮数时,完成多模态解码模块的训练。

48、第二方面,一种电子设备,包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如第一方面所述基于流形约束与clip对齐的侵入式神经信号图像重建方法;所述电子设备包括侵入式神经信号图像重建设备。

49、第三方面,一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如第一方面所述基于流形约束与clip对齐的侵入式神经信号图像重建方法。

50、第四方面,一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如第一方面所述基于流形约束与clip对齐的侵入式神经信号图像重建方法。

51、有益效果:

52、本发明提供一种基于流形约束与clip对齐的侵入式神经信号图像重建方法,通过视觉-语义联合对齐机制,从侵入式脑信号中协同解码视觉内容与语义概念,经多模态解码模块输出重建图像和语义文本描述。这种多模态互补扩充机制具有四方面优势:第一,采用神经流形编码器将高维脑信号映射到低维流形空间,通过多类约束损失构建生物学可解释的结构化表征,相比"黑箱式"编码更能抑制噪声、保证跨场景一致性并稳定生成过程;第二,构建双层clip对齐机制,第一层融合图像和文本嵌入,第二层将神经流形特征对齐到该融合空间,使脑信号表征同时捕获视觉细节和语义结构;第三,引入流形空间配准器,建立想象场景与看图场景的映射关系,补偿想象信号缺失信息并抑制噪声;第四,该机制天然支持脑信号生成图像和脑信号生成文本两类任务,通过统一的编码框架,既可将脑信号解码为视觉内容,也可直接输出语义描述,显著扩展应用范围,在脑机接口辅助通信、认知状态识别、跨模态检索等场景中具有更广泛的实用价值;因此,本发明解决了想象场景中神经信号微弱导致的解码失败问题,填补了现有技术在内在心理表征解码方面的空白,为失语症患者辅助通信、意识障碍评估等临床应用提供技术基础。