一种基于脑电状态的个性化音乐生成方法及系统与流程

摘要: 本发明涉及脑机接口、脑电信号处理,具体而言,涉及一种基于脑电状态的个性化音乐生成方法及系统。背景技术:1、非侵入式脑机接口能够从脑电信号中提取与情绪状态、唤醒度...
一种基于脑电状态的个性化音乐生成方法及系统与流程

本发明涉及脑机接口、脑电信号处理,具体而言,涉及一种基于脑电状态的个性化音乐生成方法及系统。

背景技术:

1、非侵入式脑机接口能够从脑电信号中提取与情绪状态、唤醒度、注意力、疲劳度、紧张度和放松度相关的特征。现有脑电音乐技术通常先根据脑电特征确定情绪类别或状态等级,再依据所确定的类别或等级从预先建立的音乐库中检索音乐,或者对既有音频的节拍速度、音量和播放顺序进行调整。

2、上述方式中,脑电信号主要用于曲目选择或播放参数控制,未进入旋律、和声、节奏、音色和音乐结构的生成过程。因此,不同用户或不同会话在状态相近时可能获得相同的既有内容,所输出音乐与当次脑电状态之间缺少内容生成层面的对应关系,难以实现真正个性化的音乐生成。

3、生成式音乐模型能够根据文本、语义令牌、连续控制参数、条件嵌入或潜空间向量生成音频波形、符号音乐或音乐控制序列,具备对多个音乐要素进行联合生成的能力。然而,脑电状态信息属于生理和认知状态表征,与生成式音乐模型的输入表征存在异构差异。若仅将单个脑电指标直接映射为节拍速度或音量,不仅丢失了情绪状态的细粒度连续变化信息,也难以利用生成式音乐模型对旋律、和声、节奏、音色和音乐结构进行联合生成。

4、为解决脑电与生成模型之间的表征鸿沟,部分现有技术尝试引入中间语义层,例如通过检索增强生成(rag)与大语言模型(llm)将情绪状态翻译为结构化的音乐治疗参数指令,再驱动扩散模型生成音乐。这类方案虽规避了脑电-音乐配对数据的依赖,但仍存在明显局限:(1)文本化翻译丢失了情绪状态的细粒度连续变化信息,且rag与llm推理引入额外计算延迟,不利于超低延迟的实时干预场景;(2)片段衔接通常依赖固定时长的交叉淡入淡出,未对主旋律轮廓、音色嵌入、调式、和弦、节拍相位等音乐结构要素进行跨片段的连续性建模;(3)未建立基于多维度信号质量评估的置信度门限机制,当脑电信号受眨眼、肌电、运动伪迹或电极接触变化影响时,生成条件可能发生非预期跳变;(4)未提供用户状态信息与场景目标、个体偏好、会话历史等多源信息之间的冲突消解机制,难以在多源信息冲突时生成稳定的融合条件。

5、在连续播放过程中,用户状态随音乐播放而动态变化。若每次根据新的状态独立生成片段,相邻片段可能在调式、节拍、和声、音色或音乐结构上不连续;若脑电信号受眨眼、肌电、运动、电极接触变化或数据丢失影响,生成条件还可能发生非预期跳变。现有技术缺少将脑电状态、用户信息、会话历史和播放反馈共同编码为音乐生成条件,并根据反馈连续生成后续音乐片段的技术体系。

技术实现思路

1、本发明的目的在于提供一种基于脑电状态的个性化音乐生成方法及系统,以解决现有脑电音乐技术中多源信息难以有效融合、信号质量波动导致生成跳变、片段间缺乏连续性控制以及缺少闭环个体化适配的问题。

2、本发明的实施例是这样实现的:

3、一种基于脑电状态的个性化音乐生成方法,其包括:

4、s1、采集用户的多通道脑电信号,提取脑电特征表示并解码得到表征用户当前情绪状态的多维用户状态向量;

5、s2、获取用户状态信息和辅助上下文信息,辅助上下文信息包括用户个体信息、场景目标信息、当前会话信息和历史反馈信息中的至少一种;通过冲突消解规则将用户状态信息与辅助上下文信息进行融合编码,得到融合条件向量;

6、s3、基于脑电特征表示计算脑电信号置信度

q,并根据脑电信号置信度

q执行多级门限自适应处理,以自适应地调整融合条件向量及后续生成条件的更新权重;

7、s4、计算相邻时间窗口用户状态向量的变化量

d,并依据变化量

d动态调整连续性条件权重

λ

c,结合融合条件向量与连续性条件共同输入生成式音乐模型,生成并输出个性化音乐片段。

8、进一步地,在本发明其它较佳实施例中,步骤s2中,辅助上下文信息包括用户个体信息、场景目标信息、当前会话信息和历史反馈信息;冲突消解规则包括硬约束过滤与基于预设权重的加权融合,其中用户状态源的权重与脑电信号置信度正相关。

9、进一步地,在本发明其它较佳实施例中,硬约束过滤包括听觉安全范围约束、用户禁用内容约束和内容安全规则约束,其中内容安全规则约束具有最高优先级;

10、对通过硬约束过滤的剩余候选值,按照如下归一化权重进行加权融合:

11、用户状态源权重为0.30×

q;用户个体信息源权重为0.20;场景目标信息源权重为0.25;当前会话信息源权重为0.15;历史反馈信息源权重为0.10×

f;

12、其中

q为脑电信号置信度,

f为历史反馈有效因子;当场景目标信息与用户状态信息发生冲突且未触发安全约束时,以场景目标信息作为方向性约束,用户状态信息仅在

q≥0.60时参与细粒度的幅度调节。

13、进一步地,在本发明其它较佳实施例中,步骤s3中,脑电信号置信度

q由信号有效度、信号幅度合理性、眼电伪迹残留度、肌电伪迹残留度、接触阻抗合格度、频谱特征一致性、基线稳定性、有效窗口比例八个维度加权计算得到;多级门限自适应处理包括:

14、当

q低于置信度阈值且连续无效窗口数小于无效窗口阈值时,提高历史有效状态和前一生成条件的权重;

15、当连续无效窗口数达到无效窗口阈值时,保持当前音乐方向或停止依据脑电更新生成条件;

16、当连续有效窗口数达到有效窗口阈值时,按预设步长恢复生成条件的更新。

17、进一步地,在本发明其它较佳实施例中,八维度脑电信号置信度

q的计算公式为:

18、

q=0.20

r

v+0.15

r

a+0.10

r

e+0.10

r

m+0.15

r

c+0.10

r

s+0.10

r

b+0.10

r

w;

19、其中,

r

v为信号有效度,

r

a为信号幅度合理性,

r

e为眼电伪迹残留度,

r

m为肌电伪迹残留度,

r

c为接触阻抗合格度,

r

s为频谱特征一致性,

r

b为基线稳定性,

r

w为有效窗口比例。

20、进一步地,在本发明其它较佳实施例中,步骤s4中,变化量

d与连续性条件权重

λ

c的关系为:

21、当

d小于或等于低变化量阈值时,

λ

c取强连续性权重,表示强连续性;

22、当

d大于高变化量阈值时,

λ

c取弱连续性权重,并在过渡片段中渐进改变音乐要素;

23、当

d介于低变化量阈值与第二预设阈值之间时,

λ

c在强连续性权重与弱连续性权重之间线性插值。

24、进一步地,在本发明其它较佳实施例中,步骤s4中,连续性条件包括:主旋律轮廓特征、音色嵌入特征和调式、和弦、节拍相位特征;

25、主旋律轮廓特征通过对当前片段的基频序列进行半音量化并经等时长重采样得到;音色嵌入特征通过对当前片段的尾音频谱经卷积神经网络提取、时间池化和l2归一化得到。

26、进一步地,在本发明其它较佳实施例中,还包括:

27、s5、在音乐片段播放后再次采集用户脑电信号,计算播放前后有效窗口集合之间的反馈效果,利用指数移动平均、受约束梯度更新、上下文多臂赌博机、参数高效微调中的至少一种方式更新用户个体化适配参数;

28、生成标识与用户状态快照、会话标识、生成种子和模型版本关联存储,以使生成内容可追溯至特定用户和特定时刻。

29、进一步地,在本发明其它较佳实施例中,步骤s1中,提取脑电特征表示,包括:

30、对原始脑电信号进行带通滤波、独立成分分析伪迹去除、按预设时间窗口分段及频带分解,提取各频带的微分熵特征,生成标准化的时空频特征张量;

31、解码得到多维用户状态向量,包括:

32、利用图神经网络与时序建模相结合的混合架构对时空频特征张量进行情绪状态解码,输出多维用户状态向量。

33、一种基于脑电状态的个性化音乐生成系统,其包括:

34、脑电信号采集与预处理模块,用于采集用户的多通道脑电信号并进行预处理与特征提取,生成标准化的时空频特征张量;

35、情绪识别模块,用于对时空频特征张量进行情绪状态解码,输出多维用户状态向量;

36、融合与冲突消解模块,用于获取用户状态信息和辅助上下文信息,通过冲突消解规则将用户状态信息与辅助上下文信息进行融合编码,得到融合条件向量;

37、信号置信度与连续性控制模块,用于基于时空频特征张量计算脑电信号置信度

q并执行多级门限自适应处理,以及计算相邻时间窗口用户状态向量的变化量d并据此动态调整连续性条件权重

λ

c;

38、生成式音乐模型模块,用于以融合条件向量与连续性条件作为双重生成条件,对旋律、和声、节奏、音色和音乐结构进行联合生成并输出个性化音乐片段。

39、本发明实施例的有益效果是:

40、本发明实施例提供了一种基于脑电状态的个性化音乐生成方法及系统。其通过将原始生理信号解码为多维用户状态向量,转化为高维情绪表征,为生成式音乐模型提供了细粒度的联合生成条件;在此基础上,引入辅助上下文信息并经冲突消解规则融合编码,实现了脑电状态与用户个体、场景目标等多源信息的有效融合,显著提升了生成内容与用户即时状态的匹配精度;同时,基于脑电特征表示直接计算信号置信度并自适应调整更新权重,有效抑制了伪迹干扰导致的非预期跳变;进一步依据相邻窗口状态变化量动态调整连续性权重,以融合条件向量与连续性条件作为双重生成条件,保证了逐片段生成模式下音乐在调式、和声、音色上的结构连贯性。由此构建的动态控制体系,使脑电状态能够作为高鲁棒性、强连续性的生成条件,稳定驱动个性化音乐内容的实时生成。