一种基于神经网络的减压音乐实时推荐系统

本发明涉及音乐推荐领域，具体是指一种基于神经网络的减压音乐实时推荐系统。

背景技术：

1、随着现代社会竞争加剧，焦虑、抑郁等负面情绪已成为影响公众心理健康的主要威胁。音乐作为一种非侵入性情绪调节手段，被证实能够有效影响自主神经系统与大脑边缘系统。现有主流系统，如协同过滤、基于内容的推荐，严重依赖用户历史播放行为。这些静态偏好无法反映用户在特定时刻因压力水平变化而产生的动态需求，导致推荐结果往往与用户当前希望通过音乐减压的真实目的背道而驰；现有涉及脑电的情绪识别方法，如deap数据集的基线方法，大多仅提取功率谱密度或微分熵等统计特征，未能利用三维卷积核同时在时间轴、空间通道轴和频率轴上捕捉瞬态突变与空间同步性。

技术实现思路

1、针对上述情况，为克服现有技术的缺陷，本发明提供了一种基于神经网络的减压音乐实时推荐系统，针对脑电信号多维特征提取不足的问题，本发明构建双路径并行网络：路径一采用三维频率-时空卷积核同步提取脑电信号的瞬时频率特征、空间分布特征与时间演变特征；路径二采用堆叠的膨胀因果卷积网络，在不增加计算量的前提下指数级扩大感受野，捕捉长程时间依赖；针对transformer计算效率低与情绪识别延迟高的问题，本发明引入窗口概率稀疏自注意力机制，通过限定注意力计算范围至局部时间窗口，并结合query稀疏性评估，降低计算复杂度，满足实时性要求；针对音乐推荐缺乏动态优化与闭环反馈的问题，本发明首创性地将模型预测控制引入音乐推荐领域，以用户当前情感向量为状态量，以音乐声学特征调节量为控制量，构建包含情感跟踪误差、控制能耗、控制增量的多目标代价函数，并通过滚动时域求解最优控制序列。

2、本发明采取的技术方案如下：本发明提供了一种基于神经网络的减压音乐实时推荐系统，所述一种基于神经网络的减压音乐实时推荐系统包括脑电信号采集模块、脑电信号预处理模块、脑电特征提取模块、情绪识别模块、音乐情感锚定模块、推荐匹配模块、闭环动态调节模块和音频输出反馈模块；

3、所述脑电信号采集模块采用可穿戴多通道干电极脑电设备，采集脑电信号，脑电信号经模数转换后通过无线方式以数据包形式发送至脑电信号预处理模块；

4、所述脑电信号预处理模块，将脑电信号先经带通与陷波滤波去噪，输出纯净时域信号，再送入独立成分分解并剔除眼电和肌电伪迹，重构脑电，对脑电进行分段，对每段做短时傅里叶变换，生成三维时频谱张量；

5、所述脑电特征提取模块，通过双路径并行深度网络提取三维时频谱张量中蕴含的深层情绪语义特征，其中路径一侧重局部时-频-空联合模式，路径二侧重全局长程时间依赖，将两个路径的深层情绪语义特征融合得到脑电深度融合向量；

6、所述情绪识别模块，对脑电深度融合向量进行全局上下文建模，实时回归出用户在二维情感空间中的连续坐标值，得到用户实时情感向量；

7、所述音乐情感锚定模块，离线解析音乐库中每首曲目的音频信号，提取其底层声学物理属性，并将其映射到与用户情感空间一致的情感坐标上，得到音乐情感锚点；

8、所述推荐匹配模块，计算用户实时情感向量与每首音乐情感锚点之间的心理声学距离，按接近程度排序筛选出与用户当前情绪状态最匹配的候选曲目；

9、所述闭环动态调节模块，将音乐推荐转化为一个有限时域的滚动优化控制问题，通过持续监测用户情绪反馈并动态调整播放策略；

10、所述音频输出反馈模块，将数字音频信号转换为模拟信号驱动播放设备输出声音，同时监听播放进度，在关键时间节点触发新一轮控制计算。

11、进一步地，所述脑电信号预处理模块包括滤波去噪单元、伪迹剔除单元、数据分段增强单元、时频变换单元；

12、所述滤波去噪单元，通过去直流、带通与陷波滤波的协同作用，在抑制基线漂移、高频肌电和工频干扰的同时，借助零相位技术保持波形不失真，输出纯净时域信号，具体操作为，去脑电信号中的直流偏移，所用公式如下：

13、；

14、式中，是去除直流分量后时刻的脑电信号幅值，是时刻的原始脑电信号幅值，是总采样点数，是采样点序号；

15、采用零相位fir滤波器，通过带通滤波用以去除高频肌电噪声与极低频漂移；

16、设置陷波器，通过陷波滤波，消除工频干扰，得到滤波信号；

17、所述伪迹剔除单元采用独立成分分析对纯净时域信号进行盲源分离，得到独立成分矩阵与混合矩阵，通过计算各独立成分与标准参考信号的皮尔逊相关系数，识别并剔除眼电与肌电伪迹成分，剩余成分通过混合矩阵的逆矩阵投影回信号空间，得到纯净脑电信号；

18、所述数据分段增强单元使用滑动窗口对纯净脑电信号进行切分，得到分段信号，所有的分段信号构成样本集；

19、所述时频变换单元对每个分段信号进行短时傅里叶变换，将一维时间序列映射为二维时频谱图，所述短时傅里叶变换的计算公式如下：

20、；

21、式中，是二维时频谱图，是窗口长度，是汉明窗函数，是频率索引，是窗内时间偏移。

22、所述脑电特征提取模块包括三维频率-时空卷积网络单元、膨胀因果时间卷积网络单元和双路径特征融合单元；

23、所述三维频率-时空卷积网络单元将预处理后的二维时频谱图与电极空间拓扑位置映射为三维张量，得到空间-频率融合特征；

24、三维卷积核同时在三个维度滑动进行卷积，所用卷积公式如下：

25、；

26、式中，是输出特征图在通道偏移、频率偏移、时间偏移处的值，、和分是为卷积核在通道、频率、时间维度上的尺寸，是可学习的卷积核权重，是偏置项；

27、通过卷积操作对输出特征图进行通道压缩，融合各维度信息，生成中间特征表示。

28、所述膨胀因果时间卷积网络单元捕捉情绪在长时间轴上的演变趋势，采用膨胀因果卷积结构，确保当前时刻的输出仅依赖于历史时刻信息，得到时间深度特征，膨胀因果卷积的离散计算公式为：

29、；

30、式中，是第个神经元的输出值，是卷积核尺寸，是卷积核元素索引，是卷积核权重，表示从当前时间步向前偏移步的输入值，是膨胀因子，随网络层数增加呈指数增长；

31、所述双路径特征融合单元，将三维频率-时空卷积网络单元输出的空间-频率融合特征与膨胀因果时间卷积网络单元输出的时间深度特征沿特征轴拼接，并通过全连接映射层压缩至固定维度，生成最终脑电深度融合向量。

32、所述情绪识别模块，将脑电深度融合向量映射至二维情感空间，包括位置编码单元、窗口概率稀疏自注意力单元和情感回归输出单元；

33、所述位置编码单元，采用正弦-余弦绝对位置编码为脑电深度融合向量注入时序信息，所用公式如下：

34、；

35、；

36、式中，是脑电深度融合向量的序列位置索引，是维度索引，是特征维度；

37、所述窗口概率稀疏自注意力单元对输入序列，通过线性投影得到查询矩阵、键矩阵、值矩阵；

38、窗口限制，设置固定窗口半径为r，每个查询仅与邻近2r个位置计算注意力，屏蔽远距离无关噪声；

39、概率稀疏化，对于每个查询向量，计算其在窗口内所有键上的注意力分数，仅保留分数最高的前u个键值对，设置稀疏阈值；

40、定义单头注意力输出的计算公式如下：

41、；

42、式中，是窗口掩码稀疏化后的查询矩阵，是概率稀疏化后的查询矩阵，是键向量维度，是单头注意力输出，、、分别是查询矩阵、键矩阵、值矩阵，表示转置。

43、所述情感回归输出单元，将transformer编码器输出的全局上下文向量经两层全连接网络映射，输出层采用sigmoid激活函数，分别计算效价与唤醒度，效价与唤醒度的计算公式如下：

44、；

45、；

46、式中，是效价，是唤醒度，是sigmoid激活函数，是效价权重矩阵，是唤醒度权重矩阵，是效价偏置项，是唤醒度偏置项，是全局上下文向量；

47、所述音乐情感锚定模块，为音乐数据库构建高维声学特征向量，并将其映射至与用户情感空间同构的情感锚定空间，包括底层声学特征提取单元、音乐情感回归映射单元；

48、所述底层声学特征提取单元，对原始音频pcm流进行分帧加窗处理，提取音频特征，包括节拍速率、频谱质心、mel频率倒谱系数、混响时间；

49、所述音乐情感回归映射单元，构建辅助回归网络，将提取的声学特征向量映射为情感坐标，该映射网络采用预训练-微调范式，以大规模人工标注数据集为监督。

50、所述推荐匹配模块，计算用户实时情感向量与音乐库中曲目的音乐情感锚点之间的加权欧式距离作为情感距离，选取情感距离最小的k首作为初始候选集合；

51、所述闭环动态调节模块，将音乐推荐从静态匹配升级为动态调节过程，以用户情绪为被控变量，以音乐播放参数为操纵变量，构建有限时域滚动优化问题，包括系统状态空间建模单元和滚动时域求解与执行单元；

52、所述系统状态空间建模单元利用循环神经网络建立情绪状态预测器，定义k时刻输入向量，包括上一时刻用户实时情感向量、音乐曲目切换指令、播放音量增益系数、环境噪声干扰、用户自主操作；

53、情绪状态预测器递归预测未来时刻用户情感响应，所用公式如下：

54、；

55、式中，是预测的用户情感响应，是预测时域，是输入序列长度；

56、所述滚动时域求解与执行单元，在每个控制周期执行以下操作：

57、通过情绪识别模块获取用户实时情感向量，利用rnn代理模型预测未来系统输出，调用序列二次规划算法求解上述优化问题，得到最优控制序列；

58、仅将最优序列的第一个元素下发至音频输出模块；

59、下一时刻到来时，重新采样状态，重复上述步骤，实现闭环动态跟踪与补偿。

60、所述音频输出反馈模块，执行控制指令，将数字音频信号解码为模拟信号驱动扬声器，同时，实时监测播放进度，当歌曲播放至尾声时，主动向mpc控制器请求下一拍控制指令，确保播歌间隙无延迟。

61、采用上述方案本发明取得的有益效果如下：

62、（1）针对脑电信号多维特征提取不足的问题，本发明构建双路径并行网络：路径一采用三维频率-时空卷积核同步提取脑电信号的瞬时频率特征、空间分布特征与时间演变特征；路径二采用堆叠的膨胀因果卷积网络，在不增加计算量的前提下指数级扩大感受野，捕捉长程时间依赖；

63、（2）针对transformer计算效率低与情绪识别延迟高的问题，本发明引入窗口概率稀疏自注意力机制，通过限定注意力计算范围至局部时间窗口，并结合query稀疏性评估，降低计算复杂度，满足实时性要求；

64、（3）针对音乐推荐缺乏动态优化与闭环反馈的问题，本发明首创性地将模型预测控制引入音乐推荐领域，以用户当前情感向量为状态量，以音乐声学特征调节量为控制量，构建包含情感跟踪误差、控制能耗、控制增量的多目标代价函数，并通过滚动时域求解最优控制序列。