一种基于效价-唤醒度引导的视频转音乐生成方法及系统

本发明涉及人工智能与多媒体内容生成，尤其是涉及一种基于效价-唤醒度引导的视频转音乐生成方法及系统，尤其适用于影视后期配乐、短视频后期配乐、虚拟现实场景音乐生成等需要视频与音乐在情感维度和节奏维度协同对齐的应用场景。

背景技术：

1、随着短视频、影视制作、虚拟现实及数字内容创作产业的迅速发展，多媒体内容生产规模持续扩大，自动化视频配乐技术日益受到学术界和产业界的广泛关注。视频转音乐（video-to-music）生成任务旨在依据输入视频的视觉内容自动生成与之在语义、节奏及情感等维度上相匹配的背景音乐，是多媒体内容智能生产中的关键环节之一，对降低创作门槛、提升配乐效率具有重要意义。

2、然而，现有视频转音乐方法主要存在以下技术缺陷：

3、第一，情感维度建模不足。现有方法主要依赖视频的语义特征或运动特征进行音乐生成，缺乏对视频情感状态的显式建模和量化表征，导致生成音乐与视频在情感维度上的一致性较差，难以呈现与画面氛围相契合的听觉效果。

4、第二，情感控制精度不足。部分方法虽引入情感标签（如russell四象限标签）作为生成条件，但情感标签的粒度较粗，仅能表征有限的几类情感类别，无法在连续情感空间中进行精细化控制，限制了音乐情感表达的丰富性和准确性。

5、第三，情感与节奏联合建模缺失。现有方法通常将情感对齐与节奏对齐作为相互独立的优化目标，缺乏统一的联合条件机制，导致所生成音乐难以同时满足视频在情感和节奏两个维度上的对齐需求，易出现"情感贴合但节奏失配"或"节奏对齐但氛围不符"的问题。

6、效价-唤醒度（valence-arousal）模型是心理学领域广泛采用的连续情感空间表征模型，其中效价（valence）反映情感的愉悦程度，唤醒度（arousal）反映情感的激活强度。相较于离散的情感类别标签，v-a数值能够在二维连续空间中对情感状态进行细粒度刻画，为情感引导的内容生成提供了更高精度的条件信号。

7、公开号为cn121659224a的发明公开了一种基于帧级别效价唤醒度增强的多模态情感分析方法，包括：s1.获得维度为1024的token级文本特征；s2.获得维度为64的帧级音频特征；s3.获得维度为128的帧级视觉特征；s4.得到每一帧的valence标签序列与arousal标签序列；s5.将视听联合特征序列输入联合跨模态注意力机制进行递归特征建模，生成初步视听融合特征；s6.得到va增强音频特征与va增强视觉特征；s7.以token级文本特征作为查询，对va增强音频特征与va增强视觉特征执行跨模态注意力运算，并经自注意力机制整合，得到最终多模态情感特征。本发明有效克服了传统方法难以处理细粒度情感波动和长时序变化的缺陷，大幅提升了情感识别的敏感性和时序鲁棒性。但是该方案未实现情感与节奏在生成过程中的联合对齐，条件信号精度较差。

8、因此，如何在连续情感空间中实现精细化的情感引导，并同时实现情感与节奏在生成过程中的联合对齐，是本领域亟待解决的技术问题。

技术实现思路

1、本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于效价-唤醒度引导的视频转音乐生成方法及系统。

2、本发明的目的可以通过以下技术方案来实现：

3、一种基于效价-唤醒度引导的视频转音乐生成方法，包括：

4、获取输入视频片段的视觉描述文本及对应的效价值和唤醒度值；计算所述输入视频片段中各帧的全局光流幅值平均值、各音乐小节对应的平均运动速度；对所述平均运动速度进行量化映射，得到音乐小节的密度特征；

5、提取所述输入视频片段中一维运动特征信号的瞬态突发响应；将所述瞬态突发响应量化映射为离散的节拍强度特征；将所述密度特征与节拍强度特征转化为实际的音频波形，并生成承载视频运动动态的运动节奏特征序列；对所述运动节奏特征序列进行编码，得到节奏条件向量；

6、对所述视觉描述文本进行编码，得到文本特征向量；对所述效价值和唤醒度值进行独立的非线性映射，然后进行拼接，得到情感特征向量；将所述情感特征向量映射至与文本特征向量相同的多维隐空间，得到投影后的情感特征；

7、基于所述文本特征向量对应的文本语义，计算所述情感特征的调制权重；基于所述调制权重，将所述情感特征向量与文本特征向量进行门控加权融合，得到情感增强条件向量；基于所述情感增强条件向量和节奏条件向量，进行联合条件音乐解码，生成目标视频转音乐。

8、进一步的，对所述效价值和唤醒度值进行独立的非线性映射，然后进行拼接，得到情感特征向量，对应的拼接表达式为：

9、

10、其中，为情感特征向量，表示沿特征维度的拼接操作，表示效价映射网络，表示唤醒度映射网络，表示效价值，表示唤醒度值。

11、进一步的，基于所述文本特征向量对应的文本语义，计算所述情感特征的调制权重，对应的计算公式为：

12、

13、

14、其中，g为门控权重，其取值反映各特征维度上情感信号的注入强度；表示沿特征维度的拼接操作，为门控线性层的可学习参数矩阵，用于将所述情感特征向量映射至与所述文本特征向量相同的特征维度，得到投影后的情感特征向量，σ为sigmoid激活函数，为线性投影层的可学习参数矩阵。

15、进一步的，基于所述调制权重，将所述情感特征向量与文本特征向量进行门控加权融合，对应的融合表达式为：

16、

17、其中，为情感增强条件向量。

18、进一步的，基于所述情感增强条件向量和节奏条件向量，进行联合条件音乐解码，生成目标视频转音乐，对应的解码表达式为：

19、

20、其中，为生成的目标视频转音乐，为节奏条件向量，为情感增强条件向量，为解码器的变换器输入，表示解码操作。

21、进一步的，计算所述输入视频片段中各帧的全局光流幅值平均值、各音乐小节对应的平均运动速度，对应的计算公式为：

22、

23、

24、其中，为第m个音乐小节内对应的平均运动速度，为每个音乐小节所包含的视频帧数，表示第m个小节对应的视频帧集合，表示第t帧位于像素点位置处的光流幅值，为第t帧的全局光流幅值平均值，h和w分别为视频帧的高和宽。

25、进一步的，对所述平均运动速度进行量化映射，得到音乐小节的密度特征，对应的量化映射表达式为：

26、

27、其中，为音乐小节的密度特征，为预设的区间阈值向量，（·）表示量化操作。

28、进一步的，将所述瞬态突发响应量化映射为离散的节拍强度特征，对应的量化映射表达式为：

29、

30、

31、其中，表示离散的节拍强度特征，表示量化操作，表示节拍发生时刻的瞬态突发响应，为一维运动特征信号，表示高通滤波器处理，表示预设的强度阈值向量。

32、进一步的，将所述密度特征与节拍强度特征转化为实际的音频波形，并生成承载视频运动动态的运动节奏特征序列，对应的转化表达式为：

33、

34、其中，表示运动节奏特征序列，为依据密度等级从预设的节奏模式库中选取对应小节节奏模式的函数，为依据强度等级生成对应节拍重音强度的函数，表示时序上的拼接操作，为音乐小节的密度特征，为离散的节拍强度特征。

35、本发明还提供一种基于效价-唤醒度引导的视频转音乐生成方法的系统，包括存储器和处理器，所述存储器存储有计算机程序，处理器调用所述计算机程序执行如上所述的方法的步骤。

36、与现有技术相比，本发明具有以下优点：

37、（1）本发明通过将情感特征向量与文本特征向量进行门控加权融合，得到情感增强条件向量；再将情感增强条件向量（承载了融合后的文本语义与情感信息）与承载了视频运动动态信息的节奏条件向量进行联合条件音乐解码，使得解码器在生成音频波形时可以同时参考这两类条件信息，从而实现了语义层面和节奏层面的协同约束；避免了传统方法中情感语义与节奏独立生成所带来的旋律与节奏彼此割裂的问题，大幅减少了生成音乐的随机性和不一致性，使最终输出的音频可以在节奏和情绪张力等多个维度上呈现出高度的统一性和连贯性，有效解决了现有方法中两类目标相互独立、难以兼顾的问题。

38、（2）本发明通过相互独立的效价映射网络与唤醒度映射网络对v-a数值进行解耦编码，避免了愉悦度与激活度两类语义在共享参数下产生混淆，提高了情感特征向量的表达精度；设计的门控适配器实现了文本语义特征与连续情感特征的自适应融合，构建了统一的情感增强条件向量，兼顾语义保真与情感调控。

39、（3）本发明首次将连续效价-唤醒度数值作为显式条件引入视频转音乐生成框架，相较于传统的离散情感标签方案，能够在连续二维情感空间中实现精细化的情感控制，显著提升所生成音乐的情感表达丰富性；最终实现了连续情感空间下的精细化情感引导与节奏联合解码，可用于影视配乐、短视频自动配乐及虚拟现实场景音乐生成。