一种视频音效合成系统及方法与流程

1.本发明涉及视频处理技术领域，特别是涉及一种视频音效合成系统及方法。


背景技术：

2.随着计算机技术和网络信息计算的发展，人们开始通过网络传输和发布信息，网络成为人们娱乐和工作的重要环节，数字音频也成为一种主流的网络数据形式，而随着大数据时代的发展，音频数据的应用也会越来越广泛。在数字音频的提供方在将音频文件发布到网络上后，许多用户可以下载此共享资源，将其设置为自己的铃声、网站背景音乐等等。
3.传统地，在从网络上下载初始音频后，对初始音频的编辑一般为剪辑音频的长度、对音频进行简单拼接等，当用户想要在初始音频中插入其他的音效，则需要手动定位音效的添加位置，逐个添加音效音频。然而，若想要在初始音频的节奏点上添加音效时，则需要多次重复识别、添加的操作，操作过程较为繁琐。


技术实现要素：

4.鉴于此，本发明的目的是提供一种视频音效合成系统及方法，其能够通过原始视频进行解码和分离，得到音效文件，再对得到的音效文件进行合成，实现了音效合成的自动化和智能化。具有效率高和合成效果好的优点。
5.为了实现上述目的，本发明采用如下技术方案：
6.一种视频音效合成系统，所述系统包括：解码单元，对媒体文件进行解码；分离单元，用于从解码生成的媒体文件数据包中分离视频数据和音效数据；音效编码单元，对所述音效数据按特定格式进行编码生成音效文件；音效合成单元，配置用于对生成的音效文件进行合成，生成合成后的音效。
7.进一步的，所述分离单元根据所述媒体文件数据包中的识别符区分视频数据和音效数据；所述分离单元还包括缓冲器，用于缓存所述音效数据。
8.进一步的，所述音效合成单元，对生成的音效文件进行合成，生成合成后的音效得方法执行以下步骤：获取初始音效；识别所述初始音效中的节奏点，根据所述节奏点在所述初始音效中标注音效区域；获取与所述音效区域对应的音效，将所述音效中的音效合成到所述初始音效中的音效区域，得到合成音效。
9.进一步的，所述识别所述初始音效中的节奏点的方法，包括：鉴定所述初始音效的节拍属性，得到所述初始音效的节拍点；分析所述初始音效的频谱，得到所述初始音效的频谱中的特征点；将所述初始音效的节拍点和所述初始音效频谱中的特征点匹配，获取所述初始音效的节奏点。
10.进一步的，所述根据所述节奏点在所述初始音效中标注音效区域的方法包括：将所述初始音效放置到第一音轨中；在所述第一音轨中识别所述初始音效中的节奏点，生成与所述第一音轨对应的第二音轨，并在所述第二音轨中标注所述节奏点对应的音效区域；
所述将所述音效中的音效合成到所述初始音效中的音效区域，得到所述合成音效，包括：从所述音效中提取待添加音效，将所述待添加音效放置到所述音效区域中；合成所述第一音轨和第二音轨，得到所述合成音效。
11.进一步的，所述音效编码单元可按用户自定义的采样率、声道设置、编码格式和比特率对所述音效数据进行编码。
12.一种视频音效合成方法，所述方法执行以下步骤：步骤1：解码单元，对媒体文件进行解码；步骤2：分离单元，从解码生成的媒体文件数据包中分离视频数据和音效数据；步骤3：音效编码单元，对所述音效数据按特定格式进行编码生成音效文件；步骤4：音效合成单元，对生成的音效文件进行合成，生成合成后的音效。
13.进一步的，所述分离单元根据所述媒体文件数据包中的识别符区分视频数据和音效数据；所述分离单元还包括缓冲器，用于缓存所述音效数据。
14.进一步的，所述音效合成单元，对生成的音效文件进行合成，生成合成后的音效得方法执行以下步骤：获取初始音效；识别所述初始音效中的节奏点，根据所述节奏点在所述初始音效中标注音效区域；获取与所述音效区域对应的音效，将所述音效中的音效合成到所述初始音效中的音效区域，得到合成音效。
15.进一步的，所述识别所述初始音效中的节奏点的方法，包括：鉴定所述初始音效的节拍属性，得到所述初始音效的节拍点；分析所述初始音效的频谱，得到所述初始音效的频谱中的特征点；将所述初始音效的节拍点和所述初始音效频谱中的特征点匹配，获取所述初始音效的节奏点。
16.与现有技术相比，本发明实现的有益效果：其能够通过原始视频进行解码和分离，得到音效文件，再对得到的音效文件进行合成，实现了音效合成的自动化和智能化。具有效率高和合成效果好的优点。
附图说明
17.以下结合附图和具体实施方式来进一步详细说明本发明：
18.图1为本发明实施例公开的视频音效合成系统的系统结构示意图；
19.图2为本发明实施例公开的视频音效合成方法的方法流程示意图。
具体实施方式
20.以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
21.须知，本说明书所附图式所绘示的结构、比例、大小等，均仅配置用于配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非配置用于限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非配置用于限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
22.实施例1
23.如图1所示，一种视频音效合成系统，所述系统包括：解码单元，对媒体文件进行解码；分离单元，用于从解码生成的媒体文件数据包中分离视频数据和音效数据；音效编码单元，对所述音效数据按特定格式进行编码生成音效文件；音效合成单元，配置用于对生成的音效文件进行合成，生成合成后的音效。
24.采用上述技术方案，音效就是指由声音所制造的效果，是指为增进一场面之真实感、气氛或戏剧讯息，而加于声带上的杂音或声音。所谓的声音则包括了乐音和效果音。包括数字音效、环境音效、mp3音效(普通音效、专业音效)。
25.音效或声效(sound effects或audio effects)是人工制造或加强的声音，用来增强对电影、电子游戏、音乐或其他媒体的艺术或其他内容的声音处理。
26.在电影和电视制作中，一个音效是录制和展示的一个声音，用于不通过对话或音乐来给出特定的剧情或创意。这个术语经常用来指代用于录制的处理过程，而不用指代该录音本身。在专业影视制作中，对话、音乐和音效录制的分离是很严重的，必须理解在这个上下文中，录制下来的对话和音乐是从来不作为音效，而应用在它们上的处理过程常常是音效。
27.实施例2
28.在上一实施例的基础上，所述分离单元根据所述媒体文件数据包中的识别符区分视频数据和音效数据；所述分离单元还包括缓冲器，用于缓存所述音效数据。
29.实施例3
30.在上一实施例的基础上，所述音效合成单元，对生成的音效文件进行合成，生成合成后的音效得方法执行以下步骤：获取初始音效；识别所述初始音效中的节奏点，根据所述节奏点在所述初始音效中标注音效区域；获取与所述音效区域对应的音效，将所述音效中的音效合成到所述初始音效中的音效区域，得到合成音效。
31.具体的，主要是指通过数字音效处理器对声音进行处理，使声音听起来带有不同的空间特性，比如大厅、歌剧院、影院、溶洞、体育场等。环境音效主要是通过对声音进行环境过滤、环境移位、环境反射、环境过渡等处理，使听音者感到仿佛置身于不同环境中。这种音效处理在计算机声卡上应用非常普遍，使用组合音响方面应用也逐渐多起来。环境音效也有其缺点，由于对声音处理时难免会损失部分声音信息，并且能模拟出的效果和真实环境还有一定差距，因此有人会感到声音比较“虚假”。
32.实施例4
33.在上一实施例的基础上，所述识别所述初始音效中的节奏点的方法，包括：鉴定所述初始音效的节拍属性，得到所述初始音效的节拍点；分析所述初始音效的频谱，得到所述初始音效的频谱中的特征点；将所述初始音效的节拍点和所述初始音效频谱中的特征点匹配，获取所述初始音效的节奏点。
34.实施例5
35.在上一实施例的基础上，所述根据所述节奏点在所述初始音效中标注音效区域的方法包括：将所述初始音效放置到第一音轨中；在所述第一音轨中识别所述初始音效中的节奏点，生成与所述第一音轨对应的第二音轨，并在所述第二音轨中标注所述节奏点对应的音效区域；所述将所述音效中的音效合成到所述初始音效中的音效区域，得到所述合成音效，包括：从所述音效中提取待添加音效，将所述待添加音效放置到所述音效区域中；合
成所述第一音轨和第二音轨，得到所述合成音效。
36.实施例6
37.在上一实施例的基础上，所述音效编码单元可按用户自定义的采样率、声道设置、编码格式和比特率对所述音效数据进行编码。
38.实施例7
39.如图2所示，一种视频音效合成方法，所述方法执行以下步骤：步骤1：解码单元，对媒体文件进行解码；步骤2：分离单元，从解码生成的媒体文件数据包中分离视频数据和音效数据；步骤3：音效编码单元，对所述音效数据按特定格式进行编码生成音效文件；步骤4：音效合成单元，对生成的音效文件进行合成，生成合成后的音效。
40.具体的，以往的分析合成型声音合成方法主要用于声音的压缩编码。在这样的应用中，上述分离不佳不是很大的问题。即，如果在不对参数加以变形的条件下重新合成声音，则能得到与原来的声音接近的声音。在典型的线性预测编码(lpc＝linear prediction coding)中，对于声源，假设都是波谱相同的白色噪声或脉冲列。另外，对于声道，假定分子仅为常数项的全极型的传递函数。实际上声源的波谱不是相同的。另外，声道的传递函数由于声道的复杂的凹凸形状及向鼻腔的分支的影响，不成为全极型。因此，在lpc分析合成系统中，存在由模型的不匹配而引起的一定的音质劣化。典型的，已知成为鼻塞或蜂鸣音那样的合成声音的情况。
41.实施例8
42.在上一实施例的基础上，所述分离单元根据所述媒体文件数据包中的识别符区分视频数据和音效数据；所述分离单元还包括缓冲器，用于缓存所述音效数据。
43.实施例9
44.在上一实施例的基础上，所述音效合成单元，对生成的音效文件进行合成，生成合成后的音效得方法执行以下步骤：获取初始音效；识别所述初始音效中的节奏点，根据所述节奏点在所述初始音效中标注音效区域；获取与所述音效区域对应的音效，将所述音效中的音效合成到所述初始音效中的音效区域，得到合成音效。
45.实施例10
46.在上一实施例的基础上，所述识别所述初始音效中的节奏点的方法，包括：鉴定所述初始音效的节拍属性，得到所述初始音效的节拍点；分析所述初始音效的频谱，得到所述初始音效的频谱中的特征点；将所述初始音效的节拍点和所述初始音效频谱中的特征点匹配，获取所述初始音效的节奏点。
47.所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储单元、处理单元的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
48.本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的单元、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件单元、方法步骤对应的程序可以置于随机存储单元(ram)、内存、只读存储单元(rom)、电可编程rom、电可擦除可编程rom、寄存单元、硬盘、可移动磁盘、cd～rom、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决
于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
49.术语“第一”、“第二”等是配置用于区别类似的对象，而不是配置用于描述或表示特定的顺序或先后次序。
50.术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者单元/单元不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者单元/单元所固有的要素。
51.至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
52.以上所述，仅为本发明的较佳实施例而已，并非配置用于限定本发明的保护范围。
53.上述实施例仅例示性说明本发明的原理及其功效，而非配置用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。