一种基于虚拟现实的音乐直播系统和方法与流程

1.本发明涉及虚拟现实技术在数字音乐领域的应用，具体涉及一种基于虚拟现实的音乐直播系统和方法。


背景技术：

2.线上音乐会的直播，本身就是为了解决很多用户无法去线下体验音乐会的问题，所以通过线上的观看方式，主要是通过电视，电脑等二维平面计算机终端。但此解决方案本身无法很好把现场的临场感传递给观众。另外，音乐会现场的视觉效果部分的制作，本身也会受场地环境，空间大小，硬件&软件技术和经费限制，其发展很受限制，并且不一定会给观众带来很好视听沉浸感。


技术实现要素：

3.本发明的目的是提供一种基于虚拟现实的音乐直播系统和方法，在线上搭建虚拟现实的多人在线空间给用户沉浸式的音乐和视觉体验。
4.为了达到上述目的，本发明一方面提供一种基于虚拟现实的音乐直播系统，包括：
5.虚拟现实交互场景模块，用以创建多人在线的虚拟现实场景，所述场景接收表演者输出的音频信息，在场景中向在线观众提供音频信息的播放及与音频信息相关联的场景特效；
6.音乐数字化解析编辑模块，用以解析表演者输出的音频信息，获取解析结果，所述解析结果包括波频、节拍、采样率、声道；
7.场景特效数字化编辑模块，用以调取场景中的动态特效，根据音乐解析结果与动态特效相关联，调整场景特效中动态元素的变化效果，并模拟场景中的 3d音效。
8.进一步的，所述虚拟现实交互场景模块通过在场景中架设一台或多台虚拟摄像机，将虚拟摄像机中获取的内容以流媒体形式发送到不同的视频播放客户端。
9.进一步的，所述虚拟现实交互场景模块以数据流形式将交互内容发送到不同的vr头显客户端。
10.进一步的，还包括美术数字化编辑处理模块，所述音乐数字化解析编辑模块将解析结果发送到美术数字化编辑处理模块，美术数字化编辑处理模块根据解析结果生成波频图，所述波频图显示当前播放音乐的时间位置信息和波频。
11.进一步的，所述场景特效数字化编辑模块调取预设的场景动态特效，通过信息化处理将每一帧特效和所述波频图上对应时间位置的波频相关联，以控制动态特效的变化和速率。
12.进一步的，所述音乐数字化解析编辑模块可根据解析结果对音频信息进行二次的数字化编辑，添加预设的编辑效果，所述预设的编辑效果包括波频，节拍，采样，声道。
13.进一步的，还包括美术数字化编辑模块，所述美术数字化编辑模块基于对不同的音频解析结果自动适配不同的美术素材内容并对美术素材内容进行二次编辑，所述美术素
材内容包括粒子特效、自发动态光、rgb、饱和度。
14.另一方面，本发明还提供一种基于虚拟现实的音乐直播方法，包括：
15.创建多人在线的虚拟现实场景，所述场景接收表演者输出的音频信息，在场景中向在线观众提供音频信息的播放及与音频信息相关联的场景特效；
16.解析表演者输出的音频信息，获取解析结果，所述解析结果包括波频、节拍、采样率、声道；
17.调取场景中的动态特效，根据音乐解析结果与动态特效相关联，调整场景特效中动态元素的变化效果，并模拟场景中的3d音效。
18.进一步的，本方法还包括：
19.在场景中架设一台或多台虚拟摄像机，将虚拟摄像机中获取的内容以流媒体形式发送到不同的视频播放客户端；
20.以数据流形式将虚拟现实场景的交互内容发送到不同的vr头显客户端。
21.进一步的，在解析音频信息的过程中，还包括：
22.根据解析结果生成波频图，所述波频图显示当前播放音乐的时间位置信息和波频；
23.调取预设的场景动态特效，通过信息化处理将每一帧特效和所述波频图上对应时间位置的波频相关联，以控制动态特效的变化和速率。
24.进一步的，在音乐数字化解析过程中，还包括：
25.根据解析结果对音频信息进行二次的数字化编辑，添加预设的编辑效果，所述预设的编辑效果包括波频，节拍，采样，声道。
26.进一步的，在音乐数字化解析过程中，还包括：
27.基于对不同的音频解析结果自动适配不同的美术素材内容并对美术素材内容进行二次编辑，所述美术素材内容包括粒子特效、自发动态光、rgb、饱和度。
28.本发明提供一种基于虚拟现实的音乐直播系统和方法，通过线上搭建的多人在线虚拟现实空间向观众提供沉浸式的音乐和视觉体验，当用户和表演家进入虚拟空间后，表演家在前端输入的音乐信息会被边解析处理成数字化单元信息，并且发送到后台的美术数字化和特效编辑模块进行不同资源与资源之间的合成和同步，再把合成同步后的指令信息从后台服务器反馈到前端呈现虚拟直播的效果，用户可通过vr设备进入虚拟场景参与互动直播，也可通过手机、ipad 等设备进行观看。
附图说明
29.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
30.图1是本发明实施例的一种基于虚拟现实的音乐直播系统的系统架构图。
31.图2是本发明一个实施例的一种基于虚拟现实的音乐直播方法的方法流程图。
32.图3是本发明实施例生成的数字音乐波频示意图。
具体实施方式
33.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
34.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
35.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
36.本发明的目的是在于解决现有音乐会直播平台的视听方面的沉浸感问题，提供一套基于虚拟现实的音乐直播系统和方法，支持表演者和用户在同一个虚拟空间内进行视听交互，集合音乐和视觉的沉浸式体验，用户可在vr设备上参与互动，也可通过手机，pad，电脑等终端设备观看。
37.图1是本发明实施例的一种基于虚拟现实的音乐直播系统的系统架构图。如图1所示，本发明一种基于虚拟现实的音乐直播系统包括：虚拟现实交互场景模块1，音乐数字化解析编辑模块2和场景特效数字化编辑模块3。
38.虚拟现实交互场景模块1用以创建多人在线的虚拟现实场景，所述场景接收表演者输出的音频信息，在场景中向在线观众提供音频信息的播放及与音频信息相关联的场景特效。
39.其中，虚拟现实交互场景模块2在支持多人在线的服务器系统上搭载虚拟空间，并提供表演者和观众的入场接口。表演者可在虚拟场景内的舞台位置进行虚拟音乐会的表演，观众可通过vr设备进入场景内与现场进行交互式体验，也可通过手机或pad等终端设备接收虚拟现实交互场景模块发布的流媒体直播。
40.其中，观众可以在虚拟场景的任何位置接送到此视觉传达的效果，并且在不同的位置获得的视觉效果会因为环境的变化而变化。另一方面，在虚拟场景中架设虚拟摄像机将虚拟摄像机中的内容以视频流的形式实时传输至服务端，由服务端进行分发到不同的硬件终端。
41.当表演者输出音频信息时，通过音乐数字化解析编辑模块2解析音频信息，将解析后波频、每分钟节拍、采样率、声道等信息发送到场景特效数字化编辑模块3，根据音乐解析结果与动态特效相关联，调整场景特效中动态元素的变化效果，并模拟场景中的3d音效。
42.如图3所示，音乐数字化解析编辑模块2根据音乐的波频数据生成一张用多条竖线表示频率高低的图片，将当前音乐播放的时间位置信息，实时显示在波频图上，调节每分钟节拍(bpm)控制场景中动态元素的变化速率。
43.场景特效数字化编辑模块3对及解析后的数字化信息进行处理，调取虚拟空间场景内预设的场景特效，再通过信息单元化处理，对每一帧和每一个波率和节拍产生联动关系，并从视觉呈现的方式表现。表演者也可通过场景特效数字化编辑模块进行现场的特效的更改和同步。
44.例如，架设场景中动态特效a的变化速率为speeda，解析出音乐bpm150，则求出此首音乐每隔n＝60
÷
150＝0.4秒为一个拍子时间，即将speeda＝0.4s，即动态元素a每隔0.4秒播放一次，当调整音乐bpm为120时，此首音乐每隔60
ꢀ÷
120＝0.5秒为一拍，此时speeda＝0.5s，即动态特a每隔0.5秒播放一次。
45.在本发明的实施例中，音乐数字化解析编辑模块2和场景特效数字化编辑模块3通过系统后台和前端的内部音频数据通信接口连接。场景特效数字化编辑模块3接收到音乐数字化解析编辑模块发送来计算机程序可读取和编辑的单元化的信息，可以对所述的单元化信息进行二次的数字化编辑，并且可添加预设的编辑效果，所述预设的编辑效果是基于对波频，节拍，采样等，声道等单元化的信息的数字化编辑。
46.在本发明的另一个实施例中，本系统还包括美术数字化编辑处理模块，用以为场景特效数字化编辑模块提供编辑模板。美术数字化编辑处理模块采用人工智能的编辑方法搭建一个应用的模型，设定好相关的对应机制，此模块包括单元信息接收器，素材的导入编辑合成器，以及指令输出。所述模块通过接收音乐数字化解析编辑模块传导每个单个解析后的数字单元信息，针对虚拟场景内的导入的美术素材进行静态的效果合成后，在进行动态的流程同步，并且以计算机程序指令的形式部署在后台服务器中。基于上述描述的智能化编辑方案，对不同音频解析的内容，都可以套用已有的编辑模块内容，或者自动适配不同的美术素材内容。
47.由此，场景特效数字化编辑模块3可根据上述的美术数字化编辑模块的基础上，对美术素材的进一步的数字化编辑。场景特效数字化编辑模块包含粒子特效编辑器，自发动态光编辑器，rgb编辑器，饱和度编辑器器等。所述模块的编辑功能需要在选定美术素材的基础上，同样需要接收到音乐数字化解析后的每个单个的单元信息，结合美术素材本身数字化特征，在表演者根据艺术风格去选定前述的不同的编辑器，对美术素材进行添加数字化效果的赋能，同时发送计算机程序指令至系统的前端同音乐部分进行同步。
48.图2是本发明一个实施例的一种基于虚拟现实的音乐直播方法的方法流程图。如图2所示，本发明的一种基于虚拟现实的音乐直播方法包括以下步骤。
49.s100，创建多人在线的虚拟现实场景，所述场景接收表演者输出的音频信息，在场景中向在线观众提供音频信息的播放及与音频信息相关联的场景特效；
50.s200，解析表演者输出的音频信息，获取解析结果，所述解析结果包括波频、节拍、采样率、声道。
51.s300，调取场景中的动态特效，根据音乐解析结果与动态特效相关联，调整场景特效中动态元素的变化效果，并模拟场景中的3d音效。
52.具体的，场景中可架设一台或多台虚拟摄像机，将虚拟摄像机中获取的内容以流媒体形式发送到不同的视频播放客户端，也可以数据流形式将虚拟现实场景的交互内容发送到不同的vr头显客户端。
53.其中，在解析音频信息的过程中，首先根据解析结果生成波频图，所述波频图显示当前播放音乐的时间位置信息和波频，然后调取预设的场景动态特效，通过信息化处理将每一帧特效和所述波频图上对应时间位置的波频相关联，以控制动态特效的变化和速率。最后根据解析结果对音频信息进行二次的数字化编辑，添加预设的编辑效果，所述预设的编辑效果包括波频，节拍，采样，声道。
54.在另一实施例中，基于对不同的音频解析结果自动适配不同的美术素材内容并对美术素材内容进行二次编辑，所述美术素材内容包括粒子特效、自发动态光、rgb、饱和度。
55.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。