一种基于虚拟现实的音乐直播方法和系统与流程

1.本发明涉及虚拟现实技术在数字音乐领域的应用，具体涉及一种基于虚拟现实的音乐共享系统和方法。


背景技术：

2.线上音乐会的直播，本身就是为了解决很多用户无法去线下体验音乐会的问题，所以通过线上的观看方式，主要是通过电视，电脑等二维平面计算机终端。但此解决方案本身无法很好把现场的临场感传递给观众。另外，音乐会现场的视觉效果部分的制作，本身也会受场地环境，空间大小，硬件&软件技术和经费限制，其发展很受限制，并且不一定会给观众带来很好视听沉浸感。


技术实现要素：

3.本发明的目的是提供一种基于虚拟现实的音乐共享系统和方法，提供一种虚拟现实的多人在线空间，解决现有音乐会直播平台的视频同步播放问题。
4.为了达到上述目的，本发明一方面提供一种基于虚拟现实的音乐共享方法，包括以下步骤：
5.步骤s1，创建虚拟空间，将虚拟空间中的信息流数据同步至第一处理模块，将虚拟空间中的视频流数据同步至第二处理模块；
6.步骤s2，第一处理模块将信息流数据进行序列化处理，并将序列化后的数据发送至使用户端的vr头显设备；
7.步骤s3，第二处理模块将视频流数据进行虚拟化处理，通过点对点方式将虚拟化的视频流数据发送至用户端的二维显示设备。
8.进一步的，在步骤s1中，还包括以下步骤：
9.s101，选择需要创建的虚拟场景及其特效，同时选择相匹配的数字音乐文件，将选取的数据进行保存；
10.s102，根据保存的数据将所选择的文件加载进虚拟空间中，对数字音乐文件进行信息化处理，使虚拟场景和特效与数字音乐文件的波率和节拍产生联动关系，并以视觉的方式呈现于虚拟空间中；
11.s103，实时更新虚拟空间并同步生成信息流数据和视频流数据。
12.进一步的，所述虚拟场景、特效和数字音乐文件均具有唯一的编码，所述编码用以调用相对应的文件以加载虚拟空间。
13.进一步的，在步骤s2中，还包括以下步骤：
14.s201，遍历各节点用户端与第一处理模块的网络延时，将网络延时最低的节点设为中继端；
15.s202，遍历各节点用户端与中继端的网络延时，所述用户端接收网络延时最低的中继端所转发的信息流数据；
16.s203，重复上述步骤直至所有用户端均接收到信息流数据。
17.进一步的，在步骤s3中，还包括以下步骤：
18.s301，将视频流数据虚拟化分割成大小相等的n个数据块，所述数据块中均包含有数据的索引信息；
19.s302，当各节点的用户端接收到数据块时，将该数据块分发到其他节点以供下载；
20.s303，当各节点的用户端根据数据块的索引信息，接收其他节点分发的数据块；
21.s304，重复上述步骤直至所有用户端均接收到完整的视频流数据。
22.另一方面，本发明还提供一种基于虚拟现实的音乐共享系统，包括：
23.虚拟场景服务器，所述虚拟场景服务器用以创建虚拟空间，将虚拟空间中的信息流数据同步至第一处理模块，将虚拟空间中的视频流数据同步至第二处理模块；
24.第一处理模块，所述第一处理模块用以将信息流数据进行序列化处理，并将序列化后的数据发送至使用户的vr头显终端；
25.第二处理模块，所述第二处理模块将视频流数据进行虚拟化处理，通过点对点方式将虚拟化的视频流数据发送至用户的二维显示终端。
26.进一步的，本系统还包括：
27.主播端，所述主播端用以选择需要创建的虚拟场景及其特效，同时选择相匹配的数字音乐文件，将选取的数据进行保存；
28.虚拟场景服务器接收主播端保存的数据，并将所选择的文件加载进虚拟空间中，并对数字音乐文件进行信息化处理，使虚拟场景和特效与数字音乐文件的波率和节拍产生联动关系，并以视觉的方式呈现于虚拟空间中。
29.进一步的，所述虚拟场景、特效和数字音乐文件均具有唯一的编码，主播端上传编码至虚拟场景服务器，调用相对应的文件以加载虚拟空间。
30.进一步的，本系统还包括第一网络分发模块，其中：
31.所述第一网络分发模块遍历各节点用户端与第一处理模块的网络延时，将网络延时最低的节点设为中继端；
32.所述第一网络分发模块遍历各节点用户端与中继端的网络延时，所述用户端接收网络延时最低的中继端所转发的信息流数据。
33.进一步的，本系统还包括第二网络分发模块，其中：
34.第二网络分发模块将视频流数据虚拟化分割成大小相等的n个数据块，所述数据块中均包含有数据的索引信息；
35.当各节点的用户端接收到数据块时，将该数据块分发到其他节点以供下载；
36.当各节点的用户端根据数据块的索引信息，接收其他节点分发的数据块。
37.本发明提供的一种基于虚拟现实的音乐共享系统和方法，当主播端和用户端登陆虚拟场景服务器后，主播端输入的音乐内容信息会被边解析处理成数字化单元信息，在虚拟场景中进行不同资源与资源之间的合成和同步，再把合成同步后的指令信息从虚拟场景服务器反馈到前端呈现虚拟直播的效果，由于虚拟现实中大量的数据对网络带宽要求较高，本发明在vr场景中进行数据同步时采用分布式分发和点对点技术共享的方式实现数据的快速传输，而无需占用大量的带宽。
附图说明
38.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
39.图1是本发明实施例的基于虚拟现实的音乐共享方法的流程图。
40.图2是本发明实施例的基于虚拟现实的音乐共享系统的架构图。
41.图3是本发明实施例的信息流数据的数据传输示意图。
42.图4是本发明实施例的视频流数据的数据结构图。
具体实施方式
43.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
44.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
45.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
46.本发明的目的在于提升现有音乐会直播平台的视听方面的沉浸感问题。提供一种虚拟现实的多人在线的空间，当用户通过带上虚拟现实头盔后进入此平台后(支持表演者和用户都在同一个虚拟空间的平台内)，可以通过系统提供沉浸式的音乐和视觉体验，此体验不仅仅是沉浸式的视听体验，更是一种把两种艺术类型结合的感官享受。同时支持将虚拟音乐会内容以直播的形式推流出去。用户可在vr头显，手机，pad，电脑等显示终端进行观看。可以达到真实舞台效果无法提供的冲击。
47.图1是本发明实施例的基于虚拟现实的音乐共享方法的流程图。如图1所示，本发明的一种基于虚拟现实的音乐共享方法包括以下步骤：
48.步骤s1，在系统中选择需要创建虚拟场景及元素，每个虚拟场景和元素都有一个唯一的编码，此编码与后台储存场景数据一一对应。
49.具体的，主播端登陆虚拟场景服务器后选择虚拟场景及元素，通过可编辑的方式进行美术数字化编辑，包括粒子特效编辑、自发动态光编辑、rgb编辑、饱和度编辑等。虚拟场景和元素结合数字化的效果，通过计算机程序指令至用户端与音乐部分进行同步。
50.步骤s2:将选取的数据在前端保存，保存数据为场景的唯一编码。
51.步骤s3，在系统中选择需要的数字音乐文件，每个数字音乐文件都有一个唯一都编码。
52.步骤s4：将选取都数据在前端中保存，保存数据为场景的唯一编码。
53.例如，选取场景数据为“cyberpunk land of illusion”，该场景的唯一编码为“lyiowtnew98mjvabe3epiu4odhgfyo-a”，则记录此编码，选取数字音乐文件数据为“prinsi”，该数字音乐文件的唯一编码为“su0fenhhv6udu1b3n7by2wuzpj8f5"。
54.步骤s5:在s4步骤中选择完成并确定后，开始创建一个新的虚拟空间。
55.步骤s6:将s2和s4中保存的数据发送至服务器，并向服务器请求保存数据中的编码对应的场景文件，特效文件，数字音乐文件。
56.步骤s7:将s6中请求到的数据加载进s5创建的虚拟空间中。
57.步骤s8:解析加载进虚拟场景的数字音乐文件，获取数字音乐文件的波频，采样率，声道，bpm信息
58.例如：“prisni”——采样率：44100hz；声道：立体声；bpm：128，
59.步骤s9:将s8中解析的数字化信息与场景中元素进行绑定。
60.具体的，对音乐数字化的信息进行处理后，调取虚拟空间场景内预设的场景元素，再通过信息单元化处理，对每一帧和每一个波率和节拍产生联动关系，并从视觉呈现的方式表现。同时，也支持表演者通过场景特效数字化编辑模块进行现场的特效的更改和同步。
61.步骤s11:将场景中的视频流信息发送至服务器第二处理模块，服务器第二处理模块主要负责视频流数据的推流，拉流与转发的请求。
62.步骤s12，将虚拟现实场景中的数据变化实时同步至服务器第一处理模块，服务器第一处理模块主要处理场景中数据的序列化，反序列化以及获取和转发。
63.步骤s13，服务器响应用户终端的拉流请求，将视频流数据推送至用户终端。
64.步骤s14：服务器将场景数据信息进行序列化处理，并将序列化后的数据发送至使用vr头显的用户终端。
65.其中在s13中采用在虚拟现实中高效的软件分发系统和点对点技术共享视频流信息。
66.图3是本发明实施例的信息流数据的数据传输示意图。如图3所示，视频流数据被虚拟分成大小相等的n个块，并且每个块中都有数据的索引信息，用户a在获取到数据块1时，将数据块a分发出去供其他人下载，同时会根据文件中包含的索引信息下载其他的数据块。由于把数据分为了较小的数据块，并且在下载数据块的同时将自己的数据块进行上载，充分利用了用户的上载带宽，减少用户使用时对带宽的要求，加快加载速度。
67.其中在s14中在虚拟现实中使用分布式分发的形式解决不同区域之间用户的延时问题。
68.图4是本发明实施例的视频流数据的数据结构图。如图4所示，假设用户a和用户b在区域area01，与主播之间的网络延时都是300ms，则用户a和用户b都从主播上传的数据中获取序列化后的场景数据信息，并且在获取数据同时将数据进行上传，作为一个中继点。此时用户a变为中继点a，用户b变为中继点b。位于area02的用户c加入之后会遍历主播和所有中继点的网络延时，假设位于area02的用户c与主播的延时为1000ms，与用户a的网络延时为300ms，与用户b的网络延时为200ms。则用户c从位于area01中的用户b处获取数据的总延时为500ms，是用户c获取数据的最低延迟方式，所以用户c将从用户b处获取数据，并且将数据进行转发，变为中继点c。
69.图2是本发明实施例的基于虚拟现实的音乐共享系统的架构图。如图2所示，本发明的一种基于虚拟现实的音乐共享系统，包括：
70.虚拟场景服务器1，所述虚拟场景服务器1用以创建虚拟空间，将虚拟空间中的信息流数据同步至第一处理模块，将虚拟空间中的视频流数据同步至第二处理模块；
71.第一处理模块1a，所述第一处理模块1a用以将信息流数据进行序列化处理，并将序列化后的数据发送至使用户端3的vr头显终端；
72.第二处理模块1b，所述第二处理模块1a将视频流数据进行虚拟化处理，通过点对点方式将虚拟化的视频流数据发送至用户端3的二维显示终端。
73.主播端4，所述主播端4用以选择需要创建的虚拟场景及其特效，同时选择相匹配的数字音乐文件，将选取的数据进行保存。
74.具体的，虚拟场景服务器接收主播端保存的数据，并将所选择的文件加载进虚拟空间中，并对数字音乐文件进行信息化处理，使虚拟场景和特效与数字音乐文件的波率和节拍产生联动关系，并以视觉的方式呈现于虚拟空间中。
75.其中，虚拟场景、特效和数字音乐文件均具有唯一的编码，主播端上传编码至虚拟场景服务器，调用相对应的文件以加载虚拟空间。
76.本系统还包括第一网络分发模块1c和第二网络发布模块1d。
77.第一网络分发模块1c遍历各节点用户端3与第一处理模块1a的网络延时，将网络延时最低的节点设为中继端；第一网络分发模块1d遍历各节点用户端3与中继端的网络延时，所述用户端3接收网络延时最低的中继端所转发的信息流数据。
78.本系统还包括第二网络分发模块1d，其中：
79.第二网络分发模块1d将视频流数据虚拟化分割成大小相等的n个数据块，所述数据块中均包含有数据的索引信息；当各节点的用户端3接收到数据块时，将该数据块分发到其他节点以供下载；当各节点的用户端3根据数据块的索引信息，接收其他节点分发的数据块。
80.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。