一种基于标识信息的增强现实互动直播系统及方法与流程

1.本发明涉及虚拟现实领域。应用于直播客户端和处理端，本发明具体涉及一种基于标识信息的增强现实互动直播系统及方法。


背景技术：

2.直播过程中，允许观众通过发送弹幕，来操纵直播画面中的部分内容，例如在直播画面中创建虚拟角色,简单的操纵这些虚拟角色等，以增加互动性和体验性。另外，在有些直播中，还可支持融合基础的增强现实内容，如虎牙、斗鱼等直播平台以及淘宝的带货直播中使用了这类技术。


技术实现要素：

3.本发明的目的是提供一种基于标识信息的增强现实互动直播系统，其通过以真实场景画面作为基础，建立ar特效且与特定的用户输入相对应，增加了用户在观看直播时的参与感且优化了直播的图像显示方式，使直播的显示内容更灵活。
4.本发明中的一种基于标识信息的增强现实互动直播方法。其通过以真实场景画面作为基础，建立ar特效且与特定的用户输入相对应，优化了直播的图像显示方式，使直播的显示内容更灵活。
5.本发明的第一个方面，提供了基于标识信息的增强现实互动直播系统，包括：
6.直播平台服务器，其配置为能够推送直播画面。直播画面中包括能够实时采集的现实场景画面。
7.用户终端，其配置为能够接收直播平台服务器的直播画面，且能够在本地的直播界面上显示直播画面。用户终端能够在直播界面上输入当前标识信息且直播平台服务器能够读取到用户终端发送的当前标识信息。当前标识信息指由基于标识信息的增强现实互动直播系统预先标定、且能被服务器取得或识别的用户在直播过程中主动发起的特定交互信息。
8.客户端，其配置为能够根据当前标识信息触发相应的ar虚拟画面。合成ar虚拟画面与现实场景画面。将合成后的直播画面上传到直播平台服务器。
9.直播平台服务器向用户终端推送合成后的直播画面。
10.本发明基于标识信息的增强现实互动直播系统的一种优选的实施方式中，用户终端还配置为，直播平台服务器能够读取到用户终端的id信息及其发送的当前标识信息。
11.客户端，还配置为根据当前标识信息触发相应的ar虚拟画面和用户终端id信息。合成ar虚拟画面与现实场景画面。
12.客户端中包括弹幕模块。
13.弹幕模块，其配置为与直播平台服务器交互，从直播平台服务器实时抓取用户终端上传的当前标识信息和用户终端id信息。弹幕模块将当前标识信息和用户终端id信息发送到客户端。
14.客户端还配置为，从弹幕模块接收当前标识信息和用户终端id信息。
15.本发明基于标识信息的增强现实互动直播系统的另一种优选的实施方式中，弹幕模块通过wobsocket为与直播平台服务器交互，从直播平台服务器实时抓取用户终端上传的当前标识信息和用户终端id信息。
16.本发明基于标识信息的增强现实互动直播系统的另一种优选的实施方式中，客户端还配置为，建立设定标识信息和ar虚拟事件的对应关系。当前标识信息包括在设定标识信息中。
17.本发明基于标识信息的增强现实互动直播系统的另一种优选的实施方式中，客户端还配置为，根据当前标识信息查询设定标识信息和ar虚拟事件的对应关系，获取所对应的 ar虚拟事件。根据现实场景画面和ar虚拟事件合成具有现实场景的ar虚拟画面。
18.本发明基于标识信息的增强现实互动直播系统的另一种优选的实施方式中，还包括：通过合流的方式合成ar虚拟画面与现实场景画面。
19.本发明基于标识信息的增强现实互动直播系统的另一种优选的实施方式中，设定标识信息包括：弹幕信息和礼物信息。弹幕信息中包括文字信息和符号信息。
20.本发明的第二个方面，提供.一种基于标识信息的增强现实互动直播方法，包括：
21.直播平台服务器推送直播画面。直播画面中包括能够实时采集的现实场景画面。
22.用户终端接收直播平台服务器的直播画面，且能够在本地的直播界面上显示直播画面。用户终端能够在直播界面上输入当前标识信息且直播平台服务器能够读取到用户终端的id信息及其发送的当前标识信息。当前标识信息指由基于标识信息的增强现实互动直播系统预先标定、且能被服务器取得或识别的用户在直播过程中主动发起的特定交互信息。
23.客户端根据当前标识信息触发相应的ar虚拟画面。合成ar虚拟画面与现实场景画面。将合成后的直播画面上传到直播平台服务器。
24.直播平台服务器向用户终端推送合成后的直播画面。
25.本发明基于标识信息的增强现实互动直播方法的另一种优选的实施方式中，用户终端还配置为，直播平台服务器能够读取到用户终端的id信息及其发送的当前标识信息。
26.客户端，还配置为根据当前标识信息触发相应的ar虚拟画面和用户终端id信息。合成ar虚拟画面与现实场景画面。
27.客户端包括弹幕模块。
28.弹幕模块与直播平台服务器交互，从直播平台服务器实时抓取用户终端上传的当前标识信息和用户终端id信息。弹幕模块将当前标识信息和用户终端id信息发送到客户端。客户端还配置为，从弹幕模块接收当前标识信息和用户终端id信息。
29.本发明基于标识信息的增强现实互动直播方法的另一种优选的实施方式中，客户端还配置为，建立设定标识信息和ar虚拟事件的对应关系。当前标识信息包括在设定标识信息中。
30.客户端还配置为，根据当前标识信息查询设定标识信息和ar虚拟事件的对应关系，获取所对应的ar虚拟事件。根据现实场景画面和ar虚拟事件合成具有现实场景的ar 虚拟画面。
31.下文将以明确易懂的方式，结合附图对基于标识信息的增强现实互动直播系统和
方法的特性、技术特征、优点及其实现方式予以进一步说明。
附图说明
32.图1是用于说明在本发明一种实施方式中，基于标识信息的增强现实互动直播系统的系统示意图。
33.图2是用于说明在本发明另一种实施方式中，基于标识信息的增强现实互动直播系统的系统示意图。
34.图3是用于说明在本发明再一种实施方式中，基于标识信息的增强现实互动直播系统的系统示意图。
35.图4是用于说明在本发明再一种实施方式中，基于标识信息的增强现实互动直播系统的系统示意图。
具体实施方式
36.为了对发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式，在各图中相同的标号表示结构相同或结构相似但功能相同的部件。
37.在本文中，“示意性”表示“充当实例、例子或说明”，不应将在本文中被描述为“示意性”的任何图示、实施方式解释为一种更优选的或更具优点的技术方案。为使图面简洁，各图中只示意性地表示出了与本示例性实施例相关的部分，它们并不代表其作为产品的实际结构及真实比例。
38.本发明的第一个方面，如图1所示，提供了基于标识信息的增强现实互动直播系统，包括：
39.本发明中的基于标识信息的增强现实互动直播系统根据现场物理环境进行采集和三维重建。根据真实环境的物理位置信息设计一套复杂的ar内容的呈现方式。使用 wobsocket和直播平台弹幕模块31进行交互，在web端的直播间实时抓取弹幕内容，礼物及用户id。在客户端中提前配置好固定弹幕内容所触发的对应ar虚拟内容。最终实现用户发送特定弹幕，有对应的ar虚拟内容被触发，出现在真实场景中，从而提升用户在观看此类直播的互动性，真实感和体验感。
40.直播平台服务器10，其配置为能够推送直播画面。直播画面中包括能够实时采集的现实场景画面。
41.用户终端20，其配置为能够接收直播平台服务器的直播画面，且能够在本地的直播界面上显示直播画面。用户终端能够在直播界面上输入当前标识信息且能够将所输入的当前标识信息上传至直播平台服务器10。直播平台服务器10能够读取到用户终端发送的当前标识信息。当前标识信息指由所述基于标识信息的增强现实互动直播系统预先标定、且能被服务器取得或识别的用户在直播过程中主动发起的特定交互信息(比如特定内容留言、弹幕、特定的礼物、特定的交互如点赞等)。
42.客户端30，其其配置为能够根据当前标识信息触发相应的ar虚拟画面。合成ar虚拟画面与现实场景画面。将合成后的直播画面上传到直播平台服务器10。
43.直播平台服务器10向用户终端推送合成后的直播画面。
44.如图2所示，本发明基于标识信息的增强现实互动直播系统的一种优选的实施方
式中，用户终端20还配置为能够将所输入的当前标识信息所对应和用户终端id信息上传至直播平台服务器10。直播平台服务器能够读取到用户终端的id信息及其发送的当前标识信息。
45.客户端30还配置为根据当前标识信息触发相应的ar虚拟画面和用户终端id信息。合成ar虚拟画面与现实场景画面。从而用户终端能够通过直播界面看到用户所发的弹幕信息所产生的ar效果，增加了消息的辨识度、信息度，同时，增加了显示的多样性。
46.客户端30中包括弹幕模块31。弹幕模块31其配置为与直播平台服务器10交互，从直播平台服务器10实时抓取用户终端20上传的当前标识信息和用户终端id信息。弹幕模块31将当前标识信息和用户终端id信息发送到客户端30。
47.客户端30还配置为，从弹幕模块31接收当前标识信息和用户终端id信息。
48.本发明基于标识信息的增强现实互动直播系统的另一种优选的实施方式中，包括：
49.弹幕模块31通过wobsocket为与直播平台服务器10交互，从直播平台服务器10实时抓取用户终端20上传的当前标识信息和用户终端id信息。
50.本发明基于标识信息的增强现实互动直播系统的另一种优选的实施方式中，客户端30 还配置为，建立设定标识信息和ar虚拟事件的对应关系。当前标识信息包括在设定标识信息中。ar虚拟事件包括但不限于，特效动画、动作动画、生成虚拟人物、生成虚拟物体等事件。
51.本发明基于标识信息的增强现实互动直播系统的另一种优选的实施方式中，客户端30 还配置为，根据当前标识信息查询设定标识信息和ar虚拟事件的对应关系，获取所对应的ar虚拟事件。根据现实场景画面和ar虚拟事件合成具有现实场景的ar虚拟画面。
52.本发明基于标识信息的增强现实互动直播系统的另一种优选的实施方式中，还包括：通过合流的方式合成ar虚拟画面与现实场景画面。例如，通过软件例如unity及插件可以完成上述合流图像的场景渲染。
53.本发明基于标识信息的增强现实互动直播系统的另一种优选的实施方式中，当前标识信息包括：弹幕信息和礼物信息。弹幕信息中包括文字信息和符号信息。
54.本发明的第二个方面，如1、3所示，提供了一种基于标识信息的增强现实互动直播方法，该方法能够通过本发明中的基于标识信息的增强现实互动直播系统实现。基于标识信息的增强现实互动直播方法包括：
55.步骤s101，推送直播画面。
56.本步骤中，直播平台服务器10能够推送直播画面。直播画面中包括能够实时采集的现实场景画面。
57.步骤s102，用户终端输入当前标识信息。
58.本步骤中，用户终端20能够接收直播平台服务器10的直播画面，且能够在本地的直播界面上显示直播画面。用户终端20能够在直播界面上输入当前标识信息且能够将所输入的当前标识信息上传至直播平台服务器10。且直播平台服务器能够读取到用户终端的id 信息及其发送的当前标识信息。当前标识信息指由所述基于标识信息的增强现实互动直播系统预先标定、且能被服务器取得或识别的用户在直播过程中主动发起的特定交互信息 (比如特定内容留言、弹幕、特定的礼物、特定的交互如点赞等)。
59.步骤s103，合成画面。
60.本步骤中，客户端30能够根据当前标识信息触发相应的ar虚拟画面。合成ar虚拟画面与现实场景画面。将合成后的直播画面上传到直播平台服务器10。
61.步骤s104，推送合成画面。
62.本步骤中，直播平台服务器10根据合成后的直播画面向用户终端20推送。
63.如图4所示，例如用户在直播间输入“创建角色”的弹幕后，系统检测到此弹幕为特定触发条件，便会将弹幕信息和用户的id名称传输至客户端。客户端会依据预制的ar虚拟画面对应当前标识信息对应关系生成一个ar虚拟人物，头顶显示着该用户的id，出现在 ar场景。再经视频合流后推送至直播平台服务器，最终实时的呈现在观看者的设备上。用户可以看到专属自己的ar虚拟角色，出现在真实的物理环境中。当用户继续发送其他特定弹幕，例如“移动”，则依旧会被读取并将指令发送至客户端，用户创建的这个ar虚拟人物便开始按照指令移动起来。
64.本发明基于标识信息的增强现实互动直播方法的另一种优选的实施方式中，用户终端 20还配置为直播平台服务器能够读取到用户终端的id信息及其发送的当前标识信息。
65.客户端，还配置为根据当前标识信息触发相应的ar虚拟画面和用户终端id信息。合成ar虚拟画面与现实场景画面。从而用户终端能够通过直播界面看到用户所发的弹幕信息所产生的ar效果，增加了消息的辨识度、信息度，同时，增加了显示的多样性。
66.客户端30中包括弹幕模块31。弹幕模块31与直播平台服务器10交互，从直播平台服务器10实时抓取用户终端20上传的当前标识信息和用户终端id信息。弹幕模块31将当前标识信息和用户终端id信息发送到客户端30。客户端30还配置为，从弹幕模块31 接收当前标识信息和用户终端id信息。
67.本发明基于标识信息的增强现实互动直播方法的另一种优选的实施方式中，客户端还配置为，建立设定标识信息和ar虚拟事件的对应关系。当前标识信息包括在设定标识信息中。
68.客户端还配置为，根据当前标识信息查询设定标识信息和ar虚拟事件的对应关系，获取所对应的ar虚拟事件。根据现实场景画面和ar虚拟事件合成具有现实场景的ar 虚拟画面。
69.本发明中的基于标识信息的增强现实互动直播系统和方法的有益效果在于：对真实世界进行一次尺度准确的场景复原。真实场景的照片及对应的点云信息和位置信息将都会被部署于服务器，供客户端调用。
70.并基于真实场景进行ar内容及体验的制作。将真实环境的视频与对应的ar内容进行合流，编码传输至直播平台服务器端。使用wobsocket和弹幕模块31进行交互，在web 端的直播间实时爬取弹幕内容，礼物及用户id。配置固定弹幕内容所触发的对应ar虚拟内容，当系统读取到特定内容及格式的弹幕信息后，触发相应的ar虚拟内容结果。
71.应当理解，虽然本说明书是按照各个实施方式中描述的，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
72.上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。