一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

直播方法与装置与流程

2022-05-26 14:17:19 来源:中国专利 TAG:


1.本发明涉及直播领域,特别涉及一种直播方法与装置、电子设备及存储介质。


背景技术:

2.传统的视频直播方式一般为在线语音连麦虚拟房间,主播在麦上聊天或邀请观众上麦互动,同时把整个房间直播出去,让其他观众可以进入房间观看,常常应用在相亲交友、k歌语聊、游戏互动、赛事直播等场景中。但是这种方式需要主播出镜,玩法单一,隐私性较差,极大地限制了直播行业的发展。
3.因此,如何提供一种直播方案,通过新的直播玩法,增加主播直播的隐私性,成为亟待解决的技术问题。


技术实现要素:

4.针对现有技术存在的技术问题,本技术实施例提供一种直播方法与装置、电子设备及存储介质。
5.第一方面,本技术实施例提供了一种直播方法,应用于第一云端服务器,包括:在第一用户创建直播间后,实时获取所述第一用户的语音和/或图像,将所述第一用户的语音和/或图像发送给第一直播间场景程序,以使所述第一直播间场景程序利用所述第一用户的语音驱动直播间场景中所述第一用户的数字人的表情进行变化和/或通过分析所述第一用户的图像获得所述第一用户的实时表情,并将所述实时表情映射到所述第一用户的数字人上和/或通过分析所述第一用户的图像获得所述第一用户的实时肢体动作,并将所述实时肢体动作映射到所述第一用户的数字人上,其中,所述第一直播间场景程序运行在所述第一云端服务器上;渲染出所述第一直播间场景程序运行过程中产生的直播间场景画面,并将所述直播间场景画面推流给第一用户终端。
6.第二方面,本技术实施例还提供了一种直播方法,应用于第二云端服务器,包括:实时获取第三用户的语音和/或图像、第一云端服务器同步的直播间场景、除所述第三用户外的其它用户的语音和/或图像,以及所述其它用户的数字人,将所述第三用户的语音和/或图像、直播间场景、其它用户的语音和/或图像,以及所述其它用户的数字人发送给第二直播间场景程序,并将所述第三用户的语音和/或图像同步给所述第一云端服务器,以使所述第二直播间场景程序加载所述直播间场景和所述其它用户的数字人,并利用所述第三用户的语音和其它用户的语音驱动所述直播间场景中所有用户的数字人的表情进行变化和/或通过分析所述第三用户的图像和其它用户的图像获得所述所有用户的实时表情,并将所述所有用户的实时表情映射到所述直播间场景中对应用户的数字人上和/或通过分析所述第三用户的图像和其它用户的图像获得所述所有用户的实时肢体动作,并将所述所有用户的实时肢体动作映射到所述直播间场景中对应用户的数字人上,其中,所述第三用户为进入所述直播间场景且可自由控制视角移动的用户,所述直播间场景由第一直播
间场景程序生成或加载,所述第一直播间场景程序运行在所述第一云端服务器上,所述其它用户包括创建所述直播间场景对应直播间的第一用户,所述所有用户包括所述第三用户和其它用户,所述第二直播间场景程序运行在所述第二云端服务器上;渲染出所述第二直播间场景程序运行过程中产生的直播间场景画面,并将所述直播间场景画面推流给第三用户终端。
7.第三方面,本技术实施例还提供了一种直播方法,应用于第三云端服务器,包括:获取所有用户的语音和/或图像、所述所有用户的数字人,以及第一云端服务器同步的直播间场景,将所述直播间场景、所有用户的语音和/或图像,以及所有用户的数字人发送给第三直播间场景程序,以使所述第三直播间场景程序加载所述直播间场景和所有用户的数字人,并利用所述所有用户的语音驱动所述直播间场景中所述所有用户的数字人的表情进行变化和/或通过分析所述所有用户的图像获得所述所有用户的实时表情,并将所述所有用户的实时表情映射到所述直播间场景中对应用户的数字人上和/或通过分析所述所有用户的图像获得所述所有用户的实时肢体动作,并将所述所有用户的实时肢体动作映射到所述直播间场景中对应用户的数字人上,其中,所述直播间场景由第一直播间场景程序生成或加载,所述第一直播间场景程序运行在所述第一云端服务器上,所述所有用户为进入所述直播间场景的用户,所述第三直播间场景程序运行在所述第三云端服务器上;渲染出所述第三直播间场景程序运行过程中产生的直播间场景画面,并将所述直播间场景画面推流给第四用户终端。
8.第四方面,本技术实施例还提供了一种直播装置,应用于第一云端服务器,包括:第一发送单元,用于在第一用户创建直播间后,实时获取所述第一用户的语音和/或图像,将所述第一用户的语音和/或图像发送给第一直播间场景程序,以使所述第一直播间场景程序利用所述第一用户的语音驱动直播间场景中所述第一用户的数字人的表情进行变化和/或通过分析所述第一用户的图像获得所述第一用户的实时表情,并将所述实时表情映射到所述第一用户的数字人上和/或通过分析所述第一用户的图像获得所述第一用户的实时肢体动作,并将所述实时肢体动作映射到所述第一用户的数字人上,其中,所述第一直播间场景程序运行在所述第一云端服务器上;第一推流单元,用于渲染出所述第一直播间场景程序运行过程中产生的直播间场景画面,并将所述直播间场景画面推流给第一用户终端。
9.第五方面,本技术实施例还提供了一种直播装置,应用于第二云端服务器,包括:第二发送单元,用于实时获取第三用户的语音和/或图像、第一云端服务器同步的直播间场景、除所述第三用户外的其它用户的语音和/或图像,以及所述其它用户的数字人,将所述第三用户的语音和/或图像、直播间场景、其它用户的语音和/或图像,以及所述其它用户的数字人发送给第二直播间场景程序,并将所述第三用户的语音和/或图像同步给所述第一云端服务器,以使所述第二直播间场景程序加载所述直播间场景和所述其它用户的数字人,并利用所述第三用户的语音和其它用户的语音驱动所述直播间场景中所有用户的数字人的表情进行变化和/或通过分析所述第三用户的图像和其它用户的图像获得所述所有用户的实时表情,并将所述所有用户的实时表情映射到所述直播间场景中对应用户的数字人上和/或通过分析所述第三用户的图像和其它用户的图像获得所述所有用户的实时肢体动作,并将所述所有用户的实时肢体动作映射到所述直播间场景中对应用户的数字
人上,其中,所述第三用户为进入所述直播间场景且可自由控制视角移动的用户,所述直播间场景由第一直播间场景程序生成或加载,所述第一直播间场景程序运行在所述第一云端服务器上,所述其它用户包括创建所述直播间场景对应直播间的第一用户,所述所有用户包括所述第三用户和其它用户,所述第二直播间场景程序运行在所述第二云端服务器上;第二推流单元,用于渲染出所述第二直播间场景程序运行过程中产生的直播间场景画面,并将所述直播间场景画面推流给第三用户终端。
10.第六方面,本技术实施例还提供了一种直播装置,应用于第三云端服务器,包括:第三发送单元,用于获取所有用户的语音和/或图像、所述所有用户的数字人,以及第一云端服务器同步的直播间场景,将所述直播间场景、所有用户的语音和/或图像,以及所有用户的数字人发送给第三直播间场景程序,以使所述第三直播间场景程序加载所述直播间场景和所有用户的数字人,并利用所述所有用户的语音驱动所述直播间场景中所述所有用户的数字人的表情进行变化和/或通过分析所述所有用户的图像获得所述所有用户的实时表情,并将所述所有用户的实时表情映射到所述直播间场景中对应用户的数字人上和/或通过分析所述所有用户的图像获得所述所有用户的实时肢体动作,并将所述所有用户的实时肢体动作映射到所述直播间场景中对应用户的数字人上,其中,所述直播间场景由第一直播间场景程序生成或加载,所述第一直播间场景程序运行在所述第一云端服务器上,所述所有用户为进入所述直播间场景的用户,所述第三直播间场景程序运行在所述第三云端服务器上;第三推流单元,用于渲染出所述第三直播间场景程序运行过程中产生的直播间场景画面,并将所述直播间场景画面推流给第四用户终端。
11.第七方面,本技术实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如第一方面至第三方面所述的直播方法的步骤。
12.第八方面,本技术实施例还提供了一种电子设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如第一方面至第三方面所述的直播方法的步骤。
13.综上,本技术实施例提供的直播方法与装置、电子设备及存储介质,对于创建直播间的第一用户来说,通过实时获取所述第一用户的语音和/或图像,将所述第一用户的语音和/或图像发送给第一直播间场景程序,以使所述第一直播间场景程序利用所述第一用户的语音驱动直播间场景中所述第一用户的数字人的表情进行变化和/或通过分析所述第一用户的图像获得所述第一用户的实时表情,并将所述实时表情映射到所述第一用户的数字人上和/或通过分析所述第一用户的图像获得所述第一用户的实时肢体动作,并将所述实时肢体动作映射到所述第一用户的数字人上;渲染出所述第一直播间场景程序运行过程中产生的直播间场景画面,并将所述直播间场景画面推流给第一用户终端,使得所述第一用户对外直播的画面是直播间场景中与第一用户的表情和/或肢体动作同步的第一用户的数字人的画面,而非第一用户本身画面,即本方案提供了一种新的直播玩法,颠覆了传统的展现方式,能够增加主播直播的隐私性。
附图说明
14.图1为本技术实施例提供的一种直播方法一实施例的流程示意图;图2为当直播间类型是直播间时的直播流程图;图3为当直播间类型是语聊房时的直播流程图;图4为当直播间类型是派对房时的直播流程图;图5为本技术实施例提供的一种直播方法另一实施例的流程示意图;图6为本技术实施例提供的一种直播方法又一实施例的流程示意图;图7为本技术实施例提供的一种直播装置一实施例的结构示意图;图8为本技术实施例提供的一种直播装置另一实施例的结构示意图;图9为本技术实施例提供的一种直播装置又一实施例的结构示意图;图10为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
15.为使本技术实施例的目的、技术方案和优点更加清楚,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,应当理解,本技术中附图仅起到说明和描述的目的,并不用于限定本技术的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本技术中使用的流程图示出了根据本技术的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本技术内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
16.另外,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围,而是仅仅表示本技术的选定实施例。基于本技术的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本技术保护的范围。
17.需要说明的是,本技术实施例中将会用到术语“包括”,用于指出其后所声明的特征的存在,但并不排除增加其它的特征。
18.参照图1所示,为本技术实施例提供的一种直播方法的流程示意图,应用于第一云端服务器,具体包括:s10、在第一用户创建直播间后,实时获取所述第一用户的语音和/或图像,将所述第一用户的语音和/或图像发送给第一直播间场景程序,以使所述第一直播间场景程序利用所述第一用户的语音驱动直播间场景中所述第一用户的数字人的表情进行变化和/或通过分析所述第一用户的图像获得所述第一用户的实时表情,并将所述实时表情映射到所述第一用户的数字人上和/或通过分析所述第一用户的图像获得所述第一用户的实时肢体动作,并将所述实时肢体动作映射到所述第一用户的数字人上,其中,所述第一直播间场景程序运行在所述第一云端服务器上;本实施例中,可以理解的是,在第一用户创建直播间时,可以选择直播间类型以及直播间场景,直播间类型可以包括:直播间、语聊房(可以理解成多人版的直播间,类似圆桌派)、派对房、蹦迪、看板娘、一站到底、k歌合唱和全场连麦等各种直播社交类型,直播间场
景指直播所处的场景,每一个直播间类型都对应至少一个直播间场景,比如直播间的直播间场景可以包括五人静谧海滩篝火旁、五人梦幻风格庭院、六人别墅等。在第一用户选择直播间类型以及直播间场景后,第一云端服务器可以将第一用户的选择指令发送给其上运行的第一直播间场景程序,第一直播间场景程序接收到选择指令后,可以基于选择指令创建对应类型的直播间,并在第一用户进入直播间时加载对应的直播间场景以及第一用户的数字人,使第一用户的数字人进入直播间场景。之后,在第一用户直播的过程中,第一用户使用的第一用户终端的麦克风会实时获取第一用户的语音和/或摄像头会实时获取第一用户的图像,并通过第一云端服务器将第一用户的语音和/或图像发送给第一直播间场景程序。第一直播间场景程序接收到第一用户的语音和/或图像后,会利用第一用户的语音驱动直播间场景中第一用户的数字人(即虚拟形象)的表情进行变化和/或通过分析第一用户的图像获得第一用户的实时表情,并将实时表情映射到第一用户的数字人上和/或通过分析第一用户的图像获得第一用户的实时肢体动作,并将实时肢体动作映射到第一用户的数字人上。
19.s11、渲染出所述第一直播间场景程序运行过程中产生的直播间场景画面,并将所述直播间场景画面推流给第一用户终端。
20.本实施例中,可以理解的是,第一云端服务器会将第一直播间场景程序运行过程中产生的直播间场景画面渲染出来,并推流给第一用户终端进行显示。当然,如果有观众进入直播间,直播间场景画面也需要推流给观众使用的终端,具体可以通过第一云端服务器或与第一云端服务器同步数据的其它云端服务器推流。
21.另外,需要说明的是,除了画面直播外,第一用户可以使用语音rtc(real-time communications,实时通信)服务接入本地语音频道,上麦用户可以使用语音rtc服务加入该语音频道,此种方式下第一用户和上麦用户的麦克风语音在同一个语音频道内,每个用户均可以听到除自己外的其它用户的语音,其中,上麦用户是指具有语音聊天权限的观众。而对于普通观众来说,其不接入直播间语音频道,第一云端服务器可以获取语音频道内的各路语音,将各路语音和第一直播间场景程序运行过程中产生的直播间场景画面合成后推流给普通观众使用的终端。
22.比如,当直播间类型是直播间时,直播流程可以如图2所示。图2中,主播终端(即第一用户终端)采集主播(即第一用户)的操作指令、麦克风语音以及摄像头视频图像帧,并将操作指令、麦克风语音以及摄像头视频图像帧发送给实例a(即第一云端服务器),实例a将操作指令、麦克风语音以及摄像头视频图像帧发送给实例a上运行的第一直播间场景程序,第一直播间场景程序接收到操作指令、麦克风语音以及摄像头视频图像帧后,根据操作指令执行相应的操作,利用麦克风语音驱动直播间场景中主播的数字人的表情进行变化,通过分析摄像头视频图像帧获得主播的实时表情和实时肢体动作,并将实时表情和实时肢体动作映射到主播的数字人上。而在第一直播间场景程序运行过程中,实例a会将第一直播间场景程序运行过程中产生的直播间场景画面渲染出来,将直播间场景画面推流给主播终端,并将直播间场景画面和麦克风语音合成为一路音视频流,并将音视频流推送给普通观众终端,或者将音视频流推送给cdn(content delivery network,内容分发网络)服务器,由cdn服务器将音视频流分发给普通观众终端。当然,如果主播进行pk玩法或传统视频连麦,则实例a可以将直播间场景画面和其它直播平台服务器发送的主播画面/连麦用户画面
进行合成,将合成视频、主播的麦克风语音和其它直播平台服务器发送的主播语音/连麦用户语音合成为一路音视频流,将音视频流发送给其它直播平台服务器,由其它直播平台服务器通过cdn服务器分发给普通观众终端,或者将音视频流直接通过cdn服务器分发给普通观众终端。可以理解的是,直播间只有一个主播角色,类似单机游戏,主播可以控制角色进行互动直播,在主播的数字人与镜头预设距离(比如1m)内触发人物视角跟随镜头,具体地,主播通过主播终端可以执行的操作包括:主播视角移动(不是数字人移动)、角色位置移动、动作/表情呈现、道具召唤和换装等,其中,在进行主播视角移动时,可以通过在主播终端呈现的直播间场景画面上进行单指/鼠标左键拖拽操作来调整主播视角方向,双指拖拽/ad操作来控制主播视角平移,双指放大缩小/ws操作来控制主播视角前进、后退,这些操作对应的操作指令通过第一云端服务器发送给第一直播间场景程序,第一直播间场景程序接收到操作指令后可以根据操作指令对主播的视角进行移动;在进行角色位置移动时,可以在主播终端呈现的直播间场景画面上通过对预设触发控件的触发操作(如单击、双击、长按、滑动、拖拽等)将数字人在近景和远景两个位置切换,这两个位置需方便数字人跳舞或展现全身服饰,这些操作对应的操作指令通过第一云端服务器发送给第一直播间场景程序,第一直播间场景程序接收到操作指令后可以根据操作指令将数字人瞬移到对应位置;在进行动作/表情呈现时,可以通过相应的操作触发数字人做出对应的动作和表情,其中,动作包括比心、跳舞等,表情包括大笑、妩媚等;在进行道具召唤时,可以通过相应的操作召唤各种互动道具,比如钞票枪、天上掉落玩偶、召唤萌宠、烟花、加特林等;在进行换装时,可以通过对预设触发控件的触发操作对数字人进行换装,该操作对应的操作指令通过第一云端服务器发送给第一直播间场景程序,第一直播间场景程序接收到操作指令后可以根据操作指令进行换装,同时也可以生成转换特效。除了上述操作之外,普通观众可以通过特定礼物打赏的方式触发相应道具,例如点赞可触发金币掉落,打赏盲盒则掉落真的盲盒,拆开随机出现各种礼物,例如萌宠、炸弹、服饰等。
23.再比如,当直播间类型是语聊房时,直播流程可以如图3所示。图3中,房主终端(即第一用户终端)采集房主(即第一用户)的操作指令、麦克风语音以及摄像头视频图像帧,并将操作指令、麦克风语音以及摄像头视频图像帧发送给实例b(即第一云端服务器),实例b将操作指令、麦克风语音以及摄像头视频图像帧发送给实例b上运行的第一直播间场景程序,第一直播间场景程序接收到操作指令、麦克风语音以及摄像头视频图像帧后,根据操作指令执行相应的操作,利用麦克风语音驱动语聊房场景中房主的数字人的表情进行变化,通过分析摄像头视频图像帧获得房主的实时表情和实时肢体动作,并将实时表情和实时肢体动作映射到房主的数字人上。而在第一直播间场景程序运行过程中,实例b会将第一直播间场景程序运行过程中产生的语聊房场景画面渲染出来,推送给房主终端,而如果普通观众进入语聊房,实例b会将语聊房场景画面和麦克风语音合成为一路音视频流,并将音视频流直接或通过cdn服务器推送给普通观众终端,或者将音视频流推送给其它直播平台服务器,由其它直播平台服务器将音视频流合成后直接或通过cdn服务器推送给普通观众终端。而对于上麦用户来说,其与房主之间可以通过语音rtc服务进行语音通信,而非由实例b将各路语音推送至房主终端和上麦用户终端。需要说明的是,当直播间类型是语聊房时,房主通过房主终端执行的操作可以包括:房主视角移动、快捷视角切换、动作/表情呈现、道具召唤和换装等,其中,房主视角移动、动作/表情呈现和换装与主播通过主播终端可以执行的
相应操作一致,此处不再赘述;在进行快捷视角切换时,可以在房主终端呈现的语聊房场景画面上通过对预设触发控件的触发操作将视角切换为某个数字人的近景特写或场景内大全视角(该视角可看到进入语聊房场景的所有数字人),该操作对应的操作指令通过第一云端服务器发送给第一直播间场景程序,第一直播间场景程序接收到操作指令后可以根据操作指令进行相应视角的切换;在进行道具召唤时,可以针对某个数字人通过相应的操作召唤各种互动道具,比如向其施法、使其变身成小动物或者头上下雨等。
24.再比如,当直播间类型是派对房时,直播流程可以如图4所示。图4中,房主终端(即第一用户终端)采集房主(即第一用户)的操作指令、麦克风语音以及摄像头视频图像帧,并将操作指令、麦克风语音以及摄像头视频图像帧发送给实例e(即第一云端服务器),实例e将操作指令、麦克风语音以及摄像头视频图像帧发送给实例e上运行的第一直播间场景程序,第一直播间场景程序接收到操作指令、麦克风语音以及摄像头视频图像帧后,根据操作指令执行相应的操作,利用麦克风语音驱动派对房场景中房主的数字人的表情进行变化,通过分析摄像头视频图像帧获得房主的实时表情和实时肢体动作,并将实时表情和实时肢体动作映射到房主的数字人上。而在第一直播间场景程序运行过程中,实例e会将第一直播间场景程序运行过程中产生的派对房场景画面渲染出来,推送给房主终端,而如果普通观众进入派对房,实例e会将派对房场景画面和麦克风语音合成为一路音视频流,并将音视频流直接或通过cdn服务器推送给普通观众终端,或者将音视频流推送给其它直播平台服务器,由其它直播平台服务器将音视频流合成后直接或通过cdn服务器推送给普通观众终端。而对于上麦用户来说,其与房主之间可以通过语音rtc服务进行语音通信,而非由实例e将各路语音推送至房主终端和上麦用户终端。需要说明的是,当直播间类型是派对房时,房主通过房主终端执行的操作可以包括:数字人视角自由移动、动作/表情呈现、道具召唤和换装等,其中,动作/表情呈现和换装与主播通过主播终端可以执行的相应操作一致,道具召唤与语聊房房主通过房主终端可以执行的道具召唤操作一致,此处不再赘述;在进行数字人视角自由移动时,房主可以在房主终端呈现的派对房场景画面上通过操作虚拟摇杆控制其数字人的视角前进后退、左右平移,通过触屏、划屏控制其数字人的视角方向,这些操作对应的操作指令通过第一云端服务器发送给第一直播间场景程序,第一直播间场景程序接收到操作指令后可以根据该操作对应的操作指令控制房主数字人的视角进行相应移动,可以理解的是,派对房房主数字人的视角看不到自身,只能看到派对房场景中除自身外的其它景象,但是在具体实施时可以在派对房场景中设置多面镜子,通过镜子呈现房主数字人形象。
25.本技术实施例提供的直播方法,对于创建直播间的第一用户来说,通过实时获取所述第一用户的语音和/或图像,将所述第一用户的语音和/或图像发送给第一直播间场景程序,以使所述第一直播间场景程序利用所述第一用户的语音驱动直播间场景中所述第一用户的数字人的表情进行变化和/或通过分析所述第一用户的图像获得所述第一用户的实时表情,并将所述实时表情映射到所述第一用户的数字人上和/或通过分析所述第一用户的图像获得所述第一用户的实时肢体动作,并将所述实时肢体动作映射到所述第一用户的数字人上;渲染出所述第一直播间场景程序运行过程中产生的直播间场景画面,并将所述直播间场景画面推流给第一用户终端,使得所述第一用户对外直播的画面是直播间场景中与第一用户的表情和/或肢体动作同步的第一用户的数字人的画面,而非第一用户本身画
面,即本方案提供了一种新的直播玩法,颠覆了传统的展现方式,能够增加主播直播的隐私性。
26.在前述方法实施例的基础上,所述方法还可以包括:在所述第一用户进入直播间之前,接收所述第一用户终端发送的第一数字人创建指令,将所述第一数字人创建指令发送给数字人程序,以使所述数字人程序根据所述第一数字人创建指令创建所述第一用户的数字人,其中,所述数字人程序运行在所述第一云端服务器上;接收所述第一用户终端发送的第一数字人调整指令,将所述第一数字人调整指令发送给所述数字人程序,以使所述数字人程序根据所述第一数字人调整指令调整所述第一用户的数字人的形象,其中,所述第一数字人调整指令用于调整所述第一用户的数字人的整体、头部、发型、妆容和服装中的至少一项;渲染出所述数字人程序运行过程中产生的画面,并将所述数字人程序运行过程中产生的画面推流给所述第一用户终端。
27.本实施例中,可以理解的是,在第一用户进入直播间之前,需要判断其是否创建有数字人,如果未创建数字人,则需要创建数字人,具体实现时,第一用户可以通过第一用户终端向第一云端服务器发送第一数字人创建指令,第一云端服务器接收到第一数字人创建指令后,可以将第一数字人创建指令发送给其上运行的数字人程序,数字人程序接收到第一数字人创建指令后,可以根据第一数字人创建指令创建第一用户的数字人;而如果已创建数字人,则可以使用已创建的数字人。在第一用户创建完数字人之后,第一用户可以对其数字人的形象进行调整,具体实现时,第一用户可以通过第一用户终端向第一云端服务器发送第一数字人调整指令,第一云端服务器接收到第一数字人调整指令后,可以将第一数字人调整指令发送给数字人程序,数字人程序接收到第一数字人调整指令后,可以根据第一数字人调整指令调整第一用户的数字人的形象,其中,在调整第一用户的数字人的形象时具体可以调整第一用户的数字人的整体、头部、发型、妆容和服装中的至少一项。
28.对于整体调整,其下可设置二级菜单、三级菜单以及对应的调节项,其中,二级菜单可以包括:身体、上肢、下肢、头颈肩和躯干,二级菜单身体可不设置三级菜单,其对应的调节项可以包括高度和胖瘦;二级菜单上肢的三级菜单可以包括上肢整体、大臂、小臂和手掌,三级菜单上肢整体、大臂和小臂对应的调节项均可以包括长短和粗细,三级菜单手掌对应的调节项可以包括长短和大小;二级菜单下肢的三级菜单可以包括下肢整体、大腿、小腿和脚掌,三级菜单下肢整体、大腿和小腿对应的调节项均可以包括长短和粗细,三级菜单脚掌对应的调节项可以包括大小;二级菜单头颈肩的三级菜单可以包括头部、脖子和肩膀,三级菜单头部对应的调节项可以包括大小,三级菜单脖子对应的调节项可以包括长短和粗细,三级菜单肩膀对应的调节项可以包括粗细、宽窄和高低位置;二级菜单躯干的三级菜单可以包括胸部、乳房、腰部和胯部,三级菜单胸部对应的调节项可以包括长短、厚度、宽窄和位置,三级菜单乳房对应的调节项可以包括大小、外扩和角度,三级菜单腰部对应的调节项可以包括长短、厚度和宽窄,三级菜单胯部对应的调节项可以包括厚度和宽窄。
29.对于头部调整,其下可设置二级菜单、三级菜单以及对应的调节项来调整第一用户的数字人的眉毛、眼睛、鼻子、嘴巴、脸部和耳朵,具体设置方式可参考整体调整,此处不再赘述。
30.对于发型调整,其下可设置二级菜单、三级菜单以及对应的调节项来调整第一用户的数字人的发型,其中,二级菜单可以包括至少一种发型类型,比如短发、中长发、长发等;三级菜单可以包括对应发型类型的发型样式;调节项可以包括头发颜色、光泽度、饱和度、高光颜色和高光位置等。
31.对于妆容调整,其下可设置二级菜单、三级菜单以及对应的调节项来调整第一用户的数字人的妆容,其中,二级菜单可以包括妆容样式、眼影、眼线、睫毛、美瞳、眉毛、口红和修容,第一用户选择妆容样式后可调整其它二级菜单,且除修容包含三级菜单外,其它二级菜单均不包含三级菜单。二级菜单眼影对应的调节项可以包括眼影样式、颜色、饱和度和浓淡;二级菜单眼线对应的调节项可以包括眼线样式、颜色、饱和度和浓淡;二级菜单睫毛对应的调节项可以包括睫毛样式、长短和疏密;二级菜单美瞳对应的调节项可以包括美瞳样式、颜色和饱和度;二级菜单眉毛对应的调节项可以包括眉毛样式、颜色、饱和度和浓淡;二级菜单口红对应的调节项可以包括打底和叠涂,打底和叠涂均可以调整第一用户的数字人的嘴唇颜色、饱和度和水润雾化程度,在对第一用户的数字人的嘴唇进行口红打底后,可以进行口红叠涂;二级菜单修容的三级菜单可以包括皮肤、腮红、高光和胡须,三级菜单皮肤对应的调节项可以包括肤色、光泽度和老化程度,三级菜单腮红对应的调节项可以包括颜色、范围大小和饱和度,三级菜单高光对应的调节项可以包括颜色、饱和度和疏密,三级菜单胡须只在男性角色下出现,其对应的调节项可以包括颜色、饱和度和长短。
32.服装调整用于调整第一用户的数字人的服装,其下可预置多套服装供用户免费使用或购买。
33.而在第一用户创建数字人及调整创建的数字人形象的过程中,第一云端服务器可以将数字人程序运行产生的画面渲染出来,并推流给第一用户终端进行显示。在创建完、调整完数字人之后,可以对数字人的形象进行操作,比如可以在第一用户终端显示的画面上通过单指/左键上下滑动控制视角上下平移、单指/左键左右滑动控制人物旋转、双指聚拢开合/滚轮控制画面缩放等,这些操作对应的操作指令通过第一云端服务器发送给数字人程序,数字人程序接收到操作指令后可以根据操作指令对第一用户的数字人的形象进行操作。
34.本实施例中,在第一用户进入直播间时,第一直播间场景程序可以加载第一用户选择的直播间场景和数字人程序创建的第一用户的数字人,使第一用户的数字人进入直播间场景,其中,第一直播间场景程序和数字人程序可以是同一个程序的不同功能模块,也可以是不同的程序。
35.在前述方法实施例的基础上,若第二用户进入所述直播间,且所述第二用户为进入所述直播间场景且不可自由控制视角移动的用户;所述实时获取所述第一用户的语音和/或图像,将所述第一用户的语音和/或图像发送给第一直播间场景程序,还可以包括:实时获取所述第二用户的语音和/或图像,将所述第二用户的语音和/或图像发送给所述第一直播间场景程序,以使所述第一直播间场景程序利用所述第二用户的语音驱动所述直播间场景中所述第二用户的数字人的表情进行变化和/或通过分析所述第二用户的图像获得所述第二用户的实时表情,并将所述实时表情映射到所述第二用户的数字人上和/或通过分析所述第二用户的图像获得所述第二用户的实时肢体动作,并将所述实时肢
体动作映射到所述第二用户的数字人上;其中,所述将所述直播间场景画面推流给第一用户终端,还可以包括:将所述直播间场景画面推流给第二用户终端。
36.本实施例中,需要说明的是,第二用户进入直播间场景即第二用户的数字人进入直播间场景,在第二用户的数字人进入直播间场景后,第二用户可以通过语音、表情和肢体动作操控第二用户的数字人的表情、肢体动作进行变化,具体实现方式与第一用户通过语音、表情和肢体动作操控第一用户的数字人一致,此处不再赘述。在具体实施时,第二用户可以通过第二用户终端采集第二用户的实时语音和/图像通过第一云端服务器发送给第一直播间场景程序,以使第一直播间场景程序根据第二用户的实时语音和/图像操控直播间场景中第二用户的数字人的表情和/或肢体动作进行变化,其中,第二用户可以通过语音rtc服务加入第一用户所在的语音频道,通过语音rtc服务将第二用户的语音发送给第一云端服务器。除了通过语音、表情和肢体动作操控第二用户的数字人外,第二用户使用的第二用户终端还可以采集第二用户的操作指令,通过第一云端服务器将操作指令发送给第一直播间场景程序以使第一直播间场景程序根据操作指令执行相应的操作,具体地,第二用户通过第二用户终端可以执行的操作可根据需要设置,比如当直播间类型是语聊房时,参看图3,第二用户(即图3中进入场景的上麦用户)通过第二用户终端可以执行的操作可包括动作/表情呈现、道具召唤和换装等,可以理解的是,语聊房场景下第二用户终端显示的直播间场景画面与第一用户终端显示的直播间场景画面相同。
37.在前述方法实施例的基础上,所述方法还可以包括:在所述第二用户进入所述直播间场景之前,接收所述第二用户终端发送的第二数字人创建指令,将所述第二数字人创建指令发送给所述数字人程序,以使所述数字人程序根据所述第二数字人创建指令创建所述第二用户的数字人;接收所述第二用户终端发送的第二数字人调整指令,将所述第二数字人调整指令发送给所述数字人程序,以使所述数字人程序根据所述第二数字人调整指令调整所述第二用户的数字人的形象,其中,所述数字人调整指令用于调整所述第二用户的数字人的整体、头部、发型、妆容和服装中的至少一项;渲染出所述数字人程序运行过程中产生的画面,并将所述数字人程序运行过程中产生的画面推流给所述第二用户终端。
38.本实施例中,需要说明的是,在第二用户进入直播间场景之前,需要判断其是否创建有数字人,如果未创建数字人,则需要创建数字人,具体实现方案及创建数字人后的数字人调整方案与前述实施例中第一用户的数字人的创建方案、调整方案一致,此处不再赘述。在第二用户的数字人创建、调整后,第二用户可进入直播间场景(即第二用户的数字人进入直播间场景),在第二用户进入直播间场景时,第一直播间场景程序可以加载数字人程序创建的第二用户的数字人,使第二用户的数字人进入直播间场景。
39.在前述方法实施例的基础上,若第三用户进入所述直播间,且所述第三用户为进入所述直播间场景且可自由控制视角移动的用户;所述实时获取所述第一用户的语音和/或图像,将所述第一用户的语音和/或图像发送给第一直播间场景程序,还可以包括:获取所述第三用户的语音和/或第二云端服务器同步的所述第三用户的图像,将
所述第三用户的语音和/或图像发送给所述第一直播间场景程序,以使所述第一直播间场景程序利用所述第三用户的语音驱动所述直播间场景中所述第三用户的数字人的表情进行变化和/或通过分析所述第三用户的图像获得所述第三用户的实时表情,并将所述实时表情映射到所述第三用户的数字人上和/或通过分析所述第三用户的图像获得所述第三用户的实时肢体动作,并将所述实时肢体动作映射到所述第三用户的数字人上;以及将所述直播间场景、进入所述直播间场景的除所述第三用户外的其它用户的语音和/或图像,以及所述其它用户的数字人同步给所述第二云端服务器。
40.本实施例中,需要说明的是,第三用户可自由控制视角移动,因此第三用户使用的第三用户终端显示的直播间场景画面与第一用户终端显示的直播间场景画面视角可以不同,所以需要设置第二云端服务器来向第三用户终端推送直播间场景画面。第二云端服务器上运行有第二直播间场景程序(第二直播间场景程序与第一直播间场景程序相同),第二直播间场景程序与第一直播间场景程序之间会进行数据同步,同步的数据可以包括第一直播间场景程序加载的直播间场景、进入直播间场景的所有用户的数字人、进入直播间场景的所有用户的实时语音、进入直播间场景的用户的实时图像以及进入直播间场景的所有用户可通过对应的用户终端执行的操作对应的操作指令(该操作指令不包括第一用户通过第一用户终端执行的用于控制视角变化的操作对应的操作指令以及第三用户通过第三用户终端执行的用于控制视角移动的操作对应的操作指令)。具体实现时,第一直播间场景程序与第二直播间场景程序之间在进行直播间场景同步时,第一云端服务器可以将第一直播间场景程序加载的直播间场景通过第二云端服务器同步给第二直播间场景程序;第一直播间场景程序与第二直播间场景程序之间在进行数字人同步时,第一云端服务器可以将进入直播间场景的所有用户中除第三用户外的其它用户的数字人通过第二云端服务器同步给第二直播间场景程序,第二云端服务器可以将第三用户的数字人通过第一云端服务器同步给第一直播间场景程序;第一直播间场景程序与第二直播间场景程序之间在进行语音同步时,第一云端服务器和第二云端服务器可以通过语音rtc服务获取进入直播间场景的所有用户的语音,然后第一云端服务器可以将进入直播间场景的所有用户的语音发送给第一直播间场景程序,第二云端服务器可以将进入直播间场景的所有用户的语音发送给第二直播间场景程序;第一直播间场景程序与第二直播间场景程序之间在进行图像同步时,第一云端服务器可以将进入直播间场景的所有用户中除第三用户外的其它用户的实时图像通过第二云端服务器同步给第二直播间场景程序,第二云端服务器可以将第三用户的实时图像通过第一云端服务器同步给第一直播间场景程序;第一直播间场景程序与第二直播间场景程序之间在进行操作指令同步时,第一云端服务器可以将其接收到的操作指令通过第二云端服务器同步给第二直播间场景程序,第二云端服务器可以将其接收到的操作指令通过第一云端服务器同步给第一直播间场景程序。通过此方式可以实现第一直播间场景程序与第二直播间场景程序之间的数据同步,这样第一云端服务器渲染出的第一直播间场景程序运行过程中产生的直播间场景画面与第二云端服务器渲染出的第二直播间场景程序运行过程中产生的直播间场景画面的画面内容相同,视角可以不同,即实现第三用户拥有独立视角操控权。
41.比如当直播间类型是语聊房时,参看图3,第二直播间场景程序运行在实例c(即第二云端服务器)上,第一直播间场景程序与第二直播间场景程序之间在进行数据同步时,实
例b可以将直播间场景、第一用户、第二用户和第三用户(即图3中进入场景 自由视角的上麦用户,进入场景的上麦用户选择自由控制视角移动可成为进入场景 自由视角的上麦用户)的数字人、第一用户和第二用户的操作指令(不包括用于控制视角变化的操作对应的操作指令)以及第一用户和第二用户的实时图像通过实例c同步给第二直播间场景程序,实例c可以通过语音rtc服务获取第一用户、第二用户和第三用户的实时语音,将实时语音发送给第二直播间场景程序;实例c可以将第三用户的操作指令(不包括用于控制视角变化的操作对应的操作指令)以及实时图像通过实例b同步给第一直播间场景程序,实例b可以通过语音rtc服务获取第一用户、第二用户和第三用户的实时语音,通过此方式实现第一直播间场景程序和第二直播间场景程序之间的数据同步;而第一用户通过第一用户终端发送的用于控制视角变化的操作对应的操作指令通过实例b发送给第一直播间场景程序,以使第一直播间场景程序根据操作指令控制视角变化,第三用户通过第三用户终端发送的用于控制视角变化的操作对应的操作指令通过实例c发送给第二直播间场景程序,以使第二直播间场景程序根据操作指令控制视角变化,从而实现第一用户和第三用户对渲染画面视角的单独操控。需要说明的是,如果存在多个第三用户,则每个第三用户都对应一个实例c,则数据同步需要在实例b上运行的第一直播间场景程序和各个实例c上运行的第二直播间场景程序之间进行,此时各个第二直播间场景程序需要同步的数据可以通过实例b同步给第一直播间场景程序,各个第二直播间场景程序需要获取的数据可以从实例b获取,或者从各个实例c中指定一个实例c,将第一直播间场景程序和除指定的实例c外其它实例c上运行的第二直播间场景程序需要同步的数据通过指定的实例c同步给指定的实例c上运行的第二直播间场景程序,第一直播间场景程序和其它实例c上运行的第二直播间场景程序需要获取的数据可以通过指定的实例c获取。在数据同步后,实例b渲染出的第一直播间场景程序运行过程中产生的直播间场景画面与实例c渲染出的第二直播间场景程序运行过程中产生的直播间场景画面的画面内容相同,视角可以不同。第二用户可以在语聊的过程中选择自由控制视角移动后成为第三用户,也可以在进入场景时选择自由控制视角移动成为第三用户。如果第二用户在进入场景时选择自由控制视角移动成为第三用户,则第三用户的数字人可以由实例b上运行的数字人程序创建并同步给实例c上的第二直播间场景程序,或者第三用户的数字人可以由实例c上运行的数字人程序创建并同步给实例b上的第一直播间场景程序。
42.再比如当直播间类型是派对房时,参看图4,第一直播间场景程序运行在实例e(即第一云端服务器)上,第二直播间场景程序运行在实例f(即第二云端服务器)上,第一直播间场景程序与第二直播间场景程序之间在进行数据同步时,实例e可以将直播间场景、第一用户的数字人、第一用户的操作指令(不包括用于控制视角变化的操作对应的操作指令)以及第一用户的实时图像通过实例f同步给第二直播间场景程序,实例f可以通过语音rtc服务获取第一用户和第三用户(即图4中进入场景的上麦用户)的实时语音,将实时语音发送给第二直播间场景程序;实例f可以将第三用户的操作指令(不包括用于控制视角变化的操作对应的操作指令)以及实时图像通过实例e同步给第一直播间场景程序,实例e可以通过语音rtc服务获取第一用户和第三用户的实时语音,而第三用户的数字人可以通过实例f上运行的数字人程序创建,并通过实例e同步给第一直播间场景程序,或者通过实例e上运行的数字人程序创建,并通过实例f同步给第二直播间场景程序,通过此方式实现第一直播间
场景程序和第二直播间场景程序之间的数据同步;而第一用户通过第一用户终端发送的用于控制视角变化的操作对应的操作指令通过实例e发送给第一直播间场景程序,以使第一直播间场景程序根据操作指令控制视角变化,第三用户通过第三用户终端发送的用于控制视角变化的操作对应的操作指令通过实例f发送给第二直播间场景程序,以使第一第二直播间场景程序根据操作指令控制视角变化,从而实现第一用户和第三用户对渲染画面视角的单独操作单独操控。需要说明的是,如果存在多个第三用户,则每个第三用户都对应一个实例f,则数据同步需要在实例e上运行的第一直播间场景程序和各个实例f上运行的第二直播间场景程序之间进行,此时各个第二直播间场景程序需要同步的数据可以通过实例e同步给第一直播间场景程序,各个第二直播间场景程序需要获取的数据可以从实例e获取,或者从各个实例f中指定一个实例f,将第一直播间场景程序和除指定的实例f外其它实例f上运行的第二直播间场景程序需要同步的数据通过指定的实例f同步给指定的实例f上运行的第二直播间场景程序,第一直播间场景程序和其它实例f上运行的第二直播间场景程序需要获取的数据可以通过指定的实例f获取。在数据同步后,实例e渲染出的第一直播间场景程序运行过程中产生的直播间场景画面与实例f渲染出的第二直播间场景程序运行过程中产生的直播间场景画面的画面内容相同,视角可以不同。
43.需要说明的是,除了通过语音rtc服务实现第一直播间场景程序与第二直播间场景程序之间的语音同步之外,第一直播间场景程序与第二直播间场景程序之间进行语音同步也可以采用如下方案:第一云端服务器获取进入直播间场景的所有用户中除第三用户外的其它用户的实时语音,将实时语音通过第二云端服务器同步给第二直播间场景程序,第二云端服务器获取第三用户终端上传的第三用户的实时语音,将实时语音通过第一云端服务器同步给第一直播间场景程序。
44.在前述方法实施例的基础上,若第四用户进入所述直播间,且所述第四用户为未进入所述直播间场景且可自由控制视角移动的用户;所述方法,还可以包括:将所述直播间场景、进入所述直播间场景的所有用户的语音和/或图像,以及所述所有用户的数字人同步给第三云端服务器。
45.本实施例中,第四用户为进入直播间且可自由控制视角移动的观众,对于第四用户而言,其需要单独控制视角移动,则需要为其分配第三云端服务器用以向第四用户使用的第四用户终端推送第四用户需要的视角的画面。在具体实施时,第三云端服务器上会运行第三直播间场景程序(第三直播间场景程序与第一直播间场景程序相同),第三直播间场景程序和第一直播间场景程序/第二直播间场景程序之间会进行数据同步(同步数据可以包括直播间场景、进入直播间场景的所有用户的语音和图像,以及所有用户的数字人),在此基础上,第四用户若通过第三云端服务器向第三直播间场景程序发送用以控制视角移动的操作指令,则第三云端服务器渲染出的第三直播间场景程序运行过程中产生的直播间场景画面的画面内容与第一云端服务器渲染出的第一直播间场景程序运行过程中产生的直播间场景画面的画面内容相同,视角不同。
46.比如,当直播间类型是语聊房时,参看图3,第三直播间场景程序运行在实例d(即第三云端服务器)上,第一直播间场景程序或第二直播间场景程序需要将数据同步给第三直播间场景程序,以使第三直播间场景程序可以利用进入直播间场景的所有用户的语音和
图像驱动所有用户的数字人的表情、肢体动作进行变化,而第三云端服务器可以将第三直播间场景程序运行过程中产生的直播间场景画面渲染出来,并与所有用户的语音合成一路音视频流后推流给第四用户终端。而在这个过程中,第四用户(即图3中的自由视角的观众)通过第四用户终端可以向第三直播间场景程序发送用以控制视角移动的操作指令,以使第三直播间场景程序根据操作指令控制视角移动,从而使第四用户可自由控制视角移动。需要说明的是,第四用户也可以接入第一用户所在的语音频道,此时第三直播间场景程序可通过语音rtc服务获取进入直播场景的所有用户的语音,则第三云端服务器可以将第三直播间场景程序运行过程中产生的直播间场景画面渲染出来推流给第四用户终端,而不需要将所有用户的语音推流给第四用户终端。
47.再比如当直播间类型是派对房时,参看图4,第三直播间场景程序运行在实例g(即第三云端服务器)上,第四用户(即图4中的自由视角的观众)接入第一用户所在的语音频道,第三直播间场景程序可通过语音rtc服务获取进入直播场景的所有用户的语音,第一直播间场景程序或第二直播间场景程序需要将直播间场景、进入直播间场景的所有用户的图像,以及所有用户的数字人同步给第三直播间场景程序,以使第三直播间场景程序可以利用进入直播间场景的所有用户的语音和图像驱动所有用户的数字人的表情、肢体动作进行变化,而第三云端服务器可以将第三直播间场景程序运行过程中产生的直播间场景画面渲染出来推流给第四用户终端。而在这个过程中,第四用户通过第四用户终端可以向第三直播间场景程序发送用以控制视角移动的操作指令,以使第三直播间场景程序根据操作指令控制视角移动,从而使第四用户可自由控制视角移动。
48.在前述方法实施例的基础上,若第五用户进入所述直播间,且所述第五用户为未进入所述直播间场景且不可自由控制视角移动的用户;所述将所述直播间场景画面推流给第一用户终端,还可以包括:将所述直播间场景画面推流给第五用户终端,以及将进入所述直播间场景的所有用户的语音推流给所述第五用户终端。
49.本实施例中,第一云端服务器在向第五用户终端推流时,可以将直播间场景画面和进入直播间场景的所有用户的语音合成一路音视频流后推流给第五用户终端。
50.参照图5所示,为本技术实施例提供的一种直播方法的流程示意图,应用于第二云端服务器,具体包括:s50、实时获取第三用户的语音和/或图像、第一云端服务器同步的直播间场景、除所述第三用户外的其它用户的语音和/或图像,以及所述其它用户的数字人,将所述第三用户的语音和/或图像、直播间场景、其它用户的语音和/或图像,以及所述其它用户的数字人发送给第二直播间场景程序,并将所述第三用户的语音和/或图像同步给所述第一云端服务器,以使所述第二直播间场景程序加载所述直播间场景和所述其它用户的数字人,并利用所述第三用户的语音和其它用户的语音驱动所述直播间场景中所有用户的数字人的表情进行变化和/或通过分析所述第三用户的图像和其它用户的图像获得所述所有用户的实时表情,并将所述所有用户的实时表情映射到所述直播间场景中对应用户的数字人上和/或通过分析所述第三用户的图像和其它用户的图像获得所述所有用户的实时肢体动作,并将所述所有用户的实时肢体动作映射到所述直播间场景中对应用户的数字人上,其中,所述第三用户为进入所述直播间场景且可自由控制视角移动的用户,所述直播间场景由第一
直播间场景程序生成或加载,所述第一直播间场景程序运行在所述第一云端服务器上,所述其它用户包括创建所述直播间场景对应直播间的第一用户,所述所有用户包括所述第三用户和其它用户,所述第二直播间场景程序运行在所述第二云端服务器上;本实施例中,需要说明的是,所述其它用户也可以包括进入直播间场景且不可自由控制视角移动的第二用户和/或未进入直播间场景且可自由控制视角移动的第四用户,对于进入直播间场景的第三用户来说,其可自由控制视角移动,因此需要为其分配第二云端服务器,第二云端服务器上运行与第一直播间场景程序相同的第二直播间场景程序,第一直播间场景程序与第二直播间场景程序会进行数据同步(数据同步可包括直播间场景、数字人、语音、图像、操作指令,具体数据同步方式可参照前述实施例,此处不再赘述),数据同步后,第一直播间场景程序运行过程中产生的直播间场景画面与第二直播间场景程序运行过程中产生的直播间场景画面的画面内容相同。
51.s51、渲染出所述第二直播间场景程序运行过程中产生的直播间场景画面,并将所述直播间场景画面推流给第三用户终端。
52.本技术实施例提供的直播方法,通过实时获取第三用户的语音和/或图像、第一云端服务器同步的直播间场景、除所述第三用户外的其它用户的语音和/或图像,以及所述其它用户的数字人,将所述第三用户的语音和/或图像、直播间场景、其它用户的语音和/或图像,以及所述其它用户的数字人发送给第二直播间场景程序,并将所述第三用户的语音和/或图像同步给所述第一云端服务器,以使所述第二直播间场景程序加载所述直播间场景和所述其它用户的数字人,并利用所述第三用户的语音和其它用户的语音驱动所述直播间场景中所有用户的数字人的表情进行变化和/或通过分析所述第三用户的图像和其它用户的图像获得所述所有用户的实时表情,并将所述所有用户的实时表情映射到所述直播间场景中对应用户的数字人上和/或通过分析所述第三用户的图像和其它用户的图像获得所述所有用户的实时肢体动作,并将所述所有用户的实时肢体动作映射到所述直播间场景中对应用户的数字人上;渲染出所述第二直播间场景程序运行过程中产生的直播间场景画面,并将所述直播间场景画面推流给第三用户终端,使得第三用户对外直播的画面是直播间场景中与第三用户的表情和/或肢体动作同步的第三用户的数字人的画面,而非第三用户本身画面,即本方案提供了一种新的直播玩法,颠覆了传统的展现方式,能够增加主播直播的隐私性。
53.在前述方法实施例的基础上,所述方法还可以包括:接收第三用户终端发送的视角移动控制指令,将所述视角移动控制指令发送给所述第二直播间场景程序,以使所述第二直播间场景程序根据所述视角移动控制指令控制所述直播间场景的视角移动。
54.参照图6所示,为本技术实施例提供的一种直播方法的流程示意图,应用于第三云端服务器,具体包括:s60、获取所有用户的语音和/或图像、所述所有用户的数字人,以及第一云端服务器同步的直播间场景,将所述直播间场景、所有用户的语音和/或图像,以及所有用户的数字人发送给第三直播间场景程序,以使所述第三直播间场景程序加载所述直播间场景和所有用户的数字人,并利用所述所有用户的语音驱动所述直播间场景中所述所有用户的数字人的表情进行变化和/或通过分析所述所有用户的图像获得所述所有用户的实时表情,并
将所述所有用户的实时表情映射到所述直播间场景中对应用户的数字人上和/或通过分析所述所有用户的图像获得所述所有用户的实时肢体动作,并将所述所有用户的实时肢体动作映射到所述直播间场景中对应用户的数字人上,其中,所述直播间场景由第一直播间场景程序生成或加载,所述第一直播间场景程序运行在所述第一云端服务器上,所述所有用户为进入所述直播间场景的用户,所述第三直播间场景程序运行在所述第三云端服务器上;本实施例中,需要说明的是,对于未进入直播间场景的第四用户来说,其可自由控制视角移动,因此需要为其分配第三云端服务器,第三云端服务器上运行与第一直播间场景程序相同的第三直播间场景程序,第一直播间场景程序与第三直播间场景程序会进行数据同步(数据同步可包括直播间场景、数字人、语音、图像、操作指令,具体数据同步方式可参照前述实施例,此处不再赘述),数据同步后,第一直播间场景程序运行过程中产生的直播间场景画面与第三直播间场景程序运行过程中产生的直播间场景画面的画面内容相同。
55.s61、渲染出所述第三直播间场景程序运行过程中产生的直播间场景画面,并将所述直播间场景画面推流给第四用户终端。
56.本技术实施例提供的直播方法,通过获取所有用户的语音和/或图像、所述所有用户的数字人,以及第一云端服务器同步的直播间场景,将所述直播间场景、所有用户的语音和/或图像,以及所有用户的数字人发送给第三直播间场景程序,以使所述第三直播间场景程序加载所述直播间场景和所有用户的数字人,并利用所述所有用户的语音驱动所述直播间场景中所述所有用户的数字人的表情进行变化和/或通过分析所述所有用户的图像获得所述所有用户的实时表情,并将所述所有用户的实时表情映射到所述直播间场景中对应用户的数字人上和/或通过分析所述所有用户的图像获得所述所有用户的实时肢体动作,并将所述所有用户的实时肢体动作映射到所述直播间场景中对应用户的数字人上;渲染出所述第三直播间场景程序运行过程中产生的直播间场景画面,并将所述直播间场景画面推流给第四用户终端,使得进入直播间场景的用户对外直播的画面是直播间场景中与各个用户的表情和/或肢体动作同步的各个用户的数字人的画面,而非进入直播间场景的用户本身画面,即本方案提供了一种新的直播玩法,颠覆了传统的展现方式,能够增加主播直播的隐私性。
57.在前述方法实施例的基础上,所述方法还可以包括:接收第四用户终端发送的视角移动控制指令,将所述视角移动控制指令发送给所述第三直播间场景程序,以使所述第三直播间场景程序根据所述视角移动控制指令控制所述直播间场景的视角移动。
58.参照图7所示,为本技术实施例提供的一种直播装置的结构示意图,应用于第一云端服务器,包括:第一发送单元70,用于在第一用户创建直播间后,实时获取所述第一用户的语音和/或图像,将所述第一用户的语音和/或图像发送给第一直播间场景程序,以使所述第一直播间场景程序利用所述第一用户的语音驱动直播间场景中所述第一用户的数字人的表情进行变化和/或通过分析所述第一用户的图像获得所述第一用户的实时表情,并将所述实时表情映射到所述第一用户的数字人上和/或通过分析所述第一用户的图像获得所述第一用户的实时肢体动作,并将所述实时肢体动作映射到所述第一用户的数字人上,其中,所
述第一直播间场景程序运行在所述第一云端服务器上;第一推流单元71,用于渲染出所述第一直播间场景程序运行过程中产生的直播间场景画面,并将所述直播间场景画面推流给第一用户终端。
59.本技术实施例提供的直播装置,对于创建直播间的第一用户来说,通过第一发送单元70实时获取所述第一用户的语音和/或图像,将所述第一用户的语音和/或图像发送给第一直播间场景程序,以使所述第一直播间场景程序利用所述第一用户的语音驱动直播间场景中所述第一用户的数字人的表情进行变化和/或通过分析所述第一用户的图像获得所述第一用户的实时表情,并将所述实时表情映射到所述第一用户的数字人上和/或通过分析所述第一用户的图像获得所述第一用户的实时肢体动作,并将所述实时肢体动作映射到所述第一用户的数字人上;通过第一推流单元71渲染出所述第一直播间场景程序运行过程中产生的直播间场景画面,并将所述直播间场景画面推流给第一用户终端,使得所述第一用户对外直播的画面是直播间场景中与第一用户的表情和/或肢体动作同步的第一用户的数字人的画面,而非第一用户本身画面,即本方案提供了一种新的直播玩法,颠覆了传统的展现方式,能够增加主播直播的隐私性。
60.参照图8所示,为本技术实施例提供的一种直播装置的结构示意图,应用于第二云端服务器,包括:第二发送单元80,用于实时获取第三用户的语音和/或图像、第一云端服务器同步的直播间场景、除所述第三用户外的其它用户的语音和/或图像,以及所述其它用户的数字人,将所述第三用户的语音和/或图像、直播间场景、其它用户的语音和/或图像,以及所述其它用户的数字人发送给第二直播间场景程序,并将所述第三用户的语音和/或图像同步给所述第一云端服务器,以使所述第二直播间场景程序加载所述直播间场景和所述其它用户的数字人,并利用所述第三用户的语音和其它用户的语音驱动所述直播间场景中所有用户的数字人的表情进行变化和/或通过分析所述第三用户的图像和其它用户的图像获得所述所有用户的实时表情,并将所述所有用户的实时表情映射到所述直播间场景中对应用户的数字人上和/或通过分析所述第三用户的图像和其它用户的图像获得所述所有用户的实时肢体动作,并将所述所有用户的实时肢体动作映射到所述直播间场景中对应用户的数字人上,其中,所述第三用户为进入所述直播间场景且可自由控制视角移动的用户,所述直播间场景由第一直播间场景程序生成或加载,所述第一直播间场景程序运行在所述第一云端服务器上,所述其它用户包括创建所述直播间场景对应直播间的第一用户,所述所有用户包括所述第三用户和其它用户,所述第二直播间场景程序运行在所述第二云端服务器上;第二推流单元81,用于渲染出所述第二直播间场景程序运行过程中产生的直播间场景画面,并将所述直播间场景画面推流给第三用户终端。
61.本技术实施例提供的直播装置,借助于第二发送单元80通过实时获取第三用户的语音和/或图像、第一云端服务器同步的直播间场景、除所述第三用户外的其它用户的语音和/或图像,以及所述其它用户的数字人,将所述第三用户的语音和/或图像、直播间场景、其它用户的语音和/或图像,以及所述其它用户的数字人发送给第二直播间场景程序,并将所述第三用户的语音和/或图像同步给所述第一云端服务器,以使所述第二直播间场景程序加载所述直播间场景和所述其它用户的数字人,并利用所述第三用户的语音和其它用户的语音驱动所述直播间场景中所有用户的数字人的表情进行变化和/或通过分析所述第三
用户的图像和其它用户的图像获得所述所有用户的实时表情,并将所述所有用户的实时表情映射到所述直播间场景中对应用户的数字人上和/或通过分析所述第三用户的图像和其它用户的图像获得所述所有用户的实时肢体动作,并将所述所有用户的实时肢体动作映射到所述直播间场景中对应用户的数字人上;借助于第二推流单元81渲染出所述第二直播间场景程序运行过程中产生的直播间场景画面,并将所述直播间场景画面推流给第三用户终端,使得第三用户对外直播的画面是直播间场景中与第三用户的表情和/或肢体动作同步的第三用户的数字人的画面,而非第三用户本身画面,即本方案提供了一种新的直播玩法,颠覆了传统的展现方式,能够增加主播直播的隐私性。
62.参照图9所示,为本技术实施例提供的一种直播装置的结构示意图,应用于第三云端服务器,包括:第三发送单元90,用于获取所有用户的语音和/或图像、所述所有用户的数字人,以及第一云端服务器同步的直播间场景,将所述直播间场景、所有用户的语音和/或图像,以及所有用户的数字人发送给第三直播间场景程序,以使所述第三直播间场景程序加载所述直播间场景和所有用户的数字人,并利用所述所有用户的语音驱动所述直播间场景中所述所有用户的数字人的表情进行变化和/或通过分析所述所有用户的图像获得所述所有用户的实时表情,并将所述所有用户的实时表情映射到所述直播间场景中对应用户的数字人上和/或通过分析所述所有用户的图像获得所述所有用户的实时肢体动作,并将所述所有用户的实时肢体动作映射到所述直播间场景中对应用户的数字人上,其中,所述直播间场景由第一直播间场景程序生成或加载,所述第一直播间场景程序运行在所述第一云端服务器上,所述所有用户为进入所述直播间场景的用户,所述第三直播间场景程序运行在所述第三云端服务器上;第三推流单元91,用于渲染出所述第三直播间场景程序运行过程中产生的直播间场景画面,并将所述直播间场景画面推流给第四用户终端。
63.本技术实施例提供的直播装置,借助于第三发送单元90通过获取所有用户的语音和/或图像、所述所有用户的数字人,以及第一云端服务器同步的直播间场景,将所述直播间场景、所有用户的语音和/或图像,以及所有用户的数字人发送给第三直播间场景程序,以使所述第三直播间场景程序加载所述直播间场景和所有用户的数字人,并利用所述所有用户的语音驱动所述直播间场景中所述所有用户的数字人的表情进行变化和/或通过分析所述所有用户的图像获得所述所有用户的实时表情,并将所述所有用户的实时表情映射到所述直播间场景中对应用户的数字人上和/或通过分析所述所有用户的图像获得所述所有用户的实时肢体动作,并将所述所有用户的实时肢体动作映射到所述直播间场景中对应用户的数字人上;借助于第三推流单元91渲染出所述第三直播间场景程序运行过程中产生的直播间场景画面,并将所述直播间场景画面推流给第四用户终端,使得进入直播间场景的用户对外直播的画面是直播间场景中与各个用户的表情和/或肢体动作同步的各个用户的数字人的画面,而非进入直播间场景的用户本身画面,即本方案提供了一种新的直播玩法,颠覆了传统的展现方式,能够增加主播直播的隐私性。
64.本技术实施例提供的直播装置,其实现过程与前述实施例提供的直播方法一致,所能达到的效果也与前述实施例提供的直播方法相同,在此不再赘述。
65.如图10所示,本技术实施例提供的一种电子设备,包括:处理器100、存储器101和
总线102,所述存储器101存储有所述处理器100可执行的机器可读指令,当电子设备运行时,所述处理器100与所述存储器101之间通过总线102通信,所述处理器100执行所述机器可读指令,以执行如上述直播方法的步骤。
66.具体地,上述存储器101和处理器100能够为通用的存储器和处理器,这里不做具体限定,当处理器100运行存储器101存储的计算机程序时,能够执行上述直播方法。
67.对应于上述直播方法,本技术实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述直播方法的步骤。
68.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考方法实施例中的对应过程,本技术中不再赘述。在本技术所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
69.所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
70.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
71.以上仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以权利要求的保护范围为准。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献