交互方法、交互装置、电子设备、存储介质和程序产品与流程
本公开涉及计算机,尤其涉及一种基于数字人直播的交互方法、一种基于数字人直播的交互装置、一种电子设备、一种计算机可读存储介质和一种计算机程序产品。
背景技术:
1、数字人直播是一种利用数字人技术进行直播的方式,在直播过程中需要对观众通过弹幕发送的实时评论、提问或建议等消息进行应答,目前的应答处理方式包括在直播应答过程中将插入的音视频和文本实时合并制作成完整视频进行播放,这种会导致交互应答时的时延过长,而且会造成资源的重复消耗,进而影响用户对数字人直播的观看体验。
2、需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、本公开的目的在于提供一种基于数字人直播的交互方法、基于数字人直播的交互装置、电子设备和计算机可读存储介质,至少在一定程度上能够改善相关技术中用户对数字人直播的观看体验不佳的问题。
2、本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
3、根据本公开的一个方面,提供一种基于数字人直播的交互方法,包括:检测到用户进入直播间,将预生成的行为交互资源发送至对应的用户端进行缓存;响应于接收到的所述用户在直播间的交互信息,确定与所述交互信息匹配的交互答案的答案配置信息;若所述交互信息为用户弹幕交互,基于第一答案配置信息在资源库查询所需的音视频资源,并基于查询结果生成弹幕应答数据下发至用户端;若所述交互信息为用户行为交互,基于第二答案配置信息生成行为交互答案,将所述行为交互答案下发至所述用户端,以使所述用户端查询与所述行为交互答案匹配的所述行为交互资源进行播放。
4、在本公开的一个实施例中,若所述交互信息为用户弹幕交互,基于第一答案配置信息在资源库查询所需的音视频资源,并基于查询结果生成弹幕应答数据,包括:响应于接收到的用户弹幕交互,查询与所述用户弹幕匹配的第一答案配置信息;检测到所述第一答案配置信息中包括镜头信息,在镜头库中查询与所述镜头信息对应的镜头素材;和/或检测到所述第一答案配置信息中包括画外音信息,确定所需的画外音素材,并在画外音库中查询包括所述画外音素材的画外音视频;基于所述镜头素材和/或所述画外音视频配置口播答案,作为所述弹幕应答数据。
5、在本公开的一个实施例中,在画外音库中查询包括所述画外音素材的画外音视频,还包括:若未查询到所述画外音视频,则基于对所述画外音信息的识别结果和所述数字人的形象参数合成所述画外音视频,并存储在所述画外音库中。
6、在本公开的一个实施例中,还包括:检测到所述第一答案配置信息未包括所述镜头信息和所述画外音信息,删除所述第一答案配置信息中的音频标签和视频标签,以生成所述用户弹幕交互的应答文本;将所述应答文本推送至所述用户端,以使所述用户端以公屏弹幕的形式显示所述应答文本。
7、在本公开的一个实施例中,基于所述镜头素材和/或所述画外音视频配置口播答案,包括:基于所述第一答案配置信息中的视频标签所指示的第一位置信息和第一时长,将所述镜头素材插入口播答案结构的对应位置;和/或基于所述第一答案配置信息中的音频标签所指示的第二位置信息和第二时长,将所述画外音视频插入所述口播答案结构的对应位置;基于所述第一答案配置信息中的口播文本对所述口播答案结构进行整合,得到所述口播答案。
8、在本公开的一个实施例中,基于所述第一答案配置信息中的口播文本对所述口播答案结构进行整合,还包括:若所述镜头素材为无声镜头,在所述第一时长的时段内,整合匹配的所述口播文本,得到所述口播答案;若所述镜头素材为有声镜头,确定所述口播文本相对所述镜头素材和/或所述画外音视频的播放顺序,以基于所述播放顺序对所述口播答案结构进行整合,得到所述口播答案。
9、在本公开的一个实施例中,在检测到用户进入直播间,将预生成的行为交互资源发送至对应的用户端进行缓存之前,还包括:基于行为交互的第三答案配置信息配置所述行为交互资源。
10、在本公开的一个实施例中,检测到用户进入直播间,将预生成的行为交互资源发送至对应的用户端进行缓存,还包括:播放所述行为交互资源中用于欢迎用户的交互资源。
11、在本公开的一个实施例中,基于行为交互的第三答案配置信息配置所述行为交互资源,包括:响应于获取到的直播剧本,确定所述直播剧本中的行为类型;基于所述行为类型和所述第三答案配置信息携带的与所述行为类型对应的行为展示链接生成所述行为交互资源,并保存在共用资源库。
12、在本公开的一个实施例中,若所述交互信息为用户行为交互,基于第二答案配置信息生成行为交互答案,将所述行为交互答案下发至所述用户端,以使所述用户端查询与所述行为交互答案匹配的所述行为交互资源进行播放,包括:响应于接收到的用户行为交互,确定行为类型;基于所述行为类型确定对应的所述第二答案配置信息;基于对应的所述第二答案配置信息中携带的交互策略生成所述行为交互答案;将所述行为交互答案下发至所述用户端,以触发所述用户端基于所述行为类型查询匹配的所述行为交互资源,并基于所述行为交互答案为匹配的所述行为交互资源配置解说音频作为行为应答数据进行播放。
13、在本公开的一个实施例中,还包括:响应于接收到的所述行为交互资源更新指令,确定更新需求;基于所述更新需求确定待更新的播放界面和/或交互逻辑;对所述播放界面和/或所述交互逻辑进行更新,得到更新后的所述行为交互资源;若所述直播间处于开播状态,将更新后的所述行为交互资源发送至对应的所述用户端替换预生成的所述行为交互资源。
14、根据本公开的另一个方面,提供一种基于数字人直播的交互装置,包括:发送模块,用于检测到用户进入直播间,将预生成的行为交互资源发送至对应的用户端进行缓存;确定模块,用于响应于接收到的所述用户在直播间的交互信息,确定与所述交互信息匹配的交互答案的答案配置信息;查询模块,用于若所述交互信息为用户弹幕交互,基于第一答案配置信息在资源库查询所需的音视频资源,并基于查询结果生成弹幕应答数据下发至用户端;生成模块,用于若所述交互信息为用户行为交互,基于第二答案配置信息生成行为交互答案,将所述行为交互答案下发至所述用户端,以使所述用户端查询与所述行为交互答案匹配的所述行为交互资源进行播放。
15、根据本公开的再一个方面,提供一种电子设备,包括:处理器;以及存储器,用于存储处理器的可执行指令;其中,处理器配置为经由执行可执行指令来执行上述任意一项的基于数字人直播的交互方法。
16、根据本公开的又一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任意一项的基于数字人直播的交互方法。
17、根据本公开的又一个方面,提供一种计算机程序产品,其上存储有计算机程序,计算机程序被处理器执行时实现上述任意一项的基于数字人直播的交互方法。
18、本公开的实施例所提供的基于数字人直播的交互方案,通过在用户进入直播间时,预先缓存行为交互资源,缩短了后续交互响应时间,让用户能快速获得反馈,在交互过程中,针对不同类型的交互信息精准匹配答案配置信息,当是弹幕交互时,按需查询音视频资源生成应答数据,丰富了交互展示形式,而行为交互则生成应答文本引导用户端操作,增强了交互的针对性,既提升了交互的及时性与灵活性,又优化了资源利用,改善了用户在数字人直播中的观看和互动体验,减少了时延和资源浪费问题。
19、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com