多媒体内容生成方法、装置、存储介质及计算机设备与流程
本技术涉及智能电视,尤其涉及一种多媒体内容生成方法、装置、存储介质及计算机设备。
背景技术:
1、随着人工智能生成内容技术的发展,智能电视已逐渐具备生成图片、视频、音频等多媒体内容的能力。用户通过语音交互等方式发起内容生成请求后,通常由云端生成系统完成内容生成,并将生成结果返回至智能电视进行展示。
2、当前,多媒体内容生成通常依赖大规模生成模型完成,需要消耗较多的计算资源。特别是在图像、视频等内容生成场景下,生成过程往往涉及复杂推理计算,占用大量gpu资源和处理时间。然而,现有方案通常根据用户输入直接执行完整的内容生成流程,当生成结果不满足输出要求时,前期已投入的计算资源无法回收,从而造成无效计算和资源浪费。随着智能电视用户规模和内容生成需求的不断增长,该问题将进一步加重云端计算负担,降低资源利用效率。因此,目前多媒体内容生成过程中产生的无效任务造成了算力资源消耗。
技术实现思路
1、本技术的目的旨在至少能解决上述的技术缺陷之一,特别是现有技术中多媒体内容生成过程中产生的无效任务造成了算力资源消耗的技术缺陷。
2、第一方面,本技术提供了一种多媒体内容生成方法,应用于电视系统,电视系统包括智能电视终端和云端,方法包括:
3、智能电视终端响应于语音指令,对语音指令进行声纹识别,得到年龄感知标签,并将语音指令转换为待审核文本;
4、利用年龄感知标签约束文本预审规则,得到年龄适配预审规则后,检测待审核文本,并将检测通过的合法文本和年龄感知标签上传至云端;
5、云端根据合法文本,采用低质量媒体参数生成内容语义完整的低质量多媒体内容,并根据合规审核规则,检测低质量多媒体内容;
6、对检测通过的低质量多媒体内容进行增强,同步利用年龄感知标签进行深度语义审核,并当深度语义审核通过时,向智能电视终端输出高质量多媒体内容。
7、在一个实施例中,利用年龄感知标签约束文本预审规则,得到年龄适配预审规则,包括:
8、根据年龄感知标签,确定对应的年龄类别;
9、获取与年龄类别对应的年龄约束规则,以及获取文本预审规则;
10、利用年龄约束规则,对文本预审规则中的敏感内容过滤条件、语义重定向条件以及内容生成约束条件进行调整,得到年龄适配预审规则。
11、在一个实施例中,检测待审核文本,包括:
12、基于年龄适配预审规则,对待审核文本进行违规内容检测;
13、基于年龄适配预审规则,对待审核文本进行年龄适配性检测;
14、当根据违规内容检测结果和年龄适配性检测结果,确定待审核文本通过检测时,将待审核文本确定为合法文本。
15、在一个实施例中,根据合法文本,采用低质量媒体参数生成内容语义完整的低质量多媒体内容,包括:
16、根据合法文本,确定内容生成条件;
17、根据预设低质量生成策略,确定对应的目标媒体参数;
18、在保持内容生成条件对应的内容语义信息不变的情况下,根据目标媒体参数配置低质量媒体参数;
19、利用内容生成条件以及低质量媒体参数执行内容生成,得到内容语义完整的低质量多媒体内容。
20、在一个实施例中,根据合规审核规则,检测低质量多媒体内容,包括:
21、提取低质量多媒体内容对应的内容特征;
22、根据合规审核规则,对内容特征进行违规元素检测和跨模态一致性检测;
23、根据违规元素检测结果以及跨模态一致性检测结果,确定审核结果。
24、在一个实施例中,对检测通过的低质量多媒体内容进行增强,同步利用年龄感知标签进行深度语义审核,包括:
25、根据目标输出质量,确定增强配置参数,并基于增强配置参数,对检测通过的低质量多媒体内容执行质量增强处理;
26、在执行质量增强处理的过程中,获取增强中间结果;
27、根据年龄感知标签,确定对应年龄类别的深度审核规则,并利用深度审核规则,对增强中间结果进行深度语义审核;
28、当深度语义审核结果表征存在不符合对应年龄类别要求的内容时,生成增强终止指令,并利用增强终止指令中断质量增强处理。
29、在一个实施例中,利用深度审核规则,对增强中间结果进行深度语义审核,包括:
30、对增强中间结果进行内容隐含语义分析和敏感内容检测;
31、根据年龄类别,对增强中间结果进行年龄适宜性评估;
32、根据内容隐含语义分析结果、敏感内容检测结果以及年龄适宜性评估结果,生成深度语义审核结果。
33、第二方面,本技术提供了一种多媒体内容生成装置,应用于电视系统,电视系统包括智能电视终端和云端,装置包括:
34、待审核文本确定模块,用于智能电视终端响应于语音指令,对语音指令进行声纹识别,得到年龄感知标签,并将语音指令转换为待审核文本;
35、待审核文本预审模块,用于利用年龄感知标签约束文本预审规则,得到年龄适配预审规则后,检测待审核文本,并将检测通过的合法文本和年龄感知标签上传至云端;
36、低质量多媒体内容生成模块,用于云端根据合法文本,采用低质量媒体参数生成内容语义完整的低质量多媒体内容,并根据合规审核规则,检测低质量多媒体内容;
37、高质量多媒体内容生成模块,用于对检测通过的低质量多媒体内容进行增强,同步利用年龄感知标签进行深度语义审核,并当深度语义审核通过时,向智能电视终端输出高质量多媒体内容。
38、第三方面,本技术提供了一种存储介质:存储介质中存储有计算机可读指令,计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如上述实施例中任一项多媒体内容生成方法的步骤。
39、第四方面,本技术提供了一种计算机设备,包括:一个或多个处理器,以及存储器;
40、存储器中存储有计算机可读指令,计算机可读指令被一个或多个处理器执行时,执行如上述实施例中任一项多媒体内容生成方法的步骤。
41、从以上技术方案可以看出,本技术实施例具有以下优点:
42、本技术提供的多媒体内容生成方法、装置、存储介质及计算机设备,应用于电视系统,该电视系统包括智能电视终端和云端,通过在智能电视终端对语音指令进行声纹识别得到年龄感知标签,并将语音指令转换为待审核文本,能够利用终端侧计算资源完成用户年龄相关信息的感知与预处理,降低云端后续处理负担;利用年龄感知标签约束文本预审规则,并对待审核文本进行检测,仅将检测通过的合法文本和年龄感知标签上传至云端,能够在终端侧提前过滤不符合要求的任务,减少无效任务占用网络传输资源及云端算力资源;云端根据合法文本,采用低质量媒体参数,生成内容语义完整的低质量多媒体内容,并进行合规审核,能够以较低算力成本完成内容有效性验证,避免对不合规内容直接执行高质量生成;对审核通过的低质量多媒体内容进行增强,并结合年龄感知标签进行深度语义审核,能够在保证内容合规性和年龄适配性的基础上生成高质量多媒体内容,并将高质量多媒体内容输出至智能电视终端进行呈现,从而提升用户观看体验。由此,通过智能电视终端与云端协同完成内容预审、低成本验证及高质量生成,实现无效任务的逐级筛除,减少多媒体内容生成过程中不必要的算力资源消耗,提高了整体的资源利用效率和内容生成效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com