教学绘本的多模态内容生成与播放方法、装置及电子设备与流程

本发明涉及人工智能生成内容和计算机多媒体处理，具体而言，涉及一种教学绘本的多模态内容生成与播放方法、多模态内容生成与播放装置、电子设备以及计算机可读介质。

背景技术：

1、数字教学绘本可以按照教学主题组织脚本文本、场景图像和朗读音频，并由手机、平板电脑、个人计算机或者智能显示设备按照场景顺序进行展示和播放。现有教学绘本通常采用预先编辑的脚本和图像，或者根据用户输入的主题调用生成模型获得相应内容。

2、在根据教学主题生成绘本内容的情况下，用户输入的主题文本通常较短，直接根据该主题文本生成脚本，容易出现生成内容缺少教学知识依据或者生成内容与目标教学主题关联不足的问题。不同场景分别生成图像时，各个场景中的角色还可能在外貌、服饰或者色彩特征等方面发生变化，导致同一角色在教学绘本中的视觉表达不连续。

3、另外，脚本文本、角色描述、场景描述、场景图像和音频分别由不同处理过程产生，各类内容需要按照场景建立对应关系。如果仅按照文件生成时间或者返回顺序组织播放资源，容易出现脚本文本、图像和音频之间的场景错配。对于预先存储的视频素材，还需要将其与相应场景进行匹配，并根据资源加载状态确定展示图像还是展示视频素材。

4、需要说明的是，在上述背景技术部分公开的信息仅用于加强对本技术背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本发明的目的在于提供一种教学绘本的多模态内容生成与播放方法、多模态内容生成与播放装置、电子设备以及计算机可读介质，进而至少在一定程度上解决教学主题信息利用不足、不同场景中的角色视觉表达不连续以及多模态内容之间的场景对应关系不明确等技术问题。

2、根据本发明实施例的一个方面，提供一种教学绘本的多模态内容生成与播放方法。该方法包括：获取针对目标教学主题的访问请求；根据访问请求中的主题输入文本确定主题检索信息，根据主题检索信息从教育主题库中获取与目标教学主题相对应的教育主题信息和主题素材，并建立与当前访问相对应的内容生成实例；根据教育主题信息和主题素材进行脚本生成处理，得到按照播放顺序排列的场景脚本序列，各个场景脚本包括场景标识、脚本文本、角色描述和场景描述；根据各个场景脚本中的角色描述确定目标角色描述，根据目标角色描述进行角色图像生成处理，得到与目标角色描述具有映射关系的角色参考图；针对各个场景脚本，将角色参考图作为初始图像，并根据该场景脚本中的场景描述进行图生图处理，得到与角色参考图以及该场景脚本中的场景描述具有映射关系的场景图像；获取与各个场景脚本中的脚本文本相对应的音频；针对各个场景脚本，按照该场景脚本中的场景标识，将相应的脚本文本、角色描述、场景描述、角色参考图、场景图像和音频写入由该场景标识所标识的场景记录；根据场景脚本序列确定场景播放序列，并按照场景播放序列展示各个场景记录中的场景图像以及播放同一场景记录中的音频。

3、根据本发明实施例的一个方面，提供一种教学绘本的多模态内容生成与播放装置。该装置包括：访问获取模块，被配置为获取针对目标教学主题的访问请求；主题检索模块，被配置为根据访问请求中的主题输入文本确定主题检索信息，根据主题检索信息从教育主题库中获取与目标教学主题相对应的教育主题信息和主题素材，并建立与当前访问相对应的内容生成实例；脚本生成模块，被配置为根据教育主题信息和主题素材进行脚本生成处理，得到按照播放顺序排列的场景脚本序列；角色图像生成模块，被配置为根据各个场景脚本中的角色描述确定目标角色描述，根据目标角色描述进行角色图像生成处理，得到角色参考图；场景图像生成模块，被配置为针对各个场景脚本，将角色参考图作为初始图像，并根据该场景脚本中的场景描述进行图生图处理，得到场景图像；多模态资源绑定模块，被配置为获取与各个场景脚本中的脚本文本相对应的音频，并将各个场景的脚本文本、角色描述、场景描述、角色参考图、场景图像和音频写入由场景标识所标识的场景记录；播放模块，被配置为根据场景脚本序列确定场景播放序列，并按照场景播放序列展示各个场景记录中的场景图像以及播放同一场景记录中的音频。

4、在本发明的一些实施例中，基于以上技术方案，主题输入文本可以由用户输入的主题文本或者教学内容文本得到，也可以通过对用户输入的主题语音进行语音识别得到。主题检索信息可以根据主题输入文本以及用户选定的学科、语言和画风确定。

5、在本发明的一些实施例中，基于以上技术方案，教育主题库包括主题知识库和主题素材库。根据主题检索信息在主题知识库中确定与目标教学主题具有对应关系的主题知识文本，并根据主题检索信息在主题素材库中确定候选主题素材，再从候选主题素材中确定当前访问使用的主题素材。

6、在本发明的一些实施例中，基于以上技术方案，在再次获取针对相同目标教学主题的访问请求时，建立与再次访问相对应的新的内容生成实例，生成与再次访问相对应的随机种子，根据随机种子从候选主题素材中确定再次访问使用的主题素材，并根据随机种子和再次访问使用的主题素材进行脚本生成处理、角色图像生成处理和场景图像的图生图处理。

7、在本发明的一些实施例中，基于以上技术方案，从目标角色描述中获取用于表征角色身份和角色外观的角色提示信息，根据各个场景脚本中的场景描述和角色提示信息确定分别与各个场景标识相对应的场景图像提示信息，将角色参考图作为各个场景的初始图像，并根据场景图像提示信息对初始图像进行图像转换，以得到各个场景的场景图像。不同场景的场景图像提示信息包括至少部分相同的角色提示信息。

8、在本发明的一些实施例中，基于以上技术方案，与脚本文本相对应的音频可以与场景脚本一并返回，也可以通过对脚本文本进行音频生成处理得到。场景标识、场景顺序、脚本文本、角色描述、场景描述、角色参考图地址、场景图像地址和音频地址被写入由场景标识所标识的场景记录，一个或多个场景记录与相应的内容生成实例建立对应关系。

9、在本发明的一些实施例中，基于以上技术方案，针对场景播放序列中的目标场景，获取目标场景的场景标识，根据由该场景标识所标识的场景记录中的场景描述确定视频检索信息，根据视频检索信息与视频素材标签之间的匹配关系，从视频素材库中获取与目标场景具有映射关系的固定视频素材，并将固定视频素材的视频素材标识或者视频地址写入由该场景标识所标识的场景记录。

10、在本发明的一些实施例中，基于以上技术方案，针对固定视频素材建立视频素材加载任务，根据当前网络状态确定视频素材加载任务的并发数量或者状态查询间隔。当固定视频素材未加载完成时，展示由目标场景的场景标识所标识的场景记录中的场景图像并播放同一场景记录中的音频；当固定视频素材加载完成时，在进入目标场景或者到达目标场景的场景切换节点时展示固定视频素材。

11、根据本发明实施例的一个方面，提供一种电子设备。该电子设备包括处理器以及存储器，存储器用于存储处理器的可执行指令，处理器被配置为经由执行可执行指令来执行以上技术方案中的多模态内容生成与播放方法。

12、根据本发明实施例的一个方面，提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以上技术方案中的多模态内容生成与播放方法。

13、在本发明实施例提供的技术方案中，根据主题输入文本确定主题检索信息，并分别从主题知识库和主题素材库获取教育主题信息和主题素材，使脚本生成处理的输入同时包括与目标教学主题相对应的知识信息和素材信息，从而在生成过程中维持教学主题与生成内容之间的数据关联。

14、根据各个场景脚本中的角色描述确定目标角色描述，先根据目标角色描述生成角色参考图，再以角色参考图作为各个场景的初始图像进行图生图处理。由此，各个场景图像共享角色参考图以及至少部分相同的角色提示信息，可以减少各场景分别生成角色所造成的视觉属性变化。

15、通过场景标识将脚本文本、角色描述、场景描述、角色参考图、场景图像和音频写入相应的场景记录，并根据场景脚本序列确定场景播放序列，可以使不同处理过程得到的多模态内容按照场景建立明确的数据对应关系。

16、固定视频素材预先存储于视频素材库中，根据目标场景的场景描述确定视频检索信息并与视频素材标签进行匹配，无需针对当前访问请求即时生成视频。在固定视频素材未加载完成时展示场景图像并播放音频，在固定视频素材加载完成后于场景进入时点或者场景切换节点展示固定视频素材，可以使播放过程适应不同资源的加载状态。

17、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。