一种虚拟角色的交互方法及显示设备与流程

本公开涉及数字人，尤其涉及一种虚拟角色的交互方法、显示设备及电子设备。

背景技术：

1、随着人工智能与数字人技术快速发展，数字人交互产品逐步在工业运维、信息查询等场景规模化应用。相关技术中，数字人交互产品分为独立智能助手、网页内嵌数字人两套互不兼容产品功能，独立智能助手依托内置大模型实现对话交互，无法读取网页dom数据、不具备网页内容检索能力；网页端数字人多通过html标签嵌入或跨进程通信对接网页，要么需要修改网页源代码才能适配接入，仅能绑定单一网页使用，无法脱离网页作为独立助手运行。由于数字人交互产品的两类功仅分别适用于不同的场景，导致数字人交互产品的适用场景受限。

技术实现思路

1、有鉴于此，本公开的实施例提供一种虚拟角色的交互方法、显示设备及电子设备，用于解决现有的数据人虚拟角色的交互功能能无缝切换，设备部署适配成本高、适用场景受限的问题。

2、本公开的第一方面提供一种虚拟角色的交互方法，方法包括：响应于用户输入第一查询消息，基于第一查询消息确定显示画面的显示主体，显示主体包括目标虚拟角色和/或目标浏览器；在显示主体包括目标虚拟角色的情况下，响应于用户输入第二查询消息，基于第二查询消息，确定目标虚拟角色的语音内容和/或外观形态；在显示主体包括目标虚拟角色和目标浏览器的情况下，响应于用户输入第二查询消息，基于第二查询消息，确定目标虚拟角色和目标浏览器的位置关系；其中，第一查询消息和第二查询消息不同。

3、根据本公开的实施例，基于第一查询消息确定显示画面的显示主体，包括：确定第一查询消息中是否存在网页内容查询指令或浏览器操作指令；在第一查询消息中存在网页内容查询指令或浏览器操作指令的情况下，驱动显示画面显示目标虚拟角色和目标浏览器；在第一查询消息中不存在网页内容查询指令和浏览器操作指令的情况下，驱动显示画面显示目标虚拟角色。

4、根据本公开的实施例，在显示主体包括目标虚拟角色的情况下，响应于用户输入第二查询消息，基于第二查询消息，确定目标虚拟角色的语音内容，包括：在显示主体仅包括目标虚拟角色的情况下，将第二查询消息输入目标大语言模型，得到针对第二查询消息的第一查询结果；基于第一查询结果，确定目标音频信号；基于目标音频信号，确定目标虚拟角色的语音内容。

5、根据本公开的实施例，在显示主体包括目标虚拟角色的情况下，响应于用户输入第二查询消息，基于第二查询消息，确定目标虚拟角色的语音内容，包括：在显示主体包括目标虚拟角色和目标浏览器的情况下，将第二查询消息输入目标大语言模型，以使目标大语言模块生成目标浏览器的目标内容；基于目标浏览器的目标内容，确定针对第二查询消息的第二查询结果；其中，第二查询结果表征针对目标浏览器中的目标内容的提取结果；基于第二查询结果，确定目标音频信号；基于目标音频信号，确定目标虚拟角色的语音内容。

6、根据本公开的实施例，基于第二查询消息，确定目标虚拟角色的外观形态，包括：基于目标音频信号和目标虚拟角色模版，确定目标虚拟角色的目标动作信号；其中，目标动作信号表征目标虚拟角色在播放语音内容时外观形态的变化动作。

7、根据本公开的实施例，驱动显示画面显示目标虚拟角色，包括：在显示主体包括目标虚拟角色的情况下，确定目标虚拟角色的第一外观配置参数；基于第一外观配置参数，驱动显示画面显示目标虚拟角色；在显示主体包括目标虚拟角色和目标浏览器的情况下，确定目标虚拟角色的第二外观配置参数；基于第二外观配置参数，驱动显示画面显示目标虚拟角色；其中，外观配置参数包括目标虚拟角色的展示位置、外观大小和透明度中的至少之一，第一外观配置参数和第二外观配置参数不同。

8、根据本公开的实施例，基于目标浏览器的目标内容，确定针对第二查询消息的第二查询结果，包括：在第二查询消息输入目标大语言模型之前，获取目标浏览器的初始内容；基于初始内容的目标内容的变化情况，确定第二查询结果。

9、根据本公开的实施例，基于目标浏览器的目标内容，确定针对第二查询消息的第二查询结果，包括：在第二查询消息输入目标大语言模型之前，获取目标浏览器的超文本标记语言对应的第一文档对象模型结构；在第二查询消息输入目标大语言模型之后，获取目标浏览器的超文本标记语言对应的第二文档对象模型结构；基于第一文档对象模型结构和第二文档对象模型结构，确定针对第二查询消息的第二查询结果。

10、根据本公开的实施例，在显示主体包括目标虚拟角色和目标浏览器的情况下，响应于用户输入第二查询消息，基于第二查询消息，确定目标虚拟角色和目标浏览器的位置关系，包括：基于第二查询消息，确定目标浏览器的目标内容；基于目标内容，确定目标虚拟角色和目标浏览器的位置关系，位置关系包括第一位置关系和第二位置关系中的任意之一；其中，第一位置关系表征目标虚拟角色和目标浏览器叠加显示于显示画面中；第二位置关系表征目标虚拟角色和目标浏览器分离显示于显示画面中。

11、根据本公开的实施例，基于目标内容，确定目标虚拟角色和目标浏览器的位置关系，包括：在目标内容处于目标浏览器窗口的第一区域的情况下，确定目标浏览器是否在显示画面中全屏显示；若目标浏览器在显示画面中全屏显示，确定目标虚拟角色和目标浏览器以第一位置关系显示于显示画面；若目标浏览器在显示画面中未全屏显示，确定目标虚拟角色和目标浏览器以第二位置关系显示于显示画面；其中，第一区域是目标浏览器窗口中远离窗口中心目标距离的区域。

12、根据本公开的实施例，基于目标内容，确定目标虚拟角色和目标浏览器的位置关系，还包括：在目标内容处于目标浏览器窗口的第二区域的情况下，确定目标虚拟角色和目标浏览器以第一位置关系显示于显示画面；其中，第二区域是目标浏览器窗口中远离窗口中心目标距离的区域。

13、根据本公开的实施例，方法还包括：在目标虚拟角色和目标浏览器以第一位置关系显示于显示画面的情况下，基于目标内容调整目标虚拟角色的外观大小和/或透明度。

14、本公开的第二方面提供一种显示设备，显示设备包括：处理器，用于响应于用户输入第一查询消息，基于第一查询消息确定显示画面的显示主体，显示主体包括目标虚拟角色和/或目标浏览器；在显示主体包括目标虚拟角色的情况下，响应于用户输入第二查询消息，基于第二查询消息，确定目标虚拟角色的语音内容和/或外观形态；在显示主体包括目标虚拟角色和目标浏览器的情况下，响应于用户输入第二查询消息，基于第二查询消息，确定目标虚拟角色和目标浏览器的位置关系；其中，第一查询消息和第二查询消息不同。显示器，用于基于目标虚拟角色的语音内容和外观形态，显示目标虚拟角色；显示器，还用于基于目标虚拟角色的语音内容和外观形态，以及目标虚拟角色和目标浏览器的位置关系，显示目标虚拟角色和目标浏览器。

15、本公开的第三方面提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个计算机程序，一个或多个处理器执行一个或多个计算机程序以实现根据上述中任一项方法的步骤。

16、本公开的第四方面一种计算机可读存储介质，其上存储有计算机程序或指令，计算机程序或指令被处理器执行时实现根据上述中任一项方法的步骤。

17、本公开的实施例提供的虚拟角色的交互方法、显示设备及电子设备，至少能够实现以下技术效果：

18、根据不同用户查询消息自适应确定显示主体为单独虚拟角色、或虚拟角色搭配浏览器，并对应调控虚拟角色语音内容、外观形态以及二者位置关系，实现了无网页智能交互与网页场景交互模式的灵活切换与一体化融合，解决了数字人独立智能助手与网页内嵌功能相互割裂、场景适配受限的问题；同时依托嵌入式浏览器配合虚拟角色联动交互，无需修改网页源码即可实现网页内容查询与操控，拓展了数字人交互的适用场景。