一种数字人PPT讲解系统、方法、电子设备及存储介质与流程

本发明涉及计算机软件与人工智能，尤其涉及一种数字人ppt讲解系统、方法、电子设备及存储介质。

背景技术：

1、随着人工智能和计算机图形学技术的快速发展，虚拟数字人技术逐渐成熟，被广泛应用于在线教育、智能客服、虚拟主播等场景。

2、然而，将数字人技术应用于ppt自动讲解领域，当前仍处于较为初级的阶段。现有技术中，ppt的讲解与演示主要依赖真人现场讲解，或者预先录制好的讲解视频循环播放。真人讲解受限于讲解人的时间、状态、表达能力等因素，难以实现大规模、标准化的内容输出；而预录制视频则完全缺乏互动性与临场感，观众无法根据自身需求进行提问或控制讲解进度。虽然市场上已出现一些简单的虚拟数字人播报系统，但其通常存在以下技术缺陷。

3、传统的数字人播报系统表现形式单一，数字人仅能对预先输入的固定文本内容进行机械式口播，缺乏与讲解内容相匹配的丰富面部表情和肢体动作，导致讲解过程呆板、缺乏感染力，难以吸引观众注意力。交互能力严重匮乏，多为单向播放模式，无法在讲解过程中实时响应用户的语音提问，也无法理解用户对ppt文档进行实时操作的意图，如翻页、跳转、暂停等，智能化水平较低，用户体验差。

4、此外，现有方案多采用传统的机器人流程自动化技术，按预设脚本机械执行固定动作，无法根据实时界面变化做出适应性调整，也无法灵活适配不同的ppt软件环境。例如，当讲解过程中出现弹窗时，预设脚本无法继续执行后续动作；使用不同软件打开同一ppt文件时，需要分别编写不同的操作脚本，缺乏通用性和鲁棒性。

5、因此，迫切需要一种能够使数字人自动理解ppt内容、生成生动讲解并配合丰富表情动作、同时支持实时语音交互与智能操控的数字人ppt讲解系统及方法。

技术实现思路

1、本发明各实施例提供一种数字人ppt讲解系统及方法，以解决现有技术缺乏与内容匹配的表情和动作、无法实时响应用户的语音提问及ppt操控指令、无法适应实时界面变化及不同软件环境的问题。所述技术方案如下：

2、根据本发明的一个方面，一种数字人ppt讲解系统，所述系统包括数字人客户端、数字人控制模块、内容理解模块、动作执行模块和数字人驱动引擎；所述数字人客户端用于与用户交互；所述数字人控制模块用于在各模块之间进行数据分发与任务协调；所述内容理解模块用于通过调用大语言模型根据ppt内容和风格模板生成讲解词及对应的表情指令、动作指令；所述动作执行模块用于调用多模态大模型生成操作命令及界面坐标；所述数字人驱动引擎用于根据接收到的指令实时合成数字人音视频流，并推送至所述数字人客户端播放。

3、在其中一个实施例中，所述数字人客户端用于接收用户上传的ppt文件、风格模板及语音指令，并执行本地rpa操作及音视频播放。

4、在其中一个实施例中，所述动作执行模块用于通过调用多模态大模型，根据用户语音指令和屏幕截图生成符合设定标准的操作命令及界面坐标。

5、根据本发明的一个方面，一种数字人ppt讲解方法，所述方法包括：获取用户在所述数字人客户端选择的讲解风格及上传的ppt文件，通过所述内容理解模块调用大语言模型对ppt文件内容及风格模板进行解析与生成，得到句子级的讲解词及每一句所述讲解词对应的表情指令和动作指令；获取用户在所述数字人客户端发出的开始讲解指令，通过所述数字人控制模块与数字人驱动引擎对所述讲解词进行逐句调度与合成，得到实时同步的数字人音视频流并推送至所述数字人客户端播放；获取用户的语音输入及当前屏幕截图，通过所述数字人控制模块调用语音识别大模型及语义理解对所述语音输入进行解析与分类，得到互动提问或操作控制对应的交互文本；获取所述交互文本及上下文信息，通过所述内容理解模块或动作执行模块调用大语言模型或多模态大模型对所述交互文本中的请求进行处理与执行，得到数字人回复音视频流或ppt操作执行结果。

6、在其中一个实施例中，获取用户在所述数字人客户端选择的讲解风格及上传的ppt文件，通过所述内容理解模块调用大语言模型对ppt文件内容及风格模板进行解析与生成，得到句子级的讲解词及每一句所述讲解词对应的表情指令和动作指令通过以下步骤实现：通过所述数字人客户端将所述讲解风格和ppt文件上传至所述数字人控制模块，通过所述数字人控制模块分发至内容理解模块；所述讲解风格包含讲解场景、语言风格、动作习惯参数；通过所述内容理解模块将所述讲解风格和ppt文件的内容组装成prompt并发送给大型语言模型，通过所述大型语言模型分析所述ppt文件的内容并根据所述prompt生成讲解词，为所述讲解词同步生成对应的表情指令和动作指令；将所述讲解词及对应的表情和动作指令通过所述内容理解模块传至所述数字人控制模块，通过所述数字人控制模块将所述讲解词传至所述数字人客户端呈现给用户确认和修改；所述大语言模型包括gpt-4.1、qwen-long或qwen3-80b-a3b。

7、在其中一个实施例中，获取用户在所述数字人客户端发出的开始讲解指令，通过所述数字人控制模块与数字人驱动引擎对所述讲解词进行逐句调度与合成，得到实时同步的数字人音视频流并推送至所述数字人客户端播放通过以下步骤实现：通过所述数字人客户端获取开始讲解指令并发送至数字人控制模块，通过所述数字人控制模块将所述ppt文件回传给数字人客户端保存到本地并通过rpa命令打开所述ppt文件；通过所述数字人控制模块将所述ppt文件的讲解词及对应的表情指令和动作指令逐句发送给数字人驱动引擎实时合成与讲解词同步的数字人音视频流；所述数字人音视频流包括与讲解词匹配的口型、表情和动作；通过所述数字人驱动引擎将所述数字人音视频流推送给所述数字人客户端显示播放，通过所述数字人驱动引擎与所述数字人控制模块循环推送逐句播放所述讲解词和指令直至讲解完成。

8、在其中一个实施例中，获取用户的语音输入及当前屏幕截图，通过所述数字人控制模块调用语音识别大模型及语义理解对所述语音输入进行解析与分类，得到互动提问或操作控制对应的交互文本通过以下步骤实现：通过所述数字人客户端开启现场录音，当检测到用户的语音输入时，将音频文件和当前屏幕截图发送至所述数字人控制模块，通过所述数字人控制模块调用语音识别大模型将所述音频文件转为文本。

9、在其中一个实施例中，获取所述交互文本及上下文信息，通过所述内容理解模块或动作执行模块调用大语言模型或多模态大模型对所述交互文本中的请求进行处理与执行，得到数字人回复音视频流或ppt操作执行结果通过以下步骤实现：通过所述数字人控制模块结合上下文信息对所述文本进行语义理解，若所述文本为互动提问，将所述文本和所述当前屏幕截图中的讲解词发送至所述内容理解模块组装成prompt发送给大型语言模型生成文本及对应的表情和动作指令，发送至所述数字人驱动引擎合成音视频流后推送给所述数字人客户端播放；

10、若所述文本为操作控制，将所述文本和所述当前屏幕截图发送至所述动作执行模块组装成prompt发送给多模态大模型分析生成操作命令和操作目标的坐标；所述多模态大模型包括claude sonnet或qwen-vl-72b；所述操作命令包括鼠标移动、左键单击、右键单击、中键单击、双击、滚动、键盘输入、等待及终止任务类型；将所述操作命令和坐标回传给所述数字人客户端，通过rpa技术在界面执行相应的操作并截图发送给所述动作执行模块通过多模态大模型和prompt指示判断是否正确完成操作，若未正确完成则修改所述操作命令和坐标后重新执行，反之则下发下一步的所述操作命令和坐标直至完成指令。

11、根据本发明的一个方面，一种电子设备，包括至少一个处理器以及至少一个存储器，其中，所述存储器上存储有计算机可读指令；所述计算机可读指令被一个或多个所述处理器执行，使得电子设备实现如上所述的数字人ppt讲解系统及方法。

12、根据本发明的一个方面，一种存储介质，其上存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行，以实现如上所述的数字人ppt讲解系统及方法。

13、本发明提供的技术方案带来的有益效果是：

14、在上述技术方案，本发明首先通过数字人客户端获取用户选择的讲解风格模板及上传的ppt文件，由数字人控制模块分发至内容理解模块，内容理解模块调用大语言模型对ppt内容与风格模板进行解析，生成句子级的讲解词及每一句对应的表情指令和动作指令，从而实现对ppt内容的自动化理解与讲解脚本生成。在此基础上，通过数字人控制模块与数字人驱动引擎对讲解词进行逐句调度与实时合成，生成与讲解词同步的口型、表情和动作匹配的数字人音视频流，并推送至客户端播放，实现了数字人表情动作可控、内容可中断的讲解控制机制。然后，通过数字人客户端采集用户语音输入及屏幕截图，由数字人控制模块调用语音识别大模型进行语义理解与分类，区分互动提问与操作控制两种交互类型。最后，针对互动提问，调用大语言模型生成回复文本及配套指令，由驱动引擎合成音视频流播放；针对操作控制，调用多模态大模型解析操作命令及界面坐标，通过rpa技术执行操作并循环验证直至指令完成。本发明通过融合数字人、ai大模型与rpa技术，实现了ppt的自动生动讲解与实时智能交互，有效解决了现有技术中表现形式单一、交互能力匮乏、自动化操作适配度差的问题。