数字人播报控制方法、系统、介质及终端与流程

本技术涉及人工智能与工业数据可视化，特别是涉及数字人播报控制方法、系统、介质及终端。

背景技术：

1、随着工业数字化、智能化水平不断提高，工业指挥中心、项目调度大厅、生产监控中心等场所逐渐成为设备运营管理、项目统筹调度和区域业务分析的重要载体。为直观呈现设备运行状态、项目实施进度、区域业务分布等核心指标，上述场所通常设置数据大屏，并通过图表、地图、列表等可视化形式集中展示业务数据。与此同时，随着人工智能、自然语言处理和数字人技术的发展，利用数字人辅助完成数据讲解、信息查询及故障播报，已成为提升数据展示效率和人机交互体验的重要技术方向。

2、现有数据大屏主要采用静态可视化图表呈现设备运营数据、项目进度、区域业务分布等核心指标。在使用过程中，讲解人员通常需要根据参观或调度需求手动切换显示视图，并结合个人经验对相应数据的含义及其变化情况进行口头说明。部分现有方案还在数据大屏中引入数字人，通过tts（text-to-speech，文本转语音）技术将预设文本或临时生成的文本转换为语音，并将所生成的语音与面部动画进行组合，以实现数字人的语音播报和形象展示。此外，现有数字人还可以按照预设业务规则筛选需要播报的信息，并通过语音交互接收用户提出的问题；当设备出现故障时，则根据报警信息播报相应的故障现象。

3、然而，上述现有技术仍存在以下不足。首先，传统数据大屏的讲解内容高度依赖讲解人员的个人经验，标准化程度较低，不同讲解人员对同一数据可能作出不同解读；当数据发生更新时，还需要人工识别数据变化并相应调整讲解内容，难以保证讲解的实时性。其次，现有数字人通常将文本转语音结果与面部动画简单拼接，在设备状态每秒变化数十次等工业数据高频跳变场景下，容易出现口型与声音不匹配以及播报延迟等声画同步问题。再次，工业场景中的传感器数量庞大，可能达到数千个，若对全量数据进行播报，容易造成信息过载；而依赖预设业务规则筛选信息的方式效率较低，难以根据实时数据变化及时生成有效的叙事内容。此外，现有语音交互通常缺乏空间注册能力，无法准确确定用户所在位置及其注视方向，导致数字人的解说内容与用户当前注视的数据区域不相匹配。最后，现有故障播报通常仅呈现报警现象本身，缺乏对故障根因及故障传播路径的分析，运维人员仍需人工翻阅运行日志并逐项排查，故障定位效率较低。

4、因此，现有数据大屏及数字人方案在讲解内容标准化、数据变化响应、声画同步、海量信息筛选、用户空间状态感知以及故障根因分析等方面仍存在不足，难以满足工业指挥、项目调度和设备运维场景下对实时性、准确性、交互性及智能分析能力的要求。由此，亟需提供一种能够适应工业数据动态变化，并提高数据讲解、交互响应和故障分析效率的技术方案。

技术实现思路

1、鉴于以上所述现有技术的缺点，本技术的目的在于提供数字人播报控制方法、系统、介质及终端，用于解决现有数据大屏及数字人方案难以根据工业数据的动态变化，实时、准确且与用户注视区域相匹配地生成声画同步的讲解内容，并对设备故障的根因及传播路径进行有效分析的技术问题。

2、为实现上述目的及其他相关目的，本技术的第一方面提供一种数字人播报控制方法，包括：获取数据大屏所关联数据源的流式数据，所述流式数据包括实时采集的实时数据流，并确定流式数据随时间的变化特征量，所述变化特征量表征所述数据源的数据变化状态；按预置的异常判据对所述流式数据执行异常检测，得到异常事件集合，并确定所述异常事件集合中各异常事件之间的关联关系；对所述异常事件的特征和所述关联关系执行编码，得到所述异常事件的目标事件表示，并以所述目标事件表示为生成条件，生成与所述异常事件相对应的播报文本；按预置的优先级规则，确定由所述播报文本所对应的待播报事件构成的播报队列中各所述待播报事件的播报次序；根据所述变化特征量确定所述播报文本的韵律边界，并按所述韵律边界将所述播报文本合成为音频流；将所述音频流转换为所述数字人的面部动画参数序列，确定所述音频流与所述面部动画参数序列之间的时间偏移量，按所述时间偏移量对所述面部动画参数序列执行校正，并按校正后的所述面部动画参数序列与所述音频流驱动所述数字人的渲染输出。

3、以下对上述第一方面的若干优选实施方式作出说明：各实施方式分别对应于上述方法中确定变化特征量、确定韵律边界、执行异常检测、确定关联关系、生成目标事件表示与播报文本、确定播报次序以及校正面部动画参数序列的各步骤；在此基础上，本技术还提供使播报内容与用户注视区域相匹配的空间交互定位实施方式，以及将播报内容延伸至故障根因与传播路径的故障根因播报实施方式。

4、于本技术的第一方面的一些实施例中，所述变化特征量包括各所述数据源的数据变化率以及所述实时数据流中的突变事件；确定所述流式数据随时间的变化特征量，包括：将所述流式数据所对应的历史数据按预置长度分割为若干时序片段，对各所述时序片段分别执行片段编码并叠加位置编码，输入基于自注意力机制的编码器，得到表征各所述时序片段之间时序依赖关系的时序依赖表示，并对所述时序依赖表示执行回归处理，得到各所述数据源在未来时刻的所述数据变化率；将各所述数据源的所述数据变化率与由该数据源的历史数据统计得到的自适应阈值进行比较，将所述数据变化率超出所述自适应阈值的时刻确定为所述突变事件。

5、于本技术的第一方面的一些实施例中，所述韵律边界包括强边界、中边界和弱边界；根据所述变化特征量确定所述播报文本的韵律边界，包括：将所述播报文本中与所述突变事件相对应的位置确定为所述强边界，所述强边界对应停顿与语调变化；将所述播报文本中所述数据变化率的变化趋势发生转折的位置确定为所述中边界，所述中边界对应的停顿程度小于所述强边界；将所述播报文本中除所述强边界与所述中边界以外的位置确定为所述弱边界，所述弱边界不对应停顿。

6、于本技术的第一方面的一些实施例中，所述按预置的异常判据对所述流式数据执行异常检测，得到异常事件集合，包括：针对每一所述数据源预置概率密度模型，所述概率密度模型由若干可逆变换级联构成，用于将所述数据源的数据分布映射为基准分布；将当前时刻的所述流式数据输入所述概率密度模型，得到该流式数据在由相应历史数据所确定的条件分布下的对数似然；以所述对数似然的负值与该数据源的基线值之和作为异常分数，并将所述异常分数满足所述异常判据的流式数据确定为所述异常事件，由各所述异常事件构成所述异常事件集合。

7、于本技术的第一方面的一些实施例中，所述关联关系包括所述异常事件之间的传播路径；所述确定所述异常事件集合中各异常事件之间的关联关系，包括：以各所述数据源所对应的传感节点为节点、以各所述传感节点之间的物理连接关系与数据相关关系为边，构建随时刻更新的动态拓扑图；为各所述传感节点维护随所接收消息更新的记忆向量，并根据所述记忆向量、相邻传感节点的记忆向量以及相邻传感节点之间的连接关系确定节点间消息，对各所述节点间消息聚合后得到各所述传感节点的节点嵌入；根据各所述传感节点的节点嵌入，确定由发生所述异常事件的传感节点至其他传感节点的所述传播路径。

8、于本技术的第一方面的一些实施例中，所述异常事件的特征包括时序特征、空间特征与拓扑特征；所述对所述异常事件的特征和所述关联关系执行编码，得到所述异常事件的目标事件表示，包括：由第一编码器对所述时序特征执行编码得到时序特征向量，并由第二编码器对所述空间特征与所述拓扑特征执行编码得到图结构特征向量；以所述时序特征向量与所述图结构特征向量为输入执行跨模态注意力融合，得到融合特征；对所述融合特征执行矢量量化，将所述融合特征离散化为由若干语义标记依序排列构成的语义标记序列，以所述语义标记序列作为所述目标事件表示。

9、于本技术的第一方面的一些实施例中，所述以所述目标事件表示为生成条件，生成与所述异常事件相对应的播报文本，包括：根据所述关联关系确定所述异常事件所对应的因果链，并由所述目标事件表示、所述异常事件与所述因果链构造提示信息；将所述提示信息输入预训练语言模型，得到按当前故障现象、故障传播路径、根因以及处置建议分层组织的所述播报文本。

10、于本技术的第一方面的一些实施例中，所述优先级规则为评分模型输出的评分；所述按预置的优先级规则确定所述播报队列中各所述待播报事件的播报次序，包括：以各所述待播报事件所对应的所述异常事件的异常程度确定所述重要程度，以各所述待播报事件所对应异常的严重程度确定所述紧急程度，并按所述重要程度、所述待播报事件的发生时刻与当前时刻之间的时间间隔以及所述紧急程度确定各所述待播报事件的评分；其中，所述评分随所述重要程度增大而增大、随所述时间间隔增大而衰减、且随所述紧急程度增大而增大；以当前播报能力为查询、以各所述待播报事件的特征为键、以各所述待播报事件的内容表示为值，对各所述待播报事件的评分执行多头注意力计算；根据各注意力头的输出融合得到优先级，并按所述优先级由高至低确定所述播报队列中各所述待播报事件的所述播报次序。

11、于本技术的第一方面的一些实施例中，所述确定所述音频流与所述面部动画参数序列之间的时间偏移量，并按所述时间偏移量对所述面部动画参数序列执行校正，包括：分别对所述音频流与所述面部动画参数序列执行卷积编码，得到音频嵌入序列与视觉嵌入序列；对所述音频嵌入序列与所述视觉嵌入序列执行互相关运算，并将使互相关取值最大的滞后量确定为所述时间偏移量；按所述时间偏移量将所述面部动画参数序列中相应帧的取值前移或者后移，并对校正后的所述面部动画参数序列中相邻若干帧执行插值平滑；其中，所述面部动画参数序列中各帧的时刻为所述音频流中相应音素的时刻与所述时间偏移量之和，所述音频流中各音素的时刻为所述突变事件的时刻与时序预测所对应的提前量之和。

12、除上述播报控制的基础链路之外，本技术的第一方面还提供如下附加的实施方式，用于使播报内容与用户当前所注视的数据区域相对应：

13、于本技术的第一方面的一些实施例中，所述方法还包括：采集所述数据大屏所在物理空间内的多通道音频流与视频流；对所述多通道音频流执行波束形成扫描，根据各扫描方向上的输出功率确定声源方向，并结合各通道之间的到达时间差确定声源距离，据以得到用户的第一位置估计；从所述视频流中检测人脸区域，并根据所述人脸区域估计所述用户的注视方向向量；将所述第一位置估计、所述用户的头部姿态与所述注视方向向量统一映射至同一世界坐标系，并对映射结果执行滤波预测，得到所述用户的注视点在所述世界坐标系中的位置；根据所述数据大屏的屏幕布局将所述注视点映射至所述数据大屏上的目标数据区域；根据所述目标数据区域与所述用户的位置确定所述数字人的姿态参数与手势动作，并对所述目标数据区域执行高亮显示；其中，所述目标事件表示还以所述目标数据区域为生成条件，使所生成的所述播报文本与所述目标数据区域相对应；并且，所述播报队列中各所述待播报事件的所述播报次序还根据所述目标数据区域相对于上一时刻的变化确定。

14、于本技术的第一方面的一些实施例中，所述对所述多通道音频流执行波束形成扫描，根据各扫描方向上的输出功率确定声源方向，并结合各通道之间的到达时间差确定声源距离，据以得到用户的第一位置估计，包括：根据所述多通道音频流的协方差矩阵，按最小方差无失真响应准则确定各扫描方向上的波束形成权重，并将输出功率最大的扫描方向确定为所述声源方向；将所述多通道音频流的频谱特征输入深度神经网络，得到所述用户在各空间位置上的概率分布，并根据所述概率分布得到第二位置估计；以自适应融合权重对所述第一位置估计与所述第二位置估计执行加权融合，并将融合结果作为所述第一位置估计。

15、于本技术的第一方面的一些实施例中，所述从所述视频流中检测人脸区域，并根据所述人脸区域估计所述用户的注视方向向量，包括：从所述视频流的当前帧中检测并裁剪出所述人脸区域，提取所述人脸区域的图像特征并对所述图像特征执行全局池化，得到人脸特征向量；对所述人脸特征向量执行回归处理，得到表征所述注视方向的单位向量，并以所述单位向量与所述注视方向的真值之间的夹角作为训练损失。

16、于本技术的第一方面的一些实施例中，所述将所述第一位置估计、所述用户的头部姿态与所述注视方向向量统一映射至同一世界坐标系，并对映射结果执行滤波预测，包括：以齐次变换矩阵将所述世界坐标系、所述数据大屏的屏幕坐标系与所述用户的用户坐标系相互转换，所述齐次变换矩阵由所述数据大屏的安装姿态与图像采集装置的姿态确定；以所述用户在所述世界坐标系中的位置与速度为状态向量，对所述状态向量执行预测与更新，得到更新后的状态向量；按所述更新后的状态向量所指示的位置与所述注视方向向量，确定所述注视点在所述世界坐标系中的位置；其中，当所述用户的运动满足非线性条件时，以粒子滤波替代所述预测与所述更新。

17、于本技术的第一方面的一些实施例中，所述根据所述目标数据区域与所述用户的位置确定数字人的姿态参数与手势动作，包括：以所述目标数据区域的中心为目标点，对所述数字人的眼部位置与所述目标点执行反向运动学求解，得到所述数字人的头部朝向；根据所述用户在所述世界坐标系中的位置确定所述数字人的身体朝向，并按预置的插值系数由当前身体朝向过渡至所述身体朝向；当所述目标数据区域相对于上一时刻发生变化时，触发所述数字人执行指向所述目标数据区域的手势动作，并对所述目标数据区域执行高亮显示。

18、除上述空间交互定位之外，本技术的第一方面还提供如下附加的实施方式，用于将播报内容由告警现象延伸至故障根因与故障传播路径：

19、于本技术的第一方面的一些实施例中，所述方法还包括：获取监测对象的历史运行数据，基于条件独立性检验对所述历史运行数据执行因果发现，构建表征各监测变量之间因果关系的因果图；按滑动窗口获取所述监测对象的实时运行数据，在所述滑动窗口内对所述监测变量两两执行时序因果检验，并根据检验结果更新所述因果图；响应于告警事件，在所述因果图中确定所述告警事件所对应节点的祖先节点，并提取由各所述祖先节点至所述告警事件所对应节点的传播路径，得到根因候选集合；对所述因果图执行图编码得到图表示向量，并以所述图表示向量、所述根因候选集合与所述告警事件为生成条件，生成包含故障现象、故障传播路径与根因的播报文本；按预置的根因评分对所述根因候选集合中的各候选节点排序，所述根因评分随该候选节点作为根因的概率增大而增大、随该候选节点的异常严重程度增大而增大、且随当前时刻与所述告警事件的发生时刻之间的时间间隔增大而衰减；根据所述播报文本驱动数字人执行根因播报，并按所述滑动窗口更新后的所述实时运行数据增量更新所述因果图。

20、于本技术的第一方面的一些实施例中，所述基于条件独立性检验对所述历史运行数据执行因果发现，构建表征各监测变量之间因果关系的因果图，包括：以各所述监测变量为节点初始化完全无向图，按条件集的阶数由低至高对相邻节点对执行条件独立性检验，将满足条件独立的边删除，并记录相应的分离集；根据各所述分离集对满足预设结构的三元组执行方向推断，得到有向边，并按传递定向规则完成其余边的定向，得到所述因果图；当存在未观测的混淆变量时，输出包含部分定向边与双向边的祖先图作为所述因果图；或者以评分函数为准则对所述因果图执行前向加边与后向删边的贪心搜索。

21、于本技术的第一方面的一些实施例中，所述在所述滑动窗口内对所述监测变量两两执行时序因果检验，并根据检验结果更新所述因果图，包括：对所述滑动窗口内的第一监测变量与第二监测变量执行格兰杰因果检验，得到所述第一监测变量是否为所述第二监测变量的格兰杰原因的检验结果；计算由所述第一监测变量至所述第二监测变量的传递熵，并将同时满足所述格兰杰因果检验与所述传递熵所对应的判据的所述第一监测变量确定为所述第二监测变量的因果父节点；在所述因果图中添加由所述因果父节点指向所述第二监测变量的有向边，并以所述格兰杰因果检验的统计量确定所述有向边的置信度。

22、于本技术的第一方面的一些实施例中，所述对所述因果图执行图编码得到图表示向量，并以所述图表示向量、所述根因候选集合与所述告警事件为生成条件，生成包含故障现象、故障传播路径与根因的播报文本，包括：对各所述监测变量的节点特征执行节点嵌入并叠加位置编码，得到各节点的初始表示；以所述因果图的邻接关系为掩码执行图注意力计算，其中对应于不存在边的节点对的位置以负无穷偏置参与所述图注意力计算，得到各节点的目标层表示，并对各所述目标层表示执行图池化，得到所述图表示向量；按故障现象、故障传播路径、根因及根因置信度、处置建议的分层结构构造提示信息，并将所述图表示向量、所述根因候选集合与所述告警事件填入所述提示信息后输入预训练语言模型，得到所述播报文本。

23、于本技术的第一方面的一些实施例中，所述根因评分中所述候选节点作为根因的概率，由该候选节点的各父节点指向该候选节点的有向边的置信度反向传播确定；所述按所述滑动窗口更新后的所述实时运行数据增量更新所述因果图，包括：对所述因果图中已有的各条边重新执行所述条件独立性检验，将检验结果发生变化的边予以更新，并对所述滑动窗口内新发现的因果关系按其置信度满足预置条件时添加至所述因果图。

24、为实现上述目的及其他相关目的，本技术的第二方面提供一种数据大屏数字人助手系统，包括数据获取模块、变化特征提取模块、异常分析模块、事件压缩模块、叙事生成模块、播报仲裁模块、帧级同步播报模块、空间交互定位模块、故障根因播报模块以及场景调度模块；

25、其中，所述数据获取模块，用于获取数据大屏所关联数据源的流式数据，所述流式数据包括实时采集的实时数据流；所述变化特征提取模块，用于确定所述流式数据随时间的变化特征量，所述变化特征量表征所述数据源的数据变化状态；所述异常分析模块，用于按预置的异常判据对所述流式数据执行异常检测，得到异常事件集合，并确定所述异常事件集合中各异常事件之间的关联关系；所述事件压缩模块，用于对所述异常事件的特征和所述关联关系执行编码，得到所述异常事件的目标事件表示；所述叙事生成模块，用于以所述目标事件表示为生成条件，生成与所述异常事件相对应的播报文本；所述播报仲裁模块，用于按预置的优先级规则，确定由所述播报文本所对应的待播报事件构成的播报队列中各所述待播报事件的播报次序；所述帧级同步播报模块，用于根据所述变化特征量确定所述播报文本的韵律边界，并按所述韵律边界将所述播报文本合成为音频流；将所述音频流转换为所述数字人的面部动画参数序列，确定所述音频流与所述面部动画参数序列之间的时间偏移量，按所述时间偏移量对所述面部动画参数序列执行校正，并按校正后的所述面部动画参数序列与所述音频流驱动所述数字人的渲染输出。

26、所述空间交互定位模块，用于采集所述数据大屏所在物理空间内的多通道音频流与视频流，据以确定用户的第一位置估计与所述用户的注视方向向量，将所述用户的注视点映射至所述数据大屏上的目标数据区域，并根据所述目标数据区域与所述用户的位置确定所述数字人的姿态参数与手势动作；故障根因播报模块，用于构建并在线更新表征各监测变量之间因果关系的因果图，响应于告警事件在所述因果图中确定根因候选集合并生成包含故障现象、故障传播路径与根因的播报文本，且按预置的根因评分对所述根因候选集合中的各候选节点排序；场景调度模块，用于根据场景模式确定所述变化特征提取模块、所述异常分析模块、所述事件压缩模块、所述叙事生成模块、所述播报仲裁模块、所述帧级同步播报模块、所述空间交互定位模块与所述故障根因播报模块的启用状态与优先级。

27、为实现上述目的及其他相关目的，本技术的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述数字人播报控制方法。

28、为实现上述目的及其他相关目的，本技术的第四方面提供一种计算机程序产品，所述计算机程序产品中包括计算机程序代码，当所述计算机程序代码在计算机上运行时，使得所述计算机实现上述数字人播报控制方法。

29、为实现上述目的及其他相关目的，本技术的第五方面提供一种电子终端，包括存储器、处理器及存储在存储器上的计算机程序；所述处理器执行所述计算机程序以实现上述数字人播报控制方法。

30、如上所述，本技术的数字人播报控制方法、系统、介质及终端，具有以下有益效果：

31、其一，本技术以流式数据随时间的变化特征量驱动异常检测与播报文本的生成，使讲解内容由数据自身的变化触发，而非依赖讲解人员的个人经验与人工切换视图，因而提高了讲解内容的标准化程度，并使讲解内容与数据更新保持同步。

32、其二，本技术以数据的变化特征量确定播报文本的韵律边界，使语音上的停顿与语调变化位置对应于数据发生突变与趋势转折的位置，关键数据在听觉上得到强调。

33、其三，本技术对音频流与面部动画参数序列执行互相关运算求出时间偏移量并据以校正，使音频与面部动画在帧级别上彼此对齐，避免了工业数据高频跳变场景下口型与声音不匹配以及播报延迟的问题。

34、其四，本技术将异常事件的特征与关联关系编码并矢量量化为语义标记序列后生成播报文本，在保留必要信息的同时压缩了文本生成的输入规模，并按重要程度、紧急程度与时效衰减确定播报次序，避免了对海量传感数据全量播报所造成的信息过载。

35、其五，本技术通过多通道音频流的波束形成扫描与视频流中的人脸检测确定用户的注视点及其在数据大屏上所对应的目标数据区域，据此调整播报内容、播报次序以及数字人的姿态与手势，使解说内容与用户当前关注的数据区域相匹配。

36、其六，本技术通过离线因果发现与在线时序因果检验构建并持续更新因果图，据以确定根因候选集合并生成包含故障现象、故障传播路径与根因的播报文本，使运维人员可依据播报内容直接定位故障源头；同时各处理环节按数据片段流式衔接，缩短了自数据变化至播报输出的等待时间。