一种语音驱动数字人动作生成方法

本发明涉及人工智能领域，具体来说涉及语音识别和人机交互，更具体地说，涉及一种语音驱动数字人动作生成方法。

背景技术：

1、在数字人视频生成与实时交互系统中，语音内容与肢体动作能否实现精准、自然且低时延的同步，是影响数字人交互沉浸感与表现力的关键技术因素。随着数字人在智能客服、虚拟主播、在线教育、数字文娱等场景中的应用需求增长，语音驱动的动作生成技术成为提升数字人智能化水平与工程化落地能力的重要手段，其生成质量、响应速度及可控程度直接关系到系统的实用性与用户体验。现有技术围绕语音到动作的生成主要形成如下实现路径：其一，基于扩散模型的端到端生成方式能够获得较高质量的生成结果，但通常属于黑盒式生成，难以对特定动作细节进行精确控制，且推理计算开销大、生成延迟高，不利于实时交互部署；其二，基于显式运动参数的生成方式通过预测三维运动参数并结合渲染得到视频结果，虽在一定程度上提升了可控性，但整体链路长、步骤多，误差易累积放大，且语音与具体动作之间的映射存在模糊性，易出现动作僵硬、自然度不足等问题；其三，基于预制动作库的轻量化生成方式依赖动作片段匹配与拼接以满足实时性需求，但受限于动作库规模及覆盖范围，动作表现力与多样性不足，片段间过渡不连续，难以适配复杂多变的语音表达。

2、综上，现有技术中，扩散模型黑盒不可控且延迟高；显式参数预测链路长、误差易累积、自然度不足；预制动作库实时性好但表现力受限、过渡不连续。现有方案普遍难以同时兼顾动作生成的高自然度/高表现力、对动作的精确可控以及工业级实时运行效率，仍缺乏一种能够在上述指标之间实现协同满足的技术方案，从而构成亟待解决的技术缺口。

3、需要说明的是：本背景技术仅用于介绍本发明的相关信息，以便于帮助理解本发明的技术方案，但并不意味着相关信息必然是现有技术。相关信息与本发明方案一同提交和公开，在没有证据表明相关信息已在本发明的申请日以前公开的情况下，相关信息不应被视为现有技术。

技术实现思路

1、因此，本发明的目的在于克服上述现有技术的缺陷，提供一种语音驱动数字人动作生成方法。

2、本发明的目的是通过以下技术方案实现的：

3、根据本发明的第一方面，提供一种语音驱动数字人动作生成方法，包括步骤：s1、读取与当前数字人角色对应的动作资源配置文件，根据配置文件建立动作集合，动作集合中的每个动作关联预设元数据，所述元数据包括动作资源、动作语义描述、预动作时间和动作持续时间；s2、从语音信号中识别文本内容得到原始语素序列，将该序列中每个语素与语音信号中对应音段逐帧匹配和对齐，得到带语素级起止时间戳的对齐语素序列；s3、将对齐语素序列、动作集合中的动作名称及其动作语义描述输入大模型，引导大模型在对齐语素序列中各语义触发点插入对应动作名称的结构化标签，得到能用于审核、编辑的动作标签脚本；s4、解析所述动作标签脚本，提取各动作标签对应的动作名称及其插入位置，将插入位置转换为各动作标签在对齐语素序列中的语素索引；s5、根据语素索引在对齐语素序列中定位动作的关联语素，选取关联语素的起始时间戳作为动作对应的语音锚点时间，结合对应预动作时间确定动作实际播放起点；s6、按时间升序排列各动作实际播放起点，依次检测相邻动作的时间重叠并消解，得到无重叠动作序列；s7、检测无重叠动作序列中相邻动作之间的空白区间，若存在空白区间，则填充自然衔接空白片段的过渡片段，得到连续动作序列；s8、根据连续动作序列中各动作的实际播放起点和动作持续时间，对动作资源进行帧级裁剪与顺序组合，形成与语音信号时长一致的最终动作序列。该方案至少能够实现以下有益技术效果：将概率生成动作转变为在确定性时间轴上调度组合动作资源，以语音对齐时间轴为确定性约束实现动作触发的精准同步和可复现；以大语言模型生成可解释语义动作标签实现逐语素级动作可控编排和可审核编辑；以动作集合的确定性调度与重叠冲突消解实现长文本播报中的稳定、无重叠动作序列；以自然过渡填充机制提升拼接连贯性与观感；并通过模块化动作资源集合与轻量调度架构显著降低算力与部署成本、提升可维护性与可扩展性。

4、可选的，步骤s2包括：s21、获取语音信号，采用语音识别与强制对齐技术对语音内容进行自动识别，将连续的音频波形转换为离散的原始语素序列，并将该原始语素序列中每个语素与语音信号中的对应音段进行逐帧匹配，通过动态时间规整算法计算最优对齐路径，确定每个语素在音频时间轴上的起止位置，得到带语素级起止时间戳的初始对齐序列，其中，语素为词或者字符；s22、对初始对齐序列执行文本清洗操作，将繁体语素转换为简体形式并去除标点符号，得到对齐语素序列。该方案至少能够实现以下有益技术效果：过语素级强制对齐建立精确的语音时间轴锚点，避免仅依赖声学特征导致的触发漂移与不可解释问题；通过文本清洗增强语素索引稳定性，为后续动作调度提供可靠的确定性时间基准，更好地支撑播报场景下的低延迟实时调度与稳定同步。

5、可选的，所述步骤s3包括：引导大语言模型在对齐语素序列中识别与动作相关预设语义类别的语素作为语义触发点，并依据预定语义-动作映射规则确定各语义触发点对应动作名称，以[动作名称]的形式将动作标签插入各语义触发点位置。该方案至少能够实现以下有益技术效果：将大语言模型的作用限定为语义理解中介与标签生成器，不直接生成连续运动轨迹，从而将黑盒概率动作生成转化为可审核的语义动作脚本生成，实现逐语素级、基于深层语义逻辑的确定性动作指令映射，显著提高动作编排的可编辑性与一致性，满足语音播报动作的可审核与可控输出需求。

6、可选的，步骤s5包括：s51、根据语素索引在对齐语素序列中定位关联语素，选取该关联语素的起始时间戳作为语音锚点时间；s52、读取该动作名称对应的预动作时间，将语音锚点时间减去预动作时间后取非负值，得到动作实际播放起点。该方案至少能够实现以下有益技术效果：基于预动作-执行机制，使动作起势阶段自然发生在关键词发音之前，让动作关键姿态更接近关键词发音时刻，提升动作与语音节奏的耦合程度。

7、可选的，步骤s6包括：s61、按时间升序排列各动作实际播放起点，初始化前一动作结束时刻；s62、依次检测当前动作起始时刻与前一动作结束时刻，若当前动作起始时刻小于前一动作结束时刻，则判定为时间重叠，剔除冗余的当前动作或者顺延当前动作；若不重叠，则更新前一动作结束时刻为当前动作起始时刻加上动作持续时间，得到无重叠动作序列。该方案至少能够实现以下有益技术效果：通过重叠检测与冲突消解，避免长文本播报或高频动作触发场景中动作叠加、节奏紊乱等问题，提升动作序列在时间轴上的一致性。

8、可选的，步骤s7包括：s71、检测无重叠动作序列中相邻动作之间的空白区间，确定能填充的完整待机段数量及剩余不足部分；s72、对完整待机段以待机动作为基元直接填充，对剩余不足部分，截取待机片段前半段并与其时序镜像反转片段拼接，构造循环微动片段填充，得到时序连续动作序列。完整待机段和循环微动片段的组合即为填充的过渡片段。该方案至少能够实现以下有益技术效果：在不引入随机生成的前提下，通过镜像反转拼接构造循环微动过渡片段，有效消除动作拼接的突兀感，减少直接插入静止帧导致的机械停顿，提升整体视觉自然度与连贯性。

9、可选的，步骤s8包括：s81、根据连续动作序列中各动作的实际播放起点和动作持续时间，将时间区间换算为帧区间，对动作资源进行帧级裁剪；s82、将裁剪后的动作片段和过渡片段按时间顺序进行序列化组合，形成与语音信号时长一致的最终动作序列并输出。该方案至少能够实现以下有益技术效果：通过帧级精确裁剪与序列化组合，将计算负担从高成本模型推理转移到高效的时间计算与资源调度，使该技术能够在消费级gpu甚至cpu环境下实现稳定的准实时或超实时输出，并支持预览视频与运动数据流两种输出形态，满足快速验证与实时集成需求。

10、根据本发明的第二方面，提供一种计算机装置/设备/系统，包括存储器、处理器及存储在存储器上的计算机程序/指令，所述处理器执行所述计算机程序/指令以实现第一方面所述方法的步骤。

11、根据本发明的第三方面，提供一种计算机程序产品，其包括计算机程序/指令，该计算机程序/指令被处理器执行时实现第一方面所述方法的步骤。

12、与现有技术相比，本发明的优点在于：

13、本发明可以解决现有语音驱动数字人动作生成技术在播报型应用场景中难以兼顾实时性、确定性与语义可控性的问题。现有技术多采用扩散/生成式模型或多阶段显式运动参数预测路径：一方面，端到端扩散类方案推理延迟高、算力成本大，往往呈现异步或非流式形态，难以实现低成本稳定实时播报；另一方面，生成式动作输出具有概率随机性，缺乏可解释的语义-动作映射，难以实现“在说到某一关键词（如“第一”）的精确时刻触发指定动作（如 “比1”的手势）”的逐词级确定性控制；此外，多阶段姿态/参数预测—渲染链路复杂，误差易累积，工程维护成本高，且多人交互场景下还易出现音频与人物绑定错误、交互逻辑难以控制等新问题。为克服上述缺陷，本发明提出一种融合语音高精度时间轴对齐、大语言模型语义动作标签生成与角色动作集合确定性调度的语音驱动数字人动作生成方法，将“概率生成动作”转变为“在确定性时间轴上调度组合动作资源”，以实现面向播报任务的实时、可控、可审核与稳定输出。