结合群体行为识别的数字人视线控制方法及系统与流程

本发明涉及数字人控制，具体涉及结合群体行为识别的数字人视线控制方法及系统。

背景技术：

1、数字人是由计算机生成的、存在于数字世界中并具有人类形态和交互能力的虚拟角色。在多人视频会议场景中，ai虚拟助理作为数字人的典型应用，需要通过视线控制来模拟自然的人际交互行为，例如在多名参会者之间切换视线焦点，以表明关注对象和参与状态。

2、传统方法主要基于音频能量检测当前发言者，驱动数字人的视线简单跟随该发言者移动，即谁的声音大就将视线投向谁。该方法实现简单、计算开销小，在单人发言场景下能够基本满足需求。然而，仅依赖音频能量跟随发言者，容易在插话场景中导致视线频繁跳变，在多人同时发言时无法确定唯一的视线目标，在静默期则缺乏明确的视线指向，导致视线切换生硬、停顿感强。同时，该方法忽略了头部姿态、肩部朝向、肢体动作等非语言社交线索。因此，仅基于音频驱动的视线控制方式难以模拟自然的社交视线行为，降低了数字人与用户之间的交互自然度和用户触达率。

技术实现思路

1、本发明针对现有技术中仅依赖音频能量驱动视线、忽略头部姿态与肢体动作等非语言社交线索、导致视线切换生硬及交互自然度低的技术问题，提供一种结合群体行为识别的数字人视线控制方法及系统。

2、本发明解决上述技术问题的技术方案如下：

3、第一方面，本发明提供了结合群体行为识别的数字人视线控制方法，包括：

4、响应多路视频流输入，识别数字人所在视频会议场景中的多个参会者作为候选交互对象，并提取每一参会者的行为参数集；

5、基于每一参会者的头部俯仰角时序序列，计算相应参会者注视方向与数字人视线方向的偏离角，并根据所述偏离角及肩部朝向角，获取社交注意力权重；

6、基于连续的视频帧图像序列，结合肩部两侧关键点坐标时序序列，生成相应的肩部关键点位移轨迹与方向变化序列，并结合位移幅度与方向变化次数，计算交互活跃度；

7、以所述社交注意力权重和所述交互活跃度为乘性约束，对相应参会者的音频能量瞬时值进行修正，得到修正能量值，并按照所述修正能量值从高到低对全部参会者进行排序，生成动态视线目标序列；

8、控制所述数字人的视线焦点在所述动态视线目标序列中的各目标间进行插值移动，获得当前视线焦点与下一视线目标之间的平滑路径，并结合相邻目标的社交注意力权重比值调整所述平滑路径的起始斜率，生成视线移动轨迹。

9、第二方面，本发明提供了结合群体行为识别的数字人视线控制系统，包括：

10、识别与数据采集模块，用于响应多路视频流输入，识别数字人所在视频会议场景中的多个参会者作为候选交互对象，并提取每一参会者的行为参数集；

11、注意力权重计算模块，用于基于每一参会者的头部俯仰角时序序列，计算相应参会者注视方向与数字人视线方向的偏离角，并根据所述偏离角及肩部朝向角，获取社交注意力权重；

12、交互活跃度计算模块，用于基于连续的视频帧图像序列，结合肩部两侧关键点坐标时序序列，生成相应的肩部关键点位移轨迹与方向变化序列，并结合位移幅度与方向变化次数，计算交互活跃度；

13、视线目标序列生成模块，用于以所述社交注意力权重和所述交互活跃度为乘性约束，对相应参会者的音频能量瞬时值进行修正，得到修正能量值，并按照所述修正能量值从高到低对全部参会者进行排序，生成动态视线目标序列；

14、视线移动轨迹生成模块，用于控制所述数字人的视线焦点在所述动态视线目标序列中的各目标间进行插值移动，获得当前视线焦点与下一视线目标之间的平滑路径，并结合相邻目标的社交注意力权重比值调整所述平滑路径的起始斜率，生成视线移动轨迹。

15、本发明的有益效果是：

16、相较于现有技术，本发明首先融合多路视频流与音频流，从头部姿态、肩部朝向、肢体动作及语音能量四个维度全面感知参会者的交互状态，克服了单一音频驱动的局限性。其次，通过头部俯仰角偏离角与肩部朝向角加权融合计算社交注意力权重，使数字人能够精准识别真正关注自身的参会者，避免视线投向注意力分散的目标。再次，基于肩部关键点位移轨迹和方向变化次数量化交互活跃度，将肢体语言的社交意图引入视线决策，增强数字人对主动交互意愿的感知能力。最后，将社交注意力权重和交互活跃度作为乘性约束修正音频能量，生成动态排序的视线目标序列，并采用贝塞尔曲线插值与斜率调整生成平滑视线移动轨迹，使视线切换符合真实人际交互的生理特性。本发明提升了数字人在多人会议场景中的视线交互自然度与用户沉浸感。

1.结合群体行为识别的数字人视线控制方法，其特征在于，所述方法包括：

2.根据权利要求1所述的结合群体行为识别的数字人视线控制方法，其特征在于，所述行为参数集至少包括头部俯仰角时序序列、肩部朝向角时序序列以及肩部两侧关键点坐标时序序列。

3.根据权利要求1所述的结合群体行为识别的数字人视线控制方法，其特征在于，基于每一参会者的头部俯仰角时序序列，计算相应参会者注视方向与数字人视线方向的偏离角，并根据所述偏离角及肩部朝向角，获取社交注意力权重，包括：

4.根据权利要求1所述的结合群体行为识别的数字人视线控制方法，其特征在于，获取连续的视频帧图像序列，结合肩部两侧关键点坐标时序序列，生成相应的肩部关键点位移轨迹与方向变化序列，包括：

5.根据权利要求1所述的结合群体行为识别的数字人视线控制方法，其特征在于，结合位移幅度与方向变化次数，计算交互活跃度，包括：

6.根据权利要求1所述的结合群体行为识别的数字人视线控制方法，其特征在于，以所述社交注意力权重和所述交互活跃度为乘性约束，对相应参会者的音频能量瞬时值进行修正，得到修正能量值，并按照所述修正能量值从高到低对全部参会者进行排序，生成动态视线目标序列，包括：

7.根据权利要求1所述的结合群体行为识别的数字人视线控制方法，其特征在于，控制所述数字人的视线焦点在所述动态视线目标序列中的各目标间进行插值移动，获得当前视线焦点与下一视线目标之间的平滑路径，包括：

8.根据权利要求7所述的结合群体行为识别的数字人视线控制方法，其特征在于，所述下一视线目标位置的确定步骤包括：

9.根据权利要求1所述的结合群体行为识别的数字人视线控制方法，其特征在于，结合相邻目标的社交注意力权重比值调整所述平滑路径的起始斜率，生成视线移动轨迹，包括：

10.结合群体行为识别的数字人视线控制系统，其特征在于，用于执行权利要求1-9任一项所述的结合群体行为识别的数字人视线控制方法，包括：