基于面部追踪的虚拟现实情绪识别与自适应交互方法、系统

摘要: 本发明涉及图像处理分析,具体涉及一种基于面部追踪的虚拟现实情绪识别与自适应交互方法、系统。背景技术:1、虚拟现实技术可构建高沉浸、高临场感的人机交互环境,在教育...
基于面部追踪的虚拟现实情绪识别与自适应交互方法、系统

本发明涉及图像处理分析,具体涉及一种基于面部追踪的虚拟现实情绪识别与自适应交互方法、系统。

背景技术:

1、虚拟现实技术可构建高沉浸、高临场感的人机交互环境,在教育实训、心理舒缓、娱乐体验、仿真演练、远程协作等诸多领域具备广阔的应用前景。相较于传统二维屏幕交互,虚拟现实交互过程中用户的注意力状态、情绪波动及刺激耐受度对交互体验的影响更为直接。若虚拟现实系统可实时感知用户情绪状态,并动态调整场景交互反馈,能够有效提升人机交互的自然度、稳定性与安全性。

2、现有面部情绪识别方法大多依托外部摄像头采集完整人脸图像或视频序列,结合卷积神经网络、循环神经网络、transformer等深度学习模型实现情绪辨识。但在虚拟现实头戴设备的应用场景中,用户上半面部常被头显设备遮挡,外部摄像头无法稳定获取完整面部图像,导致传统图像式情绪识别方法难以适配虚拟现实交互场景,适用性与实用性大幅受限。

3、以pico4 pro为代表的主流虚拟现实头显设备,内置专用面部追踪接口,可输出与arkit标准对齐的五十二维表情基(blend shapes,缩写为bs,即混合形状)面部动作系数。该类结构化时序参数具备维度精简、格式规范、隐私风险低、适配端侧实时传输与推理等优势,为虚拟现实场景下的面部状态感知提供了全新数据支撑。但受用户个体静息脸型差异、表情幅度区别、设备佩戴松紧度不一致及传感采集噪声等因素影响,直接利用原始表情基系数开展情绪识别,存在跨用户泛化能力弱、弱情绪状态与中性状态易混淆、时序预测抖动干扰交互效果等技术问题。

技术实现思路

1、本发明克服了现有技术的不足,本发明提供一种基于面部追踪的虚拟现实情绪识别与自适应交互方法及系统,针对现有技术中外部摄像头在虚拟现实头显场景下面部遮挡严重、原始表情基跨用户差异明显、单次情绪预测易产生抖动以及识别结果难以直接落地到交互反馈问题。

2、为达到上述目的,本发明采用的技术方案为:一种基于面部追踪的虚拟现实情绪识别与自适应交互方法,包括以下步骤:

3、步骤s1,获取用户的面部动作数据,基于面部动作数据获得面部时序数据,面部时序数据包含多维表情基系数和时间戳;

4、步骤s2,对面部时序数据进行在线预处理,在线预处理包括时序维度清洗与时序特征标准化处理,获得预处理后的表情基序列;

5、步骤s3,基于预处理后的表情基序列构造动态时序特征,动态时序特征包括原始面部动作强度特征、一阶差分特征和二阶差分特征;

6、步骤s4,按照预设窗口长度和步长对动态时序特征进行滑动窗口序列化,得到固定长度的情绪识别输入样本;

7、步骤s5,将情绪识别输入样本输入时序情绪识别模型,输出不同情绪的概率分布;

8、步骤s6,对概率分布进行时间平滑、置信度阈值判断和连续窗口确认,得到稳定情绪状态;

9、步骤s7,根据稳定情绪状态控制虚拟现实场景中的交互反馈参数。

10、本发明一个优选的实施方案中,步骤s5中不同情绪的概率分布包括快乐、悲伤、惊恐和中性四类情绪的概率分布;

11、步骤s7中的交互反馈参数包括光照、色调、音效、提示文本、交互节奏和安全保护等级中的至少一种。

12、本发明一个优选的实施方案中,还包括步骤s8,记录情绪概率、稳定输出、交互触发事件和时间戳,用于后续回放、分析和系统调试。

13、本发明一个优选的实施方案中,步骤s1中采集的面部动作数据包括:与增强现实工具包(augmented reality kit,arkit)标准对齐的多维的表情基系数,表情基系数用于表征眨眼、张嘴、嘴角变化、眉毛变化、脸颊变化和嘴唇运动中的至少一种局部面部动作强度。

14、本发明一个优选的实施方案中,步骤s2中的时序维度清洗与时序特征标准化处理包括:缺失值修复、异常帧修复、平滑去噪、中性基线扣除和鲁棒归一化。

15、具体地,缺失值修复包括:采用前向填充与后向填充相结合的方式处理csv(comma-separated values,逗号分隔值)读取阶段的缺失值,优先使用前一有效帧数值填充,序列起始位置缺失则用后一有效帧补充,仍无法填补的空值置为0。

16、具体地,异常帧修复包括:对表情基系数进行[0,1]值域裁剪,并通过相邻帧差分检测异常帧,若某帧平均变化幅度超过全序列均值与三倍标准差之和,则用前后相邻帧均值替换。

17、具体地,平滑去噪包括:采用卷积平滑滤波器(savitzky-golay滤波器)对每个表情基通道进行平滑处理,窗口长度设为7,多项式阶数设为3,在去除噪声的同时保留表情局部形态和峰值特征。

18、具体地,中性基线扣除包括:在用户进入虚拟现实系统后采集一段自然中性表情下的表情基序列,计算该用户的中性基线向量,并将后续每一帧表情基向量减去中性基线向量,以得到相对于用户中性表情的面部动作变化量。

19、具体地,鲁棒归一化包括:使用训练阶段得到的中位数和四分位距参数对在线输入进行尺度变换,以保持训练阶段和部署阶段的特征空间一致。

20、本发明一个优选的实施方案中,步骤s3中的一阶差分特征用于表示相邻帧面部动作变化速度,二阶差分特征用于表示面部动作变化趋势;每帧动态时序特征由五十二维原始表情基、五十二维一阶差分和五十二维二阶差分拼接得到;

21、步骤s4中滑动窗口长度为六十四帧,窗口输入样本为六十四乘一百五十六的时序特征矩阵;

22、步骤s5中的时序情绪识别模型包括cnn-transformer模型、时序卷积网络模型、双向长短期记忆网络模型或轻量transformer模型中的至少一种。

23、本发明一个优选的实施方案中,步骤s5中时序情绪识别模型采用cnn-transformer模型,包括:

24、cnn-transformer模型先通过一维卷积提取局部表情动态特征,再通过transformer编码器建模窗口内的全局时序依赖关系;

25、时序情绪识别模型采用跨被试训练评估方式进行训练,在每一折中将一名被试作为测试对象,将其余被试划分为训练对象和验证对象,并仅使用训练对象数据拟合归一化参数、类别权重和模型参数。

26、具体地,为减小不同类别窗口样本数量差异对模型训练的影响,训练过程中采用加权交叉熵损失函数:

27、;

28、其中,wi为类别权重,yi为真实标签,为预测概率。

29、本发明一个优选的实施方案中,步骤s6中的时间平滑采用指数滑动平均对连续窗口概率分布进行平滑,且仅当最大类别概率大于预设置信度阈值并在连续多个窗口中保持一致时,触发稳定情绪状态输出,指数滑动平均具体公式为:

30、;

31、其中,α为指数滑动平均系数,取值范围为;pt为四类情绪概率向量,为经时间平滑后的概率向量,为前一窗口的平滑概率向量。

32、s7中当稳定情绪状态为快乐时,提高场景亮度、色彩饱和度、积极提示强度或正向音效活跃度;当稳定情绪状态为悲伤时,降低任务压力、使用柔和色调和安抚性提示;当稳定情绪状态为惊恐时,降低刺激强度、降低交互难度、减少突发音效并提供暂停或退出提示;当稳定情绪状态为中性时,保持默认场景状态。

33、本发明一个优选的实施方案中,步骤s7还包括安全保护机制,安全保护机制在检测到惊恐状态或低置信度频繁波动时,提高安全保护等级,并通过冷却时间限制连续强反馈触发。

34、本发明一个优选的实施方案中,一种基于面部追踪的虚拟现实情绪识别与自适应交互系统,用于实现基于面部追踪的虚拟现实情绪识别与自适应交互方法,包括:

35、数据采集模块,用于读取pico头显输出的五十二维表情基面部动作数据;

36、在线预处理模块,用于对面部动作数据执行基线扣除、归一化、差分特征构造和滑动窗口缓存;

37、模型推理模块,用于加载训练完成的时序情绪识别模型并输出四类情绪概率分布;

38、输出稳定模块,用于根据时间平滑、置信度阈值和连续窗口确认得到稳定情绪状态;

39、交互控制模块,用于根据稳定情绪状态调整虚拟现实场景中的光照、色调、音效、提示文本、交互节奏和安全保护等级;

40、日志记录模块,用于记录模型输出概率、触发事件和时间戳。

41、本发明解决了技术背景中存在的缺陷,本发明有益的技术效果是:

42、1、本发明通过中性基线扣除和鲁棒归一化将不同用户的绝对面部系数转换为相对变化量,有利于降低静息脸型、佩戴状态和表情幅度差异对跨用户情绪识别的影响。

43、2、本发明通过一阶差分和二阶差分构造动态特征,使模型同时利用面部动作强度、变化速度和变化趋势,提高对时序情绪模式的表达能力。

44、3、本发明采用时序神经网络对滑动窗口进行建模,并通过跨被试训练评估方式提高模型在新用户场景下的泛化能力。

45、4、本发明在模型输出之后加入时间平滑、置信度阈值、连续窗口确认和冷却机制,使情绪识别结果能够更稳定地驱动虚拟现实交互反馈,避免单次误判导致强烈场景变化。

46、5、本发明将情绪识别结果映射为光照、色调、音效、提示文本、交互节奏和安全保护等级等柔性反馈,实现了从离线情绪识别到虚拟现实自适应交互的工程化衔接。