一种基于面部动态分析的表达反馈方法及系统
本发明涉及面部表情分析与训练,更具体的,涉及一种基于面部动态分析的表达反馈方法及系统。
背景技术:
1、在专业表达能力培养、演艺表情管理等场景中,面部表情动作的精准评估与针对性反馈是提升训练效率的核心环节。随着计算机视觉与面部关键点检测技术的发展,基于视觉采集的表情评估方案逐步替代传统人工观察模式,在一定程度上提升了评估的客观性与可量化性。然而现有面部动态分析系统仍存在明显技术短板:其一,多以单帧关键点匹配为核心输出整体表情评分,评估维度局限于静态姿态准确度,忽略了表情过渡阶段的时序相位一致性,无法完整反映连续表情动作的动态质量;其二,仅能输出单轮训练的整体评价,无法在连续表情序列中精准定位具体的薄弱时序片段,反馈颗粒度较粗,难以支撑针对性的分段训练;其三,未对多轮训练数据进行稳定共性挖掘,难以区分单次偶发失误与长期存在的肌肉协同短板,无法为分段强化训练提供精准的数据依据,导致训练针对性不足,训练效率提升受限。
技术实现思路
1、本发明的目的在于提供一种基于面部动态分析的表达反馈方法及系统,用以解决现有技术中面部动态分析多依赖单帧关键点匹配输出整体评分,无法在连续表情动作序列中精准定位多轮训练下稳定存在的肌肉协同薄弱时序片段,且忽略表情过渡阶段的时序相位一致性,导致训练反馈颗粒度粗、定位精度不足,无法为分段强化训练提供有效依据,制约表情训练效率提升的技术问题。
2、鉴于上述技术问题,本发明提供了一种基于面部动态分析的表达反馈方法及系统。
3、第一方面,本发明提供了一种基于面部动态分析的表达反馈方法,该方法包括:
4、步骤s1:构建面部肌肉锚点基准集与表情训练范式库;
5、步骤s2:搭建面部动态时序采集库,分别与面部肌肉锚点基准集、表情训练范式库数据连通;在受试者进行多轮连续表情训练的过程中,逐帧采集面部运动关键点的时序坐标数据,对每一轮训练的完整表情序列,按标准时序划分对应生成多个局部表情帧段,每个局部表情帧段对应一个包含过渡过程的标准表情动作时段;
6、步骤s3:提取每个局部表情帧段的量化特征参数,构建受试者的时序特征数据集;
7、步骤s4:以肌肉协同匹配度与时序相位偏差为坐标轴构建二维特征空间,将所有轮次训练的全部局部表情帧段特征参数映射至二维特征空间形成特征点位;采用自适应密度栅格聚类方法,基于特征点位的整体统计分布特征自适应计算栅格尺度与密度判定阈值,对特征点位进行聚类划分,识别出落入低表现区间的高密度特征集聚类区;
8、步骤s5:将低表现特征集聚类区内的特征点位反向映射至对应的标准表情动作时段,基于各标准表情动作时段在多轮训练中落入低表现特征集聚类区内的频次统计结果,筛选出多轮训练中稳定存在的共性薄弱表情动作时段,作为分段强化训练的反馈依据。
9、优选的,所述步骤s1的具体实施过程包括:
10、所述面部肌肉锚点基准集依据面部功能肌肉群的影像位置分区布设;所述表情训练范式库存储有标准表情训练序列,每条标准表情训练序列均标注有按时序划分的若干标准表情动作时段及对应的标准肌肉运动幅度向量;
11、对面部肌肉锚点基准集中的全部面部肌肉锚点按肌肉分区统一编码,生成面部肌肉锚点标识,包括功能肌肉群编码属性和面部肌肉锚点编码属性;
12、对表情训练范式库中的标准表情训练序列及时段执行分层编码,生成标准表情动作时段标识,包括标准表情训练序列编码属性和标准表情动作时段编码属性;并获取标准表情动作时段对应的标准肌肉运动幅度向量。
13、优选的,所述步骤s2的具体实施过程包括:
14、所述面部运动关键点的时序坐标数据以三维形式存储每一帧中全部面部肌肉锚点的空间位置信息;
15、采集过程中,将受试者完成某一条标准表情训练序列时生成的某一轮训练数据,记为训练样本序列,所述训练样本序列中包括受试者编号、标准表情训练序列编号及训练轮次的属性信息;对训练样本序列按时序切片后,生成包含标准表情动作时段编号属性的局部表情帧段。
16、优选的,所述步骤s3的具体实施过程包括:
17、所述量化特征参数包括局部表情帧段的肌肉协同匹配度与时序相位偏差,所述肌肉协同匹配度基于局部表情帧段的实测肌肉运动幅度向量与标准肌肉运动幅度向量的相似度计算得到,所述时序相位偏差用于表征帧段过渡过程与标准时序的对齐程度;
18、所述肌肉协同匹配度通过如下方式计算:提取局部表情帧段内各功能肌肉群的面部肌肉锚点的位移极值,计算得到局部表情帧段的实测肌肉运动幅度向量;计算实测肌肉运动幅度向量与对应标准肌肉运动幅度向量的余弦相似度,将余弦相似度归一化至区间后,作为局部表情帧段的肌肉协同匹配度;
19、所述时序相位偏差通过如下方式确定:提取局部表情帧段的实际起始时刻与实际终止时刻,分别与对应标准表情动作时段的标准起始时刻、标准终止时刻作差取绝对值,将两个差值的算术平均值作为局部表情帧段的时序相位偏差,用于表征表情过渡阶段的时序对齐误差;
20、逐轮记录受试者每一轮训练生成的所有局部表情帧段的量化特征参数,形成时序特征数据集。
21、优选的,所述步骤s4的具体实施过程包括:
22、在二维特征空间中,横坐标对应肌肉协同匹配度取值,纵坐标对应时序相位偏差取值;将每个局部表情帧段对应的特征参数映射为二维特征空间内一个特征点位;
23、针对同一条标准表情训练序列对应的全部特征点位,执行自适应密度栅格聚类,过程如下:
24、基于全部特征点位的横、纵坐标数值分布,自适应计算横向栅格尺度与纵向栅格尺度,生成对应横、纵向尺寸的密度栅格并完成二维特征空间的网格化划分;
25、统计每个密度栅格内包含的特征点位总数,计算密度栅格的相对点密度;
26、计算所有密度栅格的相对点密度的算术平均值与标准差,得到密度判定阈值;若密度栅格的相对点密度大于或等于密度判定阈值,则判定为高密度栅格;若密度栅格的相对点密度小于密度判定阈值,则判定为低密度栅格;
27、对全部特征点位的肌肉协同匹配度进行核密度估计,得到匹配度概率密度曲线,取匹配度概率密度曲线左侧第一个极小值点对应的匹配度数值作为低表现匹配度阈值;对全部特征点位的时序相位偏差进行核密度估计,得到偏差概率密度曲线,取偏差概率密度曲线右侧第一个极小值点对应的偏差数值作为低表现偏差阈值;将满足肌肉协同匹配度≤低表现匹配度阈值、且时序相位偏差≥低表现偏差阈值的特征空间区域划定为低表现区间;将同时落入低表现区间且判定为高密度栅格的密度栅格,标记为低表现特征集聚类区。
28、优选的,所述横向栅格尺度与纵向栅格尺度通过如下方式自适应确定:
29、统计全部特征点位的总数量,以获取邻域度量;
30、对二维特征空间中的任一个特征点位,识别出与该任一个特征点位欧氏距离相邻的邻域度量范围内的邻近特征点位;
31、针对该任一个特征点位,分别计算该任一个特征点位与邻域度量范围内的邻近特征点位在横坐标维度的绝对距离的算术平均值,作为该任一个特征点位的横向邻域特征尺度;分别计算该任一个特征点位与邻域度量范围内的邻近特征点位在纵坐标维度的绝对距离的算术平均值,作为该任一个特征点位的纵向邻域特征尺度;
32、计算所有特征点位的横向邻域特征尺度的算术平均值,得到横向栅格尺度;计算所有特征点位的纵向邻域特征尺度的算术平均值,得到纵向栅格尺度;
33、以全部特征点位横、纵坐标的最小值为密度栅格划分起始点,按对应横、纵向栅格尺度依次进行等距划分,完成二维特征空间的网格化。
34、优选的,所述步骤s5的具体实施过程包括:
35、调取每个低表现特征集聚类区内包含的特征点位对应的标准表情动作时段编号,统计每个标准表情动作时段在全部训练轮次中落入所有低表现特征集聚类区的总频次;
36、计算所有标准表情动作时段落入频次的算术平均值,若某一标准表情动作时段的总频次大于或等于所有标准表情动作时段落入频次的算术平均值,则判定该某一标准表情动作时段为受试者多轮训练中稳定存在的共性薄弱表情动作时段;
37、汇总所有共性薄弱表情动作时段的时序起始位置、时长、对应功能肌肉群及时序相位偏差特征,生成分段强化训练反馈报告并输出。
38、第二方面,本发明还提供了一种基于面部动态分析的表达反馈系统,该系统包括:
39、一种计算机可读存储介质,用于承载计算机程序,所述计算机程序可被处理器执行以实现上述一种基于面部动态分析的表达反馈方法的步骤;
40、一个或多个处理器;
41、动态分析表达反馈平台,用于调度一个或多个计算机程序,当所述一个或多个计算机程序被所述一个或多个处理器执行时,使得所述动态分析表达反馈平台实现所述一种基于面部动态分析的表达反馈方法的步骤。
42、优选的,所述动态分析表达反馈平台包括:
43、面部肌肉锚点基准集与表情训练范式库构建模块,用于经受试者授权后,构建面部肌肉锚点基准集与表情训练范式库,所述面部肌肉锚点基准集依据面部功能肌肉群的分区布设,所述表情训练范式库存储有标准表情训练序列,每条标准表情训练序列均标注有按时序划分的若干标准表情动作时段及对应的标准肌肉运动幅度向量;
44、面部动态时序采集模块,用于搭建面部动态时序采集库,分别与面部肌肉锚点基准集、表情训练范式库数据连通,在受试者进行多轮连续表情训练的过程中,逐帧采集面部运动关键点的时序坐标数据,对每一轮训练的完整表情序列,按标准时序划分对应生成多个局部表情帧段,每个局部表情帧段对应一个包含过渡过程的标准表情动作时段;
45、量化特征参数提取模块,用于提取每个局部表情帧段的量化特征参数,构建受试者的时序特征数据集;
46、自适应密度栅格聚类分析模块,用于以肌肉协同匹配度与时序相位偏差为坐标轴构建二维特征空间,将所有轮次训练的全部局部表情帧段特征参数映射至二维特征空间形成特征点位,采用自适应密度栅格聚类方法,基于特征点位的整体统计分布特征自适应计算栅格尺度与密度判定阈值,对特征点位进行聚类划分,识别出落入低表现区间的高密度特征集聚类区;
47、共性薄弱表情动作时段筛选模块,用于将低表现特征集聚类区内的特征点位反向映射至对应的标准表情动作时段,基于各标准表情动作时段在多轮训练中落入低表现特征集聚类区内的频次统计结果,筛选出多轮训练中稳定存在的共性薄弱表情动作时段,作为分段强化训练的反馈依据。
48、本发明中提供的一个或多个技术方案,至少具有如下技术效果或优点:
49、(1)本发明通过构建面部肌肉锚点基准集与表情训练范式库,将受试者多轮连续表情训练序列拆分为包含起始过渡、稳态保持与结束过渡全过程的局部表情帧段,克服了现有技术仅关注单帧静态关键点匹配而忽略表情动态过渡过程的缺陷,实现了对连续表情动作全过程动态质量的完整表征与量化评估。
50、(2)本发明提取局部表情帧段的肌肉协同匹配度与时序相位偏差作为双维度量化特征,从空间维度衡量多组面部肌肉运动幅度组合与标准模式的契合程度,从时间维度衡量表情过渡过程与标准时序的对齐程度,克服了现有技术单一维度评价无法区分“动作到位但节奏偏慢”与“节奏准确但幅度不足”等不同类型表现偏差的技术缺陷。
51、(3)本发明以肌肉协同匹配度与时序相位偏差构建二维特征空间,采用自适应密度栅格聚类方法,基于特征点位的整体统计分布特征自适应计算栅格尺度与密度判定阈值,有效解决了双维度量纲不同、分布离散度差异大导致统一栅格聚类失真的技术问题,使聚类结果能够真实反映样本在特征空间中的聚集程度,具备对不同训练阶段、不同受试者数据分布差异的自适应能力。
52、(4)本发明通过对全部特征点位进行核密度估计,以概率密度曲线极小值点作为统计边界,自适应划定低表现区间,实现了脱离主流分布的低表现样本的客观识别,避免了依赖人工设定主观阈值带来的标准不统一问题;同时将低表现区间与高密度栅格取交集,筛选出同时存在肌肉幅度不足与时序对齐偏差且高频出现的样本,确保筛选出的薄弱环节具有真实的训练指导意义。
53、(5)本发明通过将低表现特征集聚类区内的特征点位反向映射至对应的标准表情动作时段,并基于多轮训练中落入低表现特征集聚类区的频次统计结果,筛选出多轮训练中稳定存在的共性薄弱表情动作时段,克服了现有技术仅输出单轮整体评价而无法区分单次偶发失误与长期稳定能力短板的技术缺陷,实现了对受试者表情训练薄弱环节的精准定位,为分段强化训练提供了明确的数据依据。
54、(6)本发明可应用于专业表达能力培养、演艺表情管理等场景,通过输出共性薄弱表情动作时段的时序起始位置、时长、对应功能肌肉群及时序相位偏差特征,使受试者能够进行针对性的分段专项训练,避免无差别重复训练带来的效率低下问题,有助于提升面部表情训练的效率与效果。
55、上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其他特征将通过以下的说明书而变得容易理解。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com