基于面部动作单元与面部表情时空特征融合的家用电器噪声烦扰度智能评价方法及系统
本发明涉及声品质评价、环境噪声感知、计算机视觉面部行为分析、机器学习与深度学习智能识别交叉,特别涉及一种基于面部动作单元与面部表情时空特征融合的家用电器噪声烦扰度智能评价方法及系统。
背景技术:
1、随着居民生活品质的不断提升,吹风机、破壁机、微波炉、吸尘器、洗衣机、油烟机、空调等家用电器已普及至每个家庭。家用电器运行噪声具有距离近、持续时间长、重复频次高、与休息、学习、居家活动高度重叠等特征,不仅产生听觉干扰,还易引发人体烦躁、焦虑、注意力涣散、情绪压抑、睡眠受扰等非听觉健康危害,行业统一将该类负面主观感知定义为噪声烦扰度。目前,家用电器噪声烦扰度评价主要存在以下技术瓶颈:
2、第一,传统评价依赖物理声学指标,无法反映主观感知差异。目前行业普遍采用a计权声压级、等效连续声级等物理声学指标评价噪声。然而,大量实测表明声压级相近的不同家电噪声,人体烦扰度相差较大。研究表明,噪声的客观量度并不能正确反映人对噪声的感受程度,单纯物理指标客观难以支撑产品的声品质优化。
3、第二,主观问卷法存在固有缺陷。行业普遍采用事后主观问卷评分法,让受试者听完噪声后进行0~10分打分。该方法属于回顾性评价,受记忆偏差、个人评分习惯、理解差异、首因效应、近因效应干扰严重;无法捕捉噪声刺激过程中瞬时、动态、连续的情绪变化,不能刻画烦扰情绪随时间演变的过程,且人工打分效率低、无法批量自动化测评。已有研究证实,以听音者面部情绪表情的特征变化客观评价噪声烦扰度是可行的,但尚未形成完整的工程技术方案。
4、第三,尽管近年来有研究者尝试将面部表情识别技术引入噪声烦扰度评价,以期通过客观的面部反应来量化主观烦扰感知。但现有基于面部表情的噪声评价方法尚不成熟:一方面,现有研究仅采用整体情绪分类(如高兴、悲伤、愤怒等粗粒度情绪),缺乏对面部肌肉运动的精细化量化分析,无法揭示噪声烦扰度的具体面部表现模式。另一方面,尽管面部动作编码系统(facial action coding system, facs)已在声环境评价研究中被用于分析人对环境声的情感反应,但尚未有研究将facs系统地引入家用电器噪声烦扰度评价中。facs通过面部动作单元(action units, aus)量化局部面部肌肉的运动幅度,能够提供比整体情绪分类更为精细的面部行为描述。同时,尽管facs分析具有解释性的优势,但其通常仅提取各au在时间段内的均值统计量,丢失了面部表情随噪声刺激时间变化的完整时序动态演化信息,导致其精度和鲁棒性不足。此外,目前尚缺少标准化家电噪声数据集、烦扰度分类规则并且没有规范的分层交叉验证体系,模型训练困难、识别精度低,难以实现工程落地。
5、综上,现有技术存在主观性强、无法连续采集瞬时反应、识别精度低、难以自动化批量检测等缺陷,亟需一种全新的客观、智能、可解释、高精度的家用电器噪声烦扰度评价技术方案。
技术实现思路
1、针对现有技术中家电噪声烦扰度评价依赖物理指标和人工问卷、无法连续捕捉微表情瞬时反应,同时,仅通过facs分析的方法流程相对复杂且精度不足的缺陷,本发明通过双分支协同决策架构实现烦扰度评价:第一分支基于au特征构建机器学习分类器,输出可解释性预测结果;第二分支基于面部视频的面部表情时空特征构建深度学习网络,输出高精度预测结果;两分支的输出通过决策级加权融合得到最终烦扰度等级。该方法可以实现烦扰度等级的高精度识别与可解释分析,为家电声品质优化提供既有数据支撑又有生理学依据的量化评价结果。
2、为了达到上述目的,本发明采用以下技术方案:
3、第一方面,本发明提供了一种基于面部动作单元与面部表情时空特征融合的家用电器噪声烦扰度智能评价方法,包括下述步骤:
4、s1、构建家电噪声烦扰度评价数据集:在受控环境下,向受试者播放家用电器噪声,并同步采集受试者的面部视频,并获取受试者对每种噪声源的主观烦扰度评分,将主观烦扰度评分划分为弱、中、强三个烦扰度等级标签;
5、s2、对面部视频进行两个并行分支的预处理:在面部动作单元au特征提取分支中,对面部视频片段逐帧解析,提取多个面部动作单元特征,计算受试者在静息状态下各面部动作单元的帧平均强度作为个体基准值,计算噪声视频片段中各面部动作单元的帧均值,构造基准校正后的au均值差特征;在基于面部视频的面部表情时空特征提取分支中,进行人脸检测与区域裁剪,归一化处理后转换为张量格式,标签统一为该段噪声对应的烦扰度等级标签;
6、s3、au特征提取与分类:通过spearman相关性分析、kruskal-wallis组间差异检验及fdr(false discovery rate)多重校验的联合筛选机制,从多个面部动作单元的au均值差特征中筛选出与烦扰度相关的核心au特征,将核心au特征作为可解释性特征向量输入随机森林分类器,输出面部动作单元au特征提取分支的第一分支预测概率;
7、s4、面部表情时空特征提取与分类:将预处理后的面部视频帧序列输入空间特征提取骨干网络,提取每帧面部图像的空间特征,形成空间特征序列;将空间特征序列输入时序动态建模模块,通过多层一维卷积进行时序特征提取,经全局平均池化得到时空融合特征,通过全连接层和激活函数输出面部表情时空特征提取分支的第二分支预测概率;
8、s5、对所述第一分支预测概率和第二分支预测概率进行决策级加权融合,得到最终的家用电器噪声烦扰度评价结果。
9、作为优选的技术方案,所述步骤s1中,构建家电噪声烦扰度评价数据集的具体步骤包括:
10、s11、录制受试者在平静状态下的面部表情视频,作为实验基准;
11、s12、随机播放一种家用电器噪声,持续预设时长,同时录制受试者的面部视频;
12、s13、噪声播放结束后,受试者根据主观感受对噪声的烦扰度进行评分;
13、s14、重复步骤s12至s13,直至完成所有种类家用电器噪声的播放和评分;
14、s15、根据评分结果,将烦扰度划分为预设的等级标签,并与对应的面部视频进行关联,构成评价数据集。
15、作为优选的技术方案,所述步骤s15中,烦扰度评分为0~3分划分为弱烦扰等级,4~6分划分为中度烦扰等级,7~10分划分为强烦扰等级。
16、作为优选的技术方案,所述步骤s2中,面部动作单元au特征提取分支中,预处理具体为:
17、s21、采用面部行为分析工具对面部视频逐帧解析,提取预设数量的au特征;所述au按面部区域可划分为:眉部区域au01、au02、au04,眼部区域au05、au06、au07、au45,鼻部及上唇区域au09、au10,口部区域au12、au14、au15、au17、au20、au23、au25、au26;
18、s22、根据人脸检测标记和置信度,剔除低质量帧;
19、s23、计算受试者在平静状态下面部视频中各au的帧平均强度作为个体基准值;
20、s24、计算噪声刺激下各au的帧均值,并构造基准校正后的au均值差特征,以消除个体面部表情基线差异。
21、作为优选的技术方案,所述步骤s2中,基于面部视频的面部表情时空特征提取分支中,预处理具体为:
22、s25、将预设时长的面部视频切分为多个视频片段;
23、s26、对每个视频片段进行等间隔采样,抽取预设数量的面部图像帧;
24、s27、对抽取的面部图像帧进行人脸检测与区域裁剪,并归一化至预设尺寸;
25、s28、面部视频数据被处理为“视频片段—主观烦扰度等级”样本,用于后续深度学习模型训练与验证。
26、作为优选的技术方案,步骤s3中,所述面部动作单元au特征提取分支采用分类器,用于对输入的核心au特征进行建模,并输出烦扰度等级的预测概率及各au特征的重要性排序;
27、作为优选的技术方案,步骤s4中,所述基于面部视频的面部表情时空特征提取分支包括空间特征提取骨干网络和时序动态建模模块,所述空间特征提取骨干网络用于提取面部图像的空间特征,所述时序动态建模模块采用一维卷积对空间特征序列进行帧间时序依赖关系建模,以捕捉面部表情的动态演化规律;
28、作为优选的技术方案,所述空间特征提取骨干网络采用轻量级人脸表情识别网络,加载其在大型表情识别数据集上预训练的权重进行迁移学习;所述表情识别网络包括分组卷积和通道注意力机制,对于输入的每一帧面部图像,提取出256~1024维的空间特征向量,这些向量表征了该帧图像中的面部纹理细节、局部形变及微表情特征;对于同一视频片段中连续采样的l帧图像,按时间顺序排列形成l×3×w0×h0的输入序列,其中w0和h0分别代表原始输入图像的宽和高;将该序列通过所述表情识别网络进行逐帧特征提取,得到l×d×w1×h1的空间特征序列,其中d代表提取的特征维度,w1和h1分别代表卷积特征提取后的宽和高;对每一帧的d×w1×h1特征图在w和h维度上进行全局平均池化,并按时间顺序排列形成l×d的时间序列进一步输入至时序动态建模模块中处理;
29、所述时序动态建模模块采用一维卷积对空间特征序列进行帧间时序依赖关系建模,包含三层一维卷积,第一层卷积核大小为k0,输出通道数为c0,通过卷积操作捕捉相邻帧之间的短时序表情动态变化;第二层卷积核大小为k1,输出通道数为c1,感受野进一步扩大,能够捕捉跨度更大的帧间变化模式,学习面部表情从起始、持续变化到逐渐消退的完整动态演化规律;最后一层卷积核大小为k1,输出通道数为c2,进一步整合面部表情时空特征;每层卷积的步长均为1,并采用padding保持时序长度不变;经过三层一维卷积后,通过全局平均池化将时序维度聚合,得到c2维的时空融合特征向量。
30、作为优选的技术方案,所述步骤s5中,决策级加权融合的具体方式为:
31、对三个烦扰度类别中的每一类c,计算加权融合概率:
32、
33、其中为可调节的融合权重系数,取值范围为[0,1];为机器学习分支预测样本属于第i类的概率,为神经网络分支预测样本属于第i类的概率;
34、将加权融合概率最高的类别作为最终的家用电器噪声烦扰度评价结果。
35、第二方面,本发明提供了一种基于面部动作单元与面部表情时空特征融合的家用电器噪声烦扰度智能评价系统,应用于所述的一种基于面部动作单元与面部表情时空特征融合的家用电器噪声烦扰度智能评价方法,包括数据采集模块、数据预处理模块、第一分支处理模块、第二分支处理模块以及决策级融合模块;
36、所述数据采集模块,用于构建家电噪声烦扰度评价数据集:在受控环境下,向受试者播放家用电器噪声,并同步采集受试者的面部视频,并获取受试者对每种噪声源的主观烦扰度评分,将主观烦扰度评分划分为弱、中、强三个烦扰度等级标签;
37、所述数据预处理模块,用于对面部视频进行两个并行分支的预处理:在面部动作单元au特征提取分支中,对面部视频片段逐帧解析,提取多个面部动作单元特征,计算受试者在静息状态下各面部动作单元的帧平均强度作为个体基准值,计算噪声视频片段中各面部动作单元的帧均值,构造基准校正后的au均值差特征;在基于面部视频的面部表情时空特征提取分支中,进行人脸检测与区域裁剪,归一化处理后转换为张量格式,标签统一为该段噪声对应的烦扰度等级标签;
38、所述第一分支处理模块,用于au特征提取与分类:通过spearman相关性分析、kruskal-wallis组间差异检验及fdr多重校验的联合筛选机制,从多个面部动作单元的au均值差特征中筛选核心au特征,将核心au特征作为可解释性特征向量输入分类器,输出面部动作单元au特征提取分支的第一分支预测概率;
39、所述第二分支处理模块,用于面部表情时空特征提取与分类:将预处理后的面部视频帧序列输入空间特征提取骨干网络,提取每帧面部图像的空间特征,形成空间特征序列;将空间特征序列输入时序动态建模模块,通过多层一维卷积进行时序特征提取,经全局平均池化得到时空融合特征,通过全连接层和激活函数输出面部表情时空特征提取分支的第二分支预测概率;
40、所述决策级融合模块,用于对所述第一分支预测概率和第二分支预测概率进行决策级加权融合,得到最终的家用电器噪声烦扰度评价结果。
41、本发明与现有技术相比,具有如下优点和有益效果:
42、(1)本发明采用双分支协同决策架构,第一分支基于面部视频的面部动作单元特征构建分类器,第二分支基于面部视频面部表情时空特征构建深度学习网络,两分支输出通过决策级加权融合得到最终烦扰度等级。该架构将可解释性与高精度识别有机统一,au分支提供基于面部肌肉运动的可解释分析,视频分支捕捉细粒度时空动态模式实现高精度预测,融合后识别精度显著优于任一单分支,实验表明融合方法的准确率达到93.17%,较au分支提升26.5个百分点,较视频分支提升1.69个百分点,kappa系数达到0.902,验证了双分支融合的有效性。
43、(2)本发明通过构建基准校正后的au均值差特征,以受试者静息状态下的个体基准值进行校正,有效消除了个体天生面部表情基线差异对烦扰度评价的干扰,提升了au特征在不同受试者间的可比性和分类器的泛化能力。同时,通过spearman相关性分析、kruskal-wallis组间差异检验及fdr多重校验的联合筛选机制,从17个面部动作单元中筛选出与烦扰度等级显著相关的核心au特征,既降低了特征维度、减少了冗余信息,又确保了筛选结果具有统计学严谨性,为可解释性分析提供了可靠依据。
44、(3)本发明在面部表情时空特征提取分支中,采用空间特征提取骨干网络提取每帧面部图像的空间特征,再通过时序动态建模模块对空间特征序列进行时序特征提取,经全局平均池化得到时空融合特征,从而充分捕捉了面部表情随噪声刺激时间变化的完整时序动态演化信息,克服了现有facs分析仅提取均值统计量而丢失时序动态的缺陷,显著提升了烦扰度识别的精度与鲁棒性。
45、(4)本发明实现了噪声刺激过程中面部表情的连续自动化采集与分析,模型完成训练后,在实际评价无需依赖受试者主观问卷评分,避免了记忆偏差、个人评分习惯、理解差异等干扰因素,能够客观捕捉瞬时、动态、连续的情绪变化,评价效率高,可批量自动化测评。决策级融合模块同步输出au分支特征重要性排序,提供面部动作归因解释,例如“本次判定烦扰的主要依据为au04(眉间下压)、au07(眼睑收紧)”,使评价结果兼具数据支撑与面部行为分析的可解释性依据,为家用电器声品质优化提供了可指导、可追溯的量化评价结果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com