一种基于摄像头的日常语言量自动计数与声纹隐私保护方法

本发明涉及人工智能与智能感知，尤其涉及一种基于摄像头的日常语言量自动计数与声纹隐私保护方法。

背景技术：

1、随着智能家庭、儿童语言发育评估、老年认知健康监测及人机交互技术的发展，对用户日常语言行为进行长期、连续、客观的量化分析已成为智慧健康监测领域的重要研究方向。现有语言监测系统通常利用摄像头、麦克风等感知设备采集用户的视觉信息和语音信息，通过语音识别、说话人识别及语言统计等技术获取用户的语言活动情况，为语言能力评估、康复训练及健康管理提供数据支撑。

2、然而，现有技术大多依赖单一语音信号完成说话人识别和语言量统计，在多人对话、复杂背景、低光照及目标遮挡等场景下，容易出现说话人识别错误、语音归属不准确及语言量统计偏差等问题；同时，现有方案通常直接处理或存储包含声纹信息的语音数据，声纹特征与用户身份关联性较强，在语音传输、存储及分析过程中存在较大的隐私泄露风险，且多数方案缺乏兼顾语言统计准确性与声纹隐私保护的数据处理机制，难以满足用户对语言行为分析和个人隐私安全的双重需求。

技术实现思路

1、本发明提供了一种基于摄像头的日常语言量自动计数与声纹隐私保护方法，通过融合摄像头采集的面部特征、口型运动特征与麦克风阵列采集的多通道语音信号，实现说话人检测与身份识别；进一步采用x-vector替换和动态噪声扰动技术完成声纹匿名化处理，并结合语音识别、文本词数统计、说话人切换检测及音素级分析计算用户日常语言产出量，同时利用pbkdf2、hkdf及aes-gcm对统计结果进行加密存储，在提高日常语言产出量统计准确性的同时，有效保障用户声纹隐私及统计数据的安全性。

2、一种基于摄像头的日常语言量自动计数与声纹隐私保护方法，包括以下步骤：

3、s1，通过摄像头以非接触方式采集用户面部特征和口型运动特征，并通过麦克风阵列采集多通道语音信号，利用摄像头的唇动检测和人脸特征识别技术检测说话行为，当检测到说话人时触发麦克风阵列采集语音数据，对所述面部特征、口型运动特征及多通道语音信号进行联合处理，通过时空卷积网络与轻量级transformer完成口型轨迹与语音帧的时序对齐，输出说话人身份标识和语音起止时间戳，得到说话人检测与身份识别结果；

4、s2，基于说话人检测与身份识别结果，在边缘设备端对所述多通道语音信号进行声纹特征剥离与匿名化处理，采用x-vector替换和动态噪声扰动技术，对语音数据中的声纹特征进行扰动，生成匿名化语音数据；

5、s3，基于匿名化语音数据，利用语音识别模型对匿名化语音进行转写，基于转写文本通过中文分词统计文本内容的总词数，并结合说话人切换检测结果统计发言次数，同时基于匿名化语音数据中的音素级时长、停顿频率和语速变化推算用户每日有效语言产出量，生成日常语言产出量统计结果，对日常语言产出量统计结果采用aes-gcm算法进行加密，并通过pbkdf2和hkdf密钥派生算法生成对应加密密钥。

6、可选的，所述s1包括：

7、s11，通过摄像头以非接触方式连续采集用户面部视频，对采集的视频帧进行人脸区域检测，当环境光照强度低于预设光照阈值时，对视频帧进行增强处理，在人脸区域内提取用户面部特征，并通过唇动检测模型提取各视频帧中的唇部关键点，根据相邻视频帧之间唇部关键点的位置变化计算口型运动幅度，当所述口型运动幅度达到预设唇动判定阈值时，将对应用户标记为候选说话人，并获得候选说话人的面部特征和口型运动特征；

8、s12，当检测到候选说话人时，触发麦克风阵列采集多通道语音信号，对各麦克风通道的语音信号进行声源定位和波束成形，生成与候选说话人对应的语音信号，并分别从所述语音信号中提取声纹特征、从摄像头采集结果中提取面部特征和口型运动特征，根据视频遮挡率和语音噪声强度动态调整视觉特征与声纹特征的融合权重，计算候选说话人的多模态身份匹配值，将多模态身份匹配值达到预设身份匹配阈值的候选说话人确定为目标说话人，当用户背对或侧对摄像头而无法获得有效视觉特征时，将视觉特征权重调整为零，并基于声纹特征确定目标说话人；

9、s13，将目标说话人的口型运动特征编码为视觉时序特征序列，并将与目标说话人对应的多通道语音信号划分为连续语音帧，通过时空卷积网络分别提取唇动轨迹特征和语音帧特征，再将所述唇动轨迹特征和语音帧特征输入轻量级transformer进行跨模态关联，根据所述跨模态关联特征确定各口型运动片段与对应语音帧之间的时间对应关系，识别语音开始时刻和语音结束时刻，并将目标说话人的身份信息与所述语音开始时刻、语音结束时刻进行绑定，输出说话人身份标识和语音起止时间戳，生成说话人检测与身份识别结果。

10、可选的，所述s11包括：

11、s111，通过摄像头按照预设采样频率连续采集用户面部视频，将所述用户面部视频分解为按时间顺序排列的视频帧，并计算第个视频帧的环境光照强度，当环境光照强度低于预设光照阈值时，采用retinex算法对视频帧进行增强处理，并将增强后的视频帧或光照强度达到预设光照阈值的视频帧作为待检测视频帧；

12、s112，将待检测视频帧输入人脸特征提取模型，对视频帧中的人脸位置进行检测，确定对应的人脸区域，并在人脸区域内提取用于表征用户身份的面部特征，将所述人脸区域输入唇动检测模型，对嘴唇轮廓进行定位，提取第个视频帧中的唇部关键点集合，并按照视频帧的时间顺序对各唇部关键点集合进行连续排列，形成用户的唇部关键点时序数据；

13、s113，根据唇部关键点时序数据，计算相邻视频帧之间对应唇部关键点的位置变化，得到第个视频帧对应的口型运动幅度，当口型运动幅度达到预设唇动判定阈值时，将对应视频帧中的用户标记为候选说话人，并将候选说话人对应的人脸区域内提取的面部特征以及连续视频帧中的唇部关键点位置变化作为候选说话人的面部特征和口型运动特征。

14、可选的，所述s12包括：

15、s121，当检测到候选说话人时，触发由个麦克风组成的麦克风阵列同步采集多通道语音信号，分别记为，其中，，计算任意两个麦克风通道之间的广义互相关函数，并根据广义互相关函数的最大值确定通道间时延，根据各通道间估计时延和麦克风阵列中各麦克风的位置关系确定声源方向，并按照所述声源方向对多通道语音信号进行延时补偿和加权叠加，将声源方向与摄像头中候选说话人的位置进行对应，生成与候选说话人对应的语音信号；

16、s122，从候选说话人对应的语音信号中提取声纹特征，并从摄像头采集结果中获取面部特征和口型运动特征，将所述面部特征和口型运动特征作为候选说话人的视觉特征，分别计算候选说话人的视觉特征匹配值和声纹特征匹配值，并根据候选说话人的视频遮挡率和语音噪声强度计算视觉特征可靠度与声纹特征可靠度，根据视觉特征可靠度与声纹特征可靠度计算视觉特征权重以及声纹特征权重；

17、s123，基于视觉特征匹配值、声纹特征匹配值、视觉特征权重及声纹特征权重，计算第个候选说话人的多模态身份匹配值，当多模态身份匹配值达到预设身份匹配阈值时，将第个候选说话人确定为目标说话人，当候选说话人背对或侧对摄像头，导致其面部特征或口型运动特征无法有效提取时，将视觉特征权重设置为0，将声纹特征权重设置为1。

18、可选的，所述s13包括：

19、s131，按照视频帧的时间顺序，对目标说话人在连续视频帧中的唇部关键点及其位置变化进行排列，将第个视频帧对应的口型运动特征编码为视觉特征向量，形成视觉时序特征序列，同时，将与目标说话人对应的语音信号按照预设帧长和帧移划分为连续语音帧，将第个语音帧表示为，形成语音帧序列；

20、s132，将视觉时序特征序列和语音帧序列分别输入时空卷积网络，对连续口型运动的空间形态变化和时间演化关系进行提取，得到唇动轨迹特征序列，并对连续语音帧的时频变化进行提取，得到语音帧特征序列，将所述唇动轨迹特征序列作为查询信息，将所述语音帧特征序列作为键和值输入轻量级transformer，计算跨模态注意力矩阵；

21、s133，基于跨模态关联矩阵，针对第个口型运动片段，选取与其关联值最大的语音帧作为对应语音帧，将连续满足关联条件的首个语音帧对应时刻确定为语音开始时刻，将最后一个连续满足关联条件的语音帧对应时刻确定为语音结束时刻，将目标说话人的身份信息分别与所述语音开始时刻和语音结束时刻进行绑定，输出说话人身份标识及语音起止时间戳，生成说话人检测与身份识别结果。

22、可选的，所述s2包括：

23、s21，根据说话人检测与身份识别结果，在边缘设备端提取目标说话人对应的多通道语音信号，对所述多通道语音信号进行预处理后输入ecapa-tdnn模型，提取目标说话人的x-vector声纹特征向量，并计算x-vector声纹特征向量与预训练x-vector库中各伪x-vector特征向量之间的余弦距离，当时，将对应伪x-vector确定为目标替换向量；

24、s22，基于第个目标说话人的x-vector声纹特征向量，选择满足的伪x-vector特征向量作为目标替换向量，对所述x-vector声纹特征向量进行替换，生成匿名化声纹特征向量，并根据所述匿名化声纹特征向量对目标说话人对应的多通道语音信号进行声纹特征替换处理，生成初始匿名化语音数据；

25、s23，针对生成的初始匿名化语音数据，对其语音频谱特征进行分析，并根据声纹特征敏感度确定不同频谱区域对应的扰动权重，对所述语音频谱特征进行动态噪声扰动，将扰动后的语音频谱特征转换为时域语音信号，得到匿名化语音数据。

26、可选的，所述s3包括：

27、s31，基于生成的匿名化语音数据，利用语音识别模型对所述匿名化语音数据进行语音内容转写，生成语音转写文本，并通过中文分词处理得到文本词语集合，统计所述文本词语集合中的词语数量，生成文本词数特征，同时，对所述匿名化语音数据进行语音片段划分；

28、s32，基于语音转写文本、文本词数特征以及匿名化语音数据，利用说话人切换检测技术识别连续语音片段中的说话人切换位置，并统计目标说话人的发言次数，同时，对所述匿名化语音数据进行音素级分析，提取音素级时长、停顿频率和语速变化特征，并结合文本词数、发言次数、有效语言时长、停顿频率以及语速变化特征计算目标说话人的日常语言产出量，生成日常语言产出量统计结果；

29、s33，基于生成的日常语言产出量统计结果，通过pbkdf2密钥派生算法结合用户密码信息和随机盐值生成初始密钥，并利用hkdf密钥派生算法对所述初始密钥进行扩展，生成aes-gcm加密密钥，利用所述aes-gcm加密密钥对日常语言产出量统计结果进行加密，生成包括加密数据和完整性认证信息的加密后的日常语言产出量统计数据，实现日常语言产出量统计结果的安全存储。

30、可选的，所述s31包括：

31、s311，将第个目标说话人的匿名化语音数据输入语音识别模型，对语音信号中的语音内容进行识别，得到对应的语音转写文本，所述语音识别模型采用轻量级语音识别模型distil-whisper；

32、s312，基于语音转写文本，利用中文分词工具对所述语音转写文本进行词语切分，将连续文本转换为多个独立词语单元，生成文本词语集合，并根据所述文本词语集合统计文本词数特征；

33、s313，基于对应的匿名化语音数据，根据语音活动检测结果对连续语音信号进行片段划分，将存在连续语音活动的区域划分为独立语音片段，生成语音片段集合，并根据相邻语音片段之间的时间连续关系计算时间间隔，当时间间隔不大于预设语音间隔阈值时，保留为独立语音片段，否则进行语音片段合并，最终生成语音片段集合。

34、可选的，所述s32包括：

35、s321，基于生成的语音片段集合，分别提取相邻语音片段的语义特征和声学特征，根据相邻语音片段之间的语义差异和声学差异计算说话人切换判定值，当时，将第个语音片段与第个语音片段之间的位置确定为说话人切换位置，为预设说话人切换阈值，并根据识别出的说话人切换位置统计目标说话人的发言次数；

36、s322，对匿名化语音数据执行音素级对齐，识别各有效音素的开始时刻和结束时刻，并计算各有效音素的持续时长，对全部有效音素的持续时长进行累加，得到有效语言时长，根据匿名化语音数据中持续时间达到预设停顿时长阈值的停顿片段数量计算停顿频率，根据各连续语音片段的词语数量和有效语言时长计算语速，并计算相邻语音片段之间的语速变化特征；

37、s323，将文本词数特征、发言次数、有效语言时长、停顿频率以及语速变化特征输入语言量统计模型，计算第个目标说话人的日常语言产出量，并将目标说话人的身份标识、日常语言产出量及统计时间进行关联，生成日常语言产出量统计结果。

38、可选的，所述s33包括：

39、s331，基于生成的日常语言产出量统计结果，获取与目标说话人对应的用户密码信息，并生成随机盐值，将所述用户密码信息和随机盐值输入pbkdf2密钥派生算法，通过预设迭代次数进行重复计算，生成初始密钥；

40、s332，将生成的初始密钥输入hkdf密钥派生算法，结合密钥扩展盐值和密钥上下文信息进行提取与扩展，生成aes-gcm加密密钥；

41、s333，基于生成的aes-gcm加密密钥，为生成的日常语言产出量统计结果生成随机初始化向量，并将所述日常语言产出量统计结果、aes-gcm加密密钥和随机初始化向量输入aes-gcm加密算法，得到加密数据和完整性认证信息，将加密数据、完整性认证信息、随机初始化向量和随机盐值进行关联，生成加密后的日常语言产出量统计数据，并将所述加密后的日常语言产出量统计数据存储于边缘设备，实现日常语言产出量统计结果的安全存储。

42、本发明的有益效果：

43、本发明，通过摄像头、麦克风阵列与边缘设备协同工作，将摄像头采集的面部特征、口型运动特征与麦克风阵列采集的多通道语音信号进行联合处理，并结合时空卷积网络和轻量级transformer实现口型轨迹与语音帧的精准时序对齐，能够准确识别目标说话人及其对应的语音起止时间，在多人对话、复杂背景及低光照环境下仍能够有效区分目标说话人与非目标说话人，提高说话人检测与身份识别的准确性。

44、本发明，通过在边缘设备端采用ecapa-tdnn模型提取x-vector声纹特征，结合x-vector替换和动态噪声扰动技术对语音中的声纹特征进行匿名化处理，使声纹特征与用户身份信息实现有效解耦，在保证语音内容能够正常用于语言量统计的同时，有效降低声纹信息泄露及身份重建风险，并结合distil-whisper语音识别模型、中文分词、说话人切换检测以及音素级分析，对文本词数、发言次数、有效语言时长、停顿频率和语速变化等多维特征进行综合分析，提高日常语言产出量统计结果的准确性和客观性。

45、本发明，通过采用pbkdf2密钥派生算法生成初始密钥，并利用hkdf密钥派生算法生成aes-gcm加密密钥，对生成的日常语言产出量统计结果进行加密处理，同时生成完整性认证信息，并将加密数据存储于边缘设备，实现日常语言产出量统计结果的本地安全存储，避免原始语音数据及声纹信息向云端传输，在保障统计数据完整性和保密性的同时，提高了系统整体的数据安全防护能力和用户隐私保护水平。