音视频行为真实性检测方法、装置、电子设备及存储介质与流程
本申请涉及人工智能,可应用于科技金融/数字医疗领域,尤其涉及一种音视频行为真实性检测方法、装置、电子设备及存储介质。
背景技术:
1、基于音视频交互的远程业务处理模式在金融科技与医疗健康等领域得到广泛应用,在金融场景中,贷款面审、远程开户等业务逐渐通过视频方式完成身份核验与信息确认;在医疗场景中,远程问诊、在线随访等服务同样依赖实时音视频交互实现信息交互。在上述应用过程中,通常需要基于用户在视频中的语音内容与行为表现,对用户身份真实性及表达可靠性进行判定。然而,在实际应用中,相关交互过程面临一定的真实性风险,例如在金融面审场景中,可能存在由他人通过场外提示参与问答,或通过预先准备的语音内容配合面部动作进行应答的情况;在医疗远程问诊场景中,也可能存在由非本人代替回答或借助外部辅助完成信息表达的情形。在此类情况下,视频中的语音信息与可见行为在表面上呈现出一致性,但实际来源或控制主体存在偏差,从而影响对信息真实性的判断。针对上述问题,传统技术通常基于音频信息与视频行为之间的关联关系进行分析,通过提取语音特征与图像特征并进行比对,以识别异常情况。然而,在复杂应用环境下,上述方法仍存在一定局限性:一方面,在存在光照变化、遮挡干扰或背景噪声等因素时,相关特征的提取稳定性受到影响,进而降低判定结果的可靠性;另一方面,对于语音与行为在表层表现上保持一致但实际存在异常来源的情况,现有基于直接关联关系的分析方式难以进行有效区分;此外,不同类型异常行为在特征表现上具有一定相似性,使得判别过程中存在边界模糊的问题,容易出现误判或漏判。
技术实现思路
1、本申请实施方式主要解决的技术问题是传统技术在语音与行为表层一致的情况下,难以准确判定用户身份真实性及表达可靠性。
2、为解决上述技术问题,本申请实施方式采用的第一个技术方案是:提供一种音视频行为真实性检测方法,包括:获取目标对象在音视频交互过程中的音视频流,并对所述音视频流进行切片处理,得到多个交互片段;对所述交互片段进行音视频解析,得到视频帧序列、音频帧序列、语音转录文本和环境质量参数;输入所述视频帧序列至视觉智能体,通过所述视觉智能体提取所述目标对象的面部行为特征,并根据所述面部行为特征生成视觉表征和视觉异常置信度;输入所述音频帧序列至声学智能体,通过所述声学智能体提取与所述目标对象相关的声学行为特征,并根据所述声学行为特征生成声学表征和声学异常置信度;输入所述语音转录文本和所述视觉表征至语义智能体,通过所述语义智能体分析所述语音转录文本对应的语音内容与所述视觉表征对应的面部行为状态之间的一致性,并根据一致性分析结果生成语义表征和语义异常置信度;将所述视觉表征、所述声学表征、所述语义表征、所述视觉异常置信度、所述声学异常置信度、所述语义异常置信度以及所述环境质量参数输入元智能体,通过所述元智能体确定视觉融合权重、声学融合权重和语义融合权重;根据所述视觉融合权重、所述声学融合权重和所述语义融合权重,对所述视觉异常置信度、所述声学异常置信度和所述语义异常置信度进行融合处理,得到所述目标对象在所述音视频交互过程中的行为真实性检测结果。
3、为解决上述技术问题,本申请实施方式采用的第二个技术方案是:提供一种音视频行为真实性检测装置,包括:交互片段获取模块,用于获取目标对象在音视频交互过程中的音视频流,并对所述音视频流进行切片处理,得到多个交互片段;交互片段解析模块,用于对所述交互片段进行音视频解析,得到视频帧序列、音频帧序列、语音转录文本和环境质量参数;视觉特征分析模块,用于输入所述视频帧序列至视觉智能体,通过所述视觉智能体提取所述目标对象的面部行为特征,并根据所述面部行为特征生成视觉表征和视觉异常置信度;声学特征分析模块,用于输入所述音频帧序列至声学智能体,通过所述声学智能体提取与所述目标对象相关的声学行为特征,并根据所述声学行为特征生成声学表征和声学异常置信度;语义一致分析模块,用于输入所述语音转录文本和所述视觉表征至语义智能体,通过所述语义智能体分析所述语音转录文本对应的语音内容与所述视觉表征对应的面部行为状态之间的一致性,并根据一致性分析结果生成语义表征和语义异常置信度;元智能体调权模块,用于将所述视觉表征、所述声学表征、所述语义表征、所述视觉异常置信度、所述声学异常置信度、所述语义异常置信度以及所述环境质量参数输入元智能体,通过所述元智能体确定视觉融合权重、声学融合权重和语义融合权重;结果融合输出模块,用于根据所述视觉融合权重、所述声学融合权重和所述语义融合权重,对所述视觉异常置信度、所述声学异常置信度和所述语义异常置信度进行融合处理,得到所述目标对象在所述音视频交互过程中的行为真实性检测结果。
4、为解决上述技术问题,本申请实施方式采用的第三个技术方案是:提供一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的音视频行为真实性检测方法。
5、为解决上述技术问题,本申请实施方式采用的第四个技术方案是:提供一种非易失性计算机可读存储介质,所述非易失性计算机可读存储介质存储有计算机可执行指令,当所述计算机可执行指令被电子设备执行时,使所述电子设备执行如上所述的音视频行为真实性检测方法。
6、区别于相关技术的情况,本申请通过视觉智能体、声学智能体和语义智能体分别分析目标对象的面部行为、发声状态以及语音内容与面部行为状态的一致性,并结合环境质量参数由元智能体动态确定各分析结果的融合权重。在画面质量较差、背景噪声较强或网络传输不稳定时,可以降低受影响分析结果的干扰,提高可信分析结果的采纳程度,从而提升复杂音视频交互场景下行为真实性检测的准确性和稳定性,并增强对外部提示、非本人表达等隐蔽异常行为的识别能力。
1.一种音视频行为真实性检测方法,其特征在于,包括:
2.根据权利要求1所述的音视频行为真实性检测方法,其特征在于,所述输入所述视频帧序列至视觉智能体,通过所述视觉智能体提取所述目标对象的面部行为特征,并根据所述面部行为特征生成视觉表征和视觉异常置信度,包括:
3.根据权利要求1所述的音视频行为真实性检测方法,其特征在于,所述输入所述音频帧序列至声学智能体,通过所述声学智能体提取与所述目标对象相关的声学行为特征,并根据所述声学行为特征生成声学表征和声学异常置信度,包括:
4.根据权利要求1所述的音视频行为真实性检测方法,其特征在于,所述输入所述语音转录文本和所述视觉表征至语义智能体,通过所述语义智能体分析所述语音转录文本对应的语音内容与所述视觉表征对应的面部行为状态之间的一致性,并根据一致性分析结果生成语义表征和语义异常置信度,包括:
5.根据权利要求1所述的音视频行为真实性检测方法,其特征在于,所述将所述视觉表征、所述声学表征、所述语义表征、所述视觉异常置信度、所述声学异常置信度、所述语义异常置信度以及所述环境质量参数输入元智能体,通过所述元智能体确定视觉融合权重、声学融合权重和语义融合权重,包括:
6.根据权利要求1所述的音视频行为真实性检测方法,其特征在于,在输入所述视频帧序列至视觉智能体、输入所述音频帧序列至声学智能体、输入所述语音转录文本和所述视觉表征至语义智能体之前,所述方法还包括:
7.根据权利要求6所述的音视频行为真实性检测方法,其特征在于,所述基于各智能体对应的过度自信惩罚生成局部惩罚损失,包括:
8.一种音视频行为真实性检测装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括:
10.一种非易失性计算机可读存储介质,其特征在于,所述非易失性计算机可读存储介质存储有计算机可执行指令,当所述计算机可执行指令被电子设备执行时,使所述电子设备执行权利要求1-7任一项所述的音视频行为真实性检测方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com