一种基于独立时序证据与可靠性融合的音视频问答处理方法

摘要: 本发明属于音视频问答处理,具体涉及一种基于独立时序证据与可靠性融合的音视频问答处理方法。背景技术:1、音视频问答旨在根据包含声音的视频内容回答自然语言问题。其输...
一种基于独立时序证据与可靠性融合的音视频问答处理方法

本发明属于音视频问答处理,具体涉及一种基于独立时序证据与可靠性融合的音视频问答处理方法。

背景技术:

1、音视频问答旨在根据包含声音的视频内容回答自然语言问题。其输入至少包括音频观测序列、视频观测序列和问题文本,输出为候选答案集合中的一个答案,或各候选答案的概率分布。完成一次问答通常需要识别问题所指向的声音事件、视觉对象、动作状态、对象属性及其发生时间,并判断不同线索之间是否存在语义对应关系或时间关联。

2、音频和视频均具有显著的时间结构。音频中的发声事件可能仅出现在短暂区间,视频中的对象或动作也可能因镜头切换、遮挡或运动而间歇出现。同时,问题文本进一步限定了当前样本所需关注的时间范围、对象类别、声音类型以及模态组合。例如,询问“谁在发声”时,需要结合声学事件与可见对象进行判断;询问“声音出现之前发生了什么”时,还需要建模事件前后的时序关系。因此,若仅对整段音频或视频进行平均汇聚,容易稀释与问题相关的局部证据,降低关键事件的可辨识性。

3、除限定问答目标外,问题文本还具有不同粒度的条件引导作用。句子级语义适合确定整体问答意图、目标事件及需要关注的模态,词级语义则适合定位具体的声源、对象、动作、方位和时间表达。与之对应,粗粒度音频时序特征和视频帧特征主要描述事件的发展过程,细粒度声学频率令牌和视觉局部令牌则用于核验相关频带、对象区域及局部属性。若对上述四类特征采用相同的条件化方式,往往难以同时满足事件级信息筛选与局部线索核验的需要。

4、在完成问题条件化之后,还需要解决音频证据与视觉证据的组织及融合问题。现有音视频问答方法通常在特征阶段采用特征拼接、交叉注意力或联合编码,以促进两种模态之间的信息交互。此类处理有助于交换互补信息,但当音频和视觉信息在分别形成可检查的答案证据之前被持续混合时,最终表示中的证据来源边界容易被弱化。当某一路产生高置信错误并将其传播至另一分支时,最终分类头难以判断错误来源;当两路预测发生冲突时,也难以保留原本正确的模态私有证据。

技术实现思路

1、本发明要解决的问题是提高音视频问答结果的准确性,提出一种基于独立时序证据与可靠性融合的音视频问答处理方法。

2、为实现上述目的,本发明通过以下技术方案实现:

3、一种基于独立时序证据与可靠性融合的音视频问答处理方法,包括如下步骤:

4、s1. 获取粗粒度音频时序特征、粗粒度视频帧特征、细粒度声学频率特征、细粒度视觉局部特征以及句子级问题特征和词级问题令牌;

5、s2. 将步骤s1获取的、、、,经过独立投影并对齐到统一时间索引,得到对齐后的四类音视频特征,包括对齐后的粗粒度音频时序特征、对齐后的粗粒度视频帧特征、对齐后的细粒度声学频率特征、对齐后的细粒度视觉局部特征;

6、s3. 利用句子级问题特征对、进行通道级的特征线性调制处理,得到粗粒度音频条件化特征、粗粒度视频帧条件化特征;然后构建词引导的细粒度交叉注意力与残差细化模型,分别对、进行处理得到对应的音频、视频适配特征和

7、s4. 分别建立双向状态空间时序编码器,将步骤s3得到的粗粒度音频条件化特征a粗粒度视频帧条件化特征v分别与对应的问题前缀组成双向时间序列输入到双向状态空间时序编码器中,得到音频私有时序状态和视觉私有时序状态,并分别生成音频答案证据和视觉答案证据;

8、s5. 建立协同诊断与细粒度落地验证参数,包括协同诊断证据摘要、细粒度落地验证信息,然后将两路证据摘要、协同诊断证据摘要、细粒度落地验证信息和句子级问题特征共同构成可靠性上下文;

9、s6. 利用可信路由器根据可靠性上下文产生音频折扣系数和视觉折扣系数,然后分别对和进行调节,得到折扣后的音频答案证据、折扣后的视觉答案证据;

10、s7. 基于步骤s6得到的折扣后的音频答案证据、折扣后的视觉答案证据,按照dempster shafer规则进行组合,得到预测答案。

11、进一步的,步骤s3构建的词引导的细粒度交叉注意力与残差细化模型为以作为查询,细粒度特征同时作为键和值,交叉注意力拆分的表达式为:

12、

13、其中,为查询与键的维度,为第m个特征的注意力掩码,,为第m个特征的查询,为第m个特征的键,为第m个特征的值,为第m个特征的交叉注意力输出,为softmax激活函数;

14、残差细化的表达式为:

15、

16、其中,为第个特征的层归一化, 为激活函数,和 分别为第一权重矩阵、第二权重矩阵,和分别为第一偏置项和第二偏置项,为第个特征经过残差细化后的输出,为输入的特征向量。

17、进一步的,步骤s4建立的双向状态空间时序编码器包括按照原时间顺序输入正向状态空间编码器、按照逆时间顺序输入反向状态空间编码器,得到音频私有时序状态和视觉私有时序状态的表达式为:

18、

19、

20、其中,和分别为时刻音频私有时序状态和视觉私有时序状态,和分别为音频的正向状态空间编码器输出和反向状态空间编码器输出,和分别为视觉的正向状态空间编码器输出和反向状态空间编码器输出,和分别为音频的状态融合操作与视觉的状态融合操作, 为反向序列翻转操作。

21、进一步的,步骤s4中分别生成音频答案证据和视觉答案证据的具体实现方法为将 和分别经过问题条件化时间汇聚,形成音频全局私有状态和视觉全局私有状态;

22、使用 统一表示两条分支时,为第m个特征的私有时序状态,时间权重与汇聚结果为:

23、

24、其中,为第m个特征的全局私有状态,为第个特征在时刻的时间权重,为第m个特征t时刻的的私有时序状态;

25、然后音频证据头和视觉证据头分别将和映射为个非负证据值,并转换为dirichlet参数,得到第m个特征的答案证据,表达式为:

26、

27、

28、其中,为第个特征的非负证据值,为softplus激活函数,为第个特征证据头的权重矩阵,为第个特征证据头的偏置项,为第个特征的答案证据;

29、计算对应的类别概率期望和总体不确定性;然后将总证据量、最大类别概率、第一与第二类别概率差、总体不确定性和时间注意力统计进行拼接,得到第m个特征的证据摘要,表达式为:

30、

31、其中,为第个特征的总证据量,为第个特征的类别概率,表示第一大类别概率与第二大类别概率之差,为第个特征的总体不确定性,表示时间权重统计。

32、进一步的,步骤s5的具体实现方法包括如下步骤:

33、s5.1. 设置协同诊断头,协同诊断头接收音频和视觉全局私有状态进行拼接,产生诊断证据、dirichlet参数和协同诊断证据摘要

34、

35、

36、

37、其中,多层感知机;为证据摘要抽取函数;

38、s5.2. 细粒度落地验证信息的具体构建过程如下:首先构建声学支持、视觉对象支持、声源协同支持和时间对齐支持,四个子变量的计算表达式分别为:

39、

40、

41、

42、

43、其中,表示矩阵转置,为特征维度;、和分别为归一化指数函数、余弦相似度计算操作和对角线元素提取操作;

44、对其分别提取统计特征并进行向量拼接,构建细粒度落地验证信息,表达式为:

45、

46、其中,为细粒度落地验证信息,为声学支持,为视觉对象支持,为声源协同支持,为时间对齐支持,为向量拼接操作;

47、s5.3. 构成可靠性上下文。

48、进一步的,步骤s6中可信路由器对同一上下文设置两个独立输出单元,分别产生音频折扣系数和视觉折扣系数,表达式为:

49、

50、其中,为sigmoid激活函数,为可信路由器多层感知机。

51、进一步的,步骤s6中对每一路dirichlet证据执行上下文折扣。优选采用保留dirichlet基础参数1的线性折扣,得到折扣后的音频答案证据、折扣后的视觉答案证据。

52、进一步的,步骤s7的具体实现方法包括如下步骤:

53、s7.1. 将折扣后的音频答案证据、折扣后的视觉答案证据分别转换为对应的信念质量及对应的不确定质量,表达式为:

54、

55、

56、

57、其中,为第个特征折扣后的总证据量,为第个特征折扣后对应类别的的答案证据,为第个特征对应类别的信念质量,为第个特征折扣后的不确定质量,为类别总数;

58、s7.2. 计算两路证据的冲突量;当 大于数值稳定阈值 时,按照dempster组合规则得到:

59、

60、

61、其中,为融合后类别的最终信念质量,和分别为音频和视觉对类别的信念质量,和分别为折扣后的音频与视觉不确定质量,为两路证据的冲突量,为融合后的最终不确定质量;

62、s7.3. 由和恢复融合dirichlet参数,得到预测答案:

63、

64、

65、

66、

67、

68、其中,为融合后的最终总证据量为数值稳定阈值,为融合后类别的最终非负证据值,为融合后类别的最终信念质量,为融合后类别的最终dirichlet参数,为最终预测类别的期望概率,为模型最终预测的答案类别。

69、本发明的有益效果:

70、本发明所述的一种基于独立时序证据与可靠性融合的音视频问答处理方法,提高问题相关特征的适配能力。通过句子级film和词级交叉注意力,分别调制粗粒度时序特征和细粒度声学、视觉局部特征,使不同粒度的音视频线索获得与其结构相匹配的问题条件。

71、本发明所述的一种基于独立时序证据与可靠性融合的音视频问答处理方法,保持单模态证据的完整性和可追溯性。通过参数独立的问题前缀双向状态空间编码,分别建模音频和视觉的前后时序关系,使两类模态在融合前独立形成答案证据,减少早期模态交互引起的错误传播和有效证据覆盖。

72、本发明所述的一种基于独立时序证据与可靠性融合的音视频问答处理方法,提高证据融合的可靠性和可解释性。综合私有证据、协同诊断、细粒度验证及问题上下文,分别折扣音频和视觉证据,并在dirichlet证据层执行冲突感知组合,可适应单侧受损、双侧可靠或双侧不可靠等情况,同时输出模态保留程度、证据冲突量和总体不确定性,为错误分析、人工复核及拒答决策提供依据。