基于注意力消融的音频大语言模型跨模态信息流追踪方法

本发明涉及基于注意力消融的音频大语言模型跨模态信息流追踪方法，属于音频大语言模型领域。

背景技术：

1、大型语言模型近年来在众多任务上取得显著进展，其强大性能背后存在明显的黑箱效应，推动了对模型内部机制的广泛研究。针对纯文本大型语言模型，现有工作已对神经元行为、注意力流和模块化任务特化进行了系统探索。类似地，视频-语言大模型的结构设计与模态对齐机制也受到初步关注。然而，音频大语言模型的内部工作机制至今仍未得到充分研究。

2、音频大语言模型通常由高效的音频编码器和文本型大型语言模型组成。在输入阶段，音频编码器提取的声学表示与文本嵌入进行拼接，共同输入语言模型，实现音频与文本的联合推理。与纯文本模型相比，声学表示在多模态理解中发挥着关键作用，因此研究声学表示如何在模型中传播和交互，对揭示音频-语言推理的内部机制至关重要。

3、已有少数工作尝试探究多模态大型语言模型内部状态与外部行为之间的关联，涉及模型参数中的信息存储、输出分布中的潜在信号、非文本特征的定位与演化以及冗余输入令牌的剪枝等方面。然而，音频大语言模型中声学模态与文本模态之间的信息流机制依然缺乏系统性理解，尤其是在自回归推理过程中，声学信息究竟在哪些层、以何种方式与文本表示融合以生成最终预测，仍是有待深入探索的核心问题。

4、现有面向音频大语言模型可解释性的工作存在以下缺陷：其一，缺乏专门针对音频模态的分析框架；其二，缺乏对跨模态注意力路径的精细化追踪方法，无法定量刻画声学信息向文本表示传播的层次分布规律；其三，缺乏涵盖不同认知复杂度语音任务的系统性实验验证，难以全面揭示模型在不同任务下的模态依赖动态变化。

技术实现思路

1、本发明的目的是为解决现有音频大语言模型可解释性分析缺乏系统性方法的问题，提供基于注意力消融的音频大语言模型跨模态信息流追踪方法，对声学与文本模态之间的注意力路径进行选择性干预，定量追踪不同层次中两种模态对最终预测的贡献，得到音频大语言模型内部的模态融合机制与层次化信息处理规律。

2、本发明的目的是通过下述技术方案实现的：

3、本发明的技术特点是：对输入的音频-文本对，将音频编码器提取的声学特征序列与文本嵌入序列拼接为统一输入序列，送入由l层transformer解码器构成的音频大语言模型，在各transformer层中通过修改各transformer层的掩蔽多头注意力模块中的因果掩码矩阵；在关键词识别、情感分类及问答推理三类任务下系统性执行第一类消融声学-末位阻断，选择性阻断特定令牌位置集合之间的注意力连接，阻断来自声学令牌的注意力连接路径；执行第二类消融文本-末位阻断，阻断所有文本令牌位置到最终序列位置的注意力连接路径；执行第三类消融末位自阻断，阻断最终序列位置到其自身的自注意力连接路径，末位自阻断到最终预测位置，截断对应信息流；以消融干预前后正确答案令牌预测概率的相对变化率定量衡量被阻断信息路径对最终预测的贡献度；在跨模态信息流分析中，进一步执行第四类消融声学-文本阻断，阻断从声学令牌到文本令牌位置的注意力路径，追踪声学信息向文本流的注入过程；通过在不同层区间系统性施加固定窗口大小的消融干预，构建逐层模态贡献剖面，得到声学表示与文本表示在层次维度上的互补分工规律及跨模态信息流的注入机制，最终得到音频大语言模型内部的模态融合机制与层次化信息处理规律。

4、本发明基于注意力消融的音频大语言模型跨模态信息流追踪方法，具体通过以下步骤实现：

5、s1、对声学表示的提取与构建多模态输入

6、s1.1对于每个输入样本原始音频波形，执行梅尔频谱变换生成梅尔频谱图，由音频编码器及轻量级投影模块处理后生成若干个d维声学特征向量，构成声学特征序列；

7、s1.2将包含任务描述与选项的文本提示通过大型语言模型分词器处理后生成文本特征序列；

8、s1.3在文本提示中插入特殊语音占位符，前向传播前将该特殊语音占位符位置替换为声学特征向量，实现s1.1构成的声学特征序列与s1.2构成的文本特征序列两者拼接融合，形成统一输入序列并送入由l层transformer解码器构成的音频大语言模型，其中声学令牌位于文本令牌之前，声学令牌占据统一输入序列前段、文本令牌占据统一输入序列后段；

9、s2、引入层内注意力掩码干预机制

10、在步骤s1形成的统一输入序列基础上，解码器架构的transformer层中的掩蔽多头注意力模块是令牌间信息流通的通道，修改因果掩码矩阵，具体为：在标准自回归因果掩码确保位置t处的令牌仅能关注位置不大于t的令牌的基础上，引入层内注意力掩码干预，对于待阻断的源令牌位置集合s与目标令牌位置集合t，将满足源位置属于s且目标位置属于t的掩码位置额外置为负无穷大，从而在不修改任何模型参数的前提下精确截断对应信息流；

11、s3、设定消融窗口与逐层干预方案

12、为平衡干预效果的灵敏度与稳定性，采用固定消融窗口大小设定为k层的消融方案：对于每个目标层，在以该目标层为中心选取连续k层窗口范围内同时施加步骤s2所述注意力掩码干预，并按式（1）以计算消融前后的预测概率相对变化率衡量干预效果：

13、预测概率相对变化率的计算方法为：

14、                    （1）

15、其中，表示消融干预后的预测概率，表示消融干预前的预测概率；

16、通过在所有transformer层上系统性滑动干预窗口，构建完整的逐层模态贡献剖面图，从而为步骤s4中的消融模式分析和步骤s5中的跨模态信息流追踪提供层级依据，以识别声学主导层区间与文本主导层区间，以及跨模态信息注入的关键层位置。

17、s4、定义与执行三类消融模式

18、在步骤s3的逐层干预基础上，分别执行声学-末位阻断、文本-末位阻断、末位自阻断以及声学-文本阻断四类消融模式，构建逐层模态贡献剖面。

19、定义三类消融模式，分别执行对应不同的信息流干预目标，三类消融模式具体为：第一类消融模式为声学-末位阻断模式，将声学令牌位置集设为源集合、最终序列位置设为目标集合，阻断所有声学令牌位置到最终序列位置的注意力连接，量化声学模态对最终预测的直接贡献；第二类消融模式为文本-末位阻断模式，将文本令牌位置集设为源集合、最终序列位置设为目标集合，阻断所有文本令牌位置到最终序列位置的注意力连接，量化文本模态对最终预测的直接贡献；第三类消融模式为末位自阻断模式，将最终序列位置同时设为源集合和目标集合，阻断最终序列位置到其自身的自注意力连接，量化最终位置令牌自身对预测的直接贡献。过对三类消融模式分别进行逐层干预并记录预测概率相对变化率，得到对应的声学-末位阻断消融曲线、文本-末位阻断消融曲线以及末位自阻断消融曲线。

20、三类消融模式在逐层分析中，声学表示主导的层区间表现为声学-末位阻断消融效应集中且幅度显著大于文本-末位阻断消融效应；文本表示主导的层区间表现为文本-末位阻断消融效应随层深持续增强；末位自阻断消融效应在各层均接近于零。

21、三类消融模式可在同一模型、同一输入样本上独立执行，所得逐层干预曲线可相互对比；随任务复杂度提升，实现从两种模态推理自适应切换的模态平衡机制。

22、s5、开展跨模态信息流的专项追踪

23、为揭示声学信息向文本表示的传播机制，在步骤s4的分析基础上引入声学-文本阻断模式，执行声学-文本阻断第四类消融，并分析声学信息向文本表示的传播规律，具体方法为：

24、s5.1、在每一transformer层中，将所有声学令牌位置集设为源集合、所有文本令牌位置集设为目标集合，同时阻断从声学令牌到文本令牌的所有注意力连接，而保留声学令牌内部及文本令牌内部的自注意力路径；

25、s5.2、通过逐层执行第四类声学-文本阻断消融干预并记录各目标层对应的预测概率相对变化率，再按照层号顺序将各目标层的预测概率相对变化率连接成变化曲线，识别声学信息向文本表示注入的主要发生层区间，以及该注入效应随层深增加的衰减规律，定量追踪跨模态信息流的传播过程；结合步骤s4中所得的声学-末位阻断曲线，综合判断音频大语言模型中音-文信息融合的层次化组织结构。

26、s6、多任务系统性对比实验

27、多任务包含关键词识别、情感分类及问答推理三类任务，在三类任务下基于步骤s1至步骤s5系统性执行上述分析流程：

28、在关键词识别任务下，具体要求模型对输入语音片段的语义内容与给定文本描述进行低级感知对齐，分析声学线索在词汇识别中的层次贡献；

29、在情感分类任务下，具体要求模型基于多模态线索对语音话语进行情感归因，综合利用声学与文本信息，分析声学与文本线索的联合贡献；

30、在问答推理任务下，具体要求模型对音频事件进行精细识别并结合文本语义完成多步推理；

31、至此，基于步骤 s1~s6，通过对比三类任务下逐层消融曲线的幅度分布、峰值层位置以及跨层分布差异，实现基于注意力消融的音频大语言模型跨模态信息流追踪方法，获得音频大语言模型内部模态融合机制与层次化信息处理规律。具体而言，在关键词识别任务中，声学-末位阻断消融导致预测概率显著下降，表明该任务的预测结果主要依赖声学模态信息；随着任务复杂度提升，模型对声学信息与文本信息的依赖关系逐渐趋于均衡，两类模态消融效应幅度逐渐接近，并分布于更宽的网络层区间；在问答推理任务中，声学信息向文本表示的注入效应进一步延伸至更深层网络，表明复杂语义推理任务需要更充分的音频-文本信息交互。

32、有益效果

33、1、本发明公开的基于注意力消融的音频大语言模型跨模态信息流追踪方法，在不同基础语言模型骨干的音频大语言模型上重复执行分析流程，对比不同架构下模态消融效应的幅度分布与峰值层位置的异同；通过对声学与文本模态之间的注意力路径进行选择性干预，定量追踪不同层次中两种模态对最终预测的贡献，在关键词识别、情感分类和问答推理三类任务下，分别执行声学-末位阻断、文本-末位阻断、末位自阻断以及声学-文本阻断四类消融模式，构建逐层模态贡献剖面，得到音频大语言模型内部的模态融合机制与层次化信息处理规律：声学表示主导低层、文本表示主导高层、跨模态注入集中于中间层的层次化组织结构；分析基础语言模型骨干层数差异对模态敏感层绝对位置的影响，以及多阶段融合整体模式的保留性，为音频大语言模型的结构理解与功能优化提供了理论依据与工具支撑。

34、2、本发明公开的基于注意力消融的音频大语言模型跨模态信息流追踪方法，所提注意力掩码干预机制无需对模型参数进行任何修改或重新训练，可即插即用地应用于任意基于transformer解码器架构的音频大语言模型，具有高度通用性与实用性。

35、3、本发明公开的基于注意力消融的音频大语言模型跨模态信息流追踪方法，在三类消融模式的逐层分析中，声学表示主导的层区间表现为声学-末位阻断消融效应集中且幅度显著大于文本-末位阻断消融效应；文本表示主导的层区间表现为文本-末位阻断消融效应随层深持续增强；末位自阻断消融效应在各层均接近于零，确认最终位置令牌的自贡献可忽略不计；随任务复杂度提升从单一声学模态驱动向均衡多模态推理自适应切换的模态平衡机制；声学信息经由中间层注入文本流的跨模态传播路径；为模型设计、层次剪枝与多模态信息定位编辑等后续研究提供了直接指导。