面向无标注多模态对话的伪标签引导语义聚类方法

本发明涉及面向无标注多模态对话的伪标签引导语义聚类方法，属于自然语言处理领域。

背景技术：

1、无标注多模态聚类旨在不依赖人工标注的条件下，通过联合建模文本、音频和视频等异构模态信号，发掘对话数据中的潜在语义结构。随着大规模对话语料的持续增长，其语义组织对意图理解、交互分析和下游话语建模愈发重要。将具有相似交际含义的话语归组，可同时支持语料级探索与实用语义建模，同时降低对昂贵标注资源的依赖。

2、现有无监督意图发现方法虽各有侧重，但共享一套通用的三阶段范式：第一阶段为多模态表示学习，将原始多模态输入映射到共享嵌入空间；第二阶段为语义划分，通过聚类算法将嵌入空间划分为若干潜在语义组；第三阶段为伪标签引导的迭代精化，将聚类分配结果作为伪标签，通过"聚类-更新-重新聚类"循环迭代精化表示空间。代表性方法包括深度嵌入聚类（dec）、深度聚类（deepcluster）、不变信息聚类（iic）以及多模态意图发现系统mcn和umc等。

3、上述方法存在三项系统性缺陷。其一为语义表示差距：现有方法依赖主要针对低层特征提取或实例级对齐优化的模态专用编码器，跨模态语义校准和高层抽象的激励不足，导致所学嵌入空间反映的是表面模态模式而非底层语义内容；当模态不一致或存在噪声时，语义相似的话语可能因声学或视觉线索差异而被分离。其二为跨样本关系盲视：现有方法在多模态表示学习阶段普遍采用实例级对比目标，仅对齐同一样本的增强视图，完全忽略样本间语义关系，导致来自同一潜在类别的话语在嵌入空间中无法形成紧凑的内聚结构。其三为置信度无感知的迭代精化：现有方法在迭代精化阶段直接复用聚类分配作为伪标签，隐含地将所有样本视为同等可靠，而实践中簇中心样本远比边界样本可信，无差别复用伪标签会导致早期错误分配在多轮迭代中持续传播和放大。

技术实现思路

1、本发明的目的是为解决现有无标注多模态聚类方法存在语义表示差距、跨样本关系盲视和置信度无感知精化三项缺陷，提供面向无标注多模态对话的伪标签引导语义聚类方法，通过语义校准、关系增强和质量感知精化三个协同组件构建统一框架，提升聚类性能和训练稳定性。

2、本发明的目的是通过下述技术方案实现的：

3、本发明方法的技术特点是：构建以 bert 为文本分支、以单层 transformer 编码器为视频和音频分支的共享多模态编码器，将每条话语的三路模态特征融合为统一嵌入表示；在预训练阶段联合执行模态丢弃实例级对比学习、冻结大型多模态语言模型语义对齐以及基于冻结文本近邻的跨样本关系增强学习；在迭代精化阶段以密度-间隔联合评分筛选高置信度样本施加有监督对比学习，对低置信度样本仅施加无监督实例级一致性学习，形成语义校准、关系增强和质量感知精化三个协同模块。三个模块共同作用，其中语义校准实现多模态语义空间对齐，关系增强建模样本间语义关联，质量感知精化控制伪标签监督信号的可靠传播。

4、本发明面向无标注多模态对话数据的语义发现方法，具体通过以下步骤实现：

5、s1、构建共享多模态编码器

6、对每条话语的文本令牌序列、视频特征序列和音频特征序列分别通过三路独立分支编码。具体为：

7、s1.1文本分支采用预训练bert编码器处理文本令牌序列，取cls令牌表示后经线性投影层映射至融合维度。

8、s1.2视频分支对视频特征序列施加模态特定线性投影后经单层transformer编码器处理，取最终时间步输出作为视频序列嵌入。

9、s1.3音频分支结构与视频分支相同，对音频特征序列执行同样操作得到音频序列嵌入。

10、s1.4将s1.1、s1.2、s1.3三路嵌入向量并拼接后，顺次经过gelu激活函数、随机丢弃和线性融合层得到融合表示，再经轻量级线性投影头映射至对比空间，所有损失计算均使用投影头输出的l2归一化向量。训练阶段，文本分支端到端微调；语义划分和推理阶段，使用融合层输出的l2归一化融合表示执行k均值聚类，其中k表示预设的聚类类别数量。

11、s2、语义校准预训练

12、基于步骤s1得到的共享多模态编码器输出，进行语义校准预训练，在多模态表示学习阶段，以模态丢弃对比学习和大型多模态语言模型语义对齐损失联合训练编码器，将嵌入空间锚定至高层意图语义。具体为：

13、s2.1对每条话语构造三类模态丢弃视图：第一类视图保留文本和音频、丢弃视频；第二类视图保留文本和视频、丢弃音频；第三类视图保留文本、视频和音频全部模态。

14、文本模态在三类视图中均予保留，提供最稳定的语义信号。对同一话语的三类视图两两设为正例对，采用有监督对比损失函数计算实例级跨视图对齐损失，如式（1）所示，以此鼓励模态不变的表示。

15、                            (1)

16、其中，b表示一个训练小批次中的样本集合，表示第i个样本在完整模态视图下的l2归一化投影向量，表示第i个样本在其余模态丢弃视图下对应归一化投影向量的平均表示。

17、s2.2引入大型多模态语言模型语义对齐机制

18、离线提取冻结大型多模态语言模型对每条话语的上层若干层隐藏状态，分别对文本路由、音频路由和视频路由的令牌进行均值池化，按预设权重对各层聚合特征加权求和，经l2归一化后拼接三路特征形成教师语义表示，该教师语义表示在整个训练过程中保持固定。由于教师嵌入维度与编码器融合维度不同，通过可学习线性投影层将教师表示映射至编码器融合维度。最小化该损失驱使编码器表示向大型多模态语言模型所蕴含的意图感知语义靠拢。

19、s3、关系增强预训练

20、在完成步骤s2的语义校准预训练后，进入关系增强预训练阶段。以步骤s1中构建的共享多模态编码器作为训练对象，在文本、视频和音频三种模态共同参与的融合表示学习过程中，以冻结文本编码器构建固定文本近邻表，并利用跨样本近邻正例对开展关系增强预训练，以预训练总损失更新共享多模态编码器参数。

21、在预训练循环开始前，对全部训练样本提取冻结文本编码器的cls表示并进行l2归一化，计算全样本对余弦相似度矩阵，为每条样本保留余弦相似度最高的若干近邻样本索引，构成固定文本近邻表。该固定文本近邻表在整个预训练过程中保持固定不变；

22、在每个训练小批次中，根据全局样本索引和固定近邻表构造二值正例对掩码，近邻关系取双向并集使关系具有对称性，以有监督对比损失计算批内跨样本近邻对齐损失；仅保留批内至少拥有一个近邻正例的样本参与损失计算，鼓励语义相关话语在嵌入空间中形成内聚的局部邻域结构。通过超几何分布近似估算一个小批次中样本拥有至少一个近邻正例的概率，作为近邻表规模选取的参考依据。

23、预训练总损失计算见式（2）：

24、                    （2）

25、其中，表示预训练总损失、表示实例级模态丢弃对比损失、表示跨样本文本近邻对比损失、表示大型多模态语言模型语义对齐损失、表示跨样本文本近邻对比损失权重，表示大型多模态语言模型语义对齐损失权重。

26、s4、伪标签生成与质量感知样本筛选

27、完成s3的关系增强预训练后，进入伪标签迭代精化阶段，以密度-间隔联合评分准则从每轮k均值聚类结果中筛选高置信度样本施加有监督对比学习，对低置信度样本施加无监督一致性学习。

28、预训练结束后进入迭代精化阶段。在每轮精化迭代开始时，将全部训练样本通过编码器前向传播提取融合表示并进行 l2 归一化，在归一化特征上执行 k 均值聚类，其中k 表示预设的聚类类别数量，为每条样本分配伪标签。首次聚类采用 k 均值加加号初始化，并执行多次随机重启以避免初始化偏差；后续各轮以上一轮的簇质心作为热启动初始化，并仅执行单次初始化以降低计算开销。 k 均值聚类在 l2 归一化特征上以欧氏距离执行，簇质心在距离评估前同样进行 l2 归一化，保证聚类和样本筛选所用距离度量的一致性。

29、对聚类结果执行密度-间隔联合评分，按照每个样本的综合可靠性得分筛选高置信度样本。所述高置信度样本的训练目标由两部分组成，第一部分为以k均值伪标签作为类别监督信号的有监督对比损失，同一话语不同模态丢弃视图及同一伪标签类别的其他选中样本均视为正例；第二部分为与冻结大型多模态语言模型教师表示的余弦对齐损失；两部分损失加权求和后在独立梯度步骤中更新编码器；所述低置信度样本的训练目标仅为同一话语不同模态丢弃视图之间的实例级跨视图一致性损失，不使用任何伪标签监督。两类样本的梯度更新在同一轮次内独立执行，互不干扰。

30、所述密度-间隔联合评分准则的计算步骤为，对每个簇内样本分别计算密度得分和间隔得分；密度得分的计算方式为：对每个簇，自适应确定查询规模，取簇大小的一定比例与固定下界之间的较大值，以k近邻可达性估计每条样本到同簇近邻的平均距离，取距离倒数作为原始密度可靠性，在簇内归一化得到密度得分；间隔得分的计算方式为：计算每条样本到已分配簇质心的距离与到最近竞争簇质心的距离之差作为原始间隔，在簇内归一化得到间隔得分。综合可靠性得分为密度得分与间隔得分的加权平均，如式（3）所示：

31、                     （3）

32、其中，表示第i个样本的综合可靠性得分，表示第i个样本的密度得分，表示第i个样本的间隔得分，表示密度得分与间隔得分之间的平衡系数。

33、按综合得分从高到低对每个簇内样本排序，取前若干比例的样本为高置信度选中集合，其余为低置信度未选中集合。选中比例随训练轮次从初始值以固定增量递增直至预设上限，逐步扩展受监督子集规模。

34、s5、质量感知对比精化训练

35、在完成步骤s4中的伪标签生成与质量感知样本筛选后，对高置信度选中样本以伪标签计算有监督对比损失并叠加语义对齐损失，在独立梯度步骤中更新编码器；对低置信度未选中样本，仅以三类模态丢弃视图之间的实例级一致性损失更新编码器。循环执行步骤s4和步骤s5，直至达到预设精化轮数，输出最终聚类划分结果。推理时，将待处理样本输入训练完成的共享多模态编码器，提取其融合表示并按照最近质心规则分配聚类标签，从而实现面向无标注多模态对话数据的伪标签引导语义聚类方法。

36、有益效果

37、1、本发明公开的面向无标注多模态对话的伪标签引导语义聚类方法，提出首个将语义校准、跨样本关系建模和质量感知伪标签精化协同集成于统一多模态聚类框架的方法，系统性解决了现有无标注多模态聚类方法的三项核心缺陷，在mintrec、meld-da和iemocap-da三个基准上均取得最优或接近最优的综合性能。

38、2、本发明公开的面向无标注多模态对话的伪标签引导语义聚类方法，采用固定文本近邻表构建跨样本语义邻域，近邻表在预训练全程保持固定，不受早期多模态聚类噪声干扰，为跨样本监督提供了稳定的语义锚点，有效弥补了实例级对比目标无法感知样本间语义关系的不足。

39、3、本发明公开的面向无标注多模态对话的伪标签引导语义聚类方法，密度-间隔联合评分准则同时考虑簇内紧密度和簇间可分性两个互补维度，优于单独使用密度或间隔的筛选策略，有效抑制了边界模糊样本的伪标签噪声传播，在多个指标上将随机种子间方差降低超过百分之五十，大幅提升了无监督多模态语义发现的训练稳定性和结果可复现性。