一种基于动态原型自适应融合与跨模态一致性约束的多模态聚类方法

本发明属于人工智能信息处理，具体涉及基于动态原型自适应融合与跨模态一致性约束的多模态聚类方法。

背景技术：

1、随着人工智能、物联网、互联网平台和智能终端设备的快速发展，现实应用中产生的数据往往不再局限于单一形式，而是同时包含图像、文本、语音、视频、时序信号等多种模态信息。例如，在电商平台中，一个商品通常同时具有商品图片、标题文本和用户评论；在医学诊断中，一个病例可能同时包含医学影像、检验指标和病历文本；在工业监测中，一个设备状态可能由振动信号、温度信号、声音信号和运行日志共同描述。如何有效利用这些多源异构信息进行无监督聚类，已经成为数据挖掘和模式识别领域的重要研究问题。

2、聚类是一种典型的无监督学习任务，其目标是在没有人工标注的情况下，根据样本之间的相似性将数据划分为若干类别。传统聚类方法通常基于单一模态特征进行相似度计算，例如 k-means、谱聚类、层次聚类等方法。此类方法结构简单、易于实现，但在处理复杂多模态数据时存在明显不足。由于不同模态具有不同的数据结构、统计分布和语义表达方式，直接对单一模态进行聚类往往难以充分利用多模态数据之间的互补信息。

3、为提高聚类性能，现有技术中出现了一些多模态聚类方法。这些方法通常先分别提取不同模态的特征，再通过拼接、加权求和或共享表示学习等方式进行融合，然后在融合特征上执行聚类。然而，现有多模态融合方式大多采用固定融合策略，即为不同模态设置固定权重，或者简单地将多模态特征拼接后统一处理。这种方式忽略了不同样本在不同模态下的数据质量差异。例如，对于某些样本，图像模态可能清晰且具有较强区分性，而文本模态可能较短或包含噪声；对于另一些样本，图像模态可能模糊或遮挡严重，而文本模态反而能够提供更准确的语义信息。固定融合策略难以根据样本自身情况动态调整模态贡献，容易导致低质量模态干扰最终聚类结果。

4、现有多模态聚类方法在聚类中心或类别原型的建模方面也存在不足。一些方法采用静态聚类中心，聚类中心在训练初期确定后变化较小，难以适应深度特征空间在训练过程中不断变化的情况。尤其在深度多模态聚类场景中，编码器参数会随着训练不断更新，样本特征分布也会随之发生变化。如果聚类原型不能及时反映当前特征空间的真实分布，则可能导致样本分配不准确、训练过程不稳定以及聚类结果收敛到局部不优解。

5、不同模态之间还存在语义不一致问题。由于各模态数据的表达方式不同，同一样本在不同模态下可能被映射到不同的聚类区域。例如，在图文数据中，图像模态可能更关注视觉外观相似性，而文本模态可能更关注语义描述相似性；在视频数据中，视觉模态、音频模态和文本标题模态也可能分别反映不同层面的信息。如果缺少有效的跨模态一致性约束，不同模态的聚类结果可能相互冲突，从而降低最终融合聚类结果的准确性和稳定性。

6、因此，亟需一种新的多模态聚类方法，能够在无监督条件下充分利用不同模态之间的互补信息，并根据样本级模态可靠性动态调整融合权重；同时，能够通过动态原型机制适应特征分布变化，并通过跨模态一致性约束缓解不同模态聚类语义不一致的问题，从而提高多模态聚类的准确性、鲁棒性和稳定性。本发明正是针对上述问题提出的一种基于动态原型自适应融合与跨模态一致性约束的多模态聚类方法。

技术实现思路

1、发明目的：针对现有技术存在的问题，本发明提供了一种基于动态原型自适应融合与跨模态一致性约束的多模态聚类方法。

2、技术方案：为实现上述目的，本发明采用以下技术方案：一种基于动态原型自适应融合与跨模态一致性约束的多模态聚类方法，包括以下步骤：

3、s1，获取并构建包含个样本、个模态的多模态数据集，是第个样本在第个模态下数据，表示样本总数，表示模态总数；

4、s2，对每一模态数据进行特征编码，得到下式所示模态特征，

5、

6、式中，为第个样本在第个模态下模态表示，为第个模态的特征编码器，为其参数；

7、s3，通过下式，为每一模态构建动态聚类原型集合，

8、

9、式中，为第个模态动态聚类原型集合，为聚类类别数，为第个模态中第个簇的动态原型；

10、s4，基于样本特征与动态原型之间的距离计算模态级聚类分布，得到样本聚类隶属概率，

11、

12、其中，为样本在模态下属于第个簇的概率，是第个模态中第个簇的动态原型，为温度系数，为聚类类别数；

13、s5，根据各模态聚类置信度和模态可靠性生成样本级自适应融合权重，并计算融合聚类分布：

14、

15、其中，为融合后样本属于第个簇的概率，为样本的第个模态融合权重，表示模态总数；

16、s6，利用跨模态一致性损失、原型聚类损失和融合聚类损失联合优化模型，输出最终聚类标签：

17、

18、其中，为第个样本的最终聚类标签。

19、进一步的，所述动态原型通过加权均值方式更新：

20、

21、其中，为第个模态中第个簇的动态原型，表示个样本，为防止分母为零的稳定项。

22、进一步的，所述动态原型还包括动量更新方式：

23、

24、其中，为动量更新轮后第个模态中第个簇的动态原型， 为动量系数，为防止分母为零的稳定项；为第个模态中第个簇的动态原型。

25、进一步的，所述模态可靠性由模态级聚类熵确定：

26、

27、其中，为第个样本在个模态下的聚类熵，为聚类簇数；

28、并根据如下公式计算自适应融合权重：

29、

30、其中，为第个样本对应第个模态的融合权重，为第个样本在个模态下的聚类熵，为融合温度系数，表示模态数量。

31、进一步的，跨模态一致性约束采用模态分布与融合分布之间的散度损失：

32、

33、其中，为表示跨模态一致性损失，为融合聚类分布，为第个模态的聚类分布，为kl散度；表示个样本，表示个模态。

34、进一步的，原型聚类损失为：

35、

36、其中，为原型聚类损失，为动量更新后第个模态中第个簇的动态原型，为第个样本在第个模态下模态表示，为样本在模态下属于第个簇的概率，为聚类类别数。

37、进一步的，模型总体优化目标为：

38、

39、其中，为簇均衡约束，为特征重构约束，为权重系数。

40、进一步的，所述簇均衡约束为：

41、

42、用于避免所有样本被分配至少数簇；式中，为聚类簇数，表示样本总数，为融合后样本属于第个簇的概率。

43、本发明还提供了一种多模态聚类系统，包括：数据输入模块、模态编码模块、动态原型更新模块、自适应融合模块、跨模态一致性约束模块和聚类输出模块；所述系统用于执行上述的方法。

44、有益效果：相对于现有技术，本发明具有以下优点：

45、（1）本发明引入动态原型更新机制，使聚类原型能够随着编码器参数和样本特征分布的变化而自适应调整。相比采用固定聚类中心或静态类别原型的现有方法，本发明能够更准确地刻画训练过程中不断变化的特征空间结构，减少因原型滞后导致的错误聚类分配，提高模型收敛稳定性。本发明利用视图可靠性权重融合多视图表示和多视图聚类分布，使不同样本能够根据自身视图质量选择更可信的信息来源，提高多视图聚类在复杂数据场景下的适应性。

46、（2）本发明采用样本级模态自适应融合策略，根据不同样本在不同模态下的聚类置信度或不确定性动态确定模态权重。相比简单特征拼接、平均融合或固定权重融合方法，本发明能够针对每个样本自动增强高质量模态的贡献，并抑制噪声模态、缺失模态或低可靠模态的干扰，从而提高复杂场景下的聚类鲁棒性。

47、（3）本发明引入跨模态一致性约束，使各单模态聚类分布与融合聚类分布保持一致。相比仅在特征层进行融合的现有方法，本发明不仅关注多模态特征表达，还在聚类决策层面对不同模态进行语义对齐，能够减少同一样本在不同模态下被分配到不同类别的问题，提高跨模态聚类结果的一致性。

48、（4）本发明通过动态原型、模态可靠性评估和一致性约束共同作用，使模型能够更好地处理多模态数据中常见的模态异构、模态噪声、模态质量不均衡以及模态间语义差异等问题。因此，本发明适用于图像-文本、视频-音频-文本、医学影像-病历文本、工业多传感器信号等多种多模态聚类场景，具有较强的通用性和扩展性。