一种面向多场景跨模态数据的自适应渐进融方法及系统

本发明涉及人工智能、多模态表征学习和数据融合，尤其涉及一种面向多场景跨模态数据的自适应渐进融合方法及系统。

背景技术：

1、随着多源传感器、视觉采集平台、互联网内容平台和高通量生物数据采集技术的发展，实际应用中常同时产生图像、文本、视觉特征、场景特征、基因表达特征等多种模态数据。不同模态能够从不同侧面描述同一对象、样本或数据实体，多模态表征学习已成为无监督聚类中的关键技术。

2、现有跨模态融合方法通常采用特征拼接、固定加权、注意力融合、门控融合、对比学习或共享隐空间学习等方式获得统一表示。这些方法在模态质量稳定、分布差异较小并且不同模态互补性明确的情况下能够取得一定效果。

3、然而，在多场景条件下，不同模态的数据质量、分布形态、结构特征和聚类贡献往往呈现显著差异。部分模态可能因采集设备、环境条件、传感器漂移、遮挡、缺失或数据源变化而产生噪声；部分模态可能与其他模态高度冗余，提供的新增判别信息有限；部分模态还可能包含与聚类目标相冲突的伪相关信息。若将上述模态直接参与一次性融合，容易使融合表示受到低质量信息干扰。

4、现有技术至少存在以下不足：一是缺少对模态间内在结构关系的显式建模，难以判断哪些模态适合优先融合；二是融合顺序通常固定，结构差异较大的模态可能被过早混合；三是在无标签聚类场景下难以度量单个模态对融合表示的实际贡献；四是对低贡献模态、冗余模态或有害模态的抑制多依赖软权重，缺少与训练目标耦合的贡献约束；五是融合过程的可解释性不足，难以说明不同模态为何被分组、优先融合或降低权重。

5、因此，有必要提出一种能够根据模态结构关系确定融合顺序、根据模态贡献动态调整影响权重的跨模态数据融合方法，以提升多源异构数据条件下聚类表示的鲁棒性、判别性和可解释性。

技术实现思路

1、本发明的目的在于：提出一种面向多场景跨模态数据的自适应渐进融合（tpfusion）方法及系统，解决现有跨模态聚类方法在多源异构数据条件下存在的模态结构差异难以建模、融合顺序固定、低贡献模态或有害模态难以抑制、聚类表示鲁棒性不足的技术问题。

2、具体而言，本发明提供的一种面向多场景跨模态数据的自适应渐进融合（tpfusion）方法，包括以下步骤：

3、s1、获取来自至少一个应用场景的跨模态数据，所述跨模态数据包括同一样本对象对应的至少两种模态数据；

4、s2、分别对各模态数据进行特征编码，得到各模态对应的模态特征表示；

5、s3、基于各模态特征表示提取用于表征模态内在分布结构的结构表征，并根据不同模态的结构表征之间的相似性构建模态关系图；

6、s4、根据所述模态关系图确定模态分组结果和渐进融合顺序，使结构相似的模态优先融合，结构差异较大的模态延后融合；

7、s5、按照所述渐进融合顺序进行自适应加权融合，递归得到全局融合表示；

8、s6、根据各模态对所述全局融合表示或聚类效用的贡献度调整影响权重，以降低低贡献模态、冗余模态或有害模态对融合结果的影响；

9、s7、输出所述全局融合表示。

10、一种面向多场景跨模态数据的自适应渐进融合（tpfusion）系统，包括数据获取模块、模态编码模块、结构表征模块、关系图构建模块、融合顺序确定模块、自适应渐进融合模块、贡献评估与权重调整模块和输出模块。

11、本发明提供的有益效果是：通过基于结构表征的模态关系图显式刻画模态之间的结构相似性，为融合顺序提供可解释依据；通过渐进融合机制使结构相近的模态优先融合，降低不兼容模态过早混合造成的信息冲突；通过贡献度评估和贡献约束机制，在无标签或弱监督条件下估计各模态的实际贡献并抑制低贡献模态或有害模态的影响；通过输出模态关系图、模态分组、融合权重和贡献度等中间信息，提升跨模态融合过程的可解释性。

1.一种面向多场景跨模态数据的自适应渐进融合方法，其特征在于：包括以下步骤：

2.如权利要求1所述的一种面向多场景跨模态数据的自适应渐进融方法，其特征在于：步骤s1中所述跨模态数据集表示为式（1），步骤s2中的模态特征编码表示为式（2）：

3.如权利要求1所述的一种面向多场景跨模态数据的自适应渐进融合方法，其特征在于：步骤s3中所述结构表征通过多尺度结构分析获得，所述多尺度结构分析包括拓扑结构分析、流形结构分析、邻域图结构分析、分布统计分析中的至少一种。

4.如权利要求3所述的一种面向多场景跨模态数据的自适应渐进融合方法，其特征在于：所述拓扑结构分析包括基于持久同调的拓扑结构分析，将各模态特征点云构建vietoris-rips过滤、cech过滤或alpha复形过滤，记录连通分量、环结构或高维空洞的出生时间和消亡时间，形成持续性图，所述持续性图表示为式（3）：

5.如权利要求4所述的一种面向多场景跨模态数据的自适应渐进融合方法，其特征在于：步骤s3中构建模态关系图包括：计算任意两个模态的结构表征之间的结构距离，并根据结构距离生成模态间亲和度，所述结构距离和亲和度分别表示为式（4）和式（5）：

6.如权利要求1所述的一种面向多场景跨模态数据的自适应渐进融方法，其特征在于：步骤s4中对所述模态关系图进行louvain社区检测、谱聚类、层次聚类、模块度优化或图神经网络聚类，得到至少一个模态分组，并根据模态分组形成层次化渐进融合顺序。

7.如权利要求1所述的一种面向多场景跨模态数据的自适应渐进融合方法，其特征在于：步骤s5中的自适应加权融合通过注意力机制、门控机制、多头注意力机制、图注意力机制或其组合实现，其中组内模态的融合权重和组级融合表示分别表示为式（6）和式（7）：

8.如权利要求1所述的一种面向多场景跨模态数据的自适应渐进融合方法，其特征在于：步骤s6中贡献度通过基于合作博弈的贡献评估模型获得，将各模态视为参与者，将参与融合的模态组合视为模态联盟，以融合表示的聚类可分性或聚类质量作为效用值，目标模态的贡献度表示为式（8）：

9.如权利要求8所述的一种面向多场景跨模态数据的自适应渐进融合方法，其特征在于：根据各模态贡献度与参考贡献度之间的偏差构建贡献约束项，并将所述贡献约束项加入训练目标，所述贡献约束项和训练目标分别表示为式（9）和式（10）：

10.一种面向多场景跨模态数据的自适应渐进融系统，其特征在于：包括数据获取模块、模态编码模块、结构表征模块、关系图构建模块、融合顺序确定模块、自适应渐进融合模块、贡献评估与权重调整模块和输出模块；各模块用于执行权利要求1至9任一项所述的一种面向多场景跨模态数据的自适应渐进融合方法。