一种基于全阶段不确定性建模的样本聚类方法、装置和介质

摘要: 本发明属于人工智能与多模态学习,具体涉及一种基于全阶段不确定性建模的样本聚类方法、装置和介质。背景技术:1、随着ai的快速发展,多模态学习逐渐成为处理复杂数据分...
一种基于全阶段不确定性建模的样本聚类方法、装置和介质

本发明属于人工智能与多模态学习,具体涉及一种基于全阶段不确定性建模的样本聚类方法、装置和介质。

背景技术:

1、随着ai的快速发展,多模态学习逐渐成为处理复杂数据分析任务的重要技术手段。申请公布号为cn122471089a、申请公布日为2026.07.28的中国发明专利申请所公开的一种基于自监督多尺度核扩散图学习的联邦多模态聚类方法,其便是基于多模态数据的样本聚类方法。该方法提出端-云协同框架:客户端利用服务器下发的一致性伪标签计算类内与类间散度矩阵,学习马氏距离度量,生成判别范数的平方性锚图并上传,保护数据隐私;服务器端对各模态锚图计算图拉普拉斯矩阵,在多扩散时间尺度上生成热核表示以过滤噪声,通过熵正则化加权融合得到共识核矩阵,再经对数拉回及带稀疏性与代数连通性约束的拉普拉斯锥投影,构建全局共识图并更新伪标签。迭代优化直至收敛,输出高质量跨模态聚类结果。

2、然而,由于不同模态数据在采集方式、数据分布以及信息质量方面存在差异,实际应用过程中往往会受到模态噪声、信息冗余以及模态间不一致等因素影响,使得模型难以准确判断不同模态信息的有效程度,进而影响模型输出结果的可靠性。多模态学习在可信信息建模方面仍存在以下问题:

3、1)依赖人工标注信息进行可靠性学习,难以满足无监督场景下的数据分析需求。在多模态数据处理过程中,通常需要通过类别标签或额外人工标注信息辅助模型学习不同模态的重要程度以及可靠程度。然而,在医学分析、生物信息处理、工业检测等实际应用领域,大规模高质量标注数据通常依赖专业人员完成,存在获取成本高、周期长以及扩展困难等问题。同时,部分复杂数据场景中甚至难以获得有效标签信息,使得基于标注信息的可靠性建模方式难以直接应用。

4、2)可靠性建模通常针对单一处理环节,难以覆盖多模态学习全过程中的信息可靠性变化。多模态学习通常包含特征提取、跨模态信息交互、特征融合以及最终决策等多个阶段。在实际处理过程中,不同阶段均可能受到噪声信息和不确定因素影响。然而,部分技术方案仅针对某一阶段进行可靠性分析,例如在特征表示阶段衡量信息质量,或者在融合阶段调整模态贡献程度,难以实现从底层特征学习到高层决策输出全过程中的统一可靠性描述。当中间阶段产生的不可靠信息未被及时识别和抑制时,可能进一步影响后续融合结果以及最终模型决策。

5、3)单一不确定性信息难以全面刻画多模态数据中的复杂可靠性特征。由于多模态数据来源不同,各模态可能受到采集误差、环境变化、数据缺失以及分布偏移等因素影响,其可靠程度具有明显差异。同时,同一模态在不同样本中的有效信息贡献也可能发生变化。因此,多模态可靠性不仅与数据自身特征相关,还受到模型预测稳定性、模态间一致性等多方面因素影响。仅利用单一类型的不确定性信息对可靠程度进行评价,难以全面反映多模态数据中的潜在风险因素,容易导致可靠性估计不准确以及有效信息利用不足。

6、4)缺少面向样本级动态可靠性调整的信息融合机制,难以充分发挥多模态互补优势。在实际多模态数据中,不同模态所提供的信息具有互补性,但其贡献程度并非固定不变,而是随着样本内容和数据质量变化而动态变化。当部分模态包含噪声信息或存在模态冲突时,若无法根据模态可靠程度进行自适应调整,容易导致低质量信息参与模型学习,降低融合表示的有效性。此外,固定的信息融合策略难以充分挖掘不同模态之间的互补关系,限制了多模态模型在复杂场景中的适应能力。

技术实现思路

1、本发明的目的在于提供一种基于全阶段不确定性建模的样本聚类方法、装置和介质,用以解决现有技术中仅利用单一类型的不确定性信息对可靠程度进行评价,难以全面反映多模态数据中的潜在风险因素,容易导致可靠性估计不准确以及有效信息利用不足的问题。

2、为解决上述技术问题,本发明第一方面提供了一种基于全阶段不确定性建模的样本聚类方法,包括:对待聚类的各个样本均执行以下过程以实现样本聚类:

3、1)对于一个样本的多模态数据,基于引入随机失活机制的变分编码器,提取各模态在不同模型参数扰动下的平均潜在表示,并得到各模态分别对应的用于衡量样本可靠性的随机不确定性和用于衡量模型参数扰动下特征表示稳定性的模型不确定性;

4、2)利用基于证据理论的不确定性建模机制,根据平均潜在表示,得到各模态分别对应的用于衡量聚类决策可信性的预测不确定性,和各模态分别在每个类别下的信任质量;

5、3)对于一个模态,基于随机不确定性和模型不确定性对该模态的信任质量进行可靠性调整;进而对于一种类别,融合各模态在该类别下的调整后的信任质量得到该类别的类别置信质量;基于各类别的类别置信质量确定该样本所属类别;融合各模态的预测不确定性得到整体不确定性以优化模型参数。

6、在一种可能实现的方式中,提取某一模态在不同模型参数扰动下的平均潜在表示的过程包括:

7、将该模态输入至该模态对应的引入随机失活机制的变分编码器,得到该模态在各次模型参数扰动下的潜在特征表示,求取该模态在各次随机扰动下的潜在特征表示的平均值,即为该模态在不同模型参数扰动下的平均潜在表示。

8、在一种可能实现的方式中,某一模态对应的模型不确定性的计算方式为:

9、

10、式中,表示第个样本的第个模态,表示对应的平均潜在表示,表示在第次模型参数扰动下获得的潜在特征表示,为模型参数扰动总次数,表示对应的模型不确定性。

11、在一种可能实现的方式中,得到某一模态对应的随机不确定性的方式为:

12、将该模态输入至引入随机失活机制的变分编码器,利用变分编码器中的映射函数获得潜在分布的方差参数,方差参数为该模态对应的随机不确定性。

13、在一种可能实现的方式中,得到某一模态对应的分别在每个类别下的信任质量的方式为:

14、将该模态的平均潜在表示输入至证据生成模块,通过非负映射函数将平均潜在表示转换为对应类别的证据向量:

15、

16、式中,表示模态在第个类别下对应的证据,,为类别总数量;

17、构建dirichlet分布参数:

18、

19、式中,表示模态在dirichlet分布中第个类别对应的参数;

20、根据dirichlet分布,基于下式获得该模态分别在每个类别下的信任质量:

21、

22、式中,表示模态在类别下的信任质量。

23、在一种可能实现的方式中,得到该模态对应的预测不确定性的计算公式为:

24、

25、式中,表示模态对应的预测不确定性。

26、在一种可能实现的方式中,可靠性调整的方式为:

27、对于某一模态,求取该模态在各次随机扰动下的模型不确定性的均值,并求取该模态在各次随机扰动下的随机不确定性的均值;

28、融合模态对应的随机不确定性的均值和模型不确定性的均值,得到模态对应的可靠性权重;其中,随机不确定性的均值越大,可靠性权重越小;模型不确定性的均值越大,可靠性权重越小;

29、将可靠性权重与相乘以对进行可靠性调整。

30、在一种可能实现的方式中,的计算公式为如下任一种:

31、

32、

33、

34、式中,为模态总数。

35、在一种可能实现的方式中,利用dempster-shafer证据理论融合各模态在该类别下的信任质量,以及各模态的预测不确定性。

36、在一种可能实现的方式中,选择最大类别置信质量对应的类别作为该样本所属类别。

37、在一种可能实现的方式中,当整体不确定性小于设置的不确定性阈值时,认为该样本具有较高可信度,并生成对应类别的伪标签进行模型参数优化;当整体不确定性大于等于设置的不确定性阈值时,不参与伪标签更新。

38、为解决上述技术问题,本发明第二方面提供了一种基于全阶段不确定性建模的样本聚类装置,包括处理器,所述处理器用于执行计算机程序以实现本发明第一方面中任一种可能实现的方式中方法的步骤。

39、为解决上述技术问题,本发明第三方面提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现本发明第一方面中任一种可能实现的方式中方法的步骤。

40、本发明的有益效果为:本发明通过全程无监督的不确定性量化机制,通过多次随机前向传播获取模型层面的认知不确定性,并基于证据理论与狄利克雷分布推导预测不确定性,各类不确定性指标均由原始数据自主生成,无需依赖人工标注。同时,通过构建覆盖特征表征、模态融合、聚类优化及反馈调整的完整可信链路,利用随机不确定性约束噪声样本影响,利用认知不确定性增强特征表示稳定性,利用预测不确定性控制模态融合冲突和伪标签筛选,实现对数据、模型和预测三层风险的协同控制。本发明的纯无监督聚类,使得业务使用阶段无需投入人力开展样本标注,可节约数据标注相关成本;模型收敛速度与超参鲁棒性适中,同等硬件条件下,重复调参、反复训练产生的算力消耗有所降低,数据处理吞吐量有小幅提升,现有基础算力设备基本可承载运算,无需专门扩容高性能算力集群,适度降低硬件运维与升级开支。