一种多模态数据融合分类方法

本发明涉及多模态数据融合与深度学习，具体涉及一种多模态数据融合分类方法。

背景技术：

1、工业设备的状态监测和故障诊断通常需要综合多种来源的信息。在一个典型的设备健康管理系统中，至少存在三类可用数据：一是传感器采集的数值型时序数据，包括振动幅值、轴承温度、润滑油压力等反映设备运行物理状态的连续信号；二是运维人员在巡检和维修过程中产生的文本记录，包括日常巡检日志、故障检修报告、设备告警描述等；三是以图谱形式编码的设备领域知识，例如设备之间的机械传动关系、同一工序内的上下游关联、以及基于设备规格书和历史案例生成的语义描述。将这三类异构数据有效融合，是提升故障诊断准确性的基本需求。

2、现有技术中的数据融合分类输出存在以下问题：（1）利用门控交叉注意力的方法进行数据融合，但门控信号的输入只有模态特征向量本身，不包含任何关于该特征是否可靠的信息，因此缺乏对各模态可靠性的感知能力。当某一模态在特定时间步的数据可靠性显著下降时（例如传感器因老化发生零漂、或某时段完全没有运维日志），融合机制无法相应地降低该模态的贡献权重，导致融合结果被低质量数据污染，严重时出现融合性能不如单模态的退化；

3、（2）基于softmax归一化的分类器输出的概率值不具备校准性，即softmax概率的数值大小不能真实反映预测可信程度。对同样输出0.85概率的两个样本，模型可能对其中一个非常确信、对另一个其实是在猜测，但softmax无法区分这两种情况。在工业故障诊断中，运维人员需要根据模型的置信度来分配有限的检修资源，不可校准的置信度直接影响决策质量；

4、（3）工业设备监测数据的标注成本高，故障样本尤其稀少，导致训练集规模有限。嵌入空间数据增强（如在编码器输出空间做线性插值）是缓解过拟合的有效手段。但现有方法在对编码器输出进行插值时，不对不确定性信息做任何处理。对于不具备不确定性感知能力的融合模型，直接施加嵌入增强后，门控网络收到的被插值扰动过的特征与常规特征无异，无法区分增强噪声与真实信号，导致分类性能反而出现明显退化。

技术实现思路

1、本发明所要解决的技术问题是提供一种多模态数据融合分类方法，能够实现让编码器在输出特征表示的同时报告该表示的可靠程度，并让融合模块在注意力计算和门控调制两个层面利用这一可靠性信号进行数据融合，以及保持单次前向推理效率的前提下，使分类输出的不确定性度量同时具备校准性和可操作性。

2、本发明解决上述技术问题的技术方案如下：一种多模态数据融合分类方法，包括：

3、获取三模态数据，分别对所述三模态数据进行编码得到编码数据，所述三模态数据包括传感器时序数据、运维日志文档、设备关联拓扑与工艺知识图谱；三模态为传感器模态、文档模态、知识模态；

4、对所述编码数据进行跨模态融合得到融合数据；

5、对所述融合数据进行时序压缩与分类得到原始向量；

6、基于dirichlet分布，对所述原始向量进行证据化输出与选择性预测得到分类结果；所述分类结果包括类别预测概率、空性度和弃权结果。

7、在上述技术方案的基础上，本发明还可以做如下改进。

8、进一步，所述获取三模态数据，分别对所述三模态数据进行编码得到编码数据，包括：

9、利用传感器编码器和对应的不确定性头，对所述传感器时序数据进行编码得到传感器编码数据；所述传感器编码数据包括均值、对数方差、逐时间步精度、标量精度；

10、利用文档编码器和对应的不确定性头，对所述运维日志文档进行编码得到文档编码数据；所述文档编码数据包括均值、对数方差、逐时间步精度、标量精度；

11、利用知识编码器对所述设备关联拓扑与工艺知识图谱进行编码得到知识嵌入数据。

12、进一步，所述利用知识编码器对所述设备关联拓扑与工艺知识图谱进行编码得到知识嵌入数据，包括：

13、利用知识编码器对所述设备关联拓扑与工艺知识图谱进行编码得到图嵌入向量；

14、利用大语言模型对所述设备关联拓扑与工艺知识图谱生成语义描述嵌入向量；

15、将所述图嵌入向量、所述语义描述嵌入向量进行门控融合得到知识嵌入数据。

16、进一步，所述对所述编码数据进行跨模态融合得到融合数据，包括：

17、在第一阶段融合中，对所述传感器编码数据、所述文档编码数据进行精度加权与精度门控融合以获取第一融合数据；

18、在第二阶段融合中，对所述第一融合数据、所述知识嵌入数据进行精度加权与精度门控融合以获取最终的融合数据。

19、进一步，所述在第一阶段融合中，对所述传感器编码数据、所述文档编码数据进行精度加权与精度门控融合以获取第一融合数据，包括：

20、将所述传感器模态设置为第一主模态，将所述文档模态设置为第一辅助模态；

21、对第一辅助模态均值进行精度加权得到第一辅助模态加权均值；

22、根据第一主模态均值和所述第一辅助模态加权均值计算第一内容数据；

23、根据所述第一主模态均值、第一主模态标量精度、第一辅助模态均值、第一辅助模态标量精度得到第一门控数据；

24、根据所述第一内容数据和所述第一门控数据获取第一融合数据。

25、进一步，根据第一主模态均值和所述第一辅助模态加权均值计算第一内容数据，包括：

26、根据所述第一主模态均值和所述第一辅助模态加权均值计算主模态与辅助模态之间的第一注意力头相关性值；

27、根据所述第一注意力头相关性值计算第一多头交叉注意力输出值；

28、根据所述第一多头交叉注意力输出值计算所述第一内容数据。

29、进一步，所述在第二阶段融合中，对所述第一融合数据、所述知识嵌入数据进行精度加权与精度门控融合以获取最终的融合数据，包括：

30、将第一阶段融合输出设置为第二主模态，将所述知识模态设置为第二辅助模态；

31、根据所述第一融合数据和所述知识嵌入数据确定第二主模态均值、第二主模态标量精度、第二辅助模态均值、第二辅助模态标量精度；

32、对所述第二辅助模态均值进行精度加权得到第二辅助模态加权均值；

33、根据所述第二主模态均值和所述第二辅助模态加权均值计算第二内容数据；

34、根据所述第二主模态均值、所述第二主模态标量精度、所述第二辅助模态均值、所述第二辅助模态标量精度得到第二门控数据；

35、根据所述第二内容数据和所述第二门控数据获取最终的融合数据。

36、进一步，所述根据所述第一融合数据和所述知识嵌入数据确定第二主模态均值、第二主模态标量精度、第二辅助模态均值、第二辅助模态标量精度，包括：

37、将所述第一融合数据确定为所述第二主模态均值；

38、将所述第一主模态与所述第一辅助模态的对数方差的算术平均确定为所述第二主模态对数方差，并根据所述第二主模态对数方差计算第二主模态标量精度；

39、将所述知识嵌入数据沿时间维复制后参与时序融合以得到所述第二辅助模态均值；

40、所述知识嵌入数据包括固定精度，根据所述固定精度计算所述第二辅助模态标量精度。

41、进一步，所述基于dirichlet分布，对所述原始向量进行证据化输出与选择性预测得到分类结果，包括：

42、根据所述原始向量计算各类别的dirichlet浓度参数；

43、根据所述浓度参数计算dirichlet总强度、类别预测概率和空性度；

44、根据所述空性度和预设弃权阈值进行选择性预测得到弃权结果；

45、将所述类别预测概率、所述空性度和所述弃权结果输出为所述分类结果。

46、进一步，所述方法还包括：

47、获取传感器编码训练数据、文档编码训练数据和采样插值系数；

48、利用所述采样插值系数对训练中的均值表示及其对数方差进行同步插值以获取增强样本数据和对应的增强标签数据；

49、对所述增强样本数据进行跨模态融合以得到融合增强数据；

50、根据所述融合增强数据、所述增强标签数据、所述采样插值系数计算损失；

51、利用所述损失对编码器和融合分类过程中的可学习参数进行优化训练。

52、采用上述方案的有益效果是：为编码器引入不确定性头，使每个时间步输出可学习的精度信号，并将此信号在注意力级和门控级两层引入融合过程，融合鲁棒性好；通过dirichlet证据化输出，使模型在证据不足时输出较高的空性度值，利用弃权阈值进行选择性预测，在不确信时自动将样本移交人工复查，模型的校准性和可操作性好；仅单次前向推理即可同时输出类别预测和不确定性度量，计算成本小。