基于多模态的港口装备数据融合方法及系统与流程

本发明涉及数据处理，特别是基于多模态的港口装备数据融合方法及系统。

背景技术：

1、随着智慧港口和自动化码头的发展，岸桥、场桥、自动导引运输车、堆取料机、翻车机、皮带机、斗提机等港口装备在运行过程中会产生视觉图像、振动信号、电气参数、控制指令及环境监测等多模态异构数据。由于不同模态数据能够从不同角度反映港口装备的运行状态，现有技术通常采用多模态数据融合方法，对不同来源的数据进行预处理、特征提取及融合分析，以提高港口装备状态监测和故障诊断的准确性。

2、现有融合方法主要依据特征相似性或固定融合策略进行融合，对模态间冲突信息及事件传播关系考虑不足，容易导致重复或冲突信息参与融合，影响综合状态特征对港口装备真实运行状态的表征能力。因此，如何提高多模态数据融合过程中不同模态信息的一致性，并结合事件传播关系建立更加合理的融合机制，是当前港口装备多模态数据融合技术需要解决的问题。

技术实现思路

1、鉴于上述现有存在的问题，提出了本发明。

2、因此，本发明提供了基于多模态的港口装备数据融合方法解决现有技术中多模态数据融合结果难以准确反映港口装备真实运行状态的问题。

3、为解决上述技术问题，本发明提供如下技术方案：

4、第一方面，本发明提供了基于多模态的港口装备数据融合方法，其包括，

5、采集港口装备运行过程中的多模态异构数据，形成初始多模态装备数据集合，对初始多模态港口装备数据进行预处理，获得标准化多模态数据集合；

6、对标准化多模态装备数据进行特征提取，获得不同模态对应的状态特征数据；

7、通过不同模态对应的状态特征数据，建立不同模态状态特征之间的关联关系，获得多模态初始关联特征集合；

8、基于模态冲突感知机制对多模态数据进行一致性分析，获得冲突修正后的可信模态特征集合；

9、基于事件因果链约束建立多模态关联融合关系，获得事件驱动融合特征；

10、对事件驱动融合特征进行融合，获得港口装备综合状态特征，根据综合状态特征获取港口装备融合状态结果。

11、作为本发明所述基于多模态的港口装备数据融合方法的一种优选方案，其中：所述形成初始多模态装备数据集合包括，

12、采集港口装备运行过程中的多模态异构数据，所述多模态异构数据包括视觉数据、振动数据、电气数据、控制数据以及环境数据；

13、对视觉数据、振动数据、电气数据、控制数据以及环境数据进行数据标识处理，分别添加数据类型信息、采集时间信息以及设备关联信息，并进行关联组合，形成初始多模态装备数据集合。

14、作为本发明所述基于多模态的港口装备数据融合方法的一种优选方案，其中：所述标准化多模态数据集合包括，

15、对初始多模态港口装备数据集合进行数据清洗、格式统一、时间校正以及归一化处理，去除初始多模态港口装备数据集合中的异常数据、重复数据以及无效数据，获得处理后的初始多模态港口装备数据集合；

16、根据处理后的初始多模态港口装备数据集合，对处理后的初始多模态港口装备数据集合中的视觉数据、振动数据、电气数据、控制数据以及环境数据进行时间基准统一和数据尺度调整，获得标准化多模态数据集合。

17、作为本发明所述基于多模态的港口装备数据融合方法的一种优选方案，其中：所述不同模态对应的状态特征数据包括，

18、对标准化多模态装备数据中的视觉数据、振动数据、电气数据、控制数据以及环境数据进行模态分类处理，确定视觉数据对应的空间状态信息、振动数据对应的机械状态信息、电气数据对应的动力状态信息、控制数据对应的运行控制信息以及环境数据对应的环境状态信息；

19、对模态分类处理后的标准化多模态装备数据中的视觉数据、振动数据、电气数据、控制数据以及环境数据分别进行特征提取，获得视觉状态特征数据、振动状态特征数据、电气状态特征数据、控制状态特征数据以及环境状态特征数据；

20、对视觉状态特征数据、振动状态特征数据、电气状态特征数据、控制状态特征数据以及环境状态特征数据进行特征整合，形成不同模态对应的状态特征数据。

21、作为本发明所述基于多模态的港口装备数据融合方法的一种优选方案，其中：所述多模态初始关联特征集合包括，

22、对不同模态对应的状态特征数据中的视觉状态特征数据、振动状态特征数据、电气状态特征数据、控制状态特征数据以及环境状态特征数据进行时间关系分析，将不同模态对应的状态特征数据按照采集时间进行匹配，确定不同模态对应的状态特征数据在同一港口装备运行过程中的时间变化关系；

23、通过比较视觉状态特征数据、振动状态特征数据、电气状态特征数据、控制状态特征数据以及环境状态特征数据在连续时间范围内的变化方向、变化幅度以及变化发生时间，获得不同模态对应的状态特征数据之间的状态响应关系；

24、根据不同模态对应的状态特征数据之间的状态响应关系，对不同模态对应的状态特征数据之间的响应过程进行匹配，根据状态变化时间对应程度、状态变化方向一致程度以及状态变化过程重合程度确定不同模态状态特征之间的关联关系；

25、根据不同模态状态特征之间的关联关系，对具有关联关系的视觉状态特征数据、振动状态特征数据、电气状态特征数据、控制状态特征数据以及环境状态特征数据进行关联组合，形成多模态初始关联特征集合。

26、作为本发明所述基于多模态的港口装备数据融合方法的一种优选方案，其中：所述冲突修正后的可信模态特征集合包括，

27、对多模态初始关联特征集合中的视觉状态特征数据、振动状态特征数据、电气状态特征数据、控制状态特征数据以及环境状态特征数据按照时间顺序进行连续状态变化量计算，根据相邻时间节点之间的状态变化量确定状态变化起始位置，并将连续变化方向一致的时间节点组合为状态响应区间，获得不同模态对应的状态响应区间集合；

28、对不同模态对应的状态响应区间集合中的状态响应区间提取变化起始时间、变化结束时间、变化持续时间以及状态变化方向，并将变化起始时间、变化结束时间、变化持续时间以及状态变化方向作为模态响应匹配特征，获得不同模态对应的响应过程特征集合；

29、对不同模态对应的响应过程特征集合中的响应过程特征进行时间偏移校准，以控制状态特征数据对应的状态响应区间作为参考响应过程；

30、通过对视觉状态特征数据、振动状态特征数据、电气状态特征数据以及环境状态特征数据对应的状态响应区间进行时间偏移调整，根据时间偏移调整后的变化起始时间重合程度、变化持续时间重合程度以及状态变化方向一致程度确定模态响应关联关系，获得模态响应关联关系集合；

31、通过视觉状态特征数据、振动状态特征数据、电气状态特征数据、控制状态特征数据以及环境状态特征数据之间的关联关系进行修正，将满足模态响应关联关系的视觉状态特征数据、振动状态特征数据、电气状态特征数据、控制状态特征数据以及环境状态特征数据确定为关联模态状态特征数据；

32、将不满足模态响应关联关系的模态状态特征数据降低关联程度，获得冲突修正后的可信模态特征集合。

33、作为本发明所述基于多模态的港口装备数据融合方法的一种优选方案，其中：所述事件驱动融合特征包括，

34、对冲突修正后的可信模态特征集合中的视觉状态特征数据、振动状态特征数据、电气状态特征数据、控制状态特征数据以及环境状态特征数据进行状态变化触发点识别，根据连续时间范围内状态特征变化量超过状态变化阈值的位置确定事件发生时间节点，并将连续关联的状态变化节点划分为装备状态变化事件，获得多模态状态变化事件集合；

35、对多模态状态变化事件集合中的视觉状态变化事件、振动状态变化事件、电气状态变化事件、控制状态变化事件以及环境状态变化事件进行事件发生顺序分析，通过比较不同模态状态变化事件的发生时间、结束时间及持续时间，获得多模态事件时序关系集合；

36、基于对多模态事件时序关系集合中的不同模态状态变化事件进行事件传播路径分析，根据前后事件之间的状态变化响应关系确定事件传播方向；

37、通过判断前一状态变化事件是否引起后一状态变化事件发生，确定不同模态状态变化事件之间的因果关联关系，获得事件因果关联关系集合；

38、对事件因果关联关系集合中的视觉状态变化事件、振动状态变化事件、电气状态变化事件、控制状态变化事件以及环境状态变化事件进行关联路径筛选，保留满足事件发生顺序、状态响应关系以及事件传播方向的多模态状态变化事件关联路径，获得事件因果链集合；

39、根据不同模态状态特征数据在事件因果链中的位置确定融合关联关系，将同一事件传播路径中的不同模态状态特征数据进行组合，获得事件驱动融合特征。

40、作为本发明所述基于多模态的港口装备数据融合方法的一种优选方案，其中：所述港口装备综合状态特征包括，

41、根据事件驱动融合特征中的视觉状态特征数据、振动状态特征数据、电气状态特征数据、控制状态特征数据以及环境状态特征数据对应的事件因果链集合，按照事件发生顺序和状态响应顺序对不同模态状态特征数据进行排列，获得事件关联排序后的事件驱动融合特征；

42、通过分析不同模态状态特征数据对应的状态变化信息和状态响应关系，确定不同模态状态特征数据之间的融合关联关系，获得融合关联特征集合；

43、对视觉状态特征数据、振动状态特征数据、电气状态特征数据、控制状态特征数据以及环境状态特征数据进行融合，将同一事件传播过程中的重复状态信息进行合并，获得综合状态特征集合；

44、对空间状态信息、机械状态信息、动力状态信息、控制状态信息以及环境状态信息进行整合，形成港口装备综合状态特征。

45、作为本发明所述基于多模态的港口装备数据融合方法的一种优选方案，其中：所述港口装备融合状态结果包括，

46、根据空间状态信息、机械状态信息、动力状态信息、控制状态信息以及环境状态信息之间的对应关系确定港口装备不同状态维度之间的关联状态，通过比较不同状态信息对应的变化方向、变化程度以及变化时间，确定港口装备整体运行状态变化情况；

47、对空间状态信息、机械状态信息、动力状态信息、控制状态信息以及环境状态信息进行状态融合解析，将不同状态维度对应的状态描述进行综合关联，形成融合状态信息；

48、对空间状态信息、机械状态信息、动力状态信息、控制状态信息以及环境状态信息进行状态类别识别和状态等级划分，并结合不同状态信息之间的关联关系生成港口装备融合状态结果。

49、第二方面，本发明提供了基于多模态的港口装备数据融合系统，包括，

50、预处理模块，采集港口装备运行过程中的多模态异构数据，形成初始多模态装备数据集合，对初始多模态港口装备数据进行预处理，获得标准化多模态数据集合；

51、提取模块，对标准化多模态装备数据进行特征提取，获得不同模态对应的状态特征数据；

52、关联模块，通过不同模态对应的状态特征数据，建立不同模态状态特征之间的关联关系，获得多模态初始关联特征集合；

53、分析模块，基于模态冲突感知机制对多模态数据进行一致性分析，获得冲突修正后的可信模态特征集合；

54、融合模块，基于事件因果链约束建立多模态关联融合关系，获得事件驱动融合特征；

55、综合模块，对事件驱动融合特征进行融合，获得港口装备综合状态特征，根据综合状态特征获取港口装备融合状态结果。

56、本发明有益效果为：通过采集港口装备运行过程中的视觉数据、振动数据、电气数据、控制数据及环境数据，经过预处理和特征提取建立多模态初始关联特征集合；引入模态冲突感知机制，对不同模态状态特征进行一致性分析，修正冲突信息并获得可信模态特征集合，结合事件发生顺序、状态响应关系及事件传播方向构建事件因果链，建立事件驱动的多模态关联融合关系，并依据事件因果链对不同模态状态特征进行融合，消除同一事件传播过程中重复状态信息，形成港口装备综合状态特征，获得能够准确反映港口装备运行状态的融合状态结果，提高多模态数据融合的可信度、状态表征能力以及港口装备运行状态分析的准确性。