多模态制造数据融合处理方法以及电子设备与流程

摘要: 本技术涉及数据处理,具体而言,涉及一种多模态制造数据融合处理方法以及电子设备。背景技术:1、随着智能制造的深入推进,现代企业普遍部署了制造执行系统(mes)、制...
多模态制造数据融合处理方法以及电子设备与流程

本技术涉及数据处理,具体而言,涉及一种多模态制造数据融合处理方法以及电子设备。

背景技术:

1、随着智能制造的深入推进,现代企业普遍部署了制造执行系统(mes)、制造运营管理平台(mom)、仓储物流系统(wms)、企业资源计划系统(erp)、设备监控系统(如扭矩采集、视觉检测)及工艺管理终端等多源异构信息系统,产生了时序数据、文本数据、图像数据、结构化数据等多模态数据并存的局面,如何融合这些数据,是亟需解决的问题。

2、现有技术中的工业数据融合方法通常采取基于特征工程的浅层融合策略,对齐时间戳之后进行特征拼接,或者,采取基于规则的语义映射策略,通过预定义字段进行映射。

3、然而,这两种处理方式得到的数据融合结果,存在缺乏工艺感知导致解释性较差的问题。

技术实现思路

1、本技术的目的在于,针对上述现有技术中的不足,提供一种多模态制造数据融合处理方法以及电子设备,以解决现有技术中工艺感知导致解释性较差的问题。

2、为实现上述目的,本技术实施例采用的技术方案如下:

3、第一方面,本技术一实施例提供了一种多模态制造数据融合处理方法,所述方法包括:

4、获取当前装配场景下的装配工艺规划文档以及质量风险预防文件,所述装配工艺规划文档中至少包括工序清单以及装配任务列表;

5、根据所述装配工艺规划文档以及所述质量风险预防文件,生成初始工艺因果图结构,所述初始工艺因果图结构用于指示所述当前装配场景下的各装配任务之间的因果依赖关系;

6、获取当前装配场景下的预设时段内的多模态采集数据,所述多模态采集数据包括多条原始数据、各原始数据对应的时间戳以及各所述原始数据对应的来源设备的标识;

7、根据所述多模态采集数据,生成时空特征序列,并根据所述时空特征序列,对所述初始工艺因果图结构进行校验与更新,得到目标工艺因果图结构,所述时空特征序列中包括按照时间轴排列的多个时空特征集合,一个时空特征集合对应一个时间窗口,所述时空特征集合中包括对应时间窗口下的至少一个多模态特征向量;

8、基于所述时空特征序列以及所述目标工艺因果图结构,生成因果语义融合结果,所述因果语义融合结果中包括多条融合数据,一条所述融合数据对应一个时间窗口,所述融合数据中至少包括:装配任务以及装配任务对应的因果语义标注信息。

9、可选地,所述根据所述装配工艺规划文档以及所述质量风险预防文件,生成初始工艺因果图结构,包括:

10、根据预先构造得到的语义词典以及预先构造得到的空间层级关联信息,从所述装配工艺规划文档中提取得到至少一个任务节点;

11、从所述装配工艺规划文档中分别提取得到各任务节点对应的至少一条有向边;

12、从所述质量风险预防文件中提取得到各任务节点对应的至少一个因果三元组,并将各所述因果三元组添加至对应的任务节点的对应的有向边上;

13、根据各有向边上的因果三元组,对各所述有向边进行无环校验与剪枝,得到初始工艺因果图结构。

14、可选地,所述根据所述多模态采集数据,生成时空特征序列,包括:

15、根据各原始数据对应的时间戳以及各原始数据对应的来源设备的标识,对所述多模态采集数据中的原始数据进行时间和空间关联,得到时空特征序列。

16、可选地,所述根据各原始数据对应的时间戳以及各原始数据对应的来源设备的标识,对所述多模态采集数据中的原始数据进行时间和空间关联,得到时空特征序列,包括:

17、确定时间窗口的目标长度,并按照目标长度,将所述预设时段划分为多个时间窗口;

18、根据预先构造得到的空间层级关联信息,确定所述多模态采集数据中的各原始数据对应的空间路径标签;

19、按照各原始数据对应的时间戳,将各所述原始数据划分至对应的时间窗口中;

20、按照各所述原始数据对应的空间路径标签,确定各所述原始数据的空间层级;

21、在各所述时间窗口中,按照所述时间窗口下的各所述原始数据的空间层级,生成所述时间窗口下的各空间层级对应的多模态特征向量;

22、将所有时间窗口下的所有空间层级对应的多模态特征向量组合为所述时空特征序列。

23、可选地,所述根据所述时空特征序列,对所述初始工艺因果图结构进行校验与更新,得到目标工艺因果图结构,包括:

24、根据所述时空特征序列,生成多个时间序列变量;

25、根据预设的时序初筛算法以及各所述时间序列变量,生成多个候选因果对;

26、根据各所述候选因果对,对所述初始工艺因果图结构进行校验与更新,得到目标工艺因果图结构。

27、可选地,所述根据预设的时序初筛算法以及各所述时间序列变量,生成多个候选因果对,包括:

28、对各所述时间序列变量进行平稳性处理,得到至少一个平稳变量;

29、根据各所述平稳变量以及预设的时序初筛算法,生成多个候选因果对。

30、可选地,所述根据各所述候选因果对,对所述初始工艺因果图结构进行校验与更新,得到目标工艺因果图结构,包括:

31、根据各所述候选因果对,构造得到初始无向图;

32、对各所述初始无向图进行条件独立性检验,得到条件独立结果;

33、根据所述条件独立结果,对所述初始工艺因果图结构进行校验与更新,得到目标工艺因果图结构。

34、可选地,所述基于所述时空特征序列以及所述目标工艺因果图结构,生成因果语义融合结果,包括:

35、确定所述目标工艺因果图结构中各任务节点的空间层级;

36、对所述目标工艺因果图结构进行干预量化,确定所述目标工艺因果图结构中各条有向边的干预信息;

37、根据各条有向边的干预信息以及各条有向边所连接的任务节点的空间层级,从所述时空特征序列中确定对应的目标时间窗口下的多模态特征向量,并将所述干预信息以及所述目标工艺因果图结构中的因果三元组更新至对应的目标时间窗口下的多模态特征向量中,得到因果语义融合结果。

38、可选地,所述对所述目标工艺因果图结构进行干预量化,确定所述目标工艺因果图结构中各条有向边的干预信息,包括:

39、从所述目标工艺因果图结构中识别得到至少一条后门路径,一个所述后门路径对应目标工艺因果图结构中的一条有向边;

40、确定各所述后门路径在所述目标工艺因果图结构中的调整变量集;

41、根据所述调整变量集,计算得到各条有向边的干预信息。

42、第二方面,本技术另一实施例提供了一种多模态制造数据融合处理装置,所述装置包括:

43、第一获取模块,用于获取当前装配场景下的装配工艺规划文档以及质量风险预防文件,所述装配工艺规划文档中至少包括工序清单以及装配任务列表;

44、第一生成模块,用于根据所述装配工艺规划文档以及所述质量风险预防文件,生成初始工艺因果图结构,所述初始工艺因果图结构用于指示所述当前装配场景下的各装配任务之间的因果依赖关系;

45、第二获取模块,用于获取当前装配场景下的预设时段内的多模态采集数据,所述多模态采集数据包括多条原始数据、各原始数据对应的时间戳以及各所述原始数据对应的来源设备的标识;

46、第二生成模块,用于根据所述多模态采集数据,生成时空特征序列,并根据所述时空特征序列,对所述初始工艺因果图结构进行校验与更新,得到目标工艺因果图结构,所述时空特征序列中包括按照时间轴排列的多个时空特征集合,一个时空特征集合对应一个时间窗口,所述时空特征集合中包括对应时间窗口下的至少一个多模态特征向量;

47、第三生成模块,用于基于所述时空特征序列以及所述目标工艺因果图结构,生成因果语义融合结果,所述因果语义融合结果中包括多条融合数据,一条所述融合数据对应一个时间窗口,所述融合数据中至少包括:装配任务以及装配任务对应的因果语义标注信息。

48、可选地,所述第一生成模块,具体用于:

49、根据预先构造得到的语义词典以及预先构造得到的空间层级关联信息,从所述装配工艺规划文档中提取得到至少一个任务节点;

50、从所述装配工艺规划文档中分别提取得到各任务节点对应的至少一条有向边;

51、从所述质量风险预防文件中提取得到各任务节点对应的至少一个因果三元组,并将各所述因果三元组添加至对应的任务节点的对应的有向边上;

52、根据各有向边上的因果三元组,对各所述有向边进行无环校验与剪枝,得到初始工艺因果图结构。

53、可选地,所述第二生成模块,具体用于:

54、根据各原始数据对应的时间戳以及各原始数据对应的来源设备的标识,对所述多模态采集数据中的原始数据进行时间和空间关联,得到时空特征序列。

55、可选地,所述第二生成模块,具体用于:

56、确定时间窗口的目标长度,并按照目标长度,将所述预设时段划分为多个时间窗口;

57、根据预先构造得到的空间层级关联信息,确定所述多模态采集数据中的各原始数据对应的空间路径标签;

58、按照各原始数据对应的时间戳,将各所述原始数据划分至对应的时间窗口中;

59、按照各所述原始数据对应的空间路径标签,确定各所述原始数据的空间层级;

60、在各所述时间窗口中,按照所述时间窗口下的各所述原始数据的空间层级,生成所述时间窗口下的各空间层级对应的多模态特征向量;

61、将所有时间窗口下的所有空间层级对应的多模态特征向量组合为所述时空特征序列。

62、可选地,所述第二生成模块,具体用于:

63、根据所述时空特征序列,生成多个时间序列变量;

64、根据预设的时序初筛算法以及各所述时间序列变量,生成多个候选因果对;

65、根据各所述候选因果对,对所述初始工艺因果图结构进行校验与更新,得到目标工艺因果图结构。

66、可选地,所述第二生成模块,具体用于:

67、对各所述时间序列变量进行平稳性处理,得到至少一个平稳变量;

68、根据各所述平稳变量以及预设的时序初筛算法,生成多个候选因果对。

69、可选地,所述第二生成模块,具体用于:

70、根据各所述候选因果对,构造得到初始无向图;

71、对各所述初始无向图进行条件独立性检验,得到条件独立结果;

72、根据所述条件独立结果,对所述初始工艺因果图结构进行校验与更新,得到目标工艺因果图结构。

73、可选地,所述第三生成模块,具体用于:

74、确定所述目标工艺因果图结构中各任务节点的空间层级;

75、对所述目标工艺因果图结构进行干预量化,确定所述目标工艺因果图结构中各条有向边的干预信息;

76、根据各条有向边的干预信息以及各条有向边所连接的任务节点的空间层级,从所述时空特征序列中确定对应的目标时间窗口下的多模态特征向量,并将所述干预信息以及所述目标工艺因果图结构中的因果三元组更新至对应的目标时间窗口下的多模态特征向量中,得到因果语义融合结果。

77、可选地,所述第三生成模块,具体用于:

78、从所述目标工艺因果图结构中识别得到至少一条后门路径,一个所述后门路径对应目标工艺因果图结构中的一条有向边;

79、确定各所述后门路径在所述目标工艺因果图结构中的调整变量集;

80、根据所述调整变量集,计算得到各条有向边的干预信息。

81、第三方面,本技术另一实施例提供了一种电子设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如上述第一方面任一所述方法的步骤。

82、第四方面,本技术另一实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如上述第一方面任一所述方法的步骤。

83、本技术的有益效果是:通过获取当前装配场景下的装配工艺规划文档以及质量风险预防文件,并根据装配工艺规划文档以及质量风险预防文件,生成初始工艺因果图结构,并获取当前装配场景下的预设时段内的多模态采集数据,多模态采集数据包括多条原始数据、各原始数据对应的时间戳以及各原始数据对应的来源设备的标识,并根据多模态采集数据,生成时空特征序列,并根据时空特征序列,对初始工艺因果图结构进行校验与更新,得到目标工艺因果图结构,从而基于时空特征序列以及目标工艺因果图结构,生成因果语义融合结果,能够在降采样的同时保留了关键动态信息和瞬态异常事件,实现跨时间尺度的因果语义融合,并且,还具有因果可解释性和可追溯性,可直接支撑根因定位和工艺优化决策。同时,适用于离散制造如航空装配中基于工序流转和资源配置的生产组织逻辑,具有良好的通用性和推广价值,此外,还能消除了不同信息系统之间的语义歧义,为工业数据的高效利用奠定了基础。