一种基于机器学习的多源数据处理方法及系统与流程
本发明涉及机器学习,具体为一种基于机器学习的多源数据处理方法及系统。
背景技术:
1、在工业物联网数字孪生、智能制造与高端装备状态监测等场景中,通常需要对视觉图像数据、高频时序传感器数据与历史知识库文本数据等多源异构数据进行融合处理。
2、现有多模态融合方案主要包括特征层拼接融合方法和决策层加权融合方法:前者对各模态数据提取特征后在特征层进行向量拼接,再输入统一的分类器或回归器进行决策输出,后者对各模态数据分别训练子模型并按预先设定的固定权重对各子模型的决策结果进行加权求和,上述两类方案均要求各模态数据在时间上严格同步、在数量上完整齐备,且模型内部结构与设备的几何、力学、热学等物理约束条件不存在关联,仅依靠大量标注数据进行统计拟合。
3、此外,图神经网络能够对几何模型中节点与边的连接关系进行建模,物理信息神经网络通过将偏微分方程残差引入损失函数使输出满足物理约束,但上述基础方法尚未与多模态动态融合机制相结合。
4、当某一模态数据发生动态缺失或受到严重噪声干扰时,融合模型的整体性能容易发生大幅下降,当模型面对训练数据中未曾出现的工况时,输出结果还可能违背客观物理规律,难以满足工业现场对融合模型鲁棒性与可靠性的实际需求。
技术实现思路
1、本发明要解决的技术问题是:在工业物联网数字孪生、智能制造与高端装备等复杂生产环境中,如何对视觉图像、高频时序传感器信号、历史知识库文本等多源异构数据进行融合处理,使融合模型在某一模态数据发生动态缺失或严重噪声干扰时仍能保持稳定的推理能力,且使输出结果符合客观物理规律,从而避免现有纯数据驱动模型在未知工况下产生违背物理规律的错误结论,同时兼顾处理效率,避免纯物理仿真计算耗时过长、难以满足实时处理需求的问题。
2、为解决上述技术问题,本发明提供一种基于机器学习的多源数据处理方法,包括:
3、获取目标设备的cad几何模型数据和cae仿真结果数据,从中提取偏微分方程边界条件和几何约束关系,根据所述偏微分方程边界条件和所述几何约束关系构建携带物理约束信息的物理图拓扑结构,所述物理图拓扑结构包括节点特征矩阵和边特征矩阵;
4、将所述物理图拓扑结构输入物理图神经网络,得到物理特征;
5、获取所述目标设备的视觉数据、时序传感器数据和知识库检索数据,对所述视觉数据、所述时序传感器数据和所述知识库检索数据进行异步时空对齐处理,得到对齐后的多模态数据,将所述对齐后的多模态数据分别输入对应的模态特征提取子网络,得到多个模态特征;
6、将所述物理特征与所述多个模态特征共同输入动态路由门控网络,使所述门控权重的计算同时依赖所述物理特征与对应的模态特征,得到与每个模态特征对应的门控权重;
7、在判定当前时刻存在模态数据缺失的情况下,将缺失模态对应的门控权重置零,并激活跨模态知识蒸馏支路,以未缺失的模态特征作为学生模型的输入生成缺失模态对应的替补特征;
8、在判定当前时刻不存在模态数据缺失的情况下,将对应模态特征作为参与融合的特征;
9、根据所述门控权重对参与融合的特征进行加权求和,得到融合特征向量;
10、在训练阶段,根据所述融合特征向量计算联合优化损失函数,所述联合优化损失函数包括数据驱动损失、特征分布对齐损失和物理定律偏微分方程残差惩罚项,并基于所述联合优化损失函数进行反向传播以更新网络参数;
11、在推理阶段,根据所述融合特征向量输出预测结果。
12、本发明相应提供一种基于机器学习的多源数据处理系统,包括物理图拓扑构建模块、多模态特征提取模块、动态门控融合模块以及联合优化训练与推理模块,各模块协同实现上述方法所述的处理过程。
13、采用上述技术方案,与现有技术相比,本发明的有益效果在于:
14、其一,通过将cad几何模型与cae仿真结果中的偏微分方程边界条件和几何约束关系直接转化为物理图神经网络的底层拓扑结构,使模型输出天然受到物理规律约束,能够提升模型在训练数据未覆盖的工况下的泛化能力,避免出现置信度高但违背物理规律的错误结论。
15、其二,通过将物理特征引入动态路由门控网络的权重计算过程,使门控权重的分配同时反映模态数据的可靠性与物理合理性,区别于现有技术中仅依据模态特征自身计算权重的方式,在此基础上结合跨模态知识蒸馏支路,在模态动态缺失时由教师模型分支指导学生模型分支生成兼具物理一致性的替补特征参与融合,该“物理特征驱动门控+知识蒸馏替补”的协同机制并非现有单一技术手段的简单叠加,克服了现有纯数据驱动融合方案在模态缺失场景下无法兼顾鲁棒性与物理一致性的技术偏见,避免了现有方案因某一模态失效导致的融合性能大幅下降。
16、其三,通过构建包含数据驱动损失、特征分布对齐损失与物理定律偏微分方程残差惩罚项的联合优化损失函数,在网络前向推理阶段即可同时兼顾数据拟合精度与物理一致性,相较于纯物理仿真方案避免了对偏微分方程进行迭代离散求解所耗费的大量计算时间,能够满足生产现场对实时数据处理与决策的需求。
1.一种基于机器学习的多源数据处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,构建携带物理约束信息的物理图拓扑结构的步骤包括:
3.根据权利要求1所述的方法,其特征在于,所述门控权重通过以下方式计算得到:
4.根据权利要求1所述的方法,其特征在于,所述跨模态知识蒸馏支路包括教师模型分支和学生模型分支,所述教师模型分支基于历史完整多模态数据预先训练得到,生成缺失模态对应的替补特征的步骤包括:将未缺失的模态特征输入所述学生模型分支,由所述教师模型分支指导所述学生模型分支输出所述替补特征。
5.根据权利要求1所述的方法,其特征在于,所述联合优化损失函数通过以下方式计算得到:
6.根据权利要求1所述的方法,其特征在于,对所述视觉数据、所述时序传感器数据和所述知识库检索数据进行异步时空对齐处理的步骤包括:
7.一种基于机器学习的多源数据处理系统,其特征在于,包括:
8.根据权利要求7所述的系统,其特征在于,所述物理图拓扑构建模块具体用于:
9.根据权利要求7所述的系统,其特征在于,所述跨模态知识蒸馏支路包括教师模型分支和学生模型分支,所述教师模型分支基于历史完整多模态数据预先训练得到,所述动态门控融合模块生成缺失模态对应的替补特征时,将未缺失的模态特征输入所述学生模型分支,由所述教师模型分支指导所述学生模型分支输出所述替补特征。
10.根据权利要求7所述的系统,其特征在于,所述联合优化损失函数通过以下方式计算得到:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com