基于多模态大模型的复杂装备人机协同智能设计方法及系统

摘要: 本发明属于工业智能设计与人机协同交互,具体涉及基于多模态大模型的复杂装备人机协同智能设计方法及系统。背景技术:1、复杂装备设计是一项高度依赖多学科知识融合与工程...
基于多模态大模型的复杂装备人机协同智能设计方法及系统

本发明属于工业智能设计与人机协同交互,具体涉及基于多模态大模型的复杂装备人机协同智能设计方法及系统。

背景技术:

1、复杂装备设计是一项高度依赖多学科知识融合与工程经验迭代的创造性活动,涉及机械结构、材料特性、控制逻辑及工况适应性等多维度综合权衡。传统设计流程以物理样机试制与台架试验为核心验证手段,设计人员需反复查阅大量历史图纸与技术手册,并在计算机辅助设计环境中手动完成参数调整与方案修订。随着物联网感知技术的发展,现代装备在设计阶段可获取同类设备运行中的振动、温度、声学及视觉等多源传感数据,为设计优化提供了实证基础,人工智能技术中深度学习与知识图谱的进步、以及增强现实技术的发展,分别为数据驱动推理、设计约束语义化表达与沉浸式交互提供了新路径。

2、然而,现有复杂装备设计方法中,设计需求获取与运行状态反馈普遍脱节,设计人员难以在设计阶段充分获取同类装备实际服役中的失效模式与退化规律,多源异构设计数据分散存储且缺乏统一的知识表达与语义关联机制,设计约束冲突检测高度依赖人工经验。同时,现有深度学习模型多为单模态输入,难以综合利用视觉图像、时序信号与结构化知识进行多维度协同推理,设计评审仍以二维图纸或桌面式三维浏览为主,评审意见需手工整理后二次录入,反馈链路长,难以实现即时修改的闭环迭代。因此,亟需一种能够深度融合多模态感知、知识驱动推理与沉浸式交互的人机协同智能设计方法及系统,以打通从数据采集、知识抽取、方案生成到协同评审的完整技术链条。

技术实现思路

1、本发明的目的在于提供基于多模态大模型的复杂装备人机协同智能设计方法及系统,以解决上述背景技术中提出的现有复杂装备设计中设计需求与运行反馈脱节、多源数据缺乏统一知识表达、单模态模型难以综合推理以及设计评审反馈链路长等技术问题。包括以下步骤:

2、设计需求感知步骤:通过集成多源异构传感器的物联网感知层,捕获装备运行中的多模态物理信息,所述多模态物理信息包括振动信号、温度数据、视觉图像与声学信号,并对多源传感器数据进行时间同步采集;

3、设计知识抽取步骤:在边缘层对所述多模态物理信息进行特征提取与降维处理,形成融合特征张量后上传至云端,在云端构建并动态更新装备设计知识图谱,所述知识图谱存储部件间的设计约束关系与失效关联三元组;

4、设计生成与优化步骤:在云端部署基于注意力机制的多模态自适应融合模型mm-afnet,利用可变形卷积与双向lstm分别处理视觉特征与时序数据,通过门控注意力机制融合多模态设计约束,生成改进设计方案并预测潜在故障风险;

5、协同评审与反馈步骤:将生成的改进设计方案通过增强现实设备投射至物理空间,评审专家在增强现实环境中进行交互,系统记录修改意见并反馈至所述mm-afnet进行迭代优化。

6、优选的,所述设计生成与优化步骤中,所述mm-afnet包含视觉分支和时序分支;

7、所述视觉分支采用改进的resnet-34架构,移除全连接层并添加可变形卷积层,用于处理视觉特征;

8、所述时序分支采用双向lstm层处理装备运行状态时序数据,捕获长期演化趋势与短期突变特征。

9、优选的,所述设计生成与优化步骤中,多模态设计约束的融合通过门控注意力机制实现动态加权,计算各模态的重要性权重,通过动态权重分配化解不同设计指标间的冲突。

10、优选的,所述设计知识抽取步骤中,所述动态知识图谱以图数据库存储设备设计实体及其关系三元组,通过图神经网络实现节点表示更新,聚合邻居节点信息,实现部件间设计约束与失效传播路径的语义化表示。

11、优选的,所述动态知识图谱通过transe算法进行增量训练,学习新设计规范与失效案例三元组的嵌入表示;当生成部件的改进设计方案时,所述知识图谱自动关联相关部件的配合约束,确保设计方案消除连锁故障隐患。

12、优选的,所述协同评审与反馈步骤中,所述增强现实设备基于slam算法匹配物理样机与数字三维模型,在实物表面叠加设计修改指示与应力分布信息,故障置信度以动态颜色形式渲染,并在设计缺陷区域生成高亮标识,系统识别到专家交互指令后,将修改意见转化为所述知识图谱中的新增三元组,驱动所述mm-afnet进行设计参数调整。

13、优选的,所述设计需求感知步骤中,所述物联网感知层集成振动传感器、温度传感器、视觉传感器及声学传感器,数据同步由边缘网关的精密时钟协议保障。

14、优选的,所述设计知识抽取步骤中,边缘节点对振动信号进行频域转换与包络谱分析,对声学数据提取梅尔频率倒谱系数,对视觉数据通过目标检测模型定位关键部件区域,所有特征经降维后形成融合特征张量传入云端。

15、一种基于多模态大模型的复杂装备人机协同智能设计系统,包括:

16、物联网感知模块,配置有多源异构传感器与双模通信单元,用于采集振动、温度、图像与声学信号并传输;

17、边缘计算模块,用于执行信号特征提取、视觉目标检测及特征降维处理,将融合特征传输至云端;

18、云端智能设计引擎,集成mm-afnet多模态大模型与动态知识图谱,通过图神经网络聚合设计约束,生成装备设计方案并预测故障风险;

19、增强现实交互终端,用于将数字设计方案与物理实物叠加显示,支持空间标注、动画预览及实时参数调节。

20、优选的,所述增强现实交互终端通过三维引擎渲染设计模型与应力分布信息;所述终端集成指导模块,基于所述知识图谱生成操作指引并以动画形式演示;系统端到端响应延迟满足人眼视觉暂留阈值,所述终端还设置有安全边界模块,当检测到人员进入危险区域时触发警报。

21、与现有技术的有益效果:

22、1.通过物联网感知层的高精度时间同步采集与边缘层特征提取降维实现数据高效处理,通过云端动态知识图谱与多模态融合模型实现智能推理决策,并通过增强现实终端实现沉浸式交互评审,构建了从数据采集、知识抽取、方案生成到协同评审的完整闭环,知识图谱可自动关联部件间设计约束与失效传播路径,当某一部件发生变更时触发连锁影响提示,有效解决了现有技术中设计需求与运行反馈脱节、多源数据缺乏统一语义表达的问题。

23、2.通过将mm-afnet模型的视觉分支设计为改进resnet-34加可变形卷积、时序分支设计为双向lstm的方式,并采用门控注意力机制对各模态特征进行动态加权,自动化解振动与温度等设计指标间的冲突,从而实现高精度的故障识别与低误报率。在16类工业场景的对比测试中,系统平均故障识别率达98.4%,平均误报率仅4.2%,且通过知识图谱的关联推理有效否决了传感器短期过载引起的误报。

24、3.过动态颜色渲染与高亮标识,直观呈现故障置信度与缺陷区域,并支持专家通过手势或语音直接录入修改意见、自动反馈至mm-afnet进行迭代优化的方式,形成评审到修改的即时闭环,基于汽车装配线12个月数据的效能测试表明,通过ar辅助的方式,平均诊断时间从183.6秒降至72.3秒,关键扭矩达标率从76.5%提升至98.2%,认知负荷指数从7.2降至3.1,维修耗时从45.7分钟缩短至28.3分钟,系统端到端响应延迟实测120毫秒,满足人眼视觉暂留阈值,交互流畅无眩晕。