一种工业AI操作系统中多模态融合的云边端语义协同方法与流程
本发明涉及工业ai操作系统与多模态数据融合,具体为一种工业ai操作系统中多模态融合的云边端语义协同方法。
背景技术:
1、随着工业智能化的发展,工业现场逐步部署摄像头、振动传感器、声纹采集设备、温度传感器、压力传感器等多类感知设备,以获取视频、振动、声纹、温度、压力及电流等多模态数据。现有工业多模态数据处理方案通常采用云边协同架构,由边缘端对不同模态数据进行特征提取,并通过轻量化融合模型完成设备状态预测,再将多模态特征和状态预测结果上传至云端;云端基于接收的数据进行模型训练或参数优化,并将模型优化参数下发至边缘端,以更新边缘端的本地推理模型,从而实现边缘实时预测与云端持续优化相结合的处理过程。
2、然而,现有边云协同方案主要在特征向量层面处理和传输多模态数据,不同传感器产生的数据在编码格式、数据结构、特征维度及状态描述方式方面仍存在差异,缺少能够统一描述数据来源、工业对象、状态属性及模态特征的工业语义数据形式,导致不同模态特征在进入本地推理模型前仍需分别进行格式转换和模型适配;同时,边缘端形成的局部状态特征与云端模型采用的状态语义之间缺少明确的语义映射和对齐关系,使同一工业对象状态在边缘端和云端可能采用不同的表达方式,难以直接完成跨节点语义校验。现有方案还需要将多模态特征与预测结果一并上传云端,在工业数据量较大或网络带宽受限时,仍会增加云边传输量和响应延迟。因此,亟需一种能够在边缘端将工业多模态数据转换为统一语义数据、基于统一语义数据进行本地推理,并将边缘推理结果传输至云端进行语义校验和模型更新的方法,以减少多模态特征在云边之间的传输及重复适配,提高不同模态数据和不同计算节点之间的语义一致性与交互效率。
技术实现思路
1、鉴于上述存在的问题,提出了本发明。
2、因此,本发明解决的技术问题是:现有的工业ai多模态数据云边协同方法存在不同模态数据缺乏统一语义表达、边缘端与云端之间语义难以对齐以及原始多模态数据直接上传导致网络带宽占用高、推理延迟大的问题,以及如何通过边缘端语义提取和本地推理、云端校验及模型更新实现低延迟云边语义协同。
3、为解决上述技术问题,本发明提供如下技术方案:一种工业ai操作系统中多模态融合的云边端语义协同方法,包括边缘端通过边缘端实时语义对齐引擎接收端侧采集的工业对象多模态数据,从所述多模态数据中提取用于表征所述工业对象状态的语义信息,并按照工业语义中间格式形成语义数据。
4、所述边缘端实时语义对齐引擎对所述语义数据进行跨模态语义对齐,并根据对齐后的语义数据进行本地推理,得到边缘推理结果。
5、通过工业语义中间格式语义流管道将所述边缘推理结果传输至云端,所述云端基于预先设置的云端知识图谱对所述边缘推理结果进行跨模态推理,得到云端推理结果,并根据所述云端推理结果与所述边缘推理结果对边缘端的本地推理模型进行校验,生成模型更新信息。
6、通过所述工业语义中间格式语义流管道将所述模型更新信息下发至所述边缘端,并根据所述模型更新信息更新所述本地推理模型。
7、作为本发明所述的工业ai操作系统中多模态融合的云边端语义协同方法的一种优选方案,其中:云端对多模态工业数据进行语义建模,将不同模态的特征映射至统一语义空间,并建立工业对象、状态表征和故障类型之间的语义关联关系,根据所述语义关联关系构建所述云端知识图谱。
8、语义对齐模型训练器将不同模态特征转换为相同维度的嵌入向量,并结合所述云端知识图谱中工业对象与状态表征之间的语义关联关系,通过对比学习将对应同一工业对象状态的不同模态特征映射至统一语义空间,形成语义对齐关系。
9、将所述语义对齐关系下发至所述边缘端实时语义对齐引擎。
10、作为本发明所述的工业ai操作系统中多模态融合的云边端语义协同方法的一种优选方案,其中:所述从所述多模态数据中提取用于表征所述工业对象状态的语义信息包括,所述边缘端实时语义对齐引擎根据语义注册中心中登记的传感器类型与工业语义中间格式之间的映射关系,将不同模态数据对应的特征转换为所述工业语义中间格式。
11、并根据所述语义注册中心中登记的模型输入语义与模型输出语义之间的映射关系,确定与所述本地推理模型相匹配的语义数据。
12、作为本发明所述的工业ai操作系统中多模态融合的云边端语义协同方法的一种优选方案,其中:所述形成语义数据包括,所述边缘端实时语义对齐引擎按照工业语义中间格式对从不同模态数据中提取的语义信息进行封装,所述工业语义中间格式包括用于表征数据来源的消息元数据、用于描述工业对象和所述工业对象状态属性的语义本体以及用于承载各模态特征的语义特征向量,以使不同模态数据形成统一的语义表达。
13、作为本发明所述的工业ai操作系统中多模态融合的云边端语义协同方法的一种优选方案,其中:所述根据对齐后的语义数据进行本地推理包括,根据云端下发的所述语义对齐关系,将不同模态的语义数据映射至所述统一语义空间。
14、通过轻量级推理模型对映射至所述统一语义空间的多模态语义数据进行融合推理,确定所述工业对象的状态语义,得到所述边缘推理结果。
15、对连续处理过程中生成的语义数据及对应的边缘推理结果进行缓存,并对属于同一工业对象的语义数据及对应的边缘推理结果进行合并。
16、作为本发明所述的工业ai操作系统中多模态融合的云边端语义协同方法的一种优选方案,其中:所述将所述边缘推理结果传输至云端包括,在所述边缘端设置语义缓存时间窗口,缓存所述时间窗口内生成的多个语义数据及对应的边缘推理结果。
17、对所述时间窗口内属于同一工业对象的边缘推理结果进行去重与聚合统计,得到合并后的边缘推理结果。
18、对所述合并后的边缘推理结果进行语义压缩,提取语义特征向量生成轻量级的语义摘要。
19、通过工业语义中间格式语义流管道将所述语义摘要传输至所述云端,以作为所述云端对本地推理模型进行校验的依据。
20、作为本发明所述的工业ai操作系统中多模态融合的云边端语义协同方法的一种优选方案,其中:所述通过工业语义中间格式语义流管道将所述语义摘要传输至所述云端包括,根据所述语义数据对应的统一时间戳,对端侧采集、边缘端处理及云端接收对应的语义信息进行时基同步。
21、根据工业语义中间格式对应的语义版本标识,对边缘端与云端之间传递的语义信息进行版本匹配,并保持不同语义版本之间的兼容关系。
22、在所述边缘端完成本地推理后,将所述边缘推理结果对应的语义摘要传输至云端,并根据连续历史语义数据反映的工业对象状态变化,预取后续处理对应的语义映射关系及本地推理模型的模型分支。
23、根据云边通信状态确定所述语义摘要的传输内容,在云边通信带宽受限时,传输工业对象、状态语义、语义特征向量及置信度,并暂缓传输语义关系图及原始数据链接。
24、作为本发明所述的工业ai操作系统中多模态融合的云边端语义协同方法的一种优选方案,其中:所述对边缘端的本地推理模型进行校验包括,
25、将所述边缘推理结果与云端根据多模态工业数据建立的工业对象、状态表征和故障类型之间的语义关联关系进行匹配,得到云端推理结果。
26、根据所述云端推理结果与所述边缘推理结果之间的差异,确定所述本地推理模型的校验结果。
27、作为本发明所述的工业ai操作系统中多模态融合的云边端语义协同方法的一种优选方案,其中:所述生成模型更新信息包括,根据所述校验结果确定所述本地推理模型中发生语义偏移的模型参数、语义对齐关系或语义映射关系,并根据确定的内容生成用于校正所述本地推理模型的模型更新信息。
28、作为本发明所述的工业ai操作系统中多模态融合的云边端语义协同方法的一种优选方案,其中:将所述模型更新信息下发至所述边缘端包括,确定所述模型更新信息与所述边缘端当前使用的本地推理模型之间的差异内容,通过所述工业语义中间格式语义流管道将所述差异内容及其对应的语义版本标识下发至所述边缘端。
29、所述边缘端根据所述语义版本标识对所述差异内容进行校验,并根据校验通过的差异内容更新所述本地推理模型。
30、本发明的有益效果:本发明提供的工业ai操作系统中多模态融合的云边端语义协同方法通过边缘端从工业对象的多模态数据中提取能够表征工业对象状态的语义信息,并将不同模态数据转换为统一的工业语义表达,能够减少不同数据格式、特征结构及模型输入输出语义不一致造成的重复转换和融合偏差;通过基于统一语义数据在边缘端完成本地推理,并仅将边缘推理结果传输至云端,能够减少多模态特征持续上传产生的带宽占用和传输延迟;通过云端依据边缘推理结果对本地推理模型进行语义层面的校验,并将模型更新信息反馈至边缘端,能够使云端语义表达与边缘端语义表达保持对应,形成以统一语义表示、跨节点语义校验和模型更新为核心的云边协同闭环,提高不同工业模态及不同计算节点之间数据交互的一致性、边缘推理的实时性和本地推理模型的可靠性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com