一种具身智能孪生体构建方法、设备及介质

摘要: 本技术涉及智能孪生体,尤其涉及一种具身智能孪生体构建方法、设备及介质。背景技术:1、当前,自主作业设备已成为从事繁重劳动、精细作业、恶劣环境下替代人类作业的有力...
一种具身智能孪生体构建方法、设备及介质

本技术涉及智能孪生体,尤其涉及一种具身智能孪生体构建方法、设备及介质。

背景技术:

1、当前,自主作业设备已成为从事繁重劳动、精细作业、恶劣环境下替代人类作业的有力智能工具,正在重塑全球产业格局、提升社会效率并推动人类生活方式革新。作为提升设备自主作业能力的核心技术方向,具身智能近年来受到学术界与产业界的广泛关注。具身智能孪生体系统旨在通过融合环境感知、任务规划与决策执行,使作业设备能够在复杂动态环境中实现对任务目标的理解与自主作业。

2、然而,目前面向复杂任务的具身智能设备仍存在以下问题:首先,在任务规划与决策执行过程中,具身智能设备普遍缺乏对其本体特性及时变状态的表征与理解手段,难以将相关信息作为关键约束应用于规划与决策的过程中;其次,作业设备对任务与场景的深度感知与语义理解能力不足,难以将环境几何、交互关系与安全规则等约束转化为可计算、可推理的表示,并结合行业知识对任务进行专业解析,形成高质量的规划决策输入。

技术实现思路

1、本技术提供一种具身智能孪生体构建方法、设备及介质,以解决现有方案存在缺乏对其本体特性及时变状态的表征与理解手段、任务与场景的深度感知与语义理解能力不足的问题。

2、第一方面,本技术提供了一种具身智能孪生体构建方法,方法包括:

3、建立具身智能孪生中央计算单元与智能孪生体对应的多模态传感器、设备本体、边缘控制器的连接关系;

4、获取多模态传感器、设备本体、边缘控制器的机理参数,构建机理模型关键要素空间;基于机理模型关键要素空间,利用机理模型,获得当前机理数据;其中,机理模型包括:智能孪生体几何模型、物理机理模型、设备行为模型、规则模型;

5、通过多模态传感器采集多模态传感器数据;根据预设节点要素和边要素,将多模态传感器数据转换为运行状态图;基于数据模型,利用图注意力机制,对运行状态图进行层图卷积,获得全局状态数据;

6、获取对应的设备本体在当前任务作业中的实时结构化语料,将当前机理数据、全局状态数据添加至实时结构化语料,并存储至预设知识语料库;

7、从实时结构化语料中提取知识本体三元组;将知识本体三元组输入预设基座模型,利用预设规则知识本体和预设解析提示词,输出推理结果;

8、将当前机理数据、全局状态数据和推理结果作为规划决策输入任务决策规划模块,生成任务控制指令。

9、在本技术的一种实现方式中,建立具身智能孪生中央计算单元与智能孪生体对应的多模态传感器、设备本体、边缘控制器的连接关系,具体包括:

10、为中央计算单元配置多协议硬件接口,以接入多模态传感器、设备本体、边缘控制器的反馈信号;通过多模态传感器统一接线方式连接至中央计算单元的传感接口;作业设备本体、边缘控制器通过预留标准的电缆走线连接至中央计算单元的接口;

11、基于多模态传感器、设备本体、边缘控制器通信接口的需求,获取适用于多设备的标准化通信协议解析脚本;通过标准化通信协议解析脚本,对接口上传的多类型数据进行格式化统一转换,映射为中央计算单元内的标准数据帧;

12、设置连接通路为包含状态上行与指令下行的双向交互链路;其中,状态数据链路负责将多模态传感器、设备本体、边缘控制器的实时数据经解析后传至中央计算单元,用于更新孪生体中的全局状态数据、机理模型参数及语义推理结果;指令下发链路解析任务决策规划模块生成的任务控制指令,通过控制适配与协议转换单元将统一任务控制指令转化为设备本体的执行信号,向设备本体下发。

13、在本技术的一种实现方式中,获取多模态传感器、设备本体、边缘控制器的机理参数,构建机理模型关键要素空间,具体包括:

14、基于移动作业设备本体自身结构与机床整机装配车间移动配送任务需求,构建机理模型关键要素空间:

15、;

16、其中,表示移动作业设备本体机理参数集合;、、分别表示感知层、执行层与控制层的机理参数子集;对任一层,其机理参数以统一结构化形式表示为,其中为几何参数,为物理特性参数,为行为特征参数,为规则/约束参数。

17、在本技术的一种实现方式中,通过多模态传感器采集多模态传感器数据;根据预设节点要素和边要素,将多模态传感器数据转换为运行状态图,具体包括:

18、通过多模态传感器采集多模态传感器数据:

19、,

20、其中为设备本体多模态传感器在时刻的观测向量,为维度,为当前任务执行过程采样时间,多模态传感器至少包括:三轴加速度、三轴角速度、三轴磁场、姿态角四元数;

21、对多模态传感器数据进行数据预处理,并对不同采样频率的多模态传感器数据进行重采样与滑动窗口切片,形成标准化样本序列;其中,表示第个窗口的多模态传感器数据,为窗口内设备本体动作/控制输入序列,为监督标签,表示窗口总数;

22、将标准化多源数据序列构建为图结构,定义时刻的运行状态图为:

23、;其中,为时刻的节点集合,节点表示预设节点要素,为边要素对应的边集合。

24、在本技术的一种实现方式中,基于数据模型,利用图注意力机制,对运行状态图进行层图卷积,获得全局状态数据,具体包括:

25、引入图注意力机制,定义节点对节点的注意力打分为:

26、,

27、其中,表示节点在时刻第层的隐状态/嵌入向量,表示邻域节点的对应隐状态;为边的边特征向量,用于表征节点与节点的关系类型与强度;

28、并将打分经归一化得到第层的注意力权重:

29、,

30、其中,为注意力评分函数,为边特征向量;表示邻域节点对节点在第层的注意力权重;

31、进行agnn卷积更新,定义消息函数为,则节点的第层隐状态更新为:

32、,

33、其中,为激活函数;为消息映射函数;

34、完成层图卷积更新后,得到节点集合的高维表征,构建图级表征并获得时刻的孪生体状态的图级表示:

35、,

36、其中,表示时刻的具身智能孪生体全局状态数据,表示图级读出函数。

37、在本技术的一种实现方式中,获取对应的设备本体在当前任务作业中的实时结构化语料,将当前机理数据、全局状态数据添加至实时结构化语料,并存储至预设知识语料库,从预设知识语料库中提取知识本体三元组,具体包括:

38、获取并汇总设备本体机床整机装配车间移动配送任务作业过程中,设备本体状态数据、运行机理、设备本体任务、作业规范与安全规则在内的结构化语料,形成领域知识语料库:

39、,

40、其中,为状态数据语料,包括设备本体、定位、作业对象、环境、任务执行的状态信息;为运行机理语料,包括几何拓扑关系、运动学/动力学、控制机理的机理知识;为设备本体任务语料,包括任务定义与目标、任务案例、资源与约束、任务流程及工艺要求的任务知识;为规范与规则语料,包括安全作业规范、系统运行规则、机床装配规则的规则知识;

41、将对应的机理数据、全局状态数据添加至结构化语料中;

42、对任一结构化语料,定义自然语言处理知识抽取“实体-关系-属性”信息为:

43、,

44、其中,为文本编码器分别表示“实体-关系-属性”信息,分别表示“实体-关系-属性”信息提取过程;

45、信息提取完成后,将实体、关系与属性信息组织为设备本体任务知识三元组,形成包含实体信息、关系信息与属性信息的知识本体三元组:

46、,

47、,

48、,

49、其中,表示实体-关系-实体的对象三元组;表示实体-属性-属性值的数据三元组,为属性取值;

50、将抽取得到的三元组集合按统一模式进行索引化与规范化编码,并存储至预设知识语料库。

51、在本技术的一种实现方式中,将知识本体三元组输入预设基座模型,利用预设规则知识本体和预设解析提示词,输出推理结果,具体包括:

52、获取包括专家经验规则、历史任务规则与现有规范的原始规则知识:

53、,

54、其中,为专家经验规则集合,包括移动作业设备本体路径与通行经验、执行器运行维护经验、控制链路安全执行经验;为历史任务规则集合,包括任务流程及工艺参数对应规则、相似任务迁移规则、资源调度规则;为现有规则集合,包括安全规范、作业规范、设备本体运行约束;

55、利用原始规则知识,构建移动设备本体配送作业对应的预设规则知识本体,且基于记忆遗忘模型对预设规则知识本体中的规则权重进行动态更新;

56、利用ai模型作为开源生成式基座模型,进而蒸馏获得轻量化模型;

57、将适配后的模型与知识本体三元组对应的预设知识语料库、预设规则知识本体联合封装为知识增强推理接口:

58、,

59、其中,为预设解析提示词,为推理结果,分别为面向移动设备本体配送作业的预设知识语料库、预设规则知识本体,表示推理执行函数。

60、在本技术的一种实现方式中,将当前机理数据、全局状态数据和推理结果作为规划决策输入预设控制模型,生成任务控制指令,具体包括:

61、将移动设备本体机理数据与全局状态数据在统一状态空间内进行一致性约束与融合,得到融合状态;

62、将设备本体融合状态与推理结果a共同作为规划决策输入预设控制模型:

63、,

64、其中,为任务规划与决策函数,为输出的任务控制指令。

65、第二方面,本技术提供了一种具身智能孪生体构建设备,设备包括:处理器;

66、以及存储器,其上存储有可执行代码,当可执行代码被执行时,使得处理器执行如上述任一项的一种具身智能孪生体构建方法。

67、第三方面,本技术提供了一种非易失性计算机存储介质,其上存储有计算机指令,计算机指令在被执行时实现如上述任一项的一种具身智能孪生体构建方法。

68、从以上技术方案可以看出,本技术具有以下优点:

69、通过建立具身智能孪生中央计算单元与多模态传感器、设备本体及边缘控制器的连接关系,并基于机理参数构建包含几何模型、物理机理模型、设备行为模型与规则模型的‌机理模型关键要素空间‌,系统实现了对设备本体特性及实时状态的结构化表征。该机制将设备的物理属性、运动约束与运行规则转化为可计算的机理数据,使任务规划模块能够直接依据设备自身的动态特性进行约束推理,提升了规划决策对本体状态的感知精度与响应一致性,解决了传统系统因缺乏本体表征而产生的决策脱节问题。

70、通过多模态传感器采集数据并依据预设节点与边要素构建‌运行状态图‌,结合图注意力机制与层图卷积算法对图结构进行全局状态建模,系统实现了对复杂作业环境中多源异构信息的语义融合与空间关系建模。该方法将环境几何结构、交互对象关系与动态约束转化为可计算的图表示,使设备能够自主识别任务场景中的关键交互节点与潜在冲突路径,从而增强对作业环境的深度感知能力,弥补了传统系统在非结构化场景中语义理解薄弱的缺陷。

71、通过将机理数据与全局状态数据融合至设备本体的实时结构化语料,并从中提取知识本体三元组输入预设基座模型,结合规则知识本体与解析提示词进行推理,系统实现了行业知识与实时状态的协同推理。该机制将隐性安全规则、工艺规范与操作逻辑显式编码为可推理的语义网络,使任务决策模块能够基于专业语义进行合规性判断与策略优化,提升了规划输出的行业适配性与逻辑严谨性,为复杂任务提供了可解释、可追溯的决策输入基础。