一种具身智能模型跨平台部署方法、设备及介质与流程

本发明涉及具身智能，尤其涉及一种具身智能模型跨平台部署方法、设备及介质。

背景技术：

1、在具身智能体的研发过程中，高度依赖机器视觉对环境进行感知，并常需结合物理模型来实现精确的仿真与控制。一个在仿真环境中利用物理模型训练完成的、集成机器视觉能力的神经网络模型，最终需要被部署到物理机器人的多种异构计算单元上运行，例如用于高层决策的云端图形处理器、用于实时视觉推理的边缘侧嵌入式神经网络处理器，以及用于底层运动控制的微控制器等。这些计算单元各自配套有独立的推理框架与运行环境，其底层支持的算子集合、内存模型与计算范式存在显著差异，使得对涉及物理约束的复杂图模型进行跨平台迁移面临极大的技术复杂性。

2、目前，现有技术中，工程师普遍采用手动方式逐一对每个目标硬件平台进行模型适配。这通常包含将机器视觉网络与物理模型计算图转换为特定推理框架所要求的私有格式，并根据目标芯片特性人工进行图优化、算子替换与内存布局调整等调优工作。进一步地，在此过程中，工程师团队不得不为每种硬件组合重复实施大量相似却彼此割裂的适配流程。随着具身智能产品所需支持的计算单元种类不断增加，这种高度依赖人工经验与手工操作的离散化适配模式，使得整个部署周期变得冗长，严重拖慢产品从虚拟仿真到物理实体落地的迭代速度。

技术实现思路

1、本发明提供了一种具身智能模型跨平台部署方法、设备及介质，旨在解决的技术问题是：如何提供一种能够有效缩短具身智能模型在多计算单元上部署周期的解决方案。

2、第一方面，本发明提供了一种具身智能模型跨平台部署方法，其包括：

3、响应于接收到的模型部署指令，获取所述模型部署指令指定的待部署的深度学习模型；

4、将所述深度学习模型转换为统一中间表示图；

5、对所述统一中间表示图执行硬件无关优化，得到第一优化中间表示图；

6、获取目标推理后端对应的硬件特性信息，基于所述硬件特性信息对所述第一优化中间表示图执行硬件相关优化，得到第二优化中间表示图；

7、基于所述第二优化中间表示图，生成所述目标推理后端支持的可执行推理引擎。

8、可选地，所述将所述深度学习模型转换为统一中间表示图，包括：

9、解析所述深度学习模型的源训练框架格式，提取原始计算图；

10、将所述原始计算图中的算子映射至预设的统一算子集，得到算子映射图；

11、在所述算子映射图中，对各张量的至少一个维度标记为动态变量，所述动态变量的具体数值在推理时确定，构建得到统一中间表示图，所述统一中间表示图包含所述算子映射图中经映射的算子及其连接关系。

12、可选地，所述对所述统一中间表示图执行硬件无关优化，得到第一优化中间表示图，包括：

13、遍历所述统一中间表示图，识别并移除不被任何输出依赖的算子，完成死代码消除；

14、对完成死代码消除后的所述统一中间表示图中仅包含常量输入的算子进行求值，将满足条件的算子替换为常量节点，完成常量折叠；

15、将完成常量折叠后的所述统一中间表示图中满足预设融合模式的连续多个算子合并为单个等效算子，完成算子融合，得到所述第一优化中间表示图。

16、可选地，所述深度学习模型包括机器视觉子网络和物理模型计算图；所述基于所述硬件特性信息对所述第一优化中间表示图执行硬件相关优化，得到第二优化中间表示图包括：

17、识别所述第一优化中间表示图中所述机器视觉子网络与所述物理模型计算图的计算边界，得到边界描述信息；

18、根据所述边界描述信息，以及所述目标推理后端包含的至少两个异构计算单元，将所述第一优化中间表示图切分为与所述至少两个异构计算单元一一对应的多个子图；

19、分别对所述多个子图中的每一个子图执行算子替换和内存布局转换，得到与所述多个子图一一对应的多个优化子图，并以所述多个优化子图作为所述第二优化中间表示图；

20、所述生成所述目标推理后端支持的可执行推理引擎包括：将所述多个优化子图分别编译为适用于对应异构计算单元的多个推理引擎。

21、可选地，分别对所述多个子图中的每一个子图执行算子替换，包括：

22、对于每一个子图，解析所述硬件特性信息，得到所述子图对应的异构计算单元不支持的第一算子集合和支持的第二算子集合；

23、遍历所述子图，识别属于所述第一算子集合的不适配算子；

24、利用所述第二算子集合中的至少一个算子组合，替换所述不适配算子，得到与所述子图对应的算子替换子图。

25、可选地，分别对所述多个子图中的每一个子图执行内存布局转换，包括：

26、对于每一个算子替换子图，从所述硬件特性信息中提取所述算子替换子图对应的异构计算单元的内存对齐约束和数据排布偏好；

27、分析所述算子替换子图中各算子的输入输出张量的访问模式；

28、在所述算子替换子图中插入张量重排操作，使得所述张量重排操作后的张量排布符合所述内存对齐约束和数据排布偏好，得到与所述算子替换子图对应的优化子图。

29、可选地，所述基于所述第二优化中间表示图，生成所述目标推理后端支持的可执行推理引擎包括：

30、若所述第二优化中间表示图包含多个优化子图，则分别将各所述优化子图作为待处理图，否则将所述第二优化中间表示图作为待处理图；

31、对于每一个待处理图，确定所述待处理图对应的目标异构计算单元；

32、根据所述目标异构计算单元，选取对应的序列化模板；

33、遍历所述待处理图，将所述待处理图中各算子转换为所述目标异构计算单元定义的图算子描述，将各张量转换为所述目标异构计算单元定义的数据描述；

34、利用所述序列化模板、所述图算子描述和所述数据描述，生成所述待处理图对应的推理引擎。

35、可选地，所述将所述待处理图中各算子转换为所述目标异构计算单元定义的图算子描述包括：

36、查询预设的算子映射表，获得与所述待处理图中的算子对应的目标异构计算单元的原生算子类型；

37、根据所述硬件特性信息，为所述原生算子类型设置运行属性参数；

38、生成包含所述原生算子类型和所述运行属性参数的图算子描述。

39、第二方面，本发明还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。

40、第三方面，本发明还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现上述方法。

41、本发明提供了一种具身智能模型跨平台部署方法、设备及介质，通过依次执行的模型转换、硬件无关优化、硬件相关优化及引擎生成步骤，将人工适配流程转变为全自动编译流水线，有效缩短了具身智能模型在多异构计算单元上的部署周期。具体而言，通过将深度学习模型转换为统一中间表示图，屏蔽了不同训练框架与目标推理后端之间的格式差异，为后续优化操作的跨平台复用提供了统一的操作对象。进一步地，在此基础上，对所述统一中间表示图执行硬件无关优化，得到第一优化中间表示图，该优化不依赖于特定硬件，实现了优化逻辑的一次开发与多端共享。进一步地，获取目标推理后端对应的硬件特性信息，基于所述硬件特性信息对所述第一优化中间表示图执行硬件相关优化，得到第二优化中间表示图，从而自动完成针对特定硬件的适配调优，避免了人工逐硬件调优所带来的效率瓶颈。进一步地，基于所述第二优化中间表示图，生成所述目标推理后端支持的可执行推理引擎，完成从模型到部署包的全自动转换。上述步骤形成闭环的数据处理链路，将离散的手工适配转变为标准化自动生产，显著缩短了从模型研发到多硬件平台落地的周期。