一种基于嵌入式操作系统的AI部署方法、系统与流程

一种基于嵌入式操作系统的ai部署方法、系统
技术领域
1.本发明涉及人工智能、嵌入式操作系统领域，具体涉及一种基于嵌入式操作系统的ai部署方法、系统。


背景技术：

2.传统嵌入式ai开发流程通常包括嵌入式系统与ai模型两个部分，先选择芯片/平台，确定硬件资源，选择后ai模型对模型规模进行评估，同时确定硬件资源后在嵌入式系统中进行操作系统移植、驱动开发，ai模型对模型规模评估后进行ai模型压缩优化，生成通用格式的ai模型，通用格式的ai模型植入嵌入式操作系统，植入后用户编写应用程序，完成整个开发流程。
3.上述开发流程也可以完成一般嵌入式操作系统开发，但是对于结构更复杂的操作系统开发则会暴露出很多问题，主要体现在开发门槛较高，受硬件条件约束较大，软件粘合度高，基于上述的问题，会对实际开发带来很多不便。


技术实现要素：

4.为解决上述技术问题，本发明提供了一种基于嵌入式操作系统的ai部署方法、系统。
5.本发明通过以下技术方案得以实现。
6.本发明提供的一种基于嵌入式操作系统的ai部署系统，包括ai模型、操作系统、bsp单元、工具模块、lib模块、应用模块，操作系统接入bsp单元连接后与工具模块输入端连接，ai模型与工具模块输入端连接，工具模块输出端与lib模块一端、应用模块输入端分别连接，lib模块另一端与应用模块连接。
7.进一步的，操作系统是实时操作系统。
8.进一步的，工具模块包括模型导入单元、信息提取单元、模型转换单元、模型优化单元、性能仿真单元，所述模型导入单元、信息提取单元、模型转换单元、模型优化单元、性能仿真单元依次连接。
9.进一步的，lib模块包括硬件平台、运行推理库，所述硬件平台与推理库分别与工具模块连接。
10.进一步的，工具模块、lib模块分别通过i/o api、神经网络api与应用模块连接。
11.一种基于嵌入式操作系统的ai部署方法包括以下步骤：
12.s1、建立ai模型；
13.s2、优化ai模型；
14.s3、量化ai模型；
15.s4、模型转换；
16.s5、ai模型部署；
17.s6、编写应用程序；
18.s7、运行应用程序。
19.进一步的，ai模型输入工具模块中，经过优化ai模型、量化ai模型、模型转换、ai模型部署后生成集成ai模型的bsp工程文件。
20.进一步的，ai模型输入工具模块后经过模型导入单元、信息提取单元、模块转换单元处理后转换为硬件所支持的ai模型格式；
21.所述ai模型格式经过模型优化单元进行ai模型部署生成集成ai模型的bsp工程文件。
22.进一步的，工具模块生成集成ai模型的bsp工程文件通过下述方式写入应用模块：
23.集成ai模型的bsp工程文件通过i/o api写入应用模块；
24.集成ai模型的bsp工程文件进入lib模块后经过推理库、硬件处理后生成可运行ai模型的应用代码，所述应用代码通过神经网络api写入应用模块。
25.进一步的，编写应用程序、运行应用模块包括用户编写应用程序、用户运行应用程序。
26.本发明的有益效果在于：本系统及方法通过重新部署ai模型开发流程的系统结构、方法简化开发流程，降低了开发门槛，同时开发不受硬件环境制约。
附图说明
27.图1是本发明的系统连接示意图；
28.图2是本发明实施例的rt-ak tools内部单元连接关系示意图；
29.图3是本发明实施例的模型转换单元内部单元连接关系示意图；
30.图4是本发明实施例连接关系示意图；
31.图5是本发明方法步骤图；
32.图6是本发明方法优化ui模型的步骤图。
具体实施方式
33.下面进一步描述本发明的技术方案，但要求保护的范围并不局限于所述。
34.为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
35.实施例：
36.以rt-threados 201作为本申请实施例中的嵌入式实时操作系统。首先，根据业务需求，选择项目工程的主控芯片和开发板，在此基础上在rt-thread studio集成开发环境中创建一个新的空白工程，并准备好训练完整的ai模型200，该模型可以由tensorflow、pytorch或paddlepaddle等ai开发环境中训练得到。本实施例中工具模块即嵌入式ai一键式开发部署系统rt-ak模块100的子模块一rt-ak tools101，其包括模型导入单元301、信息提取单元302、模型转换单元303、模型优化单元304、性能仿真单元305。其中模型导入单元301支持导入tflite、onnx等多种格式的ai模型。模型信息提取单元302通过读取ai模型200的结构、参数等信息，输出ai模型200的输入张量、输出张量、模型参数量、内存占用等信息。模型转换单元303则包括通用编译器和平台转换工具等，针对不同的模型转换需求，将模型转化为通用ai模型或者针对不同硬件平台的ai模型格式。模型优化单元304在模型转换过
程中，针对模型进行剪枝、压缩、量化以及蒸馏等操作，最终达到模型优化的目的。性能仿真单元305则针对ai模型200在嵌入式设备上部署的性能进行pc端的模拟仿真，以得到相关重要的性能参数。
37.rt-ak tools101通过rt-threados 201、bsp 202、ai模型200融合操作，生成实时嵌入式系统工程900。结合rt-ak模块100提供的子模块二rt-ak lib102，最终生成带有平台级别的操作系统api103和神经网络推理api104的嵌入式ai应用程序，最终提供给开发者进行应用程序的开发，该过程极大的简化了嵌入式ai程序开发过程中模型转换、部署的工作。
38.基于上述基础，rt-ak模块100提供的子模块二rt-ak lib102包括两个单元，分别为硬件平台sdk和运行期推理库单元。硬件平台sdk针对不同硬件芯片提供了响应的sdk，方便开发者使用相关的芯片。同时在ai推理阶段，使用运行期推理库可以方便开发者使用一些指令集级别的加速性能或直接驱动ai推理模块来加速ai推理时间。


技术特征：
1.一种基于嵌入式操作系统的ai部署系统，其特征在于：所述系统包括ai模型、操作系统、bsp单元、工具模块、lib模块、应用模块，所述操作系统接入bsp单元连接后与工具模块输入端连接，ai模型与工具模块输入端连接，工具模块输出端与lib模块一端、应用模块输入端分别连接，lib模块另一端与应用模块连接。2.如权利要求1所述的一种基于嵌入式操作系统的ai部署系统，其特征在于：所述操作系统是实时操作系统。3.如权利要求1所述的一种基于嵌入式操作系统的ai部署系统，其特征在于：所述工具模块包括模型导入单元、信息提取单元、模型转换单元、模型优化单元、性能仿真单元，所述模型导入单元、信息提取单元、模型转换单元、模型优化单元、性能仿真单元依次连接。4.如权利要求1所述的一种基于嵌入式操作系统的ai部署系统，其特征在于：所述lib模块包括硬件平台、运行推理库，所述硬件平台与推理库分别与工具模块连接。5.如权利要求1所述的一种基于嵌入式操作系统的ai部署系统，其特征在于：所述工具模块、lib模块分别通过i/o api、神经网络api与应用模块连接。6.一种基于嵌入式操作系统的ai部署方法，其特征在于包括以下步骤：建立ai模型；优化ai模型；量化ai模型；模型转换；ai模型部署；编写应用程序；运行应用程序。7.如权利要求6所述的一种基于嵌入式操作系统的ai部署方法，其特征在于：所述ai模型输入工具模块中，经过优化ai模型、量化ai模型、模型转换、ai模型部署后生成集成ai模型的bsp工程文件。8.如权利要求7所述的一种基于嵌入式操作系统的ai部署方法，其特征在于：所述ai模型输入工具模块后经过模型导入单元、信息提取单元、模块转换单元处理后转换为硬件所支持的ai模型格式；所述ai模型格式经过模型优化单元进行ai模型部署生成集成ai模型的bsp工程文件。9.如权利要求6所述的一种基于嵌入式操作系统的ai部署方法，其特征在于：所述工具模块生成集成ai模型的bsp工程文件通过下述方式写入应用模块：所述集成ai模型的bsp工程文件通过i/o api写入应用模块；所述集成ai模型的bsp工程文件进入lib模块后经过推理库、硬件处理后生成可运行ai模型的应用代码，所述应用代码通过神经网络api写入应用模块。10.如权利要求6所述的一种基于嵌入式操作系统的ai部署方法，其特征在于：所述编写应用程序、运行应用模块包括用户编写应用程序、用户运行应用程序。

技术总结
本发明公开了一种基于嵌入式操作系统的AI部署系统，包括AI模型、操作系统、BSP单元、工具模块、Lib模块、应用模块，操作系统接入BSP单元连接后与工具模块输入端连接，AI模型与工具模块输入端连接，工具模块输出端与Lib模块一端、应用模块输入端分别连接，Lib模块另一端与应用模块连接，本系统及方法通过重新部署AI模型开发流程的系统结构、方法简化开发流程，降低了开发门槛，同时开发不受硬件环境制约。同时开发不受硬件环境制约。同时开发不受硬件环境制约。


技术研发人员：杨武 李奇文 叶昌
受保护的技术使用者：上海睿赛德电子科技有限公司
技术研发日：2022.08.15
技术公布日：2022/11/11