一种模型处理方法及装置与流程

1.本技术涉及数据处理技术领域，具体而言，涉及一种模型处理方法及装置。


背景技术：

2.随着网络科技的不断发展，人工智能模型在安防、工业、交通等各种场景已得到广泛应用。由于不同的使用场景使用需求不同，相应的设备硬件也各不相同，不同硬件提供算力的核心模块各有差异，则人工智能模型在各个硬件平台使用时，一般都需要单独适配和优化，从而保证模型的正常且稳定的使用功能。现有的模型处理方法，首先需要开发人员掌握针对每种硬件平台的适配和优化技巧，然后通过人工处理的方式进行模型的适配和优化调整。然而，在实践中发现，现有方法模型处理效率低，准确性低。


技术实现要素：

3.本技术实施例的目的在于提供一种模型处理方法及装置，能够自动对模型进行适配和优化处理，处理效率高，准确性高。
4.本技术实施例第一方面提供了一种模型处理方法，包括：
5.获取待处理网络模型和目标硬件平台的硬件信息；
6.根据所述硬件信息对所述待处理网络模型进行模型转换处理，得到能够在所述目标硬件平台上运行的目标模型；
7.当所述目标模型的通过模型测试时，对所述目标模型进行打包处理得到模型包；
8.对所述模型包进行模型包测试，得到能够正式发布使用的目标模型包；
9.存储所述目标模型包。
10.在上述实现过程中，先获取待处理网络模型和目标硬件平台的硬件信息；并对待处理网络模型进行模型转换处理，得到能够在目标硬件平台上运行的目标模型；当目标模型的通过模型测试时，对目标模型进行打包处理得到模型包；再对模型包进行模型包测试，得到能够正式发布使用的目标模型包；最后存储目标模型包，能够自动对模型进行适配和优化处理，处理效率高，准确性高。
11.进一步地，所述方法还包括：
12.获取所述模型转换处理时的转换数据、所述模型测试的第一测试数据、所述对所述目标模型进行打包处理时的打包数据以及所述模型包测试的第二测试数据；
13.存储所述转换数据、所述第一测试数据、所述打包数据以及所述第二测试数据。
14.进一步地，所述根据所述硬件信息对所述待处理网络模型进行模型转换处理，得到能够在所述目标硬件平台上运行的目标模型，包括：
15.确定与所述硬件信息相匹配的模型转换算法；
16.根据所述模型转换算法，将所述待处理网络模型转换为能够在所述目标硬件平台上运行的目标模型。
17.进一步地，所述方法还包括：
18.获取用于测试所述目标模型的测试集；
19.通过所述测试集对所述目标模型进行模型测试，得到第一测试结果；
20.输出所述第一测试结果；
21.判断是否接收到用户根据所述第一测试结果输入的测试通过指令；
22.如果是，则执行所述的对所述目标模型进行打包处理得到模型包。
23.进一步地，所述对所述目标模型进行打包处理得到模型包，包括：
24.确定所述目标模型的前处理部分代码以及后处理部分代码；
25.将所述目标模型的模型文件、所述前处理部分代码以及所述后处理部分代码打包成一个单独的包，得到模型包。
26.进一步地，所述对所述模型包进行模型包测试，得到能够正式发布使用的目标模型包，包括：
27.获取用于测试所述模型包的测试文件；
28.通过所述测试文件对所述模型包进行测试，得到第二测试结果；
29.输出所述第二测试结果，并判断是否接收到用户针对所述第二测试结果输入的确认无误指令；
30.如果是，则将所述模型包确定为能够正式发布使用的目标模型包。
31.本技术实施例第二方面提供了一种模型处理装置，所述模型处理装置包括：
32.获取单元，用于获取待处理网络模型和目标硬件平台的硬件信息；
33.转换单元，用于根据所述硬件信息对所述待处理网络模型进行模型转换处理，得到能够在所述目标硬件平台上运行的目标模型；
34.打包单元，用于当所述目标模型的通过模型测试时，对所述目标模型进行打包处理得到模型包；
35.模型包测试单元，用于对所述模型包进行模型包测试，得到能够正式发布使用的目标模型包；
36.存储单元，用于存储所述目标模型包。
37.在上述实现过程中，获取单元先获取待处理网络模型和目标硬件平台的硬件信息；转换单元对待处理网络模型进行模型转换处理，得到能够在目标硬件平台上运行的目标模型；打包单元在目标模型的通过模型测试时，对目标模型进行打包处理得到模型包；模型包测试单元再对模型包进行模型包测试，得到能够正式发布使用的目标模型包；最后存储单元存储目标模型包，能够自动对模型进行适配和优化处理，处理效率高，准确性高。
38.进一步地，所述获取单元，还用于获取所述模型转换处理时的转换数据、所述模型测试的第一测试数据、所述对所述目标模型进行打包处理时的打包数据以及所述模型包测试的第二测试数据；
39.所述存储单元，还用于存储所述转换数据、所述第一测试数据、所述打包数据以及所述第二测试数据。
40.本技术实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本技术实施例第一方面中任一项所述的模型处理方法。
41.本技术实施例第四方面提供了一种计算机可读存储介质，其存储有计算机程序指
令，所述计算机程序指令被一处理器读取并运行时，执行本技术实施例第一方面中任一项所述的模型处理方法。
附图说明
42.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
43.图1为本技术实施例提供的一种模型处理方法的流程示意图；
44.图2为本技术实施例提供的另一种模型处理方法的流程示意图；
45.图3为本技术实施例提供的一种模型处理装置的结构示意图；
46.图4为本技术实施例提供的另一种模型处理装置的结构示意图。
具体实施方式
47.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
48.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
49.实施例1
50.请参看图1，图1为本技术实施例提供了一种模型处理方法的流程示意图。其中，该模型处理方法包括：
51.s101、获取待处理网络模型和目标硬件平台的硬件信息。
52.本技术实施例中，该方法的执行主体可以为模型处理装置，该模型处理装置具体可以运行于计算机、服务器等计算装置上，对此本实施例中不作任何限定。
53.在本技术实施例中，该模型处理装置还可以运行于智能手机、平板电脑等智能设备上，对此本实施例中不作任何限定。
54.本技术实施例中，该待处理网络模型可以为人工智能模型(即ai模型)，包括ai算法框架如tensorflow、pytorch等，对此本技术实施例不作限定。
55.本技术实施例中，硬件信息包括边缘设备硬件的需求、提供算力的核心模块信息(如npu、gpu、tpu等)等，对此本技术实施例不作限定。
56.s102、根据硬件信息对待处理网络模型进行模型转换处理，得到能够在目标硬件平台上运行的目标模型。
57.本技术实施例中，可以通过模型处理装置对待处理网络模型进行模型转换处理。其中，模型处理装置包括多个硬件平台对应的转换算法，在进行模型转换时，先确定与硬件信息相匹配的模型转换算法，然后通过转换算法对待处理网络模型进行模型转换处理，得到目标模型。
58.本技术实施例中，该模型转换算法具体可以为与硬件信息相匹配的模型转换api，用于实现将各种gpu上训练出的ai模型转换为目标硬件平台上可以使用模型。
59.本技术实施例中，模型处理装置具体可以为gui工具，集成多个硬件平台对应的模
型转换api，只需通过上传原始的待处理网络模型，选择目标硬件平台，即可实现对应模型的转换。
60.s103、当目标模型的通过模型测试时，对目标模型进行打包处理得到模型包。
61.本技术实施例中，针对转换完成的目标模型，提供模型在目标硬件平台的测试功能，只需上传测试集，选择目标硬件平台，即可得到测试结果，输出该测试结果供用户浏览。
62.本技术实施例中，如果需要正式发布，还需要先打包模型，将目标模型的模型文件以及前处理和后处理部分代码打包成一个单独的包，得到模型包。
63.s104、对模型包进行模型包测试，得到能够正式发布使用的目标模型包。
64.本技术实施例中，目标模型打包完成后，可以对模型包进行模型包测试，直接通过测试文件对模型包进行测试，并输出测试结果供用户查看，用户还可以输入针对该测试结果的确认指令，以表示测试确认无误，即该模型包可以正式发布使用。
65.s105、存储目标模型包。
66.本技术实施例中，通过实施本技术实施例提供的模型处理方法，能够针对模型的生命周期进行管理。
67.本技术实施例中，该模型处理装置提供包括模型转换、测试、发布、版本管理等功能。该工具包将算法和业务解耦成两个独立模块，算法人员无需关注硬件平台，只需要在gpu上训练模型，即可使用模型处理装置将gpu模型转换成任意目标硬件平台的模型；无需关注模型版本以及与算法相关的前处理后处理部分，可以专注于业务逻辑的实现。
68.本技术实施例中，实施该方法。
69.可见，实施本实施例所描述的模型处理方法，能够将模型开发整个生命周期每个关键步骤线上化并且串联起来，实现全流程管理，并能够自动对模型进行适配和优化处理，处理效率高，准确性高。
70.实施例2
71.请参看图2，图2为本技术实施例提供的另一种模型处理方法的流程示意图。如图2所示，其中，该模型处理方法包括：
72.s201、获取待处理网络模型和目标硬件平台的硬件信息。
73.s202、确定与硬件信息相匹配的模型转换算法。
74.s203、根据模型转换算法，将待处理网络模型转换为能够在目标硬件平台上运行的目标模型。
75.本技术实施例中，实施上述步骤s202～步骤s203，能够根据硬件信息对待处理网络模型进行模型转换处理，得到能够在目标硬件平台上运行的目标模型。
76.s204、获取用于测试目标模型的测试集。
77.s205、通过测试集对目标模型进行模型测试，得到第一测试结果。
78.s206、输出第一测试结果。
79.本技术实施例中，用户可以查看输出的第一测试结果，并能够输入针对第一测试结果的测试通过指令。
80.s207、判断是否接收到用户根据第一测试结果输入的测试通过指令，如果是，执行步骤s208～步骤s212；如果否，重新执行步骤s203～步骤s207，直至接收到用户输入的测试通过指令时，继续执行步骤s208～步骤s212。
81.s208、对目标模型进行打包处理得到模型包。
82.作为一种可选的实施方式，对目标模型进行打包处理得到模型包，包括：
83.确定目标模型的前处理部分代码以及后处理部分代码；
84.将目标模型的模型文件、前处理部分代码以及后处理部分代码打包成一个单独的包，得到模型包。
85.本技术实施例中，如果需要正式发布，还需要先打包模型，将目标模型的模型文件以及前处理和后处理部分代码打包成一个单独的包，得到模型包。
86.s209、获取用于测试模型包的测试文件。
87.s210、通过测试文件对模型包进行测试，得到第二测试结果。
88.s211、输出第二测试结果。
89.s212、判断是否接收到用户针对第二测试结果输入的确认无误指令，如果是，则执行步骤s213～步骤s216；如果否，则重新执行步骤s203～步骤s212，直至接收到用户输入的确认无误指令时，继续执行步骤s213～步骤s216。
90.s213、将模型包确定为能够正式发布使用的目标模型包。
91.本技术实施例中，实施上述步骤s209～步骤s213，能够对模型包进行模型包测试，得到能够正式发布使用的目标模型包。
92.s214、存储目标模型包。
93.s215、获取模型转换处理时的转换数据、模型测试的第一测试数据、对目标模型进行打包处理时的打包数据以及模型包测试的第二测试数据。
94.s216、存储转换数据、第一测试数据、打包数据以及第二测试数据。
95.本技术实施例中，以上的转换、测试、打包每一步都有历史记录，存储该数据供后续查看，且所有相关文件都在服务器端有备份。
96.本技术实施例中，通过实施该方法，可以实现模型开发整个生命周期的在线管理，同时通过将模型在不同硬件平台上的适配优化经验沉淀到模型处理装置中，无需用户单独学习相关知识，要求门槛低，可以大大提高开发效率。
97.可见，实施本实施例所描述的模型处理方法，能够自动对模型进行适配和优化处理，处理效率高，准确性高。
98.实施例3
99.请参看图3，图3为本技术实施例提供的一种模型处理装置的结构示意图。如图3所示，该模型处理装置包括：
100.获取单元310，用于获取待处理网络模型和目标硬件平台的硬件信息；
101.转换单元320，用于根据硬件信息对待处理网络模型进行模型转换处理，得到能够在目标硬件平台上运行的目标模型；
102.打包单元330，用于当目标模型的通过模型测试时，对目标模型进行打包处理得到模型包；
103.模型包测试单元340，用于对模型包进行模型包测试，得到能够正式发布使用的目标模型包；
104.存储单元350，用于存储目标模型包。
105.本技术实施例中，对于模型处理装置的解释说明可以参照实施例1或实施例2中的
描述，对此本实施例中不再多加赘述。
106.可见，实施本实施例所描述的模型处理装置，能够自动对模型进行适配和优化处理，处理效率高，准确性高。
107.实施例4
108.请一并参阅图4，图4是本技术实施例提供的另一种模型处理装置的结构示意图。其中，图4所示的模型处理装置是由图3所示的模型处理装置进行优化得到的。如图4所示，获取单元310，还用于获取模型转换处理时的转换数据、模型测试的第一测试数据、对目标模型进行打包处理时的打包数据以及模型包测试的第二测试数据；
109.存储单元350，还用于存储转换数据、第一测试数据、打包数据以及第二测试数据。
110.作为一种可选的实施方式，转换单元320包括：
111.第一子单元321，用于确定与硬件信息相匹配的模型转换算法；
112.第二子单元322，用于根据模型转换算法，将待处理网络模型转换为能够在目标硬件平台上运行的目标模型。
113.作为一种可选的实施方式，获取单元310，还用于获取用于测试目标模型的测试集；
114.该模型处理装置，还包括：
115.模型测试单元360，用于通过测试集对目标模型进行模型测试，得到第一测试结果；
116.输出单元370，用于输出第一测试结果；
117.判断单元380，用于判断是否接收到用户根据第一测试结果输入的测试通过指令；如果是，则触发打包单元330对目标模型进行打包处理得到模型包。
118.作为一种可选的实施方式，打包单元330包括：
119.第三子单元331，用于确定目标模型的前处理部分代码以及后处理部分代码；
120.第四子单元332，用于将目标模型的模型文件、前处理部分代码以及后处理部分代码打包成一个单独的包，得到模型包。
121.作为一种可选的实施方式，模型包测试单元340包括：
122.第五子单元341，用于获取用于测试模型包的测试文件；
123.第六子单元342，用于通过测试文件对模型包进行测试，得到第二测试结果；
124.第七子单元343，用于输出第二测试结果，并判断是否接收到用户针对第二测试结果输入的确认无误指令；
125.第八子单元344，用于当判断出接收到确认无误指令时，将模型包确定为能够正式发布使用的目标模型包。
126.本技术实施例中，对于模型处理装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。
127.可见，实施本实施例所描述的模型处理装置，能够自动对模型进行适配和优化处理，处理效率高，准确性高。
128.本技术实施例提供了一种电子设备，包括存储器以及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行本技术实施例1或实施例2中任一项模型处理方法。
129.本技术实施例提供了一种计算机可读存储介质，其存储有计算机程序指令，计算机程序指令被一处理器读取并运行时，执行本技术实施例1或实施例2中任一项模型处理方法。
130.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
131.另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
132.功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
133.以上仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
134.以上，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。
135.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。