一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

数据处理方法、装置、计算机设备和存储介质与流程

2021-11-15 17:07:00 来源:中国专利 TAG:


1.本技术涉及机器学习领域,特别是涉及一种数据处理方法、装置、计算机设备和存储介质。


背景技术:

2.在机器学习工业应用中,越来越多的开源框架由pytorch开发,在模型定义、训练和可读性上的优势都远超tensorflow,然而在面向移动端部署的时候,某些项目仍旧需要使用tflite(主要用于移动端的轻量级推理库),此时,面向移动端部署的ai(artificial intelligence,人工智能)的模型信息文件的格式与面向服务端部署的ai的模型信息文件的格式不同,为了能够利用不同格式的模型信息文件进行推断,需要针对性开发多套解析工具以解析不同格式的模型信息文件,这样会增加开发成本和维护成本。


技术实现要素:

3.本发明针对上述不足或缺点,提供了一种数据处理方法、装置、计算机设备和存储介质,本发明实施例能够统一通过一个解析工具来解析不同格式的模型信息文件以及进行推断,进而减少开发成本和维护成本。
4.本发明根据第一方面提供了一种数据处理方法,在一个实施例中,该方法包括:
5.将获得的业务数据转换为标准格式数据;
6.获取与业务数据的业务类型对应的模型信息文件,解析模型信息文件得到模型文件格式、目标平台标识和数据转换方式,根据模型文件格式、目标平台标识和数据转换方式将标准格式数据转换为模型输入数据;
7.加载模型信息文件,并根据模型信息文件生成神经网络层;
8.使用神经网络层对模型输入数据进行推断得到模型推断结果。
9.在一个实施例中,将获得的业务数据转换为标准格式数据的步骤,包括:
10.确定业务数据的业务类型;
11.调用与业务数据的业务类型对应的第一数据转换函数对业务数据进行数据类型转换,得到标准格式数据。
12.在一个实施例中,根据模型文件格式、目标平台标识和数据转换方式将标准格式数据转换为模型输入数据的步骤,包括:
13.根据模型文件格式、目标平台标识和数据转换方式调用相应的第二数据转换函数来将标准格式数据转换为模型输入数据。
14.在一个实施例中,该方法还包括:
15.调用与数据转换方式对应的第三数据转换函数将模型推断结果进行数据类型转换,得到模型输出数据;
16.将模型输出数据返回给业务数据的发送方。
17.在一个实施例中,获取与业务数据的业务类型对应的模型信息文件的步骤之前,
还包括:
18.将获得的业务训练数据转换为标准格式数据;
19.将标准格式数据转换为符合目标模型训练框架要求的模型输入数据;
20.在目标模型训练框架中使用模型输入数据对目标模型进行训练;
21.在完成训练时,将目标模型的训练结果保存为模型信息文件;
22.将目标模型训练框架的目标平台标识、目标模型的模型文件格式、以及根据目标平台标识和/或模型文件格式确定的数据转换方式记录到模型信息文件中。
23.在一个实施例中,该方法应用于计算设备;该方法是计算设备调用本地的通用模型解析库来实现的;通用模型解析库为函数依赖库。
24.在一个实施例中,通用模型解析库中包含多个用于将业务数据转换为标准格式数据的第一数据转换函数、多个用于将标准格式数据转换为模型输入数据的第二数据转换函数以及多个用于将模型推断结果转换为模型输出数据的第三数据转换函数;
25.不同的第一数据转换函数用于将不同业务类型的业务数据转换为标准格式数据;
26.不同的第二数据转换函数用于将标准格式数据转换为符合不同模型输入要求的模型输入数据;
27.不同的第三数据转换函数用于将不同模型的模型推断结果转换为模型输出数据。
28.本发明根据第二方面提供了一种数据处理装置,在一个实施例中,该装置包括:
29.第一转换模块,用于将获得的业务数据转换为标准格式数据;
30.第二转换模块,用于获取与业务数据的业务类型对应的模型信息文件,解析模型信息文件得到模型文件格式、目标平台标识和数据转换方式,根据模型文件格式、目标平台标识和数据转换方式将标准格式数据转换为模型输入数据;
31.网络生成模块,用于加载模型信息文件,并根据模型信息文件生成神经网络层;
32.推断模块,用于使用神经网络层对模型输入数据进行推断得到模型推断结果。
33.本发明根据第三方面提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述任一方法的实施例的步骤。
34.本发明根据第四方面提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一方法的实施例的步骤。
35.在本发明实施例中,在获得业务数据时,将获得的业务数据先转换为标准格式数据,然后获取与业务数据的业务类型对应的模型信息文件,解析模型信息文件得到模型文件格式、目标平台标识和数据转换方式,根据模型文件格式、目标平台标识和数据转换方式将标准格式数据转换为模型输入数据,接着加载模型信息文件到内存中,根据模型信息文件生成神经网络层,使用神经网络层对模型输入数据进行推断得到模型推断结果,能够实现统一通过一套解析工具来解析不同格式的模型信息文件,以及通过该模型信息文件来进行推断,进而减少在开发ai过程中的开发成本和维护成本。此外,在将获得的业务数据处理为模型输入数据时,先将业务数据转换为标准格式数据,再将标准格式数据转换为相应模型的模型输入数据,这样能够减少需要开发和维护的用于数据转换的代码的数量。
附图说明
36.图1为一个实施例中一种数据处理方法的流程示意图;
37.图2为一个实施例中训练ai的流程示意图;
38.图3为一个实施例中一种数据处理装置的结构框图;
39.图4为一个实施例中计算机设备的内部结构图。
具体实施方式
40.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处描述的具体实施例仅用以解释本技术,并不用于限定本技术。
41.本发明提供了一种数据处理方法。在一个实施例中,该数据处理方法可以应用于部署了ai的计算设备中,该计算设备能够利用该ai对业务数据进行处理以得到推断数据,推断数据可以用于指示目标对象进行下一步动作的数据。以游戏场景为例,可以将游戏ai部署在游戏逻辑服务器(game server)、游戏推断服务器(ai server)或者游戏客户端中,假设游戏ai部署在游戏客户端中,在游戏客户端中启动游戏后,可以采集游戏中的环境参数,然后利用游戏ai来对该环境参数进行处理而得到动作参数,最后根据该动作参数指示游戏中的目标对象(agent)执行下一步动作,比如,玩家在某款围棋游戏中选择人机对战模式,每当玩家下完子,游戏程序即采集当前的棋局信息(即业务数据),然后通过游戏ai对当前的棋局信息进行处理,从而计算出电脑方(即目标对象)下一步的下子信息(即动作参数,用于指示在哪个位置下子)。其中,游戏客户端可以包括但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和台式计算机等,游戏逻辑服务器和游戏推断服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现,在一些场景中,游戏逻辑服务器和游戏推断服务器可以部署在同一物理服务器中。
42.以下对数据处理方法进行详细介绍,如图1所示,该方法包括步骤s110

步骤s140。
43.s110:将获得的业务数据转换为标准格式数据。
44.在本实施例中,当ai的部署位置不同时,业务数据的获得方式也会有所不同。比如,在上述围棋游戏的例子中,在将ai部署在客户端时,业务数据可以来自客户端自身,而在将ai部署在服务器时,业务数据则来自客户端,比如,该围棋游戏程序在玩家下子后,将采集到的棋局信息上传给服务器,由服务器利用ai来计算出电脑方的下一步下子位置并返回给该围棋游戏程序。此外,在不同的应用场景中,业务数据的内容(比如参数的数量、参数的类型等)也会有所区别。
45.标准格式数据的数据结构是预先定义好的,在代码里实现就是个struct(结构体),里面包含定义好的具体数据,比如在游戏场景中可以包含诸如基础环境配置参数、对象信息、向量信息和图像信息等等的信息。该数据结构中的内容可以根据业务需求来不断迭代,以支持更多的业务、模型类型、训练框架等等。
46.s120:获取与业务数据的业务类型对应的模型信息文件,解析模型信息文件得到模型文件格式、目标平台标识和数据转换方式,根据模型文件格式、目标平台标识和数据转换方式将标准格式数据转换为模型输入数据。
47.本实施例在将获得的业务数据处理为模型输入数据时,先将业务数据转换为标准
格式数据,再将标准格式数据转换为相应模型的模型输入数据,这样能够减少需要开发和维护的用于数据转换的代码的数量。
48.比如,假设在转换数据时仅需要考虑的因素为业务功能的类型和模型类型,假如业务类型有x种,模型类型有y种,如果预先定义了标准格式数据,先将业务数据转换为标准格式数据,再将标准格式数据转换为相应模型的模型输入数据,此时只需要开发人员实现x y份用于转换数据的代码,而在没有标准格式数据情况下,需要开发人员需要实现x*y份用于转换数据的代码。其中,该x y份代码中,x份用于将业务数据转换为标准格式数据的代码,不同代码用于将不同业务类型的业务数据转换为标准格式数据;y份用于将标准格式数据转换为模型输入数据的代码,不同代码用于将标准格式数据转换为符合不同模型类型对应的要求的模型输入数据。该x*y份代码中,每份代码用于将第x种业务类型的业务数据转换为符合第y种模型类型对应的要求的模型输入数据。
49.不同目标对象的下一步动作可以是由不同的ai来计算出来的,每个ai都对应一个模型信息文件,当需要运行ai来计算目标对象的下一步动作时,就解析与该ai相应的模型信息文件。以上述的围棋游戏为例,玩家可以选择与不同围棋水平的电脑方(比如可以有级水平的电脑方、中级水平的电脑方和普通水平的电脑方等)进行对战,不同围棋水平的电脑方的下一步下子位置是由不同的游戏ai来推断出来的,比如玩家选择与水平电脑方进行对战,那么游戏程序在玩家完成下子之后就采集棋局信息,然后利用存于本地的与水平电脑方对应的模型信息文件来进行下一步下子位置的推断。
50.模型文件格式,比如是“.onnx”、“.pth”,“.ckpt”等等。目标平台是用于训练ai的训练框架,可以是自研的,也可以是业内通用的比如pytorch、tensorflow、ml

agents等等,目标平台标识用于确定ai是由哪个目标平台训练的。
51.数据转换方式有多少,可以根据能够支持的目标平台的数量、训练时的功能复杂度以及模型类型数量而定,目的是让开发者聚焦在业务上,忽略不同目标平台、训练模式带来的差异,也就是说,不同的模型类型、目标平台会对应不同的预先定义的数据转换方式。示例性地,比如,训练ai的时候使用了ml

agents,该ai的模型信息文件中会标记该模型文件是ml

agents模式,那么会把输入的数据的数据类型从isensor转为float,而在计算出模型推断结果时,将模型推断结果的数据类型从float转换为actionbuffers,之后再反馈给业务数据的发送方使用;又比如,训练ai时设置了跳帧参数,假设设置为5帧,此时会将每5个业务数据转换得到的标准格式数据合成一个数组,之后再将其输入神经网络层进行推断。
52.s130:加载模型信息文件,并根据模型信息文件生成神经网络层。
53.s140:使用神经网络层对模型输入数据进行推断得到模型推断结果。
54.其中,加载模型信息文件是指将模型信息文件加载到内存中,进而能够根据模型信息文件生成神经网络层,之后将利用步骤s120得到的模型输入数据输入神经网络层,通过神经网络层对模型输入信息进行一系列计算,得到模型推断结果。
55.本实施例能够实现统一通过一套解析工具来解析不同格式的模型信息文件,以及通过该模型信息文件来进行推断,进而减少在开发ai过程中的开发成本和维护成本。此外,在将获得的业务数据处理为模型输入数据时,先将业务数据转换为标准格式数据,再将标准格式数据转换为相应模型的模型输入数据,这样能够减少需要开发和维护的用于数据转
换的代码的数量。
56.在一个实施例中,数据处理方法是计算设备调用本地的通用模型解析库来实现的。其中,通用模型解析库为函数依赖库。通用模型解析库中包括模型输入标准接口、模型输出标准格式、输入模型数据标准处理与转换等的代码实现,其用于提供不同语言的代码框架库,例如可以包括c#、java与python等的实现,其能够在ai的训练过程与解析推断过程中对数据进行统一输入与输出标准化。示例性地,以游戏场景为例,通用模型解析库对于游戏逻辑服务器、游戏推断服务器和游戏客户端来说是sdk(software development kit,软件开发工具包),即函数依赖库,相当于函数运行时的依赖,例如第三方库,ai的训练模型,可以通过函数的配置,把依赖库挂载在函数的执行目录下,函数运行时就可以加载到第三方依赖。因此计算设备可以实现在不进行网络通讯的情况下,通过调用函数依赖库中的函数来实现对应的功能。
57.在通用模型解析库中,包含多个用于将业务数据转换为标准格式数据的第一数据转换函数、多个用于将标准格式数据转换为模型输入数据的第二数据转换函数以及多个用于将模型推断结果转换为模型输出数据的第三数据转换函数;其中,不同的第一数据转换函数用于将不同业务类型的业务数据转换为标准格式数据;不同的第二数据转换函数用于将标准格式数据转换为符合不同模型输入要求的模型输入数据;不同的第三数据转换函数用于将不同模型的模型推断结果转换为模型输出数据。
58.在一个实施例中,将获得的业务数据转换为标准格式数据的步骤,包括:确定业务数据的业务类型;调用与业务数据的业务类型对应的第一数据转换函数对业务数据进行数据类型转换,得到标准格式数据。
59.在将业务数据转换为标准格式数据时,具体是将特定平台中的特殊数据类型转换为基础类型(比如将unity的vector3转为float)以及将业务数据重新整理组合,以便后续从中提取关键数据来转换成模型输入数据。
60.示例性地,例如在unity(一款专业游戏开发引擎)使用,假设游戏内有一个球体以及一个平板,游戏目标是使小球尽可能在平板上停留长的时间,那么此时游戏业务层需要采集的环境参数有,球体(即该小球)和平板的position(vector3)、平板的rotation(quaternion)以及游戏分数reward(float),此时会将该position和rotation解析成一个float数组,然后存入标准格式数据中的float[]vectorarray,还会将reward存入标准格式数据中的float reward;还有游戏对象的behavior name(string)、space size(int)
……
由于需要采集的环境参数数量过多,因而不展开一一说明。
[0061]
在一个实施例中,根据模型文件格式、目标平台标识和数据转换方式将标准格式数据转换为模型输入数据的步骤,包括:
[0062]
根据模型文件格式、目标平台标识和数据转换方式调用相应的第二数据转换函数来将标准格式数据转换为模型输入数据。
[0063]
示例性地,训练ai的时候使用了ml

agents,同时训练时设置了跳帧参数=5帧,此时会将每5个业务数据转换得到的标准格式数据合成一个isensor数组,之后再将其输入神经网络层进行推断。
[0064]
在一个实施例中,该方法还包括:调用与数据转换方式对应的第三数据转换函数将模型推断结果进行数据类型转换,得到模型输出数据;将模型输出数据返回给业务数据
的发送方。
[0065]
示例性地,训练ai的时候使用了ml

agents,该ai的模型信息文件中会标记该模型文件是ml

agents模式,那么会把输入的数据的数据类型从isensor转为float,而在计算出模型推断结果时,将模型推断结果的数据类型从float转换为actionbuffers,之后再反馈给业务数据的发送方使用。
[0066]
在一个实施例中,计算设备为服务器时,其中的模型信息文件既可以是在其他服务器中训练得到后部署过来的,也可以是在本服务器中训练得到的。以下对在服务器中训练ai得到模型信息文件的过程进行介绍。如图2所示,该过程包括以下步骤:
[0067]
s210:将获得的业务训练数据转换为标准格式数据;
[0068]
s220:将标准格式数据转换为符合目标模型训练框架要求的模型输入数据;
[0069]
s230:在目标模型训练框架中使用模型输入数据对目标模型进行训练;
[0070]
s240:在完成训练时,将目标模型的训练结果保存为模型信息文件;
[0071]
s250:将目标模型训练框架的目标平台标识、目标模型的模型文件格式、以及根据目标平台标识和/或模型文件格式确定的数据转换方式记录到模型信息文件中。
[0072]
其中,业务训练数据是指训练过程中的业务数据。将业务训练数据转换为标准格式数据的相关过程可以参考前述内容,在此不再赘述。
[0073]
模型训练框架即前述的人工智能训练框架,目标模型训练框架是指训练过程中所采用的人工智能训练框架,在训练ai时可以根据业务需求来选用相应的神经网络,本实施例对于选用何种神经网络不进行限定。不同的人工智能训练框架对于输入的数据有不同的要求,因而需要将标准格式数据处理为符合目标模型训练框架要求的数据。在通过目标模型训练框架训练ai即目标模型时,将训练过程中的一些相关信息,比如训练方式、训练设置等进行缓存,在ai完成训练时,将ai的训练结果进行保存为模型信息文件,并且将目标模型训练框架的目标平台标识、ai的模型文件格式、以及根据目标平台标识和/或模型文件格式确定的数据转换方式记录到模型信息文件中。
[0074]
其中,在保存ai的训练结果时,可以保存为各种业务常见的格式,如“.onnx”、“.pth”,“.ckpt”等等,也可以统一保存为某一种格式,如“.onnx”,这可以根据实际需求来灵活调整。
[0075]
文件格式不同的模型信息文件,其中保存内容的规范有所不同,而文件格式相同的不同ai的模型信息文件,保存内容的规范基本相同,如“.onnx”格式,保存信息的规范基本都是inputs(输入参数格式)、outputs(输出参数格式)、layers(神经网络层)、constants(常量参数)等,只是不同ai的模型信息文件里面保存的参数有所不同。
[0076]
不同文件格式的模型信息文件之间可以进行转换,因而当需要根据模型信息文件生成神经网络层时,既可以直接解析该模型信息文件来生成神经网络层,也可以基于实际场景需求,先将某一文件格式的模型信息文件先转换为指定文件格式的模型信息文件,然后再解析转换后的模型信息文件来生成神经网络层。
[0077]
图1、图2为一个实施例中数据处理方法的流程示意图。应该理解的是,虽然图1、图2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1、图2中的至少一部分步骤可以包括多个子步骤或
者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0078]
基于相同的发明构思,本发明还提供了一种数据处理装置。在本实施例中,如图3所示,该数据处理装置包括以下模块:
[0079]
第一转换模块110,用于将获得的业务数据转换为标准格式数据;
[0080]
第二转换模块120,用于获取与业务数据的业务类型对应的模型信息文件,解析模型信息文件得到模型文件格式、目标平台标识和数据转换方式,根据模型文件格式、目标平台标识和数据转换方式将标准格式数据转换为模型输入数据;
[0081]
网络生成模块130,用于加载模型信息文件,并根据模型信息文件生成神经网络层;
[0082]
推断模块140,用于使用神经网络层对模型输入数据进行推断得到模型推断结果。
[0083]
在一个实施例中,第一转换模块具体用于确定业务数据的业务类型,调用与业务数据的业务类型对应的第一数据转换函数对业务数据进行数据类型转换,得到标准格式数据。
[0084]
在一个实施例中,第二转换模块在用于根据模型文件格式、目标平台标识和数据转换方式将标准格式数据转换为模型输入数据时,具体用于根据模型文件格式、目标平台标识和数据转换方式调用相应的第二数据转换函数来将标准格式数据转换为模型输入数据。
[0085]
在一个实施例中,数据处理装置还包括第三转换模块和数据反馈模块。
[0086]
第三转换模块,用于调用与数据转换方式对应的第三数据转换函数将模型推断结果进行数据类型转换,得到模型输出数据;
[0087]
数据反馈模块,用于将模型输出数据返回给业务数据的发送方。
[0088]
在一个实施例中,第一转换模块,还用于将获得的业务训练数据转换为标准格式数据;
[0089]
第二转换模块,还用于将标准格式数据转换为符合目标模型训练框架要求的模型输入数据;
[0090]
训练模块,用于在目标模型训练框架中使用模型输入数据对目标模型进行训练;
[0091]
模型保存模块,用于在完成训练时,将目标模型的训练结果保存为模型信息文件;
[0092]
记录模块,用于将目标模型训练框架的目标平台标识、目标模型的模型文件格式、以及根据目标平台标识和/或模型文件格式确定的数据转换方式记录到模型信息文件中。
[0093]
在一个实施例中,数据处理装置实现的步骤是调用本地的通用模型解析库来实现的;通用模型解析库为函数依赖库。
[0094]
在一个实施例中,通用模型解析库中包含多个用于将业务数据转换为标准格式数据的第一数据转换函数、多个用于将标准格式数据转换为模型输入数据的第二数据转换函数以及多个用于将模型推断结果转换为模型输出数据的第三数据转换函数;
[0095]
不同的第一数据转换函数用于将不同业务类型的业务数据转换为标准格式数据;
[0096]
不同的第二数据转换函数用于将标准格式数据转换为符合不同模型输入要求的模型输入数据;
[0097]
不同的第三数据转换函数用于将不同模型的模型推断结果转换为模型输出数据。
[0098]
关于数据处理装置的具体限定可以参见上文中对于数据处理方法的限定,在此不再赘述。上述各模块可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
[0099]
在一个实施例中,提供了一种计算机设备,其内部结构图可以如图4所示。
[0100]
该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储模型信息文件等数据,具体存储的数据还可以参见上述方法实施例中的限定。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据处理方法。
[0101]
本领域技术人员可以理解,图4中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
[0102]
本实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
[0103]
将获得的业务数据转换为标准格式数据;获取与业务数据的业务类型对应的模型信息文件,解析模型信息文件得到模型文件格式、目标平台标识和数据转换方式,根据模型文件格式、目标平台标识和数据转换方式将标准格式数据转换为模型输入数据;加载模型信息文件,并根据模型信息文件生成神经网络层;使用神经网络层对模型输入数据进行推断得到模型推断结果。
[0104]
在一个实施方式中,处理器执行计算机程序,实现将获得的业务数据转换为标准格式数据时,还实现以下步骤:
[0105]
确定业务数据的业务类型;调用与业务数据的业务类型对应的第一数据转换函数对业务数据进行数据类型转换,得到标准格式数据。
[0106]
在一个实施方式中,处理器执行计算机程序,实现根据模型文件格式、目标平台标识和数据转换方式将标准格式数据转换为模型输入数据时,还实现以下步骤:
[0107]
根据模型文件格式、目标平台标识和数据转换方式调用相应的第二数据转换函数来将标准格式数据转换为模型输入数据。
[0108]
在一个实施方式中,处理器执行计算机程序,还实现以下步骤:
[0109]
调用与数据转换方式对应的第三数据转换函数将模型推断结果进行数据类型转换,得到模型输出数据;将模型输出数据返回给业务数据的发送方。
[0110]
在一个实施方式中,处理器执行计算机程序,实现获取与业务数据的业务类型对应的模型信息文件的步骤之前,还实现以下步骤:
[0111]
将获得的业务训练数据转换为标准格式数据;将标准格式数据转换为符合目标模型训练框架要求的模型输入数据;在目标模型训练框架中使用模型输入数据对目标模型进行训练;在完成训练时,将目标模型的训练结果保存为模型信息文件;将目标模型训练框架的目标平台标识、目标模型的模型文件格式、以及根据目标平台标识和/或模型文件格式确
定的数据转换方式记录到模型信息文件中。
[0112]
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
[0113]
将获得的业务数据转换为标准格式数据;获取与业务数据的业务类型对应的模型信息文件,解析模型信息文件得到模型文件格式、目标平台标识和数据转换方式,根据模型文件格式、目标平台标识和数据转换方式将标准格式数据转换为模型输入数据;加载模型信息文件,并根据模型信息文件生成神经网络层;使用神经网络层对模型输入数据进行推断得到模型推断结果。
[0114]
在一个实施方式中,计算机程序被处理器执行,将获得的业务数据转换为标准格式数据时,还实现以下步骤:
[0115]
确定业务数据的业务类型;调用与业务数据的业务类型对应的第一数据转换函数对业务数据进行数据类型转换,得到标准格式数据。
[0116]
在一个实施方式中,计算机程序被处理器执行,根据模型文件格式、目标平台标识和数据转换方式将标准格式数据转换为模型输入数据时,还实现以下步骤:
[0117]
根据模型文件格式、目标平台标识和数据转换方式调用相应的第二数据转换函数来将标准格式数据转换为模型输入数据。
[0118]
在一个实施方式中,计算机程序被处理器执行,还实现以下步骤:
[0119]
调用与数据转换方式对应的第三数据转换函数将模型推断结果进行数据类型转换,得到模型输出数据;将模型输出数据返回给业务数据的发送方。
[0120]
在一个实施方式中,计算机程序被处理器执行,获取与业务数据的业务类型对应的模型信息文件的步骤之前,还实现以下步骤:
[0121]
将获得的业务训练数据转换为标准格式数据;将标准格式数据转换为符合目标模型训练框架要求的模型输入数据;在目标模型训练框架中使用模型输入数据对目标模型进行训练;在完成训练时,将目标模型的训练结果保存为模型信息文件;将目标模型训练框架的目标平台标识、目标模型的模型文件格式、以及根据目标平台标识和/或模型文件格式确定的数据转换方式记录到模型信息文件中。
[0122]
本领域普通技术人员可以理解实现上述方法实施例中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0123]
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
[0124]
以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术专利的保护范围应以所附权利要求为准。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献