用于大数据处理与分析模型的快速开发框架及其构建方法与流程

1.本发明涉及开发框架技术领域，具体涉及一种用于大数据处理与分析模型的快速开发框架及其构建方法。


背景技术：

2.大数据时代中，数据的价值稀疏性以及数据与需求的多样化导致模型开发者需要开发大量的数据处理与分析模型来对数据进行处理与分析。随着模型的增多，模型之间的关系越来越复杂，导致模型开发更加困难且难以管理和统一运行。
3.目前，大多数开发框架都是针对开发和管理应用的，而现有用于开发和管理应用的开发框架难以满足开发大数据处理与分析模型的开发需求，因此缺少一种用于开发大数据处理与分析模型的开发框架，以使模型开发者能够使用该开发框架统一开发、管理和运行模型，来减少模型开发者的工作量并提高模型开发效率。
4.需要注意的是，本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。


技术实现要素：

5.本发明实施例提供一种用于大数据处理与分析模型的快速开发框架及其构建方法，以解决现有技术中由于缺乏用于开发大数据处理与分析模型的开发框架而使得数据处理与分析模型开发困难且难以管理和统一运行的问题。
6.第一方面，本发明实施例提供一种用于大数据处理与分析模型的快速开发框架，包括：
7.模型管理组件，用于根据提供的统一模型接口接收符合定义的分析模型，且将所述分析模型进行注册并存储以供查询，还将通用的所述分析模型作为通用模型以供调用，以实现所述分析模型的快速开发与管理；
8.任务架构组件，用于接收并管理多个与所述分析模型对应的任务，且将所述任务与对应的所述分析模型绑定后执行所述分析模型；还对执行结束后得到的任务结果数据进行管理，以实现所述分析模型的快速迭代；
9.页面展示组件，用于展示所述模型管理组件和所述任务架构组件中的相关信息，以提供直观的管理界面；
10.基础设施组件，用于为所述模型管理组件、所述任务架构组件和所述页面展示组件提供基础功能和对外服务接口，以及api接口。
11.作为本发明第一方面的优选方式，所述模型管理组件包括模型接口模块、模型注册模块、模型查询模块和通用模型模块；
12.所述模型接口模块提供统一模型接口并接收符合所述统一模型接口定义的分析模型，所述模型注册模块将所述分析模型进行注册并统一存储，所述模型查询模块提供所述分析模型的查询功能，所述通用模型模块提供通用的分析模型以供调用。
13.作为本发明第一方面的优选方式，所述统一模型接口定义了分析模型需要实现的方法，包括dform方法、check方法、run方法、metadata方法和info方法；
14.所述dform方法用于定义所述分析模型在所述页面展示组件中的展现形式，所述check方法用于检查所述分析模型的执行参数是否正常，所述run方法用于编写所述分析模型中的数据处理与分析逻辑，所述metadata方法用于携带所述分析模型的描述信息，所述描述信息包括模型唯一标识、模型名称、模型所属类别、模型功能描述以及用于页面展示的模型图标名称，所述info方法用于输出在所述分析模型执行过程中需要保存的信息。
15.作为本发明第一方面的优选方式，所述任务架构组件包括任务信息模块、任务状态管理模块、任务列表管理模块、任务调度执行模块和任务数据管理模块；
16.所述任务信息模块提供多个与所述分析模型对应任务的任务信息，所述任务的任务信息至少包括用户唯一标识、任务唯一标识、模型唯一标识、用户名称、任务名称、模型名称，所述任务状态管理模块管理所述任务在执行过程中的状态信息，所述任务列表管理模块将所述任务保存至任务列表中进行统一管理，且将所述任务列表分别保存在内存和分布式文件存储系统中，所述任务调度执行模块将所述任务与对应的所述分析模型绑定后，采用同步或异步调度模式调用所述分析模型执行所述任务，所述任务数据管理模块对执行结束后得到的任务结果数据进行管理。
17.作为本发明第一方面的优选方式，所述将所述任务与对应的所述分析模型绑定后，采用同步或异步调度模式调用所述分析模型执行所述任务，包括：
18.确认所述任务提交的部分任务信息合法后，补全所述任务信息；
19.确认所述任务与对应的所述分析模型绑定后，判断采用同步或异步调度模式调用所述分析模型执行所述任务；
20.若采用同步调度模式，则直接调用所述分析模型执行所述任务，并在执行结束后返回所述任务的任务唯一标识；若采用异步调度模式，则启动一个子线程调用所述分析模型执行所述任务，且主线程同时返回所述任务的任务唯一标识。
21.作为本发明第一方面的优选方式，所述执行所述任务，包括：
22.调用所述分析模型执行所述任务，并判断所述任务是否执行成功；
23.若是，将执行结束后得到的任务结果数据持久化保存至分布式文件存储系统中，并在所述任务的状态信息中添加任务结果条数、任务结果大小和任务备注；否则，在所述任务的状态信息中添加失败原因；
24.在所述任务的状态信息中添加任务结束时间后，将所述任务列表中的任务状态更新为已完成，并将所述任务的状态信息持久化保存至分布式文件存储系统中。
25.作为本发明第一方面的优选方式，所述基础设施组件包括基础功能模块和第三方组件封装模块；
26.所述基础功能模块包括配置单元、时间日期单元、通用工具单元和http服务单元，所述配置单元提供配置相关信息，所述时间日期单元提供对时间日期的常用操作，所述通用工具单元提供常用工具函数，所述http服务单元提供对外服务接口；所述第三方组件封装模块提供api接口以实现相关大数据组件的接入。
27.第二方面，本发明实施例提供一种如上述第一方面及其优选方式中任一项所述用于大数据处理与分析模型的快速开发框架的构建方法，包括：
28.在系统项目文件夹中构建基础设施组件，使所述基础设施组件提供基础功能和对外服务接口，以及api接口；
29.基于所述基础设施组件，在系统项目文件夹中构建模型管理组件，并使所述模型管理组件提供统一模型接口来接收符合定义的分析模型，且将所述分析模型进行注册并存储以供查询，还将通用的所述分析模型作为通用模型以供调用，以实现所述分析模型的快速开发与管理；
30.基于所述基础设施组件和所述模型管理组件，在系统项目文件夹中构建任务架构组件，并使所述任务架构组件接收并管理多个与所述分析模型对应的任务，且将所述任务与对应的所述分析模型绑定后执行所述分析模型；还对执行结束后得到的任务结果数据进行管理，以实现所述分析模型的快速迭代；
31.基于所述基础设施组件，在系统项目文件夹中构建页面展示组件，并使所述页面展示组件展示所述模型管理组件和所述任务架构组件中的相关信息，以提供直观的管理界面；
32.对系统项目文件夹中的所述基础设施组件、所述模型管理组件、所述任务架构组件和所述页面展示组件进行编译运行，形成系统文件包并发布，构建快速开发框架。
33.第三方面，本发明实施例提供一种电子设备，包括处理器和存储器，其中所述存储器内存储有执行指令，所述处理器读取所述存储器内的执行指令用于执行如上述第二方面中所述的用于大数据处理与分析模型的快速开发框架的构建方法中的步骤。
34.第四方面，本发明实施例提供一种计算机可读存储介质，所述存储介质存储有计算机执行指令，所述计算机执行指令被用于执行如上述第二方面中所述的用于大数据处理与分析模型的快速开发框架的构建方法中的步骤。
35.本发明实施例提供的用于大数据处理与分析模型的快速开发框架及其构建方法，通过设置模型管理组件、任务架构组件、页面展示组件和基础设施组件来形成快速开发框架，从而模型开发者通过该框架可以快速开发大数据处理与分析模型并统一管理，并且通过任务机制统一运行模型从而测试模型算法的正确性，使得模型开发者不用关注其它程序逻辑，专注于模型核心算法的实现，完成模型的快速开发与迭代，有效减少了模型开发者的工作量，提高模型开发效率。
附图说明
36.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
37.图1为本发明实施例提供的一种用于大数据处理与分析模型的快速开发框架的结构示意图；
38.图2为本发明实施例提供的一种用于大数据处理与分析模型的快速开发框架的构建方法的实现流程图；
39.图3为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
40.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
41.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
42.图1示例性地示出了本发明实施例提供的一种用于大数据处理与分析模型的快速开发框架的结构示意图，该框架能够使模型开发者可以快速开发大数据处理与分析模型并统一管理，并且通过任务机制统一运行模型从而测试模型算法的正确性，使得模型开发者不用关注其它程序逻辑，专注于模型核心算法的实现，完成模型的快速开发与迭代，有效减少了模型开发者的工作量，提高模型开发效率。
43.参照图1所示，该框架主要包括如下组件：
44.模型管理组件101，用于根据提供的统一模型接口接收符合定义的分析模型，且将分析模型进行注册并存储以供查询，还将通用的分析模型作为通用模型以供调用，以实现分析模型的快速开发与管理；
45.任务架构组件102，用于接收并管理多个与分析模型对应的任务，且将任务与对应的分析模型绑定后执行分析模型；还对执行结束后得到的任务结果数据进行管理，以实现分析模型的快速迭代；
46.页面展示组件103，用于展示模型管理组件和任务架构组件中的相关信息，以提供直观的管理界面；
47.基础设施组件104，用于为模型管理组件、任务架构组件和页面展示组件提供基础功能和对外服务接口，以及api接口。
48.本实施例中，模型开发者通过模型管理组件可以快速开发一个分析模型，并且对众多的分析模型进行管理，通过任务架构组件统一执行分析模型，而不用考虑模型调度执行的程序逻辑，能够专注于模型核心算法的实现。页面展示组件用于给框架提供管理界面，可以展示模型管理组件和任务架构组件中的相关信息，而基础设施组件用于给整个框架提供底层工具支持，可以为模型管理组件、任务架构组件和页面展示组件提供基础功能和对外服务接口以及api接口。
49.在本技术提供的一种可选实施例中，模型管理组件101包括模型接口模块、模型注册模块、模型查询模块和通用模型模块；模型接口模块提供统一模型接口并接收符合统一模型接口定义的分析模型，模型注册模块将分析模型进行注册并统一存储，模型查询模块提供分析模型的查询功能，通用模型模块提供通用的分析模型以供调用。
50.具体地，模型接口模块提供了统一模型接口，定义了一个分析模型应该具有的几种特性，符合模型接口模块定义的分析模型就可以被框架统一管理。
51.优选地，统一模型接口定义了分析模型需要实现的方法，被抽象为5个的方法，包括dform(定义展示)方法、check(检查)方法、run(执行)方法、metadata(元数据)方法和info(信息)方法，实现这5个方法的分析模型，就可以被框架统一管理。
52.其中，dform方法用于定义分析模型在页面展示组件中的展现形式，使得在页面展示组件上点击该分析模型时，页面展示组件会自动调用该分析模型的dform方法获取表单内容并在页面上进行展示；check方法用于检查分析模型的执行参数是否正常，如果执行参数不合法，直接终止执行分析模型的算法并抛出失败原因，防止错误参数导致系统崩溃；run方法用于编写分析模型中的数据处理与分析逻辑，metadata方法用于携带分析模型的描述信息，描述信息包括模型唯一标识、模型名称、模型所属类别、模型功能描述以及用于页面展示的模型图标名称；info方法用于输出在分析模型执行过程中需要保存的信息。
53.除了直接实现模型接口模块构建分析模型，还可以通过继承框架提供的modelwrapper类，modelwrapper类对dform方法和info方法做了默认实现。modelwrapper类对dform方法的默认实现为返回用于提示该分析模型未实现dfrom方法的信息；对info方法的实现为返回空，即不输出在分析模型执行过程中产生的相关信息。
54.模型注册模块可以将符合模型接口模块定义的分析模型进行注册并统一保存在模型仓库中，来实现分析模型的统一存储，并为每个分析模型提供模型唯一标识。其中，模型仓库是专门用于存储分析模型的存储硬件结构。
55.模型查询模块提供分析模型的查询功能，可通过模型唯一标识从模型仓库中获取所需要的分析模型，供任务架构组件调用。
56.通用模型模块提供通用的分析模型以供调用，可防止重复开发，主要包括分组聚合模型、合并模型、取差集模型等，能实现对两组数据的联合处理。通用模型模块通过继承modelwrapper类来对通用的分析模型进行实现，并对metadata方法、check方法和run方法进行实现。
57.其中，分组聚合模型的metadata方法中，模型唯一标识为“aggregate”、模型名称为“通用分组聚合模型”、模型标签为“通用”、模型描述为“两个集合的分组聚合，集合中每个元素有多个字段”，模型图标名称为“aggregate.png”。check方法对模型输入参数，即两个集合是否为空，以及两个集合是否有公共字段进行校验。run方法实现对两个集合的分组聚合操作并返回结果。
58.合并模型的metadata方法中，模型唯一标识为“combine”、模型名称为“通用合并模型”、模型标签为“通用”、模型描述为“两个集合的合并，即对两个集合取并集”，模型图标名称为“combine.png”。check方法对模型输入参数，即两个集合是否为空进行校验。run方法实现对两个集合的合并操作并返回结果。
59.取差集模型的metadata方法中，模型唯一标识为“except”、模型名称为“通用取差集模型”、模型标签为“通用”、模型描述为“对两个集合取差集”，模型图标名称为“except.png”。check方法对模型输入参数中第一个集合是否为空进行校验。run方法实现从第一个集合中剔除在第二个集合中已存在的元素，并返回结果。
60.因此，模型管理组件提供了良好的统一模型接口，使得模型开发者直接实现该统一模型接口就可以开发一个分析模型；模型注册机制将分析模型保存至内存中，便于调用与查询，使得模型开发者无需考虑分析模型的存储和查询，可以专注于模型算法实现；提供通用的分析模型，可以减少模型开发者的重复劳动，提高模型开发效率。
61.在本技术提供的一种可选实施例中，任务架构组件102包括任务信息模块、任务状态管理模块、任务列表管理模块、任务调度执行模块和任务数据管理模块；任务信息模块提
供多个与分析模型对应任务的任务信息，任务的任务信息至少包括用户唯一标识、任务唯一标识、模型唯一标识、用户名称、任务名称、模型名称，任务状态管理模块管理任务在执行过程中的状态信息，任务列表管理模块将任务保存至任务列表中进行统一管理，且将任务列表分别保存在内存和分布式文件存储系统中，任务调度执行模块将任务与对应的分析模型绑定后，采用同步或异步调度模式调用分析模型执行任务，任务数据管理模块对执行结束后得到的任务结果数据进行管理。
62.具体地，任务信息模块提供多个与分析模型对应任务的任务信息，任务的任务信息至少包括用户唯一标识、任务唯一标识、模型唯一标识、用户名称、任务名称、模型名称。任务信息规定了一次任务执行需要携带的主要信息，其中用户唯一标识和用户名称用于区分不同用户提交的任务，能够支持多用户使用。
63.任务状态管理模块管理任务在执行过程中的状态信息，管理过程具体包括状态信息的存储、状态信息的获取、状态信息的删除、状态信息的更新和状态信息的持久化。其中，状态信息的存储为，将所有提交之后的任务保存在任务列表中，而任务列表保存在内存中；状态信息的获取为，根据任务唯一标识从任务列表中获取状态信息；状态信息的删除为，根据任务唯一标识从任务列表中删除对应的状态信息；状态信息的更新和状态信息的持久化为，在任务执行过程中实时更新内存中的状态信息，任务结束之后将任务信息持久化保存至分布式文件存储系统中。
64.任务列表管理模块将任务保存至任务列表中进行统一管理，且将任务列表分别保存在内存和分布式文件存储系统中，管理过程具体包括任务列表的存储、任务列表的恢复和任务列表中过期任务的删除。其中，任务列表的存储为，将任务列表保存在内存中，并利用并发控制机制保证任务列表在并发情况下的数据一致性；任务列表的恢复为，因为任务列表保存在内存中，当项目正常关闭或异常停止之后内存中的任务列表信息将会丢失，所以将任务的状态信息保存在分布式文件存储系统中，当项目重启之后将自动从分布式文件存储系统中获取所有任务的状态信息，并将其更新到内存中，从而恢复任务列表；任务列表中过期任务的删除为，通过提供过期任务删除服务接口来删除任务列表中过期的历史任务，过期期限默认为90天，超过过期期限的任务并且该任务已完成时，则从任务列表中删除该任务，同时删除该任务对应的数据，通过定时调用任务删除服务接口，可以定期清除过期任务。
65.任务调度执行模块将任务与对应的分析模型绑定后，采用同步或异步调度模式调用分析模型执行任务。任务的调度包含任务的同步和异步调度模式，在同步调度模式下，直到分析模型的算法执行结束后任务才返回，在同步调度模式下调用耗时较长的算法时页面不能及时返回，将导致用户体验较差。而在异步调度模式下，分析模型的算法将在一个子线程中执行，直接返回一个任务唯一标识，可根据任务唯一标识查看任务状态，当任务执行结束之后可以根据任务唯一标识查询任务的执行结果，使得模型开发者可以灵活地定制页面展示。
66.优选地，任务调度执行模块中，将任务与对应的分析模型绑定后，采用同步或异步调度模式调用分析模型执行任务，可按照如下步骤具体实施：
67.s1、确认任务提交的部分任务信息合法后，补全任务信息；
68.s2、确认任务与对应的分析模型绑定后，判断采用同步或异步调度模式调用分析
模型执行任务；
69.s3、若采用同步调度模式，则直接调用分析模型执行任务，并在执行结束后返回任务的任务唯一标识；若采用异步调度模式，则启动一个子线程调用分析模型执行任务，且主线程同时返回任务的任务唯一标识。
70.上述步骤中，首先检查任务提交的部分任务信息是否合法，提交的部分任务信息通常包括用户唯一标识、模型唯一标识、用户名称、任务名称等，如果合法则补全该任务信息，主要补全任务信息中提交后没有携带且与结果无关的信息，例如任务唯一标识，即通过生成一个唯一字符串对任务唯一标识进行补全；确认任务绑定了有效的分析模型，即绑定的分析模型已经在模型仓库中被注册；判断该次提交是否为同步调度模式调用分析模型的run方法执行任务，如果为同步调度模式则直接调用分析模型的run方法执行任务，执行结束之后返回任务唯一标识，便于根据任务唯一标识获取与任务相关的任务信息，如果为异步调度模式调用分析模型的run方法执行任务，则重新启动一个子线程调用分析模型的run方法执行任务，同时主线程直接返回任务唯一标识，可以根据任务唯一标识监控任务执行状态。
71.进一步地，上述步骤s3中的执行任务，可按照如下步骤具体实施：
72.s3
‑
1、调用分析模型执行任务，并判断任务是否执行成功；
73.s3
‑
2、若是，将执行结束后得到的任务结果数据持久化保存至分布式文件存储系统中，并在任务的状态信息中添加任务结果条数、任务结果大小和任务备注；否则，在任务的状态信息中添加失败原因；
74.s3
‑
3、在任务的状态信息中添加任务结束时间后，将任务列表中的任务状态更新为已完成，并将任务的状态信息持久化保存至分布式文件存储系统中。
75.上述过程中，首先更新任务列表，将任务相关的任务信息添加到任务列表中；调用分析模型的run方法执行该任务；执行结束之后如果任务执行失败，则为任务的状态信息添加失败原因，如果执行成功将任务结果数据持久化保存至分布式文件存储系统中，并为任务的状态信息添加任务结果条数以及任务结果大小，并且调用分析模型的info方法将需要保存的信息添加至任务的状态信息中；无论执行成功或失败任务结束之后，均为任务的状态信息添加任务结束时间；更新任务列表中的任务状态为已完成；最后将任务的状态信息持久化保存至分布式文件存储系统中，供恢复任务列表功能使用。
76.任务数据管理模块对执行结束后得到的任务结果数据进行管理，任务结果数据就是任务执行结束之后会产生的数据，管理过程具体包括任务数据的存储、任务数据的获取、任务数据的删除和任务结果条数的统计。其中，任务数据的存储为，使用分布式文件存储系统存储任务结果数据；任务数据的获取为，根据任务唯一标识从分布式文件存储系统中加载任务结果数据；任务数据的删除为，根据任务唯一标识从分布式文件存储系统中删除任务结果数据；任务结果条数的统计为，根据任务唯一标识从分布式文件存储系统中获取任务结果数据，并统计任务结果数据的条数。
77.因此，任务架构组件提供任务列表机制，使得模型开发者可以实时监测任务的执行状态，并且任务列表同时保存在内存和分布式文件存储系统中，任务列表保存在内存中便于任务的状态信息的更新和查询，保存至分布式文件存储系统中用于恢复任务列表；提供同步与异步的调度方式，使得模型开发者可以灵活调度执行任务，并可灵活地定制页面
展示；提供任务结果数据管理机制，统一存储，方便模型开发者的查询，使得模型开发者可以不用考虑任务结果数据的存储与查询逻辑；还通过给任务设置用户唯一标识，并且将不同用户提交的任务的状态信息以及任务结果数据分别存储，从而实现多用户机制，使得不同用户的执行结果和执行逻辑得到隔离。
78.在本技术提供的一种可选实施例中，页面展示组件103包括环境信息展示模块、任务列表展示模块、对外服务接口展示模块和已注册分析模型展示模块。
79.具体地，环境信息展示模块用于展示配置信息和运行时环境信息，其中配置信息包含程序名称、已注册的模型名称、分布式文件存储系统中数据缓存的根路径、程序版本号等信息，运行时环境信息包含操作系统类型、项目启动时间、分布式文件存储系统空间占用量、程序编译日期等。
80.任务列表展示模块展示了已经提交的任务信息和状态信息，包括任务唯一标识、任务名称、所执行的模型名称、模型唯一标识、提交任务的用户、用户唯一标识、任务提交时间、任务结束时间、任务结果条数和任务结果大小等。
81.对外服务接口展示模块展示了对外服务接口的信息，包括接口名、参数列表、对接口功能的简单描述等。
82.已注册分析模型展示模块展示了模型仓库中已注册的所有分析模型的信息，包括模型唯一标识、模型名称、模型分类标签、模型对应图标和模型描述等。
83.因此，页面展示组件提供了直观的管理界面，便于模型开发者进行操作管理。
84.在本技术提供的一种可选实施例中，基础设施组件104包括基础功能模块和第三方组件封装模块；基础功能模块包括配置单元、时间日期单元、通用工具单元和http服务单元，配置单元提供配置相关信息，时间日期单元提供对时间日期的常用操作，通用工具单元提供常用工具函数，http服务单元提供对外服务接口；第三方组件封装模块提供api接口以实现相关大数据组件的接入。
85.具体地，基础功能模块包括配置单元、时间日期单元、通用工具单元和http服务单元，配置单元提供配置相关信息，时间日期单元提供对时间日期的常用操作，通用工具单元提供常用工具函数，http服务单元提供对外服务接口。其中，配置单元分为3个级别，优先级从高到低依次为命令行参数、配置文件、程序中指明，程序指明了最基本的可用配置，从而保证程序的可用性；时间日期单元封装了常用的对时间日期的操作，例如获取当前时间戳、获取时区、时间格式的相互转换、生成时间序列等函数，供模型开发者调用；通用工具单元封装了模型开发中常用的工具函数，例如集合排序、分页获取集合内容、确认键集合是否在键值对集合中存在等函数，供模型开发者调用；http服务单元采用jetty(属于一种web容器)提供http服务，http服务默认端口为17801，http服务提供了对各组件的*
‑
spi方法的调用接口，即对外服务接口。
86.第三方组件封装模块提供了相关大数据组件的api接口，为模型开发者实现大数据处理与分析功能提供支持。
87.因此，基础设施组件提供了底层工具支持，为模型管理组件、任务架构组件和页面展示组件提供基础功能和对外服务接口，以及相关大数据组件的api接口。
88.综上所述，本发明实施例提供的用于大数据处理与分析模型的快速开发框架，通过设置模型管理组件、任务架构组件、页面展示组件和基础设施组件来形成快速开发框架，
从而模型开发者通过该框架可以快速开发大数据处理与分析模型并统一管理，并且通过任务机制统一运行模型从而测试模型算法的正确性，使得模型开发者不用关注其它程序逻辑，专注于模型核心算法的实现，完成模型的快速开发与迭代，有效减少了模型开发者的工作量，提高模型开发效率。
89.基于同一发明构思，图2示例性地示出了本发明实施例提供的用于大数据处理与分析模型的快速开发框架的构建方法，由于该构建方法解决技术问题的原理与用于大数据处理与分析模型的快速开发框架相似，因此该构建方法的具体实施方式可以参见框架的具体实施方式，重复之处不再赘述。
90.参照图2所示，该方法主要包括如下步骤：
91.201、在系统项目文件夹中构建基础设施组件，使基础设施组件提供基础功能和对外服务接口，以及api接口；
92.202、基于基础设施组件，在系统项目文件夹中构建模型管理组件，并使模型管理组件提供统一模型接口来接收符合定义的分析模型，且将分析模型进行注册并存储以供查询，还将通用的分析模型作为通用模型以供调用，以实现分析模型的快速开发与管理；
93.203、基于基础设施组件和模型管理组件，在系统项目文件夹中构建任务架构组件，并使任务架构组件接收并管理多个与分析模型对应的任务，且将任务与对应的分析模型绑定后执行分析模型；还对执行结束后得到的任务结果数据进行管理，以实现分析模型的快速迭代；
94.204、基于基础设施组件，在系统项目文件夹中构建页面展示组件，并使页面展示组件展示模型管理组件和任务架构组件中的相关信息，以提供直观的管理界面；
95.205、对系统项目文件夹中的基础设施组件、模型管理组件、任务架构组件和页面展示组件进行编译运行，形成系统文件包并发布，构建快速开发框架。
96.在步骤201中，在构建快速开发框架时，先在系统项目文件夹中构建基础设施组件，以提供基础功能和对外服务接口，以及api接口。
97.具体地，构建出的该基础设施组件包括基础功能模块和第三方组件封装模块，基础功能模块又包括配置单元、时间日期单元、通用工具单元和http服务单元。其中，基础功能模块中的各单元和第三方组件封装模块的具体组成及功能参照前述用于大数据处理与分析模型的快速开发框架中的相关描述，在此不再赘述。
98.在步骤202中，基于上述步骤构建出的基础设施组件，接着在系统项目文件夹中构建模型管理组件。模型管理组件提供统一模型接口来接收符合定义的分析模型，且将分析模型进行注册并存储以供查询，还将通用的分析模型作为通用模型以供调用，以实现分析模型的快速开发与管理。
99.具体地，构建出的该模型管理组件包括模型接口模块、模型注册模块、模型查询模块和通用模型模块。其中，模型接口模块、模型注册模块、模型查询模块和通用模型模块的具体组成及功能参照前述用于大数据处理与分析模型的快速开发框架中的相关描述，在此不再赘述。
100.在步骤203中，基于上述步骤构建出的基础设施组件和模型管理组件，接着在系统项目文件夹中构建任务架构组件。任务架构组件接收并管理多个与分析模型对应的任务，且将任务与对应的分析模型绑定后执行分析模型；还对执行结束后得到的任务结果数据进
interconnect，pci)总线或扩展工业标准结构(extended ind ustry standard architecture，eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条箭头线表示，但并不表示仅有一根总线或一种类型的总线。
111.存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non
‑
volatile memory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
112.上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
113.综上所述，本发明实施例提供的电子设备，通过设置模型管理组件、任务架构组件、页面展示组件和基础设施组件来形成快速开发框架，从而模型开发者通过该框架可以快速开发大数据处理与分析模型并统一管理，并且通过任务机制统一运行模型从而测试模型算法的正确性，使得模型开发者不用关注其它程序逻辑，专注于模型核心算法的实现，完成模型的快速开发与迭代，有效减少了模型开发者的工作量，提高模型开发效率。
114.本发明实施例还提供一种计算机可读存储介质，包含计算机执行指令，所述计算机执行指令被用于执行上述用于大数据处理与分析模型的快速开发框架的构建方法实施例中所述的步骤。或者，所述计算机执行指令被用于执行上述用于大数据处理与分析模型的快速开发框架实施例中各组件的功能。
115.本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(random access memory，ram)、只读存储器(read only memory，rom)、可擦式可编程只读存储器(erasable programmable read only memory，eprom)、闪存、光纤、便携式cd
‑
rom、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
116.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
117.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(radio frequency，rf)等等，或者上述的任意合适的组合。
118.另外，可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、smalltalk、c ，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以
完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
119.在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
120.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。