一种跨部门的资源共享方法与系统与流程

1.本发明涉及云计算技术领域，特别涉及一种跨部门的资源共享方法与系统。


背景技术：

2.目前，各部门在线运行的各类应用系统种类繁多，且各类系统普遍存在建设标准不统一、应用架构错综复杂、数据标准不一致、业务难互联、数据难互通等问题。这种情况不仅会导致应用零散、数据分散、业务复杂，工作人员往往要通过操作多个业务系统才能完成一次完整的数据检索，无法实现各部门间业务闭环协作及流程优化。同时，还会造成系统应用不平衡：有的系统因为数据少、功能单一，工作人员不愿用而长期空转；而有的系统因为应用量大、数据积累快、使用人数多而超负荷运行，响应时间越来越长，无法适应大数据环境下不断增长的数据应用需求，也无法做到系统的弹性扩充和新功能的快速上线。
3.各行业和部门的数据种类复杂、来源多样，致使数据源头采集难以到位。各部门、各地市都掌握一定的数据资源，但部门壁垒、行业壁垒、组织层级壁垒没有完全打破，该汇聚的数据资源没有汇聚，“数据孤岛”现象长期存在，导致大数据整合来源不多、覆盖不广、标准不一、力度不够、效率不高。
4.鉴于目前各行业均面临的业务、数据、消息等通用资源共享难的业务现状，需要通过打造绿色、共享、开放、创新的资源开放平台，打破各部门层级之间、行业之间的信息壁垒和业务壁垒，推动信息资源的大整合、高共享、深应用，做到以信息数据的有效整合促进资源的深度融合，以科技创新驱动业务创新，保证各部门的应用、业务、数据的安全性和完整性，进而打破了数据方面的部门及行业之间的壁垒，充分实现了应用、业务和数据的开放共享，有效提升各部门的高度配合，避免重复性投入，实现业务创新应用的快速迭代升级。
5.基于此，发明提出了一种跨部门的资源共享方法与系统。


技术实现要素：

6.本发明为了弥补现有技术的缺陷，提供了一种简单高效的跨部门的资源共享方法与系统。
7.本发明是通过如下技术方案实现的：
8.一种跨部门的资源共享方法与系统，其特征在于：提供一体化的能力集成中枢平台，通过提供数据集成引擎dae、业务集成引擎age、消息集成引擎mde和设备集成引擎 die分别负责适配和接入不同数据，实现对各类消息和数据的接入和解析，基于业务编排引擎amt实现围绕各类应用场景的流程编排，并通过资产运营及资源门户将各部门的业务及数据进行开放共享，满足跨部门的能力复用，提升各部门的高度配合，避免重复性投入，实现业务创新应用的快速迭代升级。
9.所述数据集成引擎dae负责实现对各部门的数据集成、清洗、加工与处理；
10.所述业务集成引擎age负责对通用业务api(application program interface，应用程序接口)进行分组定义、api注册、策略配置和限流熔断；
11.所述消息集成引擎mde负责对消息管理系统rabbitmq和分布式消息队列kafka中的消息进行topic(主题)定义、消息集成与分发；
12.所述设备集成引擎die负责通过mqtt标准协议接入各类物联感知设备，并对设备采集的监控及告警数据进行开放和共享；
13.所述业务编排引擎amt负责通过托拉拽的快捷模式快速构建集业务、数据、消息及设备于一体的流程编排，以满足特定应用场景的自动化集成、处理及使用；
14.所述资产运营负责实现对各类资产的接入、上/下架与审批处理；
15.所述资产门户实现对各类资源的开放，提供用户的在线申请及管理。
16.具体步骤如下：
17.步骤s1：构建数据集成引擎dae
18.基于分布式大数据处理技术，利用开源flink组件搭建分布式集群，作为数据集成引擎的批流一体数据计算处理框架；通过各类数据库jdbc(javadatabaseconnectivity，java数据库连接)驱动程序，开发不同数据源的连接器connector，如oraclecnonector、hbaseconnector、mppconnector，作为数据集成引擎dae的plugin插件进行集成，通过连接器connector实现与各类数据库的适配和接入；
19.步骤s2：构建业务集成引擎age
20.基于开源api网关组件kong构建分布式api网关引擎，满足webservice和restapi的适配接入；提供api服务注册、监控及审计，提供api门户，开放给开发者进行申请使用及管理；同时，构建redis数据库集群，用于存储api访问记录和鉴权配置，避免由于api访问频繁导致网关性能下降；
21.步骤s3：构建消息集成引擎mde
22.搭建消息中间件rocketmq双主双从集群，包含两个nameserver(域名)节点和两个broker(经纪人)节点；
23.消息集成引擎mde通过接口调度消息中间件rocketmq资源，为应用创建topic及秘钥信息，配置topic访问权限；应用方通过消息集成界面创建topic，通过消息集成sdk(softwaredevelopmentkit，软件开发工具包)和原生sdk进行消息收发；
24.步骤s4：构建设备集成引擎die
25.构建设备网关gateway，实现对各类物联感知设备标准协议的适配及接入，由统一的设备网关进行mqtt协议、http协议与coap协议的集成、解析及分发；通过设备物模型配置，获取物联感知设备的监控数据，并通过规则引擎reg按照应用场景在不同设备之间进行场景联动配置，实现物联设备从接入、监控、调度及规则的一体化流程管理，实现设备自动预警及分析，通过对设备监控及告警数据的采集及存储，最终通过api网关将数据api接口进行注册及开放；
26.步骤s5：构建业务编排引擎amt
27.通过构建托拉拽的可视化业务编排引擎，实现将数据集成、消息集成、业务集成与设备集成的实例，结合特性的应用场景，按照bpm(businessprocessmanagement业务流程管理)流程设计方法，将各自独立的资产数据，编排成自动化处理的业务流程，实现消息及数据自动分发，事件自动处理；
28.步骤s6：构建资产运营及资产门户portal
29.最终，将各部门注册并发布的数据、消息、api服务与设备接口，通过资产门户对上层应用进行开放，开发者通过资产门户浏览各部门发布的各类数据源以及api接口详细信息，并基于线上申请审批，从而保证各部门能够依据各自实际业务需求，访问所需资源，真正意义上实现资源开放共享。
30.所述步骤s1中，利用数据清洗转换组件对收集到的数据进行特征提取、字段清洗规整和脏数据的过滤，并将清洗后的数据持久化到数据存储模块，并通过jdbc或者api 调用的方式，对上层应用进行开放。
31.所述步骤s2中，基于kong组件实现对api的负载均衡、熔断限流、路由配置和黑白名单。
32.所述步骤s3中，每个broker主节点配置一个broker从节点，主从之间数据异步复制，保证mq集群整体高可用。
33.所述步骤s5中，基于quartz定时任务组件，通过制定cron表达式，定时自动触发业务流程，从而实现业务流程自动化处理。
34.基于本发明跨部门的资源共享方法的系统，其特征在于：包括数据集成引擎dae、业务集成引擎age、消息集成引擎mde、设备集成引擎die、业务编排引擎amt、资产运营和资产门户；
35.所述数据集成引擎dae负责实现对各部门的数据集成、清洗、加工与处理；
36.所述业务集成引擎age负责对通用业务api(application program interface，应用程序接口)进行分组定义、api注册、策略配置和限流熔断；
37.所述消息集成引擎mde负责对消息管理系统rabbitmq和分布式消息队列kafka中的消息进行topic(主题)定义、消息集成与分发；
38.所述设备集成引擎die负责通过mqtt标准协议接入各类物联感知设备，并对设备采集的监控及告警数据进行开放和共享；
39.所述业务编排引擎amt负责通过托拉拽的快捷模式快速构建集业务、数据、消息及设备于一体的流程编排，以满足特定应用场景的自动化集成、处理及使用；
40.所述资产运营负责实现对各类资产的接入、上/下架与审批处理；
41.所述资产门户实现对各类资源的开放，提供用户的在线申请及管理。
42.本发明的有益效果是：该跨部门的资源共享方法与系统，在保证各部门的应用、业务及数据安全性和完整性的前提下，打破了数据方面的部门及行业之间的壁垒，实现了应用、业务和数据的开放共享，以及跨部门的能力复用，有效提升了各部门的高度配合，避免了重复性投入，实现了业务创新应用的快速迭代升级。
附图说明
43.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
44.附图1为本发明跨部门的资源共享方法示意图。
45.附图2为本发明跨部门的资源共享系统架构示意图。
46.附图3为本发明数据集成引擎dae示意图。
47.附图4为本发明业务集成引擎age示意图。
48.附图5为本发明消息集成引擎mde示意图。
49.附图6为本发明设备集成引擎die示意图
50.附图7为本发明业务编排引擎amt示意图。
51.附图8为本发明资产运营及资产门户portal示意图。
具体实施方式
52.为了使本技术领域的人员更好的理解本发明中的技术方案，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
53.该跨部门的资源共享方法，提供一体化的能力集成中枢平台，通过提供数据集成引擎dae、业务集成引擎age、消息集成引擎mde和设备集成引擎die分别负责适配和接入不同数据，实现对各类消息和数据的接入和解析，基于业务编排引擎amt实现围绕各类应用场景的流程编排，并通过资产运营及资源门户将各部门的业务及数据进行开放共享，满足跨部门的能力复用，提升各部门的高度配合，避免重复性投入，实现业务创新应用的快速迭代升级。
54.所述数据集成引擎dae负责实现对各部门的数据集成、清洗、加工与处理；
55.所述业务集成引擎age负责对通用业务api(applicationprograminterface，应用程序接口)进行分组定义、api注册、策略配置和限流熔断；
56.所述消息集成引擎mde负责对消息管理系统rabbitmq和分布式消息队列kafka中的消息进行topic(主题)定义、消息集成与分发；
57.所述设备集成引擎die负责通过mqtt标准协议接入各类物联感知设备，并对设备采集的监控及告警数据进行开放和共享；
58.所述业务编排引擎amt负责通过托拉拽的快捷模式快速构建集业务、数据、消息及设备于一体的流程编排，以满足特定应用场景的自动化集成、处理及使用；
59.所述资产运营负责实现对各类资产的接入、上/下架与审批处理；
60.所述资产门户实现对各类资源的开放，提供用户的在线申请及管理。
61.具体步骤如下：
62.步骤s1：构建数据集成引擎dae
63.基于分布式大数据处理技术，利用开源flink组件搭建分布式集群，作为数据集成引擎的批流一体数据计算处理框架；通过各类数据库jdbc(javadatabaseconnectivity，java数据库连接)驱动程序，开发不同数据源的连接器connector，如oraclecnonector、hbaseconnector、mppconnector，作为数据集成引擎dae的plugin插件进行集成，通过连接器connector实现与各类数据库的适配和接入；
64.步骤s2：构建业务集成引擎age
65.基于开源api网关组件kong构建分布式api网关引擎，满足webservice和restapi的适配接入；提供api服务注册、监控及审计，提供api门户，开放给开发者进行申请使用及
管理；同时，构建redis数据库集群，用于存储api访问记录和鉴权配置，避免由于api访问频繁导致网关性能下降；
66.步骤s3：构建消息集成引擎mde
67.搭建消息中间件rocketmq双主双从集群，包含两个nameserver(域名)节点和两个broker(经纪人)节点；
68.消息集成引擎mde通过接口调度消息中间件rocketmq资源，为应用创建topic及秘钥信息，配置topic访问权限；应用方通过消息集成界面创建topic，通过消息集成sdk (software development kit，软件开发工具包)和原生sdk进行消息收发；
69.步骤s4：构建设备集成引擎die
70.构建设备网关gateway，实现对各类物联感知设备标准协议的适配及接入，由统一的设备网关进行mqtt协议、http协议与coap协议的集成、解析及分发；通过设备物模型配置，获取物联感知设备的监控数据，并通过规则引擎reg按照应用场景在不同设备之间进行场景联动配置，实现物联设备从接入、监控、调度及规则的一体化流程管理，实现设备自动预警及分析，通过对设备监控及告警数据的采集及存储，最终通过api网关将数据api接口进行注册及开放；
71.步骤s5：构建业务编排引擎amt
72.通过构建托拉拽的可视化业务编排引擎，实现将数据集成、消息集成、业务集成与设备集成的实例，结合特性的应用场景，按照bpm(business process management业务流程管理)流程设计方法，将各自独立的资产数据，编排成自动化处理的业务流程，实现消息及数据自动分发，事件自动处理；
73.步骤s6：构建资产运营及资产门户portal
74.最终，将各部门注册并发布的数据、消息、api服务与设备接口，通过资产门户对上层应用进行开放，开发者通过资产门户浏览各部门发布的各类数据源以及api接口详细信息，并基于线上申请审批，从而保证各部门能够依据各自实际业务需求，访问所需资源，真正意义上实现资源开放共享。
75.所述步骤s1中，利用数据清洗转换组件对收集到的数据进行特征提取、字段清洗规整和脏数据的过滤，并将清洗后的数据持久化到数据存储模块，并通过jdbc或者api 调用的方式，对上层应用进行开放。
76.所述步骤s2中，基于kong组件实现对api的负载均衡、熔断限流、路由配置和黑白名单。
77.所述步骤s3中，每个broker主节点配置一个broker从节点，主从之间数据异步复制，保证mq集群整体高可用。
78.所述步骤s5中，基于quartz定时任务组件，通过制定cron表达式，定时自动触发业务流程，从而实现业务流程自动化处理。
79.基于该跨部门的资源共享方法的系统，包括数据集成引擎dae、业务集成引擎age、消息集成引擎mde、设备集成引擎die、业务编排引擎amt、资产运营和资产门户；
80.所述数据集成引擎dae负责实现对各部门的数据集成、清洗、加工与处理；
81.所述业务集成引擎age负责对通用业务api(application program interface，应用程序接口)进行分组定义、api注册、策略配置和限流熔断；
82.所述消息集成引擎mde负责对消息管理系统rabbitmq和分布式消息队列kafka中的消息进行topic(主题)定义、消息集成与分发；
83.所述设备集成引擎die负责通过mqtt标准协议接入各类物联感知设备，并对设备采集的监控及告警数据进行开放和共享；
84.所述业务编排引擎amt负责通过托拉拽的快捷模式快速构建集业务、数据、消息及设备于一体的流程编排，以满足特定应用场景的自动化集成、处理及使用；
85.所述资产运营负责实现对各类资产的接入、上/下架与审批处理；
86.所述资产门户实现对各类资源的开放，提供用户的在线申请及管理。
87.以上对本发明实例中的一种跨部门的资源共享方法与系统进行了详细的介绍。本部分采用具体实例对发明的原理及实施方式进行了阐述，以上实例仅用于帮助理解本发明的核心思想，在不脱离本发明原理的情况下，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。