一种基于模型映射进行CMDB多元数据同步实现方法与流程

一种基于模型映射进行cmdb多元数据同步实现方法
技术领域
1.本发明涉及一种数据同步实现的方法，尤其涉及一种基于模型映射进行cmdb多元数据同步实现方法。


背景技术：

2.随着企业的it架构日益庞大，对it环境中所有元素(包括应用系统、软件信息、硬件信息、业务服务、人员等)的管理已日趋重要，企业通常考虑引入专业的it资产管理平台-cmdb(configuration management database，配置管理数据库)来进行管理。cmdb是一个存储仓库，用于集中存储和管理it环境中的所有实体元素，这些元素称之为配置项(ci)。在cmdb中，通过属性来描述每个对象，对象与对象之间又存在各类型的关联关系，这些ci、属性和关系共同用来描绘企业it架构。
3.然后随着企业业务需要和运营要求，在it运维领域建设的各类平台越来越多，如监控平台、自动化运维、自动化发布、应用性能监控等等，而这些平台又可以分化为不同厂商的、不同it层级的更细一级平台，如使用zabbix用来监控主机，使用pinpoint来监控中间件实例，使用solarwinds来监控网络设备，使用dcm(data center management，数据中心管理平台)来监控服务器等等；更有情况，由于管理全责不清，部门分化，每个部门可能建设自己的cmdb平台、监控平台，然后实际管理对象又存在交叉、重复。以上种种，都会造成基础数据管理分散，数据缺乏集中和统一，甚至还有同一台主机在a平台的命名与在b平台很可能不一致的错乱情况。
4.目前市场上的cmdb厂商与其他cmdb进行同步大都采用定制开发的方法，通过定制化api或者文件交互，能够满足同步要求，但缺乏灵活性，当双方任意一方模型发生改变后都必须进行二次开发才能适用，大大地增加了维护成本，降低了维护效益。


技术实现要素：

5.本发明的目的在于提供一种基于模型映射进行cmdb多元数据同步实现方法，仅需要在线调整映射关系，即可完成适配，从而使得多个cmdb平台之间可以无缝进行互相同步，可以快速适应信息变更，避免二次开发。
6.本发明为解决上述技术问题而采用的技术方案是提供一种基于模型映射进行cmdb多元数据同步实现方法，包括步骤s1：建立数据同步中心；步骤s2：生产者生产数据后将数据以文件方式写入sftp，并将变更信息推送到kafka；步骤s3：消费者监听kafka并读取数据进行入库；其中，所述生产者为数据提供方，所述消费者为数据消耗方。
7.进一步地，所述步骤s1包括：步骤s11：规范配置模型查询接口：各cmdb平台提供统一的配置模型接口与数据同步中心连接，所述配置模型接口包含配置项树查询接口以及单配置项查询接口；步骤s12：在数据同步中心配置各个cmdb平台接口地址；步骤s13：通过统一的配置模型接口实时获取生产者和消费者的信息，在线建立生产者和消费者之间的映射关系；使得生产者的属性对应到消费者的属性，生产者的关联关系对应到消费者的关联关
系。
8.进一步地，当生产者有新的数据产生后，所述步骤s2根据步骤s1建立的映射关系生成数据报文，报文中的属性字段直接转换为消费者的模型报文，然后将报文以文件形式推送到sftp,并同步将文件信息推送到kafka；所述步骤s3中消费者通过监听kafka判断是否有新的数据推送，若有，则解析kafka报文，先从报文中获取数据存储路径和数据文件名称，再从sftp拿取数据并解析入库。
9.进一步地，各cmdb平台提供的统一的配置模型接口为标准api接口，所述步骤s1通过标准api接口动态获取各cmdb平台的模型信息，当模型信息变动时，在网页界面通过可视化的模型映射关系来配置属性同步和关联关系同步。
10.进一步地，所述配置项树查询接口用于查询配置模型中管理的对象及对象之间的上下级关系。
11.进一步地，所述单配置项查询接口用于查询单配置项所具有的属性和关联关系，所述单配置项所具有的属性包括主机名、ip、管理ip、cpu型号、资源描述、主机类型、默认网关、操作系统版本、操作系统类型、内核版本、内存容量、操作系统磁盘空间、数据盘磁盘空间和使用状态。
12.进一步地，当生产者与消费者的配置项管理粒度不一致时，所述步骤s13还包括对数据进行过滤筛选，满足过滤条件的数据再进行同步。
13.进一步地，所述步骤s2和步骤s3为相互独立的步骤，同一个cmdb平台既可作为生产者，也可以作为消费者，并可并发同时进行数据生产和消费。
14.进一步地，所述各cmdb平台包括：zabbix：用来监控主机；pinpoint：用来监控中间件实例；solarwinds：用来监控网络设备；dcm：用来监控服务器。
15.本发明对比现有技术有如下的有益效果：本发明提供的基于模型映射进行cmdb多元数据同步实现方法，在线配置多方配置项、属性、管理关系的映射，当双方模型变动后，仅需要在线调整映射关系，即可完成适配，从而使得多个cmdb平台之间可以无缝进行互相同步，可以快速适应信息变更，避免二次开发。
附图说明
16.图1为本发明提供的基于模型映射进行cmdb多元数据同步实现方法的流程图；
17.图2为本发明各cmdb平台多元数据产生及流向示意图；
18.图3为本发明各cmdb平台多元数据配置及程序处理示意图。
具体实施方式
19.下面结合附图和实施例对本发明作进一步的描述。
20.请参见图1和图2，本发明提供的一种基于模型映射进行cmdb多元数据同步实现方法，包括：
21.步骤s1：建立数据同步中心；
22.步骤s11：规范配置模型查询接口：各cmdb提供统一的配置模型接口与数据同步中心连接，所述配置模型接口包含配置项树查询接口以及单配置项查询接口；配置项树查询接口主要用于查询配置模型中管理对象之间的上下级关系。单项配置项查询接口主要用于
查询单配置项所具有的属性及关联关系，主要的属性包括：主机名、ip、管理ip、cpu型号、资源描述、主机类型、默认网关、操作系统版本、操作系统类型、内核版本、内存容量、操作系统磁盘空间、数据盘磁盘空间和使用状态等。
23.步骤s12：在数据同步中心配置各个cmdb平台接口地址；
24.步骤s13：通过标准api获取生产者和消费者的信息，建立生产者和消费者之间关于属性和关联关系的映射关系。
25.步骤s2：生产者生产数据后将数据以文件方式写入sftp，即通过sftp协议将文件保存到服务器上，并将变更信息推送到kafka；
26.步骤s3：消费者监听kafka并读取数据进行入库；
27.其中，所述生产者为数据提供方，所述消费者为数据消耗方。
28.本发明公开的基于模型映射进行cmdb多元数据同步实现方法，通过映射关系的建立可以解析不同cmdb平台之间因模型变动而产生的不固定格式的数据。生产者在产生数据时，配置模型将生产者产生的数据自动转化为消费者模型的数据格式，从而让消费者直接识别数据。本发明在数据同步中心中可存在多个生产者和消费者；生产者生产数据后将数据以文件方式写入sftp，并将变更信息推送到kafka；消费者监听kafka，接收消息后接收消息，解析消息中的地址，从sftp读取数据，解析数据并完成数据入库。由于cmdb平台的模型经常变动，所以推送的数据格式是不固定的，推送时需要根据模型配置而自动转换为消费者的模型，从而让消费者直接识别数据。
29.请继续参见图3，本发明的多源数据同步具体包括以下5个过程：规范配置模型查询接口，在线配置各平台接口地址，在线配置生产者与消费者的映射关系，生产者推送数据到同步中心，消费者读取数据；其中
①②③
属于基础配置工作，
④⑤
属于程序处理。
30.①
规范配置模型查询接口
31.各cmdb需要提供统一的配置模型接口供同步中心消费，包括两个接口
32.配置项树查询接口：查询配置模型中管理了哪些对象及对象之间的上下级关系。
33.单配置项查询接口，查询单配置项具有哪些属性及关联关系。
34.②
在线配置各平台接口地址
35.通过页面配置功能，将各个cmdb平台的接口地址配置进来。
36.③
在线配置生产者和消费者的映射关系
37.通过页面配置功能，定义生产者和消费映射关系，分别针对属性和关联关系进行映射配置。
38.映射过程支持通过过滤条件进行筛选，满足过滤条件的数据才进行同步，这很设计用于支持生产者与消费者的配置项管理粒度不一致的情况。如在生产者a同步到消费者b，a平台中仅存在主机配置项，b平台按照操作系统类型划分为linux/aix/windows三个配置项，则可以通过a的属性条件将数据分发到三个b的三个配置项中。
39.④
生产者推送数据
40.当生产者有新的数据产生后，将根据第
③
步的映射关系将数据生产报文，报文中的属性字段直接转换为消费者的模型报文，并将报文以文件形式推送到sftp,同步将文件信息推送到kafka。
41.⑤
消费者监听kafka并读取数据进行入库
42.消费者通过监听kafka判断是否有新的数据推送，若有，则解析kafka报文，从报文中获取数据存储路径和数据文件名称，从sftp拿取数据并解析入库。
43.本发明提供的基于模型映射进行cmdb多元数据同步实现方法，可以达到以下效果：
44.1)多cmdb平台之间可以灵活进行数据同步，包括属性和关联关系的同步；同一个cmdb平台既可以为生产者，也可以为消费者；
45.2)当任意cmdb模型发生变更后，可以通过接口动态获取变更信息，并通过页面配置方式更改对接，从而快速适应变更，避免二次开发；
46.3)多源cmdb使用统一的模型查询接口，在页面通过模型映射关系来配置属性同步、关联关系同步，直观便捷；
47.4)通过标准api接口动态获取各cmdb模型信息，当模型变动时，可通过页面配置方式直接调整，降低运维成本，提升运营质量。
48.虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。