一种基于模型驱动的数据资产管理方法及系统与流程

技术特征：
1.一种基于模型驱动的数据资产管理方法，其特征在于,包括如下步骤：步骤s1、基于数据资产的存储目的或etl流程编排目的，确定模型管理工具；步骤s2、对于没有物理数据对象或数据etl处理流程的场景，利用模型管理工具定义数据模型或数据etl处理流程模型；对于已经拥有的数据对象或数据处理流程的场景，利用模型管理工具的逆向建模功能反向生成数据模型或数据etl处理流程模型；步骤s3、在当前环境运行数据库的元数据中写入步骤s2所定义或生成模型的唯一标识和版本号；步骤s4、定义模型发生变更时的检测处理流程；步骤s5、发布发生变更的模型，比对模型发生变更的内容差异，并将模型变更后的内容差异进行发布；步骤s6、定义统一的操作接口，对模型管理工具进行统一管理，对模型变更内容进行统一发布及可视化展示。2.根据权利要求1所述的一种基于模型驱动的数据资产管理方法，其特征在于，执行步骤s1时，基于数据资产的存储目的，采用开源的chiner元数建模软件作为模型管理工具，完成数据库模型建模和模型版本管理的需求；基于数据资产的etl流程编排目的，采用开源的nifi作为模型管理工具，实现数据拉取、处理和分发。3.根据权利要求1所述的一种基于模型驱动的数据资产管理方法，其特征在于，执行步骤s4，定义模型发生变更时的检测处理流程，具体操作为：基于nifi的schema数据记录的结构信息的描述机制，定义模型变更信息的数据结构；通过使用nifi的mq消息读取组件，监听模型变更消息，并编排定义模型变更影响的数据治理实施策略。4.根据权利要求3所述的一种基于模型驱动的数据资产管理方法，其特征在于，执行步骤s5，发布发生变更的模型过程中，将指定模型版本提交至运行环境中，通过模型管理工具的版本比对功能比对模型版本差异，随后将模型变更信息写入mq消息中间件；基于步骤s4定义的检测处理流程，读取mq消息中间中的模型变更信息，执行模型变更影响流程。5.根据权利要求1所述的一种基于模型驱动的数据资产管理方法，其特征在于，执行步骤s6，对模型管理工具进行统一管理，具体统一管理：全局数据资产模型元数据、基于数据资产模型定义的数据治理处理规则的元数据信息。6.一种基于模型驱动的数据资产管理系统，其特征在于，其实现模块包括：工具确定模块，基于数据资产的存储目的或etl流程编排目的，用于手动筛选确定模型管理工具；模型生成模块，用于利用模型管理工具定义新业务场景下的数据模型或数据etl处理流程模型，或者，对于已经拥有的数据对象或数据处理流程，利用模型管理工具的逆向建模功能反向生成数据模型或数据etl处理流程模型；写入标记模块，用于在当前环境运行数据库的元数据中写入所定义或生成模型的唯一标识和版本号；
变更定义模块，用于定义模型发生变更时的检测处理流程；比对发布模块，用于发布发生变更的模型，还用于比对模型发生变更的内容差异，并将模型变更后的内容差异进行发布；统一管理模块，用于定义统一的操作接口，通过该操作接口对模型管理工具进行统一管理，对模型变更内容进行统一发布及可视化展示。7.根据权利要求6所述的一种基于模型驱动的数据资产管理系统，其特征在于，所述工具确定模块基于数据资产的存储目的，筛选采用开源的chiner元数建模软件作为模型管理工具，完成数据库模型建模和模型版本管理的需求；所述工具确定模块基于数据资产的etl流程编排目的，筛选采用开源的nifi作为模型管理工具，实现数据拉取、处理和分发。8.根据权利要求6所述的一种基于模型驱动的数据资产管理系统，其特征在于，所述变更定义模块首先基于nifi的schema数据记录的结构信息的描述机制，定义模型变更信息的数据结构，随后基于nifi的mq消息读取组件，监听模型变更消息，并编排定义模型变更影响的数据治理实施策略。9.根据权利要求8所述的一种基于模型驱动的数据资产管理系统，其特征在于，所述比对发布模块发布发生变更的模型过程中，首先，将指定模型版本提交至运行环境中，通过模型管理工具的版本比对功能比对模型版本差异，随后将模型变更信息写入mq消息中间件；随后，基于变更定义模块定义的检测处理流程，读取mq消息中间中的模型变更信息，执行模型变更影响流程。10.根据权利要求6所述的一种基于模型驱动的数据资产管理系统，其特征在于，所述统一管理模块通过统一的操作接口，对模型管理工具进行统一管理，具体统一管理：全局数据资产模型元数据、基于数据资产模型定义的数据治理处理规则的元数据信息。

技术总结
本发明公开一种基于模型驱动的数据资产管理方法及系统，涉及数据治理技术领域，包括：基于数据资产的存储目的或ETL流程编排目的，确定模型管理工具；对于新业务场景，利用模型管理工具定义模型；对于已经拥有的数据对象或数据处理流程，利用模型管理工具的反射功能反向生成模型；在当前环境运行数据库的元数据中写入所定义或生成模型的唯一标识和版本号；定义模型发生变更时的检测处理流程；发布发生变更的模型，比对模型发生变更的内容差异，并将模型变更后的内容差异进行发布；定义统一的操作接口，对模型管理工具进行统一管理，对模型变更内容进行统一发布及可视化展示。本发明可以串联数据治理的所有主题环节，解决元数据描述的不同步问题。述的不同步问题。述的不同步问题。


技术研发人员：石园 路国隋 李存冰 王方
受保护的技术使用者：浪潮软件科技有限公司
技术研发日：2022.01.10
技术公布日：2022/5/5