1.本发明涉及数据治理
技术领域：
：，具体的说是一种基于模型驱动的数据资产管理方法及系统。
背景技术：
：：2.数据治理是专注于将数据作为企业的商业资产进行应用和管理的一套管理机制，能够消除数据的不一致性，建立规范的数据应用标准，提高数据质量，实现数据广泛共享，并能够将数据作为宝贵资产应用于业务、管理、战略决策中，发挥数据资产的商业价值。3.数据治理涉及的it技术主题包括元数据、数据标准、数据质量、数据集成、数据资产、数据交换、数据安全等多环节组成的一整套解决方案。现有数据治理平台虽然每个数据处理环节的产品可以单独应用，但作为一个整套数据治理产品，其缺乏将所有技术主题环节串联起来的媒介通道。技术实现要素：4.本发明针对目前技术发展的需求和不足之处，提供一种基于模型驱动的数据资产管理方法及系统，解决数据库表等数据资产结构发生变化后，元数据描述与现实不一致、数据处理流程及数据安全分类分级等后续数据治理措施无法及时更新的相关问题。5.首先，本发明提供一种基于模型驱动的数据资产管理方法，解决上述技术问题采用的技术方案如下：6.一种基于模型驱动的数据资产管理方法，包括如下步骤：7.步骤s1、基于数据资产的存储目的或etl流程编排目的，确定模型管理工具；8.步骤s2、对于没有物理数据对象或数据etl处理流程的场景，利用模型管理工具定义数据模型或数据etl处理流程模型；对于已经拥有的数据对象或数据处理流程的场景，利用模型管理工具的逆向建模功能反向生成数据模型或数据etl处理流程模型；9.步骤s3、在当前环境运行数据库的元数据中写入步骤s2所定义或生成模型的唯一标识和版本号；10.步骤s4、定义模型发生变更时的检测处理流程；11.步骤s5、发布发生变更的模型，比对模型发生变更的内容差异，并将模型变更后的内容差异进行发布；12.步骤s6、定义统一的操作接口，对模型管理工具进行统一管理，对模型变更内容进行统一发布及可视化展示。13.可选的，执行步骤s1时，14.基于数据资产的存储目的，采用开源的chiner元数建模软件作为模型管理工具，完成数据库模型建模和模型版本管理的需求；15.基于数据资产的etl流程编排目的，采用开源的nifi作为模型管理工具，实现数据拉取、处理和分发。16.可选的，执行步骤s4，定义模型发生变更时的检测处理流程，具体操作为：17.基于nifi的schema数据记录的结构信息的描述机制，定义模型变更信息的数据结构；18.通过使用nifi的mq消息读取组件，监听模型变更消息，并编排定义模型变更影响的数据治理实施策略。19.进一步可选的，执行步骤s5，发布发生变更的模型过程中，将指定模型版本提交至运行环境中，通过模型管理工具的版本比对功能比对模型版本差异，随后将模型变更信息写入mq消息中间件；20.基于步骤s4定义的检测处理流程，读取mq消息中间中的模型变更信息，执行模型变更影响流程。21.可选的，执行步骤s6，对模型管理工具进行统一管理，具体统一管理：全局数据资产模型元数据、基于数据资产模型定义的数据治理处理规则的元数据信息。22.其次，本发明提供一种基于模型驱动的数据资产管理系统，解决上述技术问题采用的技术方案如下：23.一种基于模型驱动的数据资产管理系统，其实现模块包括：24.工具确定模块，基于数据资产的存储目的或etl流程编排目的，用于手动筛选确定模型管理工具；25.模型生成模块，用于利用模型管理工具定义新业务场景下的数据模型或数据etl处理流程模型，或者，对于已经拥有的数据对象或数据处理流程，利用模型管理工具的逆向建模功能反向生成数据模型或数据etl处理流程模型；26.写入标记模块，用于在当前环境运行数据库的元数据中写入所定义或生成模型的唯一标识和版本号，具体体现为在基于模型生成的建表sql语句中自动在注释语句中添加模型唯一标识和版本号信息；27.变更定义模块，用于定义模型发生变更时的检测处理流程；28.比对发布模块，用于发布发生变更的模型，还用于比对模型发生变更的内容差异，并将模型变更后的内容差异进行发布；29.统一管理模块，用于定义统一的操作接口，通过该操作接口对模型管理工具进行统一管理，对模型变更内容进行统一发布及可视化展示。30.可选的，所涉及工具确定模块基于数据资产的存储目的，筛选采用开源的chiner元数建模软件作为模型管理工具，完成数据库模型建模和模型版本管理的需求；31.工具确定模块基于数据资产的etl流程编排目的，筛选采用开源的nifi作为模型管理工具，实现数据拉取、处理和分发。32.可选的，所涉及变更定义模块首先基于nifi的schema数据记录的结构信息的描述机制，定义模型变更信息的数据结构，随后基于nifi的mq消息读取组件，监听模型变更消息，并编排定义模型变更影响的数据治理实施策略。33.进一步可选的，所涉及比对发布模块发布发生变更的模型过程中，34.首先，将指定模型版本提交至运行环境中，通过模型管理工具的版本比对功能比对模型版本差异，随后将模型变更信息写入mq消息中间件；35.随后，基于变更定义模块定义的检测处理流程，读取mq消息中间中的模型变更信息，执行模型变更影响流程。36.可选的，所涉及统一管理模块通过统一的操作接口，对模型管理工具进行统一管理，具体统一管理：全局数据资产模型元数据、基于数据资产模型定义的数据治理处理规则的元数据信息。37.本发明的一种基于模型驱动的数据资产管理方法及系统，与现有技术相比具有的有益效果是：38.本发明定义统一的操作接口，对模型管理工具进行统一管理，实现了模型的集中管理和发布运行，借助基于模型发生变更时定义的检测处理流程，将数据治理的所有技术主题环节串联起来，可以解决不同操作入口导致元数据描述不同步问题和变更影响操作流程不及时或者遗漏执行等问题。附图说明39.附图1是本发明实施例一的方法流程图；40.附图2是本发明实施例二的连接框图。41.附图中各标号信息表示：42.1、工具确定模块，2、模型生成模块，3、写入标记模块，43.4、变更定义模块，5、比对发布模块，6、统一管理模块。具体实施方式44.为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清楚、完整的描述。45.实施例一：46.结合附图1，本实施例提出一种基于模型驱动的数据资产管理方法，包括如下步骤：47.步骤s1、基于数据资产的存储目的或etl流程编排目的，确定模型管理工具。48.基于数据资产的存储目的，采用开源的chiner元数建模软件作为模型管理工具，完成数据库模型建模和模型版本管理的需求；49.基于数据资产的etl流程编排目的，采用开源的nifi作为模型管理工具，实现数据拉取、处理和分发。50.步骤s2、对于没有物理数据对象或数据etl处理流程的场景，利用模型管理工具定义数据模型或数据etl处理流程模型；对于已经拥有的数据对象或数据处理流程的场景，利用模型管理工具的逆向建模功能反向生成数据模型或数据etl处理流程模型。本实施例中，数据模型具体包括概念模型、逻辑模型、物理模型，①概念模型是用以描述用户业务需求的一些概念的东西，如销售业务中的客户和定单；②逻辑模型是将概念模型转化为具体的数据模型的过程，以销售业务为例：客户信息基本上要包括单位名称，联系人，联系电话，地址等属性；③物理模型是针对上述逻辑模型所说的内容，在具体的物理介质上实现出来，系统需要建立几个数据表：客户信息表，商品信息表，订单表，每个表需要明确字段、字段数据类型、字段长度、主键、外键、索引、约束、是否可为空等。数据etl处理流程模型包含数据来源、数据转换映射、数据目标存储等信息。51.步骤s3、在当前环境运行数据库的元数据中写入步骤s2所定义或生成模型的唯一标识和版本号。如在oracle数据库环境下，对生成的对每个数据表建表sql语句中添加形如“commentontableuseris'用户表：用户数据域模型id:1.0'；”的sql片段，确保当前物理运行的数据对象元数据中存储器对应的模型id和版本号，以便后续进行模型版本的比较。52.步骤s4、定义模型发生变更时的检测处理流程，具体操作为：53.基于nifi的schema数据记录的结构信息的描述机制，定义模型变更信息的数据结构；54.通过使用nifi的mq消息读取组件，监听模型变更消息，并编排定义模型变更影响的数据治理实施策略。55.数据治理的数据安全管理模块识别模型变更内容中是否包含设定的安全隐私数据元集合元素，比如模型变更中新增了“身份证号码”这类安全隐私字段，数据安全管理模块启动对该数据库表的“身份证号码”字段添加安全分类分级的标记；数据治理的数据共享模块启动为该数据库表的“身份证号码”字段添加脱敏处理的处理任务。56.步骤s5、发布发生变更的模型，比对模型发生变更的内容差异，并将模型变更后的内容差异进行发布，具体实现流程：57.将指定模型版本提交至运行环境中，通过模型管理工具的版本比对功能比对模型版本差异，随后将模型变更信息写入mq消息中间件；58.基于步骤s4定义的检测处理流程，读取mq消息中间中的模型变更信息，执行模型变更影响流程。如：受模型变更影响的数据安全模块、数据共享模块分别执行各自预置的处理流程。59.步骤s6、定义统一的操作接口，一方面对模型管理工具进行统一管理，管理内容包括：全局数据资产模型元数据、基于数据资产模型定义的数据治理处理规则的元数据信息，另一方面对模型变更内容进行统一发布及可视化展示。60.实施例二：61.结合附图2，本实施例提出一种基于模型驱动的数据资产管理系统，其实现模块包括：62.工具确定模块1，基于数据资产的存储目的或etl流程编排目的，用于手动筛选确定模型管理工具；63.模型生成模块2，用于利用模型管理工具定义新业务场景下的数据模型或数据etl处理流程模型，或者，对于已经拥有的数据对象或数据处理流程，利用模型管理工具的逆向建模功能反向生成数据模型或数据etl处理流程模型；64.写入标记模块3，用于在当前环境运行数据库的元数据中写入所定义或生成模型的唯一标识和版本号，具体体现为在基于模型生成的建表sql语句中自动在注释语句中添加模型唯一标识和版本号信息；65.变更定义模块4，用于定义模型发生变更时的检测处理流程；66.比对发布模块5，用于发布发生变更的模型，还用于比对模型发生变更的内容差异，并将模型变更后的内容差异进行发布；67.统一管理模块6，用于定义统一的操作接口，通过该操作接口，一方面对模型管理工具进行统一管理，管理内容包括全局数据资产模型元数据、基于数据资产模型定义的数据治理处理规则的元数据信息，另一方面对模型变更内容进行统一发布及可视化展示。68.本实施例中，工具确定模块1基于数据资产的存储目的，筛选采用开源的chiner元数建模软件作为模型管理工具，完成数据库模型建模和模型版本管理的需求。工具确定模块1基于数据资产的etl流程编排目的，筛选采用开源的nifi作为模型管理工具，实现数据拉取、处理和分发。69.本实施例中，变更定义模块4首先基于nifi的schema数据记录的结构信息的描述机制，定义模型变更信息的数据结构，随后基于nifi的mq消息读取组件，监听模型变更消息，并编排定义模型变更影响的数据治理实施策略。70.本实施例中，比对发布模块发布发生变更的模型过程中，71.首先，将指定模型版本提交至运行环境中，通过模型管理工具的版本比对功能比对模型版本差异，随后将模型变更信息写入mq消息中间件；72.随后，基于变更定义模块4定义的检测处理流程，读取mq消息中间中的模型变更信息，执行模型变更影响流程。73.综上可知，采用本发明的一种基于模型驱动的数据资产管理方法及系统，可以实现模型的集中管理和发布运行，将数据治理的所有技术主题环节串联起来，解决不同操作入口导致元数据描述不同步问题和变更影响操作流程不及时或者遗漏执行等问题。74.以上应用具体个例对本发明的原理及实施方式进行了详细阐述，这些实施例只是用于帮助理解本发明的核心技术内容。基于本发明的上述具体实施例，本
技术领域：
：的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。当前第1页12当前第1页12
技术领域：
：，具体的说是一种基于模型驱动的数据资产管理方法及系统。
背景技术：
：：2.数据治理是专注于将数据作为企业的商业资产进行应用和管理的一套管理机制，能够消除数据的不一致性，建立规范的数据应用标准，提高数据质量，实现数据广泛共享，并能够将数据作为宝贵资产应用于业务、管理、战略决策中，发挥数据资产的商业价值。3.数据治理涉及的it技术主题包括元数据、数据标准、数据质量、数据集成、数据资产、数据交换、数据安全等多环节组成的一整套解决方案。现有数据治理平台虽然每个数据处理环节的产品可以单独应用，但作为一个整套数据治理产品，其缺乏将所有技术主题环节串联起来的媒介通道。技术实现要素：4.本发明针对目前技术发展的需求和不足之处，提供一种基于模型驱动的数据资产管理方法及系统，解决数据库表等数据资产结构发生变化后，元数据描述与现实不一致、数据处理流程及数据安全分类分级等后续数据治理措施无法及时更新的相关问题。5.首先，本发明提供一种基于模型驱动的数据资产管理方法，解决上述技术问题采用的技术方案如下：6.一种基于模型驱动的数据资产管理方法，包括如下步骤：7.步骤s1、基于数据资产的存储目的或etl流程编排目的，确定模型管理工具；8.步骤s2、对于没有物理数据对象或数据etl处理流程的场景，利用模型管理工具定义数据模型或数据etl处理流程模型；对于已经拥有的数据对象或数据处理流程的场景，利用模型管理工具的逆向建模功能反向生成数据模型或数据etl处理流程模型；9.步骤s3、在当前环境运行数据库的元数据中写入步骤s2所定义或生成模型的唯一标识和版本号；10.步骤s4、定义模型发生变更时的检测处理流程；11.步骤s5、发布发生变更的模型，比对模型发生变更的内容差异，并将模型变更后的内容差异进行发布；12.步骤s6、定义统一的操作接口，对模型管理工具进行统一管理，对模型变更内容进行统一发布及可视化展示。13.可选的，执行步骤s1时，14.基于数据资产的存储目的，采用开源的chiner元数建模软件作为模型管理工具，完成数据库模型建模和模型版本管理的需求；15.基于数据资产的etl流程编排目的，采用开源的nifi作为模型管理工具，实现数据拉取、处理和分发。16.可选的，执行步骤s4，定义模型发生变更时的检测处理流程，具体操作为：17.基于nifi的schema数据记录的结构信息的描述机制，定义模型变更信息的数据结构；18.通过使用nifi的mq消息读取组件，监听模型变更消息，并编排定义模型变更影响的数据治理实施策略。19.进一步可选的，执行步骤s5，发布发生变更的模型过程中，将指定模型版本提交至运行环境中，通过模型管理工具的版本比对功能比对模型版本差异，随后将模型变更信息写入mq消息中间件；20.基于步骤s4定义的检测处理流程，读取mq消息中间中的模型变更信息，执行模型变更影响流程。21.可选的，执行步骤s6，对模型管理工具进行统一管理，具体统一管理：全局数据资产模型元数据、基于数据资产模型定义的数据治理处理规则的元数据信息。22.其次，本发明提供一种基于模型驱动的数据资产管理系统，解决上述技术问题采用的技术方案如下：23.一种基于模型驱动的数据资产管理系统，其实现模块包括：24.工具确定模块，基于数据资产的存储目的或etl流程编排目的，用于手动筛选确定模型管理工具；25.模型生成模块，用于利用模型管理工具定义新业务场景下的数据模型或数据etl处理流程模型，或者，对于已经拥有的数据对象或数据处理流程，利用模型管理工具的逆向建模功能反向生成数据模型或数据etl处理流程模型；26.写入标记模块，用于在当前环境运行数据库的元数据中写入所定义或生成模型的唯一标识和版本号，具体体现为在基于模型生成的建表sql语句中自动在注释语句中添加模型唯一标识和版本号信息；27.变更定义模块，用于定义模型发生变更时的检测处理流程；28.比对发布模块，用于发布发生变更的模型，还用于比对模型发生变更的内容差异，并将模型变更后的内容差异进行发布；29.统一管理模块，用于定义统一的操作接口，通过该操作接口对模型管理工具进行统一管理，对模型变更内容进行统一发布及可视化展示。30.可选的，所涉及工具确定模块基于数据资产的存储目的，筛选采用开源的chiner元数建模软件作为模型管理工具，完成数据库模型建模和模型版本管理的需求；31.工具确定模块基于数据资产的etl流程编排目的，筛选采用开源的nifi作为模型管理工具，实现数据拉取、处理和分发。32.可选的，所涉及变更定义模块首先基于nifi的schema数据记录的结构信息的描述机制，定义模型变更信息的数据结构，随后基于nifi的mq消息读取组件，监听模型变更消息，并编排定义模型变更影响的数据治理实施策略。33.进一步可选的，所涉及比对发布模块发布发生变更的模型过程中，34.首先，将指定模型版本提交至运行环境中，通过模型管理工具的版本比对功能比对模型版本差异，随后将模型变更信息写入mq消息中间件；35.随后，基于变更定义模块定义的检测处理流程，读取mq消息中间中的模型变更信息，执行模型变更影响流程。36.可选的，所涉及统一管理模块通过统一的操作接口，对模型管理工具进行统一管理，具体统一管理：全局数据资产模型元数据、基于数据资产模型定义的数据治理处理规则的元数据信息。37.本发明的一种基于模型驱动的数据资产管理方法及系统，与现有技术相比具有的有益效果是：38.本发明定义统一的操作接口，对模型管理工具进行统一管理，实现了模型的集中管理和发布运行，借助基于模型发生变更时定义的检测处理流程，将数据治理的所有技术主题环节串联起来，可以解决不同操作入口导致元数据描述不同步问题和变更影响操作流程不及时或者遗漏执行等问题。附图说明39.附图1是本发明实施例一的方法流程图；40.附图2是本发明实施例二的连接框图。41.附图中各标号信息表示：42.1、工具确定模块，2、模型生成模块，3、写入标记模块，43.4、变更定义模块，5、比对发布模块，6、统一管理模块。具体实施方式44.为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清楚、完整的描述。45.实施例一：46.结合附图1，本实施例提出一种基于模型驱动的数据资产管理方法，包括如下步骤：47.步骤s1、基于数据资产的存储目的或etl流程编排目的，确定模型管理工具。48.基于数据资产的存储目的，采用开源的chiner元数建模软件作为模型管理工具，完成数据库模型建模和模型版本管理的需求；49.基于数据资产的etl流程编排目的，采用开源的nifi作为模型管理工具，实现数据拉取、处理和分发。50.步骤s2、对于没有物理数据对象或数据etl处理流程的场景，利用模型管理工具定义数据模型或数据etl处理流程模型；对于已经拥有的数据对象或数据处理流程的场景，利用模型管理工具的逆向建模功能反向生成数据模型或数据etl处理流程模型。本实施例中，数据模型具体包括概念模型、逻辑模型、物理模型，①概念模型是用以描述用户业务需求的一些概念的东西，如销售业务中的客户和定单；②逻辑模型是将概念模型转化为具体的数据模型的过程，以销售业务为例：客户信息基本上要包括单位名称，联系人，联系电话，地址等属性；③物理模型是针对上述逻辑模型所说的内容，在具体的物理介质上实现出来，系统需要建立几个数据表：客户信息表，商品信息表，订单表，每个表需要明确字段、字段数据类型、字段长度、主键、外键、索引、约束、是否可为空等。数据etl处理流程模型包含数据来源、数据转换映射、数据目标存储等信息。51.步骤s3、在当前环境运行数据库的元数据中写入步骤s2所定义或生成模型的唯一标识和版本号。如在oracle数据库环境下，对生成的对每个数据表建表sql语句中添加形如“commentontableuseris'用户表：用户数据域模型id:1.0'；”的sql片段，确保当前物理运行的数据对象元数据中存储器对应的模型id和版本号，以便后续进行模型版本的比较。52.步骤s4、定义模型发生变更时的检测处理流程，具体操作为：53.基于nifi的schema数据记录的结构信息的描述机制，定义模型变更信息的数据结构；54.通过使用nifi的mq消息读取组件，监听模型变更消息，并编排定义模型变更影响的数据治理实施策略。55.数据治理的数据安全管理模块识别模型变更内容中是否包含设定的安全隐私数据元集合元素，比如模型变更中新增了“身份证号码”这类安全隐私字段，数据安全管理模块启动对该数据库表的“身份证号码”字段添加安全分类分级的标记；数据治理的数据共享模块启动为该数据库表的“身份证号码”字段添加脱敏处理的处理任务。56.步骤s5、发布发生变更的模型，比对模型发生变更的内容差异，并将模型变更后的内容差异进行发布，具体实现流程：57.将指定模型版本提交至运行环境中，通过模型管理工具的版本比对功能比对模型版本差异，随后将模型变更信息写入mq消息中间件；58.基于步骤s4定义的检测处理流程，读取mq消息中间中的模型变更信息，执行模型变更影响流程。如：受模型变更影响的数据安全模块、数据共享模块分别执行各自预置的处理流程。59.步骤s6、定义统一的操作接口，一方面对模型管理工具进行统一管理，管理内容包括：全局数据资产模型元数据、基于数据资产模型定义的数据治理处理规则的元数据信息，另一方面对模型变更内容进行统一发布及可视化展示。60.实施例二：61.结合附图2，本实施例提出一种基于模型驱动的数据资产管理系统，其实现模块包括：62.工具确定模块1，基于数据资产的存储目的或etl流程编排目的，用于手动筛选确定模型管理工具；63.模型生成模块2，用于利用模型管理工具定义新业务场景下的数据模型或数据etl处理流程模型，或者，对于已经拥有的数据对象或数据处理流程，利用模型管理工具的逆向建模功能反向生成数据模型或数据etl处理流程模型；64.写入标记模块3，用于在当前环境运行数据库的元数据中写入所定义或生成模型的唯一标识和版本号，具体体现为在基于模型生成的建表sql语句中自动在注释语句中添加模型唯一标识和版本号信息；65.变更定义模块4，用于定义模型发生变更时的检测处理流程；66.比对发布模块5，用于发布发生变更的模型，还用于比对模型发生变更的内容差异，并将模型变更后的内容差异进行发布；67.统一管理模块6，用于定义统一的操作接口，通过该操作接口，一方面对模型管理工具进行统一管理，管理内容包括全局数据资产模型元数据、基于数据资产模型定义的数据治理处理规则的元数据信息，另一方面对模型变更内容进行统一发布及可视化展示。68.本实施例中，工具确定模块1基于数据资产的存储目的，筛选采用开源的chiner元数建模软件作为模型管理工具，完成数据库模型建模和模型版本管理的需求。工具确定模块1基于数据资产的etl流程编排目的，筛选采用开源的nifi作为模型管理工具，实现数据拉取、处理和分发。69.本实施例中，变更定义模块4首先基于nifi的schema数据记录的结构信息的描述机制，定义模型变更信息的数据结构，随后基于nifi的mq消息读取组件，监听模型变更消息，并编排定义模型变更影响的数据治理实施策略。70.本实施例中，比对发布模块发布发生变更的模型过程中，71.首先，将指定模型版本提交至运行环境中，通过模型管理工具的版本比对功能比对模型版本差异，随后将模型变更信息写入mq消息中间件；72.随后，基于变更定义模块4定义的检测处理流程，读取mq消息中间中的模型变更信息，执行模型变更影响流程。73.综上可知，采用本发明的一种基于模型驱动的数据资产管理方法及系统，可以实现模型的集中管理和发布运行，将数据治理的所有技术主题环节串联起来，解决不同操作入口导致元数据描述不同步问题和变更影响操作流程不及时或者遗漏执行等问题。74.以上应用具体个例对本发明的原理及实施方式进行了详细阐述，这些实施例只是用于帮助理解本发明的核心技术内容。基于本发明的上述具体实施例，本
技术领域：
：的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
