基于模型映射和插件扩展的数据集成与迁移方法及系统与流程

本发明涉及数据处理与信息系统集成，具体而言，涉及一种基于模型映射和插件扩展的数据集成与迁移方法及系统。

背景技术：

1、当前数据集扩充与邻域迁移技术逐步向智能化方向发展，但现有技术方案多为单点突破式设计，缺乏全流程一体化融合能力，难以满足复杂场景下的高效应用需求。

2、一方面，现有技术未实现语义级检索模型与多维度分析模型的深度耦合，数据来源缺乏统一规范，原始数据与扩充数据格式杂糅，无法实现标准化存储与高效复用，导致扩充数据与原始数据脱节，形成“技术孤岛”；另一方面，技术方法局限于单一环节，语义检索、维度分析与数据生成模块相互独立，无法实现知识推理、模式识别与样本输出的闭环联动，且扩充数据多依赖人工规则预设，精度不足、覆盖不全，难以满足自动化、智能化数据处理的实际需求。此外，现有技术缺乏对风险分类标准与结构化问题库的集成适配，无法充分发挥已有技术成果的价值，导致分析精准度不足、决策支撑能力薄弱，难以全面提升数据集扩充与邻域迁移的整体效能。

3、因此，亟需构建一套一体化智能数据扩充与邻域迁移方法系统，破解模块割裂、数据脱节、流程不畅等难题，实现技术模型的集成应用与数据处理的闭环优化。

技术实现思路

1、本技术提供一种基于模型映射和插件扩展的数据集成与迁移方法及工具，通过对异构信息系统间的结构化数据进行标准化模型描述与映射配置，并基于可扩展插件机制实现动态接入系统的能力，实现数据在异构信息系统间的跨系统集成和迁移，形成完整的数据处理闭环。

2、下面从不同的方面介绍本技术，应理解的是，下面的不同方面的实施方式和有益效果可以互相参考。

3、第一方面，本技术实施例提供一种基于模型映射和插件扩展的数据集成与迁移方法，该方法包括系统注册、插件绑定、组合配置、模型映射配置、数据映射配置、数据转换、数据检查以及数据导入八个标准化环节。系统注册环节用于向工具注册待接入的系统，指定系统为数据导出方或数据导入方，并录入系统基本信息，包括系统标识、访问地址、认证信息和模型信息描述文件等。插件绑定环节根据系统角色为注册系统绑定对应的功能插件，功能插件包括模型信息读取插件、数据解析插件、数据导入插件、属性值转换器插件、属性检查器插件和关系检查器插件，工具定义各插件的标准接口，已注册系统的插件实现标准接口即可动态接入工具，无需修改工具核心代码。组合配置环节从已注册系统中选择一个源系统和一个目标系统，生成唯一的组合配置标识，所有后续的映射配置、数据处理和任务管理均基于组合配置标识进行。模型映射配置环节在可视化界面中配置源系统与目标系统的模型对应关系、属性对应关系及属性值对应关系，工具通过源系统和目标系统绑定的模型信息读取插件动态获取双方的模型结构并展示。数据映射配置环节配置源系统数据实例与目标系统已有数据实例的对应关系，对应关系用于数据转换过程中关联数据的引用修正。数据转换环节根据模型映射配置、属性映射配置、属性值映射配置，依次完成数据模型标记转换、属性标记转换和属性值转换，对于包含关联关系的数据，自动根据数据映射配置将源系统的引用关系转换为目标系统的对应引用关系。数据检查环节在数据导入前执行完整性检查、属性合法性检查和关联关系检查，其中属性合法性检查通过属性检查器插件实现，关联关系检查通过关系检查器插件实现，生成数据检查结果和异常数据详情。数据导入环节调用目标系统绑定的数据导入插件，将转换并检查通过的数据写入目标系统，导入插件返回目标系统新建数据的标识，工具记录源数据与目标数据的对应关系。

4、上述方案中，八个标准化环节通过标准插件接口实现动态扩展，新增接入系统仅需开发对应插件即可完成系统接入，无需修改工具核心代码，大幅降低了异构系统数据集成与迁移的开发成本和维护成本。

5、在一种可能的实现方式中，组合配置模块存储的每个组合配置包含唯一标识、源系统标识、目标系统标识、源系统绑定插件信息、目标系统绑定插件信息以及导入插件扩展的自定义参数，工具在数据处理过程中通过唯一标识查询上述所有信息。数据导入插件接口定义有获取组合配置表单项的方法，工具通过该方法动态加载导入插件扩展的配置参数，并在组合配置界面中进行参数收集，同一系统在不同组合配置中可设置不同的导入参数值。扩展的配置参数包括租户标识、组织标识、用户标识等参数，工具将扩展参数与组合配置标识关联存储，在数据导入时传递给数据导入插件。

6、上述实现方式中，组合配置与系统注册相分离，实现了同一系统在不同迁移场景下的差异化参数配置，例如将数据导入至不同租户或不同公司代码时，仅需创建新的组合配置并设置相应参数即可，无需重新注册系统和绑定插件。

7、在一种可能的实现方式中，模型映射配置采用“模型-属性-值”三级映射结构。第一级配置源系统数据模型与目标系统数据模型的一对一关系，用于通过调用源系统和目标系统绑定的模型信息读取插件，动态获取双方的模型结构并以树形结构展示。第二级配置源系统模型属性与目标系统模型属性的一对一关系。第三级配置源系统属性值与目标系统属性值的一对一关系。支持为任意属性映射绑定属性值转换器插件，属性值转换器插件实现自定义的属性值转换逻辑，属性值转换器插件有三种类型，包括目标系统自定义转换器插件、数据映射转换器插件、导入数据转换器插件。映射模板管理单元用于将已配置的模型映射关系、属性映射关系、属性值映射关系导出为模板，并支持在同类型系统的组合配置中导入复用。

8、上述实现方式中，三级映射结构支持复杂异构数据模型的灵活转换，通过属性值转换器插件可实现枚举值转换、单位转换、公式计算等复杂属性值转换逻辑，映射模板管理单元则实现了配置复用，减少了重复配置工作。

9、在一种可能的实现方式中，数据映射列表包括两部分。第一部分为导入数据映射，通过目标系统的数据导入插件动态获取需要进行数据映射的数据类型列表，并根据该列表生成对应的数据映射界面，数据映射生成结果与组合配置标识、迁移任务标识关联存储。第二部分为输入数据映射，通过组合配置的数据映射界面输入配置。数据对应关系存储库用于持久化存储源系统数据实例与目标系统数据实例的对应关系，以及模型映射和数据映射的配置信息，数据对应关系存储库中的数据可被数据转换模块自动读取和使用。

10、上述实现方式中，工具通过数据对应关系存储库持久化映射关系，支持源系统引用关系到目标系统引用关系的自动修正，确保了关联数据的完整性。

11、在一种可能的实现方式中，数据转换的主流程包括读取数据文件、转换数据模型标记、转换数据属性标记、转换属性值，转换属性值需要通过属性值转换器完成。属性值转换器有三种使用场景：若源数据中某属性值是对另一数据实例的引用，且被引用的数据实例在数据映射配置中已建立对应关系，则工具通过导入数据转换器插件自动将该引用值转换为目标系统中对应数据实例的标识；若源数据中某属性值是根据用户界面输入的数据映射进行数据转换，则工具通过数据映射转换器插件自动将源属性值转换为输入的目标属性值；若源数据中某属性值需要根据目标系统的特殊逻辑进行数据转换，则工具支持目标系统自定义扩展转换器，工具自动调用转换器中的方法对属性值转换为目标值。

12、上述实现方式中，工具通过三种类型的属性值转换器覆盖了不同场景下的属性值转换需求，实现了复杂业务逻辑的灵活处理。

13、在一种可能的实现方式中，数据检查过程首先检查数据的模型及属性映射是否完整，并在此基础上完成数据转换，最后分别使用属性检查器插件和关联对象检查器插件对转换后的数据进行检查。属性检查器插件由目标系统的数据导入插件根据数据类型返回，每类数据对应若干个属性检查器，每个属性检查器对应一个属性，负责返回该属性的有效值范围、数据类型、长度限制和正则表达式规则，工具根据插件返回的有效值或规则验证属性值的合法性。关系检查器插件由目标系统的数据导入插件根据数据类型返回，每个关系检查器对应一对关联数据，负责检查给定数据标识列表在目标系统中是否存在，工具根据插件返回的检查结果判断关联关系的有效性。工具将数据检查结果和异常数据详情进行记录，生成包含错误类型、错误数据位置和错误原因的检查报告，若检查不通过，则终止后续数据导入流程，并提示用户根据错误日志修正数据。

14、上述实现方式中，数据检查机制通过可扩展的插件实现，允许根据目标系统的业务规则动态扩展检查项，保障了导入数据的合法性和一致性。

15、在一种可能的实现方式中，工具对检查后数据按照迁移任务配置的数据类型分组，每组数据通过数据导入插件分别获取目标系统的导入接口，执行数据导入，同时记录源数据和目标数据的对应关系。工具记录的源数据与目标数据的对应关系可作为后续数据映射配置的依据，自动用于后续迁移任务中的关联数据引用修正。

16、上述实现方式中，工具通过分组导入策略降低了接口调用频次，同时自动记录的数据对应关系为后续迁移任务提供了关联数据引用修正的基础。

17、在一种可能的实现方式中，需要对迁移任务进行统一管理。将数据转换、数据检查、数据导入过程封装为可执行任务，支持上传源数据文件或通过数据解析插件调用源系统接口拉取数据两种数据获取方式，提供任务创建、执行、暂停、终止和状态监控功能。支持配置定时任务，实现每日、每周、每月的周期性自动执行，支持批量创建和执行多个迁移任务，支持数据导入失败后的自动重试机制以及失败数据的导出和修正后重新导入功能。

18、上述实现方式中，任务管理机制实现了数据集成与迁移的自动化调度，通过定时任务和批量处理提高了执行效率，自动重试机制则保障了数据导入的可靠性。

19、在一种可能的实现方式中，工具内置标准插件集合，包括内置模型信息读取插件支持工具定义的xml或json格式标准模型信息文件的解析，内置数据解析插件支持工具定义的csv或xml或json格式标准数据交换文件的解析，内置数据转换器插件提供基础数据类型转换、字符串大小写转换、日期格式转换功能，内置检查器插件包括属性值检查器检查属性值的合法性和有效性以及关联对象检查器检查给定数据标识在目标系统中是否存在，内置数据导入插件提供目标系统各业务对象的数据导入接口。

20、上述实现方式中，内置标准插件集合为基础功能提供了开箱即用的插件实现，降低了系统接入的复杂度。

21、在一种可能的实现方式中，插件定义的标准接口包括模型信息读取接口定义获取系统数据模型结构的方法，数据解析接口定义读取源系统待迁移数据的方法，数据导入接口定义将数据写入目标系统并返回新建数据标识的方法，属性值转换接口定义自定义属性值转换逻辑的方法，属性检查接口定义返回属性验证规则和验证属性值合法性的方法，关系检查接口定义检查关联数据在目标系统中存在性的方法。

22、上述实现方式中，标准接口的定义为插件开发提供了统一规范，确保了不同系统插件的兼容性和互换性。

23、第二方面，本技术实施例提供一种基于模型映射和插件扩展的数据集成与迁移工具，该工具包括系统注册单元、插件管理单元、组合配置单元、模型映射单元、数据映射单元、数据转换单元、数据检查单元、数据导入单元以及任务调度与管理单元。系统注册单元用于管理待接入系统的注册信息，包括系统标识、访问地址、认证信息和模型信息描述文件。插件管理单元用于管理功能插件的绑定关系，根据系统角色为注册系统分配模型信息读取插件、数据解析插件、数据导入插件、属性值转换器插件、属性检查器插件和关系检查器插件。组合配置单元用于创建和管理源系统与目标系统的组合配置，生成唯一组合配置标识并存储扩展参数。模型映射单元用于配置和展示三级映射结构，调用插件动态获取模型结构并支持映射模板的导出导入。数据映射单元用于配置数据实例对应关系，管理数据对应关系存储库。数据转换单元用于执行数据模型标记转换、属性标记转换和属性值转换，调用属性值转换器完成复杂转换逻辑。数据检查单元用于执行完整性检查、属性合法性检查和关联关系检查，生成检查报告和异常详情。数据导入单元用于调用数据导入插件执行数据写入，记录源数据与目标数据的对应关系。任务调度与管理单元用于封装可执行任务，管理任务的生命周期和执行状态，支持定时任务和批量任务配置。

24、上述方案中，工具通过模块化的单元设计，将数据集成与迁移的全流程进行了标准化拆解，各单元通过标准接口协同工作，实现了插件化的动态扩展能力。

25、第三方面，本技术实施例提供一种基于插件的数据转换方法，应用于数据转换单元，该方法包括获取原始数据文件并生成待转换原始数据缓冲区，读取并加载外部存储的模型映射配置基于配置信息对原始数据进行数据模型标记转换，读取并加载外部存储的属性映射配置依据配置对已标记模型的原始数据字段进行属性标记转换，读取并加载外部存储的值映射配置依据配置对属性值进行转换，如果对应的值映射配置不存在则将携带模型属性双重标记的原始数据下发至属性值转换器插件集群执行字段值转换逻辑，接收插件集群输出的属性值，组装生成完整的转换后数据集。

26、第四方面，本技术实施例提供一种基于插件的数据检查方法，应用于数据检查单元，该方法包括加载上游原始待导入业务数据集作为整个校验流程输入源，核对数据模型定义、字段映射关系是否缺失、字段匹配是否完整，缺失映射直接生成异常记录，将原始数据转换为系统标准数据结构为后续校验做预处理，检查数据属性值是否有效调用属性检查器插件执行字段值域校验通过属性检查器插件调用获取属性有效值列表接口拉取各字段合法枚举或值域判断当前字段值是否在合法值域内非法值写入异常库，检查被引用数据是否存在调用关联对象检查插件执行外键或关联校验通过关联对象检查器插件调用接口查询目标系统校验关联业务对象是否真实存在关联id不存在对象已删除则生成关联异常，所有校验全部通过的标准化数据集流转至下游数据导入环节所有校验拦截的异常统一存入数据检查结果异常信息详情持久化存储若检查不通过则终止后续数据导入流程并提示用户根据错误日志修正数据。

27、与现有技术相比，本发明具有以下有益效果：

28、通过系统注册与插件绑定机制，本方案实现了数据集成与迁移工具的插件化扩展，新增接入系统仅需开发对应插件即可完成系统接入，无需修改工具核心代码，解决了现有技术中定制化程度高、扩展性差的问题。通过组合配置与动态参数扩展机制，实现了源系统与目标系统的灵活配对以及同一系统在不同迁移场景下的差异化参数配置，解决了现有技术中配置灵活性不足的问题。通过“模型-属性-值”三级映射框架，支持复杂异构数据模型的灵活转换，通过属性值转换器插件实现枚举值转换、单位转换、公式计算等复杂属性值转换逻辑，解决了现有技术中模型适配能力弱的问题。通过可扩展的数据检查机制，允许根据目标系统的业务规则动态扩展检查项，通过属性检查器插件和关系检查器插件保障导入数据的合法性和一致性，解决了现有技术中数据质量保障不完善的问题。通过全流程任务化管理，将数据转换、检查、导入封装为可执行任务，支持定时任务和批量任务配置，实现了自动化数据集成与迁移，解决了现有技术中自动化程度低的问题。本发明大幅降低了异构系统数据集成与迁移的开发和维护成本，提升了配置灵活性、自动化程度和数据可靠性。