一种基于机器学习的信息系统集成方法与流程

本发明涉及机器学习与信息系统集成，具体为一种基于机器学习的信息系统集成方法。

背景技术：

1、传统技术手段主要依赖etl工具与esb架构，由集成工程师预先针对源系统与目标系统的接口规范人工定义静态字段映射规则，并将映射逻辑硬编码至集成脚本中，按照固定规则完成数据的抽取、转换与加载，该类方案对集成工程师的人工投入依赖程度高，运维成本较高，当源系统接口发生未通知的隐式结构变更或语义变更时，硬编码的映射逻辑无法识别新结构，集成链路随即解析失败，需要人工介入排查修复，业务连续性难以保障；

2、与本发明最为接近的现有技术为基于机器学习模型的自动接口映射方案，该方案的结构组成包括接口文档解析模块、特征向量编码模块、相似度计算与匹配模块以及映射代码生成模块，各模块按顺序串联，该方案通过预训练语言模型或图神经网络计算源字段与目标字段之间的语义相似度，选取相似度最高的字段对作为映射结果，并将映射结果直接生成数据转换脚本投入集成链路运行，该方案具备一定的泛化能力，但其决策过程本质上是概率分布输出，内部不存在独立于神经网络之外的逻辑正确性校验环节，面对训练数据中未出现过的新字段组合，容易输出语义错误的映射并被直接执行，且机器学习模块与执行环节之间不存在反馈闭环，模型无法从验证失败的案例中自主学习改进，只能依赖人工重新标注数据离线再训练，迭代周期较长。

技术实现思路

1、本发明要解决的技术问题是：现有企业级信息系统集成技术在应对源系统接口发生未通知的字段结构变更与字段语义变更时，缺乏一种兼具动态自适应能力与逻辑安全保障能力的自动化数据映射方法，具体表现为：基于静态规则的集成方式无法应对接口的动态变更，一旦源系统字段名称、嵌套层级或数据类型发生隐式改变，集成链路即出现解析失败，需要人工介入排查修复；

2、基于机器学习模型的接口映射方案的决策过程本质上是概率分布输出，缺乏可验证的逻辑保障，面对未见过的新字段组合容易产生语义错误的映射，一旦该映射被直接投入生产环境执行，存在数据一致性风险；

3、现有技术中机器学习模块与验证执行环节之间缺乏反馈闭环，模型无法利用验证失败信息进行自我修正，只能依赖人工重新标注数据进行离线再训练。

4、为解决上述技术问题，本发明提供一种基于机器学习的信息系统集成方法，该方法包括：检测源系统接口是否发生未通知的字段结构变更与字段语义变更；

5、在检测到所述变更时，将发生变更的字段及其树状上下文结构输入经元学习训练得到的深度图编码器，得到该字段的隐层嵌入向量，并对目标系统的候选字段集合中的每个候选字段进行同样的编码，得到对应的隐层嵌入向量；

6、根据所述隐层嵌入向量计算源字段与各候选字段之间的语义相似度，结合字段名称字符串相似度与数据类型一致性对所述语义相似度进行加权融合，得到每个候选字段对应的综合置信度分数，将综合置信度分数不低于预设阈值的字段对确定为候选映射集合；

7、将所述候选映射集合中的每条候选映射转译为一阶逻辑谓词表达式，根据源字段与目标字段所属的业务概念从预先构建的行业本体知识库中检索相关约束公理，将所述一阶逻辑谓词表达式与检索到的约束公理进行组合，构造抽象语法树；

8、将所述抽象语法树转换为可满足性模理论求解器可识别的约束满足问题公式，利用可满足性模理论求解器对所述约束满足问题公式进行可满足性判定；

9、在判定结果为满足预设约束条件时，生成对应的数据转换与集成执行代码并投入集成链路执行；

10、在判定结果为不满足预设约束条件时，输出导致不满足的被违反约束条件子集，根据所述被违反约束条件子集计算惩罚反馈值，利用强化学习策略网络根据所述惩罚反馈值与当前状态生成对候选映射方案的调整动作，得到调整后的候选映射并重新进行验证，直至判定结果为满足预设约束条件为止。

11、采用上述技术方案，与现有技术相比，本发明的有益效果在于：

12、1.本发明通过元学习训练深度图编码器，使其学习到结构与语义特征对齐的通用元知识，而非强记特定业务系统的静态映射样本，从而在源系统接口发生未通知的变更时，仍能够在缺乏该字段标注样本的条件下实时提取新字段的语义与结构特征并生成候选映射，提升了系统对接口动态变更的自适应能力；

13、2.本发明通过将候选映射转译为一阶逻辑表达式并结合行业本体知识库进行可满足性形式化验证，仅放行经逻辑判定满足预设约束条件的映射操作，在机器学习模型输出结果投入生产执行之前增加了一道独立的逻辑正确性校验环节，降低了因语义错误映射被直接执行而引发数据一致性问题的风险；

14、3.本发明通过将验证环节输出的被违反约束条件转化为强化学习的惩罚反馈信号，反向指导候选映射生成模型的策略迭代更新，并将验证通过的映射样本反哺至元学习训练任务集合，使系统在验证不通过时能够自动调整候选映射并重新验证，减少了对人工重新标注数据进行离线再训练的依赖，缩短了系统应对接口变更的响应周期。

1.一种基于机器学习的信息系统集成方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述深度图编码器通过如下方式训练得到：从历史多个业务系统的接口映射语料库中采样构建多个元训练任务，每个所述元训练任务包括源接口、目标接口以及已知正确映射构成的样本，并将每个所述元训练任务划分为支持集与查询集；针对每个所述元训练任务，基于当前元参数并利用该元训练任务的支持集计算任务损失，沿梯度下降方向更新得到该元训练任务对应的适应参数；利用各个所述元训练任务的查询集数据，计算经适应参数更新后的模型的泛化损失，并汇总多个所述元训练任务的泛化损失对所述当前元参数进行梯度更新，将迭代更新后得到的元参数确定为所述深度图编码器的模型参数。

3.根据权利要求1所述的方法，其特征在于，计算源字段与候选字段之间的语义相似度包括：计算源字段的隐层嵌入向量与候选字段的隐层嵌入向量之间的余弦相似度，将所述余弦相似度确定为源字段与候选字段之间的语义相似度。

4.根据权利要求1所述的方法，其特征在于，所述行业本体知识库中存储的约束公理包括量纲一致性公理、数值边界约束公理以及业务强约束公理，所述业务强约束公理用于表征货币结算一致性约束与主键唯一性约束。

5.根据权利要求1所述的方法，其特征在于，生成对候选映射方案的调整动作包括：将当前接口映射任务的源字段嵌入向量、目标字段嵌入向量、历史映射尝试记录以及上一次可满足性判定结果编码为强化学习环境的状态；所述强化学习策略网络根据所述状态输出用于对候选映射方案进行目标候选字段更换、数据类型转换算子插入以及嵌套路径拆分的调整动作。

6.根据权利要求1所述的方法，其特征在于，计算惩罚反馈值包括：在判定结果为满足预设约束条件时，赋予固定的正向奖励值；在判定结果为不满足预设约束条件时，根据被违反约束条件的数量与严重程度确定加权度量值，将所述加权度量值与预设的惩罚系数相乘得到的数值确定为惩罚反馈值。

7.根据权利要求1所述的方法，其特征在于，所述强化学习策略网络的策略参数通过近端策略优化算法进行更新，所述近端策略优化算法根据更新前策略与更新后策略在同一状态下选择同一动作的概率比值构造裁剪目标函数，将所述概率比值裁剪至预设的裁剪区间内，沿所述裁剪目标函数对策略参数的梯度方向进行更新。

8.根据权利要求1所述的方法，其特征在于，还包括：将经强化学习策略网络调整后、且重新验证判定结果为满足预设约束条件的候选映射样本加入所述深度图编码器的元训练任务集合，作为增量训练样本用于对所述深度图编码器进行迭代训练更新。

9.一种基于机器学习的信息系统集成装置，其特征在于，包括：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的基于机器学习的信息系统集成方法。