映射建立方法及相关设备与流程
本技术涉及映射建立,特别是一种映射建立方法及相关设备。
背景技术:
1、随着信息化建设水平的提高,业务系统间的数据集成需求日益增长。跨系统的数据互通已成为一种关键的信息建设环节。传统的跨系统集成通常采用点对点(point-to-point)方式,由对接双方就技术协议、接口出入参等细节进行约定,再由开发人员编写适配代码完成系统间的集成工作。然而,这种方式在接口变更时,调用方往往需要同步调整代码。不同系统间的技术栈差异也可能导致兼容性问题,增加调试与维护成本。同时,缺乏统一的消息路由、格式转换和事务处理机制,使得集成架构难以扩展和复用。
2、对此,企业集成模式(enterprise integration patterns,eip)中间件的出现一定程度上缓解了上述问题。eip中间件内置了多种标准化集成模式组件,使开发人员能够快速构建集成流程,降低了系统间的直接耦合。然而,eip中间件仍存在明显不足。具体而言,eip需要额外的学习成本和较高的配置复杂度;其次,在异构系统对接时,仍需要人工反复沟通协议、字段映射等细节,效率低下。此外,随着微服务架构的普及和系统复杂度的上升,传统的集成方案仍难以满足快速部署实施的需求。
3、近年来,随着大语言模型技术的发展,业界开始尝试利用大模型直接生成应用程序编程接口(application programming interface,api)的接口映射关系,以期减少人工参与。然而,现有基于大模型的方案得到的映射正确率较低无法满足业务需求。
技术实现思路
1、有鉴于此,本技术提供了一种映射建立方法及相关设备,可以有效提升字段映射的正确率和系统间集成的效率。
2、第一方面,本技术实施方式提供了一种映射建立方法,该方法包括:基于待映射字段的语义特征,在第一系统的至少一个字段中确定至少一个候选字段,所述待映射字段为第二系统中的字段,所述第二系统与所述第一系统不同;确定所述待映射字段与所述至少一个候选字段中每个候选字段的多维相似度;将所述多维相似度输入预训练的第一模型,得到至少一个映射概率,所述至少一个映射概率与所述至少一个候选字段一一对应;基于历史映射数据对所述至少一个映射概率进行校准,得到至少一个置信度,所述至少一个置信度与所述至少一个候选字段一一对应;基于所述至少一个置信度在所述至少一个候选字段确定所述待映射字段的目标映射字段,以建立所述待映射字段和所述目标映射字段间的映射。由此可见,在本技术的实施方式中,通过语义特征从第一系统中确定可能匹配映射的至少一个候选字段,再确定待映射字段与各候选字段的多维相似度,将多维相似度输入第一模型得到映射概率,并利用历史映射数据对该概率进行校准得到置信度,最终基于置信度确定目标映射字段并建立映射关系。该过程中利用了历史映射数据中真实的映射经验对映射概率进行了修正,使修正后的映射概率,即置信度中包含基于历史统计的特征。继而,有效提升了映射的正确率和系统间集成的效率。
3、结合第一方面,在一种可能的实施方式中,所述基于历史映射数据对所述至少一个映射概率进行校准,得到至少一个置信度,包括:基于第一映射概率确定对应的概率桶,所述概率桶对应的概率范围包括所述第一映射概率,所述第一映射概率为所述至少一个映射概率中的任意一个;确定所述概率桶中标注为映射正确的历史映射样本的数量与所述概率桶中所有历史映射样本的数量的比值,所述概率桶中所有历史映射样本为对所述历史映射数据中的历史映射样本进行概率预测后,历史映射概率位于所述概率范围内的历史映射样本;将所述比值作为所述第一映射概率校准后的置信度。由此可见,在本技术的实施方式中,通过将映射概率归类至对应的概率桶,并统计该概率桶中历史映射样本中被标注为映射正确的样本数量与所有样本数量的比值,将该比值作为校准后的置信度。该过程利用了历史映射数据中真实的映射结果对原始映射概率进行修正,减少了原始概率可能存在的偏差,使校准后的置信度能够真实反映映射正确的可能性,有效提升了映射决策所依据的数据可靠性。
4、结合第一方面,在一种可能的实施方式中,在所述确定所述概率桶中标注为映射正确的样本的数量与所述概率桶中所有样本的数量的比值之前,所述方法还包括:将所述历史映射数据中的每个历史映射样本对应的历史多维相似度输入所述第一模型,得到所述每个历史映射样本对应的历史映射概率;将所述历史映射概率位于所述概率桶的概率范围内的历史映射样本,确定为所述概率桶中的历史映射样本。由此可见,在本技术的实施方式中,在统计概率桶中的比值之前,先将历史映射数据中的每个历史映射样本对应的历史多维相似度输入第一模型,得到每个历史映射样本对应的历史映射概率,再根据该历史映射概率将样本归入对应的概率桶中。该过程使得历史映射样本的概率预测方式与当前待映射字段的映射概率确定方式保持一致,使历史样本的统计分布与当前预测结果处于同一度量尺度下,提高了校准过程的可比性和有效性。
5、结合第一方面,在一种可能的实施方式中,所述概率桶为按照预设的桶数量,对所述历史映射数据中的所有历史映射样本进行等频分桶后得到的。由此可见,在本技术的实施方式中,概率桶通过对历史映射数据中的所有映射样本进行等频分桶得到,使每个概率桶中包含大致相等数量的历史样本,减少了因各概率区间内样本数量差异过大而导致的统计偏差,提升了置信度校准的稳定性。
6、结合第一方面,在一种可能的实施方式中,在所述基于待映射字段的语义特征,在第一系统的至少一个字段中确定至少一个候选字段之前,所述方法还包括:获取所述待映射字段的多维特征;基于所述多维特征确定所述待映射字段的语义特征。由此可见,在本技术的实施方式中,通过获取待映射字段的多维特征并基于多维特征确定其语义特征,使得语义特征的确定融合了字段多个维度的信息,而非仅依赖字段本身,能够更全面地反映字段的业务含义,为候选字段的确定提供了更准确的语义依据。
7、结合第一方面,在一种可能的实施方式中,所述多维特征包括:所述待映射字段的文本特征、所述待映射字段的结构特征、所述待映射字段的数据类型特征和所述待映射字段的取值分布特征中的至少两个。由此可见,在本技术的实施方式中,多维特征涵盖了文本特征、结构特征、数据类型特征和取值分布特征中的至少两个,能够从字段的命名信息、位置关系、数据格式和实际取值等多个角度全面刻画字段属性,有效提升了语义特征对字段业务含义的表达能力。
8、结合第一方面,在一种可能的实施方式中,所述基于所述多维特征确定所述待映射字段的语义特征,包括:将所述多维特征拼接为文本描述;将所述文本描述编码为n维语义向量以作为所述语义特征,所述n为大于0的整数。由此可见,在本技术的实施方式中,将多维特征拼接为文本描述后编码为语义向量,实现了将多个维度的字段信息融合为一个统一的向量表示,便于后续进行高效的相似度计算和比较。
9、结合第一方面,在一种可能的实施方式中,所述多维相似度包括:语义相似度、字符串相似度、名称匹配度、数据类型相似度、结构特征相似度和上下文特征相似度中的至少两个。由此可见,在本技术的实施方式中,多维相似度具体包含语义相似度、字符串相似度、名称匹配度、数据类型相似度、结构特征相似度和上下文特征相似度中的至少两个,从语义内涵、字符构成、命名规则、数据类型、结构位置和上下文环境等至少两个角度全面衡量字段间的相似性,为映射概率的确定提供了充分的多维度依据。
10、结合第一方面,在一种可能的实施方式中,在所述将所述多维相似度输入预训练的第一模型,得到至少一个映射概率之前,所述方法还包括:提取所述历史映射数据中的至少一个历史映射关系记录,每个历史映射关系记录包括映射的两个字段的字段名、所述两个字段中每个字段的上下文和所述两个字段的映射结果,所述两个字段的映射结果用于标注所述两个字段的映射关系是否正确;利用每个历史映射关系记录中的所述两个字段的字段名和所述两个字段中每个字段的上下文,确定至少一个多维相似度,所述至少一个多维相似度包括每个历史映射关系记录对应的所述两个字段的多维相似度;将所述至少一个历史映射关系记录和所述至少一个多维相似度输入初始模型,得到至少一个第二映射概率,所述至少一个第二映射概率与所述至少一个历史映射关系记录一一对应;计算每个第二映射概率与对应的历史映射关系记录包括的映射结果的损失,对所述初始模型进行训练,得到所述第一模型。由此可见,在本技术的实施方式中,通过提取历史映射数据中的历史映射关系记录,以每个历史映射关系记录中两个字段的字段名和上下文为依据确定其多维相似度,并以映射结果作为标注,将历史映射关系记录及其多维相似度输入初始模型,计算模型输出的映射概率与真实映射结果之间的损失并迭代优化,训练得到第一模型。该过程使模型逐步学习到历史映射数据中隐含的映射规律,从而获得能够准确预测映射概率的第一模型,为后续的映射概率预测提供了可靠的模型基础。
11、结合第一方面,在一种可能的实施方式中,所述基于所述至少一个置信度在所述至少一个候选字段确定所述待映射字段的目标映射字段,包括:确定所述至少一个置信度中的一个或多个最大值;基于所述一个或多个最大值,在所述至少一个候选字段确定所述待映射字段的目标映射字段。由此可见,在本技术的实施方式中,通过从至少一个候选字段对应的置信度中确定一个或多个最大值,并基于该一个或多个最大值确定目标映射字段,决策规则明确,可以快速确定映射结果。
12、结合第一方面,在一种可能的实施方式中,所述一个或多个最大值为一个最大值,所述基于所述一个或多个最大值,在所述至少一个候选字段确定所述待映射字段的目标映射字段,包括:在所述一个最大值大于或等于预设的置信度阈值的情况下,将所述一个最大值对应的候选字段确定为所述目标映射字段;在所述一个最大值小于所述置信度阈值的情况下,将所述至少一个置信度按从大到小的顺序排序,将排序前m个置信度中每个置信度对应的候选字段和所述每个置信度对应的候选字段的映射理由发送至用户,响应于所述用户对目标候选字段的选择结果,将所述选择结果中的所述目标候选字段确定为所述目标映射字段,所述目标候选字段为所述用户在所述m个置信度各自对应的候选字段中选定的候选字段,所述映射理由包括语义相似度、字符串相似度和名称匹配度中的至少一个,所述m为大于0的整数。由此可见,在本技术的实施方式中,当最大置信度为一个时,若其达到或超过预设的置信度阈值时,可以自动将对应的候选字段确定为目标映射字段,无需人工参与,提升了映射效率;当最大置信度低于预设的置信度阈值时,将多个候选字段及其对应的映射理由提供给用户,由用户进行选择确认,提高了低置信度场景下映射结果的正确性。
13、结合第一方面,在一种可能的实施方式中,所述一个或多个最大值为多个最大值,所述基于所述一个或多个最大值,在所述至少一个候选字段确定所述待映射字段的目标映射字段,包括:在所述多个最大值均大于或等于预设的置信度阈值的情况下,获取所述多个最大值对应的多个候选字段的映射概率,将所述映射概率最大的候选字段确定为所述目标映射字段;在所述多个最大值均小于所述置信度阈值的情况下,若所述多个最大值对应的多个候选字段的数量大于或等于m,将所述多个最大值对应的多个候选字段和每个候选字段的映射理由发送至用户,若所述多个最大值对应的多个候选字段的数量小于m,将所述至少一个置信度按从大到小的顺序排序,将排序前m个置信度中每个置信度对应的候选字段和所述每个置信度对应的候选字段的映射理由发送至用户,响应于所述用户对目标候选字段的选择结果,将所述选择结果中的所述目标候选字段确定为所述目标映射字段,所述目标候选字段为所述用户在所述多个最大值对应的多个候选字段或者所述m个置信度各自对应的候选字段中选定的候选字段,所述映射理由包括语义相似度、字符串相似度和名称匹配度中的至少一个,所述m为大于0的整数。由此可见,在本技术的实施方式中,当最大置信度为多个时,若多个最大置信度且均达到或超过置信度阈值时,可以通过还原其对应的候选字段的映射概率进行二次比较,将映射概率最大的候选字段确定为目标映射字段,利用了原始映射概率的细粒度信息打破平局,有效解决了并列置信度场景下无法决策的问题。当多个最大置信度均低于置信度阈值时,若其对应的候选字段的数量大于或等于m则全部发送给用户,若小于m则补足至m个候选后发送给用户,响应于用户的选择结果确定目标映射字段。由此,在模型不确定时使得用户拥有充足的候选字段进行容错选择,同时减少了因截取并列候选而导致的不公平性。
14、结合第一方面,在一种可能的实施方式中,所述基于待映射字段的语义特征,在第一系统的至少一个字段中确定至少一个候选字段,包括:确定至少一个相似度,所述至少一个相似度包括所述待映射字段的语义特征与所述至少一个字段中每个字段的语义特征的相似度;将所述至少一个相似度按从大到小的顺序排列,将排序前k个相似度对应的字段确定为所述至少一个候选字段,k为大于0的整数。由此可见,在本技术的实施方式中,通过计算待映射字段与第一系统至少一个字段的语义特征间的相似度,并按相似度从大到小排序后选取前k个字段作为候选字段。使高相似度字段被优先纳入候选范围的同时,通过k值控制候选字段的数量,便于根据实际需求灵活平衡后续处理的精度和效率。
15、第二方面,本技术实施方式提供了一种第一模型的训练方法,该方法包括:提取历史映射数据中的至少一个历史映射关系记录,每个历史映射关系记录包括映射的两个字段的字段名、所述两个字段中每个字段的上下文和所述两个字段的映射结果,所述两个字段的映射结果用于标注所述两个字段的映射关系是否正确;利用每个历史映射关系记录中的所述两个字段的字段名和所述两个字段中每个字段的上下文,确定至少一个多维相似度,所述至少一个多维相似度包括每个历史映射关系记录对应的所述两个字段的多维相似度;将所述至少一个历史映射关系记录和所述至少一个多维相似度输入初始模型,得到至少一个第二映射概率,所述至少一个第二映射概率与所述至少一个历史映射关系记录一一对应;计算每个第二映射概率与对应的历史映射关系记录包括的映射结果的损失,对初始模型进行训练,得到第一模型。由此可见,在本技术的实施方式中,通过从历史映射数据中提取映射关系记录,确定记录中两个字段之间的多维相似度,并将映射关系记录及其多维相似度作为输入特征训练初始模型,使第一模型能够从历史数据中学习多维相似度特征与映射正确性之间的对应规律。该训练过程中,历史映射数据中的映射结果作为真实标注参与损失计算并指导模型参数迭代优化,使得训练得到的第一模型具备基于多维相似度综合评估字段间映射概率的能力,继而能够有效将历史映射经验泛化至新的映射场景,从而在推理时输出准确可靠的映射概率,为后续基于置信度的映射决策提供高质量的概率输入,减少了人工干预需求,提升了映射建立的自动化程度和准确率。
16、第三方面,本技术实施方式提供了一种映射建立装置,该装置包括:
17、第一确定单元,用于基于待映射字段的语义特征,在第一系统的至少一个字段中确定至少一个候选字段,所述待映射字段为第二系统中的字段,所述第二系统与所述第一系统不同;
18、第二确定单元,用于确定所述待映射字段与所述至少一个候选字段中每个候选字段的多维相似度;
19、输入单元,用于将所述多维相似度输入预训练的第一模型,得到至少一个映射概率,所述至少一个映射概率与所述至少一个候选字段一一对应;
20、校准单元,用于基于历史映射数据对所述至少一个映射概率进行校准,得到至少一个置信度,所述至少一个置信度与所述至少一个候选字段一一对应;
21、映射单元,用于基于所述至少一个置信度在所述至少一个候选字段确定所述待映射字段的目标映射字段,以建立所述待映射字段和所述目标映射字段间的映射。
22、第四方面,本技术实施方式提供了一种电子设备,包括存储器和处理器,存储器用于存储计算机程序,计算机程序包括程序指令,处理器被配置用于调用所述程序指令,执行上述第一方面所设计的方法中的步骤。
23、第五方面,本技术实施方式提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本技术实施方式第一方面方法中所描述的部分或全部步骤。
24、第六方面,本技术实施方式提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本技术实施方式第一方面方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
25、第三方面至第六方面的技术方案所带来的有益效果可以参见第一方面的技术方案所带来的技术效果,此处不再赘述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com