数据校验方法、装置、计算机设备及存储介质与流程
本申请涉及人工智能,适用于金融科技领域和医疗健康领域,尤其涉及一种数据校验方法、装置、计算机设备及存储介质。
背景技术:
1、在大数据迁移场景中,常需要对迁移前后的数据进行校验,以确保迁移过程中未出现错误。例如,在金融领域,交易流水、清算数据在数据迁移后需要进行严格的数据校验,以避免财务差错;在医疗领域,电子病历、影像数据等在系统升级或数据集中时,同样需要在迁移后进行校验,以避免因数据错误影响临床决策和医疗安全。在现有技术中,处理大规模数据时往往仍采用传统的全量校验算法,导致数据校验效率不高。因此,如何在大数据迁移完成后提高数据校验效率,成为亟待解决的技术问题。
技术实现思路
1、本申请实施例提供一种数据校验方法、装置、计算机设备及存储介质,用于在大数据迁移完成后提高数据校验效率。
2、第一方面,提供了一种数据校验方法,包括:
3、获取目标源数据和目标迁移数据;
4、对所述目标源数据进行特征提取,得到元数据特征和拓扑图特征;
5、对所述元数据特征和所述拓扑图特征进行特征融合,得到融合数据特征;
6、根据所述融合数据特征对预设的校验策略方案进行筛选,得到目标校验方案;
7、根据所述目标校验方案和所述融合数据特征对所述目标源数据和所述目标迁移数据进行数据校验。
8、第二方面,提供了一种数据校验装置,包括:
9、获取数据模块,用于获取目标源数据和目标迁移数据;
10、特征提取模块,用于对所述目标源数据进行特征提取,得到元数据特征和拓扑图特征;
11、特征融合模块,用于对所述元数据特征和所述拓扑图特征进行特征融合,得到融合数据特征;
12、方案筛选模块,用于根据所述融合数据特征对预设的校验策略方案进行筛选,得到目标校验方案;
13、数据校验模块,用于根据所述目标校验方案和所述融合数据特征对所述目标源数据和所述目标迁移数据进行数据校验。
14、第三方面,提供了一种计算机设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述数据校验方法的步骤。
15、第四方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述数据校验方法的步骤。
16、上述数据校验方法、装置、计算机设备及存储介质所实现的方案中,通过获取目标源数据和目标迁移数据,并对目标源数据进行特征提取,得到元数据特征和拓扑图特征,从而能够从数据属性和数据关联关系两个维度表征目标源数据;进一步地,通过对元数据特征和拓扑图特征进行特征融合,得到融合数据特征,使得融合数据特征能够综合反映目标源数据的数据特性及拓扑关联特性;进而,根据融合数据特征对预设的校验策略方案进行筛选,得到与目标源数据的数据特性相匹配的目标校验方案,减少采用固定校验方案或全量校验方式所产生的不必要校验操作;最后,根据目标校验方案和融合数据特征对目标源数据和目标迁移数据进行数据校验,实现针对数据特性的差异化校验,从而降低大规模数据迁移场景下的数据校验开销,提高数据校验效率。
1.一种数据校验方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述对所述目标源数据进行特征提取,得到元数据特征和拓扑图特征,包括:
3.根据权利要求1所述的方法,其特征在于,所述对所述元数据特征和所述拓扑图特征进行特征融合,得到融合数据特征,包括:
4.根据权利要求1所述的方法,其特征在于,所述根据所述融合数据特征对预设的校验策略方案进行筛选,得到目标校验方案,包括:
5.根据权利要求1-4任一项所述的方法,其特征在于,所述根据所述目标校验方案和所述融合数据特征对所述目标源数据和所述目标迁移数据进行数据校验,包括:
6.根据权利要求5所述的方法,其特征在于,所述根据所述第一校验结果和所述融合数据特征对所述目标源数据和所述目标迁移数据进行语义数据校验,包括:
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
8.一种数据校验装置,其特征在于,所述装置包括:
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述数据校验方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述数据校验方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com