缺失数据补全方法、装置、设备及存储介质与流程

摘要: 本发明涉及数据补全,尤其涉及一种缺失数据补全方法、装置、设备及存储介质。背景技术:1、在物流业务的数据处理场景中,多源异构数据普遍存在数据缺失问题,缺失数据会直...
缺失数据补全方法、装置、设备及存储介质与流程

本发明涉及数据补全,尤其涉及一种缺失数据补全方法、装置、设备及存储介质。

背景技术:

1、在物流业务的数据处理场景中,多源异构数据普遍存在数据缺失问题,缺失数据会直接影响运费核算、业务审计以及后续数据分析工作的开展。现阶段常用的缺失数据补全手段多为均值填充、线性插值以及简单统计模型预测等传统方案,这类处理方式在实际应用中存在较多局限。传统补全方法难以捕捉物流数据内部复杂的非线性变化规律,对于业务场景中出现的季节性波动、大促期间业务突变以及特殊运输路线带来的数据特征变化,往往无法有效学习,最终造成补全结果整体精度偏低。与此同时,传统方案大多对各个业务字段进行独立补全处理,忽略物流业务内部不同字段之间的强耦合关联,重量、体积、运输距离以及服务等级等业务参数之间存在业务层面的约束关系,多类参数共同参与基础运费的计算,独立补全的处理方式容易造成补全后的数据内部逻辑相互矛盾,得到的数据无法支撑后续精确的计费审计工作,难以满足业务实际使用需求。除此之外,现有很多补全模型适配场景较为单一,大多仅能够适配固定的缺失模式,面对业务迭代过程中持续变化的业务场景以及不断出现的全新缺失类型,模型泛化能力不足,难以实现稳定可靠的缺失补全效果,无法很好适配复杂多变的物流实际业务。

技术实现思路

1、为了克服现有技术的不足,本发明的目的在于提供一种缺失数据补全方法、装置、设备及存储介质,旨在解决物流数据补全精度低、字段逻辑不一致、泛化能力不足的技术问题,实现提升数据补全精度,保障业务逻辑一致性,适配多变业务场景的技术效果。

2、本发明第一方面提供了一种缺失数据补全方法,包括:获取原始多源异构数据,对所述原始多源异构数据进行数据预处理,得到预处理数据;对所述预处理数据进行结构化映射处理,得到三维原始数据张量和掩码张量;构建初始缺失数据补全模型,基于所述三维原始数据张量和所述掩码张量对所述初始缺失数据补全模型进行两阶段预训练处理,得到优化缺失数据补全模型;基于所述优化缺失数据补全模型计算特征层损失和业务规则层损失;基于所述特征层损失和所述业务规则层损失对所述优化缺失数据补全模型进行联合损失微调处理,得到目标缺失数据补全模型;获取待补全数据,将所述待补全数据输入所述目标缺失数据补全模型进行缺失值补全处理,得到补全数据。

3、可选的,在本发明第一方面的第一种实现方式中,所述对所述原始多源异构数据进行数据预处理,得到预处理数据,包括:采用数据清洗算法对所述原始多源异构数据进行数据清洗处理,得到清洗数据;采用格式校正算法对所述清洗数据进行时间戳格式修正处理,得到修正数据;采用缺失识别算法对所述修正数据进行缺失值标记处理,得到所述预处理数据。

4、可选的,在本发明第一方面的第二种实现方式中,所述对所述预处理数据进行结构化映射处理,得到三维原始数据张量和掩码张量,包括:获取预设的时间窗口,基于所述时间窗口对所述预处理数据中的时间序列进行切片处理,得到时序切片数据;对所述时序切片数据进行多类型字段编码嵌入处理,得到编码时序数据;基于所述编码时序数据生成所述三维原始数据张量和所述掩码张量。

5、可选的,在本发明第一方面的第三种实现方式中,所述基于所述三维原始数据张量和所述掩码张量对所述初始缺失数据补全模型进行两阶段预训练处理,得到优化缺失数据补全模型,包括:获取历史数据集,对所述历史数据集按照预设比例进行字段遮盖处理,以构建无监督训练样本;基于所述无监督训练样本、所述三维原始数据张量和所述掩码张量对所述初始缺失数据补全模型进行第一阶段无监督预训练处理,以对所述初始缺失数据补全模型的生成器和判别器进行交替优化处理,并计算第一对抗损失、第一重构损失和第一特征匹配损失;基于所述第一对抗损失、所述第一重构损失和所述第一特征匹配损失对所述初始缺失数据补全模型的权重参数进行迭代更新;当满足预设的第一迭代停止条件时,输出预训练中间模型;对所述预训练中间模型进行第二阶段有监督微调处理,得到所述优化缺失数据补全模型。

6、可选的,在本发明第一方面的第四种实现方式中,所述对所述预训练中间模型进行第二阶段有监督微调处理,得到所述优化缺失数据补全模型,包括:获取携带真实缺失标签的有监督微调数据集,基于所述有监督微调数据集对所述预训练中间模型进行第二阶段有监督微调处理,并计算监督损失;基于所述监督损失对所述预训练中间模型的权重参数进行迭代更新;当满足预设的第二迭代停止条件时,输出所述优化缺失数据补全模型。

7、可选的,在本发明第一方面的第五种实现方式中,所述基于所述优化缺失数据补全模型计算特征层损失和业务规则层损失,包括:获取所述优化缺失数据补全模型输出的仿真补全数据以及与所述仿真补全数据对应的真实完整数据;获取预训练的自动编码器,对所述自动编码器进行权重冻结处理,得到冻结编码器;将所述仿真补全数据和所述真实完整数据输入所述冻结编码器进行特征提取处理,得到仿真隐层特征向量和真实隐层特征向量;对所述仿真隐层特征向量和所述真实隐层特征向量进行特征向量距离度量计算处理,得到所述特征层损失;构建可微分计费规则计算图,将所述仿真补全数据输入所述可微分计费规则计算图进行计费逻辑正向推演处理,得到至少一个预测计费结果;获取与所述预测计费结果对应的标准计费结果;对所述预测计费结果和所述标准计费结果进行计费结果差异度量计算处理,得到所述业务规则层损失。

8、可选的,在本发明第一方面的第六种实现方式中,所述基于所述特征层损失和所述业务规则层损失对所述优化缺失数据补全模型进行联合损失微调处理,得到目标缺失数据补全模型,包括:获取联合微调样本,基于所述联合微调样本对所述优化缺失数据补全模型进行前向推理处理,以计算第二对抗损失、第二重构损失和第二特征匹配损失;将所述第二对抗损失、所述第二重构损失、所述第二特征匹配损失、所述特征层损失和所述业务规则层损失进行加权求和处理,得到联合总损失;基于所述联合总损失,采用反向传播算法对所述优化缺失数据补全模型的权重参数进行迭代更新;当满足预设的联合微调停止条件时,输出所述目标缺失数据补全模型。

9、本发明第二方面提供了一种缺失数据补全装置,包括:数据预处理模块:用于获取原始多源异构数据,对所述原始多源异构数据进行数据预处理,得到预处理数据;结构化映射模块:用于对所述预处理数据进行结构化映射处理,得到三维原始数据张量和掩码张量;两阶段预训练模块:用于构建初始缺失数据补全模型,基于所述三维原始数据张量和所述掩码张量对所述初始缺失数据补全模型进行两阶段预训练处理,得到优化缺失数据补全模型;损失计算模块:用于基于所述优化缺失数据补全模型计算特征层损失和业务规则层损失;联合损失微调模块:用于基于所述特征层损失和所述业务规则层损失对所述优化缺失数据补全模型进行联合损失微调处理,得到目标缺失数据补全模型;缺失值补全模块:用于获取待补全数据,将所述待补全数据输入所述目标缺失数据补全模型进行缺失值补全处理,得到补全数据。

10、本发明第三方面提供了一种缺失数据补全设备,所述缺失数据补全设备包括:存储器和至少一个处理器,所述存储器中存储有指令;至少一个所述处理器调用所述存储器中的所述指令,以使得所述缺失数据补全设备执行上述任一项所述的缺失数据补全方法的各个步骤。

11、本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现上述任一项所述缺失数据补全方法的各个步骤。

12、本发明的技术方案中,首先获取原始多源异构数据,对原始多源异构数据进行数据预处理,得到预处理数据,然后对预处理数据进行结构化映射处理,得到三维原始数据张量和掩码张量,接着构建初始缺失数据补全模型,基于三维原始数据张量和掩码张量对初始缺失数据补全模型进行两阶段预训练处理,得到优化缺失数据补全模型,基于优化缺失数据补全模型计算特征层损失和业务规则层损失,基于特征层损失和业务规则层损失对优化缺失数据补全模型进行联合损失微调处理,得到目标缺失数据补全模型,最后获取待补全数据,将待补全数据输入目标缺失数据补全模型进行缺失值补全处理,得到补全数据,旨在解决物流数据补全精度低、字段逻辑不一致、泛化能力不足的技术问题,实现提升数据补全精度,保障业务逻辑一致性,适配多变业务场景的技术效果。