一种基于业务数据的模型训练方法及装置与流程
本发明属于模型训练的,尤其涉及一种基于业务数据的模型训练方法及装置。
背景技术:
1、随着各行业数字化、智能化转型的不断深入,各类业务场景持续积累海量的结构化、非结构化业务数据。基于大规模真实业务数据训练人工智能模型,已成为挖掘业务潜在规律、实现智能决策、风险预判与业务优化的核心技术路径。模型的训练效果,直接决定了智能化业务系统的识别精度、预测能力与场景适配能力,是保障业务智能系统稳定、高效落地运行的关键。
2、在实际业务落地场景中,业务数据具有海量性、时序性、动态性及异步性等复杂特征,真实业务环境的数据分布与数据状态存在极强的不确定性,对模型训练的数据筛选、样本构建、数据利用方式提出了极高要求。传统的业务模型训练方式,多采用固定的数据筛选规则与单一的样本构建逻辑,对复杂场景下的异构业务数据适配能力不足,难以充分挖掘海量业务数据的潜在价值。
技术实现思路
1、有鉴于此,本发明实施例提供了一种基于业务数据的模型训练方法及装置,以解决传统的业务模型训练方式,多采用固定的数据筛选规则与单一的样本构建逻辑,对复杂场景下的异构业务数据适配能力不足的技术问题。
2、本发明实施例的第一方面提供了一种基于业务数据的模型训练方法,所述基于业务数据的模型训练方法包括:
3、1.一种基于业务数据的模型训练方法,其特征在于,所述基于业务数据的模型训练方法包括:
4、获取针对目标业务的多源业务数据,将同一业务对象的业务数据在其生命周期内的多个业务事件按发生时间先后排列构成业务事件链,从所述业务事件链中提取训练样本;其中,每个训练样本包括样本特征和业务标签;
5、将到账时延未超过预设时延的训练样本作为完整标签样本,将到账时延超过所述预设时延的训练样本作为部分标签样本;其中,所述到账时延为业务标签的确认时间与对应业务事件的发生时间之间的时间差;
6、基于完整标签样本和部分标签样本,共同训练预设模型,得到目标模型。
7、进一步地,所述获取针对目标业务的多源业务数据,将同一业务对象的业务数据在其生命周期内的多个业务事件按发生时间先后排列构成业务事件链,从所述业务事件链中提取训练样本的步骤包括:
8、以业务单据标识为键,将所述多源业务数据中属于同一业务对象的业务数据聚合;
9、将聚合后的业务数据按各自对应业务事件的发生时间先后排序;
10、对排序后相邻的两条业务数据,提取后一条业务数据相对前一条业务数据发生字段变更的字段集合;
11、将所述字段集合与所述两条业务数据之间的时间间隔拼接为所述两条业务数据之间的边信息;
12、以各业务数据为节点、以所述边信息为节点之间的连接,构成所述业务事件链;
13、在所述业务事件链上确定目标业务事件对应的节点,截取以该节点为终点且长度不超过预设链长的节点序列,作为事件链片段;
14、将所述事件链片段中各节点的字段取值与各节点之间的边信息拼接为所述样本特征;
15、将所述目标业务事件对应的业务结果字段的取值作为所述业务标签;其中,所述业务结果字段为业务数据中记载目标业务事件最终结果的字段。
16、进一步地,所述基于完整标签样本和部分标签样本,共同训练预设模型,得到目标模型的步骤包括:
17、对每个完整标签样本,以其业务标签为监督目标,将完整标签样本输入预设模型计算监督损失;
18、对每个部分标签样本,以所述业务事件链中位于对应业务事件之后的中间业务事件的确认结果作为部分标签;
19、计算代理损失的权重,并从所述部分标签中筛选有效部分标签;
20、以所述有效部分标签为监督目标,将部分标签样本输入预设模型计算代理损失;
21、基于代理损失的权重,计算加权后的代理损失;
22、获取每个训练样本对应业务对象的业务等级;其中,所述业务等级包括高等级、中等级和低等级;
23、根据预设映射表将所述业务等级映射为误分类代价系数;其中,所述预设映射表中所述高等级对应第一系数、所述中等级对应第二系数、所述低等级对应第三系数,所述第一系数大于所述第二系数,所述第二系数大于所述第三系数;
24、将完整标签样本的监督损失乘以该完整标签样本的误分类代价系数,得到第一代价敏感损失;
25、将部分标签样本加权后的代理损失乘以该部分标签样本的误分类代价系数,得到第二代价敏感损失;
26、以所述第一代价敏感损失和所述第二代价敏感损失共同调整预设模型中的参数,得到所述目标模型。
27、进一步地,所述对每个部分标签样本,以所述业务事件链中位于对应业务事件之后的中间业务事件的确认结果作为部分标签步骤包括:
28、从所述业务事件链中选取位于对应业务事件的发生时间之后且位于当前训练时刻之前的中间业务事件;
29、保留事件类型属于预设关键事件类型集合的中间业务事件;其中,所述预设关键事件类型集合包括与所述业务标签的确认存在先后依赖关系的业务事件类型;
30、对每个保留的中间业务事件,将其确认结果映射为对所述业务标签取值的标签支持度;其中,所述标签支持度为该中间业务事件的确认结果所暗示的业务标签取值的概率;
31、计算每个保留的中间业务事件与对应业务事件之间的时间间隔,作为事件距离;
32、将各标签支持度按事件距离从近到远递减的权重进行加权求和,将加权求和结果作为所述部分标签。
33、进一步地,所述计算代理损失的权重,并从所述部分标签中筛选有效部分标签的步骤包括:
34、获取所述目标业务的预设结算周期;其中,所述预设结算周期为所述业务标签在所述目标业务的业务流程中从业务事件发生到确认完成的正常时长;
35、计算所述到账时延与所述预设结算周期的比值作为账龄比率;
36、以所述账龄比率为指数、以预设衰减底数进行幂运算,将得到的幂确定为该部分标签样本的代理损失的权重;其中,所述预设衰减底数为大于0且小于1的常数;
37、当所述账龄比率大于预设倍数时,将该部分标签样本从当前训练轮次中剔除,加入等待队列;
38、监听所述等待队列中各训练样本的业务标签的到账情况;
39、当所述等待队列中的训练样本的业务标签到账时,将该训练样本由部分标签样本转为完整标签样本;其中,转换后的完整标签样本用于以该训练样本的业务标签计算监督损失并重新加入训练。
40、进一步地,在所述基于完整标签样本和部分标签样本,共同训练预设模型,得到目标模型的步骤之后,还包括:
41、将所述训练样本输入所述目标模型进行回放预测,得到回放预测结果;
42、以业务数据中字段间的预设约束关系为业务规则,将该训练样本中参与所述预设约束关系的各字段的取值代入该预设约束关系,计算得到规则推导值;其中,所述规则推导值为按照所述预设约束关系由参与字段的取值推算出的被约束字段的取值;
43、计算所述回放预测结果中所述被约束字段的预测取值与所述规则推导值之间的偏差;
44、将偏差超过预设容差阈值的训练样本标记为漂移样本;
45、按所述回放预测结果与对应业务标签的偏差方向对所述漂移样本的目标字段的取值进行反向补偿;
46、将反向补偿后的训练样本重新加入训练,得到训练完成的目标模型。
47、进一步地,所述按所述回放预测结果与对应业务标签的偏差方向对所述漂移样本的目标字段的取值进行反向补偿的步骤包括:
48、按预设的业务子集划分维度将全部漂移样本划分为多个业务子集;其中,所述业务子集划分维度包括业务渠道和业务发生时间窗口;
49、统计每个业务子集中漂移样本的数量占该业务子集中训练样本的总数量的比例;
50、将比例超过预设比例阈值的业务子集确定为漂移子集;
51、对所述漂移子集中的每个漂移样本,确定其回放预测结果相对业务标签的偏差方向;
52、统计所述漂移子集中各偏差方向的出现频次,将出现频次最高的偏差方向作为系统性偏差方向;
53、当所述系统性偏差方向为各漂移样本的目标字段取值整体偏移固定数值时,将所述漂移子集中各漂移样本的目标字段取值减去固定数值;
54、当所述系统性偏差方向为各漂移样本的目标字段取值整体偏移固定比例时,将所述漂移子集中各漂移样本的目标字段取值除以所述固定比例对应的偏移系数。
55、进一步地,在所述以业务数据中字段间的预设约束关系为业务规则,将该训练样本中参与所述预设约束关系的各字段的取值代入该预设约束关系,计算得到规则推导值的步骤之前,还包括:
56、获取所述目标业务的表单定义数据和字段校验配置数据;
57、从所述表单定义数据中提取字段间的等式约束关系;其中,所述等式约束关系为合计类字段的取值等于各分项字段的取值之和的约束;
58、从所述字段校验配置数据中提取字段间的不等式约束关系;其中,所述不等式约束关系为第一时间字段的取值不晚于第二时间字段的取值的约束,或者数值字段的取值不超过预设上限字段的取值的约束;
59、将所述等式约束关系和所述不等式约束关系分别实例化为可计算的校验函数,全部校验函数的集合构成所述业务规则。
60、本发明实施例的第二方面提供了一种基于业务数据的模型训练装置,包括:
61、获取单元,用于获取针对目标业务的多源业务数据,将同一业务对象的业务数据在其生命周期内的多个业务事件按发生时间先后排列构成业务事件链,从所述业务事件链中提取训练样本;其中,每个训练样本包括样本特征和业务标签;
62、分类单元,用于将到账时延未超过预设时延的训练样本作为完整标签样本,将到账时延超过所述预设时延的训练样本作为部分标签样本;其中,所述到账时延为业务标签的确认时间与对应业务事件的发生时间之间的时间差;
63、训练单元,用于基于完整标签样本和部分标签样本,共同训练预设模型,得到目标模型。
64、本发明实施例的第三方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述基于业务数据的模型训练方法中的步骤。
65、本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述基于业务数据的模型训练方法中的步骤。
66、本发明实施例与现有技术相比存在的有益效果是:本发明能够充分利用真实业务场景中不同完善度的业务数据,打破传统模型训练对高完备性样本的单一依赖,有效扩充训练样本规模,大幅提升业务数据的整体利用率。通过结合不同状态的样本共同参与模型训练,使模型能够充分学习复杂动态业务场景下的多维数据特征与业务演化规律,丰富模型特征学习维度,有效提升模型的泛化能力与鲁棒性。进而提高模型在真实复杂业务场景下的预测精度与适配能力,保障业务智能决策、风险识别等应用场景的稳定性与准确性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com