数据分级处理方法、装置、计算机设备和存储介质与流程
本申请涉及数据处理,特别是涉及一种数据分级处理方法、装置、计算机设备和存储介质。
背景技术:
1、随着大数据处理技术在各类业务场景中的发展,基于用户行为数据进行自动化等级分类已成为系统资源调度与决策引擎运行的重要基础。然而,收集到的用户交互反馈数据往往并非无序的独立类别,而呈现出显著的偏序关系,且由于长尾效应,数据样本分布往往极度不均衡,大量数据聚集在极端等级,而中间过渡态样本匮乏,呈现出典型的两头多、中间极少的u型或倒u型分布特征。现有技术通常采用多分类算法或者二分类算法对数据样本进行分类处理,忽略了数据之间的不均衡特性,极易导致样本分类时在主干多数类人群上的准确率崩塌。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种数据分级处理方法、装置、计算机设备和存储介质。
2、第一方面,提供一种数据分级处理方法,该方法包括:
3、获取多模态的用户行为数据;
4、根据用户行为数据中数据的类型对用户行为数据进行数据重构,得到待预测数据特征;
5、将待预测数据特征输入至预构建的含有多个基分类器的级联分类模型中,级联分类模型包括k-1个基分类器,k为序数等级的类别总数,各基分类器分别输出待预测数据特征对应的原始累积概率;
6、基于预设的超参数网格的最优偏置参数对原始累积概率进行调整;
7、根据序数等级对调整后的原始累积概率按照单调性约束进行逐级校准,得到校准后的累积概率;
8、基于校准后的累积概率执行差分运算,还原各序数等级的绝对概率分布;
9、根据绝对概率分布和超参数网格的最优阈值参数确定出用户行为数据的分级结果。
10、在一些实施例中,根据用户行为数据中数据的类型对用户行为数据进行数据重构,得到待预测数据特征的步骤,包括:对于用户行为数据中非标准分布的连续性数据进行特征空间变换;其中,对于非负、零膨胀或右偏长尾分布数据,执行带非负掩码的对数平移变换,对于有界比例数据,添加极小值容忍度参数进行线性变换,再执行对数几率变换;将经特征空间变换后的数据与用户行为数据中的标准分布数据变换后的各数据进行标准化处理,并将标准化处理后的各数据进行拼接,得到待预测数据特征。
11、在一些实施例中,级联分类模型的构建过程,包括:获取多个用户行为训练样本及各用户行为训练样本对应的序数标签;根据各用户行为训练样本中数据的类型对用户行为训练样本进行特征重构,得到重构特征矩阵;基于用户行为训练样本和序数标签计算得到样本权重矩阵;将各序数标签转换为与序数等级对应的累积二值标签,以使累积二值标签作为与序数等级对应的基分类器的训练目标;将样本权重矩阵、累计标签和重构特征矩阵输入各基分类器进行训练,得到级联分类模型。
12、在一些实施例中,基于用户行为训练样本和序数标签计算得到样本权重矩阵的步骤,包括:获取各序数标签对应的各用户行为训练样本的样本数量;根据样本数量计算各用户行为训练样本的等级频率的基线权重;基于基线权重和用户行为训练样本对应的序数标签的序列位置施加局部增益系数,得到用户行为训练样本的样本权重;将各用户行为训练样本的样本权重进行归一化,得到样本权重矩阵。
13、在一些实施例中,超参数网格的最优参数搜索,包括:获取各基分类器输出的用户行为训练样本中的验证集的累积概率;基于累计概率遍历搜索预设的超参数网格中的各组参数组合,生成各参数组合对应的预测结果;基于各预测结果和验证集的序数标签计算出评价指标;将最优的评价指标对应的参数组合作为超参数网格的最优参数并保存。
14、在一些实施例中,参数组合包括针对各基分类器设置的偏置合集基于累计概率遍历搜索预设的超参数网格中的各组参数组合,生成各参数组合对应的预测结果步骤,包括:根据类别总数和偏置合集执行笛卡尔积,生成多个偏置组合;在累计概率上加入对应的偏置组合中的偏置参数,并通过函数变换生成偏置后的累积概率:根据单调性约束对偏置后的累积概率进行逐级校准,并执行差分运算还原等级概率分布,得到各偏置组合的预测结果。
15、在一些实施例中,参数组合还包括针对各基分类器设置的阈值合集;基于累计概率遍历搜索预设的超参数网格中的各组参数组合,生成各参数组合对应的预测结果步骤,还包括:根据类别总数和阈值合集执行笛卡尔积,生成多个阈值组合;根据单调性约束对累积概率进行逐级校准,得到校准累积概率;基于校准累计概率遍历各阈值组合,将校准累积概率与对应序数等级的阈值进行比较,得到各阈值组合的预测结果。
16、第二方面,提供一种数据分级处理装置,该装置包括:数据获取模块,用于获取多模态的用户行为数据;特征处理模块,用于根据用户行为数据中数据的类型对用户行为数据进行数据重构,得到待预测数据特征;模型输出模块,用于将待预测数据特征输入至预构建的含有多个基分类器的级联分类模型中,级联分类模型包括k-1个基分类器,k为序数等级的类别总数,各基分类器分别输出待预测数据特征对应的原始累积概率;概率校准模块,用于基于预设的超参数网格的最优偏置参数对原始累积概率进行调整;根据序数等级对调整后的原始累积概率按照单调性约束进行逐级校准,得到校准后的累积概率;阈值分级模块,用于基于校准后的累积概率执行差分运算,还原各序数等级的绝对概率分布;根据绝对概率分布和超参数网格的最优阈值参数确定出用户行为数据的分级结果。
17、第三方面,提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述任一项的数据分级处理方法的步骤。
18、第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一项的数据分级处理方法的步骤。
19、上述数据分级处理方法、装置、计算机设备和存储介质,通过获取多模态的用户行为数据,根据该用户行为数据中数据的类型对用户行为数据进行数据重构,得到待预测数据特征,以解决原始数据中的特征空间扭曲问题;将待预测数据特征输入至预构建的含有多个基分类器的级联分类模型中,将序数多分类问题转化为多个二分类问题,以使各基分类器分别输出待预测数据特征对应的原始累积概率;基于预设的超参数网格的最优偏置参数对原始累积概率进行调整;根据序数等级对调整后的原始累积概率按照单调性约束进行逐级校准,消除了多分类器预测带来的概率倒挂问题,基于校准后的累积概率执行差分运算,还原各序数等级的绝对概率分布;根据绝对概率分布和超参数网格的最优阈值参数确定出用户行为数据的分级结果。由此,在面临不均衡的样本分布时,能够有效改善中间过渡态类别的识别精度,同时维持两端主体类别的分类性能,实现了综合预测性能的最大化。
1.一种数据分级处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述根据所述用户行为数据中数据的类型对所述用户行为数据进行数据重构,得到待预测数据特征的步骤,包括:
3.根据权利要求1所述的方法,其特征在于,所述级联分类模型的构建过程,包括:
4.根据权利要求3所述的方法,其特征在于,所述基于所述用户行为训练样本和所述序数标签计算得到样本权重矩阵的步骤,包括:
5.根据权利要求3所述的方法,其特征在于,所述超参数网格的最优参数搜索,包括:
6.根据权利要求5所述的方法,其特征在于,所述参数组合包括针对各所述基分类器设置的偏置合集;
7.根据权利要求5或6中任一项所述的方法,其特征在于,所述参数组合还包括针对各所述基分类器设置的阈值合集;
8.一种数据分级处理装置,其特征在于,所述装置包括:
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com