基于全局特征衍生交叉与组合规则迭代的筛选方法和系统与流程

摘要: 本发明属于物流或信用交易风险控制,更具体地,涉及一种基于全局特征衍生交叉与组合规则迭代的筛选方法和系统。背景技术:1、在物流与信用交易业务场景中,客户行为主要体...
基于全局特征衍生交叉与组合规则迭代的筛选方法和系统与流程

本发明属于物流或信用交易风险控制,更具体地,涉及一种基于全局特征衍生交叉与组合规则迭代的筛选方法和系统。

背景技术:

1、在物流与信用交易业务场景中,客户行为主要体现为签收与回款两类核心事件,两类事件的共同发生是企业经营运转的关键保障。企业经营过程中,始终以提升客户正常签收且按时回款的联合概率为核心优化目标,以此保障业务收益、降低运营风险。

2、当前行业内针对该场景的风险研判与客户筛选工作,主要采用独立概率模型与单一规则两种主流方式,两类技术均存在明显短板,难以适配复杂的实际业务需求。

3、采用独立概率模型开展分析时,技术思路为分别对签收事件、回款事件构建预测模型,依据单一模型输出结果设置阈值完成客户筛选。该方式默认两类事件相互独立,将联合概率拆分为两个独立概率进行计算。但在真实业务环境中,客户签收行为与回款行为存在较强关联,二者并不满足独立分布条件。这种建模方式割裂了事件之间的内在联系,无法刻画两类事件的联合分布特征,难以识别出签收状态良好但回款能力不足的潜在风险群体,极易造成业务损失。

4、传统规则方法仅依托单一特征制定判定规则,而实际业务中的风险大多由多个特征共同作用引发,属于多特征交叉形成的组合风险。现有技术难以对高维特征组合空间进行全面、系统地遍历挖掘,无法主动发现隐藏在多特征耦合关系中的非线性风险模式。同时,传统规则生成后缺少科学的稳定性验证流程,规则泛化能力不足,在不同时间段、不同批次的数据中容易出现判断失效的情况。

5、综合来看,现有技术普遍存在多项本质缺陷。其一,不具备对高维联合特征空间进行系统化建模的能力,特征利用维度较为单一。其二,难以挖掘特征之间形成的非线性组合风险,风险识别覆盖范围有限。其三,缺少完善的规则稳定性验证机制,产出的判定规则可靠性不足。其四,机器学习模型输出的分析结果无法有效转化为可落地的业务规则,技术模型与实际业务应用相互脱节。面对日益复杂的客户行为与风险形态,现有技术已经无法满足企业准确风控、高效筛选、稳定运营的现实需求,行业亟需全新的技术方案解决上述痛点问题。

技术实现思路

1、本发明旨在解决物流与信用交易场景下,独立概率模型忽略事件联合分布、传统规则难以挖掘组合风险且稳定性不足的问题。通过特征衍生交叉与规则迭代验证,构建可靠筛选规则,打通模型与业务应用,实现客户风险准确识别与高效筛选。

2、针对现有技术的以上缺陷或改进需求,作为本发明的第一方面,本发明提供一种基于全局特征衍生交叉与组合规则迭代的筛选方法,包括:

3、s1.获取历史样本数据,训练至少一个目标预测模型,并输出所述历史样本数据对应的预测评分;对所述历史样本数据的原始特征以及所述预测评分进行离散化分箱处理,生成衍生特征;基于所述原始特征和所述衍生特征,进行多阶交叉组合,构建全局特征组合空间;

4、s2.以预设的目标事件为负样本标签,在所述历史样本数据的训练集中遍历所述全局特征组合空间;统计各特征组合下的负样本纯度,筛选出所述负样本纯度大于或等于预设纯度阈值,且样本支持度大于或等于最小支持度阈值的特征组合,生成候选规则集;所述目标事件包括物流客户签收异常或信用交易回款逾期;

5、s3.将所述训练集按照时间顺序划分为k个折数据集;进行迭代验证,在每一轮中,以当前折数据集作为训练子集重新执行步骤s2生成当前折的验证规则集,并以其余折数据集作为验证子集对所述验证规则集进行过滤,剔除在验证子集中命中正样本的规则;完成所有轮次迭代后,对所有轮次保留的验证规则集取交集,生成最终规则库;

6、s4.获取待筛选的目标对象数据,提取与所述最终规则库对应的特征及预测评分;将所述目标对象数据与所述最终规则库中的规则进行并行匹配;若所述目标对象数据命中所述最终规则库中的至少一条规则,则将其标记为剔除对象;若未命中任何规则,则将其标记为保留对象,输出筛选后的目标对象集合;所述目标对象为物流与信用交易业务中的客户,所述剔除对象为存在签收异常风险或回款逾期风险的客户。

7、进一步地,所述s1中,训练至少一个目标预测模型,并输出所述历史样本数据对应的预测评分,包括:

8、分别构建签收概率预测模型和回款概率评分模型;其中,所述签收概率预测模型采用lightgbm算法构建,所述回款概率评分模型采用xgboost算法构建;

9、同时,所述对所述历史样本数据的原始特征以及所述预测评分进行离散化分箱处理,生成衍生特征,包括:

10、对连续型的原始特征以及所述签收概率预测模型和所述回款概率评分模型输出的连续型预测评分,采用等频分箱、等距分箱或基于业务先验知识的自定义分段方式进行离散化处理,将连续数值映射为离散的区间标签,作为所述衍生特征。

11、进一步地,所述s1中,基于所述原始特征和所述衍生特征,进行多阶交叉组合,构建全局特征组合空间,包括:

12、设定组合阶数上限n,其中n为大于或等于2且小于或等于5的整数;

13、在所述组合阶数上限n的约束下,对所述原始特征和所述衍生特征进行2阶至n阶的笛卡尔积组合,生成全局特征组合空间;

14、在生成所述全局特征组合空间的过程中,剔除包含相同特征不同分箱区间的冲突组合,以及业务逻辑上互斥的无效组合。

15、进一步地,所述s2中,在所述历史样本数据的训练集中遍历所述全局特征组合空间,包括:

16、将所述训练集中的每个历史样本根据其所属的特征分箱区间,转化为包含多个特征-区间键值对的事务项集,构建事务数据库;

17、在所述事务数据库中遍历搜索所述全局特征组合空间;在搜索过程中,对于当前遍历到的任一特征组合,统计所述事务数据库中同时包含该特征组合中所有“特征-区间”键值对的样本总数,将其作为所述样本支持度;并统计所述样本总数中带有负样本标签的样本数量,计算所述负样本数量与所述样本总数的比值,将其作为所述负样本纯度;

18、在遍历搜索时,若当前特征组合的所述样本支持度小于所述最小支持度阈值,则触发支持度剪枝,停止基于当前特征组合向更高阶扩展生成新的特征组合;

19、所述预设纯度阈值为100%,所述最小支持度阈值为大于或等于20的整数;当当前特征组合的所述样本支持度大于或等于所述最小支持度阈值,且所述负样本纯度等于100%时,将当前特征组合提取为强风险规则,加入所述候选规则集。

20、进一步地,所述s3中,将所述训练集按照时间顺序划分为k个折数据集,包括:

21、获取所述历史样本数据的时间戳信息,按照时间先后顺序对所述训练集进行排序;

22、将排序后的训练集等分为k个连续的折数据集,其中k不小于5。

23、进一步地,所述s3中,所述以其余折数据集作为验证子集对所述验证规则集进行过滤,剔除在验证子集中命中正样本的规则,包括:

24、在每一轮迭代中,仅使用当前折之前的历史折数据集作为训练子集生成规则,并使用当前折之后的未来折数据集作为验证子集进行过滤,以剔除在所述验证子集中命中任意一个正样本的规则,防止未来数据泄露。

25、进一步地,所述s3中,对所有轮次保留的验证规则集取交集,生成最终规则库,包括:

26、针对每一轮迭代过滤后保留的验证规则集,提取其中的特征组合标识;

27、计算所有轮次迭代对应的验证规则集的特征组合标识的交集,仅将同时存在于所有验证规则集中的特征组合保留,生成所述最终规则库;

28、对所述最终规则库中的规则按照样本支持度或负样本数量进行降序排列,并为每条规则分配唯一的规则标识。

29、进一步地,所述s4中,将所述目标对象数据与所述最终规则库中的规则进行并行匹配,包括:

30、将所述最终规则库转化为决策树结构或加载至内存规则引擎中;

31、采用多线程并发或分布式计算框架,将所述待筛选的目标对象数据分片后,同时与所述最终规则库中的规则进行匹配计算;

32、在匹配过程中,采用过滤器对所述目标对象数据的特征组合进行前置快速筛查,若过滤器判定不命中,则跳过所述内存规则引擎的详细匹配,以输出筛选后的目标对象集合。

33、作为本发明的第二方面,还提供一种基于全局特征衍生交叉与组合规则迭代的筛选系统,包括:

34、特征衍生与空间构建单元,用于获取历史样本数据,训练至少一个目标预测模型,并输出所述历史样本数据对应的预测评分;对所述历史样本数据的原始特征以及所述预测评分进行离散化分箱处理,生成衍生特征;基于所述原始特征和所述衍生特征,进行多阶交叉组合,构建全局特征组合空间;

35、候选规则集筛选生成单元,用于以预设的目标事件为负样本标签,在所述历史样本数据的训练集中遍历所述全局特征组合空间;统计各特征组合下的负样本纯度,筛选出所述负样本纯度大于或等于预设纯度阈值,且样本支持度大于或等于最小支持度阈值的特征组合,生成候选规则集;所述目标事件包括物流客户签收异常或信用交易回款逾期;

36、时序验证与规则过滤单元,用于将所述训练集按照时间顺序划分为k个折数据集;进行迭代验证,在每一轮中,以当前折数据集作为训练子集重新执行候选规则集筛选生成单元中的方法生成当前折的验证规则集,并以其余折数据集作为验证子集对所述验证规则集进行过滤,剔除在验证子集中命中正样本的规则;完成所有轮次迭代后,对所有轮次保留的验证规则集取交集,生成最终规则库;

37、规则匹配与对象筛选单元,用于获取待筛选的目标对象数据,提取与所述最终规则库对应的特征及预测评分;将所述目标对象数据与所述最终规则库中的规则进行并行匹配;若所述目标对象数据命中所述最终规则库中的至少一条规则,则将其标记为剔除对象;若未命中任何规则,则将其标记为保留对象,输出筛选后的目标对象集合;所述目标对象为物流与信用交易业务中的客户,所述剔除对象为存在签收异常风险或回款逾期风险的客户。

38、作为本发明的第三方面,还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行任一项所述的一种基于全局特征衍生交叉与组合规则迭代的筛选方法。

39、总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:

40、1.本发明的基于全局特征衍生交叉与组合规则迭代的筛选方法,通过训练签收与回款两类预测模型得到对应评分,结合原始特征完成离散化分箱处理生成衍生特征,并对两类特征开展多阶交叉组合搭建全局特征组合空间。该方法将连续型数据转化为离散区间标签,弱化极端数值带来的干扰,同时依托多阶特征组合挖掘单一特征无法体现的关联关系。传统方案仅使用原始特征开展分析,数据信息利用不够充分,也难以捕捉特征间的隐性联系,本方法依托模型输出补充特征维度,配合特征衍生与交叉组合,完成高维联合特征空间的系统化建模,完整保留数据内在关联,为后续风险识别搭建扎实的数据基础。

41、2.本发明的基于全局特征衍生交叉与组合规则迭代的筛选方法,依托负样本纯度与样本支持度两项指标遍历全局特征组合空间,按照设定阈值筛选得到候选规则集,并结合支持度剪枝策略缩减搜索范围。在物流与信用交易场景中,风险往往由多特征共同作用形成,单一判定标准难以完成有效识别。该方法以实际风险事件作为负样本依据,量化每一组特征组合的风险指向性与统计有效性,筛除不具备实际参考价值的偶然组合。同时借助剪枝手段控制组合空间规模,在保障规则筛选完整性的前提下,合理控制计算开销,提取具备风险指向的特征组合规则,弥补传统规则无法系统遍历特征组合空间的不足。

42、3.本发明的基于全局特征衍生交叉与组合规则迭代的筛选方法,通过时序划分数据集开展多轮迭代验证,对多轮留存规则取交集形成最终规则库,再依托并行匹配方式完成目标对象筛选。该方法遵循时间逻辑开展规则校验,区分训练数据与验证数据,剔除会错误判定正常样本的规则,以此检验规则在不同时序数据中的表现。传统规则缺少标准化验证流程,运行稳定性与泛化能力较弱,本方法依靠多轮时序验证完成规则提纯,保障规则长期使用的可靠性。同时将模型分析结果转化为标准化业务规则,打通算法模型与业务应用的衔接环节,依靠并行匹配完成批量对象筛选,适配实际业务的运行需求。