一种自适应信息推荐数据处理方法、系统、终端及介质

本技术涉及数据处理，尤其涉及一种自适应信息推荐数据处理方法、系统、终端及介质。

背景技术：

1、在产品行业的代理分销场景中，产品操作人员通常作为外部提供商与客户之间的中介，依靠对客户需求的理解来推荐合适的产品。随着数字经济的发展，利用机器学习构建推荐系统来提升推荐效率和客户体验已成为行业趋势。现有技术中，常采用randomforest、collaborative filtering、xgboost、bayesian networks等算法来构建推荐模型。

2、现有方案基于客户历史保单、家庭保障缺口及营销阶段生成产品推荐策略，该方案虽然实现了基于用户画像的推荐逻辑，但整体仍属于静态推荐架构。具体而言，该类方案存在以下技术缺点：缺乏对概念漂移（concept drift）的实时监测能力，当产品市场环境、客户偏好或产品策略发生变化后，系统无法主动感知模型性能下降；推荐模型缺少在线反馈闭环机制，无法根据后续签约反馈动态调整模型参数；为维持推荐效果，通常需要依赖人工周期性全量重训练（如按周或按月更新模型），即使模型未发生明显退化，系统仍可能执行大量不必要训练，造成计算资源浪费；全量重训练涉及大规模历史数据重新加载与特征计算，容易带来较高的cpu或gpu资源占用与系统维护成本；推荐结果主要停留在产品或营销策略层面，缺少针对单个客户的特征贡献解释机制，业务人员难以理解推荐依据。

3、因此，现有技术还有待于改进和发展。

技术实现思路

1、本技术的主要目的在于提供一种自适应信息推荐数据处理方法、系统、终端及介质，旨在解决现有技术中现有静态推荐方法因缺乏对数据分布变化（概念漂移）的实时感知能力，需要依赖周期性全量重训练以维持性能，导致计算资源过度消耗与维护效率低下的问题。

2、本技术实施例第一方面提供一种自适应信息推荐数据处理方法，所述自适应信息推荐数据处理方法包括如下步骤：

3、获取用户带有缺失值的原始特征向量，并对所述原始特征向量进行缺失值插补处理，得到无缺失值的完整稠密特征向量；

4、将所述稠密特征向量输入至当前部署的机器学习预测模型进行推理，输出针对各候选信息项的概率分布，并根据所述概率分布生成信息推荐结果数据和预测结果标签；

5、获取用户真实反馈标签，将所述预测结果标签与所述用户真实反馈标签进行比对，生成当前样本的错误指示变量，根据累积的多个所述错误指示变量计算当前累计错误率和标准差，并确定历史最优错误率基准，将所述当前累计错误率、所述标准差与所述历史最优错误率基准进行统计学阈值比对，若满足第一判定条件，则生成警告日志，若满足第二判定条件，则生成重训触发信号；

6、响应于所述重训触发信号，获取累积的最新反馈样本集作为训练数据，基于所述训练数据对所述机器学习预测模型进行参数优化，生成更新后的模型参数，将所述更新后的模型参数部署至所述机器学习预测模型，并将所述历史最优错误率基准重置为当前时刻的统计初始值。

7、可选地，在本技术的一个实施例中，所述对所述原始特征向量进行缺失值插补处理，得到无缺失值的完整稠密特征向量，具体包括：

8、对所述原始特征向量进行缺失掩码识别，得到已知特征集和缺失索引集；

9、获取历史完整样本中的参照样本，并根据所述参照样本和所述已知特征集计算当前样本与每一个历史样本的掩码欧氏距离，得到距离值集合；

10、根据所述距离值集合确定近邻样本集合；

11、根据所述近邻样本集合和所述缺失索引集，得到估计填补值集合；

12、根据所述估计填补值集合和所述原始特征向量进行合并重组，得到完整稠密特征向量。

13、可选地，在本技术的一个实施例中，所述根据所述近邻样本集合和所述缺失索引集，得到估计填补值集合，具体包括：

14、针对所述缺失索引集中的每一个缺失维度，根据所述近邻样本集合中各近邻样本与当前样本之间的距离值，计算各近邻样本的权重系数：

15、；

16、其中，为第个邻居的权重系数，为第个近邻样本与当前样本之间的掩码欧氏距离，为预设的极小平滑常量；

17、根据所述权重系数和所述近邻样本集合中各近邻样本在缺失维度上的已知取值，计算缺失维度的估计填补值：

18、；

19、其中，为缺失维度的估计填补值，为邻居样本在缺失维度上的已知取值，为近邻样本集合；

20、遍历所述缺失索引集中的所有缺失维度，得到各缺失维度的估计填补值形成的估计填补值集合。

21、可选地，在本技术的一个实施例中，所述将所述稠密特征向量输入至当前部署的机器学习预测模型进行推理，输出针对各候选信息项的概率分布，具体包括：

22、将所述完整稠密特征向量输入至当前部署的所述机器学习预测模型，输出各候选信息项的原始得分向量：

23、；

24、其中，为输出的原始得分向量，第个候选信息项的原始得分，为完整稠密特征向量，为当前模型参数集合；

25、采用softmax函数对所述原始得分向量进行归一化处理，将各候选信息项的原始得分映射为概率分布：

26、；

27、其中，为在完整稠密特征向量条件下第个候选信息项的概率，为以自然常数为底的指数函数，为所有候选信息项原始得分的指数和，为第个候选产品原始得分；

28、遍历全部候选信息项，得到各候选信息项概率形成的概率分布向量。

29、可选地，在本技术的一个实施例中，每个所述错误指示变量的取值为1或0；

30、所述根据累积的多个所述错误指示变量计算当前累计错误率和标准差，具体包括：

31、根据累积的多个所述错误指示变量计算当前累计错误率：

32、；

33、其中，为当前累计错误率，为错误指示变量，表示累计的反馈样本总数，为求和公式中的循环变量；

34、根据累积的多个所述错误指示变量计算标准差：

35、；

36、其中，为标准差。

37、可选地，在本技术的一个实施例中，所述第一判定条件为：

38、；

39、所述第二判定条件为：

40、；

41、其中，为历史最优错误率基准中的最小错误率，为最小错误率对应的标准差。

42、可选地，在本技术的一个实施例中，所述基于所述训练数据对所述机器学习预测模型进行参数优化，生成更新后的模型参数，具体包括：

43、以最小化预测损失为目标，根据所述训练数据对所述机器学习预测模型的参数进行优化，生成更新后的模型参数，其中，优化目标函数为：

44、；

45、其中，为更新后的模型参数，为待优化的模型参数，为第个训练样本的真实反馈标签，为机器学习预测模型的预测函数，为第个训练样本的完整稠密特征向量。

46、本技术实施例第二方面还提供一种自适应信息推荐数据处理系统，其中，所述自适应信息推荐数据处理系统用于实现上述方案中任一项所述的自适应信息推荐数据处理方法；所述自适应信息推荐数据处理系统包括：

47、数据处理模块，用于获取用户带有缺失值的原始特征向量，并对所述原始特征向量进行缺失值插补处理，得到无缺失值的完整稠密特征向量；

48、推荐生成模块，用于将所述稠密特征向量输入至当前部署的机器学习预测模型进行推理，输出针对各候选信息项的概率分布，并根据所述概率分布生成信息推荐结果数据和预测结果标签；

49、漂移检测模块，用于获取用户真实反馈标签，将所述预测结果标签与所述用户真实反馈标签进行比对，生成当前样本的错误指示变量，根据累积的多个所述错误指示变量计算当前累计错误率和标准差，并确定历史最优错误率基准，将所述当前累计错误率、所述标准差与所述历史最优错误率基准进行统计学阈值比对，若满足第一判定条件，则生成警告日志，若满足第二判定条件，则生成重训触发信号；

50、自动重训练模块，用于响应于所述重训触发信号，获取累积的最新反馈样本集作为训练数据，基于所述训练数据对所述机器学习预测模型进行参数优化，生成更新后的模型参数，将所述更新后的模型参数部署至所述机器学习预测模型，并将所述历史最优错误率基准重置为当前时刻的统计初始值。

51、本技术实施例第三方面还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的自适应信息推荐数据处理程序，所述自适应信息推荐数据处理程序被所述处理器执行时实现如上所述的自适应信息推荐数据处理方法的步骤。

52、本技术实施例第四方面还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有自适应信息推荐数据处理程序，所述自适应信息推荐数据处理程序被处理器执行时实现如上所述的自适应信息推荐数据处理方法的步骤。

53、有益效果：本技术提供一种自适应信息推荐数据处理方法、系统、终端及介质，本技术通过引入基于统计学阈值判别的漂移检测机制，实现了对推荐系统预测性能的实时在线监控，仅在检测到数据分布发生显著概念漂移时才触发模型重训练，避免了传统方案中周期性全量重训练所造成的大规模历史数据重复加载与计算资源的过度消耗，降低了系统长期运行中的维护成本与资源开销，提升了计算资源的利用效率；同时本技术能够使推荐模型能够随市场环境或用户偏好的变化动态进化，在保持高精度预测水平的同时，实现了模型维护从人工周期性干预到系统自主按需更新的跨越，增强了系统的长期运行稳定性与自适应能力。