一种基于机器学习的互联网数据处理方法与流程

摘要: 本发明涉及机器学习,具体为一种基于机器学习的互联网数据处理方法。背景技术:1、互联网数据处理系统所接收的流数据普遍呈现高维、多模态、无标签、实时变化的特点,数据...
一种基于机器学习的互联网数据处理方法与流程

本发明涉及机器学习,具体为一种基于机器学习的互联网数据处理方法。

背景技术:

1、互联网数据处理系统所接收的流数据普遍呈现高维、多模态、无标签、实时变化的特点,数据分布随时间推移不可避免地发生变化,即产生概念漂移现象,概念漂移通常分为渐进式漂移与突发式漂移两类,若不能及时检测并响应,将导致线上模型的推荐、检索、分类等效果持续劣化,机器学习领域公知的基础技术包括基于transformer结构的预训练模型特征提取技术、参数高效微调技术及其代表方法低秩自适应、核方法统计量与随机傅里叶特征近似计算方法,上述技术为流数据处理提供了公知的技术基础。

2、与本发明最接近的现有技术方案为基于标签反馈的概念漂移检测与全量模型重训方法,该方案按固定时间窗口收集流数据,等待人工标注或业务反馈得到真实标签,利用基于误差率的统计假设检验方法判断当前时间窗口是否发生概念漂移,一旦检测到误差率超过预设阈值即触发告警,使用截至当前时刻累积的全部历史数据与新数据对模型进行离线全量重新训练,再将重训后的模型替换线上旧模型完成一次更新迭代。

3、上述现有技术方案的漂移判断依赖真实标签反馈,且仅针对单一模态特征进行统计检验,难以适应互联网场景下多模态、无标签、高并发的流数据处理需求,存在检测滞后、更新成本高昂的问题,该现有方案更适用于单模态且标签反馈较为及时的场景。

技术实现思路

1、本发明要解决的技术问题包括以下两个方面:第一,在互联网多模态流数据场景下,如何在完全无人工标签反馈的条件下,实现对异步发生的概念漂移的实时、准确检测,克服现有检测方法依赖标签反馈、仅支持单一模态检测、检测延迟高且容易失效的问题,第二,在检测到概念漂移发生后,如何在不进行全量模型重新训练的前提下,以较低的计算与存储成本完成模型的在线增量更新,同时避免因仅利用新数据进行微调而导致的历史知识灾难性遗忘问题,从而兼顾模型更新的时效性、经济性与知识保鲜能力;

2、为解决上述技术问题,本发明提供了一种基于机器学习的互联网数据处理方法,包括:

3、利用预先训练的自监督对比学习编码器对历史时间窗口内的互联网流数据进行特征映射,并对映射得到的特征向量进行聚类,得到多个特征分布簇,将各所述特征分布簇的中心向量与协方差信息保存为历史记忆锚点簇;

4、通过所述自监督对比学习编码器对新时间窗口内的流数据进行特征映射,得到新数据特征集合,计算所述新数据特征集合与所述历史记忆锚点簇之间的分布差异统计量,将所述分布差异统计量与预设的漂移判定阈值进行比较,在所述分布差异统计量大于所述漂移判定阈值时,触发概念漂移事件;

5、在触发所述概念漂移事件后,按照预设窗口长度与滑动步长在时间轴上截取所述新时间窗口内不同模态的流数据,分别提取各模态的特征序列,构建跨模态注意力网络,以其中一种模态的特征序列作为查询输入、以另一种模态的特征序列作为键值输入,计算得到对齐后的跨模态联合特征表示,并计算不同模态特征序列之间的互信息估计值;

6、冻结互联网数据处理模型中主干网络的原始参数,针对所述主干网络中被选定的权重矩阵,动态生成低秩旁路矩阵,构成动态低秩自适应结构,将所述动态低秩自适应结构与所述主干网络的原始参数进行叠加,得到更新后的权重矩阵;

7、从记忆锚点池中依据信息熵指标筛选历史样本构成记忆锚点集合,将所述记忆锚点集合与经跨模态对齐后的新窗口样本构成混合训练批次,构建联合损失函数,仅对所述低秩旁路矩阵的参数进行梯度更新,在所述主干网络的原始参数保持冻结的条件下,完成互联网数据处理模型的在线增量更新。

8、在本发明的优选实施方式中,所述分布差异统计量通过核方法进行计算,并采用随机傅里叶特征对核映射函数进行近似计算;

9、在另一种优选实施方式中,所述分布差异统计量通过计算所述历史记忆锚点簇与所述新数据特征集合之间样本欧氏距离的期望值得到;

10、在检测到所述分布差异统计量小于等于所述漂移判定阈值时,将当前新时间窗口内的部分样本并入所述历史记忆锚点簇,并剔除时间最早的锚点样本,实现所述历史记忆锚点簇的动态滑动更新。

11、采用上述技术方案,与现有技术相比,本发明的有益效果在于:

12、第一,通过自监督对比学习构建历史记忆锚点簇,并在特征空间中计算新数据与历史记忆锚点簇之间的分布差异统计量,无需依赖人工标签即可实现概念漂移的实时检测,克服了现有技术对标签反馈的依赖;

13、第二,通过滑动时间窗口与跨模态注意力网络对多模态特征进行动态对齐,并依据不同模态间的互信息估计值判定异步漂移模态、设置差异化特征更新优先级,克服了现有技术中对多模态特征进行同步、无差别更新的技术偏见,使低秩旁路更新资源集中作用于实际发生漂移的模态,在提高漂移检测与后续处理准确性的同时降低了无关模态的冗余更新开销;

14、第三,通过动态生成低秩旁路矩阵并冻结主干网络参数,仅对新增的低秩矩阵参数进行更新,相较于全量重新训练的方式,降低了模型在线增量更新所需的计算与存储成本;

15、第四,结合基于信息熵筛选的记忆锚点集合进行小批量重放训练,在保证模型更新时效性的同时,有效抑制了历史知识的灾难性遗忘;

16、第五,上述检测、对齐、微调、回放机制相互配合,形成完整的在线闭环处理流程,整体上提升了互联网数据处理系统在动态环境下的鲁棒性、时效性与经济性。

1.一种基于机器学习的互联网数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述自监督对比学习编码器通过以下方式预先训练得到:对历史流数据中的同一样本构造不同的数据增强视图形成正样本对,对不同样本形成负样本对,训练特征编码器,使正样本对在特征空间中的表征距离拉近,负样本对的表征距离推远。

3.根据权利要求1所述的方法,其特征在于,通过随机傅里叶特征对核映射函数进行近似计算,得到所述分布差异统计量的近似值,所述核映射函数用于将特征向量映射至再生核希尔伯特空间。

4.根据权利要求1所述的方法,其特征在于,所述分布差异统计量通过计算所述历史记忆锚点簇中的样本与所述新数据特征集合中的样本之间欧氏距离的期望值得到。

5.根据权利要求1所述的方法,其特征在于,在所述分布差异统计量小于等于所述漂移判定阈值时,将当前新时间窗口内的部分样本并入所述历史记忆锚点簇,并从所述历史记忆锚点簇中剔除时间最早的样本,实现所述历史记忆锚点簇的动态滑动更新。

6.根据权利要求1所述的方法,其特征在于,构建所述跨模态注意力网络包括:通过查询映射矩阵与键映射矩阵分别对所述查询输入与所述键值输入进行线性映射,计算映射后向量的点积并进行缩放,得到注意力得分,对所述注意力得分进行归一化处理得到注意力权重,利用所述注意力权重对经值映射矩阵映射后的所述键值输入进行加权求和,得到所述跨模态联合特征表示。

7.根据权利要求1所述的方法,其特征在于,依据所述互信息估计值判断不同模态特征序列之间的动态共现强度,将互信息估计值低于预设互信息阈值的模态对应的特征更新优先级设置为高于其他模态对应的特征更新优先级,并将对齐后的所述跨模态联合特征表示作为微调训练的输入特征。

8.根据权利要求1所述的方法,其特征在于,所述低秩旁路矩阵包括第一低秩矩阵与第二低秩矩阵,所述第一低秩矩阵的列数与所述被选定的权重矩阵的列数相同,所述第二低秩矩阵的行数与所述被选定的权重矩阵的行数相同,所述第一低秩矩阵的行数与所述第二低秩矩阵的列数相同,且所述第一低秩矩阵的行数小于所述被选定的权重矩阵的行数与列数,所述第二低秩矩阵与所述第一低秩矩阵的乘积构成新增的增量权重,所述增量权重与所述主干网络的原始参数相加,得到所述更新后的权重矩阵。

9.根据权利要求1所述的方法,其特征在于,依据样本属于各预测类别的概率计算所述历史样本的信息熵,选取信息熵数值排序靠前的多个历史样本组成所述记忆锚点集合,所述联合损失函数包括所述新窗口样本对应的任务损失与所述记忆锚点集合对应的任务损失,且二者之间设置有权重系数,完成本轮在线增量更新后,依据信息熵指标将当前新时间窗口中满足预设代表性条件的样本,替换所述记忆锚点池中的部分历史样本,保持所述记忆锚点池的样本容量恒定。

10.一种基于机器学习的互联网数据处理系统,其特征在于,包括: