一种基于KNN约束的Shapley值在线数据价值评估方法与流程

摘要: 本发明涉及信息处理的,尤其是涉及一种基于knn约束的shapley值在线数据价值评估方法。背景技术:1、随着数字经济的快速发展,数据已从单纯的信息载体演变为驱动...
一种基于KNN约束的Shapley值在线数据价值评估方法与流程

本发明涉及信息处理的,尤其是涉及一种基于knn约束的shapley值在线数据价值评估方法。

背景技术:

1、随着数字经济的快速发展,数据已从单纯的信息载体演变为驱动人工智能进步的关键生产要素,各行业对高质量训练数据的需求激增,使得数据交易与流通成为常态;然而,数据的非竞争性、易复制性以及价值随场景波动等特性,决定了其价值评估远比传统商品复杂,特别是在深度学习、大模型应用场景下,数据的价值不仅仅决于自身,还取决于其能为下游模型性能带来的边际增益,这一特性使得如何科学、量化地评估数据价值成为数据要素市场化的核心难题。

2、目前,shapley值被广泛应用于数据价值评估场景,shapley值通过衡量每个样本对模型整体收益的边际贡献来实现公平价值评估,能够有效反映各数据样本在联合学习中的重要性,该估值方法以单个数据样本对模型整体收益的边际贡献作为核心依据进行测算,能够较为客观地反映不同样本的实际价值,在离线数据集、小批量数据价值评估场景中展现出良好的应用效果,也成为业内开展数据公平价值评估的主流技术选择,但是,传统shapley值计算方法多为离线静态计算,每当新数据流入时,需要基于更新后的完整数据集进行全量重算,无法支持实时到达的数据流价值评估需求,制约了其在动态数据交易场景中的应用。

3、此外,标准shapley值需要枚举所有样本子集并反复训练模型以评估效用,其计算复杂度随样本数量呈指数级增长,当数据集规模较大时,计算量远超实际可承受范围,无法支撑实时数据交易中高频、快速的价值评估要求,在实时数据处理等对响应时效存在明确要求的业务场景中,传统实现方式的运算流程较长,运算效率存在一定提升空间,难以在保障原有估值精度的基础上,满足在线数据流场景下实时价值评估的使用需求。

技术实现思路

1、本发明的目的在于提供一种基于knn约束的shapley值在线数据价值评估方法,解决以上至少一个技术问题。

2、本发明提供一种基于knn约束的shapley值在线数据价值评估方法,包括:

3、步骤s1,持续动态接收在线数据流中的新样本并结合所述新样本实时更新训练集;

4、步骤s2,计算所述训练集与测试集之间的关联程度,完成所述训练集与所述测试集的相关性评估;

5、步骤s3,根据所述相关性评估的结果动态更新所述训练集对应的shapley值,并根据所述shapley值确定训练样本的数据价值。

6、作为进一步的技术方案,进行相关性评估的过程包括:

7、所述测试集包括;

8、其中,为测试集,为测试集的样本个数,为第个测试样本的数据,为第个测试样本对应的标签;

9、针对所述测试集中的任意一个测试样本,逐一计算所述训练集中每一个训练样本与所述测试样本之间的空间距离值;

10、按照所述空间距离值从小到大对所述训练集中的全部所述训练样本进行排序,生成对应于当前测试样本的knn邻居序列,其中,为knn邻居序列中第i位对应的训练样本,为更新后训练集总样本数量;

11、所述knn邻居序列用于反映各训练样本与所述测试样本的关联程度。

12、作为进一步的技术方案,确定所述训练样本的数据价值的方法包括:

13、基于当前测试样本的knn邻居序列,获取更新后训练集中每个训练样本在所述knn邻居序列中的序列位置,为第条训练样本特征数据

14、根据所述序列位置递推计算每个所述训练样本关于当前测试样本中数据的shapley值;

15、在完成所有训练样本shapley值计算后,更新训练变量的计数标记,并基于下一测试样本的knn邻居序列计算所有训练样本shapley值,直至达到预设循环停止条件;

16、在循环停止后,将训练样本在每个测试样本下的shapley值累加,得到训练样本的最终全局shapley值;

17、根据训练样本的最终全局shapley值确定所述训练样本的数据价值。

18、作为进一步的技术方案,计算shapley值的方法包括:

19、

20、其中,为中第位对应的训练样本关于第个测试样本中数据的shapley值为指示函数,即当与相符时取1,否则取0;代表knn邻居序列中第位对应的训练样本自身对应的分类标签;训练样本在knn邻居序列中的序列位置;为预设固定参数;为预设平衡因子;

21、对依次递推计算knn邻居序列中第位对应的训练样本关于的shapley值。

22、作为进一步的技术方案,得到所述最终全局shapley值的方法包括:

23、对于每个所述训练样本,获取其在当前测试样本下计算得到的当前shapley值,并将其在所有测试样本下的shapley值累加;

24、累加方法包括:

25、

26、其中,为最终全局shapley值,为表示测试集的样本个数。

27、作为进一步的技术方案,所述步骤s1的具体工作过程包括:

28、步骤s11,初始化训练集,得到当前训练集,其中表示当前训练集的样本个数,表示第个训练样本的数据,表示第个训练样本对应的标签;

29、步骤s12,接收新样本,其中表示新样本的数据,表示新样本对应的标签,利用所述新样本更新所述当前训练集,得到更新后训练集。

30、作为进一步的技术方案,所述预设循环停止条件包括:

31、定义当前训练变量,对所述训练变量进行初始化,令;

32、每完成一个测试样本对应的所有训练样本的shapley值计算后,令;

33、当时,判定达到循环停止条件。

34、作为进一步的技术方案,所述预设平衡因子用于调控计算shapley值的运算平衡性;

35、所述预设平衡因子为预设固定取值。

36、本发明还提供了一种电子设备,其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述的一种基于knn约束的shapley值在线数据价值评估方法。

37、本发明一种计算机程序产品,其包括计算机程序/指令,该计算机程序/指令被处理器执行时实现所述的一种基于knn约束的shapley值在线数据价值评估方法。

38、综上所述,本发明包括以下至少一种有益技术效果:

39、1.本发明通过持续动态接收在线数据流中的新样本并实时更新训练集,结合训练集与测试集的相关性评估及shapley值的动态更新,能够即时完成数据样本的价值计算与价值评估输出,避免了周期性批量处理的延迟,使数据价值评估结果与实时数据状态高度同步,提升了在线价值评估的时效性和响应能力,为高频数据交易场景提供了实时、可靠的价值依据。

40、2.本发明通过shapley值递推的计算方法,反映了不同样本在整体模型中的价值分布,通过knn邻居序列约束实现了样本间贡献的精细化区分,避免了数据冗余或遗漏带来的价值评估偏差,显著提高了数据价值评估的科学性和合理性。

41、3.本发明通过引入knn算法构建邻居序列,在动态数据流环境下,每新增一个样本仅需在局部近邻范围内进行增量更新,节省了计算资源,支持大规模数据集下的高频更新,从而克服了现有技术无法兼顾高精度与实时性的根本缺陷。