一种基于评估反馈与动态置信度的多源冲突数据融合治理方法、系统及存储介质与流程

摘要: 本发明涉及大数据处理,具体涉及多源冲突数据的融合治理技术,尤其涉及一种基于评估反馈与动态置信度的多源冲突数据融合治理方法、系统及存储介质。背景技术:1、随着数字...
一种基于评估反馈与动态置信度的多源冲突数据融合治理方法、系统及存储介质与流程

本发明涉及大数据处理,具体涉及多源冲突数据的融合治理技术,尤其涉及一种基于评估反馈与动态置信度的多源冲突数据融合治理方法、系统及存储介质。

背景技术:

1、随着数字化转型的深入发展,多源冲突数据的整合已成为构建高质量知识库、风险画像及决策支持系统的核心环节。在网络安全、金融风控、医疗诊断、智慧城市等应用场景中,单一数据源往往存在覆盖不全、视角单一的问题,必须依赖多源数据融合来提升决策的准确性和鲁棒性。

2、dempster-shafer(ds)证据理论作为一种处理不确定性和不完全信息的数学工具,已被成功应用于目标识别、故障诊断、信息融合等领域。该理论通过构建辨识框架与基本概率分配函数(即基本质量函数),能够形式化表达证据支持程度,并利用dempster组合规则实现多源证据融合。然而,经典ds理论在实际应用中存在以下突出问题。

3、第一,经典ds理论假设各证据源具有同等可信度,未考虑数据源自身准确率的动态变化。当面对低可靠性数据源输入时,经典ds理论仍赋予其过高影响力,严重影响最终决策质量。

4、第二,当多个证据之间存在高冲突时,dempster组合规则会产生反直觉的融合结果。经典ds理论通过因子 1/(1-k) 对冲突系数k进行归一化放大,当k趋近于1时,微小的一致证据被急剧放大为虚假的高置信度结论,即zadeh悖论。

5、针对上述问题,现有技术中已提出多种改进方案。公告号cn110009251b的专利申请公开了一种农田多源信息动态调节融合方法,其根据冲突系数是否在设定阈值区间内判断采用经典ds合成规则还是采用平均证据因子替代冲突因子。然而,该方案采用的“平均证据因子替代”实质上是丢弃原始冲突信息后用平均值替换,未能区分不同数据源的可信度差异,也未能解决冲突信息的合理再分配问题。

6、曹洁和孟兴在《计算机应用研究》2012年第29卷第9期发表的“证据推理中局部冲突部分分配策略”一文中公开了一种冲突证据处理方法,其设定一个阈值,将大于该阈值的局部冲突按比例分配给产生该冲突的焦元,并用标准合成规则对证据进行融合。该方法虽然涉及将冲突按比例分配给焦元,但其分配逻辑是基于证据内部结构的回溯性分配——将冲突返还给产生冲突的焦元,且假设各证据具有一致可信度。该方案未能考虑数据源之间的可信度差异,也未提出将冲突定向分配至数据源主判类别和未知类别的技术构思。

7、florea等人在《rairo - operations research》2010年第44卷第4期发表的“dynamic estimation of evidence discounting rates based on informationcredibility”一文中公开了基于证据可信度动态估计证据折扣率的技术思路。此外,《系统工程与电子技术》2015年第7期发表的“时域证据融合中的可信度衰减模型”一文也涉及基于可信度衰减的证据实时可靠性评估方法。然而,上述方法均属于在融合前对证据源进行折扣修正的思路(即输入侧修正),而非在融合结果层面对冲突进行定向分配。

8、综上所述,现有技术中亟需一种面向多源冲突数据的动态融合方法,能够在保留ds理论良好数学基础的同时,建立系统化的数据源置信度动态评估机制,并能够在高冲突场景下对冲突信息进行合理再分配——既不同于“丢弃-替代”的思路,也不同于“输入侧修正”的思路,更不同于“将冲突返还给产生冲突的焦元”的思路。

技术实现思路

1、(一)发明目的

2、本发明旨在解决现有技术中因多源数据冲突导致信息归一化结果不可靠的技术问题,提供一种基于评估反馈与动态置信度的多源冲突数据融合治理方法、系统及存储介质。

3、本发明通过建立系统化的数据源动态置信度评估机制,综合考量数据源的整体可信度与单条数据的分类置信度,构建双置信度ds质量函数,并在高冲突场景下通过按置信度比例进行冲突回填的方式实现对冲突证据的合理加权与不确定性吸收,从而输出具备高置信度的统一分类结果。

4、(二)技术方案

5、为解决上述技术问题,本发明提供了一种基于评估反馈与动态置信度的多源冲突数据融合治理方法,包括:

6、数据源动态置信度评估步骤,基于标准化测试集对多个数据源进行周期性评估,根据各所述数据源在所述标准化测试集上的当前测试准确率以及基于滑动窗口统计的历史置信度均值,计算各所述数据源的动态置信度;

7、质量函数构建步骤,针对待融合的每条数据,根据所述数据源动态置信度评估步骤计算得到的该条数据所来源数据源的所述动态置信度以及该条数据的分类概率分布,构建ds证据理论的基本概率分配函数;以及

8、冲突融合步骤,对多个所述基本概率分配函数计算冲突系数,判断所述冲突系数是否超过预设冲突阈值,若未超过则采用dempster组合规则进行融合,若超过则启动冲突回填过程;

9、所述冲突回填过程包括:将所述冲突系数的一部分分配至未知类别,将所述冲突系数的剩余部分按照各数据源的所述动态置信度的相对比例分配至各数据源的主判类别;所述主判类别为所述基本概率分配函数在已知类别中最大值对应的类别。

10、优选地,所述数据源动态置信度评估步骤包括:

11、测试集维护子步骤:以独立构建并持续维护的标准化测试集作为外部基准,所述标准化测试集按样本采集、标注质控和版本化管理构建;所述版本化管理包括按周期增量补充新业务样本以及淘汰超过时效阈值的过期样本;

12、测试执行子步骤:从所述标准化测试集中按类别分层随机抽样生成当次随机测试集,调用各所述数据源的处理接口对所述当次随机测试集进行分类处理,计算各所述数据源的当前测试准确率;

13、置信度计算子步骤:基于各所述数据源的历史置信度序列计算波动率,根据所述波动率自适应调整所述滑动窗口的长度,所述波动率越大则所述滑动窗口的长度越短;计算所述滑动窗口内历史置信度的均值作为所述历史置信度均值;根据所述标准化测试集的最近更新时间计算时效因子,基于所述时效因子确定所述当前测试准确率的权重;将所述当前测试准确率与所述历史置信度均值加权求和,得到所述动态置信度。

14、优选地,所述置信度计算子步骤中,通过基于参考历史序列的均方差计算各数据源的所述波动率;所述滑动窗口的长度根据所述波动率按照反比关系自适应调整,波动率越大窗口越短;所述时效因子根据当前时刻与所述标准化测试集最近一次更新时刻之间的时间间隔按照指数衰减方式计算;基于所述时效因子确定所述当前测试准确率的权重,该权重介于预设的最低保留权重和最高权重之间;所述动态置信度为所述当前测试准确率与所述历史置信度均值按所述权重加权求和的结果。

15、优选地,所述质量函数构建步骤中,对于任一数据源,该数据源的动态置信度被用作该数据源输出信息被采信的程度;对于各已知类别,将待融合的每条数据的分类概率与所述动态置信度相乘,得到该数据源对各已知类别的基本概率分配值;对于未知类别,将1减去所述动态置信度所得差值作为该未知类别的质量,用于吸收该数据源的不确定性部分。

16、优选地,对于两个数据源,所述冲突融合步骤中,首先计算各焦元上两个质量函数乘积之和,用1减去该和得到所述冲突系数;当所述冲突系数小于所述预设冲突阈值时,采用dempster组合规则直接融合;当所述冲突系数大于或等于所述预设冲突阈值时,启动所述冲突回填过程:将所述冲突系数的一部分按照两个数据源不确定性的平均值分配至所述未知类别,将剩余冲突系数按照两个数据源动态置信度的相对比例分别分配至两个数据源各自的主判类别;将各焦元上两个质量函数的乘积与分配至该焦元的冲突系数分量叠加,得到融合后的质量函数,取融合后质量函数中最大值对应的类别作为最终融合结果标签。

17、优选地,当存在n个数据源且n≥3时,按照dempster组合规则的结合律进行两两递推组合,依次将第n个数据源的基本概率分配函数与当前融合结果进行组合,n = 1, 2,…, n,每一步组合均独立计算当步冲突系数并判断是否触发所述冲突回填过程;当所述当前融合结果为中间融合结果时,所述中间融合结果的代表置信度取参与融合的各原始数据源动态置信度的算术平均值。

18、为解决上述技术问题,本发明还提供了一种基于评估反馈与动态置信度的多源冲突数据融合治理系统,包括:

19、标准化测试集维护模块,配置为独立构建并持续维护标准化测试集,所述标准化测试集按样本采集、标注质控和版本化管理构建;

20、动态置信度评估模块,配置为基于所述标准化测试集对多个数据源进行周期性评估,根据各所述数据源在所述标准化测试集上的当前测试准确率以及基于滑动窗口统计的历史置信度均值,计算各所述数据源的动态置信度;

21、质量函数构建模块,配置为针对待融合的每条数据,根据所述动态置信度评估模块计算得到的该条数据所来源数据源的所述动态置信度以及该条数据的分类概率分布,构建ds证据理论的基本概率分配函数;以及

22、冲突融合模块,配置为对多个所述基本概率分配函数计算冲突系数,判断所述冲突系数是否超过预设冲突阈值,若未超过则采用dempster组合规则进行融合,若超过则启动冲突回填过程;所述冲突回填过程包括:将所述冲突系数的一部分分配至未知类别,将所述冲突系数的剩余部分按照各数据源的所述动态置信度的相对比例分配至各数据源的主判类别。

23、优选地,所述动态置信度评估模块包括:

24、测试执行单元,配置为从所述标准化测试集中按类别分层随机抽样生成当次随机测试集,调用各所述数据源的处理接口对所述当次随机测试集进行分类处理,计算各所述数据源的当前测试准确率;

25、置信度计算单元,配置为基于各所述数据源的历史置信度序列计算波动率,根据所述波动率自适应调整所述滑动窗口的长度,计算所述滑动窗口内历史置信度的均值作为所述历史置信度均值,根据所述标准化测试集的最近更新时间计算时效因子,基于所述时效因子确定所述当前测试准确率的权重,将所述当前测试准确率与所述历史置信度均值加权求和得到所述动态置信度。

26、优选地,所述冲突融合模块针对两个数据源执行所述冲突回填过程时,将所述冲突系数的一部分按照两个数据源不确定性的平均值分配至所述未知类别,将剩余冲突系数按照两个数据源动态置信度的相对比例分别分配至两个数据源各自的主判类别。

27、为解决上述技术问题,本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法。

28、(三)技术效果

29、本发明通过建立“标准化测试集动态评估→双置信度质量函数构建→冲突系数阈值判断→按置信度比例回填”的完整技术链条,取得了以下技术效果:

30、第一,本发明通过版本化管理的标准化测试集和基于波动率自适应滑动窗口的置信度计算机制,实现了数据源置信度的动态、精准评估。稳定数据源获得较长窗口以平滑噪声,波动数据源获得较短窗口以快速响应性能变化,有效捕捉数据源因模型退化、数据分布偏移或临时故障导致的性能衰减。

31、第二,本发明通过双置信度ds质量函数构建方式,将数据源的整体可信度与单条数据的分类置信度有机融合,使低质量数据源即使输出高概率分类结果,其整体贡献也被有效抑制。

32、第三,本发明通过在高冲突场景下的冲突回填机制,将冲突系数按数据源置信度比例定向回填至未知类别和各数据源的主判类别,有效避免了经典ds理论在高冲突时将微弱共识错误放大的问题。

33、第四,本发明可通用于同质标签空间下多源冲突数据的融合治理,适用于网络安全、金融风控、医疗诊断、智慧城市等多种应用场景。