一种基于归因一致性的模型训练数据偏差检测方法

本发明涉及数据检测，更具体地说，本发明涉及一种基于归因一致性的模型训练数据偏差检测方法。

背景技术：

1、随着深度学习模型在合成孔径雷达图像识别、通信信号分析以及信号时频特征学习等电磁数据处理场景中的广泛应用，训练数据质量对模型性能的影响日益突出。现有训练数据质量评估方法通常侧重于样本标签正确性、类别分布均衡性或者模型整体识别准确率等统计指标，通过分析模型输出结果判断训练数据是否存在异常样本或类别偏差。

2、现有技术存在以下不足：

3、目前，在复杂电磁数据场景下，无法准确判断同类别样本归因特征的聚合一致程度以及类别中心特征的代表性偏移情况，导致训练数据中的伪相关偏差和低质量样本难以被有效识别，进而降低训练数据偏差检测结果的可靠性，因此，提出一种基于归因一致性的模型训练数据偏差检测方法。

4、在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、为了克服现有技术的上述缺陷，本发明的实施例提供一种基于归因一致性的模型训练数据偏差检测方法，通过运用基于积分梯度归因的样本特征映射与类别归因中心构建机制，并融合样本归因偏离度分析与预测置信度评估实现样本可信度分级筛选与类内归因一致性迭代修正以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案，一种基于归因一致性的模型训练数据偏差检测方法，包括以下步骤：

3、步骤s1：对候选样本执行积分梯度归因生成样本归因向量，聚合同类候选样本的样本归因向量生成类别归因中心向量；

4、步骤s2：结合样本归因向量与类别归因中心向量计算样本归因偏离度，采集样本预测置信度分布，结合样本归因偏离度生成样本可信度评估量，根据样本可信度评估量对候选样本执行分级标记并设定有效归因样本集合；

5、步骤s3：基于有效归因样本集合中的样本归因向量计算类内归因一致性得分，结合类内归因一致性得分评估当前类别归因中心向量的代表性偏差量并判断是否触发偏离度修正机制；

6、步骤s4：在偏离度修正机制中，根据有效归因样本集合更新类别归因中心向量，重新生成修正后类内归因一致性得分，将修正后类内归因一致性得分作为类别偏差判定依据。

7、在一个优选的实施方式中，在步骤s1中，候选样本为从测试集中按类别初步选取、待进入归因一致性计算的电磁数据样本，样本类型包括合成孔径雷达图像、通信i/q时序信号、信号时频图三类电磁数据模态之一；

8、先通过合成孔径雷达系统、通信信号采集卡或信号时频分析仪所组成的电磁数据采集装置获取候选样本，再将候选样本输入在待检测训练数据集上完成训练并固化权重的目标深度学习模型，调用该模型对每条候选样本输出预测最优类别。

9、在一个优选的实施方式中，在步骤s1中，对每条候选样本采用积分梯度归因方法计算其对预测最优类别的归因图；

10、将二维归因热力图或一维归因序列展平为一维向量，对展平向量执行l2归一化处理得到样本归因向量；

11、对同类候选样本的样本归因向量执行均值聚合得到类别归因中心向量。

12、在一个优选的实施方式中，在步骤s2中，针对每条候选样本，结合样本归因向量与类别归因中心向量计算样本归因偏离度；

13、通过目标深度学习模型的softmax输出函数实时获取每条候选样本的样本预测置信度分布，计算置信度集中度；

14、接着对样本归因偏离度执行max-min区间标准化处理得到样本归因偏离度标准化结果；

15、利用几何平均法融合样本归因偏离度标准化结果与置信度集中度得到样本可信度评估量。

16、在一个优选的实施方式中，在步骤s2中，将样本可信度评估量与可信样本下界、可疑样本下界两个临界值进行比较：

17、当样本可信度评估量大于或等于可信样本下界时，将候选样本标记为可信样本，纳入有效归因样本集合；

18、当样本可信度评估量介于可疑样本下界与可信样本下界之间时，将候选样本标记为可疑样本，保留其样本归因向量供后续溯源使用但不纳入有效归因样本集合；

19、当样本可信度评估量小于可疑样本下界时，将候选样本标记为剔除样本，退出有效归因样本集合，保留归因向量供后续偏差成因分析使用。

20、在一个优选的实施方式中，在步骤s3中，调取有效归因样本集合中各样本对应的样本归因向量计算类内归因一致性得分；

21、对有效归因样本集合中的样本归因向量重新均值聚合得到重聚合中心向量，并计算代表性偏差量；

22、；

23、其中，为类别的代表性偏差量，为重聚合中心向量，由有效归因样本集合中的样本归因向量重新均值聚合所得，为类别的类别归因中心向量。

24、在一个优选的实施方式中，在步骤s3中，将代表性偏差量与预设偏移容限阈值进行比较：

25、当代表性偏差量大于或等于预设偏移容限阈值时，判定类别归因中心向量已偏离有效样本真实方向，置修正机制触发标记为真，将类内归因一致性得分等待修正；

26、当代表性偏差量小于预设偏移容限阈值时，判定类别归因中心向量代表性充分，置修正机制触发标记为假，将类内归因一致性得分作为类别偏差判定依据直接输出。

27、在一个优选的实施方式中，在步骤s4中，当修正机制触发标记大于零（为真）时，启动偏离度修正机制；当该触发标记不大于零（为假）时，直接将类内归因一致性得分作为修正后类内归因一致性得分，进入后续伪相关偏差判定；

28、偏离度修正机制通过计算有效归因样本集合内样本归因向量的均值生成重聚合中心向量，将重聚合中心向量与类别归因中心向量按代表性偏差量公式重新计算得到新代表性偏差量，再将类别归因中心向量更新为重聚合中心向量；

29、以类别归因中心向量为基准，按偏离度公式重新计算各候选样本的样本归因偏离度，依据几何平均融合方式重新生成样本可信度评估量，按分级临界值重新执行分级标记，更新有效归因样本集合；

30、当新代表性偏差量小于预设偏移容限阈值时终止迭代，否则返回偏离度修正机制继续迭代；

31、迭代收敛后基于最终有效归因样本集合中的样本归因向量重新计算类内归因一致性得分，得到修正后类内归因一致性得分。

32、在一个优选的实施方式中，在步骤s4中，在得到修正后类内归因一致性得分后，将修正后类内归因一致性得分与一致性阈值进行比较，同时统计当前类别在测试集上的预测正确样本数与总样本数之比作为类别识别准确率，并将类别识别准确率与准确率阈值进行比较；

33、当修正后类内归因一致性得分小于一致性阈值且类别识别准确率不小于准确率阈值时，判定当前类别存在高准确率低一致性的伪相关偏差，输出类别偏差判定结论；

34、当修正后类内归因一致性得分不小于一致性阈值时，判定当前类别归因模式统一，依据类别识别准确率与准确率阈值的比较结果，进一步将其细分为优质类别或模型学习偏差类别；

35、当修正后类内归因一致性得分小于一致性阈值且类别识别准确率小于准确率阈值时，判定当前类别为数据质量缺陷类别，归因模式混乱且决策能力不足。

36、本发明的技术效果和优点：

37、本发明通过对候选样本执行积分梯度归因生成样本归因向量，并构建类别归因中心向量，结合样本归因偏离度与预测置信度形成样本可信度评估量，筛选有效归因样本集合，基于有效归因样本集合计算类内归因一致性得分和代表性偏差量，对类别归因中心向量进行迭代修正，并利用修正后类内归因一致性得分完成类别偏差判定，实现训练数据偏差的精准识别与伪相关特征的有效发现，提高模型训练数据质量评估的准确性和可靠性，实现模型决策依据的可解释分析与偏差溯源能力增强，降低因数据偏差导致的模型误判风险。