一种基于人工智能的多模态数据集清洗与标注方法与流程

本发明涉及多模态数据标注，特别涉及一种基于人工智能的多模态数据集清洗与标注方法。

背景技术：

1、多模态自动标注技术通过调用预训练的视觉-语言模型（如clip、sam等）对图像、文本、音频等多模态数据进行自动化标注，已成为构建大规模训练数据集的主流方式。然而，由于跨模态语义对齐的固有困难以及标注过程涉及的主观判断差异，自动标注结果中普遍存在标注类别标签与多模态数据内容不一致的“噪声标注”问题。研究表明，主流公开数据集的标签噪声比例可达0.15%至40%，含噪声标签的数据集训练出的模型性能会显著下降。

2、现有技术尝试通过多模态置信度评分或不确定性建模来筛选低质量标注样本，但通常采用全局统一阈值进行批量过滤或直接重新标注，未能区分噪声传播的源头与次生污染样本，也未从传播路径层面阻断噪声在数据集中的扩散。这种“一刀切”的清洗方式导致大量原本可通过二次标注修复的次生污染样本被误删，而真正的源头污染样本却因未被识别而继续留存于数据集中，清洗效果极为有限。同时，现有方法缺乏对噪声在标注样本之间传播规律的建模，难以从根本上消除污染源并防止噪声的持续扩散。

3、因此，本发明提出一种基于人工智能的多模态数据集清洗与标注方法。

技术实现思路

1、本发明提供一种基于人工智能的多模态数据集清洗与标注方法，通过污染溯源和分层处置，解决了现有技术无法区分污染源头与次生污染、清洗不彻底的缺陷，实现了精准高效的标注数据集清洗。

2、本发明提供一种基于人工智能的多模态数据集清洗与标注方法，包括：

3、获取包含图像、文本和音频数据的原始多模态数据集，调用多模态自动标注模型执行初始标注，获得每个标注样本的初始标注结果；

4、分别提取每个标注样本在三种模态上的认知不确定度，以三种认知不确定度为坐标轴构建标注质量超空间；

5、以数据类型将所有标注样本分组，计算每组在三种认知不确定度上的组内均值，依次计算图像-文本跨模态传播衰减率、文本-音频跨模态传播衰减率及污染传播非对称指数；

6、将污染传播非对称指数高于预设阈值的组标记为污染社区，以图像-文本跨模态传播衰减率和文本-音频跨模态传播衰减率作为路径追踪过程中连接边权的计算基础，沿跨模态传播衰减率递减方向追踪不确定度传播路径，将路径上在标注质量超空间中衰减变化率最大的标注样本确定为污染源节点，将污染社区内除污染源节点外的标注样本标记为已污染样本，将污染源节点标记为待移除污染源；

7、从原始多模态数据集中分离已污染样本构成待清洗数据集，对待清洗数据集执行重新标注，将重新标注后认知不确定度降低的已污染样本回收入原始多模态数据集，将重新标注后认知不确定度未降低的已污染样本从原始多模态数据集中移除，将待移除污染源从原始多模态数据集中永久移除，获得清洗后的多模态标注数据集。

8、进一步地，提取每个标注样本在三种模态上的认知不确定度，包括：

9、将图像数据输入预训练的视觉感知模型，视觉感知模型对图像数据执行图像识别和图像检测后输出图像数据属于各类别的第一概率分布，基于第一概率分布计算第一信息熵，将第一信息熵作为图像数据的第一认知不确定度；

10、将文本数据输入预训练的文本编码模型，文本编码模型对文本数据执行语义分割和语义分类后输出文本数据属于各类别的第二概率分布，基于第二概率分布计算第二信息熵，将第二信息熵作为文本数据的第二认知不确定度；

11、将音频数据输入预训练的音频编码模型，音频编码模型输出音频数据属于各类别的第三概率分布，基于第三概率分布计算第三信息熵，将第三信息熵作为音频数据的第三认知不确定度。

12、进一步地，以数据类型将所有标注样本分组，包括：

13、将数据类型为图像数据的标注样本划分为图像标注样本组；

14、将数据类型为文本数据的标注样本划分为文本标注样本组；

15、将数据类型为音频数据的标注样本划分为音频标注样本组；

16、以数据来源为划分属性，将标注样本划分为第一来源标注样本组、第二来源标注样本组和第三来源标注样本组；

17、以标注类别为划分属性，将标注样本划分为第一类别标注样本组、第二类别标注样本组和第三类别标注样本组。

18、进一步地，沿跨模态传播衰减率递减方向追踪不确定度传播路径，包括：

19、以污染社区中污染传播非对称指数最高的标注样本组作为参考组，以参考组内图像模态认知不确定度与文本模态认知不确定度的比值最高的标注样本作为追踪起点；

20、对于污染社区内的任意两个标注样本，提取两个标注样本在图像模态上的认知不确定度，以两个标注样本在图像模态上的认知不确定度的差值绝对值作为基础权重，将基础权重乘以参考组的图像-文本跨模态传播衰减率的绝对值，获得两个标注样本之间的图像-文本连接边权，提取两个标注样本在文本模态上的认知不确定度，以两个标注样本在文本模态上的认知不确定度的差值绝对值作为基础权重，将基础权重乘以参考组的文本-音频跨模态传播衰减率的绝对值，获得两个标注样本之间的文本-音频连接边权，将图像-文本连接边权与文本-音频连接边权相加，获得两个标注样本之间的融合连接边权，以融合连接边权作为边权，在污染社区内的标注样本之间建立有向连接边，有向连接边的方向从融合连接边权高的标注样本指向融合连接边权低的标注样本；

21、从追踪起点开始，沿有向连接边的方向迭代遍历，直到到达融合连接边权低于预设融合连接边权阈值的标注样本，将遍历过程中经过的所有标注样本依次排列为不确定度传播路径。

22、进一步地，将路径上在标注质量超空间中衰减变化率最大的标注样本确定为污染源节点，包括：

23、计算不确定度传播路径上每个标注样本的融合连接边权与前一个标注样本的融合连接边权的差值，将差值除以不确定度传播路径上相邻两个标注样本之间在标注质量超空间中的欧式距离，获得对应标注样本位置处的衰减变化率；

24、将所有标注样本位置处的衰减变化率进行比较，将衰减变化率最大的标注样本作为污染源节点。

25、进一步地，从原始多模态数据集中分离已污染样本构成待清洗数据集，包括：

26、将已污染样本的标注类别标签从多模态自动标注模型的训练样本集中移除；

27、在认知不确定性传播网络中，将已污染样本与其他标注样本之间的连接边的边权置为零；

28、对已污染样本附加隔离标记，将附加了隔离标记的已污染样本存储至隔离样本库，隔离样本库与原始多模态数据集物理分离。

29、进一步地，对待清洗数据集执行重新标注，包括：

30、从隔离样本库中读取附加了隔离标记的已污染样本；

31、调用多模态自动标注模型对已污染样本执行二次标注，获得二次标注结果；

32、提取二次标注结果中每个已污染样本的二次认知不确定度；

33、当已污染样本的二次认知不确定度低于初始标注结果中的认知不确定度时，将已污染样本标记为已净化样本，并将已净化样本从隔离样本库移出后重新并入原始多模态数据集；

34、当已污染样本的二次认知不确定度不低于初始标注结果中的认知不确定度时，将已污染样本标记为顽固污染样本，将顽固污染样本保留在隔离样本库中并触发人工审核。

35、进一步地，还包括：

36、计算每个标注样本组的组内污染浓度，组内污染浓度为标注样本组内已污染样本数量与当前标注样本组内标注样本总数之比；

37、将每个标注样本组的污染传播非对称指数与组内污染浓度的乘积作为当前标注样本组的污染传播势能；

38、将所有标注样本组的污染传播势能进行归一化处理，获得每个标注样本组的归一化污染传播势能；

39、将归一化污染传播势能高于预设势能阈值的标注样本组标记为优先清洗组，优先对优先清洗组内的已污染样本执行重新标注。

40、进一步地，还包括：

41、在每个标注样本组中，计算污染传播非对称指数与组内污染浓度的比值，获得当前标注样本组的污染源置信度；

42、将污染源置信度高于预设置信度阈值的标注样本组标记为高置信污染组；

43、在高置信污染组中，将认知不确定度总值最高的已污染样本标记为污染源候选样本；

44、计算污染源候选样本的标注类别标签与高置信污染组内其他已污染样本的标注类别标签之间的标签偏离度，将污染源候选样本的标注类别标签对应的标签向量与高置信污染组内其他已污染样本的标注类别标签对应的标签向量的均值向量之间的余弦距离作为标签偏离度；

45、当标签偏离度超过预设偏离阈值时，将污染源候选样本从原始多模态数据集中永久移除。

46、进一步地，还包括：

47、在认知不确定性传播网络中，计算污染社区内每个已污染样本到污染源节点的传播路径长度；

48、基于所有已污染样本的传播路径长度，构建污染社区的传播路径长度分布；

49、当传播路径长度分布的偏度系数超过预设偏度阈值时，判定污染社区存在多源污染，在污染社区内重新执行污染源节点定位直至定位出所有污染源节点；

50、将定位出的所有污染源节点作为待移除污染源，从原始多模态数据集中永久移除。

51、本发明相对于现有技术产生的有益效果为：将认知不确定度提取与深度学习相结合，通过预训练的视觉感知模型对图像数据执行图像识别和图像检测，输出各类别概率分布并计算信息熵，实现了对多模态标注数据中污染样本的精准识别；通过预训练的文本编码模型对文本数据执行语义分割和语义分类，量化了标注噪声在文本模态中的分布特征；通过构建跨模态语义传播衰减模型，利用污染传播非对称指数区分污染源头与次生污染样本，解决了现有技术无法对污染源节点进行溯源定位的缺陷；通过有向传播路径追踪和衰减变化率计算，实现了对污染社区内污染源节点的精准定位，将污染源节点与已污染样本分层处置，在保留可通过二次标注修复的次生污染样本的同时从根源上消除污染源，有效提升了清洗后多模态标注数据集的整体质量和后续深度学习模型训练的可靠性。

52、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在本技术文件中所特别指出的结构来实现和获得。

53、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。