一种数据的标注方法、装置及存储介质与流程

本发明涉及数据处理，尤其涉及一种数据的标注方法、装置及存储介质。

背景技术：

1、随着人工智能技术在计算机视觉、自然语言处理、语音识别等领域的广泛应用，标注数据已成为支撑深度学习模型训练的核心基础资源，因此，如何进行数据高质量标注已成为一大研究重点。

2、当前，关于数据的标注方式仍以人工进行数据标注为主，需要工作人员按照主观意识对大量数据进行一一分析及标注，不同工作人员即便对同一数据的标注结果也会不同，因此，人工标注方式普遍存在效率低、成本高、一致性不足等问题；此外，现有技术中也存在基于主动学习的数据标注方式，但是，主动学习本质上仍依赖大量人工标注，因此，现有的数据标注方式存在数据标注准确性及标注效率低的问题。

技术实现思路

1、本发明提供了一种数据的标注方法、装置及存储介质，能够提高数据的标注准确性及标注可靠性，提高数据的标注效率及标注便捷性。

2、为了解决上述技术问题，本发明第一方面公开了一种数据的标注方法，所述方法包括：

3、确定需要进行样本数据标注的待标注数据集合及其语义嵌入向量结果，所述待标注数据集合包括至少一个待标注样本数据；

4、根据所述待标注数据集合及所述语义嵌入向量结果，执行样本价值分析及样本筛选操作，得到候选伪标签列表；

5、根据所述候选伪标签列表，执行伪标签确定操作，得到伪标签集合；

6、根据所述伪标签集合，执行多视角处理及特殊样本处理操作，得到有效样本数据集合；

7、根据所述有效样本数据集合，执行多层级标注质量评估操作，得到质量评估结果；

8、根据所述质量评估结果，确定最终数据标注结果。

9、作为一种可选的实施方式，在本发明第一方面中，所述质量评估结果包括复核候选集合，所述复核候选集合包括至少一个低质量样本数据；

10、以及，所述根据所述质量评估结果，确定最终数据标注结果，包括：

11、根据所述低质量样本数据，确定第二近邻样本信息，并根据所述第二近邻样本信息，确定满足预设最高出现频次条件的最高频次标注类别；

12、根据所述低质量样本数据的标注信息及所述最高频次标注类别，判断所述低质量样本数据是否满足预设的自动纠偏类别条件；

13、当判断出所述低质量样本数据满足所述自动纠偏类别条件时，根据所述最高频次标注类别，对所述低质量样本数据执行自动纠偏类别操作，得到已自动纠偏样本数据，以作为第一复核样本数据；

14、当判断出所述低质量样本数据不满足所述自动纠偏类别条件时，将所述低质量样本数据确定为第一复核样本数据；

15、根据所述第一复核样本数据，确定最终数据标注结果。

16、作为一种可选的实施方式，在本发明第一方面中，所述根据所述第一复核样本数据，确定最终数据标注结果，包括：

17、确定所述第一复核样本数据的第二置信度结果及第二不确定性结果，并根据所述第二置信度结果及所述第二不确定性结果，判断所述第一复核样本数据是否满足预设的人工复核条件；

18、当判断出所述第一复核样本数据不满足所述人工复核条件时，基于所述第一复核样本数据，对所述伪标签集合执行更新操作，得到更新后的所述伪标签集合；

19、当判断出所述第一复核样本数据满足所述人工复核条件时，对所述第一复核样本数据执行人工复核标注操作，得到第二复核样本数据；将所述第二复核样本数据添加至预构建的已标注数据集合，得到更新后的所述已标注数据集合；

20、根据更新后的所述伪标签集合，判断当前是否满足预设的标注收敛条件；

21、当判断出当前满足所述标注收敛条件时，根据更新后的所述伪标签集合及更新后的所述已标注数据集合，确定最终数据标注结果。

22、作为一种可选的实施方式，在本发明第一方面中，所述语义嵌入向量结果包括每一所述待标注样本数据的语义嵌入向量；

23、以及，所述根据所述待标注数据集合及所述语义嵌入向量结果，执行样本价值分析及样本筛选操作，得到候选伪标签列表，包括：

24、对于每一所述待标注样本数据，根据该待标注样本数据的语义嵌入向量、确定出的分类权重矩阵信息及分类偏置向量信息，确定该待标注样本数据针对每一预设标注类别的概率分布预测结果；

25、根据该待标注样本数据的概率分布预测结果，确定该待标注样本数据的信息熵结果，并根据该待标注样本数据的语义嵌入向量及确定出的第一近邻样本信息，确定该待标注样本数据的语义密度结果；

26、根据该待标注样本数据的信息熵结果及语义密度结果，确定该待标注样本数据的综合样本价值评分结果；

27、根据每一所述待标注样本数据的综合样本价值评分结果，从所有所述待标注样本数据中确定出满足预设高价值筛选条件的第一样本数据；

28、根据所有所述第一样本数据，确定候选伪标签列表。

29、作为一种可选的实施方式，在本发明第一方面中，所述候选伪标签列表包括所有所述待标注样本数据中的满足预设高价值筛选条件的至少一个第一样本数据；

30、以及，所述根据所述候选伪标签列表，执行伪标签确定操作，得到伪标签集合，包括：

31、根据确定出的当前迭代轮次的验证集标注准确率，确定自适应置信度阈值；

32、根据每一所述第一样本数据针对每一预设标注类别的概率分布预测结果，确定每一所述第一样本数据的最大预测概率值；

33、根据每一所述第一样本数据的最大预测概率值及所述自适应置信度阈值，从所有所述第一样本数据中确定出满足预设伪标签条件的第二样本数据；

34、根据每一所述第二样本数据及其最大预测概率值，生成每一所述第二样本数据的伪标签信息；

35、根据每一所述第二样本数据及其伪标签信息，确定伪标签集合；

36、以及，所述方法还包括：

37、根据预构建的已标注数据集合，确定监督损失信息，并根据所述伪标签集合，确定伪标签损失信息；

38、根据确定出的当前训练阶段的伪标签损失权重信息、所述监督损失信息及所述伪标签损失信息，确定联合损失函数信息；

39、根据所述联合损失函数信息，执行参数更新操作，得到针对特征提取模型的参数更新结果。

40、作为一种可选的实施方式，在本发明第一方面中，所述伪标签集合包括所有所述待标注样本数据中的满足预设伪标签条件的至少一个第二样本数据及其伪标签信息；

41、以及，所述根据所述伪标签集合，执行多视角处理及特殊样本处理操作，得到有效样本数据集合，包括：

42、根据所述伪标签集合中的第二样本数据，确定一个或多个目标第二样本数据；

43、对于每一所述目标第二样本数据，根据该目标第二样本数据的数据格式类型，确定该目标第二样本数据对应的至少两个增强视角样本结果；

44、根据该目标第二样本数据对应的所有所述增强视角样本结果，确定每一所述增强视角样本结果的模型预测分布结果；

45、根据该目标第二样本数据对应的所有所述模型预测分布结果，确定该目标第二样本数据对应的预测差异信息；

46、根据每一所述目标第二样本数据的预测差异信息，从所有所述目标第二样本数据中确定出不满足预设预测冲突条件的第三样本数据，作为有效样本数据；和/或，

47、根据每一所述目标第二样本数据的预测差异信息，从所有所述目标第二样本数据中确定出满足预设预测冲突条件的第四样本数据，作为冲突样本数据；基于所述冲突样本数据，对所述伪标签集合执行冲突样本数据移除操作，得到有效样本数据；

48、根据所有所述有效样本数据，确定有效样本数据集合。

49、作为一种可选的实施方式，在本发明第一方面中，所述有效样本数据集合包括至少一个有效样本数据，所述有效样本数据包括所有所述待标注样本数据中的不满足预设预测冲突条件的第三样本数据；

50、以及，所述根据所述有效样本数据集合，执行多层级标注质量评估操作，得到质量评估结果，包括：

51、根据每一所述有效样本数据的概率分布预测结果，确定每一所述有效样本数据的第一置信度结果及第一不确定性结果；

52、根据每一所述有效样本数据的第一置信度结果，从所有所述有效样本数据中确定出满足预设低可信度条件的样本数据，以作为低质量样本数据，和/或，根据每一所述有效样本数据的第一不确定性结果，从所有所述有效样本数据中确定出满足预设高不确定性条件的样本数据，以作为低质量样本数据；

53、根据所有所述低质量样本数据，确定复核候选集合；

54、根据所有所述有效样本数据的第一置信度结果，确定针对每一预设标注类别的置信度方差结果，并根据每一所述预设标注类别的置信度方差结果及样本数量，确定质量预警标注类别；

55、根据所有所述有效样本数据及其第一置信度结果、第一不确定性结果，确定全局质量指标信息；

56、根据所述复核候选集合、所述质量预警标注类别及所述全局质量指标信息，确定质量评估结果。

57、本发明第二方面公开了一种数据的标注装置，所述装置包括：

58、基础信息确定模块，用于确定需要进行样本数据标注的待标注数据集合及其语义嵌入向量结果，所述待标注数据集合包括至少一个待标注样本数据；

59、候选伪标签确定模块，用于根据所述待标注数据集合及所述语义嵌入向量结果，执行样本价值分析及样本筛选操作，得到候选伪标签列表；

60、伪标签确定模块，用于根据所述候选伪标签列表，执行伪标签确定操作，得到伪标签集合；

61、有效样本确定模块，用于根据所述伪标签集合，执行多视角处理及特殊样本处理操作，得到有效样本数据集合；

62、质量评估模块，用于根据所述有效样本数据集合，执行多层级标注质量评估操作，得到质量评估结果；

63、最终标注结果确定模块，用于根据所述质量评估结果，确定最终数据标注结果。

64、作为一种可选的实施方式，在本发明第二方面中，所述质量评估结果包括复核候选集合，所述复核候选集合包括至少一个低质量样本数据；

65、以及，所述最终标注结果确定模块根据所述质量评估结果，确定最终数据标注结果的方式具体包括：

66、根据所述低质量样本数据，确定第二近邻样本信息，并根据所述第二近邻样本信息，确定满足预设最高出现频次条件的最高频次标注类别；

67、根据所述低质量样本数据的标注信息及所述最高频次标注类别，判断所述低质量样本数据是否满足预设的自动纠偏类别条件；

68、当判断出所述低质量样本数据满足所述自动纠偏类别条件时，根据所述最高频次标注类别，对所述低质量样本数据执行自动纠偏类别操作，得到已自动纠偏样本数据，以作为第一复核样本数据；

69、当判断出所述低质量样本数据不满足所述自动纠偏类别条件时，将所述低质量样本数据确定为第一复核样本数据；

70、根据所述第一复核样本数据，确定最终数据标注结果。

71、作为一种可选的实施方式，在本发明第二方面中，所述最终标注结果确定模块根据所述第一复核样本数据，确定最终数据标注结果的方式具体包括：

72、确定所述第一复核样本数据的第二置信度结果及第二不确定性结果，并根据所述第二置信度结果及所述第二不确定性结果，判断所述第一复核样本数据是否满足预设的人工复核条件；

73、当判断出所述第一复核样本数据不满足所述人工复核条件时，基于所述第一复核样本数据，对所述伪标签集合执行更新操作，得到更新后的所述伪标签集合；

74、当判断出所述第一复核样本数据满足所述人工复核条件时，对所述第一复核样本数据执行人工复核标注操作，得到第二复核样本数据；将所述第二复核样本数据添加至预构建的已标注数据集合，得到更新后的所述已标注数据集合；

75、根据更新后的所述伪标签集合，判断当前是否满足预设的标注收敛条件；

76、当判断出当前满足所述标注收敛条件时，根据更新后的所述伪标签集合及更新后的所述已标注数据集合，确定最终数据标注结果。

77、作为一种可选的实施方式，在本发明第二方面中，所述语义嵌入向量结果包括每一所述待标注样本数据的语义嵌入向量；

78、以及，所述候选伪标签确定模块根据所述待标注数据集合及所述语义嵌入向量结果，执行样本价值分析及样本筛选操作，得到候选伪标签列表的方式具体包括：

79、对于每一所述待标注样本数据，根据该待标注样本数据的语义嵌入向量、确定出的分类权重矩阵信息及分类偏置向量信息，确定该待标注样本数据针对每一预设标注类别的概率分布预测结果；

80、根据该待标注样本数据的概率分布预测结果，确定该待标注样本数据的信息熵结果，并根据该待标注样本数据的语义嵌入向量及确定出的第一近邻样本信息，确定该待标注样本数据的语义密度结果；

81、根据该待标注样本数据的信息熵结果及语义密度结果，确定该待标注样本数据的综合样本价值评分结果；

82、根据每一所述待标注样本数据的综合样本价值评分结果，从所有所述待标注样本数据中确定出满足预设高价值筛选条件的第一样本数据；

83、根据所有所述第一样本数据，确定候选伪标签列表。

84、作为一种可选的实施方式，在本发明第二方面中，所述候选伪标签列表包括所有所述待标注样本数据中的满足预设高价值筛选条件的至少一个第一样本数据；

85、以及，所述伪标签确定模块根据所述候选伪标签列表，执行伪标签确定操作，得到伪标签集合的方式具体包括：

86、根据确定出的当前迭代轮次的验证集标注准确率，确定自适应置信度阈值；

87、根据每一所述第一样本数据针对每一预设标注类别的概率分布预测结果，确定每一所述第一样本数据的最大预测概率值；

88、根据每一所述第一样本数据的最大预测概率值及所述自适应置信度阈值，从所有所述第一样本数据中确定出满足预设伪标签条件的第二样本数据；

89、根据每一所述第二样本数据及其最大预测概率值，生成每一所述第二样本数据的伪标签信息；

90、根据每一所述第二样本数据及其伪标签信息，确定伪标签集合；

91、以及，所述装置还包括：

92、模型参数优化模块，用于根据预构建的已标注数据集合，确定监督损失信息，并根据所述伪标签集合，确定伪标签损失信息；根据确定出的当前训练阶段的伪标签损失权重信息、所述监督损失信息及所述伪标签损失信息，确定联合损失函数信息；根据所述联合损失函数信息，执行参数更新操作，得到针对特征提取模型的参数更新结果。

93、作为一种可选的实施方式，在本发明第二方面中，所述伪标签集合包括所有所述待标注样本数据中的满足预设伪标签条件的至少一个第二样本数据及其伪标签信息；

94、以及，所述有效样本确定模块根据所述伪标签集合，执行多视角处理及特殊样本处理操作，得到有效样本数据集合的方式具体包括：

95、根据所述伪标签集合中的第二样本数据，确定一个或多个目标第二样本数据；

96、对于每一所述目标第二样本数据，根据该目标第二样本数据的数据格式类型，确定该目标第二样本数据对应的至少两个增强视角样本结果；

97、根据该目标第二样本数据对应的所有所述增强视角样本结果，确定每一所述增强视角样本结果的模型预测分布结果；

98、根据该目标第二样本数据对应的所有所述模型预测分布结果，确定该目标第二样本数据对应的预测差异信息；

99、根据每一所述目标第二样本数据的预测差异信息，从所有所述目标第二样本数据中确定出不满足预设预测冲突条件的第三样本数据，作为有效样本数据；和/或，

100、根据每一所述目标第二样本数据的预测差异信息，从所有所述目标第二样本数据中确定出满足预设预测冲突条件的第四样本数据，作为冲突样本数据；基于所述冲突样本数据，对所述伪标签集合执行冲突样本数据移除操作，得到有效样本数据；

101、根据所有所述有效样本数据，确定有效样本数据集合。

102、作为一种可选的实施方式，在本发明第二方面中，所述有效样本数据集合包括至少一个有效样本数据，所述有效样本数据包括所有所述待标注样本数据中的不满足预设预测冲突条件的第三样本数据；

103、以及，所述质量评估模块根据所述有效样本数据集合，执行多层级标注质量评估操作，得到质量评估结果的方式具体包括：

104、根据每一所述有效样本数据的概率分布预测结果，确定每一所述有效样本数据的第一置信度结果及第一不确定性结果；

105、根据每一所述有效样本数据的第一置信度结果，从所有所述有效样本数据中确定出满足预设低可信度条件的样本数据，以作为低质量样本数据，和/或，根据每一所述有效样本数据的第一不确定性结果，从所有所述有效样本数据中确定出满足预设高不确定性条件的样本数据，以作为低质量样本数据；

106、根据所有所述低质量样本数据，确定复核候选集合；

107、根据所有所述有效样本数据的第一置信度结果，确定针对每一预设标注类别的置信度方差结果，并根据每一所述预设标注类别的置信度方差结果及样本数量，确定质量预警标注类别；

108、根据所有所述有效样本数据及其第一置信度结果、第一不确定性结果，确定全局质量指标信息；

109、根据所述复核候选集合、所述质量预警标注类别及所述全局质量指标信息，确定质量评估结果。

110、本发明第三方面公开了另一种数据的标注装置，所述装置包括：

111、存储有可执行程序代码的存储器；

112、与所述存储器耦合的处理器；

113、所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的一种数据的标注方法。

114、本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的一种数据的标注方法。

115、与现有技术相比，本发明实施例具有以下有益效果：

116、本发明实施例中，确定需要进行样本数据标注的待标注数据集合及其语义嵌入向量结果，该待标注数据集合包括至少一个待标注样本数据；根据该待标注数据集合及该语义嵌入向量结果，执行样本价值分析及样本筛选操作，得到候选伪标签列表；根据该候选伪标签列表，执行伪标签确定操作，得到伪标签集合；根据该伪标签集合，执行多视角处理及特殊样本处理操作，得到有效样本数据集合；根据该有效样本数据集合，执行多层级标注质量评估操作，得到质量评估结果；根据该质量评估结果，确定最终数据标注结果。可见，本发明能够通过样本价值分析及样本筛选操作、伪标签确定操作、多视角处理及特殊样本处理操作、多层级标注质量评估操作、最终数据标注结果确定操作实现智能化的数据标注，有利于提高数据标注处理方式的全面性，进而有利于提高数据的标注准确性及标注可靠性，有利于提高数据的标注效率及标注便捷性，从而有利于提高数据标注质量以及实现在弱监督条件下标注效率与标注质量的协同提升。