一种基于能力建模与动态反馈的科普众包任务分发方法

摘要: 本公开涉及计算机领域,更具体地讲,涉及一种基于能力建模与动态反馈的科普众包任务分发方法。背景技术:1、随着人工智能训练、知识资源建设和科普内容生产对标注数据需求...
一种基于能力建模与动态反馈的科普众包任务分发方法

本公开涉及计算机领域,更具体地讲,涉及一种基于能力建模与动态反馈的科普众包任务分发方法。

背景技术:

1、随着人工智能训练、知识资源建设和科普内容生产对标注数据需求的不断增长,众包标注逐渐成为大规模数据处理的重要方式。众包标注通过互联网平台组织具有不同知识背景的参与者共同完成数据标注任务,能够降低人工标注成本并提高数据处理规模。然而,科普数据通常涉及多个学科领域,具有知识范围广、语义内容复杂和专业性较强等特点,不同参与者在各知识领域上的标注能力存在明显差异。

2、现有众包标注平台在进行任务分发时,通常采用随机分发、平均分发或者依据任务类别和参与者兴趣进行分发的方法。这类方法实现简单,但难以准确表示不同科普数据的语义需求,也无法细致刻画参与者在不同知识领域上的能力差异,容易出现参与者能力与标注任务需求不匹配的情况,从而影响标注结果的准确性。

3、部分众包标注方法根据参与者的历史正确率、信誉值或者标注数量进行能力评价,并通过多数投票、加权投票等方式确定最终标注结果。然而,单一的能力评分难以反映参与者在不同领域上的能力差异;同时,现有方法通常将任务分发、结果聚合和能力评价分别处理,标注结果所反映的参与者能力信息不能及时用于后续任务分发,难以根据系统运行过程中积累的标注数据持续调整任务与参与者之间的匹配关系。

4、因此,如何对科普标注数据的多维语义需求和参与者的多维能力进行统一表示,根据二者之间的匹配程度完成任务分发,并将标注结果反馈至参与者能力更新和后续任务分发过程,是现有科普众包标注任务分配技术需要解决的问题。

技术实现思路

1、本发明针对现有科普众包标注方法中任务需求刻画较为粗略、参与者能力与任务需求匹配不足,以及标注结果难以及时反馈至后续任务分发过程的问题,提供一种基于能力建模与动态反馈的科普众包任务分发方法,以提高任务分配的合理性和科普数据的标注质量。

2、为实现上述目的,本发明采用如下技术方案:一种基于能力建模与动态反馈的科普众包任务分发方法,包括以下步骤:

3、步骤1,对任务发布者上传的标签体系文件和待标注数据文件进行解析,确定用于任务匹配的分类维度,利用大语言模型分析待标注数据与各分类维度之间的语义相关程度,构建任务需求向量。

4、步骤2,获取参与者的自评擅长领域信息,采用基于beta分布先验的贝叶斯平滑方法计算参与者在不同能力维度上的能力值,构建与任务需求向量维度一致的参与者能力向量。

5、步骤3,计算参与者能力向量与任务需求向量之间的匹配度,根据匹配度对候选参与者进行排序,并结合参与者任务接收量上限和历史任务分配记录,将待标注数据分配给满足条件的参与者。

6、步骤4,收集多个参与者针对同一数据提交的标注结果,按照标签维度分别进行结果统计,并基于严格多数一致原则聚合确定最终标注结果;对于未形成严格多数一致结果的数据,将其分配给尚未参与该数据标注的参与者进行复审。

7、步骤5,在最终标注结果确定后,将参与者提交的标注结果与最终标注结果进行比较,根据比较结果更新参与者在相应能力维度上的历史标注统计量和能力值,并将更新后的参与者能力向量用于后续任务匹配与分发。

8、优选地,所述任务需求向量的各维度与标签体系中用于任务匹配的分类维度一一对应;所述参与者能力向量采用相同的维度顺序,使任务需求和参与者能力能够在统一的特征空间中进行比较。

9、优选地,所述任务分发过程按照预设周期自动执行,并根据参与者能力与任务需求之间的匹配度选择预设数量的参与者;当参与者达到任务接收量上限或者已经标注过当前数据时,不再向其分配该数据。

10、优选地,所述参与者能力更新以已经确认的最终标注结果为依据。随着参与者历史标注结果不断积累,实际标注表现对能力值的影响逐渐增强,初始自评信息对能力值的影响逐渐减弱。

11、与现有技术相比,本发明具有以下有益效果:

12、本发明利用大语言模型对科普数据进行语义分析,并将不同数据的任务需求表示为统一的多维向量,能够更加细致地反映科普数据在不同知识领域上的需求差异,为任务匹配提供可计算的依据。

13、本发明结合参与者自评信息和历史标注结果构建多维能力向量,并采用贝叶斯平滑方法降低标注样本较少时能力估计的波动,使参与者能力评价能够随着实际标注数据的积累持续调整。

14、本发明将任务需求建模、参与者能力建模、任务匹配、结果聚合和能力更新相结合,使标注结果能够反馈至参与者能力模型和后续任务分发过程,形成动态反馈闭环,从而提高参与者与科普标注任务之间的匹配程度以及整体标注结果的准确性。

1.一种基于能力建模与动态反馈的科普众包任务分发方法,其特征在于:

2.根据权利要求1所述的科普众包任务分发方法,其特征在于,所述任务需求向量的构建方法为:解析任务发布者上传的标签体系文件,确定用于任务匹配的分类维度,利用大语言模型计算待标注数据与各分类维度之间的语义相关度,并将各分类维度的语义相关度组合为任务需求向量。

3.根据权利要求1所述的科普众包任务分发方法,其特征在于,所述参与者能力向量的构建方法为:根据参与者自评的擅长领域设置各能力维度的beta分布先验参数,并结合参与者在各能力维度上的正确标注数量和标注总数,采用贝叶斯平滑方法计算各维度的能力值,将各维度的能力值组合为参与者能力向量。

4.根据权利要求1所述的科普众包任务分发方法,其特征在于,采用余弦相似度计算第i个参与者与第k条待标注数据之间的匹配度:

5.根据权利要求4所述的科普众包任务分发方法,其特征在于,按照匹配度由高到低的顺序选择参与者,并结合参与者的任务接收量上限以及任务分配记录,将每条待标注数据分配给预设数量的参与者。

6.根据权利要求1所述的科普众包任务分发方法,其特征在于,所述标注结果聚合方法为:按照标签维度分别统计各候选标签的支持数量,将获得超过参与人数一半支持的候选标签确定为对应标签维度的最终标注结果;当全部标签维度均形成严格多数一致结果时,确认该条数据的最终标注结果。

7.根据权利要求6所述的科普众包任务分发方法,其特征在于,对于未形成严格多数一致结果的待标注数据,将其分配给尚未参与该数据标注的参与者进行复审,并根据复审结果重新进行一致性判断。

8.根据权利要求6或7所述的科普众包任务分发方法,其特征在于,在待标注数据的最终标注结果确定后,根据各参与者提交的标注结果与最终标注结果之间的一致性,更新参与者在相应能力维度上的正确标注数量、标注总数和能力值,并将更新后的参与者能力向量用于下一周期的任务匹配与分发。