数据标注模型的训练方法、数据标注方法及装置、设备与流程
本公开涉及人工智能,尤其涉及大模型技术和数据标注,具体涉及一种数据标注模型的训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
背景技术:
1、人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术;人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
2、相关技术中,内容平台在进行资源话题自动标注时面临诸多挑战。随着平台内容规模的快速增长,完全依赖人工运营进行话题标注由于成本高昂且不具备可扩展性,已经变得不可行,因而急需实现自动化、规模化的话题生成与标注技术。
3、在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明,否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地,除非另有指明,否则此部分中提及的问题不应认为在任何现有技术中已被公认。
技术实现思路
1、本公开提供了一种数据标注模型的训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
2、根据本公开的一方面,提供了一种数据标注模型的训练方法,包括:利用数据标注模型基于样本数据输出第一预测标注信息,其中,所述样本数据包括文本、图片、音频或视频中的至少一项,所述第一预测标注信息表征所述样本数据的语义;基于所述样本数据相应的参考标注信息和所述第一预测标注信息,确定针对所述第一预测标注信息的第一评估信息;生成对话数据,其中,所述对话数据包括模拟用户对话数据和针对所述数据标注模型的期望对话数据,所述模拟用户对话数据包括所述样本数据和所述第一评估信息,所述期望对话数据包括所述第一预测标注信息和所述参考标注信息;以及利用所述对话数据,训练所述数据标注模型。
3、根据本公开的一方面,提供了一种数据标注方法,包括:利用数据标注模型基于输入数据输出标注信息,其中,所述输入数据包括文本、图片、音频或视频中的至少一项,所述标注信息表征所述输入数据的语义,所述数据标注模型是利用上述的数据标注模型的训练方法训练得到的。
4、根据本公开的一方面,提供了一种数据标注模型的训练装置,包括:预测单元,被配置为利用数据标注模型基于样本数据输出第一预测标注信息,其中,所述样本数据包括文本、图片、音频或视频中的至少一项,所述第一预测标注信息表征所述样本数据的语义;评估单元,被配置为基于所述样本数据相应的参考标注信息和所述第一预测标注信息,确定针对所述第一预测标注信息的第一评估信息;生成单元,被配置为生成对话数据,其中,所述对话数据包括模拟用户对话数据和针对所述数据标注模型的期望对话数据,所述模拟用户对话数据包括所述样本数据和所述第一评估信息,所述期望对话数据包括所述第一预测标注信息和所述参考标注信息;以及训练单元,被配置为利用所述对话数据,训练所述数据标注模型。
5、根据本公开的一方面,提供了一种数据标注装置,包括:利用上述的数据标注模型的训练装置训练得到的数据标注模型;以及标注单元,被配置为利用所述数据标注模型基于输入数据输出标注信息,其中,所述输入数据包括文本、图片、音频或视频中的至少一项,所述标注信息表征所述输入数据的语义。
6、根据本公开的一方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述数据标注模型的训练方法或数据标注方法。
7、根据本公开的一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行上述数据标注模型的训练方法或数据标注方法。
8、根据本公开的一方面,提供了一种计算机程序产品,包括计算机程序,其中,计算机程序在被处理器执行时能够实现上述数据标注模型的训练方法或数据标注方法。
9、根据本公开的一个或多个实施例,可以提升数据标注的准确性。
10、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
1.一种数据标注模型的训练方法,包括:
2.如权利要求1所述的方法,还包括:
3.如权利要求2所述的方法,其中,所述利用所述数据标注模型基于所述样本数据和所述第一评估信息输出第二预测标注信息包括:
4.如权利要求2或3所述的方法,其中,所述将所述第二评估信息添加至所述模拟用户对话数据并将所述第二预测标注信息添加至所述期望对话数据包括:
5.如权利要求2-4中任一项所述的方法,还包括:
6.如权利要求1-5中任一项所述的方法,其中,所述基于所述样本数据相应的参考标注信息和所述第一预测标注信息,确定针对所述第一预测标注信息的第一评估信息包括:
7.如权利要求1-6中任一项所述的方法,其中,所述第一评估信息是基于以下各项评估操作中的至少一项确定的:
8.如权利要求1-6中任一项所述的方法,其中,所述利用数据标注模型基于样本数据输出第一预测标注信息包括:
9.如权利要求8所述的方法,其中,所述提示词还包括至少一组数据标注范例,所述至少一组数据标注范例包括基于范例样本提取实体信息的范例或违规信息范例。
10.一种数据标注方法,包括:
11.一种数据标注模型的训练装置,包括:
12. 一种数据标注装置,包括:
13. 一种电子设备,包括:
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使计算机执行根据权利要求1-10中任一项所述的方法。
15.一种计算机程序产品,包括计算机程序,其中,所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com