结构化数据的语料生成方法、电子设备、计算机可读介质及计算机程序产品与流程
本公开涉及人工智能,特别涉及一种结构化数据的语料生成方法、电子设备、计算机可读介质及计算机程序产品。
背景技术:
1、近年来,大模型在自然语言处理和多模态任务中展现了强大的能力,标志着ai(artificial intelligence,人工智能)技术从专用模型到通用模型的转变。大模型的核心能力依赖于两大要素:数据和参数。参数量的增加提升了大模型的表达能力,但数据的规模和质量才是决定大模型性能的关键。高质量、多样化的数据为大模型学习语言规律和知识的“燃料”,直接影响其泛化能力和鲁棒性,这使得语料生成技术变得尤为重要。
2、语料生成通过数据增强、合成数据生成、人工标注等方式,能够有效地补充和优化训练数据,解决数据稀缺和质量问题。其中,在通信领域,基于通信领域的结构化数据生成文本语料的技术尤为重要。通信领域的结构化数据具有高度标准化、层次化、实时性和多维关联的特点,通常遵循严格的通信协议定义,采用固定字段格式存储,并包含时间戳、会话标识、设备标识等关键信息。这类数据多为数值型测量指标(如信号强度、时延)或离散状态(如信令事件),具有明确的逻辑分层(如物理层、网络层数据),同时可能涉及大规模、高维度的网络拓扑和用户行为信息。
3、相关技术中,可以基于通信结构化数据生成语料样本数据,具体是由专家标注生成语料样本数据,但是这种语料生成方式成本高,难以大规模应用。
技术实现思路
1、本公开提供一种结构化数据的语料生成方法、电子设备、计算机可读介质及计算机程序产品。
2、第一方面,本公开实施例提供一种结构化数据的语料生成方法,包括:获取目标示例和原始数据,其中,所述目标示例为经过标注的示例,所述原始数据为结构化数据;
3、根据所述目标示例生成所述原始数据对应的提示词指令;
4、通过预设大语言模型,根据所述提示词指令得到所述原始数据对应的目标数据,所述目标数据用于生成语料样本数据。
5、第二方面,本公开实施例提供一种电子设备,包括存储器、处理器;所述存储器存储有能被所述处理器执行的计算机程序,所述计算机程序被所述处理器执行时实现所述的结构化数据的语料生成方法。
6、第三方面,本公开实施例提供一种计算机可读介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述的结构化数据的语料生成方法。
7、第四方面,本公开实施例提供一种计算机程序产品,其包括种计算机程序,所述计算机程序被处理器执行时实现所述的结构化数据的语料生成方法。
8、本公开实施例中的结构化数据的语料生成方法包括:获取目标示例和原始数据,目标示例为经过标注的示例,原始数据为结构化数据;根据目标示例生成原始数据对应的提示词指令;通过预设大语言模型,根据提示词指令得到原始数据对应的目标数据,目标数据用于生成语料样本数据;本公开实施例利用经过专家标注的示例生成结构化的原始数据对应的提示词指令,并通过预设大语言模型根据提示词指令字段生成目标数据,以便根据目标数据生成原始数据对应的语料样本数据;将少量专家标注的高质量示例与大语言模型的强大生成能力相结合,能够自动大批量生成高质量的语料样本数据,在保证语料质量的前提下,降低语料生成的人力成本。
1.一种结构化数据的语料生成方法,其包括:
2.根据权利要求1所述的方法,其中,所述获取目标示例,包括:
3.根据权利要求2所述的方法,其中,所述预设示例库包括以下至少之一:预设整体描述示例库、预设字段问答示例库、预设思维链示例库;所述目标示例包括以下至少之一:目标描述示例、目标问答示例、目标思维链示例;所述从预设示例库中随机采样得到目标示例,包括以下至少之一:
4.根据权利要求1所述的方法,其中,所述目标示例包括以下至少之一:目标描述示例、目标问答示例、目标思维链示例;所述提示词指令包括以下至少之一:整体描述提示词指令、字段问答提示词指令、思维链提示词指令;所述根据所述目标示例生成所述原始数据对应的提示词指令,包括以下至少之一:
5.根据权利要求4所述的方法,其中,所述整体描述提示词指令包括:所述原始数据、任务描述、输出要求和所述目标描述示例。
6.根据权利要求4所述的方法,其中,所述字段问答提示词指令包括:所述原始数据、任务描述、输出要求、目标字段和所述目标问答示例。
7.根据权利要求6所述的方法,其中,所述根据所述目标问答示例生成所述原始数据对应的所述字段问答提示词指令,包括:
8.根据权利要求4所述的方法,其中,所述思维链提示词指令包括:所述原始数据、任务描述、输出要求、推理结果和所述目标思维链示例。
9.根据权利要求1所述的方法,其中,所述目标数据包括以下至少之一:整体描述数据、原始数据各层次的字段问答数据、思维链数据;所述提示词指令包括以下至少之一:整体描述提示词指令、字段问答提示词指令、思维链提示词指令;所述通过预设大语言模型,根据所述提示词指令得到所述原始数据对应的目标数据,包括以下至少之一:
10.根据权利要求1-9任一项所述的方法,其中,所述通过预设大语言模型,根据所述提示词指令得到所述原始数据对应的目标数据之后,还包括:
11.根据权利要求10所述的方法,其中,所述根据所述原始数据和所述目标数据,生成语料样本数据,包括:
12.一种电子设备,其包括存储器、处理器;所述存储器存储有能被所述处理器执行的计算机程序,所述计算机程序被所述处理器执行时实现权利要求1至11中任意一项所述的结构化数据的语料生成方法。
13.一种计算机可读介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至11中任意一项所述的结构化数据的语料生成方法。
14.一种计算机程序产品,其包括种计算机程序,所述计算机程序被处理器执行时实现权利要求1至11中任意一项所述的结构化数据的语料生成方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com