面向绝缘气体领域模型的数据集生成方法、装置、设备及介质

摘要: 本公开涉及数据处理领域,尤其涉及一种面向绝缘气体领域模型的数据集生成方法、装置、设备及介质。背景技术:1、绝缘气体广泛应用于气体绝缘开关设备、输电线路及断路器等...
面向绝缘气体领域模型的数据集生成方法、装置、设备及介质

本公开涉及数据处理领域,尤其涉及一种面向绝缘气体领域模型的数据集生成方法、装置、设备及介质。

背景技术:

1、绝缘气体广泛应用于气体绝缘开关设备、输电线路及断路器等高电压电气设备中。围绕六氟化硫及其替代气体的绝缘与灭弧性能、分解产物、安全性及环境影响,行业积累了大量标准规程、试验报告、论文专利、设备手册及运维记录等专业资料。这些资料具有强专业性、场景依赖性和参数密集性,是构建绝缘气体领域大语言模型的关键数据源。尽管通用大模型能力较强,但在绝缘气体理化特性分析、设备运维及灭弧机制等垂直场景中,仍需高质量专业数据支撑微调、检索增强生成或效果评估。

2、然而,上述资料分散于试验报告、操作手册、国际标准、安全数据表、巡检图像及专家经验中,普遍存在格式不一、结构不齐、表格密集且噪声较多等问题,难以直接转化为可训练或可评估的数据集。

3、现有处理方式多依赖人工摘录气体组分、试验条件、击穿电压等关键信息并编写样本,其仅适用于小规模资料,面对跨标准、跨设备、跨气体体系的大规模资料时,存在人工成本高、样本风格不一致、题型覆盖不均衡等局限,且难以保障问题、答案与原始来源间的语义一致性,制约了绝缘气体领域模型的可靠性与实用性。

技术实现思路

1、有鉴于此,本公开提出了一种面向绝缘气体领域模型的数据集生成方法、装置、设备及介质。该方法将绝缘气体领域相关的技术资料整理成统一的候选语料片段,基于当前生成任务的标签范围与生成约束,以候选语料片段为数据基础构建适配不同生成任务的数据集,实现了绝缘气体领域相关专业资料到目标数据集的自动化构造,避免了传统技术中人工摘录信息与编写样本的人工成本,构造的数据集中问答对遵循绝缘气体领域实体知识或实验事实,保持了样本问题、样本答案与来源文档原文信息之间的语义一致性,同时,通过当前生成任务的标签范围与生成约束,避免了人工编写导致的样本风格不一致及题型覆盖不均衡的局限,从而提升了数据集的领域专业度与准确性,增强了绝缘气体领域模型的可靠性与实用性。

2、根据本公开的一方面,提供了一种面向绝缘气体领域模型的数据集生成方法,所述方法包括:

3、针对绝缘气体领域相关的每一原始技术资料,将所述原始技术资料解析为至少一个语料单元;所述语料单元表示所述原始技术资料中具有独立语义的内容组成块;所述语料单元携带单元来源信息;所述单元来源信息包括所述原始技术资料的唯一标识、所述语料单元在所述原始技术资料中的位置信息;

4、将所述原始技术资料解析出的各语料单元包括的语料内容,经语义分段处理为至少一个候选语料片段;任一候选语料片段表示承载绝缘气体领域知识陈述或实验事实记录的结构-语义复合单元;所述候选语料片段携带片段来源信息;所述片段来源信息基于该候选语料片段内的语料内容所属的语料单元及其携带的单元来源信息确定;

5、确定每一所述候选语料片段的语料标签;所述语料标签包括绝缘气体领域标签树中的至少一个标签节点;所述绝缘气体领域标签树包括基于绝缘气体领域知识组织和所述模型的应用需求设定的标签层级结构;任一所述标签节点用于表征绝缘气体领域知识关键词或技术主题;

6、基于当前生成任务的标签范围,筛选出语料标签命中所述标签范围的各候选语料片段,并基于所述当前生成任务的生成约束,依据筛选出的候选语料片段构造多个问答对;所述当前生成任务基于所述模型的应用需求确定;

7、基于所述当前生成任务下已构造的多个问答对,构建所述当前生成任务对应的目标数据集。

8、根据本公开的另一方面,提供了一种面向绝缘气体领域模型的数据集生成装置,所述装置包括:

9、资料解析模块,被配置为针对绝缘气体领域相关的每一原始技术资料,将所述原始技术资料解析为至少一个语料单元;所述语料单元表示所述原始技术资料中具有独立语义的内容组成块;所述语料单元携带单元来源信息;所述单元来源信息包括所述原始技术资料的唯一标识、所述语料单元在所述原始技术资料中的位置信息;

10、语料分段模块,被配置为将所述原始技术资料解析出的各语料单元包括的语料内容,经语义分段处理为至少一个候选语料片段;任一候选语料片段表示承载绝缘气体领域知识陈述或实验事实记录的结构-语义复合单元;所述候选语料片段携带片段来源信息;所述片段来源信息基于该候选语料片段内的语料内容所属的语料单元及其携带的单元来源信息确定;

11、语料标签确定模块,被配置为确定每一所述候选语料片段的语料标签;所述语料标签包括绝缘气体领域标签树中的至少一个标签节点;所述绝缘气体领域标签树包括基于绝缘气体领域知识组织和所述模型的应用需求设定的标签层级结构;任一所述标签节点用于表征绝缘气体领域知识关键词或技术主题;

12、问答对构造模块,被配置为基于当前生成任务的标签范围,筛选出语料标签命中所述标签范围的各候选语料片段,并基于所述当前生成任务的生成约束,依据筛选出的候选语料片段构造多个问答对;所述当前生成任务基于所述模型的应用需求确定;

13、数据集导出模块,被配置为基于所述当前生成任务下已构造的多个问答对,构建所述当前生成任务对应的目标数据集。

14、根据本公开另一方面,提供了一种电子设备,包括存储器、处理器及存储在存储器上的计算机程序,所述处理器执行所述计算机程序以实现上述方法的步骤。

15、根据本公开另一方面,提供了一种非易失性计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。

16、在本公开实施例中,将原始技术资料解析为具有独立语义且携带单元来源信息的语料单元,再将语料单元经语义分段处理为承载具体知识陈述或实验事实的候选语料片段,有效解决了绝缘气体领域文献中图表、公式、参数与文本混杂导致的语义割裂问题,构建了统一的候选语料片段作为基础数据资源,克服了绝缘气体领域技术资料异构而难以直接转化为可训练或可评估的数据集的问题,确保了最小知识颗粒度的完整性与可回溯性;进一步地,引入基于领域知识组织与应用需求构建的绝缘气体领域标签树,针对候选语料片段配置语料标签,结合当前生成任务的标签范围与生成约束进行动态筛选候选语料片段,以筛选出的候选语料片段作为事实依据按照当前生成任务的生成约束构造问答对,使得构造的问答对遵循绝缘气体领域实体知识或实验事实,保持了样本问题、样本答案与来源文档原文信息之间的语义一致性。该方法实现了绝缘气体领域相关专业资料到目标数据集的自动化构造,避免了传统技术中人工摘录信息与编写样本的人工成本,同时,通过当前生成任务的标签范围与生成约束,避免了人工编写导致的样本风格不一致及题型覆盖不均衡的局限,从而提升了数据集的领域专业度与准确性,增强了绝缘气体领域模型的可靠性与实用性。

17、另外,由于将绝缘气体领域相关的不同技术资料处理成统一的候选语料片段,该候选语料片段的解析与标签化过程独立于具体生成任务,同一套候选语料片段可快速适配绝缘气体成分分析、故障诊断、材料选型等不同下游任务的数据集构建需求,避免了针对每个新任务重复进行资料解析的计算成本,提高了数据集构建的灵活性与复用性,极大提升了领域模型迭代开发的效率。

18、根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。