基于建设工程材料标准的数据集自动构建方法与流程
本发明属于人工智能,特别涉及一种基于建设工程材料标准的数据集自动构建方法。
背景技术:
1、建筑行业工程造价编制涉及大量材料信息的识别与分类。造价工程师需要从工程量清单、材料表中识别每种材料的类别(如钢筋、混凝土、水泥等)及技术参数(如钢筋牌号、混凝土强度等级等)。为实现这一过程的自动化,需要训练专门的ai模型来完成材料分类和特征抽取任务。这类ai模型通常采用sft(监督微调)方式训练,即需要大量高质量的“输入文本、输出json”标注样本。但建筑材料的标注数据获取面临两大难题:一是材料种类繁多,人工标注成本极高;二是实际业务场景中的文本存在各种噪声和变体,纯人工标注的“干净”数据无法覆盖真实场景。
2、现有方案读取国标pdf之后,大多只做通用文本抽取,不能自动提取一级、二级分类、特征字段白名单、允许特征值;需要大量人工整理excel知识库,材料品类多,人工整理工作量大,容易出现人为错漏,标准版本更新时维护成本高。
3、且现有自动合成样本大多使用全局统一提示词,没有为每一个材料分类配置独立的特征字段白名单instruction。训练后的模型推理时,会跨分类输出不在本分类允许范围内的特征 key,产生大量幻觉字段,和建设工程材料国标体系要求不匹配。
4、因此,我们提出一种基于建设工程材料标准的数据集自动构建方法以解决上述问题。
技术实现思路
1、为了解决上述问题,本发明提供了一种基于建设工程材料标准的数据集自动构建方法,解决了人工整理工作量大和存在大量幻觉字段的问题。
2、本发明通过如下方案来实现:一种基于建设工程材料标准的数据集自动构建方法,包括如下步骤:
3、s1、获取关于建设工程材料数据的标准文档,并对所述标准文档进行文字识别,以提取纯文本内容,对所述纯文本内容进行结构化整理,以形成以材料品种为行、以预设属性字段为列的结构化表格知识库,所述纯文本内容包括标准化规则和材料数据标准,所述标准化规则包括材料分类规则、编码规则和特征定义规则,所述材料数据标准包括材料类别层级结构和每个类别的特征项、特征值;
4、s2、基于所述知识库中的每一行数据,批量生成由指令、输入和输出构成的三元组训练样本;其中,针对不同材料品种设定独立的指令模板,并在所述指令模板中明确列出仅允许输出的合法特征字段白名单;
5、s3、对所述训练样本进行不同处理以得到不同扩展样本,所述不同扩展样本包括用于训练模型在输入信息缺失时抑制推理输出的负样本,所述负样本是通过对训练样本中的样本删除输出文本的部分特征字段、并同时删除输入文本中对应的特征信息后得到的,所述负样本中的样本与所述训练样本中对应的样本共同形成正负样本对,用以对比训练;
6、s4、将所述训练样本和所有扩展样本进行合并、去重、随机打乱,并基于各材料品种对样本量进行均衡性补充,以形成用于模型微调的数据集。
7、本发明基于建设工程材料标准的数据集自动构建方法的进一步改进在于,所述不同扩展样本还包括通过对所述训练样本进行噪声注入得到的噪声样本。
8、本发明基于建设工程材料标准的数据集自动构建方法的进一步改进在于,所述噪声注入包括:
9、s31、在所述训练样本的输入文本中引入建筑行业图像识别场景的识别错误。
10、本发明基于建设工程材料标准的数据集自动构建方法的进一步改进在于,步骤s31具体包括:
11、在输入文本中将易混淆的汉字替换为形近字;
12、在输入文本中随机插入多余空格或标点符号;
13、在输入文本中随机替换部分字符为乱码字符。
14、本发明基于建设工程材料标准的数据集自动构建方法的进一步改进在于,所述不同扩展样本还包括别名样本,所述别名样本是通过将所述训练样本中的样本的输入文本中的材料标准名称替换为建筑行业的别名后得到的。
15、本发明基于建设工程材料标准的数据集自动构建方法的进一步改进在于,所述别名包括材料的俗称及行业惯用名称缩写。
16、本发明基于建设工程材料标准的数据集自动构建方法的进一步改进在于,所述图文提取工具包括paddleocr。
17、本发明基于建设工程材料标准的数据集自动构建方法的进一步改进在于,在执行步骤s2、生成输入文本时,包括步骤:针对所述知识库中的每一行数据,分别按照第一预设格式和第二预设格式生成对应的输入文本,以形成同一材料品种的至少两种不同表述形式的训练样本。
18、本发明基于建设工程材料标准的数据集自动构建方法的进一步改进在于,所述第一预设格式为:提取所述行数据中的特征值,去除对应的特征项名称,仅将各特征值以空格连接形成纯文本序列;
19、所述第二预设格式为:提取所述行数据中的特征项及其对应的特征值,以特征项、特征值的键值对形式,采用分隔符连接,形成带字段标识的结构化文本序列。
20、本发明基于建设工程材料标准的数据集自动构建方法的进一步改进在于,在执行步骤s2并构造出训练样本后,基于训练样本,针对同一材料品种,显示生成至少两种具有不同特征信息密度的边界样本;
21、该边界样本与原训练样本共同构成新的训练样本,步骤s3和步骤s4均基于新的训练样本执行。
22、与现有技术相比,本发明的有益效果如下:
23、1、本发明通过自动提取、整理、批量生成,与纯人工标注方案相比,训练数据集的构建效率得到大大提升,大幅降低人工成本。
24、2、本发明通过构造正负样本,确保模型既能学会正向抽取,也能学会不编造,避免产生虚假信息。
1.一种基于建设工程材料标准的数据集自动构建方法,其特征在于,包括如下步骤:
2.如权利要求1所述的基于建设工程材料标准的数据集自动构建方法,其特征在于,所述不同扩展样本还包括通过对所述训练样本进行噪声注入得到的噪声样本。
3.如权利要求2所述的基于建设工程材料标准的数据集自动构建方法,其特征在于,所述噪声注入包括:
4.如权利要求3所述的基于建设工程材料标准的数据集自动构建方法,其特征在于,步骤s31具体包括:
5.如权利要求1所述的基于建设工程材料标准的数据集自动构建方法,其特征在于,所述不同扩展样本还包括别名样本,所述别名样本是通过将所述训练样本中的样本的输入文本中的材料标准名称替换为建筑行业的别名后得到的。
6.如权利要求5所述的基于建设工程材料标准的数据集自动构建方法,其特征在于,所述别名包括材料的俗称及行业惯用名称缩写。
7.如权利要求1所述的基于建设工程材料标准的数据集自动构建方法,其特征在于,所述图文提取工具包括paddleocr。
8.如权利要求1所述的基于建设工程材料标准的数据集自动构建方法,其特征在于,在执行步骤s2、生成输入文本时,包括步骤:针对所述知识库中的每一行数据,分别按照第一预设格式和第二预设格式生成对应的输入文本,以形成同一材料品种的至少两种不同表述形式的训练样本。
9.如权利要求8所述的基于建设工程材料标准的数据集自动构建方法,其特征在于,所述第一预设格式为:提取所述行数据中的特征值,去除对应的特征项名称,仅将各特征值以空格连接形成纯文本序列;
10.如权利要求1所述的基于建设工程材料标准的数据集自动构建方法,其特征在于,在执行步骤s2并构造出训练样本后,基于训练样本,针对同一材料品种,显示生成至少两种具有不同特征信息密度的边界样本;
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com