一种中厚板多源数据处理与自学习性能预报方法及系统与流程

摘要: 本发明涉及工业生产,具体涉及一种中厚板多源数据处理与自学习性能预报方法及系统。背景技术:1、钢铁中厚板产品生产流程通常包括板坯加热、轧制、控轧、控冷、矫直、探伤...
一种中厚板多源数据处理与自学习性能预报方法及系统与流程

本发明涉及工业生产,具体涉及一种中厚板多源数据处理与自学习性能预报方法及系统。

背景技术:

1、钢铁中厚板产品生产流程通常包括板坯加热、轧制、控轧、控冷、矫直、探伤、取样及性能检验等多个连续工序。随着产线过程自动化系统、制造执行系统及企业资源计划系统的长期运行,各工序环节持续产生并积累了大量数据,主要包括记载钢板整体生产信息的轧制实绩数据、记录每道次轧制参数的道次实绩数据、记录控制冷却过程参数的控冷实绩数据,以及化学成分检验数据和力学性能检验数据等。这些数据通常以表格文件形式从不同业务系统中导出,是进行产品研发、质量追溯、工艺优化及性能稳定性评价的重要数据基础。

2、目前,针对钢铁材料性能预测及工艺优化,已有诸多技术方案被提出。例如,公布号为cn117807424a的发明专利公开了一种工业大数据驱动的宽厚钢板质量动态在线识别方法及装置,其重点在于采集全流程工艺质量信息,结合物理冶金模型扩充样本数据集,进行特征筛选和聚类建模,以实现质量在线识别与性能区间估计。公布号为cn121030173a的发明专利公开了一种厚板可制造性分析方法、计算机存储介质及程序产品,其基于典型数据,通过聚类模型对厚板待分析数据进行评估,以生成可制造性推荐排序。公布号为cn114417236a的发明专利公开了一种基于数据评估的钢铁轧制产品质量优化控制方法,其通过对轧制过程中实测样本的有效性评估,筛选最优样本以修正辊缝、轧制力等在线控制模型。此外,公布号为cn111985852a和cn112001710a的发明专利分别从全流程质量管控架构和数据读取整合角度,提出了对多源异构数据进行采集、规范化及关联整合的方案。同时,基于神经网络、随机森林等机器学习算法的性能预测技术也已被广泛研究,其技术重点通常集中于模型结构设计、特征重要性排序及预测精度提升等方面。

3、上述现有技术已经涉及数据清洗、匹配、存储及模型更新,但其技术侧重点各有不同。针对中厚板现场导出表格,仍需将表头识别、字段适配、板级样本归并与后续自学习流程统一衔接。中厚板现场导出的轧制实绩、道次实绩、控冷实绩等原始数据,其真实表头行前常存在标题行、说明行或空行,同一工艺含义的字段在不同产线或不同导出模板中命名各异,例如“钢板号”“材料号”“板号”可能指代同一标识,而“返红平均温度”“返红温度”可能指代同一控冷指标。更为关键的是,各类数据的记录粒度存在根本性差异:轧制实绩通常为钢板级记录,而道次实绩中同一钢板对应多条轧制道次记录,控冷实绩中同一钢板亦对应多条时序冷却记录,在缺少针对产线模板的识别与抽取规则时,上述异构数据源的真实表头定位、字段别名适配及多道次、多时序记录向单张母板样本的归并仍需人工参与,可能降低处理效率并引入匹配误差。其次,在各次表格处理结果相互独立的应用方式下,如果未将用户每次上传和处理后形成的原始数据索引、字段映射关系、标准化工艺数据集及性能样本持续留存并沉淀为可追溯的样本库,则难以在软件内部实现对历史处理结果的有效复用。同时,如果缺少具备版本标识、质量评分和可信等级的可追溯样本库及数据漂移监测机制,现有性能预报模型难以随新增生产实绩和实测性能数据实现持续迭代优化,低置信度预测样本亦难以及时进入复核及模型再训练闭环,从而制约了模型预测精度和泛化能力的持续提升。此外,针对不同产线、不同模板的字段映射规则和指标抽取规则,若未将复核修正结果与原始文件及源记录关联保存并形成规则版本,则难以将复核结果持续用于后续批次,限制规则包的产线适配能力。

技术实现思路

1、本发明的目的在于提出一种中厚板多源数据处理与自学习性能预报方法及系统,以解决现有中厚板多源生产实绩数据存在表头行位置不固定、字段别名复杂、产线模板差异大、同一钢板多行过程记录难以归并、关键轧制指标和控冷指标依赖人工抽取、融合结果缺少板级粒度约束和源记录追溯的问题。

2、本发明采用的技术手段如下:

3、一种中厚板多源数据处理与自学习性能预报方法,包括如下步骤:

4、s1、获取同一中厚板生产批次对应的轧制实绩数据、道次实绩数据和控冷实绩数据,根据产线类型调用对应的产线规则包;基于所述产线规则包识别各实绩数据的真实表头、建立源字段与目标字段之间的字段映射关系,并根据钢板标识构建统一索引键;以所述统一索引键为分组依据,对道次实绩数据中的多条道次记录进行排序及轧制阶段识别并抽取轧制指标,对控冷实绩数据中的多条控冷记录进行排序和聚合处理并抽取控冷指标;按照所述统一索引键融合轧制实绩数据、所述轧制指标和所述控冷指标,对融合后的数据进行标准化和板级去重,写入源记录追溯信息并进行数据质量评分,得到以单张母板为数据组织单元的板级标准化工艺数据集;

5、s2、获取与所述板级标准化工艺数据集对应的性能数据和化学成分数据,按照所述统一索引键形成工艺-成分-性能样本数据并存入缓存数据库;从所述缓存数据库中筛选满足数据质量评分阈值和性能字段完整性要求的历史样本,确定所述历史样本的可信等级和训练权重;以所述历史样本中的成分特征和板级工艺特征为输入、以力学性能指标为输出,按照所述训练权重训练或增量更新机器自学习性能预报模型;获取待预测目标钢板的化学成分数据及按所述步骤s1生成的板级标准化工艺数据,从中提取所述目标钢板的成分特征和板级工艺特征,并将所述目标钢板的特征输入所述机器自学习性能预报模型的当前生效版本,获得所述目标钢板的性能预测值,并生成对应的模型置信评价;

6、s3、获取所述目标钢板的实测性能数据,计算其与所述性能预测值之间的预测残差,将所述实测性能数据以及所述预测残差回写所述缓存数据库,并更新对应样本的可信等级和训练权重;根据新增样本数量、所述预测残差或数据漂移监测结果,确定是否触发所述机器自学习性能预报模型的重训或增量更新;将表头复核结果、字段映射修正结果、道次指标抽取复核结果和控冷指标聚合复核结果及其关联历史文件的追溯信息写入规则包候选库;根据所述复核结果登记候选规则,核对候选规则在关联历史文件上的处理结果与所述复核结果的一致性,核对一致且源记录追溯完整时生成新的产线规则包版本,并在其适用产线和模板的后续生产批次中调用。

7、其中,步骤s1为板级数据集生成阶段,包括子步骤s01-s09;步骤s2为模型训练与性能预报阶段,包括子步骤s10-s14;步骤s3为闭环反馈阶段,包括子步骤s15-s20,具体如下:

8、s01、获取同一中厚板生产批次对应的轧制实绩数据、道次实绩数据和控冷实绩数据;

9、s02、根据产线类型调用对应的产线规则包,所述产线规则包包括候选表头关键字段集合、目标字段别名集合、钢板标识主体提取规则、道次指标抽取规则、控冷指标聚合规则和导出列顺序;

10、s03、在所述轧制实绩数据、道次实绩数据和控冷实绩数据开始部分的预设行范围内,对候选表头行进行字符规范化,并根据关键字段命中数量、有效字段列比例、字段别名命中比例、重复字段惩罚项和空字段惩罚项确定真实表头行;

11、s04、依据所述目标字段别名集合,对真实表头对应的源字段进行字段匹配评分,并根据精确匹配、包含匹配、正则匹配、单位标识匹配、源字段非空值比例和重复候选惩罚确定源字段与目标字段之间的字段映射关系;

12、s05、依据钢板号、材料号或板号字段提取钢板标识主体,构建统一索引键;

13、s06、以统一索引键为分组依据,对道次实绩数据中的多条道次记录进行排序、道次间隔归一化和二开位置识别,并依据温度有效性、厚度有效性和方向回溯规则抽取开轧温度、二开温度、中间坯厚度和终轧温度;

14、s07、以统一索引键为分组依据,对控冷实绩数据中的多条控冷记录进行字段优先级选择、时间排序和聚合处理,抽取开冷温度和返红温度;

15、s08、以轧制实绩数据经字段映射后形成的钢板级基础生产信息作为主表,将s06获得的开轧温度、二开温度、中间坯厚度和终轧温度以及s07获得的开冷温度和返红温度按照统一索引键进行融合;

16、s09、对融合后的数据执行列名标准化、缺失列补齐、列排序、数值化处理、板级去重、源记录追溯字段写入和数据质量评分,生成以单张母板为数据组织单元的板级标准化工艺数据集;

17、s10、获取与所述板级标准化工艺数据集对应的性能数据和化学成分数据,其中所述性能数据为性能检验数据或用户补录性能数据,并按照统一索引键形成工艺-成分-性能样本数据;

18、s11、将每次上传的原始数据、字段映射关系、处理日志、板级标准化工艺数据集、工艺-成分-性能样本数据及处理元数据写入缓存数据库,并为样本生成样本版本标识,记录模型可用标记,在s12完成训练样本筛选和可信等级判定后确定所述模型可用标记;

19、s12、从所述缓存数据库中筛选满足数据质量评分阈值和性能字段完整性要求的历史样本,生成机器自学习训练数据集,并根据字段完整性、性能终判状态、源记录追溯完整性、复验冲突状态为样本生成可信等级及训练权重;

20、s13、以成分特征、规格特征、轧制特征、冷却特征、厚度组距特征、工艺窗口偏离特征、输入侧样本可信等级特征和物理冶金约束特征作为输入,以力学性能指标作为输出,训练或增量更新包括神经网络在内的机器自学习性能预报模型;

21、s14、获取待预测目标钢板的化学成分数据及s01至s09生成的对应板级标准化工艺数据,从中提取所述目标钢板的成分特征和板级工艺特征,将所述目标钢板的特征输入所述机器自学习性能预报模型的当前生效版本,输出性能预测值,并基于相似样本检索结果、训练样本覆盖度、目标样本与训练样本特征距离、输入特征缺失比例、数据质量评分和验证集预测误差生成模型置信评价;

22、s15、获取目标钢板对应的实测性能数据、用户补录性能数据、字段映射修正结果、表头复核结果、道次指标抽取复核结果、控冷指标聚合复核结果或工艺窗口复核结果;其中,对于模型置信评价低于阈值、相似样本覆盖不足、预测残差异常或漂移监测异常的样本,系统将其加入主动学习复核队列并记录复核状态及处理结果;

23、s16、基于s14输出的性能预测值与s15获取的实测性能值计算预测残差,并结合数据质量评分、源记录追溯完整性、复验冲突状态、性能终判状态更新样本可信等级及训练权重;

24、s17、当目标钢板的预测性能低于用户设定目标或合同要求时,在相似历史样本中检索满足性能要求的样本集合,生成终轧温度、开冷温度、返红温度、二开位置对应的中间坯厚度中的至少一种候选工艺窗口推荐结果,并将实测性能数据、字段修正结果、工艺窗口复核结果、预测残差结果和样本可信等级回写所述缓存数据库;所述候选工艺窗口推荐结果作为工艺人员复核依据而不直接替代生产控制指令;

25、s18、对新增模型可用样本与历史训练数据集在钢牌号、厚度组距、化学成分、工艺窗口类别和性能分布上的差异进行漂移监测,并根据新增模型可用样本数量、预测残差、漂移指标、模型验证误差或用户触发指令,判断是否触发机器自学习性能预报模型的重训或增量更新;对于字段映射、道次指标抽取或控冷指标聚合异常的记录,将相关数据和规则加入复核队列;

26、s19、将表头复核结果、字段映射修正结果、道次指标抽取复核结果和控冷指标聚合复核结果及其关联历史文件的追溯信息写入规则包候选库,将复核修正的字段别名、表头关键字段、二开识别规则或控冷聚合规则登记为候选规则;

27、s20、在候选规则适用的产线和模板范围内,使用候选规则处理其关联的历史文件,并将得到的表头识别、字段映射、道次指标抽取或控冷指标聚合结果与已保存的复核结果逐项核对;核对一致且源记录追溯完整时,生成新的产线规则包版本,并在所述产线和模板的后续生产批次中调用;核对不一致或复核依据不足的,保留为候选规则。

28、进一步地,所述产线规则包按照产线类型、表格模板版本、数据来源类型和导出字段版本中的至少两种进行分层存储;所述产线规则包具有规则包版本号、启用状态和适用数据源标识,并包括候选表头关键字段集合、目标字段别名集合、字段映射优先级、钢板标识主体提取规则、道次指标抽取规则、控冷指标聚合规则和导出列顺序。

29、进一步地,s03至s04中,对候选表头行进行字符规范化包括去除首尾空格、去除换行符、去除不可见字符、统一全角半角字符、统一括号形式和统一单位标识中的至少四种;当同一目标字段对应多个候选源字段时,系统按照字段匹配评分由高到低排序,若字段匹配评分相同,则依次按照精确匹配优先、含单位字段优先、源字段非空值比例高者优先和字段位置靠前者优先确定最终源字段,并记录字段映射置信度。

30、进一步地,s05中,所述统一索引键为钢板号、材料号或板号经字符标准化后截取前8位字符获得的钢板标识主体;所述字符标准化包括去除空格、去除分隔符、统一大小写、去除不可见字符和剔除空值标识中的至少三种;当钢板号、材料号或板号为空、无效或无法解析时,将对应记录标记为索引无效记录并保留原始标识。

31、进一步地,s06中,道次间隔归一化包括将时间格式、时间差格式、秒、分钟、小时、毫秒或excel时间序列值统一转换为秒;在同一统一索引键对应的道次记录中,选择归一化后道次间隔最大的记录位置作为候选二开位置;开轧温度为排序后首个有效入口温度,二开温度为候选二开位置处或其后续最近有效入口温度,中间坯厚度为候选二开位置之前向上回溯获得的首个有效厚度,终轧温度为末道次有效出口温度或向前回溯获得的最近有效出口温度。

32、进一步地,s07中,当同一统一索引键对应多条控冷记录时,先根据控冷字段优先级确定开冷温度候选字段和返红温度候选字段,再按照时间戳由早到晚排序;开冷温度优先取最早有效控冷入口温度,返红温度优先取最晚有效返红温度;当时间戳缺失时,开冷温度和返红温度分别取对应字段的非空首值和非空末值,并记录控冷指标聚合状态。

33、进一步地,s09中,所述源记录追溯字段包括源数据表名称、工作表名称、源行号、统一索引键、产线规则包版本、字段映射置信度、道次指标抽取状态、控冷指标聚合状态和板级去重状态;所述数据质量评分由表头识别置信度、字段映射完整率、统一索引键有效状态、道次指标抽取状态、控冷指标聚合状态、源记录追溯完整性和板级去重状态中的至少五种加权生成。样本版本标识在s11写入缓存数据库时生成;模型可用标记在s11记录,并在s12结合性能字段完整性、成分字段完整性和复验冲突状态完成筛选后确定。

34、进一步地,s11至s12中,所述软件内部缓存数据库包括原始文件缓存表、字段映射缓存表、板级标准化工艺数据表、工艺-成分-性能样本表、模型训练样本表、处理日志表和模型版本表中的至少四种;所述机器自学习训练数据集的生成包括剔除索引无效样本、剔除数据质量评分低于预设训练阈值的样本、剔除目标性能为空的样本、剔除复验记录存在冲突且尚不能明确性能终判结果的样本、对缺失特征进行填充、对数值特征进行归一化或标准化处理,并根据样本可信等级配置训练权重。

35、进一步地,所述样本可信等级包括a类可信样本、b类可用样本和c类待复核样本;在索引有效且目标性能非空的候选样本中,先将性能终判不明确、复验记录存在冲突且尚不能明确性能终判结果、源记录追溯不完整、字段映射低置信或数据质量评分低于预设复核阈值的样本判为c类待复核样本;其余样本中,字段映射完整、道次和控冷追溯完整、性能终判明确且无缺失填充或性能补录的样本判为a类可信样本,存在缺失填充或性能补录且数据质量评分达到预设训练阈值的样本判为b类可用样本,其余未满足a类或b类条件的样本判为c类待复核样本;所述预设复核阈值与预设训练阈值采用同一数据质量评分阈值,等于该阈值时满足评分条件;c类待复核样本经复核后,依据复核结果更新相应数据及状态,并重新执行样本分级;满足a类或b类条件的样本方可用于模型训练,模型训练时a类可信样本的训练权重大于b类可用样本的训练权重。

36、本发明还提供一种中厚板多源数据处理与自学习性能预报系统,包括板级数据集生成模块、性能预报模块和闭环反馈模块,三个模块分别实现步骤s1、s2和s3,具体如下:

37、所述板级数据集生成模块用于获取同一生产批次的轧制实绩数据、道次实绩数据和控冷实绩数据,调用与产线类型对应的产线规则包,进行表头识别、字段映射和统一索引键构建;

38、所述板级数据集生成模块按照所述统一索引键对道次记录进行排序及轧制阶段识别并抽取轧制指标,对控冷记录进行排序和聚合处理并抽取控冷指标,按照所述统一索引键融合轧制实绩数据、所述轧制指标和所述控冷指标;

39、所述板级数据集生成模块对融合后的数据进行标准化和板级去重,写入源记录追溯信息并进行数据质量评分,生成以单张母板为数据组织单元的板级标准化工艺数据集,供所述性能预报模块使用。

40、所述性能预报模块包括缓存数据库,用于按照所述统一索引键将所述板级标准化工艺数据集与性能数据和化学成分数据进行匹配,将形成的工艺-成分-性能样本写入所述缓存数据库;

41、所述性能预报模块从所述缓存数据库中筛选满足数据质量评分阈值和性能字段完整性要求的历史样本,确定其可信等级及训练权重,以所述历史样本中的成分特征和板级工艺特征为输入、以力学性能指标为输出,按照所述训练权重训练或增量更新机器自学习性能预报模型;

42、所述性能预报模块获取待预测目标钢板的化学成分数据及所述板级数据集生成模块生成的对应板级标准化工艺数据,从中提取所述目标钢板的成分特征和板级工艺特征,并将所述目标钢板的特征输入所述机器自学习性能预报模型的当前生效版本,输出所述目标钢板的性能预测值和模型置信评价。

43、所述闭环反馈模块包括规则包候选库,用于获取所述目标钢板的实测性能数据,计算其与所述性能预测值之间的预测残差,将所述实测性能数据以及所述预测残差回写所述缓存数据库,并更新相应样本的可信等级及训练权重;

44、所述闭环反馈模块根据新增样本数量、所述预测残差或数据漂移监测结果确定是否触发所述机器自学习性能预报模型的重训或增量更新,由所述性能预报模块调用更新后的历史样本及其训练权重进行相应训练,并由所述闭环反馈模块管理模型版本;

45、所述闭环反馈模块将表头复核结果、字段映射修正结果、道次指标抽取复核结果和控冷指标聚合复核结果及其关联历史文件的追溯信息写入所述规则包候选库,将复核修正的字段别名、表头关键字段、二开识别规则或控冷聚合规则登记为候选规则;

46、所述闭环反馈模块核对候选规则在关联历史文件上的处理结果与所述复核结果的一致性,核对一致且源记录追溯完整时生成新的产线规则包版本,供所述板级数据集生成模块处理其适用产线和模板的后续生产批次数据时调用;核对不一致或复核依据不足的,保留为候选规则。

47、所述板级数据集生成模块对应子步骤s01-s09,所述性能预报模块对应子步骤s10-s14,所述闭环反馈模块对应子步骤s15-s20。所述缓存数据库供三个模块存储和读取处理数据,所述规则包候选库由所述闭环反馈模块中的规则包自更新模块管理;三个模块与图2中m01至m22的聚合及调用关系在实施例9中说明。

48、与现有技术相比,本发明具有以下优点:

49、本发明通过真实表头评分、字段别名匹配和统一索引键构建,将不同来源、不同模板和不同记录粒度的中厚板生产实绩数据转化为以单张母板为数据组织单元的板级标准化工艺数据集;

50、本发明通过道次间隔归一化、轧制阶段分段和控冷记录聚合,形成开轧温度、二开温度、中间坯厚度、终轧温度、开冷温度和返红温度等可复核过程指标;

51、本发明通过数据质量评分和源记录追溯字段,使导出数据能够回溯至源数据表、源行号、字段映射置信度和指标抽取状态;

52、本发明通过软件内部缓存数据库,将用户多次上传处理形成的原始数据索引、映射关系、处理日志、板级数据集和性能样本持续留存为带有版本标识的样本库;

53、本发明通过样本可信度分级、训练权重配置、预测残差回写、数据漂移监测和模型版本管理,使包括神经网络在内的自学习性能预报模型能够随新增实绩数据和性能实测数据迭代更新;

54、本发明通过实测性能数据或复核结果回写、预测残差计算、样本可信等级更新、模型更新触发、候选规则核对、候选工艺窗口推荐和主动学习复核队列,形成从数据处理、性能预报、复核、缓存数据库回写到模型版本更新及规则包版本更新的闭环流程。