一种基于RPA的水电站异构生产数据映射填报系统的制作方法
本发明涉及计算机数据处理,尤其是涉及一种基于rpa的水电站异构生产数据映射填报系统。
背景技术:
1、目前在现代水电站的运营管理中,产生了来自不同业务系统的数据,如来自工业互联网平台的实时测点数据,来自智慧能源平台或oms系统的运营管理数据。这些数据在来源、格式、采集频率和结构上存在显著差异,构成了异构数据环境。如何有效地整合这些异构数据,并将其准确地填报至指定的目标管理系统中,是保障水电站数字化、智能化运营的关键环节。
2、相关技术中,公开号为cn121303790a的中国发明专利公开了基于rpa的水电站数据智能分析填报方法、装置及系统,包括响应于接收到目标任务,采用机器人流程自动化rpa技术,按照目标任务获取水电站的原始生产数据,基于目标任务,对原始生产数据进行数据处理,得到水电站业务系统所需的待填报数据,通过rpa技术将待填报数据录入至水电站业务系统上。
3、然而,上述中的相关技术中未区分异构数据流且无协议解析与时序对齐;缺少异常剔除、缺失补正及归一化处理,量纲差异影响映射准确性;依赖静态填报模板,界面变化时仅能重试或告警,无法自适应修正;缺乏独立控件的校验及“校验—更新—重映射”闭环,无法感知数值精度不符等隐性错误,也不能从失败中自动学习修正。
技术实现思路
1、为解决上述问题,本发明提供了一种基于rpa的水电站异构生产数据映射填报系统,采用语义映射模型智能解析目标系统界面并结合流程自动化机器人技术,能够实现异构数据源与无接口的填报系统之间的动态映射与精准自动填报。
2、上述目标可以通过如下方案实现:
3、一种基于rpa的水电站异构生产数据映射填报系统,包括数据汇聚模块,用于接收来自工业互联网平台的第一时序数据流与数据采集网关的第二数据流,进行协议解析与时间戳对齐,生成汇聚数据流;数据清洗模块,用于基于所述汇聚数据流进行异常值剔除与缺失值补正,生成标准化运行数据集,并将所述标准化运行数据集存储至操作数据存储层;结构解析模块,用于获取目标填报系统前端界面的文档对象模型树,基于所述文档对象模型树进行语义分割与控件属性抽取,生成描述目标字段语义标签的结构化页面描述符;语义映射模块,用于结合所述标准化运行数据集的数据字段标签、所述结构化页面描述符以及预构建的语义映射模型,计算所述数据字段标签与所述目标字段语义标签的语义相似度,并依据所述目标字段语义标签关联的控件属性集中的输入约束条件,将所述数据字段标签对应数据值的元数据与所述输入约束条件进行逐项比对,统计满足所述输入约束条件的约束项数量占全部约束项数量的比例,作为控件属性约束匹配度,生成跨系统填报表映射关系,其中所述语义映射模型通过如下方式预先训练:收集结构化页面描述符样本,以及所述结构化页面描述符中各个目标字段语义标签与标准化运行数据集中数据字段标签的正确匹配记录;对所述结构化页面描述符样本中的目标字段语义标签进行语义特征提取,并对关联的控件属性进行约束特征编码,将提取的语义特征和约束特征编码与对应的数据字段标签组成训练样本;利用所述训练样本,以所述语义特征和所述约束特征编码为输入、所述数据字段标签为输出,训练神经网络分类器,得到语义映射模型;指令生成模块,用于根据所述跨系统填报表映射关系,将所述标准化运行数据集中对应的数据值转换为符合目标控件输入规范的填充指令序列,所述填充指令序列携带目标控件唯一标识与待填入的数据值;模拟填报模块,用于依据所述填充指令序列对所述目标填报系统前端界面进行控件定位与模拟输入操作,并在每个控件输入完成后截取所述目标控件的显示区域的局部图像进行光学字符识别校验,生成填报完成状态快照;校验更新模块,用于获取光学字符识别校验结果,将所述填报完成状态快照与对应的所述跨系统填报表映射关系进行关联存储,当任一控件的所述光学字符识别校验结果与对应的数据值不一致时,触发所述语义映射模型对所述结构化页面描述符进行增量更新,并根据更新后的结构化页面描述符重新生成所述跨系统填报表映射关系与所述填充指令序列。
4、可选地,所述数据汇聚模块包括:数据接收单元,用于接收工业互联网平台通过正向隔离装置摆渡推送的第一时序数据流,所述第一时序数据流承载有机组有功功率测点值与水位测点值;数据同步单元,用于同步接收数据采集网关抓取的第二数据流,所述第二数据流承载有通过流程自动化机器人从智慧能源平台前端界面及oms系统前端界面提取的运行日报字段值与调度指令字段值;时间对齐单元,用于获取所述第一时序数据流中的每条记录携带的由传感器在采集该条记录时生成的时间戳,所述时间戳即为所述第一采集时间标签,作为所述第二数据流进行时间对齐的基准,对所述第二数据流进行线性插值对齐,生成时间对齐数据流;汇聚封装单元,用于解析所述时间对齐数据流,分别提取所述第一时序数据流的测点数值与对齐后的所述第二数据流的业务字段数值,将提取得到的测点数值与业务字段数值分别封装为键值对格式的平坦化消息,并由所述平坦化消息封装汇聚数据流。
5、可选地,所述数据清洗模块包括:异常剔除单元,用于对所述汇聚数据流中的各监测点数值进行分布检验,进行异常值检测与剔除处理,得到第一清洗数据流;缺失补正单元,用于对所述第一清洗数据流进行时间序列连续性检测,识别缺失时刻,并针对所述缺失时刻,取沿时间轴位于所述缺失时刻两侧且各与所述缺失时刻相邻的一个有效数据点,按照时间与数值均呈线性关系的线性插值方式估算所述缺失时刻的缺失值,以估算得到的缺失值补正所述缺失值,得到第二清洗数据流;归一处理单元,用于将所述第二清洗数据流进行归一化处理,得到标准化运行数据集。
6、可选地,所述结构解析模块包括:页面获取单元,用于通过浏览器自动化接口获取目标填报系统当前渲染页面的文档对象模型树;语义提取单元,用于遍历所述文档对象模型树中的文本节点,进行语义分割,提取与填报业务相关的目标字段语义标签;属性抽取单元,用于遍历所述文档对象模型树中的输入与选择节点,抽取控件类型、输入约束条件以及在所述文档对象模型树中的路径层级信息,生成控件属性集;关联封装单元,用于将所述目标字段语义标签与对应的控件属性集按所述路径层级信息进行关联封装,生成结构化页面描述符。
7、可选地,所述语义映射模块包括:特征编码单元,用于获取语义映射模型,将所述数据字段标签编码为数据字段语义向量,并将所述目标字段语义标签编码为目标字段语义向量,均作为所述语义映射模型的输入特征;相似计算单元,用于计算所述数据字段语义向量与所述目标字段语义向量之间的余弦相似度,作为语义相似度;融合评分单元,用于获取所述目标字段语义标签所关联的控件属性集中的输入约束条件,将所述语义相似度与所述输入约束条件的匹配度进行加权融合,得到综合匹配分数,对于此综合匹配分数,有:;其中,为控件属性约束匹配度;为语义相似度的权重系数,为控件属性约束匹配度的权重系数,二者和为1;为余弦相似度;映射建立单元,用于选取综合匹配分数最高的目标字段与数据字段的配对,建立跨系统填报表映射关系。
8、可选地,所述指令生成模块包括:映射解析单元,用于解析所述跨系统填报表映射关系,确定每个目标控件唯一标识所对应的数据字段标签;数据提取单元,用于从所述标准化运行数据集中提取与所述数据字段标签对应的当前时刻数据值;指令生成单元,用于读取所述结构化页面描述符中所述目标控件唯一标识对应的控件类型与输入约束条件,将所述数据值转换为符合所述控件类型与输入约束条件的输入动作与数据格式,生成携带所述目标控件唯一标识与待填入数据值的填充指令序列。
9、可选地,所述模拟填报模块包括:控件定位单元,用于根据所述填充指令序列中的目标控件唯一标识,查找所述目标填报系统前端界面中的目标控件;模拟填入单元,用于对所述目标控件执行模拟输入操作,将所述填充指令序列中的待填入数据值填入所述目标控件;截图获取单元,用于对所述目标控件的显示区域进行截图,获得局部图像;校验快照单元,用于对所述局部图像执行光学字符识别,得到识别字符序列,将所述识别字符序列与所述待填入数据值进行比对,生成校验标签,并将所述校验标签与所述局部图像组合生成填报完成状态快照。
10、可选地,所述校验更新模块包括:异常解析单元,用于解析所述填报完成状态快照中的校验标签,提取所述光学字符识别校验结果与对应数据值不一致的控件标识,并对控件关联的标签区域进行光学字符识别,得到实际光学字符识别文本;描述更新单元,用于以所述实际光学字符识别文本替代所述结构化页面描述符中所述控件标识对应的目标字段语义标签,其中所述实际光学字符识别文本为对所述控件关联的标签区域进行光学字符识别所得到的字段标签文本,并同步更新所述控件标识对应的路径层级信息,得到更新的结构化页面描述符;映射重生成单元,用于将所述更新的结构化页面描述符与对应的数据字段标签重新输入所述语义映射模型,生成更新的跨系统填报表映射关系,得到新的填充指令序列。
11、基于相同的发明构思,本发明提供了一种基于rpa的水电站异构生产数据映射填报方法,所述方法包括:接收来自工业互联网平台的第一时序数据流与数据采集网关的第二数据流,进行协议解析与时间戳对齐,生成汇聚数据流;基于所述汇聚数据流进行异常值剔除与缺失值补正,生成标准化运行数据集,将所述标准化运行数据集存储至操作数据存储层;获取目标填报系统前端界面的文档对象模型树,基于所述文档对象模型树进行语义分割与控件属性抽取,生成描述目标字段语义标签的结构化页面描述符;结合所述标准化运行数据集的数据字段标签、所述结构化页面描述符以及预构建的语义映射模型,计算所述数据字段标签与所述目标字段语义标签的语义相似度,并依据所述目标字段语义标签关联的控件属性集中的输入约束条件,将所述数据字段标签对应数据值的元数据与所述输入约束条件进行逐项比对,统计满足所述输入约束条件的约束项数量占全部约束项数量的比例,作为控件属性约束匹配度,生成跨系统填报表映射关系,其中所述语义映射模型通过如下方式预先训练:收集结构化页面描述符样本,以及所述结构化页面描述符中各个目标字段语义标签与标准化运行数据集中数据字段标签的正确匹配记录;对所述结构化页面描述符样本中的目标字段语义标签进行语义特征提取,并对关联的控件属性进行约束特征编码,将提取的语义特征和约束特征编码与对应的数据字段标签组成训练样本;利用所述训练样本,以所述语义特征和所述约束特征编码为输入、所述数据字段标签为输出,训练神经网络分类器,得到语义映射模型;根据所述跨系统填报表映射关系,将所述标准化运行数据集中对应的数据值转换为符合目标控件输入规范的填充指令序列,所述填充指令序列携带目标控件唯一标识与待填入的数据值;依据所述填充指令序列对所述目标填报系统前端界面进行控件定位与模拟输入操作,并在每个控件输入完成后截取所述目标控件的显示区域的局部图像进行光学字符识别校验,生成填报完成状态快照;获取光学字符识别校验结果,将所述填报完成状态快照与对应的所述跨系统填报表映射关系进行关联存储,当任一控件的所述光学字符识别校验结果与对应的数据值不一致时,触发所述语义映射模型对所述结构化页面描述符进行增量更新,并根据更新后的结构化页面描述符重新生成所述跨系统填报表映射关系与所述填充指令序列。
12、与现有技术相比,本发明具有如下优点:
13、本发明通过构建协议解析与时序对齐的双流融合机制,将来自工业互联网平台的高频时序数据与来自数据采集网关的低频业务数据统一为时间同步的汇聚数据流,并在此基础上执行异常值剔除、缺失值补正及量纲归一化处理,有效解决了异构数据源因采集频率与时间基准不一致导致的数据无法关联问题,为后续智能填报奠定了时序一致且质量可靠的数据基础。
14、本发明摒弃了传统依赖固定选择器或静态模板的rpa脚本方案,转而采用基于文档对象模型树语义分割与控件属性抽取的动态页面解析技术,实时生成结构化页面描述符,并结合语义映射模型通过计算语义相似度与控件属性约束匹配度来智能建立数据字段与界面控件之间的映射关系,在填报目标前端界面发生布局调整或控件属性变更时仍能准确识别并定位待填字段,提升了自动化填报对界面动态变化的容错能力。
15、本发明在每个控件模拟输入完成后对该控件区域进行截图并执行光学字符识别校验,将识别结果与原始待填入值进行比对生成校验标签,当校验不一致时自动提取实际光学字符识别文本对结构化页面描述符进行增量更新,触发语义映射模型重新生成映射关系与填充指令序列,形成完整的感知、校验、修正、重填闭环,能够从填报失败中自动学习并修正后续行为,无需人工重新配置脚本或选择器,长期运行稳定性与准确性得到保障。
16、本发明的其它特征和优点将在随后的说明书中阐述,并且部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com