网页采集规则修复方法、装置及相关设备与流程

本发明实施例涉及人工智能，尤其涉及一种网页采集规则修复方法、装置及相关设备。

背景技术：

1、互联网结构化数据是大数据分析、人工智能训练、行业舆情监测、政务数据分析等业务的核心基础数据源，自动化网页采集技术是获取互联网公开数据的核心手段。目前主流网页采集系统均依赖人工预先配置固定解析规则实现目标数据提取，常用规则类型包括xpath路径规则、css选择器规则、dom层级路径规则、正则表达式匹配规则等。随着互联网信息量的爆炸式增长和数据采集需求的不断扩大，网页采集技术在司法数据、电商商品、新闻资讯、企业工商、学术文献等全场景领域的应用日益广泛，用户对采集系统的稳定性和自动化程度提出了越来越高的要求。

2、现有技术方案存在极强的场景依赖性和不稳定性，互联网站点会频繁进行页面改版、模板升级、前端优化，具体表现为html标签变更、css类名迭代、dom层级结构调整、页面布局重构、节点属性修改等。上述任意一种页面变动，均会导致人工预先配置的采集规则失效，直接引发数据字段缺失、内容为空、解析报错、数据异常等采集故障。针对采集规则失效问题，当前行业主流解决方案完全依赖人工巡检、人工排查故障节点、人工比对新旧页面结构、人工编写测试新规则、人工上线更新规则，整体运维模式存在故障发现滞、修复周期长和运维成本高昂的技术问题。

技术实现思路

1、本发明实施例提供了网页采集规则修复方法、装置及相关设备，旨在解决现有的网页采集技术容易因页面变动而导致采集规则失效的技术问题。

2、第一方面，本发明实施例提供了一种网页采集规则修复方法，其包括：

3、实时监测网页采集任务的运行数据，基于预设的异常指标监测采集规则是否失效，若是，则重新抓取失效采集任务对应的目标网页，所述异常指标包括目标字段缺失率、字段内容为空率、页面解析报错率和数据长度异常率中的至少一项；

4、解析所述目标网页的dom树结构，提取所述目标网页所有节点的当前节点特征；

5、调取所述网页采集任务的历史有效数据，基于所述历史有效数据构建原始目标节点的原始多维特征，所述原始多维特征至少包括目标节点的结构化信息、页面位置信息、文本类型；

6、遍历所述目标网页所有节点的当前节点特征，基于所述原始多维特征筛选出特征相近的候选节点集合，其中，当前节点特征至少包括候选节点的结构化信息、页面位置信息、文本类型；

7、将所述候选节点集合中各候选节点的当前节点特征和所述原始多维特征输入预置的大语言模型进行多维度语义推理，输出各候选节点的当前节点特征与所述原始多维特征的语义匹配评分，所述语义匹配评分包括结构相似度评分、位置相似度评分、语义相似度评分；

8、基于各候选节点对应的结构相似度评分、页面位置相似度评分和语义相似度评分，通过加权求和算法计算各候选节点的综合匹配得分，并根据所述综合匹配得分筛选出最优候选节点；

9、基于所述最优候选节点的节点特征，生成适配所述目标网页当前页面结构的采集解析规则。

10、第二方面，本发明实施例提供了一种网页采集规则修复装置，其包括：

11、监测模块，用于实时监测网页采集任务的运行数据，基于预设的异常指标监测采集规则是否失效，若是，则重新抓取失效采集任务对应的目标网页，所述异常指标包括目标字段缺失率、字段内容为空率、页面解析报错率和数据长度异常率中的至少一项；

12、解析模块，用于解析所述目标网页的dom树结构，提取所述目标网页所有节点的当前节点特征；

13、构建模块，用于调取所述网页采集任务的历史有效数据，基于所述历史有效数据构建原始目标节点的原始多维特征，所述原始多维特征至少包括目标节点的结构化信息、页面位置信息、文本类型；

14、筛选模块，用于遍历所述目标网页所有节点的当前节点特征，基于所述原始多维特征筛选出特征相近的候选节点集合，其中，当前节点特征至少包括候选节点的结构化信息、页面位置信息、文本类型；

15、评分模块，用于将所述候选节点集合中各候选节点的当前节点特征和所述原始多维特征输入预置的大语言模型进行多维度语义推理，输出各候选节点的当前节点特征与所述原始多维特征的语义匹配评分，所述语义匹配评分包括结构相似度评分、位置相似度评分、语义相似度评分；

16、计算模块，用于基于各候选节点对应的结构相似度评分、页面位置相似度评分和语义相似度评分，通过加权求和算法计算各候选节点的综合匹配得分，并根据所述综合匹配得分筛选出最优候选节点；

17、规则生成模块，用于基于所述最优候选节点的节点特征，生成适配所述目标网页当前页面结构的采集解析规则。

18、第三方面，本发明实施例又提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的网页采集规则修复方法。

19、第四方面，本发明实施例又提供了一种可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的网页采集规则修复方法。

20、本发明实施例提供了一种网页采集规则修复方法、装置及相关设备。该方法实时监测网页采集任务的运行数据，基于预设的异常指标监测采集规则是否失效，若是，则重新抓取失效采集任务对应的目标网；解析目标网页的dom树结构，提取目标网页所有节点的当前节点特征；调取网页采集任务的历史有效数据，基于历史有效数据构建原始目标节点的原始多维特征；遍历目标网页所有节点的当前节点特征，基于原始多维特征筛选出特征相近的候选节点集合；将候选节点集合中各候选节点的当前节点特征和原始多维特征输入预置的大语言模型进行多维度语义推理，输出各候选节点的当前节点特征与原始多维特征的语义匹配评分；基于各候选节点对应的结构相似度评分、页面位置相似度评分和语义相似度评分，通过加权求和算法计算各候选节点的综合匹配得分，并根据综合匹配得分筛选出最优候选节点；基于最优候选节点的节点特征，生成适配目标网页当前页面结构的采集解析规则。该方法实现采集规则失效后的自动检测、定位、修复、验证和更新，无需人工干预，大幅提升采集系统稳定性和智能化水平。

1.一种网页采集规则修复方法，其特征在于，包括：

2.如权利要求1所述的网页采集规则修复方法，其特征在于，所述生成适配所述目标网页当前页面结构的采集解析规则之后，包括：

3.如权利要求1所述的网页采集规则修复方法，其特征在于，所述将所述候选节点集合中各候选节点的当前节点特征和所述原始多维特征输入预置的大语言模型进行多维度语义推理，包括：

4.如权利要求1所述的网页采集规则修复方法，其特征在于，所述通过加权求和算法计算各候选节点的综合匹配得分，包括：

5.一种网页采集规则修复装置，其特征在于，包括：

6.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的网页采集规则修复方法。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至4任一项所述的网页采集规则修复方法。