一种网站法律文档页面的定位抓取与校验入库方法及系统与流程

摘要: 本发明涉及网络信息获取与数据处理,具体涉及一种在目标站点结构未知、文档入口深埋或动态渲染的条件下,自动定位其法律文档页面,并通过抓取方式自适应升级与内容校验机制...
一种网站法律文档页面的定位抓取与校验入库方法及系统与流程

本发明涉及网络信息获取与数据处理,具体涉及一种在目标站点结构未知、文档入口深埋或动态渲染的条件下,自动定位其法律文档页面,并通过抓取方式自适应升级与内容校验机制可靠获取文档全文的方法及系统。

背景技术:

1、数据合规检测、协议文本审计、行业基准语料库构建等业务,均需以获取目标网站的隐私政策、用户协议等法律文档全文为前提步骤。该步骤的可靠性直接决定下游分析的成败:抓错页面会导致误报,抓不到页面会导致漏报。

2、现有技术一,种子地址直抓:人工维护法律文档页面地址清单。地址失效即失败,实测中头部站点种子清单内相当比例地址已失效,维护成本高。

3、现有技术二,通用爬虫链接遍历:搜索引擎式爬虫以收录量为目标,不做页面内容是否为法律文档的校验,且对无限滚动、脚本动态渲染页面的抓空率高。

4、现有技术三,静态抓取工具:直接请求页面源代码,对前端渲染站点以及协议入口深埋于动态加载内容之下的站点完全失效。

5、现有技术四,基于固定页面位置的启发式检索:假设法律文档链接固定位于页脚区域,仅检索页面底部区域。实践中站点结构差异巨大,文档入口可能位于正文流、侧边栏、聚合页等非典型位置,固定位置假设导致系统性漏抓。

6、现有技术五,已有专利方向:法律文档文本的自动分类、标注、摘要类方案均假设文档全文已获得,不解决如何找到并可靠获取文档的上游问题;通用爬虫类方案不针对法律文档这一特定目标做定向定位与内容校验。

7、因此,需要解决的技术问题是:在目标站点结构未知、地址失效、页面动态渲染、干扰页面众多、文档入口位置不定的条件下,如何自动、准确地定位真实法律文档页面,并在抓取成功率与内容可信度之间取得平衡——宁可标记无法核实,也不把错误页面当法律文档误报;以及如何对已成功获取的文档进行持续变更监测。

技术实现思路

1、针对上述问题,本发明提供一种网站法律文档页面的自动定位、自适应抓取与校验入库方法及系统。

2、第一方面,本发明提供一种网站法律文档页面的自动定位、抓取与校验入库方法,包括:访问已知法律文档页面地址并判定地址失效;地址失效时执行多级递进定位,至少两级定位手段逐级扩大搜索范围,第一级为首页链接多维加权打分;对候选页面按内容充分性指标驱动抓取方式在至少两级抓取手段间自动升级;对抓取内容执行入库前多特征联合校验,校验通过入库,否则拒收、归因并输出无法核实标记。

3、第二方面,本发明提供一种网站法律文档页面的自动定位、抓取与校验入库系统,包括定位模块、抓取模块、校验模块、产出模块、联动模块与变更监测模块,分别用于执行上述方法的相应步骤。

4、第三方面,本发明提供一种计算机可读存储介质,存储的计算机程序被处理器执行时实现上述方法。

5、本发明的有益效果包括:

6、对文档入口深埋、动态渲染、种子地址失效、入口位置非典型的站点均保持高定位抓取成功率,实测覆盖头部 100 家站点中的 78 家全自动入库;失败原因逐条可归因、可人工修正收敛;

7、区域分层检索策略兼顾效率与覆盖率:典型站点借语义区域优先降低正文干扰,非典型入口站点由全文档兜底避免系统性漏抓;

8、内容充分性驱动的抓取方式自动升级兼顾成功率与资源开销,可获取此前工具普遍失败的深埋入口文档;

9、结构签名校验专门排除含主题关键词但非法律文档的干扰页面,入库语料与下游分析结论的可信度有机制性保证;

10、变更检测闭环使语料库从静态快照升级为持续演进的监测资产,支撑法律文档演进追踪与下游规则时效性验证。

1.一种网站法律文档页面的自动定位、抓取与校验入库方法,其特征在于,包括:访问目标站点的已知法律文档页面地址,对返回错误、地址失效或重定向至无关页面的情形判定为地址失效;在地址失效或不存在已知地址时,执行多级递进定位,所述多级递进定位至少包括两级定位手段且逐级扩大搜索范围,其中第一级定位手段为:抓取目标站点首页,在目标站点主域及其子域范围内提取候选链接,按至少包括锚文本特征、统一资源定位符路径特征与文档对象模型位置特征的多维特征对所述候选链接加权打分,取综合得分最高的候选链接作为候选页面;对所述候选页面执行抓取,并根据抓取结果的内容充分性指标驱动抓取方式在至少两级抓取手段之间自动升级,所述至少两级抓取手段包括静态抓取与浏览器渲染抓取;对抓取获得的内容执行入库前多特征联合校验,所述多特征至少包括长度特征、主题关键词特征、法律文档结构特征与负向排除特征;校验通过则将所述内容作为法律文档全文入库,任一必要条件不满足则拒收入库、记录失败归因并输出无法核实标记。

2.根据权利要求 1 所述的方法,其特征在于,所述多级递进定位还包括:第二级定位手段,按预设路径清单对所述主域的常见法律文档路径逐一探测,命中有效响应者作为候选页面;第三级定位手段,访问目标站点的登录页或注册页,提取其中的协议类链接作为候选页面,其中隐私政策类链接优先于用户协议类链接。

3.根据权利要求 1 所述的方法,其特征在于,所述第一级定位手段中,候选链接的检索按区域分层进行:优先在页面的语义区域内检索链接,所述语义区域包括语义化结构标签所限定的区域或容器标识包含预设位置特征词的区域,在所述语义区域内提取的链接获得位置加分;当所述语义区域内未检索到候选链接时,自动降级为对页面全文档链接执行检索与加权打分;所述文档对象模型位置特征仅作为候选链接的加分因素,不作为过滤或排除条件。

4.根据权利要求 1 或 3 所述的方法,其特征在于,所述锚文本特征按预设关键词优先级表对候选链接的锚文本递减赋分;所述统一资源定位符路径特征对路径中包含预设特征词的候选链接加分。

5.根据权利要求 1 所述的方法,其特征在于,所述内容充分性指标包括可见文本量指标与结构完整度指标;当且仅当两项指标同时不满足预设条件时触发所述抓取方式的升级。

6.根据权利要求 1 或 5 所述的方法,其特征在于,所述抓取方式的升级的末级为浏览器渲染抓取与滚动触发懒加载的组合:在渲染后的页面上模拟正常用户浏览行为,按视口高度逐屏向下滚动并停留等待动态内容加载,以触发懒加载内容加载;滚动终止判据为连续预设次数滚动无新增可见文本,或滚动轮次达到预设上限。

7.根据权利要求 1 所述的方法,其特征在于,所述法律文档结构特征的校验为结构签名校验,包括以下至少两项:正文中命中法律条款编号模式的段落数量达到预设阈值;标题层级密度处于法律文档特征区间;全文章节体例的成体系程度达到预设条件;达到预设组合时认定所述内容具备法律文档结构签名。

8.根据权利要求 1 所述的方法,其特征在于,所述失败归因按归因类别结构化落库;支持人工修正地址后重新发起抓取,重新抓取仍执行所述自动升级与所述多特征联合校验的全流程,人工修正结果沉淀为新的已知法律文档页面地址。

9.根据权利要求 1 所述的方法,其特征在于,校验通过后产出两种格式的内容:供机器分析的纯文本,以及保留原文档标题、列表、表格与链接层级结构的清洗超文本标记语言文档;并将校验通过的地址回写为目标站点的有效法律文档页面地址,自动触发下游条款审计生成合规画像,所述合规画像包括评分、等级与违规摘要,随所述法律文档全文一并入库呈现。

10.根据权利要求 1 或 9 所述的方法,其特征在于,还包括持续重抓与变更检测:对已入库的法律文档页面地址按预设周期自动重抓,对相邻版本内容做差异比对,检出实质变更时生成变更事件,所述变更事件包括变更位置、变更条款与变更前后对照;所述变更事件用于触发下游重新审计并更新合规画像,以及向关联任务推送变更提醒。

11.根据权利要求 1 所述的方法,其特征在于,所述入库前多特征联合校验还包括特征打分判定:以协议门槛词过滤候选内容后,按正向特征与负向特征对候选内容加权计分,所述正向特征至少包括页面标题命中法律文档命名、正文首部命中法律文档命名、地址路径特征、主题特征词命中种类数与章节编号结构,其中页面标题命中的权重大于正文首部命中,所述负向特征至少包括正文长度不足、登录页特征与链接密集型短文本特征;加权得分达到预设阈值时判定为法律文档正文,并输出记录各命中特征与扣分特征的可解释判分理由。

12.根据权利要求 1 所述的方法,其特征在于,所述内容充分性指标的判断还包括页面可用性判定:按可见文本量、锚点数量、脚本体量与可见文本量的比例关系以及空挂载点特征对抓取结果计分,得分低于预设阈值时判定抓取结果为脚本渲染空壳页面,并触发所述抓取方式的升级。

13.根据权利要求 11 所述的方法,其特征在于,当候选页面因命中所述链接密集型短文本特征被判定为协议聚合页时,不执行拒收,而是提取该候选页面内的链接作为新的候选链接集合,对其执行所述多维特征加权打分与校验,实现从聚合页到法律文档正文的递进跳转定位;递进跳转的跳数不超过预设上限。

14.根据权利要求 1 所述的方法,其特征在于,还包括站点定位画像:按站点记录历次定位中各级定位手段的命中与未命中情况;再次定位同一站点时,根据所述站点的定位画像确定多级定位手段的执行顺序,历史命中手段先于历史未命中手段执行;当某级定位手段连续未命中达到预设次数且该定位手段无历史命中记录时,在该轮定位中跳过该定位手段;本轮定位的执行结果记入所述定位画像。

15.根据权利要求 10 所述的方法,其特征在于,所述差异比对为条款级对齐比对:按章节编号结构将相邻版本的法律文档内容分别切分为条款集合,按归一化条款编号将相邻版本的条款对齐;编号对齐的条款内容不一致时判定为修改条款并输出变更前后对照,仅存在于新版本一侧的条款判定为新增条款,仅存在于旧版本一侧的条款判定为删除条款;所述变更事件包括新增条款、删除条款与修改条款各自的条款编号。

16.一种网站法律文档页面的自动定位、抓取与校验入库系统,其特征在于,包括:定位模块,用于访问已知法律文档页面地址并判定地址失效,在地址失效或不存在已知地址时执行多级递进定位,所述多级递进定位至少包括两级定位手段且逐级扩大搜索范围,其中第一级定位手段为在目标站点主域及其子域范围内提取首页候选链接,按至少包括锚文本特征、统一资源定位符路径特征与文档对象模型位置特征的多维特征加权打分;抓取模块,用于对候选页面执行抓取,并根据内容充分性指标驱动抓取方式在至少包括静态抓取与浏览器渲染抓取的至少两级抓取手段之间自动升级;校验模块,用于对抓取获得的内容执行入库前多特征联合校验,所述多特征至少包括长度特征、主题关键词特征、法律文档结构特征与负向排除特征,校验通过则入库,任一必要条件不满足则拒收入库、记录失败归因并输出无法核实标记;产出模块,用于产出纯文本与结构保留的清洗超文本标记语言双格式内容;联动模块,用于回写有效法律文档页面地址、触发下游条款审计并提供人工修正入口;变更监测模块,用于按预设周期重抓、对相邻版本做差异比对并生成与推送变更事件。

17.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求 1 至 15 任一项所述的方法。