一种定向信息源的抓取调度与解析入库方法及系统与流程

摘要: 本发明涉及网络信息获取与数据处理,具体涉及一种面向长期运行的定向信息监测场景,对定向信息源的周期性抓取任务进行进度状态自适应调度、并对抓取的半结构化页面进行防误...
一种定向信息源的抓取调度与解析入库方法及系统与流程

本发明涉及网络信息获取与数据处理,具体涉及一种面向长期运行的定向信息监测场景,对定向信息源的周期性抓取任务进行进度状态自适应调度、并对抓取的半结构化页面进行防误报解析入库的方法及系统。

背景技术:

1、监管动态监测、合规数据库构建、行业信息跟踪等业务,需要对若干定向信息源(例如政府监管部门的公开栏目、政策检索库等)进行长期、周期性、增量式抓取:新发布内容须及时完整收录,已收录的历史内容不重复抓取解析,抓取到的半结构化页面须解析为字段完整的结构化记录,且解析结果须可靠、不误报。

2、现有技术一,基于游标的增量抓取:假设信息源提供可靠的时间戳或标识游标,或提供按时间正序的列表接口。实践中大量定向信息源为静态内容管理系统生成的页面,无游标接口;检索型信息源按相关度排序而非时间排序,检索结果集随时间漂移,同一检索条件在不同时刻返回的条目集合不稳定,游标机制无从建立。

3、现有技术二,定时全量重复抓取:每轮对全部历史条目重复发起详情页请求与解析。随收录量增长,抓取开销持续膨胀,对已收录条目的重复详情解析纯属资源浪费,且对目标站点形成不必要的访问压力。

4、现有技术三,简单去重式增量抓取:以本轮解析到的新记录数判断抓取进度。该方案存在隐蔽的统计口径缺陷:当候选条目全部已收录时,若统计口径只计新解析条目数,则「候选全部已收录」与「抓取失败」在统计上不可区分,系统永远无法确认历史内容已抓全,退化为全量重复抓取。

5、现有技术四,通用网页正文提取:阅读模式类正文提取算法面向新闻阅读场景,对政府公开页面的导航词表、面包屑元信息、附件行、页脚功能区等噪声模式缺乏针对性处理;对正文实为文档阅读器控件文本的页面会产出无意义摘要。

6、现有技术五,简单正则字段提取:金额、日期等字段以单条正则直接采信,误报率高。实践中,通报正文里的无关小额数字会被误解析为处罚金额;以贪婪模式截取页面标题会把紧随正文的面包屑导航文本吞入标题。

7、因此,需要解决的技术问题是:在信息源无游标接口、排序会漂移、页面半结构化且噪声模式多样的条件下,如何自动判定每个信息源的历史内容是否已抓全,并据此在抓取档位之间自适应切换,做到不漏新批、不重复抓历史、抓取失败不误判;如何将半结构化公开页面可靠解析为结构化记录并抑制金额、标题、摘要等字段的误报;以及如何保证单源失败不阻塞整轮任务、解析服务不可用不中断抓取计划。

技术实现思路

1、针对上述问题,本发明提供一种定向信息源的抓取调度与解析入库方法及系统。

2、第一方面,本发明提供一种定向信息源的抓取调度与解析入库方法,包括:对至少一个定向信息源周期性执行增量抓取,每一信息源对应维护含是否已追平标记的抓取进度状态;本轮抓取前读取状态确定抓取档位,已追平取轻量探测档,未追平或无记录取全量档,轻量探测档候选条数小于全量档;抓取列表页面抽取候选条目地址,将已在库条目地址集合作为已收录提示,命中提示的候选跳过详情页解析但仍计入本轮候选总量;对未命中提示的候选解析详情页并判重入库;本轮结束后按规则登记状态:新增入库数为零且候选总量大于零时置为已追平,新增入库数大于零时置为未追平,候选总量为零时不置为已追平;候选总量为抽取到的候选条目总数,包含命中已收录提示而被跳过详情页解析的候选条目。

3、第二方面,本发明提供一种定向信息源的抓取调度与解析入库系统,包括调度模块、候选抽取模块、编排模块、详情解析模块与状态登记模块,分别用于执行上述方法的相应步骤。

4、第三方面,本发明提供一种计算机可读存储介质,存储的计算机程序被处理器执行时实现上述方法。

5、本发明的有益效果包括:

6、资源开销随收录量增长而有界:已追平信息源每轮仅探测最新数条候选,不再重复解析历史详情页,收录量越大,相对全量重复抓取的节省越显著;对已收录候选跳过详情页解析,单轮渲染与解析次数进一步下降;

7、不漏新批且失败不误判:新批次发布后本轮新增入库数大于零,状态自动回落未追平,下一轮恢复全量档深挖,避免轻量探测档造成中间批次漏收;候选总量为零时不置为已追平,不会因一次抓取失败永久降载;

8、以含已收录跳过项的候选总量作为进度判定基准,消除了「候选全部已收录」与「抓取失败」的统计歧义,使追平判定得以成立,避免系统退化为全量重复抓取;

9、解析结果可信:金额分级采信、日期拒判闸门、标题非贪婪截取、摘要清洗管线等防误报手段均有真实误报案例驱动,结构化记录可直接支撑下游统计分析而无需人工逐条核对;

10、长期运行鲁棒且负载友好:单源失败不阻塞整轮,解析服务不可用自动回退本地实现,检索漂移不丢历史;对已追平信息源的访问频次自动降至最低,构成对目标站点负载友好的设计。

1.一种定向信息源的抓取调度与解析入库方法,其特征在于,包括:对至少一个定向信息源周期性地执行增量抓取,每一信息源对应维护一份抓取进度状态,所述抓取进度状态至少包括是否已追平标记;本轮抓取前读取信息源的抓取进度状态并据此确定本轮抓取档位:已追平的信息源取轻量探测档,未追平或无进度记录的信息源取全量档,所述轻量探测档的候选条数小于所述全量档;抓取信息源的列表页面并抽取候选条目地址,将已在库的条目地址集合作为已收录提示,对命中所述已收录提示的候选条目跳过其详情页面解析、但仍计入本轮候选总量;对未命中所述已收录提示的候选条目解析其详情页面,将解析结果经判重后入库;本轮结束后按如下规则登记所述抓取进度状态:本轮新增入库数为零且候选总量大于零时,将所述是否已追平标记置为已追平;本轮新增入库数大于零时,置为未追平;候选总量为零时不置为已追平;所述候选总量为抽取到的候选条目总数,包含命中所述已收录提示而被跳过详情页面解析的候选条目。

2.根据权利要求 1 所述的方法,其特征在于,所述已收录提示由抓取编排端组装并随抓取请求下发至解析端,所述已收录提示为与所述信息源同主机名的在库条目地址集合,集合规模不超过预设上限。

3.根据权利要求 1 所述的方法,其特征在于,所述抓取进度状态还包括最近执行时间、最近新增入库数与累计执行轮次,持久化存储于配置存储中,并支持管理端查看与对单个信息源的手工重置。

4.根据权利要求 1 所述的方法,其特征在于,所述抓取档位为可配置的多级档位;所述周期性执行的周期间隔、各档位候选条数均为可配置参数。

5.根据权利要求 1 所述的方法,其特征在于,所述解析其详情页面包括日期解析与拒判闸门:依次按至少两种日期格式从详情页面文本解析日期;未命中时从详情页面地址的路径段中解析日期作为兜底;仍未获得日期时,判定该详情页面非有效记录并拒判,不予入库。

6.根据权利要求 1 所述的方法,其特征在于,所述解析其详情页面包括金额分级采信:按数值与单位的组合模式匹配金额;对第一级别单位的匹配结果直接采信并按单位折算数值;对第二级别单位的匹配结果,仅当匹配位置前后预设窗口内出现预设语境词、且折算数值不低于预设下限时方予采信,否则判为无关数值不采信。

7.根据权利要求 1 所述的方法,其特征在于,所述解析其详情页面包括标题提取:以非贪婪模式截取命中预设标题模式的文本作为标题,所述预设标题模式仅允许携带括号批次后缀;对未命中预设标题模式的页面,取首个通过噪声过滤的有效内容行作为标题;并剥离标题中命中预设站点后缀模式的尾部。

8.根据权利要求 1 所述的方法,其特征在于,所述解析其详情页面包括摘要清洗:以标题所在行为起点逐行收集页面文本,遇到命中预设页脚特征的行即停止收集;丢弃整行精确命中预设导航词表的行、命中预设元信息模式的行、纯符号行与附件行;对收集到的行按去除空白字符后的子串累积去重,拼接为摘要。

9.根据权利要求 8 所述的方法,其特征在于,还包括控件文本识别回退:解析所得页面文本的首部命中预设阅读器控件文本特征时,判定解析产物为控件文本,所述摘要回退为所述标题。

10.根据权利要求 1 所述的方法,其特征在于,所述解析其详情页面包括发文主体识别:按详情页面地址的主机名与预设映射表确定发文主体,所述预设映射表至少包括按主机名前缀映射的多个下级机构条目;识别结果随解析结果一并入库。

11.根据权利要求 1 所述的方法,其特征在于,还包括源类型识别:按信息源地址是否命中预设详情页地址模式识别源类型;命中时对该信息源按详情页直采处理,直接解析该地址的详情页面,所述详情页直采与列表页面抽取共用同一解析与判重入库通道。

12.根据权利要求 1 所述的方法,其特征在于,对按相关度排序返回结果的检索型信息源,以只增不删的增量合并替代所述抓取档位的切换:每轮检索结果按条目名称与既有缓存比对,新条目并入缓存,缓存中的既有条目不因未出现在本轮检索结果中而被移除;所述缓存设有有效期,合并失败时保留既有缓存。

13.根据权利要求 1 所述的方法,其特征在于,单个信息源的抓取按预设次数重试,仍失败则放弃该信息源并继续其余信息源,不阻塞本轮任务;解析服务不可达时自动回退至本地解析实现,所述本地解析实现与远端解析口径一致。

14.根据权利要求 1 所述的方法,其特征在于,所述周期性执行的抓取周期按信息源自适应调整:按所述抓取进度状态统计各信息源在历史预设轮次内的新增入库频率,对新增入库频率高于预设阈值的信息源缩短其抓取周期,对新增入库频率低于预设阈值的信息源延长其抓取周期;各信息源的抓取周期独立调整且分别设有上下限。

15.一种定向信息源的抓取调度与解析入库系统,其特征在于,包括:调度模块,用于对每一信息源维护抓取进度状态,本轮抓取前读取所述抓取进度状态并确定本轮抓取档位:已追平的信息源取轻量探测档,未追平或无进度记录的信息源取全量档;候选抽取模块,用于抓取信息源的列表页面并抽取候选条目地址;编排模块,用于将已在库的条目地址集合作为已收录提示下发,对命中所述已收录提示的候选条目跳过详情页面解析但仍计入本轮候选总量,并对解析结果判重入库;详情解析模块,用于对未命中所述已收录提示的候选条目解析其详情页面;状态登记模块,用于本轮结束后登记所述抓取进度状态:本轮新增入库数为零且候选总量大于零时置为已追平,本轮新增入库数大于零时置为未追平,候选总量为零时不置为已追平,所述候选总量包含命中所述已收录提示而被跳过详情页面解析的候选条目。

16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求 1 至 14 任一项所述的方法。