基于大语言模型的互联网数据智能采集与语义理解方法及系统与流程

本发明涉及智能采集与语义理解，尤其涉及基于大语言模型的互联网数据智能采集与语义理解方法及系统。

背景技术：

1、随着各行业数字化转型深入推进，企业对互联网公开信息的规模化、持续性采集需求持续激增，目前主流互联网数据采集方式主要包括规则驱动式网页爬虫与基础大语言模型解析采集两类，均存在显著技术缺陷，难以适配当下复杂多变的网页采集场景。

2、传统规则驱动爬虫需人工编写xpath、css选择器、正则表达式等固定提取规则，针对不同网站和页面模板定制开发，仅适配结构稳定的静态网页。现阶段多数网站依托vue、react等前端框架动态生成dom（document object model，文档对象模型）结构，同时频繁开展页面改版、布局测试及随机类名更新，网页结构的细微变动便会导致采集规则失效，引发数据缺失、错位及采集中断等问题。技术人员需持续运维、迭代脚本，多站点采集场景下人力成本大幅攀升，项目交付周期显著延长。同时，传统爬虫仅支持简单文本匹配，无深层语义理解能力，无法有效过滤导航栏、广告、页脚等冗余噪声，难以完成实体抽取、语义归类、跨页信息融合等复杂任务，对非结构化、半结构化网页内容的采集适配性极差。现有结合大语言模型的采集方案虽摆脱了固定规则依赖，但尚未形成结构感知、自适应调控、闭环校验的完整技术体系，仍存在诸多短板。现有方案多直接将完整网页源码输入模型解析，未做噪声预处理，不仅造成token资源大量消耗、运营成本增加，还会因冗余代码干扰降低数据识别精度。同时，该类方案缺失网页结构变更主动感知能力，无法自动识别页面改版、字段迁移等变化，仍需人工排查异常、调整解析策略，无法实现动态自适应采集。此外，大语言模型存在固有概率幻觉问题，面对碎片化、不规范的网页内容易生成错误数据，而现有技术缺乏完善的语义校验与字段比对机制，错误数据会直接流入下游系统，严重影响大数据分析的准确性与可靠性。且现有方案采用单一全量推理模式，无法依据网页复杂度、稳定性分级调度算力，对静态稳定网页仍启用高开销模型推理，造成算力资源浪费，整体采集效率低下，无法兼顾采集精度、成本与响应速度，难以满足物联网及企业数字化领域低成本、高自动化、高稳定性的持续数据采集需求。

技术实现思路

1、鉴于此，本发明实施例提供了基于大语言模型的互联网数据智能采集与语义理解方法及系统，能够实现采集任务队列发起http请求获取目标网页html源码并预处理，得到净化页面描述文档；对净化页面描述文档执行结构特征数字化，基于结果进行分级解析调度判定，若结构稳定且缓存命中则直接提取字段并跳过大模型调用，否则进入大语言模型解析模式；该模式下动态组装提示词、切分片段并标记位置，输入模型提取各片段目标字段键值对；对输出结果执行三级复合校验，根据校验结果决定是否触发二次验证，通过后输出最终采集结果。

2、一方面，提供了基于大语言模型的互联网数据智能采集与语义理解方法，该方法包括：根据预设的采集任务队列，向目标网站发起http请求，获取目标网页的原始html源码并进行预处理，得到净化页面描述文档；对净化页面描述文档执行结构特征数字化，基于执行结构特征数字化的结果判断是否执行分级解析调度，若是，则对净化页面进行字段提取，并跳过大语言模型调用步骤，若否，则进入大语言模型解析模式；在大语言模型解析模式过程中，根据采集任务的目标字段定义，动态组装结构化提示词，将净化页面描述文档按长度切分为多个片段，并对每个片段附加位置标记，将组装结构化提示词与片段输入大语言模型，请求模型输出每个片段中目标字段的键值对；对大语言模型输出的初始解析结果执行三级复合校验，基于三级复合校验的结果判断是否触发二次验证，若是，则重新截取该字段所在局部dom片段并再次请求大语言模型进行复核，若否，则将校验通过的数据作为最终采集结果。

3、另一方面，提供了基于大语言模型的互联网数据智能采集与语义理解系统，该系统包括：数据获取与预处理模块、结构感知与分级调度模块、大语言模型语义解析与提取模块和三级校验与二次验证模块；其中，数据获取与预处理模块，用于根据预设的采集任务队列，向目标网站发起http请求，获取目标网页的原始html源码并进行预处理，得到净化页面描述文档；结构感知与分级调度模块，用于对净化页面描述文档执行结构特征数字化，基于执行结构特征数字化的结果判断是否执行分级解析调度，若是，则对净化页面进行字段提取，并跳过大语言模型调用步骤，若否，则进入大语言模型解析模式；大语言模型语义解析与提取模块，用于在大语言模型解析模式过程中，根据采集任务的目标字段定义，动态组装结构化提示词，将净化页面描述文档按长度切分为多个片段，并对每个片段附加位置标记，将组装结构化提示词与片段输入大语言模型，请求模型输出每个片段中目标字段的键值对；三级校验与二次验证模块，用于对大语言模型输出的初始解析结果执行三级复合校验，基于三级复合校验的结果判断是否触发二次验证，若是，则重新截取该字段所在局部dom片段并再次请求大语言模型进行复核，若否，则将校验通过的数据作为最终采集结果。

4、有益效果

5、本发明实施例提供的技术方案带来的有益效果至少包括：

6、本发明相较于现有传统规则爬虫与常规大模型采集方案，通过前置网页分层降噪预处理、dom结构特征数字化与相似度智能判别、规则缓存与大模型推理分级调度、结构化精准提示词分片解析以及字段格式、逻辑关系、历史偏差三重复合校验联动二次复核的全链路协同技术方案，取得了全方位、系统性的有益技术效果。本发明通过对原始html源码进行噪声区块智能剔除、冗余节点压缩净化处理，有效过滤导航、广告、弹窗、页脚等无效干扰内容，减少输入大模型的token冗余消耗，显著降低常态化批量数据采集的算力成本与运营开销，同时规避海量无效代码对语义解析的干扰，从输入端提升网页有效信息纯度与字段识别准确率。本发明创新性引入网页dom结构指纹数字化与杰卡德相似度比对机制，可全自动、非侵入式感知网页节点层级、标签属性、页面布局的细微变更与改版行为，无需人工持续监测站点状态、分析页面结构与迭代更新采集脚本，解决传统固定规则爬虫极易因网页动态渲染、随机类名更新、页面改版导致规则失效、数据错位、任务中断的行业痛点，极大降低了人工运维成本与项目迭代时间成本，全面提升采集系统对动态网页场景的自适应能力与鲁棒性。本发明构建分级解析调度机制，针对结构稳定的静态网页复用缓存有效xpath提取模板、采用轻量级规则引擎快速采集，仅对结构变更、非结构化程度高的复杂网页启用大模型语义推理，打破现有大模型采集方案单一全量推理、算力浪费的缺陷，在保证采集精度的前提下大幅缩短单次采集响应时延，实现算力资源精细化调度与高效利用。本发明通过定制化多约束结构化提示词、带位置标记的分片并行解析与跨片段结果融合去重策略，有效强化大模型语义理解与碎片化信息抽取能力，从指令层面抑制模型信息幻觉问题，可精准适配半结构化、非结构化、内容分散的各类互联网页面数据采集场景，突破传统爬虫无语义解析能力、无法完成高阶信息融合的技术局限。本发明搭建字段格式、逻辑一致性、历史偏差对照的三级复合校验体系，并配套异常字段局部dom片段二次复核机制，可全方位筛查格式错误、逻辑冲突、数据突变、空值异常等各类采集问题，自动修正模型失真数据、剔除错误样本，解决了现有大模型采集结果可靠性差、无闭环校验、错误数据直接流入下游系统的缺陷，显著提升最终采集数据的准确性、规范性与可信度；同时本发明通过校验通过后的解析模板与页面结构指纹关联缓存迭代更新，实现采集策略的自主学习与持续优化，形成自适应闭环采集体系，能够长期适配各大门户网站、行业垂直平台的持续迭代更新。