多源参数页并行采集与质量融合的终端属性画像构建方法与流程

本发明涉及网络终端管理与终端属性识别，特别是一种多源参数页并行采集与质量融合的终端属性画像构建方法。

背景技术：

1、随着网络运营、终端能力识别与用户画像构建的深入开展，需要维护网络终端属性库，集中存储手机、路由器、个人计算机等各类终端型号的品牌、型号、中央处理器、内存、操作系统、网络制式、无线保真协议、电池容量等多维属性。网络终端型号数量大、更新快，同一系列常包含多个配置版本，终端属性库的批量补全与持续维护成为普遍需求。现有终端属性维护主要采用人工查询录入、固定站点爬取、固定模板解析和单网页语义抽取等方式。人工查询录入由维护人员根据终端型号搜索网页并逐条比对、录入属性；固定站点爬取和固定模板解析针对特定网站的网页结构编写专用抓取脚本或字段映射规则；单网页语义抽取从搜索结果中选取一个页面，将页面文本输入语义模型提取属性字段。上述方式在少量型号、固定网页结构下尚可工作。但在大规模终端属性库自动补全场景下，上述方式存在以下问题：一是人工维护效率低，不同终端类型所需属性字段集合差异大，人工逐条处理成本高，无法批量自动补全；二是搜索结果中混入百科、问答、论坛、广告、文档下载、官网首页等无效页面，参数页定位不准确，且网页结构差异大，动态标签页、参数子页和跳转页面难以通过固定规则适配；三是单一来源页面常缺少部分字段或与目标型号不符，且缺少页面质量评估机制，低质量、含大量噪声的页面进入抽取后导致字段缺失或错误；四是同一页面包含同一系列的多个配置版本时，容易将非目标配置误作为目标型号的抽取结果；五是现有方式缺少多来源质量融合与标准化画像构建机制，抽取结果缺乏统一字段约束，无法基于来源质量对多路抽取结果择优、补全空缺字段并记录补全来源，无法形成可追溯、可入库的终端属性画像。

技术实现思路

1、鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的多源参数页并行采集与质量融合的终端属性画像构建方法，包括：

2、接收终端标识和终端类型，基于终端类型加载属性字段集合和语义抽取模板；基于终端标识召回候选参数页，从候选参数页中筛选出目标参数页；

3、并行采集目标参数页，执行参数页导航和内容清洗，得到与目标参数页对应的清洗参数文本；对清洗参数文本进行页面质量评估，得到与清洗参数文本对应的页面质量评分；

4、将语义抽取模板和清洗参数文本输入语义抽取模型，得到属性抽取结果；从属性抽取结果中确定与终端标识匹配的目标配置项，作为与目标参数页对应的目标属性结果；

5、根据页面质量评分和基于属性字段集合计算的字段填充率，对目标属性结果计算综合质量评分；将综合质量评分最高的目标属性结果确定为主属性结果，将除主属性结果之外的目标属性结果中的字段值补充至主属性结果中的空缺字段，得到融合属性结果；

6、将融合属性结果与终端标识、终端类型、目标参数页的地址、综合质量评分和字段补充记录关联，生成网络终端属性画像记录。

7、可选的，属性字段集合包括终端类型对应的属性字段，属性字段包括品牌、型号、价格、上市时间、中央处理器、内存、硬盘、操作系统、网络制式、无线保真协议、无线保真频段、蓝牙版本、电池容量、屏幕尺寸、屏幕刷新率、多输入多输出数量中的至少一项；

8、语义抽取模板用于约束语义抽取模型按照属性字段集合输出结构化字段，并对字段格式、允许推算规则和空值处理规则进行限定。

9、可选的，基于终端标识召回候选参数页包括：

10、基于终端标识生成搜索请求；

11、使用搜索请求访问搜索引擎结果页、产品参数数据库、厂商官网和第三方规格站点，从搜索引擎结果页、产品参数数据库、厂商官网和第三方规格站点采集候选参数页；

12、保存候选参数页的标题信息、地址信息和来源信息。

13、可选的，从候选参数页中筛选出目标参数页包括：

14、对候选参数页执行过滤处理，过滤处理包括黑名单域名过滤、文档链接过滤、浅路径链接过滤、广告跳转链接过滤和重复链接过滤；

15、过滤后，将候选参数页的标题信息和地址信息输入语义选择模型，语义选择模型输出候选参数页的优先级；

16、根据优先级选择优先级最高的预设数量个候选参数页作为目标参数页。

17、可选的，并行采集目标参数页包括：

18、为每个目标参数页创建独立采集任务；

19、在独立采集任务中执行参数页导航，参数页导航包括直接抓取、参数链接提取、浏览器自动化触发和兜底抓取；

20、当直接抓取得到的文本质量低于第一导航质量阈值时，提取包含参数关键词的链接并进行二次抓取；

21、当二次抓取得到的文本质量低于第二导航质量阈值时，通过浏览器自动化触发页面中的参数相关元素；

22、当浏览器自动化触发得到的文本质量低于第三导航质量阈值时，使用直接抓取得到的文本作为兜底参数内容。

23、可选的，内容清洗包括：

24、提取页面标题和页面来源地址；

25、删除图片链接、导航文本、页脚文本、广告文本、客服文本、版权文本和无关链接；

26、根据参数起始关键词定位参数内容起始位置，根据参数结束关键词定位参数内容结束位置；

27、将参数内容起始位置和参数内容结束位置之间的文本作为清洗参数文本；

28、其中，参数起始关键词包括“配置筛选”“型号”“规格参数”“详细参数”“重要参数”“硬件规格”“技术规格”“基本参数”“产品参数”；

29、参数结束关键词包括“相关推荐”“同系列产品”“注意事项”“版权所有”“copyright”。

30、可选的，页面质量评估包括：

31、根据清洗参数文本的有效文本长度和有效行数量计算内容完整度评分；

32、根据清洗参数文本中的表格行数量、键值对行数量或结构化行数量计算结构化程度评分；

33、根据终端标识与清洗参数文本的相似度计算终端匹配度评分；

34、根据内容完整度评分、结构化程度评分和终端匹配度评分生成页面质量评分和页面质量等级；

35、页面质量等级包括good等级、weak等级和bad等级；

36、当页面质量等级为good等级时，将清洗参数文本标记为正常语义抽取文本；

37、当页面质量等级为weak等级时，将清洗参数文本标记为低置信语义抽取文本；

38、当页面质量等级为bad等级时，保留清洗参数文本用于回溯。

39、可选的，根据内容完整度评分、结构化程度评分和终端匹配度评分生成页面质量评分和页面质量等级，包括：

40、对内容完整度评分、结构化程度评分和终端匹配度评分进行加权求和，得到页面质量评分；

41、加权求和使用第一权重系数、第二权重系数和第三权重系数，第一权重系数、第二权重系数和第三权重系数之和为1；

42、当内容完整度评分低于第一预设阈值、结构化程度评分低于第二预设阈值或终端匹配度评分低于第三预设阈值时，将页面质量等级设置为bad等级；

43、当内容完整度评分达到第一预设阈值、结构化程度评分达到第二预设阈值且终端匹配度评分达到第三预设阈值时，根据页面质量评分与第四预设阈值的关系，将页面质量等级设置为good等级或weak等级。

44、可选的，将语义抽取模板和清洗参数文本输入语义抽取模型，得到属性抽取结果；从属性抽取结果中确定与终端标识匹配的目标配置项，作为与目标参数页对应的目标属性结果，包括：

45、将语义抽取模板和清洗参数文本组合为抽取请求；

46、语义抽取模型根据抽取请求输出属性抽取结果，属性抽取结果为数组，数组中的每个元素表示一个配置项；

47、计算终端标识与配置项中的中文名称字段的文本相似度、终端标识与配置项中的详细型号字段的文本相似度以及终端标识与配置项中的型号字段的文本相似度；

48、根据中文名称字段的文本相似度、详细型号字段的文本相似度和型号字段的文本相似度确定终端标识与配置项的文本相似度；

49、结合型号编码匹配结果和年份匹配结果对终端标识与配置项的文本相似度进行修正，得到修正后文本相似度；

50、将修正后文本相似度最高的配置项确定为目标配置项；

51、当多个配置项的修正后文本相似度相同时，根据字段完整度和价格信息排序，确定目标配置项；

52、将确定的目标配置项作为目标属性结果。

53、可选的，根据页面质量评分和基于属性字段集合计算的字段填充率，对目标属性结果计算综合质量评分；将综合质量评分最高的目标属性结果确定为主属性结果，将除主属性结果之外的目标属性结果中的字段值补充至主属性结果中的空缺字段，得到融合属性结果，包括：

54、字段填充率为目标属性结果中非空字段数量与属性字段集合中字段总数量之间的比例；

55、对页面质量评分进行归一化处理，得到归一化页面质量评分；

56、综合质量评分通过以下公式计算：

57、q=a×s+b×f

58、其中，q为综合质量评分，s为归一化页面质量评分，f为字段填充率，a和b为权重系数，a+b=1；

59、将综合质量评分最高的目标属性结果确定为主属性结果；

60、当主属性结果存在空缺字段时，按照其他目标属性结果的综合质量评分由高到低的顺序查找对应字段的非空值；

61、将查找到的非空值补充至主属性结果中的空缺字段；

62、将补充字段的来源目标参数页、来源采集任务、来源页面质量信息和来源综合质量评分作为字段补充记录；

63、将补充后的主属性结果作为融合属性结果。

64、本发明通过“多源召回、候选筛选、多路并行采集、页面质量评估、语义抽取、质量融合与画像构建”的全流程自动化处理，使终端属性库的补全由人工逐条查询、比对、录入转变为批量自动执行，不同终端类型通过加载对应的属性字段集合和语义抽取模板实现字段约束，无需针对每一型号单独定制，能够显著降低运营维护成本并提升终端属性库的补全效率。

65、本发明通过候选参数页的规则过滤与语义选择，先以黑名单域名、文档、浅路径、广告跳转和重复链接过滤去除确定性无效页面，再由语义选择模型对剩余候选排序并选取多个目标参数页，从而将百科、问答、论坛、广告、文档下载和官网首页等页面排除在采集流程之外，提高参数页定位准确率；同时，针对概览页、参数子页、动态标签页和跳转页面等复杂网页结构，本发明采用直接抓取、参数链接提取、浏览器自动化触发和兜底抓取构成的多级导航机制，配合基于参数起始关键词和参数结束关键词的内容清洗，能够从不同结构的页面中定位并截取参数正文，降低网页结构差异对抽取结果的影响。

66、本发明在语义抽取前对清洗参数文本进行页面质量评估，以内容完整度、结构化程度和终端匹配度三个维度生成页面质量评分，使低质量、低置信页面得到区分并限制其进入正常抽取流程，从源头降低错误字段和空字段的产生；当一个参数页包含同一系列的多个配置版本时，通过计算终端标识与各配置项在中文名称、详细型号和型号字段上的文本相似度，并结合型号编码匹配和年份匹配进行修正，修正后文本相似度相同时进一步依据字段完整度和价格信息排序，从而确定与输入终端标识最匹配的目标配置项，降低同系列多配置误选的风险。

67、针对单一来源字段缺失的问题，本发明不是简单采用单一页面结果，而是对每一路目标属性结果按综合质量评分q＝a×s＋b×f进行衡量，其中归一化页面质量评分s反映来源页面的可信程度，字段填充率f反映抽取结果的完整程度，二者加权后既保证主属性结果来自质量更优的来源，又能按照综合质量评分由高到低的顺序利用其他来源的非空字段补充主属性结果中的空缺字段，并记录每个补充字段的来源目标参数页、来源采集任务、来源页面质量信息和来源综合质量评分，使字段补全有据可查。最终，融合属性结果与终端标识、终端类型、目标参数页地址、综合质量评分和字段补充记录关联形成标准化的终端属性画像记录，该记录可直接写入终端属性库用于自动补全缺失字段，也可输出至设备能力评估和运营商用户画像构建等下游流程，实现终端属性数据从采集、抽取、融合到入库的全链路可追溯。