一种基于标签质量准入的招聘文本候选语义治理方法与流程

摘要: 本发明涉及文本分类,特别是一种基于标签质量准入的招聘文本候选语义治理方法。背景技术:1、招聘文本,包括职位描述jd、招聘公告、简历和求职意向等,通常是非结构化的...
一种基于标签质量准入的招聘文本候选语义治理方法与流程

本发明涉及文本分类,特别是一种基于标签质量准入的招聘文本候选语义治理方法。

背景技术:

1、招聘文本,包括职位描述jd、招聘公告、简历和求职意向等,通常是非结构化的自然语言数据,现有技术方案多采用关键词匹配、命名实体识别或预训练语言模型等方法从中抽取标签,并将抽取结果直接用于画像构建、职位检索、简历推荐或人岗匹配评分。在标签标准化方面,已有方案通过同义词词典、编辑距离或向量相似度匹配等方法将原始表达映射到标准标签。

2、然而,现有技术模型抽到的候选表达并不等同于可用标签,同义词、近义词、上下位词之间的语义关系复杂,且来源字段(如岗位描述、任职要求、工作经历、求职意向)和来源角色(如客观经历、主观意向、岗位职责、任职条件)的差异直接影响标签是否成立,现有方案未区分上述差异,导致主观意向被误作客观经历、岗位职责被误作任职要求等语境错误;现有方案仅将行业、岗位、业务、技能等维度关系用于正向匹配和推荐,未利用所述维度关系反向校验标签质量,无法发现单标签语义相似度难以识别的跨维度关系冲突和跨经历拼接错误;现有技术标准标签库难以在上线前一次性完整构建,新岗位和新技能持续涌现,而现有方案无法在业务运行中增量扩充和修正标准库,且下游应用普遍以标签数量而非质量作为画像完整度和匹配评分的依据,低质量标签因数量优势容易掩盖高质量标签的贡献。

技术实现思路

1、为了克服现有技术的上述缺点,本发明的目的是提供一种基于标签质量准入的招聘文本候选语义治理方法,以解决上述背景技术提出的问题。

2、本发明解决其技术问题所采用的技术方案是:一种基于标签质量准入的招聘文本候选语义治理方法,包括:

3、获取招聘文本,并从所述招聘文本中抽取候选语义单元,所述候选语义单元至少包括候选表达、候选维度、证据原文、证据位置、来源字段和来源角色;

4、基于版本化的语义表示模型,计算所述候选语义单元中的候选表达与标准标签库中标准标签之间的语义相似度和语义偏移度;

5、基于所述语义相似度和语义偏移度,将所述候选表达与标准标签库、别名库和非标候选库进行多级匹配和召回,得到候选标准标签集合;

6、根据所述来源字段、所述来源角色、证据强度、粒度一致性、排除上下文以及维度关系一致性中的至少一项,计算候选语义单元的标签质量指标;

7、根据所述标签质量指标,将候选语义单元的状态确定为标准库已归一、别名归一、命中非标待选库、新增待治理、待复核或排除状态中的一种;

8、根据所述状态和标签质量指标,确定候选语义单元是否准入下游应用;所述下游应用至少包括画像构建、职位检索、简历推荐和人岗匹配评分中的一种;

9、获取人工复核结果,并根据所述人工复核结果,更新所述标准标签库、别名库、字段门控规则、排除规则或维度关系校验规则。

10、作为本发明的进一步改进:所述语义相似度和所述语义偏移度分别按照下式计算:

11、;

12、;

13、其中为所述候选表达经语义表示模型编码得到的第一向量,为所述标准标签经语义表示模型编码得到的第二向量;

14、当所述语义表示模型或所述标准标签库的版本标识发生变更时,对抽样数据进行回归校验,检查归一结果、标签质量指标和治理状态的漂移情况,待漂移差异确认后方可切换新版本。

15、作为本发明的进一步改进:所述多级匹配和召回包括:

16、一级匹配,将所述候选表达与标准标签库的标准标签主名进行字符串全等匹配或编辑距离匹配;

17、二级匹配,在所述一级匹配失败时,将所述候选表达与所述别名库进行匹配,以映射到对应的标准标签;

18、三级匹配,在所述二级匹配失败时,将所述候选表达与标准标签库和非标候选库进行向量相似度匹配,选取所述语义相似度大于第一预设阈值的标签作为候选标准标签集合;

19、所述一级匹配、二级匹配和三级匹配的优先级依次递减,且高优先级匹配成功时跳过匹配步骤。

20、作为本发明的进一步改进:所述标签质量指标q按照下式计算:

21、;

22、其中为所述语义相似度,为所述语义偏移度,为字段合法性变量,为来源角色合法性变量,为所述证据强度为所述粒度一致性,为所述维度关系一致性,为排除上下文惩罚,至为预设权重系数。

23、作为本发明的进一步改进:所述字段合法性变量为二值变量,当所述候选维度属于来源字段的预设合法维度集合时= 1,否则= 0;

24、所述来源角色合法性变量的取值为:当所述来源角色为客观经历或岗位职责时= 1,当所述来源角色为主观意向或任职条件时= 0.5,否则= 0;

25、所述粒度一致性的取值为:当所述候选表达与标准标签处于相同语义粒度层级时= 1,当二者存在上下位关系时= 0.5,当二者粒度不匹配时= 0;

26、所述排除上下文惩罚为二值变量,当所述候选表达命中排除上下文库时= 1,否则= 0。

27、作为本发明的进一步改进:所述证据强度按照下式计算:

28、;

29、其中为所述候选表达在招聘文本中出现的总次数,为所述证据原文中与候选表达在句法上存在依存关系的有效词数量,为所述证据原文的总词数;>0且≥ 2时所述证据强度有效,否则证据强度归零。

30、作为本发明的进一步改进:所述维度关系一致性按照下式计算:

31、;

32、其中n为同一来源片段内参与校验的候选语义单元总数,和为第i个和第j个候选语义单元,为基于招聘领域知识图谱确定的关系强度函数;

33、所述关系强度函数的取值为:当与之间存在长度不大于2的知识图谱路径时=1,存在长度等于3的路径时= 0.5,存在冲突关系时= -0.5,无已知关系时= 0;

34、所述同一来源片段在简历侧为同一段工作经历或同一段项目经历,在岗位描述侧为同一来源角色下的文本片段。

35、作为本发明的进一步改进:所述根据所述状态和标签质量指标确定候选语义单元是否准入下游应用,包括:

36、当所述状态为标准库已归一且所述标签质量指标q≥ 8.0时,直接准入所有下游应用;

37、当6.0 ≤q<8.0且状态为标准库已归一或别名归一时,按下式确定的权重衰减系数λ准入所述下游应用:

38、;

39、当4.0 ≤q<6.0且所述状态为命中非标待选库时,以权重系数0.3准入所述下游应用;

40、当q<4.0时,禁止准入任何所述下游应用。

41、作为本发明的进一步改进:所述候选语义单元通过增量治理漏斗按如下层级进行逐层收敛:

42、第一层为等价直达归一,当所述候选表达命中所述标准标签库或所述别名库且所述来源角色合法性变量≥ 0.5 时,输出标准标签;

43、第二层为标准语义候选,当所述语义相似度≥ 0.85 且所述语义偏移度≤ 0.3 且所述标签质量指标q≥ 8.0时,进入待复核状态;

44、第三层为非标待选,当 0.65 ≤<0.85 且所述候选表达在所述招聘文本中出现次数≥ 3 时,进入非标候选库并以权重系数 0.3 准入所述下游应用;

45、第四层为新增待治理,当<0.65 或>0.5,且所述来源角色为客观经历时,进入标准库新增候选;

46、第五层为排除回收,当所述候选语义单元满足来源非法、所述证据强度= 0或所述维度关系一致性<-0.3 时,禁止输出并沉淀排除规则。

47、作为本发明的进一步改进:所述获取人工复核结果并根据所述人工复核结果更新规则,包括:

48、当人工确认所述候选表达与标准标签等价时,生成别名规则,以条件、动作、权重的结构化模板存储于所述别名库;

49、当人工确认所述候选表达在特定来源字段或特定来源角色下不应作为有效标签时,生成所述字段门控规则或所述排除规则;

50、当人工确认所述候选表达具有独立业务含义而标准标签库无法覆盖时,生成标准库新增候选规则;

51、当人工确认所述维度关系校验与业务实际不符时,更新维度关系校验规则;

52、所述结构化模板在离线批处理任务中统计支持度和置信度,当支持度不低于5且置信度不低于0.85时,推送至人工审核列表。

53、与现有技术相比,本发明的有益效果是:

54、1、本发明通过版本化的语义表示模型计算语义相似度和语义偏移度,利用偏移度量化候选表达与标准标签之间的语义方向差异,当偏移度较大时即使相似度较高也不直接归一,避免了上下位关系被错误归一;通过来源字段和来源角色的区分,避免将主观意向误作客观经历、将岗位职责误作任职要求,字段来源错误造成的误判得到系统性遏制。

55、2、本发明构建包含行业、岗位、业务、技能等层级的招聘领域知识图谱,对同一工作经历内的候选标签进行两两关系强度校验,形成强关系链路时增强质量分,存在关系冲突时降低质量分或进入待复核;同时简历侧关系仅在相同工作经历内建立,避免甲公司行业与乙公司岗位等跨经历拼接造成的虚假强关系,实现了关系信息从正向匹配到反向校验的功能拓展。

56、3、本发明综合语义相似度、字段合法性、来源角色合法性、证据强度、粒度一致性、维度关系一致性、语义偏移度和排除上下文惩罚等八个因子计算标签质量分,低于阈值的标签不参与画像完整度计算和匹配评分,改变了下游应用以数量而非质量为依据的传统模式;通过等价直达归一、标准语义候选、非标待选、新增待治理、排除回收五层漏斗实现逐层收敛,可在业务运行中经多批次出现和人工复核后升级为标准标签,使标准标签库在使用中持续完善而无需上线前一次性完整准备。