一种长尾问答拒答回流与知识复用方法及系统与流程
本发明涉及自然语言处理与知识工程,尤其涉及一种长尾问答拒答回流与知识复用方法及系统。
背景技术:
1、在景区、博物馆等文旅场景中,游客常提出大量运营类长尾问题,例如现场能否购票、最近的卫生间在哪、今日某展厅是否开放、从当前位置如何到达某景点等。这类信息具有强场景特异性和时效性,通常不存在于通用互联网公开语料中,通用大模型因缺乏对应知识,极易产生幻觉输出,编造不实信息,严重损害游客信任和服务体验。
2、然而,上述现有技术存在以下显著缺陷。
3、第一,拒答机制一刀切,不区分检索失败的根本原因。知识库检索不到证据的情形实质上有三种不同类型。其一,本景区必然存在答案但知识库尚未收录,例如新开设的母婴室位置、临时调整的售票规则,这类问题应当被补录。其二,问题与当前场景完全无关,例如游客询问股市行情、外地天气预报,这类问题应当被丢弃而不应进入补录流程。其三,问题涉及实时动态信息,例如现在排队人多不多、某演出是否正在进行,这类问题的答案随时间变化,若固化为静态知识条目,日后输出时必然成为错误信息。现有方案不区分上述类型,导致待处理问题池被大量无关问题和时效问题淹没,运营人员面对海量堆积的问句无从下手,补录流程名存实亡,知识缺口长期无法收敛。
4、第二,未命中问题以原始问句形式堆积,缺乏可操作的结构化形态。同一意图存在大量表述变体,例如现场买票吗、能不能现场购票、不预约能进吗、现场有票吗等,运营人员逐条阅读理解并作答的成本极高。同时,记录不携带提问点位信息,而景区问答具有强空间性,同一问句在不同点位含义完全不同,例如这里能坐吗在不同的景点指向完全不同的设施,脱离提问点位既无法准确判别问题归属,也无法将答案挂接到正确位置。
技术实现思路
1、本发明提出了一种长尾问答拒答回流与知识复用方法及系统,旨在解决现有技术中存在的现有景区问答系统中因缺乏对检索失败问题的类型判别而导致补录流程不可持续的技术问题。
2、第一方面,本发明提供了一种长尾问答拒答回流与知识复用方法,包括:
3、接收游客在目标景区内提出的问题;
4、在所述目标景区的知识库中检索所述问题的证据;
5、当未检索到所述证据时,依据所述问题与所述目标景区的关联程度,将所述问题判别为场景内知识缺失、场景外无关或时效动态三种类型之一;
6、对于判别为所述场景内知识缺失类型的问题,执行回流补录流程;
7、对于判别为所述场景外无关类型的问题,不执行所述回流补录流程;
8、对于判别为所述时效动态类型的问题,路由至实时数据接口或引导游客咨询;
9、对经所述回流补录流程处理的知识条目进行实体槽位化,形成跨场馆的问法模板,所述问法模板用于在新场馆接入时根据所述新场馆的实体表实例化生成待回答问题清单。
10、进一步地,所述将所述问题判别为场景内知识缺失、场景外无关或时效动态三种类型之一,包括:
11、计算所述问题的实体关联度,所述实体关联度表示所述问题中提取的实体与所述目标景区实体表的匹配程度;
12、计算所述问题的运营词典命中情况,所述运营词典至少包括设施词典、票务词典、开放时间词典及路线词典;
13、计算所述问题所涉及实体与提问点位之间的拓扑邻近度,所述拓扑邻近度基于景区点位拓扑图上的最短路径距离计算;
14、统计所述问题的复现频次;
15、当所述问题包含时效标记且询问对象为动态状态时,判别为时效动态类;
16、当所述实体关联度、所述运营词典命中情况或所述拓扑邻近度中任一者满足预设强命中条件,或所述复现频次达到预设阈值时,判别为场景内知识缺失类;
17、当所述问题的各项特征均不满足所述场景内知识缺失类和所述时效动态类的条件时,判别为场景外无关类。
18、进一步地,所述回流补录流程具体包括:
19、将判别为所述场景内知识缺失的问题写入待补录候选池;
20、对所述候选池中的问题按语义进行聚类以合并表述变体,生成包含代表问句与结构化答案模板的待补录清单;
21、接收针对所述待补录清单中条目所填充的答案,使所述答案对后续同类提问生效。
22、进一步地,对所述候选池中的问题按语义进行聚类,具体包括:
23、先按点位归属对所述候选池中的问题进行分桶;
24、在各桶内基于语义向量进行密度聚类以合并表述变体;
25、对跨桶的聚类结果进行全园层合并;
26、针对每一聚类后形成的语义簇,选取距簇质心最近的样本作为代表问句,所述代表问句用于生成所述待补录清单中的条目。
27、进一步地,所述结构化答案模板包括以下至少一种:
28、位置类模板,其包含目标设施、参照点位、方位、步行时长四个待填充槽位;
29、是否与规则类模板,其包含结论、适用条件、例外情形三个待填充槽位;
30、时间类模板,其包含常规时段、季节差异、特殊安排三个待填充槽位。
31、进一步地,所述使所述答案对后续同类提问生效,具体包括:
32、以经审核入库的知识条目的代表问句及其变体的向量质心与预设命中半径构建语义簇索引;
33、当后续新提问的语义向量落入所述命中半径内时,判定为命中该条知识。
34、进一步地,还包括:
35、响应于所述知识条目的入库,反向扫描所述待补录候选池,将落入该知识条目的所述命中半径内的历史问题标记为已覆盖;
36、根据标记结果输出覆盖率收敛报表,所述报表包含已覆盖数量与剩余缺口数量。
37、进一步地,所述当未检索到所述证据时,具体包括:
38、计算检索到的证据与所述问题的最高相似度,并判断所述最高相似度是否不低于预设阈值;
39、执行槽位覆盖校验,判断所述问题解析得到的关键槽位是否均被所述证据所覆盖;
40、当所述最高相似度低于所述预设阈值,或所述槽位覆盖校验未通过时,判定为未检索到所述证据。
41、进一步地,所述形成跨场馆的问法模板,具体包括:
42、对所述知识条目进行依存句法分析,识别其中的专有名词;
43、将所述专有名词替换为对应的通用语义槽位,形成所述问法模板;
44、将所述问法模板存入跨场馆模板库,并关联适用的场馆类型标签;
45、在新场馆接入时,根据所述新场馆的场馆类型标签过滤不适用模板,并根据所述新场馆的实体表对过滤后的模板进行实例化。
46、第二方面,本发明提供了一种长尾问答拒答回流与知识复用系统,所述系统用于执行所述方法,包括:
47、问题接收模块,用于接收游客在目标景区内提出的问题;
48、检索模块,用于在所述目标景区的知识库中检索所述问题的证据;
49、类型判别模块,用于当未检索到所述证据时,依据所述问题与所述目标景区的关联程度将所述问题判别为场景内知识缺失、场景外无关或时效动态三种类型之一;
50、回流处理模块,用于对判别为所述场景内知识缺失类型的问题执行回流补录流程,并禁止对判别为所述场景外无关类型的问题执行所述回流补录流程;
51、实时路由模块,用于对判别为所述时效动态类型的问题路由至实时数据接口或引导游客咨询;
52、跨场馆复用模块,用于对经所述回流补录流程处理的知识条目进行实体槽位化以形成跨场馆的问法模板,并用于在新场馆接入时根据所述新场馆的实体表实例化生成待回答问题清单。
53、本发明的技术效果是:
54、1.精准拒答与高效回流,通过对检索失败问题进行三路类型判别,确保仅有场景内知识缺失类问题进入补录流程,无据拒答准确率达百分之九十以上。
55、2.显著降低人工补录成本,通过语义聚类将散乱的原始问题合并为结构化待补录清单,人工处理工作量下降约百分之八十。
56、3.闭环效果可量化,通过追溯标记机制将新入库知识与历史缺口关联,以覆盖率报表直观呈现知识库收敛趋势。
57、4.跨场馆规模效应,通过模板抽取与实例化机制,新场馆接入即可获得大量待答清单,单场馆知识库构建成本随接入数量增加而递减。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com