基于决策维度约束的用户意图建模与问题扩展方法及系统与流程
本发明涉及自然语言处理,尤其涉及基于决策维度约束的用户意图建模与问题扩展方法及系统。
背景技术:
1、现有用户意图建模与问题扩展方法通常以用户输入的关键词为核心,借助预设模板或检索数据库生成若干候选问题。这类方法先对关键词进行语义扩展,再按照固定句式批量构造问题,最终将生成结果直接用于后续推荐或交互流程。行业知识的引入也多局限于词表匹配或实体映射,并未对问题所覆盖的考察角度进行系统性规划。生成过程中的随机性与模板同质化使得问题集合往往围绕少数热点表述重复展开。
2、受上述机制限制,生成的问题集合在考察角度的分布上表现出显著不均衡性。部分角度被过度表达,大量候选问题指向相似语义方向,而其他与用户决策相关的角度则出现缺失或极少出现。这种不均衡性无法通过简单增加生成数量来消解,因为新增问题仍会延续原有生成模式,导致覆盖盲区持续存在。当问题集合被用于用户调研或需求分析时,盲区会直接造成信息采集失真,令后续分析结果产生系统性偏差。
3、现有方法亦缺乏对生成结果的质量反馈与修正环节。多数流程采用一次性生成策略,生成完成后即投入使用,未对候选问题的分布特征进行量化评估。即便人工筛选,也仅能依据主观经验删除明显重复项,难以识别哪些角度未被覆盖。这导致问题扩展过程对初始关键词和模板的依赖度过高,当输入关键词表述模糊或属于冷门行业时,生成结果的有效性更加难以保障。
技术实现思路
1、本发明实施例提供基于决策维度约束的用户意图建模与问题扩展方法及系统,能够解决现有技术中的问题。
2、本发明实施例的第一方面,提供基于决策维度约束的用户意图建模与问题扩展方法,包括:
3、获取目标关键词和所属行业标识,根据所属行业标识从行业知识库中查询获取决策维度集合;
4、将目标关键词和决策维度集合嵌入生成提示文本,在生成提示文本中设置绑定约束和分布约束,将生成提示文本输入至语言模型获取结构化问题集合;
5、提取结构化问题集合中各问题对应的维度标签并统计各维度标签的出现频次,根据出现频次计算分布均衡度并判断是否满足预设条件,当分布均衡度不满足预设条件时根据出现频次识别低覆盖维度;
6、将低覆盖维度嵌入定向重写提示文本并设置优先生成约束,将定向重写提示文本输入至语言模型获取补充问题及补充问题对应的维度标签;
7、将补充问题及补充问题对应的维度标签添加至结构化问题集合,得到更新后的结构化问题集合。
8、根据所属行业标识从行业知识库中查询获取决策维度集合包括:
9、所述行业知识库中预先构建有多层级行业类目结构,所述多层级行业类目结构中每一层级行业类目分别关联有对应的决策维度子集合;
10、根据所属行业标识在多层级行业类目结构中进行层级匹配,在匹配到与所属行业标识相对应的目标层级行业类目的情况下,将目标层级行业类目关联的决策维度子集合确定为候选决策维度集合;
11、在未匹配到与所述所属行业标识相对应的目标层级行业类目的情况下,沿所述多层级行业类目结构逐层向上追溯,定位与所属行业标识存在归属关系的上层行业类目,将上层行业类目关联的决策维度子集合确定为候选决策维度集合;
12、在确定出的候选决策维度集合的数量为多个的情况下,分别确定各候选决策维度集合中每一决策维度与所属行业标识之间的适配度;
13、根据适配度对多个候选决策维度集合进行融合处理,得到与所属行业标识对应的决策维度集合。
14、将目标关键词和决策维度集合嵌入生成提示文本,在生成提示文本中设置绑定约束和分布约束,将生成提示文本输入至语言模型获取结构化问题集合包括:
15、从决策维度集合中提取每一决策维度的维度名称,构建维度名称列表;
16、基于维度名称列表构造绑定约束字段,所述绑定约束字段要求生成的每一问题文本关联至少一个来自维度名称列表的维度标签;
17、基于维度名称列表和预设问题总数计算每一维度名称对应的目标出现频次区间,基于目标出现频次区间构造分布约束字段;
18、将目标关键词、维度名称列表、绑定约束字段和分布约束字段按照预设顺序组合,构建生成提示文本;
19、将生成提示文本输入至语言模型,接收语言模型输出的响应文本;
20、对响应文本进行解析,提取每一问题单元包含的问题文本和维度标签,将问题文本与对应的维度标签进行关联封装,生成结构化问题集合。
21、提取结构化问题集合中各问题对应的维度标签并统计各维度标签的出现频次,根据出现频次计算分布均衡度并判断是否满足预设条件,当分布均衡度不满足预设条件时根据出现频次识别低覆盖维度包括:
22、遍历结构化问题集合中的每一问题单元,提取每一问题单元关联的维度标签,生成维度标签序列;
23、对维度标签序列中的每一维度标签进行计数,生成包含维度标签与出现频次对应关系的频次映射表;
24、基于频次映射表中全部维度标签的出现频次计算频次均值,基于每一维度标签的出现频次与频次均值的偏差计算频次方差,将频次方差作为分布均衡度;
25、将分布均衡度与预设均衡阈值进行数值比较,当分布均衡度大于预设均衡阈值时判定维度标签在结构化问题集合中的分布失衡;
26、当判定分布失衡时,从频次映射表中筛选出现频次小于频次均值的维度标签,将筛选出的维度标签标记为低覆盖维度。
27、将低覆盖维度嵌入定向重写提示文本并设置优先生成约束,将定向重写提示文本输入至语言模型获取补充问题及补充问题对应的维度标签包括:
28、从低覆盖维度列表中提取每一低覆盖维度的维度名称,构建目标维度名称集合;
29、从频次映射表中提取目标维度名称集合中每一维度名称的当前出现频次,计算当前出现频次与频次均值的差值作为频次缺口值,将频次缺口值作为权重因子分配补充问题数量,生成维度补充配额表;
30、构造反向排斥约束字段,所述反向排斥约束字段禁止语言模型生成维度标签属于目标维度名称集合之外的补充问题;
31、构造频次绑定约束字段,所述频次绑定约束字段强制语言模型为目标维度名称集合中每一维度名称生成的补充问题数量与维度补充配额表中分配的补充问题数量一致;
32、将目标关键词、目标维度名称集合、维度补充配额表、反向排斥约束字段和频次绑定约束字段组合生成定向重写提示文本;
33、将定向重写提示文本输入至语言模型,接收语言模型输出的补充响应文本;
34、对补充响应文本进行解析,提取每一补充问题单元包含的补充问题文本和维度标签。
35、将补充问题及补充问题对应的维度标签添加至结构化问题集合,得到更新后的结构化问题集合包括:
36、根据补充问题对应的维度标签从结构化问题集合中提取对应维度标签的已有问题文本,计算补充问题与已有问题文本之间的语义相似度,当语义相似度低于预设相似阈值时将补充问题标记为保留补充问题;
37、对保留补充问题按照维度标签分组并计算各维度标签下保留补充问题的数量,将保留补充问题的数量与频次映射表中对应维度标签的当前出现频次相加得到预期出现频次,基于全部维度标签的预期出现频次计算预期频次均值,基于每一维度标签的预期出现频次与预期频次均值的偏差计算预期频次方差作为预期分布均衡度;
38、当预期分布均衡度小于预设均衡阈值时将保留补充问题及对应的维度标签添加至结构化问题集合,当预期分布均衡度大于预设均衡阈值时筛选预期出现频次超过预期频次均值的维度标签,并削减对应的保留补充问题数量至使预期出现频次等于预期频次均值后添加至结构化问题集合,得到更新后的结构化问题集合。
39、所述方法还包括:
40、从行业知识库中提取目标关键词所属行业的行业品牌库,所述行业品牌库包含行业内主流品牌名称、品牌简称和品牌别名;
41、遍历更新后的结构化问题集合中每一问题文本,对问题文本进行分词处理得到词元序列,将词元序列中的每一词元与行业品牌库中的品牌名称、品牌简称和品牌别名进行匹配;
42、当匹配成功时将对应的问题文本标记为品牌泄露问题,提取品牌泄露问题对应的维度标签,构造品牌替换约束字段,所述品牌替换约束字段要求在保留维度标签和用户意图的前提下将品牌名称替换为通用表述;
43、将品牌泄露问题、对应的维度标签和品牌替换约束字段组合生成品牌修正提示文本,将品牌修正提示文本输入至语言模型获取修正后的问题文本,用修正后的问题文本替换更新后的结构化问题集合中的品牌泄露问题。
44、本发明实施例的第二方面,提供一种基于决策维度约束的用户意图建模与问题扩展系统,包括:
45、维度获取单元,用于获取目标关键词和所属行业标识,根据所属行业标识从行业知识库中查询获取决策维度集合;
46、问题生成单元,用于将目标关键词和决策维度集合嵌入生成提示文本,在生成提示文本中设置绑定约束和分布约束,将生成提示文本输入至语言模型获取结构化问题集合;
47、均衡分析单元,用于提取结构化问题集合中各问题对应的维度标签并统计各维度标签的出现频次,根据出现频次计算分布均衡度并判断是否满足预设条件,当分布均衡度不满足预设条件时根据出现频次识别低覆盖维度;
48、补充生成单元,用于将低覆盖维度嵌入定向重写提示文本并设置优先生成约束,将定向重写提示文本输入至语言模型获取补充问题及补充问题对应的维度标签;
49、问题更新单元,用于将补充问题及补充问题对应的维度标签添加至结构化问题集合,得到更新后的结构化问题集合。
50、本发明实施例的第三方面,提供一种电子设备,包括:
51、处理器;
52、用于存储处理器可执行指令的存储器;
53、其中,所述处理器被配置为调用所述存储器存储的指令,以执行前述所述的方法。
54、本发明实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现前述所述的方法。
55、本发明利用行业知识库中的决策维度集合对问题生成施加显式边界约束,使语言模型产出的问题始终围绕行业核心决策点展开,避免无关主题干扰。绑定约束将维度信息嵌入提示文本,保证每个问题可溯源至特定决策维度,提升问题与用户意图的匹配度。分布约束促使各维度下问题数量趋于均衡,从生成源头抑制维度偏好,扩展问题集合的覆盖面。通过提取维度标签并统计出现频次,能够客观量化问题在决策维度上的分布状态。计算分布均衡度并判断预设条件,可以自动发现维度分布失衡现象,无需人工逐一比对。当均衡度不满足要求时,依据频次直接识别低覆盖维度,使问题扩展过程具有明确的数据依据,提升诊断效率与准确性。将低覆盖维度嵌入定向重写提示文本,并设置优先生成约束,引导语言模型针对缺失维度进行补偿性生成,避免在已充分覆盖的维度上重复提问。补充问题及其维度标签被合并入原结构化问题集合后,整体维度覆盖趋于完整,分布均衡度得到改善。更新后的问题集合在决策维度上具备全面性和代表性,为下游用户意图理解和检索提供更可靠的数据基础。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com