一种基于用户意图的交易文本模板生成系统及方法与流程
本发明涉及自然语言处理与文本模板生成,具体是一种基于用户意图的交易文本模板生成系统及方法。
背景技术:
1、在交易文本生成领域,系统通常依赖预设的模板库对用户输入进行意图匹配并生成对应的交易文本。现有技术普遍采用基于深度学习的自然语言处理方法,通过训练意图识别模型对用户输入进行分类,再从模板库中调用与分类结果对应的模板,经变量填充后输出最终文本。
2、上述方法隐含一个无法验证的前提假设,即模板库已覆盖所有可能的用户意图类别。当用户输入无法与任何现有模板实现有效匹配时,现有技术通常将该输入强行归入相似度最高的现有模板类别并输出对应文本,或者输出一个预设的默认回复。
3、在这两种处理方式下,系统均未在逻辑上区分两种本质不同的失败情形。第一种情形是用户的表述方式与模板之间存在差异,但用户意图本身属于模板库覆盖范围。第二种情形是用户所表述的意图本身在模板库中没有对应项。现有技术将模板库不完备这一系统性缺陷掩盖成了用户表述不清晰或匹配算法不够精确的问题。
4、此外,模板库的更新完全依赖人工分析或用户反馈驱动。系统本身不具备主动发现模板库覆盖缺口的能力。当新类型的用户意图出现时,系统必须等待人工介入才能补充新模板,无法自主识别模板库缺少什么。这导致模板库的完备性始终无法由系统自身验证,系统的处理能力始终受限于设计者的预判范围。
5、为了解决上述问题,本发明提出了一种基于用户意图的交易文本模板生成系统及方法。
技术实现思路
1、本发明的目的在于提供一种基于用户意图的交易文本模板生成系统及方法,以解决现有技术中提出的问题。
2、为实现上述目的,本发明提供如下技术方案:
3、一种基于用户意图的交易文本模板生成方法,包括以下步骤:
4、s1、预定义若干个文本模板,每个所述文本模板包含一个模板标识和一组模板特征向量;
5、s2、获取用户输入后,对所述用户输入执行特征提取生成输入特征向量,将所述输入特征向量与各所述模板特征向量进行比较,生成各文本模板对应的综合匹配度;
6、s3、将各所述综合匹配度分别与预设的第一阈值和第二阈值进行比较,所述第一阈值大于所述第二阈值,根据比较结果将所述用户输入判定为已覆盖意图、无匹配意图或疑似未覆盖意图;
7、s4、将判定为疑似未覆盖意图的用户输入存入待分析集合;
8、s5、按预设周期对所述待分析集合中的用户输入执行聚类分析,根据聚类结果判定候选未覆盖意图类别;
9、s6、对所述候选未覆盖意图类别中的用户输入执行共性特征提取生成候选模板特征向量,对所述候选模板特征向量执行冲突检测与回测验证,根据验证结果决定将所述候选模板特征向量作为新模板加入或舍弃。
10、所述s1进一步包括以下内容:
11、预定义若干个文本模板,每个所述文本模板包含一个模板标识和一组模板特征向量;
12、所述模板特征向量由若干个特征维度构成,每个所述特征维度对应一个预设特征项;
13、所述预设特征项包括核心动作特征、对象属性特征、约束条件特征和关系特征;
14、每个所述预设特征项包含若干个预设特征值,每个所述预设特征值对应一个预设关键词集合;
15、所述模板标识与所述模板特征向量一一对应。
16、所述s2进一步包括以下内容:
17、获取用户输入后,对所述用户输入进行分词处理得到若干个用户词汇,将每个所述用户词汇与各预设特征项所对应的预设关键词集合进行匹配;
18、当一个用户词汇与一个预设关键词集合匹配成功时,将该用户词汇在该预设关键词集合上所对应的预设特征值记录为该用户输入在该特征维度上的特征取值;
19、当所有用户词汇完成匹配后,将各特征维度的特征取值组合为所述输入特征向量;
20、获取一个文本模板的模板特征向量,将所述输入特征向量与该模板特征向量在每一个相同的特征维度上进行特征取值比较;
21、当两个特征取值相同时,该特征维度的维度差异值为零;
22、当两个特征取值不相同时,该特征维度的维度差异值为一;
23、根据各特征维度在模板库中的取值分布确定各特征维度的权重值;
24、所述取值分布的确定方式为统计各文本模板的模板特征向量在该特征维度上呈现的不同取值的总数;
25、所述总数与所述模板特征向量总数之比即为该特征维度的权重值;
26、在系统运行阶段,每次新模板加入所述文本模板库后,重新执行各特征维度权重值的计算,以更新后的模板库中的各模板特征向量为统计对象,重新计算各特征维度的权重值;
27、将全部特征维度的维度差异值与各自对应的权重值相乘后求和,得到该文本模板对应的综合匹配度,遍历全部文本模板得到各文本模板分别对应的综合匹配度。
28、所述s3进一步包括以下内容:
29、获取各文本模板对应的综合匹配度,从全部综合匹配度中选取数值最大的一个综合匹配度作为目标综合匹配度;
30、将所述目标综合匹配度与预设的第一阈值和第二阈值进行比较,所述第一阈值大于所述第二阈值;
31、当所述目标综合匹配度大于等于所述第一阈值时,将所述用户输入判定为已覆盖意图,将所述目标综合匹配度所对应的文本模板作为匹配模板;
32、当所述目标综合匹配度小于等于所述第二阈值时,将所述用户输入判定为无匹配意图;
33、当所述目标综合匹配度大于所述第二阈值且小于所述第一阈值时,将所述用户输入判定为疑似未覆盖意图。
34、所述s4进一步包括以下内容:
35、获取用户输入的判定结果;
36、当所述用户输入被判定为疑似未覆盖意图时,将所述用户输入存入一个待分析集合;
37、所述待分析集合中的每个用户输入均附带其对应的输入特征向量。
38、所述s5进一步包括以下内容:
39、按预设周期读取所述待分析集合中积累的全部用户输入以及各用户输入对应的输入特征向量;
40、以各用户输入对应的输入特征向量之间的距离为聚类依据,对所述待分析集合中的全部用户输入执行聚类操作,将所述待分析集合中的全部用户输入划分为若干个输入聚类;
41、获取每个所述输入聚类的成员数量,将所述成员数量与预设的第三阈值进行比较;
42、当一个输入聚类的成员数量大于所述第三阈值时,将该输入聚类判定为一个候选未覆盖意图类别。
43、所述s6进一步包括以下内容:
44、获取所述候选未覆盖意图类别中的全部用户输入以及各用户输入对应的输入特征向量;
45、对所述候选未覆盖意图类别中的全部用户输入在各特征维度上的特征取值执行频次统计;
46、将每个特征维度上出现频次最高的特征取值提取出来,将各特征维度上提取出的特征取值组合为一个候选模板特征向量;
47、获取所述文本模板库中已有各文本模板的模板特征向量,将所述候选模板特征向量与每一个已有模板特征向量进行整体相似度比较;
48、当所述候选模板特征向量与全部已有模板特征向量的整体相似度均小于等于所述预设的第四阈值时,将所述候选模板特征向量作为一个临时模板加入所述文本模板库;
49、以所述候选未覆盖意图类别中的全部用户输入作为测试用例,分别对各测试用例执行s2和s3;
50、获取各测试用例执行s2和s3后得到的判定结果,统计各测试用例在s3中被判定为已覆盖意图时所述目标综合匹配度所对应的文本模板;
51、当所述目标综合匹配度所对应的文本模板为所述临时模板时,将该测试用例计入有效匹配数量;
52、计算所述有效匹配数量与测试用例总数的比值,得到一个验证通过率;
53、将所述验证通过率与预设的第五阈值进行比较;
54、当所述验证通过率大于所述第五阈值时,将所述候选模板特征向量作为一个新文本模板正式加入所述文本模板库;
55、当所述验证通过率小于等于所述第五阈值时,舍弃所述候选模板特征向量。
56、一种基于用户意图的交易文本模板生成系统,包括以下单元:
57、模板库存储单元,用于存储预定义的若干个文本模板及各模板对应的模板特征向量;
58、特征提取与匹配计算单元,用于接收用户输入并生成输入特征向量,将所述输入特征向量与所述模板库存储单元中的各模板特征向量进行比对,输出各模板对应的综合匹配度至意图判定单元;
59、意图判定单元,用于接收所述综合匹配度并与预设阈值比较,将用户输入及其判定结果分别发送至模板库存储单元或待分析集合存储单元;
60、待分析集合存储单元,用于接收并存储意图判定单元发送的疑似未覆盖意图的用户输入及其对应的输入特征向量;
61、聚类分析单元,用于按预设周期读取所述待分析集合存储单元中的全部用户输入及输入特征向量,执行聚类分析后将候选未覆盖意图类别输出至模板生成与验证单元;
62、模板生成与验证单元,用于接收所述聚类分析单元输出的候选未覆盖意图类别,生成候选模板特征向量并执行冲突检测与回测验证,根据验证结果决定将候选模板特征向量作为新模板加入所述模板库存储单元或舍弃。
63、与现有技术相比,本发明的有益效果是:
64、1、本发明与现有基于意图识别的文本模板生成方法相比,现有方法通过意图识别模型对用户输入进行分类后调用对应模板,当输入无法与任何现有模板匹配时,系统仅能输出一个相似度最高的结果或默认回复,无法区分匹配失败的真实原因是用户表述方式差异还是模板库本身存在覆盖缺口。本发明通过设置第一阈值和第二阈值构建灰色区间判定机制,将落入灰色区间的用户输入单独标记为疑似未覆盖意图,而非直接归入已有类别或简单丢弃,使系统能够准确识别模板库的覆盖边界,解决了现有技术因缺乏覆盖缺口发现能力而将模板库不完备问题掩盖为匹配算法不精确的技术缺陷。
65、2、本发明与现有依赖人工分析或用户反馈驱动来更新模板库的方式相比,现有技术的模板库更新具有明显的被动性和滞后性,当新类型意图出现时系统无法自主响应。本发明通过对灰色区间内用户输入的系统化积累和聚类分析,主动发现待分析集合中频繁出现的同类输入模式并判定为候选未覆盖意图类别,进一步通过共性特征提取自动生成候选模板特征向量,经冲突检测和回测验证后加入模板库,形成从覆盖缺口发现到候选模板生成再到验证部署的完整闭环,使模板库的覆盖范围能够随系统运行自动扩展,无需人工介入即可持续进化。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com