提供回答信息的方法、装置及电子设备与流程
本申请属于人工智能,尤其涉及提供回答信息的方法、装置及电子设备。
背景技术:
1、检索增强生成(retrieval-augmented generation,简称为rag)系统的工作流程具有高度标准化的特点:文档分块、向量化、语义检索前k个(top-k)结果、拼进提示词元(prompt)、大模型生成答案。这套数据处理流程(pipeline,也可以译为“管线”)在简单问答场景中表现稳定,在该场景中答案通常大概率仅在某一段话里。但是面对结构复杂的专业文档使用场景,同一个数据处理流程(pipeline)会反复暴露同一个缺陷,检索能召回文本片段,但生成环节却无法还原文档的完整逻辑链路。
2、以一个实际的场景进行举例说明,质量工程师从200页国标文件中查找“涂层体系的环境适应性要求”,检索增强生成系统返回若干段文本片段,分别来自“术语定义”、“检测方法”和“性能要求”章节,但每段都只截取半句话。这种检索结果通常不可用,质量工程师最终只能关掉页面,自己翻pdf文档查找。这个场景不是偶然,而是传统rag架构的结构性问题。
3、综上所述,检索增强生成系统在具有复杂文档结构的专业文档使用场景中生成回答信息的可用性不足。
技术实现思路
1、本申请实施例提供了提供回答信息的方法、装置及电子设备,可以解决现有技术中检索增强生成系统在具有复杂文档结构的专业文档使用场景中生成回答信息的可用性不足问题。
2、第一方面,本申请实施例提供了一种提供回答信息的方法,包括:
3、根据用户提交的查询问题进行检索,获得所述查询问题对应的一个或多个文本片段;
4、根据预先存储的文档结构索引,获得所述一个或多个文本片段所对应的详细内容;
5、如果所述一个或多个文本片段所对应的详细内容满足充分性评估条件,则根据所述详细内容生成回答信息并将所述回答信息提供给所述用户。
6、在第一方面的一种可能的实现方式中,所述方法还包括:
7、预先建立所述文档结构索引,所述文档结构索引包括以下至少任一项:文档章节层级信息、文档段落坐标、文档页码范围、文本片段至章节的反向索引。
8、在第一方面的一种可能的实现方式中,所述根据预先存储的文档结构索引,获得所述一个或多个文本片段所对应的详细内容,包括以下至少任一项:
9、根据预先存储的文档结构索引,获得所述一个或多个文本片段所对应的章节的详细内容;
10、根据预先存储的文档结构索引,获得所述一个或多个文本片段所对应的页面的详细内容。
11、在第一方面的一种可能的实现方式中,所述根据用户提交的查询问题进行检索,获得所述查询问题对应的一个或多个文本片段的步骤由第一工具模块进行;所述根据预先存储的文档结构索引,获得所述一个或多个文本片段所对应的章节的详细内容的步骤由第二工具模块进行;所述根据预先存储的文档结构索引,获得所述一个或多个文本片段所对应的页面的详细内容的步骤由第三工具模块进行。
12、在第一方面的一种可能的实现方式中,所述方法还包括:
13、如果所述一个或多个文本片段所对应的详细内容不满足充分性评估条件,则返回进行所述根据用户提交的查询问题进行检索的步骤,直至所述一个或多个文本片段所对应的详细内容满足充分性评估条件或者检索的次数达到预设次数阈值。
14、在第一方面的一种可能的实现方式中,所述充分性评估条件包括以下至少任一项:
15、内容是否已覆盖所述查询问题对应的所有关键实体;
16、内容是否已覆盖上下文解释;
17、内容是否存在需要补充的跨结构关联信息。
18、在第一方面的一种可能的实现方式中,在所述获得所述查询问题对应的一个或多个文本片段之后、所述获得所述一个或多个文本片段所对应的详细内容之前,所述方法还包括:
19、如果所述一个或多个文本片段的相似度高于相似度阈值,则进行所述根据预先存储的文档结构索引,获得所述一个或多个文本片段所对应的详细内容的步骤;
20、如果所述一个或多个文本片段的数量低于数量阈值,则向所述用户反馈无相关检索结果的提示信息;
21、如果所述一个或多个文本片段的内容类别大于类别阈值,则向所述用户反馈多个内容类别的提示信息,以供所述用户在所述多个内容类别中进行选择。
22、在第一方面的一种可能的实现方式中,所述回答信息包括引用标注,所述引用标注包括所述详细内容在文档中的位置索引信息。
23、第二方面,本申请实施例提供了一种提供回答信息的装置,包括:
24、第一获得模块,用于根据用户提交的查询问题进行检索,获得所述查询问题对应的一个或多个文本片段;
25、第二获得模块,用于根据预先存储的文档结构索引,获得所述一个或多个文本片段所对应的详细内容;
26、第三提供模块,用于如果所述一个或多个文本片段所对应的详细内容满足充分性评估条件,则根据所述详细内容生成回答信息并将所述回答信息提供给所述用户。
27、第三方面,本申请实施例提供了一种电子设备,包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,使得所述电子设备实现如上述第一方面中任一项所述的方法。
28、第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的方法。
29、第五方面,本申请实施例提供了一种计算机程序产品,包括计算机程序,所述计算机程序被运行时,使得如上述第一方面中任一项所述的方法被执行。
30、本申请第一方面实施例与现有技术相比存在的有益效果是:
31、本申请实施例可以根据用户提交的查询问题进行检索,获得所述查询问题对应的一个或多个文本片段;根据预先存储的文档结构索引,获得所述一个或多个文本片段所对应的详细内容;如果所述一个或多个文本片段所对应的详细内容满足充分性评估条件,则根据所述详细内容生成回答信息并将所述回答信息提供给所述用户。本申请实施例可以将文档结构索引系统化地引入检索增强生成系统的流程中,从而可以实现关键信息的聚合,使检索增强生成系统具备获得文本片段对应的详细内容的“阅读”能力,而非单纯的“检索”能力,实现了从“找到相关的文本片段”到“理解文档结构索引找到详细内容”的关键升级,提升了可用性、准确性和答案完整性。
32、可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
1.一种提供回答信息的方法,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
3.如权利要求1所述的方法,其特征在于,所述根据预先存储的文档结构索引,获得所述一个或多个文本片段所对应的详细内容,包括以下至少任一项:
4.如权利要求3所述的方法,其特征在于,所述根据用户提交的查询问题进行检索,获得所述查询问题对应的一个或多个文本片段的步骤由第一工具模块进行;所述根据预先存储的文档结构索引,获得所述一个或多个文本片段所对应的章节的详细内容的步骤由第二工具模块进行;所述根据预先存储的文档结构索引,获得所述一个或多个文本片段所对应的页面的详细内容的步骤由第三工具模块进行。
5.如权利要求1所述的方法,其特征在于,所述方法还包括:
6.如权利要求1或5所述的方法,其特征在于,所述充分性评估条件包括以下至少任一项:
7.如权利要求1所述的方法,其特征在于,在所述获得所述查询问题对应的一个或多个文本片段之后、所述获得所述一个或多个文本片段所对应的详细内容之前,所述方法还包括:
8.如权利要求1所述的方法,其特征在于,所述回答信息包括引用标注,所述引用标注包括所述详细内容在文档中的位置索引信息。
9.一种提供回答信息的装置,其特征在于,包括:
10.一种电子设备,其特征在于,包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,使得所述电子设备实现如权利要求1-8中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com