数据处理、问答方法、装置、电子设备及存储介质与流程

本技术涉及计算机，尤其涉及一种数据处理、问答方法、装置、电子设备及存储介质。

背景技术：

1、随着人工智能(artificial intelligence，ai)技术的发展，基于ai技术的大语言模型(large language model，llm)逐渐被应用到用户问题回答等领域。例如，对于功能复杂繁琐的云服务平台等，可以基于大语言模型构建该云服务平台的智能助手，并基于该智能助手协助用户使用该云服务平台。然而，因为大语言模型存在幻觉问题，会导致输出答案的准确性较差。

2、检索增强生成(retrieval-augmented generation，rag)是一种能够改善大语言模型的幻觉问题的技术。rag的核心思想是先基于有限知识库检索出与问题相关的文档或知识片段，然后基于检索到该文档或知识片段等，得到最终的答案。

3、然而，如何构建上述知识库，是亟待解决的问题。

技术实现思路

1、本技术提供一种数据处理、问答方法、装置、电子设备及存储介质，可以实现自动化知识库更新。

2、第一方面，本技术提供一种数据处理方法，所述方法包括：

3、基于目标文档，生成问答对；所述问答对包括：基于所述目标文档能够回答的问题，以及，所述问题对应的答案；

4、基于所述问答对，更新知识库；所述知识库，用于为待回答的目标问题提供参考问答对；所述目标问题和所述参考问答对，用于生成所述目标问题的目标答案。

5、可选的，所述基于目标文档，生成问答对，包括：

6、确定所述目标文档的目标粒度的内容；所述目标粒度包括：文档粒度、段落粒度，以及，分块粒度中的至少一种粒度；所述分块粒度小于所述段落粒度；

7、基于所述目标粒度的内容，生成所述问答对。

8、可选的，所述目标粒度包括：所述分块粒度，所述基于所述目标文档，确定所述目标文档的目标粒度的内容，包括：

9、将所述目标文档进行分段，得到所述目标文档的段落粒度的段落内容；

10、基于所述段落内容的数据类型，确定所述分块粒度的分块内容；所述数据类型为文本数据，或者，表格数据；所述分块内容属于同一种所述数据类型。

11、可选的，所述基于所述段落内容的数据类型，确定所述分块粒度的分块内容，包括：

12、基于所述段落内容的数据类型，将所述段落内容拆分为至少一个初始分块；所述初始分块的内容属于同一种数据类型；

13、基于所述初始分块的词元数量以及预设词元数量，确定所述分块粒度的分块内容，所述分块粒度的词元数量小于或等于所述预设词元数量。

14、可选的，所述目标文档为，相较于历史版本文档存在内容更新的新版本文档，所述基于所述目标粒度的内容，生成所述问答对，包括：

15、基于所述目标粒度的内容，以及，所述历史版本文档中所述目标粒度的内容，从所述目标文档中，确定更新所述知识库所需的分块内容；

16、基于所述更新所述知识库所需的分块内容，生成所述问答对。

17、可选的，所述基于所述更新所述知识库所需的分块内容，生成所述问答对，包括：

18、响应于所述分块内容的数据类型为表格类型，基于所述分块内容，以及，所述目标文档，获取所述分块内容的补充信息；所述补充信息包括：所述目标文档中所述分块内容的上下文信息，和/或，所述分块内容所属的标题信息；

19、基于所述分块内容的补充信息，以及，所述分块内容，生成所述问答对。

20、可选的，在所述基于目标文档，生成问答对之前，所述方法还包括：

21、获取初始文档；

22、对所述初始文档进行预处理，得到所述目标文档；

23、所述预处理包括下述至少一项操作：将所述初始文档的格式转换为目标格式、对所述初始文档的各级标题进行矫正、删除所述初始文档中的图片、将所述初始文档中的引用文档的标识转换为所述引用文档的访问地址。

24、可选的，所述知识库为向量数据库，所述基于所述问答对，更新知识库，包括：

25、对所述问答对进行编码，得到所述问答对编码后的向量数据；

26、将所述向量数据存储至所述知识库。

27、第二方面，本技术提供一种问答方法，所述方法包括：

28、获取待回答的目标问题；

29、基于所述目标问题，从知识库中检索参考问答对；所述知识库为如第一方面任一项所述的知识库；所述参考问答对包括：参考问题和参考答案；

30、基于所述参考问答对，以及，所述目标问题，生成所述目标问题的目标答案。

31、可选的，所述基于所述参考问答对，以及，所述目标问题，生成所述目标问题的目标答案，包括：

32、基于所述参考问答对，以及，所述目标问题，得到目标提示词；

33、将所述目标提示词，输入至问答模型，得到所述目标答案。

34、第三方面，本技术提供一种智能助手，所述智能助手包括：客户端，以及，服务器；

35、所述客户端，用于接收待回答的目标问题，并将所述目标问题发送至所述服务器；

36、所述服务器，用于基于所述目标问题，从知识库中检索参考问答对；基于所述参考问答对，以及，所述目标问题，生成所述目标问题的目标答案，并通过所述客户端输出所述目标答案；所述知识库为如第一方面任一项所述的知识库；所述参考问答对包括：参考问题和参考答案。

37、第四方面，本技术提供一种云服务平台，所述云服务平台包括：如第三方面所述的智能助手；

38、所述智能助手用于基于目标问题，从知识库中检索参考问答对；基于所述参考问答对，以及，所述目标问题，生成所述目标问题的目标答案；所述知识库为如第一方面任一项所述的知识库；所述参考问答对包括：参考问题和参考答案；

39、目标问题用于询问与所述云服务平台相关的问题；所述参考问答对为基于目标文档生成的；所述目标文档用于描述所述云服务平台的相关知识。

40、第五方面，本技术提供一种数据处理装置，所述装置包括：

41、处理模块，用于基于目标文档，生成问答对；所述问答对包括：基于所述目标文档能够回答的问题，以及，所述问题对应的答案；

42、更新模块，用于基于所述问答对，更新知识库；所述知识库，用于为待回答的目标问题提供参考问答对；所述目标问题和所述参考问答对，用于生成所述目标问题的目标答案。

43、第六方面，本技术提供一种电子设备，包括：处理器、以及存储器；所述处理器与所述存储器通信连接；

44、所述存储器存储计算机执行指令；

45、所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面和/或第二方面任一项所述的方法。

46、第七方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面和/或第二方面任一项所述的方法。

47、第八方面，本技术提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面和/或第二方面任一项所述的方法。

48、本技术提供的数据处理、问答方法、装置、电子设备及存储介质，通过目标文档，可以生成问答对，然后基于该问答对，可以实现对知识库的更新，使得该知识库后续能够为待回答的目标问题提供参考问答对，进而使得后续可以基于该参考问答对和目标问题，进行目标答案的生成。通过上述方法，实现了基于目标文档对知识库的自动化更新，使得知识库能够为后续的问答过程提供参考问答对，为提高后续目标问题的答案的准确性奠定了基础。