基于大语言模型的非结构化客服文本数据处理方法、系统、服务器及介质与流程

本技术涉及数据处理，尤其涉及基于大语言模型的非结构化客服文本数据处理方法、系统、服务器及介质。

背景技术：

1、当前的海量业务文档与客服对话多为非结构化数据，传统依赖人工整理构建faq知识库的方式耗时费力，且难以捕捉散落在对话中的隐性知识，导致知识更新滞后，严重影响服务效率。相关技术经历了从基于关键词的规则匹配、基于统计机器学习的语义分类，发展至当前以大语言模型（llm）为核心的生成式ai阶段。相关技术基于预训练语言模型（如bert）的智能问答检索系统及半自动化知识抽取工具，该类现有技术利用深度学习模型将用户提问与知识库中的标准问题进行语义向量匹配，解决了传统关键词匹配无法理解自然语言语义的缺陷。在知识构建方面，现有技术通常采用序列标注（如crf、bilstm）或基础的文本分类算法，从文档中抽取特定的实体或意图，辅助人工生成问答对。

2、然而，该现有技术在处理非结构化数据构建知识库时存在显著不足：其一，生成能力匮乏，现有模型侧重于“判别”与“检索”，缺乏高质量的文本“生成”能力，无法直接根据长文本自动生成通顺、逻辑严密的标准问答对。其二，依赖大量标注：针对特定业务的知识抽取，往往需要大量人工标注数据进行微调，难以应对多变的业务场景。从而缺乏对非结构化客服文本的自动化语义理解与结构化生成能力、依赖人工处理，导致知识库构建效率低下。

3、因此，现有技术还有待于改进和发展。

技术实现思路

1、本技术的主要目的在于提供基于大语言模型的非结构化客服文本数据处理方法、系统、服务器及介质，旨在解决现有技术中缺乏对非结构化及口语化客服文本的深层语义理解与自动生成能力、依赖人工处理，导致知识库构建效率低下的问题。

2、本技术实施例第一方面提供一种基于大语言模型的非结构化客服文本数据处理方法，所述基于大语言模型的非结构化客服文本数据处理方法包括如下步骤：

3、接收客户端的挖掘任务配置参数，其中，所述配置参数包括任务类型、数据源限定信息和执行策略；

4、根据所述任务配置参数获取原始非结构化数据，并对所述原始非结构化数据进行处理，得到标准化文本数据；

5、将所述标准化文本数据与预构造的提示词模板拼接后输入大语言模型进行文本识别，生成结构化格式的候选faq问答对；

6、接收客户端从所述候选faq问答对中确定的目标faq问答对，并将所述目标faq问答对写入知识库数据库。

7、可选地，在本技术的一个实施例中，所述接收客户端的挖掘任务配置参数，具体包括：

8、接收客户端选定的任务类型，其中，所述任务类型为对话挖掘类型或文档挖掘类型；

9、当所述任务类型为对话挖掘类型时，接收客户端指定的坐席标识和回溯时间段作为所述数据源限定信息；

10、当所述任务类型为文档挖掘类型时，接收客户端上传的word格式文档作为所述数据源限定信息；

11、接收客户端选定的执行策略，其中，所述执行策略为一次性执行策略或定时周期性执行策略。

12、可选地，在本技术的一个实施例中，所述原始非结构化数据为原始会话日志或原始文档，所述标准化文本数据为对话类标准化文本数据或文档类标准化文本数据；

13、所述根据所述任务配置参数获取原始非结构化数据，并对所述原始非结构化数据进行处理，得到标准化文本数据，具体包括：

14、当所述任务类型为对话挖掘类型时，从客服聊天记录数据库中拉取原始会话日志，对所述原始会话日志进行去噪处理和角色标注处理，得到对话文本，将所述对话文本格式化为键值对结构，得到对话类标准化文本数据；

15、当所述任务类型为文档挖掘类型时，接收客户端上传的原始文档，并对所述原始文档进行格式解析以提取纯文本内容，按照语义完整度对所述纯文本内容进行切分，得到文档类标准化文本数据。

16、可选地，在本技术的一个实施例中，所述提示词模板包括第一提示词模板和第二提示词模板，所述候选faq问答对包括第一候选faq问答对和第二候选faq问答对；

17、所述将所述标准化文本数据与预构造的提示词模板拼接后输入大语言模型进行文本识别，生成结构化格式的候选faq问答对，具体包括：

18、当所述标准化文本数据为对话类标准化文本数据时，将所述对话类标准化文本数据与第一提示词模板拼接后输入大语言模型，通过所述大语言模型识别对话中的提问意图和回复内容，生成问题描述与答案描述一一对应的第一候选faq问答对；

19、当所述标准化文本数据为文档类标准化文本数据时，将所述文档类标准化文本数据与第二提示词模板拼接后输入大语言模型，通过所述大语言模型识别文档中的实体名称和操作描述，生成问题描述与答案描述一一对应的第二候选faq问答对。

20、可选地，在本技术的一个实施例中，所述将所述对话类标准化文本数据与第一提示词模板拼接后输入大语言模型，通过所述大语言模型识别对话中的提问意图和回复内容，生成问题描述与答案描述一一对应的第一候选faq问答对，具体包括：

21、将所述第一提示词模板与所述对话类标准化文本数据按照先后顺序拼接为第一输入序列，其中，所述第一提示词模板用于指示大语言模型从客户与客服的多轮对话中提取客户的核心问题以及客服针对该核心问题给出的解决方案；

22、将所述第一输入序列输入大语言模型对所述多轮对话的上下文进行语义编码和解码，生成第一json对象，其中，所述第一json对象包括问题描述字段和对应的答案描述字段；

23、将所述第一json对象作为所述第一候选faq问答对。

24、可选地，在本技术的一个实施例中，所述接收客户端从所述候选faq问答对中确定的目标faq问答对，并将所述目标faq问答对写入知识库数据库，具体包括：

25、将所述候选faq问答对返回至客户端进行可视化展示；

26、接收客户端针对各所述候选faq问答对反馈的审核状态，其中，所述审核状态包括确认导入、修正后导入或驳回；

27、当所述审核状态为确认导入时，则将对应的所述候选faq问答对作为目标faq问答对写入知识库数据库；

28、当所述审核状态为修正后导入时，接收客户端提交的修正后问答对，将所述修正后问答对作为目标faq问答对写入知识库数据库；

29、当所述审核状态为驳回时，删除对应的所述候选faq问答对。

30、可选地，在本技术的一个实施例中，所述接收客户端选定的执行策略，之后还包括：

31、当所述执行策略为定时周期性执行策略时，根据当前时间与所述定时周期性执行策略的周期间隔天数生成定时触发器；

32、当达到所述定时触发器设定的触发时间时，生成新的挖掘任务实例，并以新的所述挖掘任务实例重新执行所述根据所述任务配置参数获取原始非结构化数据，并对所述原始非结构化数据进行处理，得到标准化文本数据的步骤。

33、本技术实施例第二方面还提供一种基于大语言模型的非结构化客服文本数据处理系统，其中，所述基于大语言模型的非结构化客服文本数据处理系统用于实现上述方案中任一项所述的基于大语言模型的非结构化客服文本数据处理方法；所述基于大语言模型的非结构化客服文本数据处理系统包括：

34、挖掘任务配置模块，用于接收客户端的挖掘任务配置参数，其中，所述配置参数包括任务类型、数据源限定信息和执行策略；

35、数据获取与预处理模块，用于根据所述任务配置参数获取原始非结构化数据，并对所述原始非结构化数据进行处理，得到标准化文本数据；

36、挖掘与faq生成模块，用于将所述标准化文本数据与预构造的提示词模板拼接后输入大语言模型进行文本识别，生成结构化格式的候选faq问答对；

37、挖掘结果审核与入库模块，用于接收客户端从所述候选faq问答对中确定的目标faq问答对，并将所述目标faq问答对写入知识库数据库。

38、本技术实施例第三方面还提供一种服务器，其中，所述服务器包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于大语言模型的非结构化客服文本数据处理程序，所述基于大语言模型的非结构化客服文本数据处理程序被所述处理器执行时实现如上所述的基于大语言模型的非结构化客服文本数据处理方法的步骤。

39、本技术实施例第四方面还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于大语言模型的非结构化客服文本数据处理程序，所述基于大语言模型的非结构化客服文本数据处理程序被处理器执行时实现如上所述的基于大语言模型的非结构化客服文本数据处理方法的步骤。

40、有益效果：本技术提供基于大语言模型的非结构化客服文本数据处理方法、系统、服务器及介质，本技术通过接收客户端配置的任务类型、数据源及执行策略，实现了对不同来源非结构化数据的自适应获取与标准化处理，并利用预构造的提示词模板引导大语言模型对标准化文本进行语义识别，自动生成结构化的候选faq问答对，最后经客户端确认后直接写入知识库数据库，构建了一条从原始数据到标准化知识单元的自动化流水线；本技术利用大语言模型的深层语义理解与生成能力提升了知识库的构建效率并降低了人力成本，并且，通过客户端对候选问答对的最终确认机制保障了入库知识的准确性和规范性，同时配合可配置的执行策略使得知识库能够按需或周期性地自动迭代更新，从而在无需大量人工标注数据的前提下，实现了从非结构化客服文本到结构化知识库的端到端自动化构建，提升了知识库构建效率并降低了知识库维护成本。