压裂文档知识提取方法和装置

本说明书涉及油气勘探，尤其涉及一种压裂文档知识提取方法和装置。

背景技术：

1、在油气田长期开发过程中，积累了海量的压裂文档，所述压裂文档可以包括设计方案、施工总结等压裂工程历史文档。所述压裂文档大多以word、pdf、图片等非结构化形式散落在各个业务系统中，存在格式不统一、存档不规范、版本混乱等问题。这种松散的数据管理模式导致高价值的工程参数与专家经验处于沉睡状态，难以直接被计算机读取与理解，严重阻碍了知识的有效复用，无法为当前油气田的智能化转型（如产能预测、参数优化）提供高质量的结构化数据底座。因此，亟需一种压裂文档知识提取方法，以能够高效治理多源异构的压裂文档，从而将非结构化信息转化为可供计算机读取与理解的技术方案。

技术实现思路

1、本说明书实施例提供一种压裂文档知识提取方法和装置，以从压裂文档中提取知识，从而将压裂文档中的知识存储至可供计算机读取与理解的压裂知识库。

2、本说明书实施例提供了一种压裂文档知识提取方法，包括：

3、迭代执行以下步骤，直至满足预设条件：

4、在压裂文档中获取当前批次文档的文本信息作为待处理文本信息，所述压裂文档为多页文档，所述待处理文本信息包括当前批次文档的原始文本内容流与光学识别内容流，所述原始文本内容流通过采用第一文本提取方式对当前批次文档进行解析得到，所述光学识别内容流通过采用第二文本提取方式对当前批次文档进行解析得到；

5、获取待处理文本信息的前向约束信息和后向约束信息，所述前向约束信息包括markdown文档中当前批次文档的上一页文档所对应的markdown格式文本，所述后向约束信息包括压裂文档中当前批次文档的下一页文档的文本内容与光学识别内容；

6、根据前向约束信息和后向约束信息，将待处理文本信息中的原始文本内容流与光学识别内容流整合并重构为markdown格式文本；

7、将markdown格式文本写入markdown文档；

8、将压裂文档中当前批次文档的后续n页文档确定为新的当前批次文档；

9、在迭代结束后，将markdown文档切分为多个语义文本块；

10、在所述多个语义文本块选择高价值文本块；

11、利用大语言模型对高价值文本块进行知识提取，得到压裂知识库。

12、在一些实施例中，所述将待处理文本信息中的原始文本内容流与光学识别内容流整合并重构为markdown格式文本，包括：

13、将待处理文本信息、前向约束信息和后向约束信息输入大语言模型，以使所述大语言模型根据前向约束信息和后向约束信息，将待处理文本信息中的原始文本内容流与光学识别内容流整合并重构为markdown格式文本。

14、在一些实施例中，所述在所述多个语义文本块选择高价值文本块，包括：

15、确定知识字典中的关键词与每个语义文本块之间的第一语义相似度，根据关键词的第一语义相似度，计算所述知识字典与该语义文本块之间的第二语义相似度；

16、从所述多个语义文本块中选择第二语义相似度最高的多个候选语义文本块；

17、根据所述知识字典构建查询文本；

18、计算查询文本与每个候选语义文本块之间的相关性分数；

19、从所述多个候选语义文本块中选择相关性分数最高的文本块作为高价值文本块。

20、在一些实施例中，所述查询文本包括多个子查询文本；

21、所述根据所述知识字典构建查询文本，包括：

22、将所述知识字典中的关键词划分为多个关键词组；

23、根据每个关键词组构建相应的子查询文本；

24、所述计算查询文本与每个候选语义文本块之间的相关性分数，包括：

25、针对每个候选语义文本块，计算每个子查询文本与该候选语义文本块之间的子相关性分数，将多个子查询文本的子相关性分数进行聚合，得到该候选语义文本块的相关性分数。

26、在一些实施例中，所述从所述多个语义文本块中选择第二语义相似度最高的多个候选语义文本块，包括：

27、按照第二语义相似度从高到低的顺序，对所述多个语义文本块进行排序；

28、在排序后的多个语义文本块中选择第k个语义文本块和第k+1个语义文本块；

29、计算第k个语义文本块和第k+1个语义文本块的第二语义相似度之间的差值；

30、若所述差值小于预设阈值，将k自增1，并继续执行选择第k个和第k+1个语义文本块的步骤以及计算差值的步骤，直至所述差值大于或等于预设阈值或者k达到预设最大值；

31、若所述差值大于或等于预设阈值或者k达到预设最大值，在排序后的多个语义文本块中选择前k个语义文本块作为候选语义文本块。

32、在一些实施例中，所述高价值文本块的数量为多个；

33、所述利用大语言模型对高价值文本块进行知识提取，得到压裂知识库，包括：

34、按照各高价值文本块在压裂文档中的位置顺序，将多个高价值文本块进行拼接；

35、将拼接结果输入大语言模型进行知识提取，得到提取结果；所述提取结果包括结构化数据和非结构化数据，所述结构化数据包括参数名称以及参数值；

36、将所述结构化数据保存至结构数据库；

37、提取所述非结构化数据的特征向量，并将特征向量保存至向量数据库。

38、在一些实施例中，所述将markdown文档切分为多个语义文本块，包括：

39、根据切分粒度，将markdown文档切分为多个语义文本块；

40、所述将拼接结果输入大语言模型进行知识提取，得到提取结果，包括：

41、将拼接结果输入大语言模型进行知识提取，得到提取结果和提取结果的置信度分数；

42、若所述置信度分数小于或等于预设分数阈值，减小切分粒度；

43、根据减小后的切分粒度，重复执行markdown文档的切分步骤、第一语义相似度的确定步骤、第二语义相似度的计算步骤、候选语义文本的选择步骤、查询文本的构建步骤、相关性分数的计算步骤、高价值文本块的选择步骤以及知识提取步骤。

44、在一些实施例中，所述方法还包括：

45、在提示模板集中选择与拼接结果相匹配的目标提示模板，所述提示模板集包括一个或多个提示模板，每个提示模板对应有多个提取示例；

46、根据拼接结果，在知识字典中选择目标关键词；

47、在目标提示模板所对应的多个提取示例中选择与拼接结果相匹配的目标提取示例；

48、将目标提取示例和目标关键词填充至目标提示模板，得到提示信息；

49、所述将拼接结果输入大语言模型进行知识提取，得到提取结果，包括：

50、将拼接结果和提示信息输入大语言模型进行知识提取，得到提取结果。

51、本说明书实施例还提供了一种压裂文档知识提取装置，包括：

52、迭代单元，用于迭代执行以下步骤，直至满足预设条件：在压裂文档中获取当前批次文档的文本信息作为待处理文本信息，所述压裂文档为多页文档，所述待处理文本信息包括当前批次文档的原始文本内容流与光学识别内容流，所述原始文本内容流通过采用第一文本提取方式对当前批次文档进行解析得到，所述光学识别内容流通过采用第二文本提取方式对当前批次文档进行解析得到；获取待处理文本信息的前向约束信息和后向约束信息，所述前向约束信息包括markdown文档中当前批次文档的上一页文档所对应的markdown格式文本，所述后向约束信息包括压裂文档中当前批次文档的下一页文档的文本内容与光学识别内容；根据前向约束信息和后向约束信息，将待处理文本信息中的原始文本内容流与光学识别内容流整合并重构为markdown格式文本；将markdown格式文本写入markdown文档；将压裂文档中当前批次文档的后续n页文档确定为新的当前批次文档；

53、切分单元，用于在迭代结束后，将markdown文档切分为多个语义文本块；

54、选择单元，用于在所述多个语义文本块选择高价值文本块；

55、提取单元，用于利用大语言模型对高价值文本块进行知识提取，得到压裂知识库。

56、本说明书实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述压裂文档知识提取方法。

57、本说明书实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述压裂文档知识提取方法。

58、本说明书实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述压裂文档知识提取方法。

59、本说明书实施例的技术方案，在压裂文档中获取当前批次文档的文本信息作为待处理文本信息，所述待处理文本信息包括当前批次文档的原始文本内容流与光学识别内容流，所述前向约束信息包括markdown文档中当前批次文档的上一页文档所对应的markdown格式文本，所述后向约束信息包括压裂文档中当前批次文档的下一页文档的原始文本内容流和光学识别内容流，所述原始文本内容流通过采用第一文本提取方式对当前批次文档进行解析得到，所述光学识别内容流通过采用第二文本提取方式对当前批次文档进行解析得到；可以根据前向约束信息和后向约束信息，将待处理文本信息中的原始文本内容流与光学识别内容流整合并重构为markdown格式文本；可以将生成的markdown格式文本写入markdown文档；可以将压裂文档中当前批次文档的后续n页文档确定为新的当前批次文档；可以在迭代结束后，将markdown文档切分为多个语义文本块；可以在所述多个语义文本块选择高价值文本块；可以利用大语言模型对高价值文本块进行知识提取，得到压裂知识库。这样，本说明书实施例可以从压裂文档中提取知识，从而将压裂文档中的知识存储至可供计算机读取与理解的压裂知识库。另外，本说明书实施例可以通过迭代获取当前批次文档的文本信息，并结合前向约束（上一页文档的markdown文本）与后向约束（下一页文档的原始文本内容和光学识别内容），在批量生成markdown格式文本的过程中，能够自动识别并修复跨页表格的行列断裂、跨页段落的语句中断等问题，确保所生成的markdown文档结构连贯、语义完整，从而有效克服了传统单页处理方式导致的上下文逻辑断裂缺陷，进而为后续的知识提取提供了高质量的结构化输入。另外，原始文本内容流通过采用第一文本提取方式对当前批次文档进行解析得到，光学识别内容流通过采用第二文本提取方式对当前批次文档进行解析得到。不同文本提取方式的读取解析结果在待处理文本信息中可以形成互补，从而可以避免单个文本提取方式可能会出现的文本内容或者格式方面的遗漏或者错误等，实现文档内容更为完整和正确的识别和读取，从而为重构为标准化的markdown格式文本提供高质量的基础。