一种知识库文档的分片方法及装置与流程

本申请涉及人工智能，尤其是涉及一种知识库文档的分片方法及装置。

背景技术：

1、目前，使用微调之后的大模型进行文本分段需要消耗大量的计算资源对模型进行训练，且分段的过程模型需要对整个文本进行处理，效率不高。并且模型的回答有可能产生幻觉导致分段出错。使用句子关联度的方案只能计算前后句子的关联性，缺少对上下文信息的处理。同时针对图片、表格等内容无法进行很好的分段操作。

技术实现思路

1、有鉴于此，本申请提供了一种知识库文档的分片方法及装置，以解决上述技术问题。

2、第一方面，本申请实施例提供一种知识库文档的分片方法，包括：

3、对知识库文档进行解析，提取出文本、图片、图片在文档中位置、表格以及表格在文档中的位置；

4、按照预设的句子数量，将文本划分为多个第一文本分段；基于每个第一文本分段的每个句子的切分概率，将每个第一文本分段切分为预设数量的第二文本分段；

5、对图片进行解析得到图片中的文字，利用多模态模型对图片中的文字进行总结，得到图片元数据；

6、对表格进行解析得到表格中的文字，利用多模态模型对表格中的文字进行总结，得到表格元数据；

7、基于图片在文档中的位置确定图片所属的第二文本分段；基于表格在文档中的位置确定表格所属的第二文本分段；

8、将所述图片和表格分别与所属的第二文本分段进行拼接，得到第三文本分段；将图片元数据和表格元数据分别存储到所属的第二文本分段的元数据信息中。

9、在一种的可能实现中，对知识库文档进行解析，包括：

10、利用视觉模型对知识库文档进行解析，得到文档分隔的布局。

11、在一种的可能实现中，按照预设的句子数量，将文本划分为多个第一文本分段；基于每个第一文本分段的每个句子的切分概率，将每个第一文本分段切分为预设数量的第二文本分段，包括：

12、利用正则表达式将文本划分为多个句子，将n个句子设置为一个第一文本分段；

13、计算每个第一文本分段的第个句子结束之后的切分概率：

14、

15、其中，为第个句子之后出现结尾标志的概率；表示第个句子和第个句子之间的语义距离；为比例系数；；

16、对n个句子的切分概率进行降序排列，得到切分概率序列；

17、从切分概率序列中获取前m个切分概率对应的句子的句尾作为切分位置，将第一文本段落切分成m+1个段落块，将第一文本段落的非首尾的段落块确定为第二文本段落；

18、将每个第一文本段落的最后一个段落块与其后的第一文本段落的第一个段落块进行拼接，得到一个第二文本段落。

19、在一种的可能实现中，所述方法还包括：当某个第一文本分段的长度超过了预设的最大长度，对第一文本分段进行再次切分。

20、在一种的可能实现中，所述方法还包括：

21、将每个第一文本段落的第一个句子至第n个句子进行拼接，得到拼接后的句子组；

22、利用大语言模型拼接后的句子组进行处理，得到第个句子之后出现结尾标志的概率。

23、在一种的可能实现中，所述方法还包括：

24、利用embedding模型对第个句子进行处理，得到固定维度的嵌入向量表示；

25、计算嵌入向量表示和嵌入向量表示的距离：

26、。

27、在一种的可能实现中，基于图片在文档中的位置确定图片所属的第二文本分段，包括：

28、根据图片所在的位置确定图片所在的第二文本分段；

29、分别计算第二文本分段前后2n个第二文本分段的嵌入概率：

30、

31、其中，为第二文本分段的嵌入概率；为图片元数据和第二文本分段的语义距离；为第二文本分段到第二文本分段的距离，；

32、函数的表达式为：

33、

34、其中，为比例系数；

35、将嵌入概率最大值对应的第二文本分段确定为图片所属的第二文本分段。

36、第二方面，本申请实施例提供一种知识库文档的分片装置，包括：

37、解析单元，用于对知识库文档进行解析，提取出文本和文本在文档中位置、图片在文档中位置以及表格和表格在文档中的位置；

38、划分单元，用于按照预设的句子数量，将文本划分为多个第一文本分段；基于每个第一文本分段的每个句子的切分概率，将每个第一文本分段切分为预设数量的第二文本分段；

39、第一处理单元，用于对图片进行解析得到图片中的文字，利用多模态模型对图片中的文字进行总结，得到图片元数据；

40、第二处理单元，用于对表格进行解析得到表格中的文字，利用多模态模型对表格中的文字进行总结，得到表格元数据；

41、确定单元，用于基于图片在文档中的位置确定图片所属的第二文本分段；基于表格在文档中的位置确定表格所属的第二文本分段；

42、拼接单元，用于将所述图片和表格分别与所属的第二文本分段进行拼接，得到完整的文本分段；将图片元数据和表格元数据分别存储到所属的第二文本分段的元数据信息中。

43、第三方面，本申请实施例提供一种电子设备，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例的方法。

44、第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令被处理器执行时实现本申请实施例的方法。

45、第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本申请实施例的方法。

46、本申请的方法通过切分概率确定文档的切分点，提升了切分的准确性；此外，现有的切片方法无法提取图片和表格的元数据信息，容易导致图片和表格的信息丢失，本实施例通过将图片和表格内容和文本文段做关联，能够提升文本召回的准确性，并且提升大语言模型问答的准确性。

1.一种知识库文档的分片方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，对知识库文档进行解析，包括：

3.根据权利要求1所述的方法，其特征在于，按照预设的句子数量，将文本划分为多个第一文本分段；基于每个第一文本分段的每个句子的切分概率，将每个第一文本分段切分为预设数量的第二文本分段，包括：

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：当某个第一文本分段的长度超过了预设的最大长度，对第一文本分段进行再次切分。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

6.根据权利要求3所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，基于所述图片在文档中的位置确定图片所属的第二文本分段，包括：

8.一种知识库文档的分片装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1-7任一项所述的方法。