表格文本化方法、装置、设备、介质及产品与流程

本公开涉及数据处理，尤其涉及一种表格文本化方法、装置、设备、介质及产品。

背景技术：

1、随着人工智能技术（artificial intelligence，ai）的飞速发展，利用语言模型对文档进行自动化内容解析与知识抽取，已成为构建智能问答、知识检索等应用的核心手段。例如，针对产品手册、项目报告等文档，通过语言模型可有效整合其中的段落，构建便于检索的知识库，显著提升信息获取效率。然而，文档中可能包括多模态的信息源，如文本、表格、图片等，当文档中包括表格时，难以准确的提取表格部分的知识。

技术实现思路

1、本公开实施例提供一种表格文本化方法、装置、设备、介质及产品，能够提升表格文本化结果的准确性，提升对表格部分知识提取的准确度。

2、本公开实施例的技术方案是这样实现的：

3、本公开实施例提供一种表格文本化方法，包括：

4、确定表格所在章节中关联所述表格的文本信息；其中，所述文本信息包括以下至少之一：所述章节中除所述表格之外的文本、所述章节对应的目录；

5、基于所述文本信息以及所述表格的表格信息对所述表格进行语义关联的文本化处理，得到所述表格的描述性文本；

6、对所述表格的描述性文本进行质量评估，得到所述描述性文本的质量评估值；

7、基于所述质量评估值，将满足预设质量条件的描述性文本作为所述表格的文本化结果。

8、在一些实施例中，所述对所述表格的描述性文本进行质量评估，得到所述描述性文本的质量评估值，包括：

9、对所述描述性文本进行文本流畅度评估，得到所述描述性文本的流畅度评估值；

10、对所述描述性文本进行问答测试的准确度评估，得到所述描述性文本的准确度评估值；

11、基于所述流畅度评估值和所述准确度评估值进行加权融合，得到所述描述性文本的质量评估值。

12、在一些实施例中，所述对所述描述性文本进行问答测试的准确度评估，得到所述描述性文本的准确度评估值，包括：

13、基于关联所述表格的文本信息以及所述表格的表格信息，生成问答库；其中，所述问答库中包括问题，以及问题对应的标准答案；

14、基于关联所述表格的文本信息以及所述表格的描述性文本，测试所述问答库中的问题对应的测试答案；

15、至少基于所述测试答案与所述标准答案的匹配度，确定所述描述性文本的准确度评估值。

16、在一些实施例中，所述问答库中包括多个问题，所述基于关联所述表格的文本信息以及所述表格的描述性文本，测试所述问答库中的问题对应的测试答案，包括：

17、基于关联所述表格的文本信息以及所述表格的描述性文本，测试所述问答库中每一问题对应的测试答案；

18、所述至少基于所述测试答案与所述标准答案的匹配度，确定所述描述性文本的准确度评估值，包括：

19、基于每一问题对应的测试答案与标准答案的匹配度，确定第一匹配度统计值；

20、至少基于所述第一匹配度统计值，确定所述描述性文本的准确度评估值。

21、在一些实施例中，所述章节中包括多个表格，至少一个表格对应多个描述性文本，所述问答库基于关联所述表格的文本信息以及多个表格的表格信息生成；

22、所述基于关联所述表格的文本信息以及所述表格的描述性文本，测试所述问答库中的问题对应的测试答案，包括：

23、针对所述多个表格的描述性文本的每一种组合，基于关联所述多个表格的文本信息以及描述性文本组合，测试所述问答库中的问题针对描述性文本组合对应的测试答案；

24、所述至少基于所述测试答案与所述标准答案的匹配度，确定所述描述性文本的准确度评估值，包括：

25、针对每一表格的每一描述性文本，确定描述性文本在不同描述性文本组合中针对问题对应的测试答案与标准答案之间的匹配度对应的第二匹配度统计值，并至少基于所述第二匹配度统计值确定描述性文本的准确度评估值。

26、在一些实施例中，所述对所述描述性文本进行文本流畅度评估，得到所述描述性文本的流畅度评估值，包括：

27、将所述描述性文本替换所述章节中的表格，得到替换后的章节文本；

28、对所述章节文本中的文本内容进行文本流畅度评估，得到所述流畅度评估值。

29、在一些实施例中，所述基于所述文本信息以及所述表格的表格信息对所述表格进行语义关联的文本化处理，得到所述表格的描述性文本，包括：

30、基于所述文本信息以及所述表格的表格信息对所述表格进行多次语义关联的文本化处理，得到所述表格的多个候选描述性文本；

31、将所述多个候选描述性文本中完全覆盖所述表格中文本的候选描述性文本，作为所述表格的描述性文本。

32、在一些实施例中，所述章节为文档的一部分，所述章节中表格的描述性文本通过第一语言模型离线生成；所述方法还包括：

33、在对描述性文本进行质量评估确定表格的文本化结果后，基于表格的文本化结果替换章节中的表格，离线生成替换后包括章节文本的文本形式的文档；

34、利用第二语言模型在线对所述文本形式的文档进行处理；其中，所述第一语言模型的规模大于所述第二语言模型的规模。

35、在一些实施例中，所述文档为车辆手册，所述利用第二语言模型在线对所述文本形式的文档进行处理，包括：

36、利用所述第二语言模型基于在线获取的问题对所述文本形式的车辆手册进行处理，以从所述文本形式的车辆手册中获取所述问题的答案。

37、在一些实施例中，所述确定表格所在章节中关联所述表格的文本信息，包括：

38、基于所述章节所属文档的文档格式对应的数据结构，确定所述章节中关联所述表格的文本信息。

39、本公开实施例提供一种表格文本化装置，包括：

40、第一确定模块，配置为确定表格所在章节中关联所述表格的文本信息；其中，所述文本信息包括以下至少之一：所述章节中除所述表格之外的文本、所述章节对应的目录；

41、文本化处理模块，配置为基于所述文本信息以及所述表格的表格信息对所述表格进行语义关联的文本化处理，得到所述表格的描述性文本；

42、质量评估模块，配置为对所述表格的描述性文本进行质量评估，得到所述描述性文本的质量评估值；

43、第二确定模块，配置为基于所述质量评估值，将满足预设质量条件的描述性文本作为所述表格的文本化结果。

44、在一些实施例中，所述质量评估模块，还配置为对所述描述性文本进行文本流畅度评估，得到所述描述性文本的流畅度评估值；对所述描述性文本进行问答测试的准确度评估，得到所述描述性文本的准确度评估值；基于所述流畅度评估值和所述准确度评估值进行加权融合，得到所述描述性文本的质量评估值。

45、在一些实施例中，所述质量评估模块，还配置为基于关联所述表格的文本信息以及所述表格的表格信息，生成问答库；其中，所述问答库中包括问题，以及问题对应的标准答案；基于关联所述表格的文本信息以及所述表格的描述性文本，测试所述问答库中的问题对应的测试答案；至少基于所述测试答案与所述标准答案的匹配度，确定所述描述性文本的准确度评估值。

46、在一些实施例中，所述问答库中包括多个问题，所述质量评估模块，还配置为基于关联所述表格的文本信息以及所述表格的描述性文本，测试所述问答库中每一问题对应的测试答案；基于每一问题对应的测试答案与标准答案的匹配度，确定第一匹配度统计值；至少基于所述第一匹配度统计值，确定所述描述性文本的准确度评估值。

47、在一些实施例中，所述章节中包括多个表格，至少一个表格对应多个描述性文本，所述问答库基于关联所述表格的文本信息以及多个表格的表格信息生成；

48、所述质量评估模块，还配置为针对所述多个表格的描述性文本的每一种组合，基于关联所述多个表格的文本信息以及描述性文本组合，测试所述问答库中的问题针对描述性文本组合对应的测试答案；针对每一表格的每一描述性文本，确定描述性文本在不同描述性文本组合中针对问题对应的测试答案与标准答案之间的匹配度对应的第二匹配度统计值，并至少基于所述第二匹配度统计值确定描述性文本的准确度评估值。

49、在一些实施例中，所述质量评估模块，还配置为将所述描述性文本替换所述章节中的表格，得到替换后的章节文本；对所述章节文本中的文本内容进行文本流畅度评估，得到所述流畅度评估值。

50、在一些实施例中，所述文本化处理模块，还配置为基于所述文本信息以及所述表格的表格信息对所述表格进行多次语义关联的文本化处理，得到所述表格的多个候选描述性文本；将所述多个候选描述性文本中完全覆盖所述表格中文本的候选描述性文本，作为所述表格的描述性文本。

51、在一些实施例中，所述章节为文档的一部分，所述章节中表格的描述性文本通过第一语言模型离线生成；所述装置还包括：

52、离线生成模块，配置为在对描述性文本进行质量评估确定表格的文本化结果后，基于表格的文本化结果替换章节中的表格，离线生成替换后包括章节文本的文本形式的文档；

53、在线处理模块，配置为利用第二语言模型在线对所述文本形式的文档进行处理；其中，所述第一语言模型的规模大于所述第二语言模型的规模。

54、在一些实施例中，所述文档为车辆手册，所述在线处理模块，还配置为利用所述第二语言模型基于在线获取的问题对所述文本形式的车辆手册进行处理，以从所述文本形式的车辆手册中获取所述问题的答案。

55、在一些实施例中，所述第一确定模块，还配置为基于所述章节所属文档的文档格式对应的数据结构，确定所述章节中关联所述表格的文本信息。

56、本公开实施例提供一种电子设备，包括：

57、处理器；

58、用于存储计算机程序或指令的存储器；

59、其中，所述处理器执行所述计算机程序或指令，以实现本公开实施例提供的任一种方法中的步骤。

60、本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序或指令，所述计算机程序或指令被处理器执行时，实现本公开实施例提供的任一种方法中的步骤。

61、本公开实施例提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时，实现本公开实施例提供的任一种方法中的步骤。

62、本公开的实施例提供的技术方案可以包括以下有益效果：

63、本公开实施例，结合章节中关联表格的文本信息对表格进行语义关联的文本化处理，一方面，因章节中关联表格的文本信息能提供更多的语义背景，因此通过该种方式，能提升表格文本化结果的准确性，即提升对表格部分知识提取的准确度，且能将离散的表格信息整合为与章节上下文关联的自然语言；另一方面，因本公开实施例还通过对表格的描述性文本进行质量评估，筛选满足预设质量条件的描述性文本作为表格的文本化结果，通过该种筛选方式，也能进一步提升表格文本化的精度。

64、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。