文本异常处理方法、装置、设备、存储介质和产品与流程

本技术涉及文本处理与图像识别，尤其涉及文本异常处理方法、装置、设备、存储介质和产品。

背景技术：

1、在文档数字化、知识库构建及多语言文档翻译流水线中，从原始文档中高质高精地提取文本内容是核心前提。由于真实场景中文档来源复杂多样，文本提取过程极易遇到各类物理及逻辑异常，需要对文本提取过程中的异常进行有效识别。

2、目前主要通过正则表达式或频次识别的方法判断提取的文档是否存在乱码等异常，然而，仅使用正则表达式或频次识别进行提取文本乱码的识别容易将具有含义的字符识别为乱码，或将具有少量正常字符的乱码文本识别为正常，使得文本异常识别的准确率低，而对文本的每一页都调用大语言模型又会产生较大的开销，因此，目前文本提取处理方法无法兼顾文本异常识别的准确率和成本开销。

技术实现思路

1、本技术的主要目的在于提供一种文本异常处理方法、装置、设备、存储介质和产品，旨在解决无法兼顾文本异常识别的准确率和成本开销的技术问题。

2、为实现上述目的，本技术提出一种文本异常处理方法，所述的方法包括：

3、获取待处理文本；

4、将所述待处理文本输入到预设的前置文本处理模型中，基于所述前置文本处理模型，对所述待处理文本进行第一级识别，输出第一识别结果，其中，所述第一识别结果至少包括对应语义文本；

5、从所述语义文本中采样部分文本，并将所述部分文本输入到预设的大语言模型中，通过所述大语言模型对所述部分文本进行第二级识别，以输出对应的目标异常结果。

6、可选的，所述从所述语义文本中采样部分文本的步骤，包括：

7、从所述语义文本中动态采样部分文本。

8、可选的，所述从所述语义文本中动态采样部分文本的步骤，包括：

9、生成所述语义文本不同段落的随机数；

10、根据所述随机数与预设动态采样因子的比较结果，确定是否将相应段落作为被采样的部分文本。

11、可选的，所述根据所述随机数与预设动态采样因子的比较结果，确定是否将相应段落作为被采样的部分文本的步骤，包括：

12、若所述随机数小于所述动态采样因子，则将相应段落作为被采样的部分文本。

13、可选的，所述通过所述大语言模型对所述部分文本进行第二级识别，以输出对应的目标异常结果的步骤，包括：

14、通过所述大语言模型对所述部分文本进行第二级识别，输出第二识别结果；

15、基于所述第二识别结果，反向对所述第一识别结果进行修正，将修正后的第一识别结果作为所述目标异常结果。

16、可选的，所述基于所述第二识别结果，反向对所述第一识别结果进行修正，将修正后的第一识别结果作为所述目标异常结果的步骤包括：

17、基于所述第二识别结果，若确定所述部分文本不是使用预设语种表征，则将第一识别结果修正为非乱码。

18、可选的，所述通过所述大语言模型对所述部分文本进行第二级识别，以输出对应的目标异常结果的步骤，还包括：

19、通过所述大语言模型对所述部分文本进行第二级识别，若所述第二级识别超时或者异常，则将所述第一识别结果作为目标异常结果。

20、可选的，所述通过所述大语言模型对所述部分文本进行第二级识别的步骤包括：

21、基于所述大语言模型和预设约束规则，对所述部分文本进行第二级识别，其中，所述预设约束规则，包括映射乱码处理规则、特殊字符处理规则、局部乱码处理规则和标识处理规则中的至少一项。

22、可选的，所述通过所述大语言模型对所述部分文本进行第二级识别，以输出对应的目标异常结果的步骤之后，还包括：

23、若所述文本异常处理结果为乱码，则确定所述待处理文本对应的文本图像；

24、对所述文本图像进行二次映射重构，得到重构后文本，对所述重构后文本进行后续处理。

25、可选的，所述对所述文本图像进行二次映射重构，得到重构后文本的步骤包括：

26、确定所述文本图像所在页面的缩放因子与旋转角度；

27、根据所述缩放因子与旋转角度，以及所述文本图像的图像边，确定所述文本图像对应文本在页面中的位置。

28、此外，为实现上述目的，本发明还提出一种搜索提示装置，所述搜索提示装置包括：

29、文本获取模块，用于获取待处理文本；

30、第一识别模块，用于将所述待处理文本输入到预设的前置文本处理模型中，基于所述前置文本处理模型，对所述待处理文本进行第一级识别，输出第一识别结果，其中，所述第一识别结果至少包括对应语义文本；

31、第二识别模块，用于从所述语义文本中采样部分文本，并将所述部分文本输入到预设的大语言模型中，通过所述大语言模型对所述部分文本进行第二级识别，以输出对应的目标异常结果。

32、可选的，所述第二识别模块，还用于从所述语义文本中动态采样部分文本。

33、可选的，所述第二识别模块，还用于生成所述语义文本不同段落的随机数；

34、所述第二识别模块，还用于根据所述随机数与预设动态采样因子的比较结果，确定是否将相应段落作为被采样的部分文本。

35、可选的，所述第二识别模块，还用于若所述随机数小于所述动态采样因子，则将相应段落作为被采样的部分文本。

36、可选的，所述第二识别模块，还用于通过所述大语言模型对所述部分文本进行第二级识别，输出第二识别结果；

37、所述第二识别模块，还用于基于所述第二识别结果，反向对所述第一识别结果进行修正，将修正后的第一识别结果作为所述目标异常结果。

38、可选的，所述第二识别模块，还用于基于所述第二识别结果，若确定所述部分文本不是使用预设语种表征，则将第一识别结果修正为非乱码。

39、可选的，所述第二识别模块，还用于通过所述大语言模型对所述部分文本进行第二级识别，若所述第二级识别超时或者异常，则将所述第一识别结果作为目标异常结果。

40、此外，为实现上述目的，本技术还提出一种文本异常处理设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的文本异常处理方法的步骤。

41、此外，为实现上述目的，本技术还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的文本异常处理方法的步骤。

42、此外，为实现上述目的，本技术还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的文本异常处理方法的步骤。

43、本技术提出的一个或多个技术方案，至少具有以下技术效果：

44、本技术对待处理文本进行两级识别，在第一级识别中，本技术识别得到包括语义文本的第一识别结果，并对语义文本采样后输入到大语言模型中，通过大语言模型结合文本的语义进行文本异常的识别。由于本技术在将文本输入到大语言模型之前先进行部分采样，可以避免通过大语言模型处理全部文本，减少文本异常识别的开销。且由于本技术的部分采样是对识别得到的语义文本进行的，使得可以通过大语言模型结合文本的完整语义进行异常识别，避免将具有含义的字符识别为乱码，或将具有少量正常字符的乱码文本识别为正常，从而提升文本异常识别的准确率。因此，本技术可以兼顾文本异常识别的准确率和成本开销。