文本处理方法、装置、设备、介质及产品与流程

本技术涉及计算机，尤其涉及一种文本处理方法、装置、设备、介质及产品，具体涉及一种文本处理方法、一种文本处理装置、一种计算机设备、一种计算机可读存储介质及一种计算机程序产品。

背景技术：

1、文本优化(例如文本纠错)是自然语言处理(natural language processing，nlp)领域内的一项重要任务，其目标是自动检测和纠正文本中的错误，使其符合语言的规范和标准，从而提高文本的可读性及准确性。

2、目前，往往是通过模型对一段文本进行自动识别，以检测该文本中是否存在错误，进而对实现对该文本的纠错处理，这种文本优化方式的灵活性较差。

技术实现思路

1、本技术提供一种文本处理方法、装置、设备、介质及产品，支持按照用户自定义的优化规则对文本进行优化处理，满足文本优化的灵活性需求及效率。

2、一方面，本技术提供了一种文本处理方法，该方法包括：

3、获取第一文本和第一文本对应的自定义优化规则；

4、根据第一文本和自定义优化规则，生成提示数据，提示数据用于指示按照自定义优化规则对第一文本进行规范性检查；

5、调用文本优化模型根据提示数据，对第一文本进行内容识别处理，以在第一文本中定位目标内容，目标内容是指第一文本中不满足自定义优化规则的规范的文本内容；

6、按照自定义优化规则的规范，调用文本优化模型对第一文本中的目标内容进行优化处理，得到第一文本的优化处理结果。

7、一方面，本技术提供了一种文本处理方法，该方法包括：

8、获取单元，用于获取第一文本和第一文本对应的自定义优化规则；

9、处理单元，用于根据第一文本和自定义优化规则，生成提示数据，提示数据用于指示按照自定义优化规则对第一文本进行规范性检查；

10、处理单元，还用于调用文本优化模型根据提示数据，对第一文本进行内容识别处理，以在第一文本中定位目标内容，目标内容是指第一文本中不满足自定义优化规则的规范的文本内容；

11、处理单元，还用于按照自定义优化规则的规范，调用文本优化模型对第一文本中的目标内容进行优化处理，得到第一文本的优化处理结果。

12、在一种可能的实现方式中，处理单元调用文本优化模型根据提示数据，对第一文本进行内容识别处理，用于执行以下操作：

13、根据提示数据，调用文本优化模型对第一文本进行规则匹配处理，得到规则匹配结果；规则匹配结果包括第一文本中与自定义优化规则相匹配的匹配内容；

14、对匹配内容进行内容识别处理，确定出第一文本中的目标内容。

15、在一种可能的实现方式中，处理单元对匹配内容进行内容识别处理，确定出第一文本中的目标内容，用于执行以下操作：

16、对匹配内容进行内容分析处理；

17、若匹配内容不满足自定义优化规则的规范，则将匹配内容作为第一文本中的目标内容；

18、若匹配内容满足自定义优化规则的规范，则目标内容为空。

19、在一种可能的实现方式中，处理单元根据提示数据，调用文本优化模型对第一文本进行规则匹配处理，得到规则匹配结果，用于执行以下操作：

20、采用关键字匹配方式，调用文本优化模型对自定义优化规则和第一文本进行关键字匹配处理，以从第一文本中确定出与自定义优化规则相匹配的匹配内容；或者，

21、采用语义分析方式，调用文本优化模型对自定义优化规则和第一文本进行语义匹配处理，以从第一文本中确定出与自定义优化规则相匹配的匹配内容。

22、在一种可能的实现方式中，自定义优化规则包括k个优化子规则，k为正整数；处理单元调用文本优化模型根据提示数据，对第一文本进行内容识别处理，用于执行以下操作：

23、基于自定义优化规则所包括的k个优化子规则，调用文本优化模型对第一文本进行规则匹配处理，得到规则匹配结果；规则匹配结果包括至少一个子匹配内容，任一个子匹配内容是指第一文本中与一个优化子规则相匹配的文本内容；

24、基于规则匹配结果中的至少一个子匹配内容，从第一文本中确定出目标内容。

25、在一种可能的实现方式中，k个优化子规则中的任一个表示为优化子规则i，i为正整数且1≤i≤k；处理单元基于自定义优化规则所包括的k个优化子规则，调用文本优化模型对第一文本进行规则匹配处理，得到规则匹配结果，用于执行以下操作：

26、调用文本优化模型对第一文本和优化子规则i进行规则匹配处理，得到与优化子规则i相匹配的第一匹配内容；

27、调用文本优化模型对第一文本和优化子规则i+1进行规则匹配处理，得到与优化子规则i+1相匹配的第二匹配内容；

28、直至i＝k时，将k个优化子规则各自关联的匹配内容组合为规则匹配结果。

29、在一种可能的实现方式中，处理单元还用于执行以下操作：

30、获取k个优化子规则对应的规则优先级，规则优先级用于指示k个优化子规则之间的执行顺序；

31、按照k个优化子规则之间的执行顺序，调用文本优化模型依次对第一文本和每个优化子规则进行规则匹配处理，分别得到每个优化子规则各自关联的匹配内容；

32、其中，规则优先级的确定方式包括：基于各个优化子规则对应的设置时间进行确定、基于各个优化子规则与第一文本所属的目标业务领域之间的相关性进行确定、预设优先级、或随机优先级中任一种。

33、在一种可能的实现方式中，目标内容包括：k个优化子规则各自对应的待优化内容，任一个优化子规则对应的待优化内容是指不符合优化子规则的规范的子匹配内容；处理单元按照自定义优化规则的规范，调用文本优化模型对第一文本中的目标内容进行优化处理，得到第一文本的优化处理结果，用于执行以下操作：

34、按照k个优化子规则各自的规范，调用文本优化模型并行执行，对k个优化子规则各自对应的待优化内容的优化处理，得到第一文本对应的优化处理结果；或者，

35、按照k个优化子规则之间的执行顺序，调用文本优化模型按照每个优化子规则的规范，依次对相应的待优化内容进行优化处理，得到第一文本对应的优化处理结果。

36、在一种可能的实现方式中，提示数据还用于指示文本优化模型的数据输出格式，数据输出格式包括：优化文本字段、模型处理字段、原因分析字段中的至少一种字段；处理单元还用于执行以下操作：

37、在文本优化模型对第一文本中的目标内容进行优化处理的过程中，按照数据输出格式中包括的各个字段，对文本优化模型产生的数据进行组装处理；其中，一个字段对应组装得到一个字段数据；

38、将优化文本字段、模型处理字段、原因分析字段各自对应的字段数据，组合为第一文本的优化处理结果；

39、其中，优化文本字段用于记录第一文本对应优化后的第二文本；模型处理字段用于记录文本优化模型在对第一文本的优化处理过程中产生的模型处理数据；原因分析字段用于记录文本优化模型对第一文本的优化处理过程中对应的优化原因数据。

40、在一种可能的实现方式中，处理单元还用于执行以下操作：

41、获取训练样本，训练样本包括：第一样本文本、第一样本文本对应的第二样本文本、和第一样本文本对应的样本优化规则；

42、根据第一样本文本和样本优化规则，生成样本提示数据，样本提示数据用于指示按照样本优化规则对第一样本文本进行规范性检查；

43、调用大语言模型根据样本提示数据，对第一样本文本进行内容识别处理，以在第一样本文本中定位样本内容，样本内容是指第一样本文本中不满足样本优化规则的规范的文本内容；

44、按照样本优化规则的规范，调用大语言模型对第一样本文本中的样本内容进行优化处理，得到第一样本文本的样本处理结果，样本处理结果包括第一样本文本对应优化后的预测优化文本；

45、基于预测优化文本和第二样本文本之间的差异，对大语言模型进行训练处理，并将训练后的大语言模型作为文本优化模型。

46、在一种可能的实现方式中，处理单元还用于执行以下操作：

47、基于样本优化规则，调用预训练语言模型对第三样本文本进行规则匹配处理，得到样本匹配结果；样本匹配结果包括第三样本文本中与样本优化规则相匹配的样本匹配内容；

48、调用预训练语言模型对第三样本文本中的样本匹配内容进行编辑处理，得到第一样本文本，第一样本文本用于指示不满足样本优化规则的规范；

49、调用预训练语言模型对第一样本文本进行编辑处理，得到第一样本文本对应的第二样本文本；第二样本文本用于指示满足样本优化规则的规范。

50、在一种可能的实现方式中，处理单元基于样本优化规则，调用预训练语言模型对第三样本文本进行规则匹配处理，得到样本匹配结果，用于执行以下操作：

51、采用关键字匹配方式，调用预训练语言模型对样本优化规则和第三样本文本进行关键字匹配处理，以从第三样本文本中确定出与样本优化规则相匹配的样本匹配内容；或者，

52、采用语义分析方式，调用预训练语言模型对样本优化规则和第三样本文本进行语义匹配处理，以从第三样本文本中确定出与样本优化规则相匹配的样本匹配内容。

53、在一种可能的实现方式中，自定义优化规则是基于第一文本所属的业务领域进行自定义设置生成的，业务领域包括：教育领域、医疗领域、科技领域、游戏领域中的任一种；或者，

54、自定义优化规则是通过对第一文本进行内容分析处理生成的，内容分析处理包括：关键内容分析、语义分析、语法分析中的任一种或多种。

55、一方面，本技术实施例提供了一种计算机设备，该计算机设备包括处理器和存储器；该存储器中存储有计算机程序；该计算机程序被处理器执行时，执行上述文本处理方法。

56、一方面，本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时，执行上述文本处理方法。

57、一方面，本技术实施例提供了一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序被处理器执行时，执行上述文本处理方法。

58、本技术实施例中，获取第一文本和第一文本对应的自定义优化规则，并根据第一文本和自定义优化规则生成提示数据，该提示数据用于指示按照自定义优化规则对第一文本进行规范性检查；可见，本技术支持为文本自定义对应的优化规则，那么便能够按照需求为不同的文本自定义不同的优化规则，从而满足对不同文本进行优化处理的灵活性需求。调用文本优化模型根据提示数据，对第一文本进行内容识别处理，以在第一文本中定位目标内容，目标内容是指第一文本中不满足自定义优化规则的规范的文本内容；按照自定义优化规则的规范，调用文本优化模型对第一文本中的目标内容进行优化处理，得到第一文本的优化处理结果。可见，本技术可按照自定义规则的规范，通过模型来对第一文本中不符合规范的文本内容进行优化处理，这样可提高文本处理的效率。