一种数据处理方法、装置、计算机、存储介质及程序产品与流程

本技术涉及计算机，尤其涉及一种数据处理方法、装置、计算机、存储介质及程序产品。

背景技术：

1、随着人工智能技术的快速发展，大模型在自然语言处理(nlp)、计算机视觉、语音识别等多个领域得到了广泛应用。模型的置信度评估，即确定模型对其预测结果的确信程度，是确保模型可靠性和准确性的关键环节，也是对大模型生成结果可靠性的一种量化评估方式。大模型直接生成文本时，常常会出现幻觉问题(即生成无关结果)或对于模型本身无法回答的问题生成不准确的结果，因此评估大模型生成文本的置信度很有必要。评估置信度有助于用户判断生成文本的可信度，决定是否采用相关内容，也能帮助开发者了解模型性能，发现模型在哪些任务或领域表现不佳，进而改进模型，提升其整体质量和实用性。且对于结果中的一些关键字段，单独给出一个置信度是很有必要的，这能让下游更好地管控请求风险。

2、目前，主要有以下三类置信度评估方法，一是对业务模型输出的对数概率值(logprobs)取均值，得到生成文本的置信度。二是基于p(true)方法评估[其中，p(true)，也就是probability(true)是指一个事件预测为真的概率]，该方法将原始模型的问题和生成文本输入给额外的模型，并询问额外模型原始模式给出的结果有多可信，此时仅允许额外模型输出true；并计算额外模型输出true的对数概率值(logprobs)，以此确定生成文本的置信度。三是基于一致性评估，该方法让模型对同一个问题，同时生成多个结果，然后计算这些结果之间的相似度。相似度越高，表明模型在不同生成过程中保持了较高的一致性，针对生成文本的置信度也就越高。但上述三种方法均是直接对模型的输出进行整体统计，可能会损失部分信息，尤其是在模型自身存在结果偏差时，会导致对模型的结果所确定的置信度的准确性较低。

技术实现思路

1、本技术实施例提供了一种数据处理方法、装置、计算机、存储介质及程序产品，可以得到针对结构化结果的全局置信度数值，和针对结构化结果中一些关键字段(属性值)的局部置信度数值，从而可以更加精确的确定业务模型生成的第一文本结果的可信程度。

2、本技术实施例一方面提供了一种数据处理方法，该方法包括：

3、获取业务模型针对第一业务数据输出的第一文本结果，以及第一文本结果所对应的第一对数概率值序列；第一对数概率值序列包括第一文本结果中每个字符所对应的对数概率值；

4、对第一文本结果进行键值对对齐处理，得到针对第一业务数据的第一结构化结果；第一结构化结果包括n个业务属性，以及n个业务属性分别对应的属性值；n为正整数；

5、从第一对数概率值序列中，获取n个属性值分别对应的第一对数概率值分片，将每个属性值所对应的第一对数概率值分片进行数据整合，得到n个属性值分别对应的第一局部置信度数值；

6、对n个属性值分别对应的第一局部置信度数值进行数据统计，得到针对第一文本结果的第一全局置信度数值；第一局部置信度数值和第一全局置信度数值用于表示在基于第一文本结果进行数据处理时，第一文本结果的可信程度。

7、本技术实施例一方面提供了一种数据处理装置，该装置包括：

8、文本结果获取模块，用于获取业务模型针对第一业务数据输出的第一文本结果，以及第一文本结果所对应的第一对数概率值序列；第一对数概率值序列包括第一文本结果中每个字符所对应的对数概率值；

9、对齐处理模块，用于对第一文本结果进行键值对对齐处理，得到针对第一业务数据的第一结构化结果；第一结构化结果包括n个业务属性，以及n个业务属性分别对应的属性值；n为正整数；

10、局部置信度确定模块，用于从第一对数概率值序列中，获取n个属性值分别对应的第一对数概率值分片，将每个属性值所对应的第一对数概率值分片进行数据整合，得到n个属性值分别对应的第一局部置信度数值；

11、全局置信度确定模块，用于对n个属性值分别对应的第一局部置信度数值进行数据统计，得到针对第一文本结果的第一全局置信度数值；第一局部置信度数值和第一全局置信度数值用于表示在基于第一文本结果进行数据处理时，第一文本结果的可信程度。

12、在一种可能的实现方式中，对齐处理模块用于对第一文本结果进行键值对对齐处理，得到针对第一业务数据的第一结构化结果时，对齐处理模块具体用于执行以下操作：

13、对第一文本结果进行逐个字符解析，得到第一文本结果中的每个字符的字符类型；

14、基于第一文本结果中字符类型为第一符号类型的字符，将第一文本结果拆分为n个字符序列；n个字符序列包括字符序列ck，k为小于或者等于n的正整数；第一符号类型的字符用于区分与不同的业务属性相关联的字符；

15、将字符序列ck中位于字符类型为第二符号类型的字符之前的第一字符，确定为字符序列ck所对应的业务属性，将字符序列ck中位于字符类型为第二符号类型的字符之后的第二字符，确定为字符序列ck所对应的业务属性的属性值；

16、当得到n个字符序列分别对应的业务属性和属性值时，对每个字符序列所对应的业务属性和属性值进行组合，得到针对第一业务数据的第一结构化结果。

17、在一种可能的实现方式中，n个属性值包括属性值ai，i为小于或者等于n的正整数；局部置信度确定模块用于从第一对数概率值序列中，获取n个属性值分别对应的第一对数概率值分片，将每个属性值所对应的第一对数概率值分片进行数据整合，得到n个属性值分别对应的第一局部置信度数值时，局部置信度确定模块具体用于执行以下操作：

18、获取属性值ai所包括的m个字符，将第一对数概率值序列中m个字符分别对应的对数概率值，组成属性值ai所对应的第一对数概率值分片；m为正整数；

19、对属性值ai所对应的第一对数概率值分片中的m个对数概率值进行均值化处理，得到属性值ai所对应的第一局部置信度数值。

20、在一种可能的实现方式中，全局置信度确定模块用于对n个属性值分别对应的第一局部置信度数值进行数据统计，得到针对第一文本结果的第一全局置信度数值时，全局置信度确定模块具体用于执行以下操作：

21、获取n个业务属性分别对应的属性权重；

22、采用n个业务属性分别对应的属性权重，对n个属性值分别对应的第一局部置信度数值进行加权求和，得到针对第一文本结果的第一全局置信度数值。

23、在一种可能的实现方式中，全局置信度确定模块用于获取n个业务属性分别对应的属性权重时，全局置信度确定模块具体用于执行以下操作：

24、将n个业务属性及第一业务数据输入至重要程度检测模型中，通过重要程度检测模型，对n个业务属性分别与第一业务数据之间的关联性进行检测，得到n个业务属性分别对应的属性权重；

25、或者，在重要程度检测模型中，基于第一业务数据对n个业务属性进行重要程度检测，得到每个业务属性的属性重要程度，基于每个业务属性的属性重要程度为每个业务属性分配属性权重。

26、在一种可能的实现方式中，全局置信度确定模块用于获取n个业务属性分别对应的属性权重时，全局置信度确定模块具体用于执行以下操作：

27、获取n个业务属性分别对应的第一属性类别，以及预设类别权重信息；预设类别权重信息包括属性类别，以及属性类别的类别权重；属性类别包括第一属性类别；

28、从预设类别权重信息中，获取n个业务属性分别对应的第一属性类别的类别权重；

29、对n个业务属性分别对应的类别权重进行归一化处理，得到n个业务属性分别对应的属性权重。

30、在一种可能的实现方式中，n个业务属性包括业务属性bi，n个属性值包括属性值ai，属性值ai为业务属性bi对应的属性值，i为小于或者等于n的正整数；全局置信度确定模块用于采用n个业务属性分别对应的属性权重，对n个属性值分别对应的第一局部置信度数值进行加权求和，得到针对第一文本结果的第一全局置信度数值时，全局置信度确定模块具体用于执行以下操作：

31、从第一对数概率值序列中，获取业务属性bi所对应的第二对数概率值分片，对第二对数概率值分片进行数据整合，得到业务属性bi所对应的属性置信度数值；

32、获取第一加权权重和第二加权权重，基于业务属性bi所对应的属性权重和第一加权权重，确定业务属性bi的属性加权权重，基于业务属性bi所对应的属性权重和第二加权权重，确定针对属性值ai的值加权权重；第一加权权重用于表示在同一组业务属性和属性值中，该业务属性的权重占比；第二加权权重用于表示在同一组业务属性和属性值中，该属性值的权重占比；

33、基于业务属性bi的属性加权权重以及属性值ai的值加权权重，对业务属性bi的所对应的属性置信度数值和属性值ai所对应的第一局部置信度数值，进行加权求平均，得到针对属性值ai的加权置信度数值；

34、当得到n个属性值分别对应的加权置信度数值时，将n个加权置信度数值之和确定为针对第一文本结果的第一全局置信度数值。

35、在一种可能的实现方式中，数据处理装置还包括业务处理结果获取模块，业务处理结果获取模块具体用于执行以下操作：

36、若关键属性所对应的第一局部置信度数值小于局部置信度阈值，或者第一全局置信度数值小于全局置信度阈值，则确定针对第一文本结果的置信度异常结果，基于置信度异常结果，生成数据提示文本；关键属性是指n个业务属性中属性权重大于或者等于关键权重阈值的业务属性；数据提示文本用于提示第一业务数据所关联的业务对象，在业务模型中输入更新业务数据；

37、若关键属性所对应的第一局部置信度数值大于或者等于局部置信度阈值，且第一全局置信度数值大于或者等于全局置信度阈值，则基于第一结构化结果获取针对第一业务数据的业务处理结果，输出业务处理结果。

38、在一种可能的实现方式中，第一文本结果为针对第一业务数据的请求结果；业务处理结果获取模块用于基于第一结构化结果获取针对第一业务数据的业务处理结果时，业务处理结果获取模块具体用于执行以下操作：

39、从第一结构化结果中的n个业务属性中，获取第一业务属性所对应的属性值；第一业务属性是指n个业务属性中属性类别为结果属性的业务属性；

40、将第一业务属性所对应的属性值，确定为针对第一业务数据的业务处理结果。

41、在一种可能的实现方式中，第一文本结果是针对第一业务数据进行意图解析的结果；业务处理结果获取模块用于基于第一结构化结果获取针对第一业务数据的业务处理结果时，业务处理结果获取模块具体用于执行以下操作：

42、获取与第一结构化结果相关联的h个媒体数据，获取h个媒体数据分别与第一结构化结果之间的数据关联度；h为正整数；

43、基于h个媒体数据分别与第一结构化结果之间的数据关联度，从h个媒体数据中获取第一结构化结果所对应的关联媒体数据；

44、基于第一业务数据对关联媒体数据进行整合，得到针对第一业务数据的业务处理结果。

45、在一种可能的实现方式中，数据处理装置还包括置信度调整模块，置信度调整模块具体用于执行以下操作：

46、当通过业务模型获取到与第一业务数据相关联的第二业务数据时，对第二业务数据进行解析，生成针对第二业务数据的第二文本结果，以及第二文本结果所对应的第二对数概率值序列；

47、基于第二文本结果和第二对数概率值序列，生成针对第二文本结果的第二全局置信度数值；

48、从第一结构化结果中获取与第二文本结果相关联的关联属性值，基于关联属性值所对应的第一局部置信度数值，对第二全局置信度数值进行调整，得到针对第二文本结果的更新全局置信度数值；n个属性值包括关联属性值。

49、在一种可能的实现方式中，文本结果获取模块用于获取业务模型针对第一业务数据输出的第一文本结果，以及第一文本结果所对应的第一对数概率值序列时，文本结果获取模块具体用于执行以下操作：

50、将第一业务数据及针对第一业务数据的格式提示指令输入业务模型中，通过业务模型对第一业务数据进行文本拆分，得到第一业务数据所对应的词元序列；格式提示指令用于指示业务模型输出具备结构化格式的数据；

51、对词元序列中的每个词元进行编码处理，得到第一业务数据的文本编码特征；

52、采用格式提示指令，指引业务模型对文本编码特征进行文本预测，生成多个字符以及每个字符所对应的对数概率值；

53、将多个字符组成第一文本结果，将每个字符所对应的对数概率值，组成第一文本结果所对应的第一对数概率值序列。

54、本技术实施例一方面提供了一种计算机设备，包括处理器、存储器、输入输出接口；

55、处理器分别与存储器和输入输出接口相连，其中，输入输出接口用于接收数据及输出数据，存储器用于存储计算机程序，处理器用于调用该计算机程序，以使包含该处理器的计算机设备执行本技术实施例一方面中的方法。

56、本技术实施例一方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序适于由处理器加载并执行，以使得具有该处理器的计算机设备执行本技术实施例一方面中的方法。

57、本技术实施例一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本技术实施例一方面中的各种可选方式中提供的方法。换句话说，该计算机指令被处理器执行时实现本技术实施例一方面中的各种可选方式中提供的方法。

58、实施本技术实施例，将具有如下有益效果：

59、在本技术实施例中，获取业务模型针对第一业务数据输出的第一文本结果，以及第一文本结果所对应的第一对数概率值序列；第一对数概率值序列包括第一文本结果中每个字符所对应的对数概率值；对第一文本结果进行键值对对齐处理，得到针对第一业务数据的第一结构化结果；第一结构化结果包括n个业务属性，以及n个业务属性分别对应的属性值；n为正整数；从第一对数概率值序列中，获取n个属性值分别对应的第一对数概率值分片，将每个属性值所对应的第一对数概率值分片进行数据整合，得到n个属性值分别对应的第一局部置信度数值；对n个属性值分别对应的第一局部置信度数值进行数据统计，得到针对第一文本结果的第一全局置信度数值；第一局部置信度数值和第一全局置信度数值用于表示在基于第一文本结果进行数据处理时，第一文本结果的可信程度。通过以上过程，将模型输出的第一文本结果进行对齐处理，得到第一结构化结果，在第一结构化结果基础上，对业务模型的输出进行局部置信度确定以及全局置信度确定，实现了对模型输出结果的结构化解析，这也就使得对模型输出结果的置信度确定，不仅考虑了模型自身的输出结果，也考虑了模型输出结果的结构化信息，从而提高了置信度确定所参考的信息的全面性，提高置信度的准确性。再加上，基于局部置信度数值生成全局置信度数值，使得全局置信度数值充分考虑了业务模型所输出的第一文本结果中的结构化数据组成，实现了对第一文本结果的分属性解析，从而可以通过两种维度(第一局部置信度数值和第一全局置信度数值)的置信度数值，更精确的评估的业务模型输出的第一文本结果的准确性和可用性。