一种基于大语言模型的自然语言数据处理方法和系统与流程

本技术涉及自然语言处理和数据处理，尤其涉及一种基于大语言模型的自然语言数据处理方法和系统。

背景技术：

1、在需要对持续产生的资讯类文本数据进行量化跟踪的应用中，例如对特定主题的资讯数据进行持续监测，现有数据处理方式存在以下技术问题：

2、第一，文本数据量大、更新快，人工逐条筛选效率低，目标主题相关文本与噪声信息混杂，难以快速筛出有效样本。

3、第二，若引入大语言模型对文本进行批量结构化评分，模型输出存在幻觉、格式漂移与输入输出数量错位等不可靠因素。大语言模型（large language model，llm）返回的内容可能在约定格式之外包裹代码块标记、发生json（javascript object notation，javascript对象表示法）截断、输出条数与输入条数不一致，导致下游程序解析失败。而单点解析失败会造成整条自动化数据处理链路中断，系统可用性无法保障。

4、第三，同一时点的多条文本评分方向不一、强度各异，缺乏能够同时兼顾方向对冲与强度非线性影响的确定性自动聚合机制，简单求均值会使少数高强度样本被大量低强度样本淹没。

5、第四，文本事件离散、不定频出现，其单日判断结果难以直接沉淀为等间隔的连续时间序列指标数据。若每个周期基于全量历史数据重新计算，计算与存储开销随历史长度线性增长；样本缺失周期若简单补零，会使指标产生向零收敛的系统性偏差。

6、第五，计算结果缺少统一落库和服务化输出机制，难以被下游数据处理系统稳定调用。

7、因此，需要一种能够在大语言模型输出不完全可靠的前提下，自动、连续、低开销地将文本数据流转换为结构化连续时序指标数据的技术处理方法。

技术实现思路

1、鉴于上述问题，提出了本技术以便提供一种克服上述问题或者至少部分地解决上述问题的基于大语言模型的自然语言数据处理方法和系统。所述技术方案如下：

2、第一方面，提供了一种基于大语言模型的自然语言数据处理方法，所述方法包括：

3、获取指定时间范围内的多条自然语言文本，将多条自然语言文本按照预设批次大小划分为至少一个文本批次；

4、针对每个文本批次，生成该文本批次对应的输出契约化提示词，将输出契约化提示词输入大语言模型，获取大语言模型输出的该文本批次中各条自然语言文本的结构化评分结果，其中，结构化评分结果至少包括倾向评分和相关性评分；

5、对大语言模型返回的结构化评分结果执行容错解析，将解析失败的文本批次确定为失效批次，将失效批次的全部结构化评分结果丢弃，保留解析成功的文本批次对应的结构化评分结果；

6、根据预设相关性阈值，从解析成功的结构化评分结果中筛选出相关性评分大于预设相关性阈值的自然语言文本作为有效样本；

7、对同一统计周期内的全部有效样本的倾向评分执行聚合计算，得到统计周期对应的原始分数；

8、根据原始分数和历史递推状态量，采用增量递推方式更新历史递推状态量，并根据更新后的递推状态量计算时序指标分数，输出时序指标分数。

9、在一种可能的实现方式中，生成该文本批次对应的输出契约化提示词，包括：

10、获取预设提示词模板，其中，预设提示词模板包括角色定义部分、硬性约束声明部分、打分标尺部分、输入输出格式声明部分和教学示例部分；

11、将角色定义部分、硬性约束声明部分、打分标尺部分、输入输出格式声明部分和教学示例部分按照固定顺序拼装，得到初始提示词；

12、获取该文本批次包含的自然语言文本的数量值，将数量值写入初始提示词的硬性约束声明部分，得到输出契约化提示词；

13、其中，硬性约束声明部分至少包括输出格式约束信息和输出数量约束信息，输出数量约束信息用于约束大语言模型输出的结构化评分结果的数量与数量值一致。

14、在一种可能的实现方式中，将多条自然语言文本按照预设批次大小划分为至少一个文本批次之前，所述方法还包括：

15、根据预设主题标签，从指定时间范围内的全部自然语言文本中筛选出目标文本，其中，预设主题标签用于表征自然语言文本所属的主题类别；

16、对目标文本执行去重处理，将去重后的目标文本作为多条自然语言文本。

17、在一种可能的实现方式中，对大语言模型返回的结构化评分结果执行容错解析，包括：

18、对大语言模型返回的原始输出内容执行格式规范化处理，提取原始输出内容中的结构化数据主体；

19、对结构化数据主体执行格式校验；

20、在格式校验通过的情况下，对结构化数据主体执行数据内容校验；

21、在数据内容校验通过的情况下，确定文本批次解析成功。

22、在一种可能的实现方式中，对大语言模型返回的原始输出内容执行格式规范化处理，包括：

23、检测原始输出内容中是否包含预设格式标记；

24、在原始输出内容包含预设格式标记的情况下，从预设格式标记所标识的范围内提取结构化数据主体；

25、在原始输出内容不包含预设格式标记的情况下，将原始输出内容整体确定为结构化数据主体。

26、在一种可能的实现方式中，对结构化数据主体执行数据内容校验，包括：

27、获取文本批次包含的自然语言文本的数量值；

28、解析结构化数据主体，获取结构化数据主体包含的结构化评分结果的数量值；

29、在结构化评分结果的数量值与自然语言文本的数量值一致的情况下，确定数据内容校验通过；

30、在结构化评分结果的数量值与自然语言文本的数量值不一致的情况下，确定数据内容校验失败。

31、在一种可能的实现方式中，对同一统计周期内的全部有效样本的倾向评分执行聚合计算，得到统计周期对应的原始分数，包括：

32、获取统计周期内的全部有效样本的倾向评分，得到评分集合；

33、将评分集合按照评分数值的正负划分为正组和负组，其中，正组包含数值大于或等于零的倾向评分，负组包含数值小于零的倾向评分；

34、对正组和负组执行对称抵消处理，从正组和负组中分别移除方向相反且强度差小于预设抵消阈值的成对倾向评分；

35、对抵消后的正组内的全部倾向评分执行同向叠加处理，得到正组合成分值；

36、对抵消后的负组内的全部倾向评分执行同向叠加处理，得到负组合成分值；

37、根据正组合成分值和负组合成分值，计算统计周期对应的原始分数。

38、在一种可能的实现方式中，对正组和负组执行对称抵消处理，包括：

39、从正组中选取第一评分数值，从负组中选取第二评分数值，第一评分数值与第二评分数值的绝对值之差小于或等于预设抵消阈值；

40、确定第一评分数值在正组中的第一出现频次和第二评分数值在负组中的第二出现频次；

41、将第一出现频次和第二出现频次中的较小值确定为抵消数量；

42、将正组中第一评分数值的出现频次减少抵消数量，并将负组中第二评分数值的出现频次减少抵消数量；

43、重复执行上述选取、确定和减少操作，直至正组和负组中不存在满足绝对值之差小于或等于预设抵消阈值的评分数值对。

44、在一种可能的实现方式中，对抵消后的正组内的全部倾向评分执行同向叠加处理，得到正组合成分值，包括：

45、获取正组内的各评分数值及各评分数值对应的出现频次；

46、按照评分数值的绝对值大小对正组内的各评分数值进行排序；

47、根据排序结果依次将每个评分数值及其对应的出现频次纳入递推合成，维护合成分值和累计权重两个状态变量；

48、遍历结束后将合成分值确定为正组合成分值；

49、对抵消后的负组内的全部倾向评分执行同向叠加处理，得到负组合成分值，包括：

50、获取负组内的各评分数值及各评分数值对应的出现频次；

51、按照评分数值的绝对值大小对负组内的各评分数值进行排序；

52、根据排序结果依次将每个评分数值及其对应的出现频次纳入递推合成，维护合成分值和累计权重两个状态变量；

53、遍历结束后将合成分值确定为负组合成分值。

54、在一种可能的实现方式中，根据正组合成分值和负组合成分值，计算统计周期对应的原始分数，包括：

55、根据预设权重核函数，分别计算正组合成分值对应的第一权重值和负组合成分值对应的第二权重值，预设权重核函数为随自变量绝对值超指数增长的函数；

56、根据正组合成分值、第一权重值、负组合成分值和第二权重值，计算加权平均值，将加权平均值确定为统计周期对应的原始分数。

57、在一种可能的实现方式中，根据原始分数和历史递推状态量，采用增量递推方式更新历史递推状态量，并根据更新后的递推状态量计算时序指标分数，包括：

58、获取前一日对应的历史分子递推值和历史分母递推值；

59、获取预设衰减系数，预设衰减系数为小于1且大于0的常数；

60、根据原始分数、历史分子递推值和预设衰减系数，计算当日分子递推值；

61、根据历史分母递推值和预设衰减系数，计算当日分母递推值；

62、根据当日分子递推值和当日分母递推值，计算时序指标分数。

63、在一种可能的实现方式中，根据原始分数、历史分子递推值和预设衰减系数，计算当日分子递推值，包括：

64、计算预设衰减系数与历史分子递推值的第一乘积，计算第一乘积与原始分数的第一和值，将第一和值确定为当日分子递推值；

65、根据历史分母递推值和预设衰减系数，计算当日分母递推值，包括：

66、计算预设衰减系数与历史分母递推值的第二乘积，计算第二乘积与数值1的第二和值，将第二和值确定为当日分母递推值。

67、在一种可能的实现方式中，所述方法还包括：

68、在统计周期内不存在有效样本的情况下，将历史分子递推值确定为当日分子递推值，并将历史分母递推值确定为当日分母递推值。

69、在一种可能的实现方式中，输出时序指标分数之后，所述方法还包括：

70、根据预设的至少两个分数阈值区间，确定时序指标分数所属的目标分数阈值区间；

71、获取目标分数阈值区间对应的状态标签；

72、输出状态标签。

73、在一种可能的实现方式中，结构化评分结果还包括自然语言文本对应的文本摘要和证据信息，所述方法还包括：

74、从解析成功的结构化评分结果中，获取有效样本对应的目标文本摘要；

75、根据各目标文本摘要，生成统计周期对应的综合摘要；

76、输出综合摘要。

77、第二方面，提供了一种基于大语言模型的自然语言数据处理系统，所述系统包括：

78、获取单元，用于获取指定时间范围内的多条自然语言文本，将多条自然语言文本按照预设批次大小划分为至少一个文本批次；

79、第一处理单元，用于针对每个文本批次，生成该文本批次对应的输出契约化提示词，将输出契约化提示词输入大语言模型，获取大语言模型输出的该文本批次中各条自然语言文本的结构化评分结果，其中，结构化评分结果至少包括倾向评分和相关性评分；

80、第二处理单元，用于对大语言模型返回的结构化评分结果执行容错解析，将解析失败的文本批次确定为失效批次，将失效批次的全部结构化评分结果丢弃，保留解析成功的文本批次对应的结构化评分结果；

81、筛选单元，用于根据预设相关性阈值，从解析成功的结构化评分结果中筛选出相关性评分大于预设相关性阈值的自然语言文本作为有效样本；

82、聚合单元，用于对同一统计周期内的全部有效样本的倾向评分执行聚合计算，得到统计周期对应的原始分数；

83、输出单元，用于根据原始分数和历史递推状态量，采用增量递推方式更新历史递推状态量，并根据更新后的递推状态量计算时序指标分数，输出时序指标分数。

84、借由上述技术方案，本技术提供的基于大语言模型的自然语言数据处理方法和系统，该基于大语言模型的自然语言数据处理方法通过批次化处理、输出契约化提示词约束、多层容错解析与失败批次隔离机制，将大语言模型输出不可靠导致的解析失败影响面限定在单个批次内，单点失效不中断整体链路，提高了自动化数据处理系统的可用性和鲁棒性。同时，通过相关性阈值筛选、同一统计周期聚合以及增量递推生成时序指标，实现了从非结构化文本到结构化连续时序指标数据的自动化、低开销转换。