基于业务意图编译与人机质检协同的数据治理方法及系统与流程

本发明涉及数据治理，尤其涉及基于业务意图编译与人机质检协同的数据治理方法及系统。

背景技术：

1、在服务热线、热点分析、能源运维等数据治理场景中，业务人员通常需要根据不断变化的业务需求，制定大量业务规则来对文本数据进行分类、提取、过滤、排序等处理。当前，制定的业务规则通常以自然语言文档或人工配置表单的形式进行记录，业务系统无法直接识别和执行这些业务规则，需要由技术人员将其翻译为代码逻辑或脚本语句，对应的沟通成本较高、处理周期长。

2、与此同时，随着大模型技术的发展，技术人员开始尝试将自然语言规则直接作为提示词输入大模型以驱动数据处理，但自然语言本身具有歧义性，不同规则中的相似表述可能导致模型出现执行偏差。以及，若是业务规则的数量增多或业务需求发生变化，由于缺乏对业务规则的有效维护手段且维护难度较大，大模型对业务规则的理解和执行准确度将急剧下降。此外，现有方案普遍缺乏对模型输出结果的有效核对机制，主要依赖大量重复的人工核验来确保模型输出结果的准确度。

3、可见，如何提升业务规则的解析准确度和执行准确度，同时增强业务规则的管理灵活性与可维护性，是当前数据治理技术中亟待解决的问题。

技术实现思路

1、本发明提供了一种基于业务意图编译与人机质检协同的数据治理方法及系统，能够提升业务规则的解析准确度和执行准确度，同时增强业务规则的管理灵活性与可维护性。

2、本发明第一方面公开了一种基于业务意图编译与人机质检协同的数据治理方法，所述方法包括：

3、根据预构建的逻辑原子库，对业务意图解析结果执行原子配方映射操作和原子组合操作，得到逻辑原子配方；所述业务意图解析结果包括解析自然语言形式的业务规则后得到的待处理业务类别和核心约束信息；所述原子配方映射操作用于将所述业务意图解析结果映射为至少一个目标逻辑原子；所述原子组合操作用于确定不同所述目标逻辑原子的组合关系和组合顺序；

4、根据与所述待处理业务类别匹配的目标模板，对所述逻辑原子配方执行动态编译组装操作，得到目标结构化信息；所述动态编译组装操作用于将所述逻辑原子配方编译为符合预设的大模型处理要求的信息；

5、根据预构建的大模型和所述目标结构化信息，对待处理的样本集执行预标注操作，得到预标注结果；当针对所述预标注结果反馈的目标质检信息表示符合预设质检标准时，记录最新的核心约束信息和/或所述逻辑原子配方；所述最新的核心约束信息用于处理与所述待处理业务类别一致的新业务。

6、作为一种可选的实施方式，在本发明第一方面中，所述根据预构建的逻辑原子库，对业务意图解析结果执行原子配方映射操作和原子组合操作，得到逻辑原子配方，包括：

7、加载预构建的逻辑原子库，所述逻辑原子库包括多种原子；所有所述原子包括情感判断、主题识别、实体提取、条件过滤和优先级排序中的至少一种原子；

8、根据所述逻辑原子库和预设的映射规则，将所述业务意图解析结果包括的所述核心约束信息映射为至少一个目标逻辑原子；所述核心约束信息包括与待处理业务对应的业务主体、触发条件、触发事件中的至少一项；

9、分析所有所述目标逻辑原子的组合关系，并根据所述组合关系，将所有所述目标逻辑原子进行组合，得到多个原子组合；

10、确定所有所述原子组合的组合顺序，并根据所述组合顺序和所有所述原子组合，生成逻辑原子配方。

11、作为一种可选的实施方式，在本发明第一方面中，所述根据与所述待处理业务类别匹配的目标模板，对所述逻辑原子配方执行动态编译组装操作，得到目标结构化信息，包括：

12、确定与待处理业务对应的应用场景及其对应的序列格式；

13、根据所述序列格式，以所述应用场景为第一匹配层级，以所述待处理业务类别为第二匹配层级，对预设的模板库执行逐层级匹配操作，得到目标模板；所述目标模板包括多个标识符，每个所述标识符对应一项待填充信息；

14、将所述逻辑原子配方、确定出的示例信息以及预设的业务边界约束信息分别注入与其各自匹配的所述标识符所对应的填充位置，得到填充结果；

15、对所述填充结果执行语法和拼写校验操作，得到通过校验的目标结构化信息，所述目标结构化信息至少包括提示词文本。

16、作为一种可选的实施方式，在本发明第一方面中，所述根据预构建的大模型和所述目标结构化信息，对待处理的样本集执行预标注操作，得到预标注结果之后，所述方法还包括：

17、根据所述预标注结果和预设的动态阈值，对待处理的样本集执行主动抽样操作，确定待核验样本；所述动态阈值为基于历史核验样本的特征分布信息估计得到的；

18、获取人工核验所述待核验样本后反馈的第一质检信息；

19、当所述第一质检信息表示存在与所述预标注结果不一致的差异样本时，对所述差异样本执行差异归因操作，得到差异归因结果；

20、根据所述差异归因结果，生成针对所述逻辑原子配方和/或所述目标模板的第一优化指令；

21、根据所述第一优化指令，更新所述逻辑原子配方和/或所述目标模板，并基于更新后的所述逻辑原子配方和/或所述目标模板重新执行所述动态编译组装操作和所述预标注操作，直至最新的质检信息表示符合预设质检标准。

22、作为一种可选的实施方式，在本发明第一方面中，所述根据所述预标注结果和预设的动态阈值，对待处理的样本集执行主动抽样操作，确定待核验样本，包括：

23、从历史核验样本中选取与待处理的样本集对应的第一样本，并根据所有所述第一样本构建校验集；每个所述第一样本为所述历史核验样本中与所述样本集的特征分布的相似度高于预设相似度阈值的样本；所述特征分布包括语言学特征、语义特征和上下文特征中的至少一类；

24、根据所有所述第一样本的特征分布以及与所有所述第一样本对应的第二质检信息，按照核回归方法估计初始阈值，并通过预先构建的多层感知机对所述第一样本的所述语言学特征执行编码操作，以及将对应的编码结果和所述初始阈值进行融合校准，得到动态阈值；

25、计算所述校验集中每个第二样本的不确定性得分，所述不确定性得分根据所述预标注结果的信息熵和置信度方差加权确定；

26、按照所有所述不确定性得分从高到低的顺序，从所述校验集中抽取预设比例的第三样本，作为待核验样本，所有所述第三样本至少覆盖多个预定义的样本标签类别。

27、作为一种可选的实施方式，在本发明第一方面中，所述对所述差异样本执行差异归因操作，得到差异归因结果，包括：

28、将所述第一质检信息与所述预标注结果进行逐项比对，得到差异样本；

29、根据预设的失效模式分类策略，对所述差异样本的差异原因进行分类，得到差异归因结果；所述差异归因结果包括实体识别遗漏、条件判断错误、优先级排序偏差中的至少一种；

30、所述根据所述差异归因结果，生成针对所述逻辑原子配方和/或所述目标模板的第一优化指令，包括：

31、定位所述逻辑原子配方中与所述差异归因结果对应的异常逻辑原子和/或所述目标模板中与所述差异归因结果对应的异常标识符；

32、根据预设的优化规则库，生成针对所述异常逻辑原子的参数调整指令和/或针对所述异常标识符的填充内容修正指令，作为第一优化指令。

33、作为一种可选的实施方式，在本发明第一方面中，所述方法还包括：

34、当针对所述预标注结果反馈的目标质检信息表示不符合预设质检标准时，根据所述目标质检信息生成第二优化指令，并根据所述第二优化指令修正目标数据，所述目标数据包括所述核心约束信息，和/或，所述逻辑原子配方，和/或，所述目标模板；

35、在所述目标数据修正完成之后，重新执行目标循环操作，直至确定满足预设的循环终止条件时，停止执行所述目标循环操作；所述循环终止条件包括第一终止条件或第二终止条件；所述目标循环操作包括：业务意图解析操作、基于所述逻辑原子库的所述原子配方映射操作和所述原子组合操作、基于所述目标模板的所述动态编译组装操作、基于所述大模型的所述预标注操作；

36、满足所述第一终止条件为：在所述目标循环操作的累计执行次数达到预设次数阈值之前或者在所述目标循环操作的累计执行次数达到预设次数阈值时，存在任一新的预标注结果符合所述预设质检标准；

37、满足所述第二终止条件为：当所述目标循环操作的累计执行次数达到预设次数阈值时，不存在符合所述预设质检标准的、新生成的预标注结果；

38、以及，当满足所述第一终止条件时，记录符合所述预设质检标准的最新预标注结果；当满足所述第二终止条件时，生成用于表示所述目标数据存在配置异常的告警信息。

39、本发明第二方面公开了一种基于业务意图编译与人机质检协同的数据治理系统，所述系统包括：

40、原子配方处理模块，用于根据预构建的逻辑原子库，对业务意图解析结果执行原子配方映射操作和原子组合操作，得到逻辑原子配方；所述业务意图解析结果包括解析自然语言形式的业务规则后得到的待处理业务类别和核心约束信息；所述原子配方映射操作用于将所述业务意图解析结果映射为至少一个目标逻辑原子；所述原子组合操作用于确定不同所述目标逻辑原子的组合关系和组合顺序；

41、编译组装模块，用于根据与所述待处理业务类别匹配的目标模板，对所述逻辑原子配方执行动态编译组装操作，得到目标结构化信息；所述动态编译组装操作用于将所述逻辑原子配方编译为符合预设的大模型处理要求的信息；

42、标注模块，用于根据预构建的大模型和所述目标结构化信息，对待处理的样本集执行预标注操作，得到预标注结果；

43、记录模块，用于当针对所述预标注结果反馈的目标质检信息表示符合预设质检标准时，记录最新的核心约束信息和/或所述逻辑原子配方；所述最新的核心约束信息用于处理与所述待处理业务类别一致的新业务。

44、作为一种可选的实施方式，在本发明第二方面中，所述原子配方处理模块根据预构建的逻辑原子库，对业务意图解析结果执行原子配方映射操作和原子组合操作，得到逻辑原子配方的方式具体包括：

45、加载预构建的逻辑原子库，所述逻辑原子库包括多种原子；所有所述原子包括情感判断、主题识别、实体提取、条件过滤和优先级排序中的至少一种原子；

46、根据所述逻辑原子库和预设的映射规则，将所述业务意图解析结果包括的所述核心约束信息映射为至少一个目标逻辑原子；所述核心约束信息包括与待处理业务对应的业务主体、触发条件、触发事件中的至少一项；

47、分析所有所述目标逻辑原子的组合关系，并根据所述组合关系，将所有所述目标逻辑原子进行组合，得到多个原子组合；

48、确定所有所述原子组合的组合顺序，并根据所述组合顺序和所有所述原子组合，生成逻辑原子配方。

49、作为一种可选的实施方式，在本发明第二方面中，所述编译组装模块根据与所述待处理业务类别匹配的目标模板，对所述逻辑原子配方执行动态编译组装操作，得到目标结构化信息的方式具体包括：

50、确定与待处理业务对应的应用场景及其对应的序列格式；

51、根据所述序列格式，以所述应用场景为第一匹配层级，以所述待处理业务类别为第二匹配层级，对预设的模板库执行逐层级匹配操作，得到目标模板；所述目标模板包括多个标识符，每个所述标识符对应一项待填充信息；

52、将所述逻辑原子配方、确定出的示例信息以及预设的业务边界约束信息分别注入与其各自匹配的所述标识符所对应的填充位置，得到填充结果；

53、对所述填充结果执行语法和拼写校验操作，得到通过校验的目标结构化信息，所述目标结构化信息至少包括提示词文本。

54、作为一种可选的实施方式，在本发明第二方面中，所述系统还包括：

55、抽检模块，用于在所述标注模块根据预构建的大模型和所述目标结构化信息，对待处理的样本集执行预标注操作，得到预标注结果之后，根据所述预标注结果和预设的动态阈值，对待处理的样本集执行主动抽样操作，确定待核验样本；所述动态阈值为基于历史核验样本的特征分布信息估计得到的；

56、差异归因模块，用于获取人工核验所述待核验样本后反馈的第一质检信息；

57、所述差异归因模块，还用于当所述第一质检信息表示存在与所述预标注结果不一致的差异样本时，对所述差异样本执行差异归因操作，得到差异归因结果；

58、第一修正模块，用于根据所述差异归因结果，生成针对所述逻辑原子配方和/或所述目标模板的第一优化指令；

59、所述第一修正模块，还用于根据所述第一优化指令，更新所述逻辑原子配方和/或所述目标模板，并基于更新后的所述逻辑原子配方和/或所述目标模板重新执行所述动态编译组装操作和所述预标注操作，直至最新的质检信息表示符合预设质检标准。

60、作为一种可选的实施方式，在本发明第二方面中，所述抽检模块根据所述预标注结果和预设的动态阈值，对待处理的样本集执行主动抽样操作，确定待核验样本的方式具体包括：

61、从历史核验样本中选取与待处理的样本集对应的第一样本，并根据所有所述第一样本构建校验集；每个所述第一样本为所述历史核验样本中与所述样本集的特征分布的相似度高于预设相似度阈值的样本；所述特征分布包括语言学特征、语义特征和上下文特征中的至少一类；

62、根据所有所述第一样本的特征分布以及与所有所述第一样本对应的第二质检信息，按照核回归方法估计初始阈值，并通过预先构建的多层感知机对所述第一样本的所述语言学特征执行编码操作，以及将对应的编码结果和所述初始阈值进行融合校准，得到动态阈值；

63、计算所述校验集中每个第二样本的不确定性得分，所述不确定性得分根据所述预标注结果的信息熵和置信度方差加权确定；

64、按照所有所述不确定性得分从高到低的顺序，从所述校验集中抽取预设比例的第三样本，作为待核验样本，所有所述第三样本至少覆盖多个预定义的样本标签类别。

65、作为一种可选的实施方式，在本发明第二方面中，所述差异归因模块对所述差异样本执行差异归因操作，得到差异归因结果的方式具体包括：

66、将所述第一质检信息与所述预标注结果进行逐项比对，得到差异样本；

67、根据预设的失效模式分类策略，对所述差异样本的差异原因进行分类，得到差异归因结果；所述差异归因结果包括实体识别遗漏、条件判断错误、优先级排序偏差中的至少一种；

68、所述根据所述差异归因结果，生成针对所述逻辑原子配方和/或所述目标模板的第一优化指令的方式具体包括：

69、定位所述逻辑原子配方中与所述差异归因结果对应的异常逻辑原子和/或所述目标模板中与所述差异归因结果对应的异常标识符；

70、根据预设的优化规则库，生成针对所述异常逻辑原子的参数调整指令和/或针对所述异常标识符的填充内容修正指令，作为第一优化指令。

71、作为一种可选的实施方式，在本发明第二方面中，所述系统还包括：

72、第二修正模块，用于当针对所述预标注结果反馈的目标质检信息表示不符合预设质检标准时，根据所述目标质检信息生成第二优化指令，并根据所述第二优化指令修正目标数据，所述目标数据包括所述核心约束信息，和/或，所述逻辑原子配方，和/或，所述目标模板；

73、所述第二修正模块，还用于在所述目标数据修正完成之后，重新执行目标循环操作，直至确定满足预设的循环终止条件时，停止执行所述目标循环操作；所述循环终止条件包括第一终止条件或第二终止条件；所述目标循环操作包括：业务意图解析操作、基于所述逻辑原子库的所述原子配方映射操作和所述原子组合操作、基于所述目标模板的所述动态编译组装操作、基于所述大模型的所述预标注操作；

74、满足所述第一终止条件为：在所述目标循环操作的累计执行次数达到预设次数阈值之前或者在所述目标循环操作的累计执行次数达到预设次数阈值时，存在任一新的预标注结果符合所述预设质检标准；

75、满足所述第二终止条件为：当所述目标循环操作的累计执行次数达到预设次数阈值时，不存在符合所述预设质检标准的、新生成的预标注结果；

76、所述记录模块，还用于当满足所述第一终止条件时，记录符合所述预设质检标准的最新预标注结果；

77、告警模块，用于当满足所述第二终止条件时，生成用于表示所述目标数据存在配置异常的告警信息。

78、本发明第三方面公开了一种基于业务意图编译与人机质检协同的数据治理装置，所述装置包括：

79、存储有可执行程序代码的存储器；

80、与所述存储器耦合的处理器；

81、所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面任一所述的基于业务意图编译与人机质检协同的数据治理方法中的部分或全部步骤。

82、本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面任一所述的基于业务意图编译与人机质检协同的数据治理方法中的部分或全部步骤。

83、与现有技术相比，本发明具有以下有益效果：

84、本发明提供了一种基于业务意图编译与人机质检协同的数据治理方法，该方法包括：根据预构建的逻辑原子库，对业务意图解析结果执行原子配方映射操作和原子组合操作，得到逻辑原子配方；业务意图解析结果包括解析自然语言形式的业务规则后得到的待处理业务类别和核心约束信息；原子配方映射操作用于将业务意图解析结果映射为至少一个目标逻辑原子；原子组合操作用于确定不同目标逻辑原子的组合关系和组合顺序；根据与待处理业务类别匹配的目标模板，对逻辑原子配方执行动态编译组装操作，得到目标结构化信息；动态编译组装操作用于将逻辑原子配方编译为符合预设的大模型处理要求的信息；根据预构建的大模型和目标结构化信息，对待处理的样本集执行预标注操作，得到预标注结果；当针对预标注结果反馈的目标质检信息表示符合预设质检标准时，记录最新的核心约束信息和/或逻辑原子配方；最新的核心约束信息用于处理与待处理业务类别一致的新业务。可见，实施本发明，对于经过解析的业务意图解析结果，经由逻辑原子映射与组合操作，生成可计算的标准化逻辑配方表达式，利用了逻辑原子配方表达式可拆分、可复用的特性，提升了业务规则的解析准确度的同时，还能够提升业务规则的管理灵活性与透明度。区别于直接使用自然语言提示词可能带来的歧义与执行偏差，该标准化的逻辑配方表达式为大模型提供了高质量的输入数据，有利于提高大模型处理结构化提示词所得到输出结果的稳定性和准确性。进一步地，还设置了人机质检协同机制，能够将质检反馈信息转化为可记录的优化规则，并自动应用于后续同类业务，有利于提高后续大模型的标注准确率以及进一步提高了业务规则的解析准确度。