审核策略更新方法、装置、设备以及介质与流程

本申请涉及人工智能，尤其涉及一种审核策略更新方法、装置、设备以及介质。

背景技术：

1、现有的通过大语言模型（large language model, llm）驱动的审核智能体（moderation agent）对相关的业务审核内容进行内容审核时，会基于审核策略所指示的审核标准作业程序（sop，standard operating procedure）对业务审核内容进行多步逻辑推理，得到针对业务审核内容的内容审核轨迹。

2、然而，发明人在实践中发现，在业务审核内容的内容审核轨迹中所携带的针对业务审核内容的审核标签为异常标签时（即大语言模型对业务审核内容进行内容审核出现错误），若需要对审核策略进行策略更新，往往会对得到的内容审核轨迹进行整体性的轨迹异常总结，并通过得到的总结结果重新生成一个新的审核标准作业程序，进而通过新的审核标准作业程序对旧的审核标准作业程序进行替换，以实现对审核策略的策略更新。这种审核策略更新方式会导致内容审核轨迹的异常信号扩散到整个审核策略，进而降低对审核策略进行策略更新的有效性，使更新后的审核策略在面对其他业务审核内容时，难以对保证进行内容审核的准确率。因此，如何提高的对审核策略进行策略更新的有效性，进而提高审核模型进行内容审核的准确性，是目前亟待解决的技术问题。

技术实现思路

1、本申请实施例提供一种审核策略更新方法、装置、设备以及介质，可以提高对审核策略进行策略更新的有效性，进而提高审核模型进行内容审核的准确性。

2、本申请实施例一方面提供了一种审核策略更新方法，包括：

3、获取业务审核内容和与业务审核内容相关的异常审核轨迹和至少一个审核技能；异常审核轨迹是指携带异常审核标签、且包含至少一个审核节点的审核轨迹，异常审核标签是审核模型调用至少一个审核技能对业务审核内容进行审核所得到的；至少一个审核技能是指为审核模型所配置的审核策略技能库中的技能；

4、基于业务审核内容、异常审核轨迹和至少一个审核技能，在至少一个审核节点中定位得到与异常审核标签相关的首个可优化的目标审核节点，并输出针对目标审核节点的节点优化描述内容；

5、基于业务审核内容、异常审核轨迹和至少一个审核技能以及目标审核节点，对用于影响目标审核节点的每个审核技能进行权重评估，得到每个审核技能的技能影响权重；

6、基于每个审核技能的技能影响权重和节点优化描述内容，更新审核策略技能库，得到用于重新配置给审核模型的审核策略更新技能库。

7、本申请实施例一方面提供了一种审核策略更新装置，包括：

8、审核轨迹获取模块，用于获取业务审核内容和与业务审核内容相关的异常审核轨迹和至少一个审核技能；异常审核轨迹是指携带异常审核标签、且包含至少一个审核节点的审核轨迹，异常审核标签是审核模型调用至少一个审核技能对业务审核内容进行审核所得到的；至少一个审核技能是指为审核模型所配置的审核策略技能库中的技能；

9、优化节点定位模块，用于基于业务审核内容、异常审核轨迹和至少一个审核技能，在至少一个审核节点中定位得到与异常审核标签相关的首个可优化的目标审核节点，并输出针对目标审核节点的节点优化描述内容；

10、技能权重计算模块，用于基于业务审核内容、异常审核轨迹和至少一个审核技能以及目标审核节点，对用于影响目标审核节点的每个审核技能进行权重评估，得到每个审核技能的技能影响权重；

11、审核策略更新模块，用于基于每个审核技能的技能影响权重和节点优化描述内容，更新审核策略技能库，得到用于重新配置给审核模型的审核策略更新技能库。

12、本申请实施例一方面提供了一种计算机设备，包括存储器和处理器，存储器与处理器相连，存储器用于存储计算机程序，处理器用于调用计算机程序，以使得该计算机设备执行本申请实施例中上述一方面提供的方法。

13、本申请实施例一方面提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序适于由处理器加载并执行，以使得具有处理器的计算机设备执行本申请实施例中上述一方面提供的方法。

14、根据本申请的一个方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行上述一方面提供的方法。

15、本申请实施例可以获取业务审核内容和与业务审核内容相关的异常审核轨迹和至少一个审核技能，这里的异常审核轨迹是指携带异常审核标签、且包含至少一个审核节点的审核轨迹。其中，异常审核标签是审核模型调用至少一个审核技能对业务审核内容进行审核所得到的，而至少一个审核技能是指为审核模型所配置的审核策略技能库中的技能。进一步的，本申请实施例可以基于获取的业务审核内容、异常审核轨迹和至少一个审核技能，在至少一个审核节点中定位得到与异常审核标签相关的首个可优化的目标审核节点，并输出针对目标审核节点的节点优化描述内容。进一步的，可以基于业务审核内容、异常审核轨迹和至少一个审核技能以及目标审核节点，对用于影响目标审核节点的每个审核技能进行权重评估，得到每个审核技能针对目标审核节点的技能影响权重。最后，可以基于得到的每个审核技能的技能影响权重和针对目标审核节点的节点优化描述内容，对审核策略技能库更新，得到用于重新配置给审核模型的审核策略更新技能库。

16、可以理解的是，本申请实施例在对获取的异常审核轨迹进行异常定位，得到异常审核轨迹所包含的至少一个审核节点中的首个可优化的目标审核节点后，可以通过与目标审核节点相关的节点优化描述内容以及每个审核技能分别针对目标审核节点的技能影响权重，对审核策略技能库进行与目标审核节点强相关的技能更新。这可以有效避免将异常审核轨迹的异常信号无差别扩散到审核策略技能库中的所有技能，进而提高对审核策略技能库进行更新的精确性和有效性。进一步的，本申请实施例在将得到的审核策略更新技能库重新配置给审核模型，以实现对审核模型的审核策略的更新时，可以有效提高对审核策略进行策略更新的有效性，进而提高审核模型进行内容审核的准确性。

1.一种审核策略更新方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，在获取业务审核内容和与所述业务审核内容相关的异常审核轨迹和至少一个审核技能之前，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述审核策略技能库包括多个候选技能和所述多个候选技能中每个候选技能分别对应的技能编码向量；一个技能编码向量为通过编码模型对一个候选技能进行向量编码处理所得到的；

4.根据权利要求3所述的方法，其特征在于，所述基于所述至少一个目标候选技能确定与所述业务审核内容相关的至少一个审核技能，包括：

5.根据权利要求2所述的方法，其特征在于，所述由所述审核模型调用所述至少一个审核技能对所述业务审核内容进行内容审核，得到至少一个审核节点，并基于所述至少一个审核节点确定针对所述业务审核内容的内容审核标签，包括：

6.根据权利要求5所述的方法，其特征在于，所述由所述审核模型在基于所述内容审核链路对所述业务审核内容进行内容审核时，输出所述内容审核链路所包含的至少一个审核步骤中的每个审核步骤所对应的审核节点，包括：

7.根据权利要求1所述的方法，其特征在于，所述基于所述业务审核内容、所述异常审核轨迹和所述至少一个审核技能，在所述至少一个审核节点中定位得到与所述异常审核标签相关的首个可优化的目标审核节点，并输出针对所述目标审核节点的节点优化描述内容，包括：

8.根据权利要求1所述的方法，其特征在于，所述基于所述业务审核内容、所述异常审核轨迹和所述至少一个审核技能以及所述目标审核节点，对用于影响所述目标审核节点的每个审核技能进行权重评估，得到所述每个审核技能的技能影响权重，包括：

9.根据权利要求1所述的方法，其特征在于，所述基于所述每个审核技能的技能影响权重和所述节点优化描述内容，更新所述审核策略技能库，得到用于重新配置给所述审核模型的审核策略更新技能库，包括：

10.根据权利要求9所述的方法，其特征在于，所述审核策略技能库包括多个候选技能和所述多个候选技能中每个候选技能分别对应的技能编码向量；一个技能编码向量为通过编码模型对一个候选技能进行向量编码处理所得到的；

11.根据权利要求10所述的方法，其特征在于，所述通过所述审核策略技能库对所述第一更新技能库进行技能库测试，并将测试通过的第一更新技能库确定为用于重新配置给所述审核模型的审核策略更新技能库，包括：

12.根据权利要求11所述的方案，其特征在于，所述测试样本内容包括在多个测试类型下的样本内容；

13.根据权利要求9所述的方法，其特征在于，所述方法还包括：

14.根据权利要求13所述的方法，其特征在于，所述审核策略技能库包括多个候选技能和所述多个候选技能中每个候选技能分别对应的技能编码向量；一个技能编码向量为通过编码模型对一个候选技能进行向量编码处理所得到的；

15.根据权利要求1所述的方法，其特征在于，所述方法还包括：

16.一种审核策略更新装置，其特征在于，所述装置包括：

17.一种计算机设备，其特征在于，包括存储器和处理器；

18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序适于由处理器加载并执行，以使得具有所述处理器的计算机设备执行权利要求1-15任一项所述的方法。

19.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中，所述计算机程序适于由处理器读取并执行，以使得具有所述处理器的计算机设备执行权利要求1-15任一项所述的方法。