使用生成式人工智能的针对有害内容的平台内容的自动审查器的制作方法

背景技术：

1、在在线平台和数字社区不断发展的形势下，监管有害内容的挑战已成为一个重大问题。对大多数平台上生成的所有大量电子内容进行人工审查是完全不切实际的。因此，各个行业都实施了内容安全技术，部署自动轻量级分类器来标记潜在有害的内容。然而，一个重大障碍在于在不同用例中对什么构成“有害内容”的不同解释。这种变化性仍然需要在内容被标记后进行额外的人工审查，以尝试使结果与每个平台的特有社区指南或使用条款一致。不幸的是，这种人工审查会带来巨大的成本和延时，限制了内容审核工作的效率。

2、因此，提出了以下技术问题：以针对特定平台或数字社区定制的方式来检测有害内容，同时使后续的人工审查以及相关联的通信延时和其他因素的增加最小化。换言之，需要一种更有效、更精简且更具成本效益的方法来在特定环境或平台中进行内容审核。

技术实现思路

1、在一个一般方面，以下描述提出了一种包括处理器和存储可执行指令的存储器的设备，所述可执行指令当由所述处理器执行时使所述处理器单独地或与其他处理器组合地执行以下功能：接收定义特定平台上的什么内容将作为有害内容而被阻止的用户输入；基于所述用户输入，生成定制提示词模板以提交给生成式人工智能（gai）注释服务，所述定制提示词模板指示所述gai注释服务根据定义特定平台上的什么内容将作为有害内容而被阻止的所述用户输入来标记注释请求内的有害内容；接收注释请求，所述注释请求包括要基于所述用户输入来检查任何有害内容的平台内容；通过将所述平台内容与所述定制提示词模板相结合，生成用于所述gai注释服务的提示词；以及具体地基于定义什么内容是有害内容的所述用户输入，从所述gai注释服务接收所述平台内容中要被阻止的有害内容的标识。

2、在另一个一般方面，以下描述提出了一种阻止来自特定电子社区的平台的平台内容的有害内容的方法。所述方法包括：接收定义特定平台上的什么内容将作为有害内容而被阻止的用户输入；基于所述用户输入，生成定制提示词模板以提交给生成式人工智能（gai）注释服务，所述定制提示词模板指示所述gai注释服务根据定义特定平台上的什么内容将作为有害内容而被阻止的所述用户输入来标记注释请求内的有害内容；接收注释请求，所述注释请求包括要基于所述用户输入来检查任何有害内容的平台内容；通过将所述平台内容与所述定制提示词模板相结合，生成用于gai注释服务的提示词；以及具体地基于定义什么内容是有害内容的所述用户输入，从所述gai注释服务接收所述平台内容中要被阻止的有害内容的标识。

3、在另一个一般方面，以下描述提出了一种用于阻止来自服务于电子社区的平台的有害内容的系统，所述社区具有关于什么构成有害内容的指南，所述系统包括：处理器，其与所述平台通信以接收要被检查有害内容的平台内容；存储器，其存储可执行指令，所述可执行指令当由所述处理器执行时使所述处理器单独地或与其他处理器组合地执行以下功能：基于所述指南生成定制提示词模板以提交给生成式人工智能注释服务，所述定制提示词模板指示所述gai注释服务根据所述指南来标记注释请求内的有害内容；接收注释请求，所述注释请求包括要被检查任何有害内容的平台内容；通过将所述平台内容与所述定制提示词模板相结合，生成用于所述gai注释服务的提示词；以及利用所述提示词，具体地基于定义什么内容是有害内容的所述指南，从所述gai注释服务生成所述平台内容中要被阻止的有害内容的标识。

4、提供本 技术实现要素： 以便以简化的形式对下面在具体实施方式中进一步描述的一组构思进行介绍。本发明内容并不旨在标识要求保护的主题的关键特征或重要特征，也不旨在用于限制要求保护的主题的范围。此外，要求保护的主题不局限于解决本公开内容的任何部分中指出的任何或所有缺点的实现。

1.一种数据处理系统，包括：

2.根据权利要求1所述的数据处理系统，其中，所述定制提示词模板（102）包括有害内容的多个示例。

3.根据权利要求2所述的数据处理系统，其中，所述有害内容的示例由gai（120）基于所述用户输入（101）生成。

4.根据权利要求2所述的数据处理系统，其中，所述有害内容的示例中的每一个是基于标注集合来标注的，每个标注应用于不同类型的有害内容并且具有基于所述用户输入（101）的该类型的有害内容的关联定义。

5.根据权利要求2所述的数据处理系统，其中，gai（120）被调用以将标注集合中的标注与所述示例中的每一个相关联，每个标注应用于不同类型的有害内容并且具有基于所述用户输入（101）的该类型的有害内容的关联定义。

6.根据权利要求5所述的数据处理系统，其中：

7.根据权利要求6所述的数据处理系统，其中，当所述多个模型（161）关于将哪个标注与所述特定示例相关联意见不一致时，与所述特定示例相关联的所述置信度声明指示所述相关联标注的降低的置信度。

8.根据权利要求6所述的数据处理系统，其中，与所述特定示例相关联的标注是基于与所述多个模型（161）中的大多数模型一致的输出而选择的。

9.根据权利要求1-8中任意权利要求所述的数据处理系统，其中，所述定制提示词模板（102）是利用请求，基于所述用户输入（101），通过对gai（120）的调用来生成的，所述请求是关于所述gai（120）根据所述用户输入生成所述定制提示词模板（102）的请求。

10.根据权利要求9所述的数据处理系统，其中，所述用户输入包括对所述平台内容中要被阻止的不同类型的有害内容的描述，对所述gai（120）的所述调用用于生成指示所述gai（120）定义标注集合的所述定制提示词模板（102），每个标注应用于不同类型的有害内容并且具有基于所述用户输入的该类型的有害内容的关联定义。

11.根据权利要求10所述的数据处理系统，其中，所述用户输入（101）仅包括标识所述不同类型的有害内容的关键词。

12.根据权利要求1-11中任意权利要求所述的数据处理系统，其中，所述定制提示词模板（102）包括标注集合，每个标注应用于不同类型的有害内容并且具有基于所述用户输入（101）的该类型的有害内容的关联定义。

13.根据权利要求12所述的数据处理系统，其中，所述有害内容的标识包括所述平台内容的注释（106），所述注释包括将所述标注集合应用于所述平台内容中的相应有害内容。

14.根据权利要求1-13中任意权利要求所述的数据处理系统，还包括：使所述处理器（810）基于所述有害内容的标识来阻止所述平台上的所识别的有害内容的可执行指令。

15.根据权利要求1-14中任意权利要求所述的数据处理系统，其中：

16.根据权利要求1-15中任意权利要求所述的数据处理系统，其中，压缩所述提示词（104）包括：确定所述平台内容中的每个连续单词的概率，以及从所述提示词（104）中删除概率高于阈值的单词。

17.一种从针对特定电子社区的平台的平台内容阻止有害内容的方法，所述方法包括：

18.根据权利要求17所述的方法，还包括：基于所述用户输入并且利用请求（106），利用对gai（120）的调用，生成所述定制提示词模板（102），所述请求（106）是关于所述gai（120）根据所述用户输入生成所述定制提示词模板（102）的请求。

19.一种用于从服务于电子社区的平台阻止有害内容的系统，所述社区具有关于什么构成有害内容的指南，所述系统包括：

20.根据权利要求19所述的系统，还包括：使所述处理器在提交到所述gai注释服务（105）之前压缩所述提示词（104）的可执行指令。