识别和解决对生成式人工智能的滥用的制作方法

背景技术：

1、生成式人工智能（gai）已经展示出基于由用户提交的提示词来创建文本和图像这两者内容的非凡能力。然而，随着人工智能的不断发展，对其潜在误用和生成有害内容的担忧日益突出。大型语言模型（llm）（诸如生成式预训练的变换器（gpt））由于其跨各种领域产生类人文本的能力而受到关注。尽管这些模型在如自然语言理解、翻译和内容生成等任务中提供了显著的益处，但是人们越来越担心其被误用以用于生成有害或者不道德的内容。从传播错误信息和宣传到制作恶意叙事，或者甚至生成深度虚假文本，对llm的误用带来了多方面的挑战，其超出了单纯的技术问题。

2、主要挑战之一在于llm的所有者和开发者在防止误用其技术方面的道德责任。作为这些强大工具的创造者和保管者，他们面临着在创新与防范潜在危害之间取得平衡的艰巨任务。实施有效的保障和控制以减轻误用而不扼杀llm的有益应用是一项复杂的技术问题。

技术实现思路

1、在一个通用方面中，以下描述提出了一种数据处理系统，其包括处理器以及存储可执行指令的存储器，所述可执行指令当由所述处理器运行时，使得所述处理器单独地或者与其他处理器组合地执行以下功能：接收由生成式人工智能（gai）响应于用户请求而生成的内容；生成包括所述内容的提示词，所述提示词指示基于gai的审查者使用有害内容的示例集合来识别所述内容内的有害内容，其中，所述基于gai的审查者通过访问外部资源为所述示例集合动态地生成新的示例；以及基于来自所述基于gai的审查者的输出来识别滥用所述gai以产生有害内容的用户。

2、在另一通用方面中，以下描述提供了一种防止滥用生成式人工智能（gai）生成由所述gai的操作者定义的有害内容的方法。所述方法包括：接收由所述生成式人工智能（gai）响应于用户请求而生成的内容；生成包括所述内容的提示词，所述提示词指示基于gai的审查者使用有害内容的示例集合来识别所述内容内的有害内容，其中，所述基于gai的审查者通过访问外部资源为所述示例集合动态地生成新的示例；以及基于来自所述基于gai的审查者的输出来识别滥用所述gai以产生有害内容的用户。

3、在另一通用方面中，以下描述提供了一种针对有害内容而监视生成式人工智能（gai）的输出的数据处理系统，包括：基于gai的审查者；提示词生成器，其用于接收由所述gai响应于用户请求而输出的内容，并且生成包括所述内容的提示词，其中，所述提示词指示所述基于gai的审查者使用有害内容的示例集合来识别所述内容内的有害内容；所述基于gai的审查者与互联网搜索引擎的接口，其中，所述基于gai的审查者基于使用来自所述内容的数据和所述互联网搜索引擎进行的搜索的搜索结果为所述示例集合动态地生成新的示例；以及用户核心分级器（ranker），其用于基于来自所述基于gai的审查者的输出来识别滥用所述gai以产生有害内容的用户。

4、提供本概要是为了以简化的形式引入概念的选择，这些概念将在下文的详细描述中进一步描述。本概要不是为了识别所要求保护的主题的关键特征或基本特征，也不是为了用于限制所要求保护的主题的范围。此外，所要求保护的主题并不限于解决在本公开的任何部分中所提到的任何或所有缺点的实现方式。

1.一种数据处理系统（100），包括：

2.根据权利要求1所述的数据处理系统（100），其中，所述外部资源包括互联网，并且所述基于gai的审查者（107）利用互联网搜索引擎（140）基于根据其生成有害内容的所述新的示例的所述内容来查找相关数据。

3.根据权利要求2所述的数据处理系统（100），其中，所述基于gai的审查者（107）利用来自所述内容的关键字、用所述搜索引擎（140）进行搜索，并且使用与所述内容的语义相似性来识别由所述搜索引擎（140）返回的、要在生成所述新的示例的过程中包括的数据。

4.根据权利要求3所述的数据处理系统（100），还包括相关性计分器（131），其用于对由所述搜索引擎（140）返回的、用于生成所述新的示例的数据进行计分，其中，由所述搜索引擎（140）返回的、相关性分数超过阈值的数据被用于生成所述新的示例。

5.根据权利要求1-4中的任一项所述的数据处理系统（100），其中，所述示例集合包括从所述gai的操作者接收的有害内容的示例，所述gai的所述操作者能够提交有害内容的额外示例以改进或者更新所述基于gai的审查者（107）的性能。

6.根据权利要求1-5中的任一项所述的数据处理系统（100），其中，所述提示词包括来自所述示例集合的示例，以指导所述基于gai的审查者（107）。

7.根据权利要求1-6中的任一项所述的数据处理系统（100），其中，所述gai是大型语言模型（llm）（104），并且所述基于gai的审查者（107）是基于llm（104）的审查者（127）。

8.根据权利要求1-7中的任一项所述的数据处理系统（100），其中，来自所述基于gai的审查者（107）的输出被输入到用户（101）核心分级器（114），所述用户核心分级器根据使用所述gai生成有害内容对所述gai的用户进行分级。

9.根据权利要求1-8中的任一项所述的数据处理系统（100），其中，所述用户（101）核心分级器（114）考虑所有以下项来确定用户（101）的分级：与所述用户（101）相关联的所述内容、用户（101）简档以及与所述gai的用户（101）行为的记录。

10.根据权利要求1-9中的任一项所述的数据处理系统（100），还包括业务采样器（110），其用于减少来自被提交给所述基于gai的审查者（107）的所述gai的内容量。

11.根据权利要求10所述的数据处理系统（100），还包括配置管理器（118），所述配置管理器（118）配置所述业务采样器（110）以增加对与关联于识别出的有害内容的特定用户（101）相关联的内容的采样。

12.根据权利要求1-11中的任一项所述的数据处理系统（100），还包括指令（816），所述指令使得所述处理器限制或者阻止与识别出的有害内容相关联的用户（101）对所述gai的访问。

13.根据权利要求1-12中的任一项所述的数据处理系统（100），还包括配置管理器（118），所述配置管理器（118）用于接收来自所述gai的操作者的输入，所述输入识别所述基于gai的审查者（107）应当在所述内容中识别或忽略的有害内容的类别。

14.一种防止滥用生成式人工智能（gai）来生成由所述gai的操作者定义的有害内容的方法，所述方法包括：

15.根据权利要求14所述的方法，其中，所述外部资源包括互联网，并且所述方法还包括使用互联网搜索引擎（140）基于所述内容来查找所述互联网上的相关数据，然后所述相关数据被用于生成有害内容的所述新的示例。

16.根据权利要求15所述的方法，还包括：

17.根据权利要求16所述的方法，还包括对由所述搜索引擎（140）返回的所述数据与所述内容的相关性进行计分，其中，由所述搜索引擎（140）返回的、相关性分数超过阈值的数据被用于生成所述新的示例。

18.根据权利要求14-17中的任一项所述的方法，还包括从gai的操作者接收有害内容的额外示例，以改进或者更新所述基于gai的审查者（107）的性能。

19.一种用于针对有害内容来监视生成式人工智能（gai）的输出的数据处理系统（100），所述系统（100）包括：

20.根据权利要求19所述的数据处理系统（100），其中，所述基于gai的审查者（107）利用来自所述内容的关键字、用所述搜索引擎（140）进行搜索，并且使用与所述内容的语义相似性来识别由所述搜索引擎（140）返回的、要在生成所述新的示例的过程中包括的数据。