内容审核方法、电子设备及存储介质与流程

本申请涉及计算机，尤其涉及一种内容审核方法、电子设备及存储介质。

背景技术：

1、随着社交媒体、短视频、直播平台和媒体发布业务的持续发展，网络图片和视频内容的发布规模不断增加。内容审核是保障平台内容安全、降低违规信息传播风险以及维护信息发布秩序的重要环节。对于图像和视频内容而言，审核结果不仅影响异常内容拦截的及时性，也影响后续人工复核、证据留存和平台治理的处理效率。

2、现有图像和视频内容审核通常通过图像识别、人物识别、文字识别、规则匹配等方式实现。对于图片内容，通常先对画面中的对象、人物或文字进行识别，再结合预设类别、人员库或词库进行判断；对于视频内容，通常先从视频中抽取部分图像，再对抽取出的图像分别进行审核。部分现有方案还会将多种识别方式串联使用，以便对不同类型的信息分别进行处理。

3、但是，在实际审核场景中，图像或视频内容往往具有信息类型多、局部目标细、场景关系复杂等特点。现有处理方式在面对同时包含场景语义、特定对象、特定人员和画面文字的复杂内容时，容易出现不同信息之间利用不充分、局部内容和整体场景之间关联不足的情况，导致现有内容审核方法在复杂内容下存在综合审核准确性不足。

技术实现思路

1、本申请实施例提供一种内容审核方法、电子设备及存储介质，用以达到提高审核准确性的效果。

2、第一方面，本申请实施例提供一种内容审核方法，包括：

3、获取待审核内容对应的待审核图像；

4、根据当前生效的审核项配置，确定与所述审核项配置对应的提示语模板，并将所述待审核图像和所述提示语模板输入多模态大模型，得到图文语义审核结果；

5、根据所述图文语义审核结果中的场景信息，更新预训练的对象识别模型的检测参数；

6、根据所述审核项配置，基于更新后的检测参数，采用所述预训练的对象识别模型对所述待审核图像进行对象识别处理，得到对象识别结果；

7、根据所述对象识别结果确定候选目标区域，并将所述候选目标区域输入所述多模态大模型进行语义确认，得到区域语义确认结果；

8、根据所述图文语义审核结果、所述对象识别结果和所述区域语义确认结果，采用与所述审核项配置对应的融合策略，得到所述待审核内容的综合审核结果。

9、第二方面，本申请实施例提供一种内容审核装置，包括：

10、数据获取模块，用于获取待审核内容对应的待审核图像；

11、审核处理模块，用于根据当前生效的审核项配置，确定与所述审核项配置对应的提示语模板，并将所述待审核图像和所述提示语模板输入多模态大模型，得到图文语义审核结果；

12、参数更新模块，用于根据所述图文语义审核结果中的场景信息，更新预训练的对象识别模型的检测参数；

13、对象识别模块，用于根据所述审核项配置，基于更新后的检测参数，采用所述预训练的对象识别模型对所述待审核图像进行对象识别处理，得到对象识别结果；

14、语义确认模块，用于根据所述对象识别结果确定候选目标区域，并将所述候选目标区域输入所述多模态大模型进行语义确认，得到区域语义确认结果；

15、结果输出模块，用于根据所述图文语义审核结果、所述对象识别结果和所述区域语义确认结果，采用与所述审核项配置对应的融合策略，得到所述待审核内容的综合审核结果。

16、第三方面，本申请实施例提供一种电子设备，包括：存储器，处理器；

17、所述存储器存储计算机执行指令；

18、所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如上内容审核方法。

19、第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上内容审核方法。

20、第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现内容审核方法。

21、本申请实施例提供的一种内容审核方法、电子设备及存储介质，通过在对待审核内容进行审核时，先基于待审核图像和当前生效的审核项配置获得图文语义审核结果，使审核过程能够利用待审核图像中的场景信息、文字信息和语义信息；再根据图文语义审核结果中的场景信息更新预训练的对象识别模型的检测参数，使对象识别过程能够结合当前待审核图像的场景状态进行调整；随后基于更新后的检测参数进行对象识别，并根据对象识别结果确定候选目标区域，再利用多模态大模型对候选目标区域进行语义确认，使对象识别得到的局部结果能够结合图像语义进行复核；最后，将图文语义审核结果、对象识别结果和区域语义确认结果按照与审核项配置对应的融合策略进行处理，得到待审核内容的综合审核结果。由此，可以使场景语义信息、局部对象识别信息和区域语义确认信息共同参与审核判断，减少单一处理方式对复杂内容判断不充分的情况，解决现有内容审核方法在复杂内容下综合审核准确性不足的问题。

1.一种内容审核方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据当前生效的审核项配置，确定与所述审核项配置对应的提示语模板，包括：

3.根据权利要求1所述的方法，其特征在于，所述根据所述图文语义审核结果中的场景信息，更新预训练的对象识别模型的检测参数，包括：

4.根据权利要求1所述的方法，其特征在于，所述对象识别结果包括固定实体识别结果、自定义目标匹配结果和重点人物识别结果中的至少一种；

5.根据权利要求1所述的方法，其特征在于，所述根据所述对象识别结果确定候选目标区域，并将所述候选目标区域输入所述多模态大模型进行语义确认，得到区域语义确认结果，包括：

6.根据权利要求4所述的方法，其特征在于，所述审核项类型还包括场景概念类审核项、图像文字类审核项和复合型审核项中的至少一种；

7.根据权利要求1所述的方法，其特征在于，所述待审核内容为待审核视频；

8.根据权利要求7所述的方法，其特征在于，根据各所述连续镜头的镜头长度和镜头内图像内容变化，从各所述连续镜头中提取代表帧，得到候选审核帧集合，包括：

9.根据权利要求2所述的方法，其特征在于，所述当前生效的提示语模板列表的更新，包括：

10.根据权利要求4所述的方法，其特征在于，所述预训练的对象识别模型通过闭环动态训练流程进行更新，所述闭环动态训练包括：

11.一种电子设备，其特征在于，包括：存储器，处理器；

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至10中任一项所述的方法。