面向多模态图像内容检测方法、装置、电子设备及存储介质与流程

摘要: 本技术涉及图像处理,尤其涉及一种面向多模态图像内容检测方法、装置、电子设备及存储介质。背景技术:1、目前工业界主流的网络内容安全治理技术主要基于多模态大模型构建...
面向多模态图像内容检测方法、装置、电子设备及存储介质与流程

本技术涉及图像处理,尤其涉及一种面向多模态图像内容检测方法、装置、电子设备及存储介质。

背景技术:

1、目前工业界主流的网络内容安全治理技术主要基于多模态大模型构建,但在实际应用中仍存在诸多局限性。已有的多模态图像检测技术包括四类:端到端单多模态模型检测方法、简单多模态融合检测方法、单一检索增强检测方法以及规则与模型混合检测方法。

2、在具体执行过程中,端到端单多模态模型检测方法通过单一模型同时处理图像视觉信息和ocr文本信息并直接输出分类结果;简单多模态融合检测方法在此基础上融合人脸检测、图标检测、关键词检测等多个专用模型的输出,通过投票或加权求和生成最终结果;单一检索增强检测方法通过将待检测图像与样本库中的正样本进行相似度比对来辅助检测;规则与模型混合检测方法则先通过关键词规则和图标规则进行初筛,再对疑似样本进行模型分类,最后输出结果。

3、然而,现有技术存在以下问题:第一,黑箱式检测导致证据不可见且不可追溯,无法定位误判和漏判原因,也无法满足监管要求和人工复核需求。第二,单一信息通道召回导致关键证据易遗漏,无法同时覆盖整图视觉特征和局部区域的标识、边缘文字等线索,造成严重漏检。第三,通用大模型适配性差,不了解项目内部分类边界,易产生过度推断和假阳性,且输出格式不稳定。第四,缺乏不确定性处理机制,对边界样本、冲突样本和歧义样本的鲁棒性差,无法有效处理分类边界模糊的问题。

技术实现思路

1、本技术提供了一种面向多模态图像内容检测方法、装置、电子设备及存储介质,以解决现有技术中证据不可见且不可追溯;单一信息通道召回导致关键证据易遗漏;通用大模型适配性差;缺乏不确定性处理机制的问题。

2、第一方面,本技术提供了一种面向多模态图像内容检测方法,包括:

3、对待检测图像进行证据并行召回处理,得到多模态证据;

4、根据所述多模态证据构建提示词,利用所述提示词生成结构化检测结果,其中,所述提示词包括所述多模态证据的证据来源和证据强弱值;

5、调用证据分类器对所述结构化检测结果进行验证,得到验证结果;

6、当所述验证结果表征所述分类结果和所述结构化检测结果一致时,对所述结构化检测结果进行结构化解析,得到所述结构化检测结果的解析结果;

7、对所述结构化检测结果的解析结果进行异常检测处理;

8、在所述解析结果的异常检测结果正常时,输出所述待检测图像的所述结构化检测结果。

9、在一个可能的实施方式中,在所述对待检测图像进行证据并行召回处理,得到多模态证据之前,所述方法还包括:

10、构建训练样本,所述训练样本包括人工标注数据;

11、利用所述训练样本对预设模型进行监督微调处理,得到监督微调处理后的模型和所述训练样本对应的结构化训练结果,其中,所述监督微调处理后的模型按照预设输出格式输出分类结果,同时具备对预设领域主题的分类能力;

12、在所述结构化训练结果符合预设格式时,利用预设样本库中的误判样本、漏判样本和高混淆样本,对所述监督微调处理后的模型进行偏好优化处理,并得到偏好优化处理后的模型;

13、利用预设测试集对所述偏好优化处理后的模型进行推理测试,在准确率大于预设准确率阈值时,得到训练好的模型;

14、利用所述训练样本构建提示词模板,以利用所述提示词模板对所述训练好的模型进行推理约束,得到训练好的模型。

15、在一个可能的实施方式中,所述根据所述多模态证据构建提示词,包括:

16、对所述多模态证据进行一致性判断,根据一致性判断结果设置对应的置信度值;

17、根据所述置信度值确定所述多模态证据的证据强弱值,其中,当所述置信度值大于预设置信度阈值时,触发硬边界规则,将所述多模态证据的证据强弱值设置为预设值;

18、利用所述多模态证据和所述多模态证据的证据强弱值构建提示词。

19、在一个可能的实施方式中,所述方法,还包括:

20、对所述多模态证据中的实体进行歧义识别,得到歧义实体;

21、根据上下文证据约束,对所述歧义实体进行综合判断;

22、根据判断结果,调整所述歧义实体对应的置信度。

23、在一个可能的实施方式中,所述调用证据分类器对所述结构化检测结果进行验证,得到验证结果,包括:

24、对所述多模态证据进行特征提取,得到多模态证据特征;

25、将所述多模态证据特征输入至证据分类器,得到分类结果;

26、将所述分类结果与所述结构化检测结果进行比对,得到验证结果。

27、在一个可能的实施方式中,所述对所述结构化检测结果进行结构化解析,得到所述结构化检测结果的解析结果,包括:

28、检测所述结构化检测结果是否符合预设结构;

29、当所述结构化检测结果符合预设结构时,从所述结构化检测结果中提取预设字段对应的值,得到所述结构化检测结果的解析结果。

30、在一个可能的实施方式中,所述方法,还包括:

31、当所述结构化检测结果不符合预设结构时,标记所述待检测图像,以进行人工复核。

32、第二方面,本技术提供了一种面向多模态图像内容检测装置,包括:

33、召回模块,用于对待检测图像进行证据并行召回处理,得到多模态证据;

34、生成模块,用于根据所述多模态证据构建提示词,利用所述提示词生成结构化检测结果,其中,所述提示词包括所述多模态证据的证据来源和证据强弱值;

35、验证模块,用于调用证据分类器对所述结构化检测结果进行验证,得到验证结果;

36、解析模块,用于当所述验证结果表征所述分类结果和所述结构化检测结果一致时,对所述结构化检测结果进行结构化解析,得到所述结构化检测结果的解析结果;

37、异常检测模块,用于对所述结构化检测结果的解析结果进行异常检测处理;

38、输出模块,用于在所述解析结果的异常检测结果正常时,输出所述待检测图像的所述结构化检测结果。

39、第三方面,本技术提供了一种设备,包括:处理器和存储器,所述处理器用于执行所述存储器中存储的面向多模态图像内容检测程序,以实现第一方面中任一项所述的面向多模态图像内容检测方法。

40、第四方面,本技术提供了一种存储介质,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现第一方面中任一项所述的面向多模态图像内容检测方法。

41、本技术实施例提供的上述技术方案与现有技术相比具有如下优点:本技术实施例提供的该方法,通过对待检测图像进行证据并行召回处理,得到多模态证据;根据所述多模态证据构建提示词,利用所述提示词生成结构化检测结果,其中,所述提示词包括所述多模态证据的证据来源和证据强弱值;调用证据分类器对所述结构化检测结果进行验证,得到验证结果;当所述验证结果表征所述分类结果和所述结构化检测结果一致时,对所述结构化检测结果进行结构化解析,得到所述结构化检测结果的解析结果;对所述结构化检测结果的解析结果进行异常检测处理;在所述解析结果的异常检测结果正常时,输出所述待检测图像的所述结构化检测结果。避免了单一模型直接分类时证据不可见、原因不可追踪的问题,也避免了单一关键词、单一人物或单一视觉风格造成的误判;能够将多模态检测中的不确定性从“模型误差”转化为可计算、可表达、可校正的证据关系,在复杂边界样本中作出更稳健的判断,能够输出可解析结果。