基于准则感知的图像检测方法、电子设备及存储介质与流程

本申请涉及大模型，特别涉及一种基于准则感知的图像检测方法、电子设备及存储介质。

背景技术：

1、随着人工智能技术的快速发展，基于图像的自动化检测技术应用日益广泛，例如应用于工业产品缺陷检测、医疗影像病灶判断、安防视频异常行为识别等业务场景中。与此同时，大模型技术的进步使得多模态大模型能够同时理解图像内容和文本描述，为视觉检测任务提供了更强的技术支撑。

2、相关技术中，多模态大模型在执行视觉检测任务时，用户只需将待检测的图像或视频输入模型，模型即可直接输出检测结果，例如“合格”或“不合格”、“正常”或“异常”。模型的判断依据主要来源于其预训练阶段从海量数据中学习到的固定知识和判别边界。

3、然而，在实际业务中经常出现这样的情况：检测任务本身没有变化，但判断的严格程度却因应用场景、风险偏好或行业规范的不同而有所差异。例如，同样是工业缺陷检测，高端外观件对轻微划痕“零容忍”，而内部结构件则只关注严重裂纹。相关技术采用固定的判别边界，无法根据业务场景的动态需求调整判断尺度，导致模型在面对需要依据不同标准做出不同结论的临界图像时，难以给出准确的检测结果。

技术实现思路

1、本申请实施例提供了一种基于准则感知的图像检测方法、电子设备及存储介质，能够根据参考支持集感知检测准则，自适应调整判别边界，提高临界图像的检测准确性。

2、根据本申请的第一方面，公开了一种基于准则感知的图像检测方法，所述方法包括：

3、获取待检测任务信息；其中，所述待检测任务信息包括：待检测视觉数据、任务描述信息、以及与待检测任务关联的参考支持集；所述参考支持集包含至少一个参考示例视觉数据和所述参考示例视觉数据对应的检测结果标签；

4、将所述待检测任务信息输入微调多模态大模型，通过所述微调多模态大模型按照所述任务描述信息的指示，感知所述参考支持集所使用的检测准则，并根据所述检测准则对所述待检测视觉数据进行检测，输出检测结果。

5、根据本申请的第二方面，公开了一种电子设备，包括：存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现如第一方面中的基于准则感知的图像检测方法。

6、根据本申请的第三方面，公开了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面中的基于准则感知的图像检测方法。

7、根据本申请的第四方面，公开了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面中的基于准则感知的图像检测方法。

8、本申请实施例中，获取待检测任务信息；其中，待检测任务信息包括：待检测视觉数据、任务描述信息、以及与待检测任务关联的参考支持集；参考支持集包含至少一个参考示例视觉数据和参考示例视觉数据对应的检测结果标签；将待检测任务信息输入微调多模态大模型，通过微调多模态大模型按照任务描述信息的指示，感知参考支持集所使用的检测准则，并根据检测准则对待检测视觉数据进行检测，输出检测结果。

9、可见，本申请实施例中，通过获取包含待检测视觉数据、任务描述信息和参考支持集的检测任务信息，并输入微调多模态大模型进行检测，使得模型能够根据参考支持集感知当前检测准则并自适应调整判别边界，提高临界图像的检测准确性，同时仅需少量参考示例即可实现图像检测，降低了数据标注成本。

1.一种基于准则感知的图像检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述待检测任务为判别类任务；

3.根据权利要求1所述的方法，其特征在于，在不同的检测准则下，同一参考示例视觉数据对应的检测结果标签不同。

4.根据权利要求1所述的方法，其特征在于，所述参考示例视觉数据与所述待检测视觉数据中的检测对象属于同一类别；其中，所述类别用于表示所述检测对象所属的对象类型。

5.根据权利要求4所述的方法，其特征在于，任一所述类别下包含至少一个子类别，所述子类别信息用于表示所述类别下的具体状态类型；

6.根据权利要求1所述的方法，其特征在于，所述通过所述微调多模态大模型感知所述参考支持集所使用的检测准则，包括：

7.根据权利要求1所述的方法，其特征在于，所述微调多模态大模型通过多准则训练方式进行训练得到：

8.根据权利要求7所述的方法，其特征在于，所述构建训练集，包括：

9.根据权利要求7所述的方法，其特征在于，所述方法还包括：

10.一种电子设备，包括：存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现如权利要求1-9任一项所述的基于准则感知的图像检测方法。

11.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如权利要求1-9任一项所述的基于准则感知的图像检测方法。