基于智能大模型的工业图像处理识别系统的制作方法

摘要: 本发明涉及图像处理,尤其涉及基于智能大模型的工业图像处理识别系统。背景技术:1、随着制造业智能化水平不断提升,传统图像处理方法在复杂工况下精度低、泛化能力差的问...
基于智能大模型的工业图像处理识别系统的制作方法

本发明涉及图像处理,尤其涉及基于智能大模型的工业图像处理识别系统。

背景技术:

1、随着制造业智能化水平不断提升,传统图像处理方法在复杂工况下精度低、泛化能力差的问题日益凸显;而大模型凭借其强大的特征提取与上下文理解能力,可有效应对多源异构图像数据的实时分析需求,显著提升缺陷识别准确率与产线响应速度。

2、经检索,中国专利号为cn119762891a的发明专利,公开了基于多模态大模型的工业图像异常检测方法,属于工业异常检测领域,本发明为解决多模态大模型进行工业异常检测时存在可扩展性和适应性差、在图像中识别微小异常能力弱的问题。本发明包括步骤1、基于工业异常检测数据集构建知识理解训练任务,步骤2、利用专家引导的图像采样模块预测异常图并提取n个感兴趣区域,将n个感兴趣区域连同输入的原图一起输入视觉编码器中,以提取视觉特征,并输出大语言模型能识别的视觉编码;步骤3、构建视觉语言对齐的工业异常检测指令集;步骤4、利用知识理解训练任务和工业异常检测指令集对多模态大模型进行微调;步骤5、利用训练好的多模态大模型对工业产品进行异常检测。

3、与现有技术相比,该中国专利号为cn119762891a的发明专利能将完成的工业原图输入训练好的多模态大模型内对相应的工业产品进行异常监测,实现缺陷识别和异常判定。

4、但上述方法在实际的使用过程中,通过设置多模态大模型进行全局图像检测,存在全图推理算力不足,背景纹理干扰微小缺陷识别等问题,从而使得图像处理识别结果所对应的准确性不足。

技术实现思路

1、本发明的目的是为了解决现有技术中存在准确性不足的缺点,而提出的基于智能大模型的工业图像处理识别系统。

2、为了实现上述目的,本发明采用了如下技术方案:

3、基于智能大模型的工业图像处理识别系统,包括图像处理平台,所述图像处理平台内设置有数据录入模块、数据监测模块、数据管理模块、数据分析模块、数据处理模块和数据识别模块;

4、数据录入模块,用于录入工业生产数据信息,根据所获得的工艺生产数据信息分别设置相应的加工流程链路和加工流程节点;

5、数据监测模块,用于对加工流程链路内所涉及的各个加工流程节点的加工过程进行视频监测,获取相应时间戳数据所对应的视频帧图像,并对所获得视频帧图像进行监测标记;

6、数据管理模块,用于对加工流程链路内所涉及的各个加工流程节点处所获得的视频帧图像分别进行时序排序,生成相应加工流程节点处的视频帧图像时序序列;

7、数据分析模块,用于根据加工流程链路内各个加工流程节点所对应的视频帧图像序列的变化同步情况设置动静双分支机制,将相应加工流程节点处的视频帧图像时序序列内的视频帧图像分别根据动静双分支机制内的动态分支模型或静态分支模型进行动态目标检测,获取目标检测数据;

8、数据处理模块,用于对相应视频帧图像内所获得的目标检测数据依次进行裁剪处理和扩大处理,获取相应的目标检测区域,对所获得的目标检测区域进行昏暗判断,根据昏暗判断结果对低光照环境下的目标检测区域进行图像增强处理,获取协调目标检测区域;

9、数据识别模块,用于对所获得的协调目标检测区域基于yolo算法进行图像识别,获取相应的工件告警信息。

10、上述技术方案进一步包括:所述数据录入模块录入工业生产数据信息的过程包括:

11、数据录入模块内设置有数据录入单元和数据管理单元;

12、数据录入单元,用于图像处理平台内相关工作人员录入相应的工业生产数据信息,所述工业生产数据信息包括生产流程基础信息、生产流程内容信息、生产流程历史信息和生产流程标准信息;

13、数据管理单元,用于对所录入的工业生产数据信息根据生产流程基础信息分别设置相应的加工流程节点,将其他工业生产数据信息输入相应的加工流程节点进行分析处理,并对各个加工流程节点按照顺序进行排序,设置加工流程链路。

14、进一步的,所述数据监测模块获取相应时间戳数据所对应的视频帧图像的过程包括:

15、数据监测模块内设置有数据监测单元和监测管理单元;

16、数据监测单元内设置有多个生产监测装置,将各个生产监测装置分别与相应的生产流程节点进行匹配,通过相应的生产监测装置对加工流程链路内所涉及的相应加工流程节点处的加工过程进行视频监测,获取相应的视频监测数据和对应的时间戳数据;

17、监测管理单元,用于对相应加工流程节点出的视频监测数据根据对应的时间戳数据进行目标帧检索,获取相应时间戳数据所对应的视频帧图像,并对所获得视频帧图像进行监测标记。

18、进一步的,所述数据管理模块生成相应加工流程节点处的视频帧图像时序序列的过程包括:

19、数据管理模块内设置有数据传输单元和数据管理单元;

20、数据传输单元,用于将各个加工流程节点内所获得监测标记的视频帧图像上传至数据管理单元,由数据管理单元进行管理;

21、数据管理单元,用于将加工流程链路内所涉及的各个加工流程节点分别进行横向排序,根据横向排序结果将加工流程节点内所涉及的时间戳数据分别进行垂直排序,获取相应的单位序列;

22、根据相应视频帧图像所对应的监测标记依次输入至相应的单位序列内,生成相应加工流程节点处垂直排序连接的视频帧图像时序序列。

23、进一步的,所述数据分析模块根据加工流程链路内各个加工流程节点所对应的视频帧图像序列的变化同步情况设置动静双分支机制的过程包括:

24、数据分析模块内设置有分类分析单元和目标分析单元;

25、分类分析单元,用于将生产流程历史信息分别根据所属加工流程链路内相应的加工流程节点处的单位序列,获取历史视频帧图像时序序列;

26、对所获得的历史视频帧图像时序序列分别基于相应的加工流程节点内和相应的加工流程节点之间的变化同步情况进行时序差值计算,获取相应的时序差值数据;

27、根据所获得的时序差值数据设置相应加工流程节点处的动静双分支机制,所述动静双分支机制内根据加工流程节点内的时序差值数据优先设置相应时间标记处的动态分支模型,再根据与该加工流程节点相邻前后的时序差值数据设置相应时间标记处的静态分支模型,并在时间标记处根据历史视频帧图像时序序列的变化情况设置触发约束条件。

28、进一步的,所述获取目标检测数据的过程包括:

29、所述动态分支模型和静态分支模型分别为相应加工流程节点处相应的加工流程内容信息和加工流程历史信息所设置的mog2高斯混合模型分离算法所实现,所述mog2高斯混合模型分离算法在相应的触发约束条件下设置相应的参数更新条件分别与动态分支模型和静态分支模型进行对应;

30、目标分析单元,用于将相应加工流程节点处的视频帧图像时序序列内的视频帧图像依次输入至动静双分支机制内进行目标检测,优先由动态分支模型对相应的视频帧图像进行目标检测,判断是否获取到相应的目标检测数据,若未获取相应的目标检测数据,获取前后加工流程节点处的视频帧图像时序序列的变化情况是否符合触发约束条件,若符合,则通过静态分支模型进行目标检测,获取相应的目标检测数据,反之,则生成异常预警信息。

31、进一步的,所述数据处理模块获取协调目标检测区域的过程包括:

32、数据处理模块内设置有目标处理单元和图像处理单元;

33、目标处理单元,用于获取相应的目标检测数据,所述目标检测数据内包括前景目标数据和背景数据,将目标检测数据内相应的前景目标数据依次进行裁剪处理,获取相应的前景目标区域,将所获得的前景目标区域进行扩大处理,获取相应的目标检测区域;

34、图像处理单元,用于对所获得的目标检测区域进行亮度评估,获取目标检测区域内所包含的n个像素所对应的平均亮度,设置亮度阈值,若平均亮度小于亮度阈值时,则将目标检测区域认定为当前环境属于低光照环境;

35、对低光照环境下的目标检测区域基于tagc算法进行图像增强处理,获取相应的协调目标检测区域。

36、进一步的,所述数据识别模块获取相应的工件告警信息的过程包括:

37、获取相应加工流程节点处所对应的生产流程标准信息和所获得的协调目标检测区域;

38、对各个加工流程节点处所获得的协调目标检测区域根据生产流程标准信息基于yolo算法进行图像识别,判断相应的协调目标检测区域是否存在异常,根据判断结果获取相应加工流程节点处的工件告警信息。

39、本发明具备以下有益效果:

40、1、本发明中通过设置高斯混合模型分离算法构建动态分支模型,通过所构建的动态分支模型对所获得的视频帧图像进行分析处理,为每个像素选择适当数量的高斯分布,更好地适应不同场景的照明变化,判断工业生产过程中的前景目标数据和背景目标数据,从而提高了目标检测过程的准确性。

41、2、本发明中通过对相应加工流程节点内和加工流程节点之间历史视频帧图像时序序列内不同历史视频帧图像的变化同步情况分析处理,获取相应的时序差值数据,根据所获得的时序差值数据设置动静双分支机制内动态分支模型和静态分支模型的触发约束条件,从而能够提高加工流程节点处不满足动态检测的条件下,及时通过静态分支模型进行目标检测,从而避免了单一性通过动态分支模型进行目标检测过程中所造成的检测准确性不足的问题。

42、3、本发明中通过对低光照环境下的视频帧图像采用tagc方法进行图像增强处理,tagc方法能够根据图像亮度自适应调整增益,从而提升暗部细节并增强目标对比度,该方法可以有效提高夜间或弱光环境下目标的可见性,从而提升后续目标检测算法的识别准确率。