一种基于AI视觉的LED大屏异常检测系统的制作方法
本发明涉及led显示设备智能检测,具体涉及一种基于ai视觉的led大屏异常检测系统。
背景技术:
1、随着led显示技术的发展,led大屏被广泛应用于商业展示、会议演示、交通信息发布、舞台演出和公共信息传播等场景。led大屏通常由多个显示箱体和显示模组拼接构成,并包含数量较多的像素区域。在长期运行过程中,受发光器件老化、驱动电路异常、模组连接松动、供电波动、散热不均及控制信号异常等因素影响,led大屏容易出现亮点、暗点、坏点、局部偏色、显示闪烁、模组黑屏、箱体亮度不一致及拼接边界异常。上述异常不仅影响屏体显示质量,还可能进一步扩大为模组或箱体故障,因此需要及时进行检测和定位。
2、现有led大屏检测方式主要包括人工巡检、测试画面检测和基于机器视觉的图像差异检测。人工巡检依赖检测人员观察显示状态,检测效率和一致性容易受到屏体尺寸、观察距离、环境亮度及人员经验影响,难以对大面积屏体进行持续检测。测试画面检测通常需要暂停正常播放内容并切换至纯色图像或标准检测图像,不适用于需要连续运行的led大屏。基于机器视觉的检测方式虽然能够通过摄像设备采集屏体图像,但多数方法直接对采集图像进行亮度、颜色或纹理比较,难以区分动态显示内容变化与屏体自身异常。
3、在led大屏播放视频、动画或实时信息时,连续画面中存在大量内容变化,摄像设备还可能受到环境照度变化、局部反光、观察角度及采集抖动的影响。上述变化在图像中可能呈现为亮度差异、颜色差异或局部结构变化,容易被误识别为屏体异常。与此同时,坏点、模组异常与箱体异常具有不同的空间尺度,仅采用单一尺度特征难以同时兼顾微小像素异常和大范围显示异常。现有异常检测方法通常采用统一特征库进行比较,未充分结合像素区域、显示模组和显示箱体之间的物理层级关系,导致异常定位结果难以准确对应至实际屏体部件。
4、此外,现有检测系统多依据单帧图像作出判断,缺少对连续检测时刻中异常区域持续状态的分析,容易将画面切换、瞬时反光和采集扰动形成的暂态高分区域判定为真实异常。正常特征库和异常判断参数通常在系统部署后保持固定,也难以利用人工复核结果或屏体维护结果进行更新,导致系统在屏体老化、亮度调整和运行环境变化后出现检测性能下降。
5、因此,如何提供一种基于ai视觉的led大屏异常检测系统是本领域技术人员亟需解决的问题。
技术实现思路
1、本发明的一个目的在于提出一种基于ai视觉的led大屏异常检测系统,本发明通过同步采集待显示源画面、屏体显示图像、屏体控制数据和屏体物理布局数据,对待显示源画面与屏体显示图像进行时间匹配、几何配准及光度校正,并分离待显示内容变化、拍摄环境干扰和屏体显示状态变化,形成内容解耦残差图及内容解耦可信度图;进一步按照像素区域、显示模组和显示箱体构建多尺度局部块特征及多层级正常特征记忆库,通过改进的内容解耦多尺度patchcore模型进行结构位置约束、可信度门控、近邻特征检索及跨尺度异常关联,生成多尺度异常分数图;同时结合连续检测时刻中的异常区域关联和持续性判断,确定持续异常区域及其对应的屏体物理位置和异常类型,并基于人工复核结果或屏体维护结果更新正常特征记忆、异常分数阈值和异常持续条件,从而实现led大屏异常的自动检测、准确定位和反馈更新。
2、根据本发明实施例的一种基于ai视觉的led大屏异常检测系统,包括:
3、视觉数据采集模块,采集led大屏的待显示源画面、屏体显示图像、屏体控制数据和屏体物理布局数据,形成视觉检测数据组;
4、图像校准模块,对视觉检测数据组进行时间匹配、几何配准和光度校正,生成配准源图像、校正显示图像、屏体有效显示区域和屏体区域映射图;
5、显示内容解耦模块,分离待显示内容变化、拍摄环境干扰和屏体显示状态变化,生成内容解耦残差图和内容解耦可信度图;
6、多尺度特征构建模块,基于屏体区域映射图提取像素尺度、模组尺度和箱体尺度局部块特征,形成多尺度局部块特征集合;
7、正常特征记忆模块,基于确认正常历史检测数据,按照屏体物理层级和空间位置构建多层级正常特征记忆库;
8、异常检测模块,将多尺度局部块特征集合、内容解耦可信度图和多层级正常特征记忆库输入改进的内容解耦多尺度patchcore模型,生成多尺度异常分数图;
9、时序异常确认模块,确定异常分数阈值和异常持续条件,对连续检测时刻的多尺度异常分数图进行区域关联和持续性判断,生成持续异常区域集合;
10、异常定位与反馈模块,确定持续异常区域对应的屏体物理位置和异常类型,生成led大屏异常检测结果,并反馈确认正常特征及阈值调整结果,形成检测反馈闭环。
11、可选的,所述视觉数据采集模块包括:
12、从led显示控制器或视频处理设备获取待显示源画面,并记录源画面时间标识;
13、通过图像采集设备获取屏体显示图像,并记录采集时间标识;
14、获取显示分辨率、刷新率、亮度设置值、色温设置值和显示同步状态,形成屏体控制数据;
15、获取显示箱体、显示模组和像素区域的物理编号、连接关系及空间坐标,形成屏体物理布局数据;
16、基于源画面时间标识、采集时间标识和显示同步状态完成时间匹配,形成视觉检测数据组。
17、可选的,所述图像校准模块包括:
18、从屏体显示图像中识别led大屏外轮廓、显示箱体边界和显示模组边界,形成屏体有效显示区域;
19、根据屏体有效显示区域与待显示源画面的角点对应关系建立几何变换关系,并生成配准源图像;
20、基于配准源图像与屏体显示图像中对应位置的亮度统计量和色度统计量,确定亮度校正参数和色度校正参数,生成校正显示图像;
21、将屏体物理布局数据投影至校正显示图像,建立图像坐标与显示箱体、显示模组及像素区域的对应关系,生成屏体区域映射图。
22、可选的,所述显示内容解耦模块包括:
23、对连续检测时刻的配准源图像进行帧间差异分析,生成内容变化区域;
24、对连续检测时刻的校正显示图像进行亮度变化、反光移动和图像位移分析,生成拍摄环境干扰区域;
25、分别编码同一检测时刻的配准源图像和校正显示图像,计算对应位置的显示特征差异;
26、基于内容变化区域和拍摄环境干扰区域对显示特征差异进行加权,生成内容解耦残差图;
27、根据内容变化区域、拍摄环境干扰区域和屏体有效显示区域,生成内容解耦可信度图。
28、可选的,所述多尺度特征构建模块包括:
29、基于屏体区域映射图划分像素尺度检测区域、模组尺度检测区域和箱体尺度检测区域;
30、从像素尺度检测区域提取局部亮度响应、局部色度响应和点状显示结构,生成像素尺度局部块特征;
31、从模组尺度检测区域提取行列显示连续性、区域纹理一致性和模组边界响应,生成模组尺度局部块特征;
32、从箱体尺度检测区域提取整体亮度分布、整体色彩分布和箱体拼接连续性,生成箱体尺度局部块特征;
33、将屏体物理层级、物理编号、空间坐标和内容解耦可信度编码至对应局部块特征,形成多尺度局部块特征集合。
34、可选的,所述正常特征记忆模块包括:
35、获取经人工验收记录或屏体维护记录确认的正常历史检测数据,并提取多尺度局部块特征集合;
36、按照像素尺度、模组尺度和箱体尺度进行层级划分,并基于物理编号和空间坐标形成位置特征子集;
37、计算位置特征子集中局部块特征之间的特征距离,并根据其统计分布确定正常距离边界;
38、剔除超出正常距离边界的候选异常特征,并选取覆盖正常特征分布的核心局部块特征;
39、将核心局部块特征分别写入像素级、模组级和箱体级正常特征记忆库,形成多层级正常特征记忆库。
40、可选的,所述异常检测模块包括:
41、将像素尺度、模组尺度和箱体尺度局部块特征分别输入改进的内容解耦多尺度patchcore模型的对应尺度映射分支,生成各尺度映射特征;
42、根据屏体物理层级、物理编号和空间坐标生成结构位置编码,并加入对应尺度映射特征,生成结构位置约束特征;
43、基于内容解耦可信度图对结构位置约束特征进行门控处理,生成可信局部块特征;
44、根据可信局部块特征对应的屏体物理层级和空间位置,在多层级正常特征记忆库中确定特征检索范围;
45、执行近邻特征检索,确定匹配正常特征并计算特征距离;
46、基于像素区域、显示模组和显示箱体之间的物理包含关系,对各尺度特征距离进行跨尺度关联和空间一致性校正,并按照各尺度特征距离对应的内容解耦可信度进行加权处理,生成多尺度异常分数图。
47、可选的,所述时序异常确认模块具体包括:
48、从确认正常历史检测数据中提取正常校准局部块特征,并计算对应的正常异常分数分布;
49、根据正常异常分数分布的统计边界确定异常分数阈值;
50、根据暂态高分区域的连续出现次数、持续时长和图像采集周期,确定异常持续条件;
51、将连续检测时刻的多尺度异常分数图转换至统一屏体物理坐标,并根据异常分数阈值提取候选异常区域;
52、按照物理位置重合关系和区域邻接关系关联候选异常区域,形成候选异常区域序列;
53、结合内容解耦可信度剔除暂态干扰区域,将满足异常持续条件的候选异常区域确定为持续异常区域。
54、可选的,所述异常定位与反馈模块包括:
55、根据屏体区域映射图确定持续异常区域对应的显示箱体编号、显示模组编号和像素区域坐标;
56、从内容解耦残差图和校正显示图像中提取空间尺度、亮度偏差、色度偏差、纹理变化、边界变化和时序变化,形成异常判别特征;
57、基于异常判别特征确定亮点、暗点、坏点、局部偏色、显示闪烁、模组黑屏、箱体亮度不一致或拼接边界异常;
58、根据异常类型、异常面积、异常持续时长和异常分数确定异常等级;
59、生成包含异常类型、异常等级、异常热力图、屏体物理位置和检测时刻的led大屏异常检测结果。
60、可选的,所述异常定位与反馈模块包括:
61、获取经人工复核结果或屏体维护结果确认的检测反馈信息,并划分为正常反馈信息和异常反馈信息;
62、根据正常反馈信息,从对应检测时刻的多尺度局部块特征集合中提取确认正常特征,并按照屏体物理层级和空间位置写入多层级正常特征记忆库;
63、根据异常反馈信息确定实际异常类型、实际异常物理位置和实际异常持续时长,并与对应的led大屏异常检测结果关联;
64、统计误报异常区域和漏报异常区域对应的异常分数及持续时长,生成阈值调整结果和持续条件调整结果;
65、基于阈值调整结果更新异常分数阈值,基于持续条件调整结果更新异常持续条件,并写入时序异常确认模块,使更新后的参数用于后续检测周期的异常区域确认。
66、本发明的有益效果是:基于上述技术方案,本发明通过同时获取待显示源画面和屏体显示图像,并结合屏体控制数据完成时间匹配、几何配准和光度校正,使源画面内容与实际屏体显示状态能够在相同时间和空间基准下进行比较。显示内容解耦模块利用连续配准源图像识别待显示内容变化,并根据连续校正显示图像识别拍摄环境干扰,在此基础上提取与屏体显示状态变化相关的内容解耦残差,有利于降低动态画面、环境亮度变化、局部反光和采集抖动对异常检测结果的影响,避免将正常播放内容的变化直接判定为led大屏故障。
67、本发明依据led大屏的实际拼接结构,将检测区域划分为像素尺度检测区域、模组尺度检测区域和箱体尺度检测区域,分别提取点状显示结构、行列显示连续性、模组边界响应、整体亮度分布及箱体拼接连续性等特征,并将屏体物理层级、物理编号和空间坐标编码至局部块特征中。该方式能够同时保留微小像素异常和较大范围显示异常的特征信息,并使图像中的异常区域与实际显示箱体、显示模组和像素区域形成明确对应,有利于提高亮点、暗点、坏点、模组黑屏、箱体亮度不一致及拼接边界异常的区分和定位能力。
68、本发明采用改进的内容解耦多尺度patchcore模型,对不同屏体物理层级的局部块特征分别进行尺度映射,并基于内容解耦可信度实施门控处理,降低低可信图像区域对近邻匹配结果的干扰。模型根据局部块对应的物理层级和空间位置限定正常特征检索范围,避免不同显示箱体、显示模组或像素区域之间的正常特征发生无约束混合,并通过像素区域、显示模组和显示箱体之间的物理包含关系,对不同尺度的特征距离进行跨尺度关联和空间一致性校正,从而增强异常检测结果与led大屏实际结构之间的一致性。
69、本发明根据经人工验收记录或屏体维护记录确认的正常历史检测数据构建多层级正常特征记忆库,并根据正常局部块特征之间的距离分布确定正常距离边界,能够降低未经确认的异常特征进入正常特征记忆库的可能性。通过从正常特征中选择能够覆盖正常分布的核心局部块特征,可在保留主要正常显示模式的同时减少重复特征,有利于控制正常特征记忆库的规模并提高特征检索效率。
70、此外,本发明对连续检测时刻的多尺度异常分数图进行统一物理坐标转换和候选异常区域关联,通过异常出现次数、持续时长和内容解耦可信度区分持续异常与暂态干扰,能够降低画面切换、瞬时反光及短时采集扰动引起的误报。系统还将人工复核结果或屏体维护结果划分为正常反馈信息和异常反馈信息,并据此更新多层级正常特征记忆库、异常分数阈值及异常持续条件,使检测参数能够随led大屏运行状态和应用环境变化进行调整,形成从图像采集、异常检测、物理定位到反馈更新的闭环检测过程,提高led大屏异常检测的适应性、准确性和工程应用能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com