一种坯布表面断纱与稀密路缺陷的视觉检测方法及系统与流程
本发明涉及图像识别,尤其涉及一种坯布表面断纱与稀密路缺陷的视觉检测方法及系统。
背景技术:
1、目前,纺织车间中对坯布表面断纱与稀密路缺陷的在线检测主要依赖机器视觉系统。车间内同时存在侧窗自然光与顶部led工矿灯,光照强度与色温随天气和时间持续变化,坯布表面经纬密度起伏造成反射特性呈现显著的空间非均匀性。现有技术通常采用单通道灰度相机或普通彩色相机,以固定曝光参数采集图像,并通过全局固定阈值或简单的图像增强(如直方图均衡化、伽马校正、同态滤波)进行光照补偿,再使用边缘检测或纹理滤波器提取缺陷区域。然而,这类处理路径本质上假设光照变化是平缓且可被简单非线性变换补偿的,并未对混合光源的光谱成分与强度变化进行分解与量化,也未建立检测阈值与实时光照状态之间的动态关联。
2、例如,当天气从阴天转为晴天,侧窗入射的自然光强度在短时间内急剧升高且色温显著偏移,同时顶部led工矿灯维持相对稳定的光谱分布,坯布表面因经纬密度变化形成亮区与暗区交错的反射模式。固定曝光参数无法兼顾大幅度的光照动态范围,亮区易信号饱和并丢失织纹细节,暗区则因量化不足而信噪比低下。此时固定检测阈值在亮区将正常的织纹边缘误判为断纱或稀密路缺陷,产生大量虚警,在暗区则无法有效检出真实的缺陷,造成严重漏检。光照波动引起的阈值漂移导致缺陷的召回率与误检率随不同时段剧烈波动,检测稳定性难以满足工业级验布对一致性与可靠性的要求。
3、因此,亟需一种在纺织车间混合光照强度与色温持续变化且坯布表面反射不均的情况下,依然能够在线估计自然光与led光成分并进行光照自适应补偿,联动检测阈值动态调整的方法,使得断纱与稀密路缺陷的检测性能在不同光照条件下保持稳定,从而显著降低因光照波动引起的虚警与漏检交替出现的风险,提高自动验布系统的环境适应性与长周期运行可靠性。
技术实现思路
1、针对上述存在的技术不足,本发明的目的是提出一种坯布表面断纱与稀密路缺陷的视觉检测方法,旨在解决现有技术中固定曝光参数与固定检测阈值无法适应动态光照变化的方法,尤其是在纺织车间混合光照强度与色温持续变化且坯布表面反射不均的条件下,无法解决检测阈值漂移导致亮区虚警、暗区漏检的技术问题。
2、为解决上述技术问题,本发明采用如下技术方案:本发明提供一种坯布表面断纱与稀密路缺陷的视觉检测方法。
3、所述一种坯布表面断纱与稀密路缺陷的视觉检测方法包括:
4、步骤s10:获取连续多帧多光谱坯布图像,采用坯布反射光谱约束的双光源非负分解方式对所述连续多帧多光谱坯布图像进行光源强度分解,输出双光源分解数据;
5、步骤s20:基于所述双光源分解数据,采用照度场拟合和边缘自适应引导滤波执行照明反射分解任务,输出照明反射分解数据;
6、步骤s30:基于所述照明反射分解数据,采用照明残差约束的多尺度自适应阈值方法执行缺陷响应预处理任务,输出缺陷候选区域;
7、步骤s40:基于所述缺陷候选区域,采用浅层前馈神经网络分类器执行缺陷类别判定任务,输出类别标记缺陷候选区域;
8、步骤s50:根据连续多帧的所述类别标记缺陷候选区域进行交并比匹配和时空一致性过滤,输出最终缺陷检测结果,所述最终缺陷检测结果包括最终缺陷类型、最终缺陷坐标和最终置信度。
9、优选地,步骤s10中,获取连续多帧多光谱坯布图像,采用坯布反射光谱约束的双光源非负分解方式对所述连续多帧多光谱坯布图像进行光源强度分解,输出双光源分解数据的步骤,具体包括:
10、步骤s101:利用包含红光通道、绿光通道、蓝光通道和宽带通道的多光谱成像传感器,在自然光和led光源共同照射坯布表面的状态下采集连续多帧多光谱坯布图像,将各帧多光谱坯布图像中的宽带通道图像确定为原始坯布反射图像;获取环境光色温,根据所述环境光色温,采用cie日光模型生成自然光相对光谱分布,其中,和分别为像素横坐标和像素纵坐标,为波长,为环境光色温;
11、步骤s102:依次将各帧多光谱坯布图像作为当前帧,在所述当前帧中选取预先确定的无缺陷标定区域,分别计算所述无缺陷标定区域在红光通道、绿光通道、蓝光通道和宽带通道中的平均响应值,构成测量响应向量;根据预先标定的坯布基准反射光谱、led相对光谱功率分布和第个通道的光谱响应函数,按照下式构建自然光基响应列向量、led光源基响应列向量和坯布基响应矩阵:
12、
13、
14、
15、其中,为所述多光谱成像传感器的响应波长范围,为通道序号;
16、步骤s103:针对所述当前帧,以所述测量响应向量与所述坯布基响应矩阵对应的重构响应向量之间的残差平方和最小为目标,按照下式求解自然光强度系数和led光强度系数:
17、
18、其中,为待求解的自然光强度系数候选值,为待求解的led光强度系数候选值,表示二范数;遍历全部帧,将各帧对应的原始坯布反射图像、环境光色温、自然光强度系数和led光强度系数组合为所述双光源分解数据。
19、优选地,步骤s20中,基于所述双光源分解数据,采用照度场拟合和边缘自适应引导滤波执行照明反射分解任务,输出照明反射分解数据的步骤,具体包括:
20、步骤s201:从所述双光源分解数据中读取各帧对应的原始坯布反射图像、自然光强度系数和led光强度系数;利用预先标定的自然光照度样本拟合自然光照度分布曲面,利用预先标定的led点光源阵列照度样本拟合led照度分布曲面,按照所述自然光强度系数对所述自然光照度分布曲面进行缩放,按照所述led光强度系数对所述led照度分布曲面进行缩放,并将缩放后的自然光照度分布曲面与led照度分布曲面逐像素相加,得到全局照明估计图;
21、步骤s202:将所述原始坯布反射图像与所述全局照明估计图逐像素相除,得到初始反射率图;将所述初始反射率图转换至频域,识别与经纱排列周期对应的经纱基频峰值以及与纬纱排列周期对应的纬纱基频峰值,对所述经纱基频峰值和所述纬纱基频峰值所在的频率邻域进行窄带带阻滤波,并将滤波结果转换至空间域,得到残差边缘图;根据预设基准正则化强度、预设边缘抑制系数和预设边缘敏感度参数,对所述残差边缘图中的像素响应进行高斯饱和映射,生成自适应正则化参数图;
22、步骤s203:以所述原始坯布反射图像作为引导图,以所述全局照明估计图作为待滤波图,并以所述自适应正则化参数图中的像素参数作为对应局部窗口的正则化参数执行引导滤波,得到照度图;将所述原始坯布反射图像与所述照度图逐像素相除,得到反射率图,并将所述全局照明估计图、所述照度图和所述反射率图组合为所述照明反射分解数据。
23、优选地,步骤s202中,对所述残差边缘图中的像素响应进行高斯饱和映射,生成自适应正则化参数图的步骤,具体包括:
24、提取所述残差边缘图中各像素位置的响应幅值,将所述响应幅值确定为对应像素位置的边缘响应强度;
25、在所述边缘响应强度减小时,将对应像素位置的正则化参数调节至接近预设基准正则化强度,以提高无缺陷周期纹理区域内照度变化的平滑程度;
26、在所述边缘响应强度增大时,根据预设边缘敏感度参数增大对应像素位置的正则化参数,并根据预设边缘抑制系数限制所述正则化参数的增大量,以减少断纱缺陷边缘、稀路缺陷边缘和密路缺陷边缘进入所述照度图,使断纱缺陷边缘、稀路缺陷边缘和密路缺陷边缘保留于所述反射率图。
27、优选地,步骤s30中,基于所述照明反射分解数据,采用照明残差约束的多尺度自适应阈值方法执行缺陷响应预处理任务,输出缺陷候选区域的步骤,具体包括:
28、步骤s301:从所述照明反射分解数据中读取反射率图,并将所述反射率图表示为;利用具有多个滤波尺度和多个滤波方向的gabor滤波器组对所述反射率图进行方向滤波,对各方向滤波响应取绝对值,并从不同滤波尺度和不同滤波方向对应的绝对值响应中选取最大响应,得到缺陷强度图;对所述缺陷强度图进行归一化处理,得到取值范围为零至一的归一化缺陷强度图;
29、步骤s302:从所述照明反射分解数据中读取照度图和全局照明估计图,将所述照度图表示为,并将所述全局照明估计图表示为,按照下式计算照明残差图:
30、
31、在以像素位置为中心的预设局部窗口内计算所述照明残差图的局部方差,并利用预先估计的图像传感器暗噪声标准差,按照下式计算归一化照明残差波动量:
32、
33、其中,,所述归一化照明残差波动量为取值范围处于零至一之间的无量纲参数;
34、步骤s303:计算所述缺陷强度图在预设局部窗口内的局部均值和局部标准差;利用预设无量纲阈值调节系数、预设参考标准差和预设无量纲离散度调节指数,按照下式计算自适应阈值:
35、
36、其中,与所述局部标准差的量纲相同且,;将所述缺陷强度图中像素值不小于对应自适应阈值的像素确定为缺陷像素,对空间位置相邻的所述缺陷像素进行连通域聚合,输出所述缺陷候选区域。
37、优选地,步骤s40中,基于所述缺陷候选区域,采用浅层前馈神经网络分类器执行缺陷类别判定任务,输出类别标记缺陷候选区域的步骤,具体包括:
38、步骤s401:分别对各所述缺陷候选区域进行连通域分析,根据各所述缺陷候选区域的轮廓和所述缺陷强度图,提取区域面积、外接矩形长宽比、主轴方向、细长度、区域内缺陷强度均值、区域内最大缺陷强度和区域内缺陷强度标准差,并按照预先确定的特征排列顺序将提取结果组合为候选区域特征向量;
39、步骤s402:对所述候选区域特征向量进行归一化处理,将归一化后的候选区域特征向量输入预先训练的浅层前馈神经网络分类器,得到各所述缺陷候选区域分别属于断纱缺陷、稀路缺陷、密路缺陷和非缺陷区域的类别概率;
40、步骤s403:将数值最大的类别概率对应的类别确定为各所述缺陷候选区域的候选缺陷类别,并将所述数值最大的类别概率确定为分类置信度;剔除候选缺陷类别为非缺陷区域的缺陷候选区域,将其余缺陷候选区域的区域坐标、候选缺陷类别和分类置信度组合为所述类别标记缺陷候选区域。
41、优选地,步骤s50中,根据连续多帧的所述类别标记缺陷候选区域进行交并比匹配和时空一致性过滤,输出最终缺陷检测结果的步骤,具体包括:
42、步骤s501:按照图像采集时序,依次获取连续多帧中各所述类别标记缺陷候选区域的区域坐标、候选缺陷类别和分类置信度,并将属于同一帧的类别标记缺陷候选区域组合为对应的帧级缺陷区域记录;
43、步骤s502:在相邻两帧的所述帧级缺陷区域记录中,分别选取候选缺陷类别相同的类别标记缺陷候选区域,计算所选取的类别标记缺陷候选区域之间的交并比;将交并比不小于预设匹配阈值的两个类别标记缺陷候选区域确定为匹配区域,并按照所述匹配区域在连续多帧之间的对应关系生成缺陷区域匹配链;
44、步骤s503:统计各所述缺陷区域匹配链包含的连续匹配次数,保留连续匹配次数不小于预设稳定次数阈值的缺陷区域匹配链,并剔除连续匹配次数小于预设稳定次数阈值的缺陷区域匹配链;将保留的缺陷区域匹配链对应的候选缺陷类别确定为最终缺陷类型,以所述缺陷区域匹配链内各类别标记缺陷候选区域的分类置信度作为坐标权重,对各类别标记缺陷候选区域的质心坐标进行加权处理,得到最终缺陷坐标,并将所述缺陷区域匹配链内各分类置信度的平均值确定为最终置信度,输出包括所述最终缺陷类型、所述最终缺陷坐标和所述最终置信度的最终缺陷检测结果。
45、本发明还提供一种坯布表面断纱与稀密路缺陷的视觉检测系统,所述视觉检测系统包括:
46、双光源分解模块,用于获取连续多帧多光谱坯布图像,采用坯布反射光谱约束的双光源非负分解方式对所述连续多帧多光谱坯布图像进行光源强度分解,输出双光源分解数据;
47、照明反射分解模块,用于基于所述双光源分解数据,采用照度场拟合和边缘自适应引导滤波执行照明反射分解任务,输出照明反射分解数据;
48、缺陷响应预处理模块,用于基于所述照明反射分解数据,采用照明残差约束的多尺度自适应阈值方法执行缺陷响应预处理任务,输出缺陷候选区域;
49、缺陷类别判定模块,用于基于所述缺陷候选区域,采用浅层前馈神经网络分类器执行缺陷类别判定任务,输出类别标记缺陷候选区域;
50、时空一致性过滤模块,用于根据连续多帧的所述类别标记缺陷候选区域进行交并比匹配和时空一致性过滤,输出最终缺陷检测结果,所述最终缺陷检测结果包括最终缺陷类型、最终缺陷坐标和最终置信度。
51、本发明还提供一种坯布表面断纱与稀密路缺陷的视觉检测设备,所述坯布表面断纱与稀密路缺陷的视觉检测设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的坯布表面断纱与稀密路缺陷的视觉检测程序,所述坯布表面断纱与稀密路缺陷的视觉检测程序被所述处理器执行时实现上述方法。
52、本发明还提供一种计算机程序产品,所述计算机程序产品包括坯布表面断纱与稀密路缺陷的视觉检测程序,所述坯布表面断纱与稀密路缺陷的视觉检测程序被处理器执行时实现上述方法。
53、本发明的有益效果在于:
54、本发明通过多光谱成像获取不同通道的坯布响应,并结合环境光色温、坯布基准反射光谱和光源光谱特性,对自然光与led光源的强度贡献进行非负分解,使照明估计能够随混合光源比例及色温变化同步更新。相较于根据单通道亮度或固定光源比例进行补偿的方式,可减少布种反射差异、自然光色偏及led光衰被错误解释为缺陷响应的情况,为后续照明反射分解提供来源明确的双光源分解数据。
55、本发明通过照度场拟合、周期织纹频率抑制和边缘自适应引导滤波,将缓慢变化的照明分量与断纱、稀路和密路形成的异常结构分离,并利用缺陷强度、照明残差波动及局部离散程度共同调节像素阈值。由此能够在削弱规则经纬织纹和残余光照干扰的同时保留缺陷边缘,使高亮区域中的背景纹理不易形成虚警,暗区内对比度较低但方向结构连续的缺陷仍可进入候选区域,降低亮区虚警与暗区漏检交替出现的风险。
56、本发明通过浅层前馈神经网络联合分析候选区域的面积、长宽比、主轴方向、细长度及强度统计特征,区分断纱、稀路、密路和非缺陷区域;再依据连续帧中同类区域的交并比建立匹配链,并以连续匹配次数过滤瞬态响应,以分类置信度加权确定最终坐标。该处理可减少飞花、瞬时反光、传感器噪声及机械振动造成的单帧误报,同时抑制候选框抖动,使最终输出的缺陷类型、空间坐标和置信度具有较好的时空一致性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com