一种线迹结构先验引导的缝制线迹缺陷检测方法及系统

摘要: 本发明属于工业机器视觉、目标检测与图像分割协同处理,尤其涉及一种线迹结构先验引导的缝制线迹缺陷检测方法及系统。背景技术:1、缝制品的线迹通常呈细长、周期性且方向...
一种线迹结构先验引导的缝制线迹缺陷检测方法及系统

本发明属于工业机器视觉、目标检测与图像分割协同处理,尤其涉及一种线迹结构先验引导的缝制线迹缺陷检测方法及系统。

背景技术:

1、缝制品的线迹通常呈细长、周期性且方向连续的视觉结构。工业相机采集的高分辨率源图像还可能包含布料经纬纹、皮革纹理、褶皱、反光和阴影,不同线迹缺陷在视觉形态及空间结构表征需求方面存在差异。

2、断线缺陷主要表现为连续线迹发生局部中断,其识别依赖断裂间隙、异常端点以及断裂两侧线段的位置、方向和跨区域拓扑关系;浮线缺陷主要表现为缝纫线局部浮起、松弛、弯曲或偏离正常线迹区域,其识别依赖检测框内的距离、方向以及相对于线迹中心线的邻近关系;线团缺陷是局部缝纫线异常聚集、堆积或缠绕而形成团状结构的线迹缺陷,其识别需要较大空间范围内的多尺度稠密线迹上下文。

3、现有线迹缺陷检测可采用灰度投影、边缘提取、直线拟合、针脚距离或模板匹配,也可通过目标检测网络、异常检测网络或语义分割网络识别缺陷。部分方法将单一语义分割热图注入检测网络,或者分别获得目标检测结果和图像分割结果后进行融合。

4、但是,单一分割掩膜难以同时表达线迹中心线概率、邻域支撑、距离、方向、局部连续性、端点、间隙及跨区域拓扑等不同层级的结构信息;对不同缺陷无差别地使用同一种先验,难以匹配其不同的视觉机理。对高分辨率图像进行重叠切片还可能截断跨切片线迹关系并产生重复候选,先验异常时直接叠加先验也可能对基线检测造成不受控扰动。

技术实现思路

1、本发明旨在解决不同缝制线迹缺陷对结构信息层级的需求不同、重叠切片导致跨区域关系缺失及重复检测、先验异常时难以保持检测稳定性的问题,提供一种线迹结构先验引导的缝制线迹缺陷检测方法及系统。

2、为实现上述目的,本发明采用如下技术方案:

3、一种线迹结构先验引导的缝制线迹缺陷检测方法,包括:

4、输入获取与校核步骤:获取待检测缝制品的源图像、图像切片信息和检测配置,并进行输入有效性校核;

5、基线检测步骤:利用基线检测器对图像切片进行检测,得到基线多尺度检测特征、检测查询、类别对数值和检测框;

6、线迹结构先验生成步骤:生成线迹结构先验,所述线迹结构先验包括稠密线迹上下文先验、查询局部几何先验和源图线迹拓扑先验;

7、线迹结构先验引导的多分支检测步骤:将稠密线迹上下文先验通过多尺度有界残差注入至基线多尺度检测特征,得到稠密上下文增强检测输出;将查询局部几何先验与检测查询、检测框和类别对数值拼接并经分类与位置残差校准,得到查询几何校准检测输出;将基于源图线迹拓扑先验得到的拓扑查询特征经拓扑残差校准,得到拓扑校准检测输出;

8、候选组装步骤:从稠密上下文增强检测输出筛选线团缺陷候选,从查询几何校准检测输出筛选浮线缺陷候选,从拓扑校准检测输出筛选断线缺陷候选;

9、候选筛选与归并步骤:对候选依次进行检测框映射、唯一核心区归属、按类别非极大值抑制、受保护候选保留、容量计算、浮线缺陷候选筛选和检测候选合并;

10、检测结果输出与异常处理步骤:输出检测结果和审计信息;在输入校核、先验生成、坐标映射或容量约束异常时,执行异常回退或阻断。

11、进一步的,所述输入有效性校核包括:读取模型与先验配置清单,校核检测模型类别顺序、模型参数摘要、先验通道定义、空间步长、先验张量形状、数值有限性以及图像切片至源图的映射关系;校核未通过时,对能够通过零先验或关闭先验保持基线等价性的路径执行回退,对坐标映射无效而不能保证输出有效性的情形执行阻断。

12、进一步的,所述稠密线迹上下文先验形成七通道先验,包括线迹中心线概率、线迹邻域支撑响应、归一化无符号距离近似、线迹方向二倍角余弦、线迹方向二倍角正弦、线迹中心线概率不确定性和线迹连续性;线迹邻域支撑响应由线迹区域概率与线迹中心线概率经九乘九邻域最大池化得到的中心线邻域响应逐像素取较大值形成;归一化无符号距离近似通过对线迹中心线概率支撑进行预定次数的邻域扩张得到;线迹中心线概率不确定性在中心线概率接近二分之一时取较大响应,在中心线概率接近零或一时取较小响应;线迹方向二倍角表示在线迹方向反转一百八十度时保持不变。

13、进一步的,所述多尺度有界残差注入包括:将七通道稠密线迹上下文先验分别对齐至基线检测器的多个检测特征尺度,并在对应检测特征进入多尺度编码器之前加入零先验中心化的有界残差,形成稠密上下文增强检测输出;当对齐后的稠密线迹上下文先验为零时,增强特征与基线检测特征相同;各尺度的有界残差系数由可学习门控参数经限幅函数确定,且各尺度有界残差系数的绝对值不大于0.20;所述稠密上下文增强检测输出仍包括各缺陷类别的类别对数值和对应检测框。

14、进一步的,所述查询局部几何先验形成五通道先验,包括线迹中心线概率、线迹中心线距离衰减响应、无符号欧氏距离、线迹方向二倍角余弦和线迹方向二倍角正弦;在检测框的中心和四个角点共五个位置分别采样上述五通道,形成二十五维局部几何向量;将局部几何向量与基线检测器输出的检测查询、检测框和三个缺陷类别的类别对数值拼接,分别输入分类校准函数和位置校准函数;各校准函数以真实局部几何响应与零局部几何响应之差形成有界残差;位置残差在逆概率映射坐标中相加后映射回归一化检测框坐标,位置残差的绝对值不大于0.03。

15、进一步的,所述源图线迹拓扑先验的生成包括:将多个图像切片的线迹中心线对数值按窗口权重融合至源图坐标系,经概率映射得到源图线迹中心线概率图;对源图线迹中心线概率图执行滞后连接,先形成低阈值支撑和高阈值支撑,再仅保留与高阈值支撑相连的低阈值连通区域;滞后连接后执行骨架化,并沿骨架生成线迹片段;对不同线迹片段的端点进行距离与方向相容性配对,并依据配对关系将相互连通的线迹片段合并形成连续线迹结构;由配对端点形成间隙事件,由未配对且不位于源图边界附近的端点形成端点事件,由在线迹片段的多个局部物理窗口中计算方向变化形成曲率事件;所述滞后连接的阈值作用于线迹中心线概率,不作用于缺陷类别对数值。

16、进一步的,所述拓扑查询特征包括八维通用特征、六维间隙特征、六维端点特征和六维曲率特征,共二十六维;通过预设特征掩码选取八维通用特征和六维间隙特征共十四维有效输入;在真实先验模式下,所述十四维有效输入经无偏置拓扑残差网络形成原始残差,并由双曲正切函数限幅;在零先验或关闭先验模式下,旁路所述拓扑残差网络而不施加拓扑残差;通过固定类别通道掩码使真实先验模式下的有界残差仅作用于断线缺陷类别对数值,检测框和其他类别对数值保持不变;所述类别对数值残差的绝对值不大于1.0。

17、进一步的,所述候选组装在稠密上下文增强检测输出、查询几何校准检测输出和拓扑校准检测输出形成之后进行;各检测输出均包含三个缺陷类别的类别对数值和对应检测框;根据各检测输出中类别通道的类别预测得分和对应检测框生成候选,并根据候选所属的类别通道确定候选类别;按照预定的缺陷类别与候选来源对应关系,从稠密上下文增强检测输出筛选线团缺陷候选,从查询几何校准检测输出筛选浮线缺陷候选,从拓扑校准检测输出筛选断线缺陷候选;不依据基线检测器的单一预测类别选择唯一的先验引导分支,也不读取待检测图像的真实缺陷类别。

18、进一步的,所述候选筛选与归并中:检测框映射依据图像切片的缩放比例和像素偏移将检测框转换至源图坐标系;唯一核心区归属以检测框中心所在的唯一核心区确定候选归属;按类别非极大值抑制在源图坐标系中按类别分别执行;检测框映射、唯一核心区归属和按类别非极大值抑制按顺序串行执行;最低候选置信度为0.001,非极大值抑制的交并比阈值为0.60;受保护候选保留将完成检测框映射、唯一核心区归属和按类别非极大值抑制后的断线缺陷候选和线团缺陷候选确定为受保护候选;容量计算中,每幅源图像允许输出的候选数量上限预先设定,受保护类别集合由断线缺陷类别和线团缺陷类别构成,浮线缺陷候选的剩余可用数量等于所述候选数量上限减去受保护候选数量后的非负值;浮线缺陷候选筛选按照置信度对浮线缺陷候选进行稳定排序,并选取不超过剩余可用数量的候选;检测候选合并将受保护候选与选中的浮线缺陷候选合并,浮线缺陷候选的加入不删除或替换已经保留的断线缺陷候选和线团缺陷候选,合并后不再执行跨类别统一截断;若受保护候选数量超过候选数量上限,则阻断本次检测候选融合输出并记录异常原因。

19、本发明公开了一种线迹结构先验引导的缝制线迹缺陷检测系统,包括:输入获取模块,用于获取待检测缝制品的源图像、图像切片信息和检测配置;输入有效性校核模块,用于对输入进行有效性校核;基线检测模块,用于对图像切片进行基线检测,得到基线多尺度检测特征、检测查询、类别对数值和检测框;线迹结构先验生成模块,用于生成稠密线迹上下文先验、查询局部几何先验和源图线迹拓扑先验;多分支检测模块,用于将稠密线迹上下文先验通过多尺度有界残差注入至基线多尺度检测特征,得到稠密上下文增强检测输出;将查询局部几何先验与检测查询、检测框和类别对数值拼接并经分类与位置残差校准,得到查询几何校准检测输出;将基于源图线迹拓扑先验得到的拓扑查询特征经拓扑残差校准,得到拓扑校准检测输出;候选组装模块,用于从稠密上下文增强检测输出筛选线团缺陷候选、从查询几何校准检测输出筛选浮线缺陷候选、从拓扑校准检测输出筛选断线缺陷候选;候选筛选与归并模块,用于对候选依次进行检测框映射、唯一核心区归属、按类别非极大值抑制、受保护候选保留、容量计算、浮线缺陷候选筛选和检测候选合并;检测结果输出与审计模块,用于输出检测结果和审计信息;异常回退或阻断模块,用于在输入校核、先验生成、坐标映射或容量约束异常时执行异常回退或阻断。

20、与现有技术相比,本发明具有如下有益效果:不同缺陷能够利用与其视觉机理相匹配的线迹结构信息;三种线迹结构先验分别作用于多尺度检测特征、检测查询的分类与位置以及断线缺陷类别输出;零先验中心化有界残差以及拓扑校准路径的有界残差与旁路控制能够限制先验引导对基线检测的扰动;源图拓扑先验能够利用跨切片的线迹连续关系;将切片候选统一映射至源图坐标系,并执行唯一核心区归属和按类别非极大值抑制,可减少重叠切片带来的重复候选;受保护候选优先保留与容量补充机制可减少不同缺陷类别候选之间的不合理替换;先验异常时能够回到相应基线状态或阻断无效输出。