一种用于灯检的灵芝胶囊缺陷识别方法与流程
本发明涉及灵芝胶囊检测,尤其涉及一种用于灯检的灵芝胶囊缺陷识别方法。
背景技术:
1、灵芝胶囊通常采用明胶空心胶囊作为内容物的容器,明胶空心胶囊一般为半透明状的圆筒状,由于灵芝孢子粉等内容物多为棕褐色粉末,会与半透明的胶囊形成较强的明暗反差,因此在生产过程中普遍采用灯检方法对制作而成的胶囊进行缺陷检测,在led强光源照射下,可以更加显眼的发现胶囊表面的微观缺陷,或者内容物含量不足等缺陷,但是,随着市场需求量的不断增多,传统使用人工进行灯检的方式难以满足生产线上大批量生产的需求,一方面是由于人工灯检的效率较低,另一方面在检查的过程中,由于灯检台上一次性放置的胶囊数量较多或者员工疏忽等原因,导致员工检查时有时会出现遗漏,使缺陷未检出,导致出现部分市场反馈,因此引入了图像识别技术以提高灯检质量,即在强光源照射下,通过工业相机采集胶囊图像,再通过图像处理算法进行缺陷识别与分类。
2、然而,在实际验证过程中发现难以直接使用现有的缺陷识别模型,由于胶囊的中间区域为圆柱形,两端近似为半球状,在单一角度或单一方向的照明条件下,光源发出的入射光线与胶囊曲面各点的法线方向之间存在连续变化的空间夹角。根据兰伯特余弦定律(lambert‘s cosine law),对于明胶胶囊这类漫反射且半透明的材质,成像时传感器接收到的表面辐射亮度近似与入射角的余弦成正比。因此,胶囊部分区域的曲面法线与光线方向之间的夹角较小,反射和透射的光通量相对集中,在图像上极易形成局部过曝,即灰度值饱和的现象;还有部分区域的曲面法线与照明光线方向之间的夹角较大,反射光通量较弱,在图像上则易于形成局部欠曝。从而使得胶囊曲面上光照分布不均,当微小缺陷(如尺寸较小的小气泡、宽度较窄的微裂纹、浅表凹痕和内容物缺失等)恰好位于胶囊过曝区域或欠曝区域时,缺陷的灰度对比度被光照不均所淹没,过曝区域的饱和像素使缺陷边缘信息完全丢失,欠曝区域的低灰度值使缺陷与背景难以区分,最终导致缺陷难以检出。
技术实现思路
1、针对现有技术的不足,本发明提供了一种用于灯检的灵芝胶囊缺陷识别方法,解决了现有胶囊在灯检的过程中,胶囊成像时部分区域可能会出现过曝或欠曝,导致位于此区域的缺陷难以检出的技术问题。
2、为解决上述技术问题,本发明提供了如下技术方案:一种用于灯检的灵芝胶囊缺陷识别方法,包括以下步骤:
3、s1、获取待检测灵芝胶囊的三维几何参数并构建其空间参数方程,以计算胶囊曲面上各像素处的法向量与光源入射方向之间的夹角,得到入射角度场;
4、s2、基于入射角度场逐像素对待检测灵芝胶囊图像中的各像素进行多尺度卷积,得到去除各像素光照分量后的反射分量图像;
5、s3、逐像素计算反射分量图像中以任一像素为中心的局部邻域窗口内各像素灰度值的标准差,得到局部对比度度量,并确定该像素的伽马校正参数;
6、s4、通过各像素的伽马校正参数对该像素的对数域反射分量进行伽马校正,并经指数变换和归一化得到归一后的反射分量图像;
7、s5、计算各像素的光照分量估计值与预设的理想均匀光照值之间的残差,得到光照校准置信度图;
8、s6、预构建并训练包含并行的第一分支和第二分支的双分支缺陷检测网络,以光照校准置信度图作为空间注意力权重,对待检测的灵芝胶囊图像和反射分量图像进行加权融合得到融合特征图,并进行缺陷检测以得到缺陷识别结果。
9、作为优选,在步骤s2中,光照分量估计值计算的具体步骤为:
10、s21、对于多尺度retinex算法中的任一个尺度,设定该尺度的基准标准差,且该尺度的基准标准差与其尺度数正相关;
11、s22、根据入射角度场和各尺度的基准标准差,逐像素计算各尺度在各个像素处的标准差,标准差与该像素处的法向量与光源入射方向之间的夹角大小成正比,其计算公式为:
12、
13、上式中,表示第k个尺度在像素处的标准差,表示第k个尺度的基准标准差,为预设的尺度调节下限因子;
14、s23、计算以任一像素为中心的第一局部领域中,在各尺度下该第一局部领域中相对于中心像素偏处的高斯环绕核权重值,其表达式为:
15、
16、上式中,表示在第k个尺度下,以像素为中心的第一局部领域中,相对于该中心像素偏处的高斯环绕核权重值;
17、s24、将各尺度下以任一像素为中心的第一局部领域中各像素的高斯核权重值,按照对应的空间位置排列,构建该尺度下该中心像素处的高斯环绕核权重矩阵,其表达式为:
18、
19、上式中,表示在第k个尺度下,中心像素处的高斯环绕核权重矩阵,,,为高斯核窗口半径;
20、s25、根据各尺度下各像素处的高斯环绕核权重矩阵,对待检测灵芝胶囊图像中的对应像素进行多尺度卷积,得到各像素处的光照分量估计值,其计算公式为:
21、
22、上式中,表示待检测灵芝胶囊图像中像素处的光照分量估计值,表示第k个尺度的融合权重,且满足,尺度总数为,表示二维卷积运算,表示待检测灵芝胶囊图像中像素处的像素值。
23、s26、根据待检测灵芝胶囊图像中各像素处的光照分量估计值和像素值,计算该像素处的对数域反射分量,其计算公式为:
24、
25、上式中,表示像素处的对数域反射分量,表示像素处的反射分量值。
26、作为优选,在步骤s3中,所述伽马校正参数通过将各像素所对应的局部对比度度量从局部对比度度量区间,映射到预设的伽马校正参数区间后得到,且伽马校正参数在预设的伽马校正参数区间中单调递减,其计算公式为:
27、
28、上式中,表示像素处的伽马校正参数,伽马校正参数区间为,局部对比度度量区间为,表示像素处的局部对比度度量。
29、作为优选,在步骤s4中,具体包括如下步骤:
30、s41、对于每个像素,通过该像素的伽马校正参数对其对数域反射分量进行伽马校正,得到校正后的对数域反射分量,其计算公式为:
31、
32、上式中,表示校正后的像素处的对数域反射分量;
33、s42、将校正后的对数域反射分量进行指数变换以复原至线性域,得到增强后的反射分量图像,增强后的反射分量图像中任一像素处的像素值的计算公式为:
34、
35、上式中,表示增强后的反射分量图像中像素处的像素值;
36、s43、将增强后的反射分量图像归一化到以预设的理想均匀光照值为基准的灰度范围内,得到光照均匀的归一化后的反射分量图像,其计算公式为:
37、
38、上式中,表示归一化后的反射分量图像中像素处的像素值,和分别表示增强后的反射分量图像中像素值的最小值和最大值,表示预设的理想均匀光照值。
39、作为优选,在步骤s5中,具体包括如下步骤:
40、s51、根据待检测灵芝胶囊图像获取其圆柱段的骨架线;
41、s52、在待检测灵芝胶囊圆柱段上选取与骨架线最短距离小于预设的距离阈值的像素,得到标准区域;
42、s53、根据标准区域内所有像素的光照分量估计值的算术平均值,确定理想均匀光照值;
43、s54、对于待检测灵芝胶囊图像上的每个像素,计算其光照分量估计值与理想均匀光照值之间的绝对残差;
44、s55、依次将每个像素的绝对残差通过预设的单调递减映射函数转换为在区间[0,1]内的光照校准置信度值,并生成中间光照校准置信度图;
45、s56、对中间光照校准置信度图进行高斯平滑,得到光照校准置信度图。
46、作为优选,在步骤s56之后还包括基于光照校准置信度图,对非标准区域的光照校准置信度值进行衰减修正的步骤,包括:
47、s57、获取待检测灵芝胶囊图像上处于标准区域外的非标准区域,并根据其是否处于胶囊圆柱段划分为圆柱段侧缘区域和两端球冠区域;
48、s58、对于圆柱段侧缘区域内的每个像素,根据其到标准区域边界的最短距离计算其衰减因子;对于两端球冠区域内的每个像素,采用固定的球冠区域的衰减因子进行衰减;
49、s59、将光照校准置信度图中处于非标准区域内的像素的光照校准置信度与对应的衰减因子逐像素相乘,得到最终的光照校准置信度图。
50、作为优选,在步骤s6中,所述双分支缺陷检测网络包括:
51、用于分别提取待检测灵芝胶囊图像和归一后的反射分量图像中多尺度特征图的第一分支和第二分支,并分别输出第一分支中间层特征图和第二分支中间层特征图;
52、用于以光照校准置信度图作为空间注意力权重,对第一分支中间层特征图和第二分支中间层特征图进行逐像素加权融合得到融合特征图的特征融合模块;
53、用于对融合特征图进行跨通道的信息交互与特征精炼,并消除加权融合过程中产生的通道间特征不一致性,以得到精炼融合特征图的精炼卷积层;
54、用于处理精炼融合特征图并输出缺陷类别标签和缺陷边界框坐标的缺陷检测头。
55、作为优选,所述双分支缺陷检测网络训练时采用至少包含三个阶段的交替训练策略,其具体步骤为:
56、构建包含多张灵芝胶囊灯检图像的训练集,每张图像至少包含胶囊分割标注、缺陷类别标签和缺陷边界框坐标标注的标注信息;
57、对训练集中的每张图像,生成包含原始的灵芝胶囊灯检图像、归一化后的反射分量图像以及光照校准置信度图的训练样本三元组以及对应的标注信息;
58、冻结第二分支的全部可学习参数进行第一阶段训练,训练时以原始的灵芝胶囊灯检图像作为第一分支的输入,以缺陷类别标签和边界框坐标作为监督信号,单独训练第一分支和缺陷检测头,第一阶段训练的优化目标为最小化第一分支至少包含缺陷分类损失和边界框回归损失的检测损失函数;
59、冻结第一阶段训练结束后的第一分支和缺陷检测头的全部可学习参数进行第二阶段训练,训练时以归一化后的反射分量图像作为第二分支的输入,以光照校准置信度图作为融合权重,训练第二分支、特征融合模块和精炼卷积层,第二阶段训练的优化目标为最小化至少包含第二分支检测损失与融合质量损失的联合损失函数;
60、解冻第一分支、第二分支、特征融合模块、精炼卷积层以及缺陷检测头的全部可学习参数进行第三阶段训练,训练时将原始的灵芝胶囊灯检图像和归一化后的反射分量图像分别输入第一分支和第二分支,以光照校准置信度图作为融合权重,进行端到端训练,第三阶段训练的优化目标为最小化至少包含缺陷检测头输出的分类损失和回归损失的联合检测损失函数。
61、作为优选,所述第三阶段训练采用小于第一阶段训练和第二阶段训练的学习率进行训练,且第三阶段训练的迭代训练次数小于第一阶段训练和第二阶段训练的迭代训练次数。
62、本发明还提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现所述的灵芝胶囊缺陷识别方法的步骤。
63、借由上述技术方案,本发明提供了一种用于灯检的灵芝胶囊缺陷识别方法,至少具备以下有益效果:
64、1、本发明通过构建胶囊曲面的空间参数方程并计算入射角度场,通过结合其几何尺寸和形状特征并基于多尺度retinex算法实现光照分离,使高斯环绕核标准差随曲面法向量和光源的夹角调整,解决了目前现有固定标准差难以适应胶囊不同区域光照差异的问题,从像素层面实现了光照分量的精准估计。
65、2、本发明通过计算反射分量图像上以任一像素为中心的局部邻域窗口内各像素灰度值的标准差,以确定各像素的伽马校正参数,然后通过伽马校正参数使可能存在微小缺陷的低对比度区域获得增强。
66、3、本发明以胶囊中轴线附近的标准区域的光照分量均值作为理想均匀光照基准,并通过计算光照分量估计值与理想均匀光照值之间的绝对残差,之后通过映射和高斯平滑生成光照校准置信度图,为后续缺陷识别前的特征融合提供了可靠的依据。
67、4、本发明通过引入衰减因子,将胶囊划分为标准区域、圆柱段侧缘区域和两端的球冠区域并分别设计衰减因子的计算方式,使各个不同区域的像素的置信度值更加可靠,从而使后续特征融合的结果更加准确。
68、5、本发明采用三阶段训练策略训练双分支缺陷检测网络,先训练第一分支,随后第二分支,再端到端联合微调,并通过光照校准置信度图作为第一分支和第二分支输出的融合权重,使两分支在高置信度区域的特征趋于一致,确保融合策略有效。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com