基于形态学处理的自适应钣金图像增强方法与流程

1.本发明涉及图像处理领域，具体涉及基于形态学处理的自适应钣金图像增强方法。


背景技术：

2.钣金工艺一般来说是对金属进行剪、冲或切、折或卷、焊接、表面处理得到合格的金属工件，目前对于钣金图像增强的方法有直方图均衡化，直方图均衡化对于图像的增强太宏观，可能对噪声的影响也进行了增强；因此还有一种形态学领域的图像增强方法，形态学领域的图像增强方法主要为膨胀、腐蚀、开闭运算，能够较好的对噪声和缺陷进行不同的处理。
3.但是利用形态学邻域的图像增强方法对图像腐蚀或膨胀运算时，结构元的尺寸和形状对图像处理效果影响很大，目前选取结构元通常做法是依据经验和估算，采用这种方法需要经验和人工干预，人工干预需要花费大量时间不断调整，而且人工干预可能出现错误，从而难以取得较好的处理效果，因此，本发明提出一种基于形态学处理的自适应钣金图像增强方法。


技术实现要素：

4.本发明提供基于形态学处理的自适应钣金图像增强方法，以解决现有的问题。
5.本发明的基于形态学处理的自适应钣金图像增强方法采用如下技术方案：该方法包括：获取钣金的打磨前灰度图像和打磨后灰度图像；根据打磨前灰度图像中每个像素点的灰度值得到打磨前正常区域和打磨前异常区域；获取打磨前异常区域、打磨前正常区域在打磨后灰度图像中对应位置的打磨后异常对应区域、打磨后正常对应区域；根据每个打磨后异常对应区域、打磨后正常对应区域中像素点的灰度值计算每个打磨后异常对应区域的自适应必要性；根据打磨后异常对应区域的自适应必要性和预设的自适应区域阈值从打磨后异常对应区域中选取自适应区域；根据自适应区域中每个像素点的灰度值、该像素点邻域内其它像素点的灰度值、该像素点所在自适应区域的自适应必要性计算每个像素点的自适应必要性；利用每个像素点的自适应必要性得到自适应像素点；根据自适应区域中像素点总数量、自适应像素点数量得到该自适应区域中每个自适应像素点的结构元初始尺寸；根据每个自适应像素点的结构元初始尺寸获取该自适应像素点的邻域，根据自适应像素点邻域内像素点的灰度值确定该自适应像素点的结构元；利用每个自适应像素点的结构元、其它像素点的统一结构元对打磨后灰度图像中的自适应像素点和其它像素点进行增强，得到增强后的打磨后灰度图像。
6.进一步，根据打磨前灰度图像中每个像素点的灰度值得到打磨前正常区域和打磨前异常区域的步骤包括：选取打磨前灰度图像中灰度值最小的像素点作为种子点；获取种子点邻域内与该种子点的灰度值差值在预设的差值程度阈值范围内的像素点；将该像素点作为新种子点，并将新种子点与种子点连通形成初始连通域；根据得到初始连通域的方法处理新种子点扩大初始连通域得到连通域；获取打磨前灰度图像中未形成连通域的像素点中灰度值最小的像素点作为二次种子点；根据获得连通域的方法获取下一连通域，根据获取下一连通域的方法得到多个连通域；包含像素点最多的连通域为打磨前正常区域，其他连通域为打磨前异常区域。
7.进一步，根据每个打磨后异常对应区域、打磨后正常对应区域中像素点的灰度值计算每个打磨后异常对应区域的自适应必要性的步骤包括：获取打磨后正常对应区域中像素点的灰度值均值；获取打磨后异常对应区域中每个像素点的灰度值与打磨后正常对应区域的灰度值均值的差值；对得到的差值求均值得到该打磨后异常对应区域的自适应必要性。
8.进一步，根据自适应区域中每个像素点的灰度值、该像素点邻域内其它像素点的灰度值、该像素点所在自适应区域的自适应必要性计算每个像素点的自适应必要性的步骤包括：根据下式计算自适应区域中每个像素点的自适应必要性：其中，表示第个像素点的自适应必要性；表示第个像素点所在的第个自适应区域的自适应必要性；表示第个像素点8邻域内像素点的数量；表示第个像素点8邻域内的第个像素点；表示第个像素点的灰度值；表示第个像素点的灰度值。
9.进一步，根据自适应区域中像素点总数量、自适应像素点数量得到该自适应区域中每个自适应像素点的结构元初始尺寸的步骤包括：获取自适应像素点所在自适应区域中的像素点总数量以及该自适应区域中自适应像素点数量；根据下式计算每个自适应像素点的结构元初始尺寸：其中，表示自适应像素点的结构元初始尺寸；表示该自适应像素点所在自适应区域中像素点的总数量；表示该自适应像素点所在自适应区域中自适应像素点的数量。
10.进一步，根据每个自适应像素点的结构元初始尺寸获取该自适应像素点的邻域，根据自适应像素点邻域内像素点的灰度值确定该自适应像素点的结构元的步骤包括：
根据自适应像素点的结构元初始尺寸e获取该自适应像素点e*e的邻域；获取自适应像素点邻域内每个像素点与该自适应像素点的灰度值差值；将该邻域内灰度值差值小于预设的差值阈值的像素点与自适应像素点本身组成的像素点集合作为该自适应像素点的结构元。
11.进一步，获取其它像素点的统一结构元的步骤包括：对打磨后灰度图像中除自适应像素点以外的所有像素点设置形状和尺寸相等的统一结构元，所述统一结构元的形状为矩形。
12.本发明的有益效果是：本发明的基于形态学处理的自适应钣金图像增强方法，通过打磨前正常区域和打磨前异常区域获取对应位置的打磨后正常对应区域和打磨后异常对应区域，能够更容易地得到完整的打磨后异常对应区域；根据自适应像素点所在自适应区域的像素点得到结构元初始尺寸，根据结构元初始尺寸选取自适应像素点的邻域，去除邻域内与自适应像素点灰度值差异大的像素点得到结构元，达到了获取自适应的结构元的目的，而且消除了差异大的像素点对图像腐蚀时造成的影响，使得图像增强的效果更好；对异常程度小的像素点使用统一结构元进行腐蚀，在增强图像的同时减少了不必要的计算量。
附图说明
13.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
14.图1为本发明的基于形态学处理的自适应钣金图像增强方法的实施例总体步骤的流程图。
具体实施方式
15.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
16.本发明的基于形态学处理的自适应钣金图像增强方法的实施例，如图1所示，该方法包括：s1、获取钣金的打磨前灰度图像和打磨后灰度图像。
17.具体的，采集钣金的打磨前rgb图像和打磨后rgb图像，在采集过程中受光照和噪声影响，对得到的打磨前rgb图像和打磨后rgb图像分别进行高斯滤波降噪处理，消除图像中的光照和噪声干扰，此时得到的打磨前rgb图像和打磨后rgb图像中包括钣金区域和背景区域，后续图像处理中只需要钣金区域；利用dnn神经网络识别钣金区域：将采集到的打磨前rgb图像数据集输入dnn网络，添加单通道语义标签，背景类像素点标注为0，钣金类像素点标注为1，使用loss函数中的交叉熵函数对数据分类，得到打磨前钣金区域图像，对得到的钣金区域图像进行灰度化处理得到钣金的打磨前灰度图像，根据得到打磨前灰度图像的
方法得到打磨后灰度图像。
18.s2、根据打磨前灰度图像中每个像素点的灰度值得到打磨前正常区域和打磨前异常区域；获取打磨前异常区域、打磨前正常区域在打磨后灰度图像中对应位置的打磨后异常对应区域、打磨后正常对应区域。
19.打磨前钣金区域会有裂缝、划痕、毛刺这类的缺陷，对打磨前灰度图像进行异常检测，这些异常区域很容易得到；对钣金打磨后得到打磨后钣金图像中还是同样的位置出现异常的概率最大，因为大漠过程中可能会打磨不充分或者打磨时产生划痕，但是打磨后灰度图像中难以获取完整的异常区域，可能会因为有些边缘点不明显遗漏掉某些缺陷，后面图像增强时也会漏掉这一部分，所以直接将打磨前异常区域的对应位置确定为打磨后灰度图像的异常区域，再对异常区域进行分析；钣金主体颜色一般为银色，存在缺陷的区域一般表现为灰度值异常，缺陷区域的灰度值小于正常区域的灰度值，因此，根据灰度值分析异常区域。
20.具体的，获取打磨前灰度图像中各像素点的灰度值，选取最小灰度值的像素点作为种子点，根据下式计算种子点与其8邻域像素点的灰度值差异程度：其中，表示种子点8邻域内第个像素点与种子点的灰度值差异程度；表示种子点的灰度值；表示第个像素点的灰度值；种子点与邻域内像素点的灰度值差异越小时，计算得到的灰度值差异程度越小，设定差异程度阈值。
21.获取种子点8邻域内与种子点灰度值差异程度小于差异程度阈值的像素点，将该像素点作为新种子点，连通新种子点与种子点形成初始连通域；获取新种子点8邻域内与种子点灰度值差异程度小于差异程度阈值的像素点，将得到的像素点与初始连通域继续连通，不断获取新种子点8邻域内与种子点灰度值差异程度小于差异程度阈值的像素点，扩大初始连通域得到连通域；获取打磨前灰度图像中未形成连通域的像素点中灰度值最小的像素点，作为二次种子点，通过利用种子点得到连通域的方法，利用二次种子点的得到下一连通域，根据获取下一连通域的方法得到多个连通域，直到打磨前灰度图像中不存在未形成连通域的像素点；包含像素点最多的连通域为打磨前灰度图像中的打磨前正常区域，其他连通域为打磨前异常区域。
22.根据打磨前正常区域与打磨前异常区域在打磨前灰度图像中的位置，获取打磨后灰度图像中对应位置的打磨后对应正常区域和打磨后异常对应区域。
23.s3、根据每个打磨后异常对应区域、打磨后正常对应区域中像素点的灰度值计算每个打磨后异常对应区域的自适应必要性；根据打磨后异常对应区域的自适应必要性和预设的自适应区域阈值从打磨后异常对应区域中选取自适应区域。
24.钣金被打磨后，由于各区域的打磨效果不同，打磨前异常区域所对应的打磨后异常对应区域可能几乎没有缺陷了，或者存在一些十分微小的、可以忽略的缺陷，对于这类打磨后异常对应区域中的像素点没有必要设定自适应的结构元，使用统一的结构元进行处理即可；若打磨后异常对应区域仍然缺陷比较严重，那这类打磨后异常对应区域中的部分像素点就需要设定自适应的结构元对像素点进行增强，因此，要先获取打磨后异常对应区域
中的像素点是否需要自适应的结构元，即获取每个打磨后异常对应区域的自适应必要性。
25.具体的，获取打磨后正常对应区域中所有像素点的灰度值均值，根据下式计算每个打磨后异常对应区域的自适应必要性：其中，表示第个打磨后异常对应区域的自适应必要性；表示打磨后正常对应区域的像素点的灰度值均值；表示第个打磨后异常对应区域中第个像素点的灰度值；表示第个打磨后异常对应区域中像素点的总数量；表示第个打磨后异常对应区域中的第个像素点。当打磨后异常对应区域的像素点的异常程度均值较高，即越大时，说明这个打磨后异常对应区域的整体异常程度较大，对于异常程度大的打磨后异常对应区域，其中的像素点需要自适应的结构元的必要性越大。
26.对得到的打磨后异常对应区域的自适应必要性进行归一化处理：，设置自适应区域阈值为0.2，当第个打磨后异常对应区域的自适应必要性归一化值时，认为该打磨后异常对应区域中的部分像素点需要自适应的结构元，将该打磨后异常对应区域记为自适应区域。
27.s4、根据自适应区域中每个像素点的灰度值、该像素点邻域内其它像素点的灰度值、该像素点所在自适应区域的自适应必要性计算每个像素点的自适应必要性；利用每个像素点的自适应必要性得到自适应像素点。
28.自适应区域中的每个像素点的异常程度不尽相同，应根据每一个像素点的自身特征，判断该像素点需要自适应的结构元的必要性，正常情况下需要自适应的结构元的像素点一般都是比较接近边缘或者该像素点周围的像素点跳变频数比较大的点，即该像素点的周围像素点灰度值比较凌乱。
29.具体的，根据下式计算自适应区域中每个像素点的自适应必要性：其中，表示第个像素点的自适应必要性；表示第个像素点所在的第个自适应区域的自适应必要性；表示第个像素点8邻域内像素点的数量；表示第个像素点8邻域内的第个像素点；表示第个像素点的灰度值；表示第个像素点的灰度值；得到的越大说明该像素点与邻域内像素点之间的方差越大，该像素点周围的混乱程度越大，则该像素点需要自适应的结构元的必要性越大。
30.对得到的像素点的自适应必要性进行归一化处理：，设置自适应阈值为0.2，当第个像素点的自适应必要性归一化值时，认为该像素点需要自适应的结构元，将该像素点记为自适应像素点。
31.s5、根据自适应区域中像素点总数量、自适应像素点数量得到该自适应区域中每个自适应像素点的结构元初始尺寸。
32.根据步骤s4已经确定了自适应像素点，需要根据自适应像素点的周围像素点和所在的自适应区域的特征确定该自适应像素点的结构元初始尺寸。
33.具体的，获取自适应像素点所在自适应区域中的像素点总数量以及该自适应区域中自适应像素点的数量；根据下式计算每个自适应像素点的结构元初始尺寸：其中，表示该自适应像素点所在自适应区域中像素点的总数量；表示该自适应像素点所在自适应区域中自适应像素点的数量；表示自适应像素点的结构元初始尺寸，对根号得到的结果向下取整。
34.s6、根据每个自适应像素点的结构元初始尺寸获取该自适应像素点的邻域，根据自适应像素点邻域内像素点的灰度值确定该自适应像素点的结构元；利用每个自适应像素点的结构元、其它像素点的统一结构元对打磨后灰度图像中的自适应像素点和其它像素点进行增强，得到增强后的打磨后灰度图像。
35.具体的，根据得到的自适应像素点的结构元初始尺寸为e,获取自适应像素点的e*e领域内像素点的灰度值，获取邻域内每个像素点与该自适应像素点的灰度值差值；设置差值阈值为10，当邻域内像素点与该自适应像素点的灰度值差值大于差值阈值10时，去除该像素点，邻域内其余像素点与该自适应像素点本身组成的集合作为该自适应像素点的结构元，因为灰度值差值大的像素点在图像增强是对增强效果影响很大，不是我们需要的增强效果，所以去除灰度值差值大的像素点。
36.对打磨后灰度图像中除自适应像素点以外的所有像素点设置形状和尺寸相等的统一结构元，所选的统一结构元为矩形结构元，尺寸为3*3。所有像素点的结构元的原点均为结构元中心，利用每个自适应像素点的结构元、其它像素点统一结构元对打磨后灰度图像中的自适应像素点和其它像素点进行增强，即将结构元中的最小值赋值给原点，对每个像素点进行灰度腐蚀运算，最终得到增强后的钣金图像，此时的钣金图像对比度明显、层次感较强。
37.综上所述，本发明提供基于形态学处理的自适应钣金图像增强方法，通过打磨前正常区域和打磨前异常区域获取对应位置的打磨后正常对应区域和打磨后异常对应区域，能够更容易地得到完整的打磨后异常对应区域；根据自适应像素点所在自适应区域的像素点得到结构元初始尺寸，根据结构元初始尺寸选取自适应像素点的邻域，去除邻域内与自适应像素点灰度值差异大的像素点得到结构元，达到了获取自适应的结构元的目的，而且消除了差异大的像素点对图像腐蚀时造成的影响，使得图像增强的效果更好；对异常程度小的像素点使用统一结构元进行腐蚀，在增强图像的同时减少了不必要的计算量。
38.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。