一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

基于视觉定位的木工机械智能切割方法

2023-05-28 09:00:35 来源:中国专利 TAG:


1.本发明涉及图像数据处理技术领域,具体涉及基于视觉定位的木工机械智能切割方法。


背景技术:

2.随着制造业的日益发展,以人工切割和半自动切割的传统坡口切割方式已经越来越难以满足工业需要。同时,人工切割与半自动切割难以保证切割精度与切割效率,难以完成复杂形状切割。因此亟需研究能够在工厂环境下实现全景图像获取、工件自动识别、自动精确获取工件切割路径并进行切割的复杂工况机器人切割视觉引导系统,实现坡口切割自动化智能化。
3.在自动化切割过程中,直接使用预设路径可能会由于切割刀震动而造成路径偏移的情况,并且在使用图像技术对路径优化中,会出现粉末对路径优化的影响,在使用快匹配算法时需要对所有像素点进行匹配也会造成计算开销过大。


技术实现要素:

4.本发明提供基于视觉定位的木工机械智能切割方法,以解决现有的粉末对路径优化影响的问题,所采用的技术方案具体如下:本发明一个实施例提供了基于视觉定位的木工机械智能切割方法,该方法包括以下步骤:获取板材图像;设置预设路径得到路径图像,根据路径图像得到切入口,根据第一帧板材图像和第二帧板材图像的运动矢量和切入口得到第一切割路径;对第三帧板材图像边缘检测,设置初始低阈值得到初始边缘图像,调整低阈值获得若干边缘图像和每个边缘图像中的边缘线,根据边缘像素点的低阈值和低阈值变化量得到每个边缘像素点的雾化值以及所有像素点的雾化归一值;根据第三帧板材图像的灰度直方图得到灰度范围,根据灰度范围得到第三帧板材图像中的若干连通域,将连通域所有像素点灰度值的均值作为连通域的灰度值,获取第三帧板材图像中的每个像素点的第一窗口区域,将每个像素点对应的连通域与相邻所有连通域的灰度值差异、第一窗口区域内连通域的数量得到像素点位于粉末覆盖区的可能性;对第三帧板材图像使用最低低阈值边缘检测得到标准边缘图像,获得边缘像素点的角度差,根据边缘像素点的角度差、边缘像素点数量和每个像素点的第二窗口区域边缘线数量得到像素点的混乱归一值;根据每个像素点的混乱归一值、雾化归一值、位于粉末覆盖区的可能性得到显著抑制因子,获得第三帧板材图像的显著值,根据显著值、雾化归一值、显著抑制因子得到最终显著值,根据最终显著值得到第三帧板材图像的特征点;根据第三帧板材图像的特征点以及第一切割路径得到第二切割路径,将第二切割
路径与预设路径比较调整,将第四帧板材图像的特征点以及第二切割路径得到第三切割路径,将第三切割路径与预设路径比较调整,依次类推完成对板材的切割。
5.优选的,所述根据路径图像得到切入口的方法为:路径图像为二值图像,路径图像中路径上的像素点的灰度值为1,其余像素点的灰度值为0,在路径图像第一行、第一列、最后一行、最后一列中找到灰度值为1的像素点,根据预设路径的移动方向得到切入口和切出口。
6.优选的,所述设置初始低阈值得到初始边缘图像,调整低阈值获得若干边缘图像和每个边缘图像中的边缘线的方法为:设置初始低阈值和最低低阈值,初始低阈值每次降低的幅度为1,每个低阈值得到一张边缘图像,统计所有低阈值得到的边缘图像中的边缘线,对于每张边缘图像中边缘线使用otsu阈值分割得到长度阈值,将边缘线长度小于等于长度阈值的边缘线删除,保留长度大于长度阈值的边缘线。
7.优选的,所述根据边缘像素点的低阈值和低阈值变化量得到每个边缘像素点的雾化值以及所有像素点的雾化归一值的方法为:以初始低阈值得到边缘图像为基准,每降低一次低阈值统计降低后的低阈值对应的边缘图像的边缘点数量,对于新增的边缘像素点,得到此时降低后的低阈值和初始低阈值的差记为边缘补全差异,将边缘补全差异与降低后的低阈值的倒数的乘积得到每个新增边缘像素点的雾化值,对于同一个边缘像素点在不同低阈值下都存在雾化值,得到最小的雾化值作为边缘像素点的雾化值,将初始边缘图像中直接出现的边缘像素点的雾化值定义为0;将非边缘像素点的初始雾化值定义 1,将所有非边缘像素点3*3邻域内所有像素点的雾化值作为非边缘像素点的雾化值,将所有像素点的雾化值线性归一化得到每个像素点的雾化归一值。
8.优选的,所述获得边缘像素点的角度差,根据边缘像素点的角度差、边缘像素点数量和每个像素点的第二窗口区域边缘线数量得到像素点的混乱归一值的方法为:将边缘像素点在边缘线上的切线与水平方向的夹角作为角度差;将边缘像素点在边缘线上的切线与水平方向的夹角作为角度差;式中,为第i条边缘线第j个边缘像素点的角度差,为第i条边缘线上边缘像素点的数量,为第i条边缘线所有边缘像素点的角度差的和即第i条边缘线的扭曲度,为第i条边缘线的长度,为第z个像素点对应的第二窗口区域内边缘线的数量,为第z个像素点对应的第二窗口区域的边缘混乱程度,记为第z个像素点的边缘混乱程度,将像素点的边缘混乱程度线性归一化得到每个像素点的混乱归一值。
9.优选的,所述根据第三帧板材图像的特征点以及第一切割路径得到第二切割路径,将第二切割路径与预设路径比较调整,将第四帧板材图像的特征点以及第二切割路径
得到第三切割路径,将第三切割路径与预设路径比较调整的方法为:根据第三帧图像的特征点使用三步搜索法得到第二帧图像到第三帧图像的运动矢量记为第二运动矢量,将第二运动矢量第一位与第一运动矢量的最后一位相连,将新得到的切割路径部分记为第二切割路径,将第二切割路径与预设路径进行对比,若第二切割路径完全包含在预设路径中,继续采集第四帧图像,如果第二切割路径不完全包含在预设路径当中,此时使用算法进行路径规划,对下次路径进行优化,之后采集第四帧图像;获得第四帧图像的特征点,根据特征点得到第三运动矢量和第三切割路径,将第三切割路径和预设路径进行对比,若第三切割路径完全包含在预设路径中,那么继续采集第五帧图像,如果第三切割路径不完全包含在预设路径当中,此时使用算法进行路径规划,对下次切割路径进行优化。
10.本发明的有益效果是:本发明通过对机械加工过程中,消除切割刀在切割木材产生的粉尘干扰,对获取图像中显著性进行抑制,使得获取的特征点在相邻图像中均有较大可能性获取其匹配像素点,进而避免因为从粉尘区域获取特征像素点进而在相邻图像中获取不到对应匹配像素点,使得获取的运动矢量不准确,导致路径校准的不准确,最终影响切割效果的后果。同时通过根据图像显著图获取特征点,减少了运动矢量获取过程中的计算量,大大提升了算法的实时性。以便适应更快速的切割速度,增加切割机切割效率。
附图说明
11.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
12.图1为本发明一个实施例所提供的基于视觉定位的木工机械智能切割方法的流程示意图。
具体实施方式
13.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
14.请参阅图1,其示出了本发明一个实施例提供的基于视觉定位的木工机械智能切割方法流程图,该方法包括以下步骤:步骤s001,使用工业相机采集图像得到采集灰度图。
15.将工业相机放置在切割刀旁,水平向下拍摄切割板材过程,相机随着切割刀一同移动。在切割刀移动过程中,相机每一帧得到一张采集图像,采集图像的中央为切割刀所在的位置,切割刀方向变化时,相机的拍摄方向不变。根据工业相机获得板材图像,将采集图像使用高斯滤波进行去噪增强后,将其灰度化得到采集灰度图。
16.步骤s002,根据采集灰度图得到板材图像,基于第一帧和第二帧板材图像得到切割路径,基于第三帧板材图像得到每个像素点的雾化归一值。
17.在切割板材的过程中,需要使用数控系统设置预设路径,切割刀会根据设置的预设路径进行移动对板材进行切割,但是由于切割刀的震动可能会导致切割刀位置发生偏移导致切割路径和预设路径不同,为此本实施例使用工业相机对切割刀位置进行调整使其满足预设路径。
18.首先使用神经网络语义分割网络对采集灰度图进行处理,获取采集灰度图中的板材区域,将该区域记为板材图像,神经网络语义分割网络使用的是u-net神经网络,其中网络输入为采集灰度图,将采集灰度图中将板材区域的像素点和切割刀的像素点标记为1,其余的像素点标记为0,网络输出为板材图像,神经网络的作用是分类,所使用的损失函数为交叉熵损失函数。
19.根据预设路径构成路径图像,由于路径图像和板材图像的大小可能并不相同,故根据路径图像的大小,对板材图像进行比例更改,进而方便图像的对比,其中更改比例大小的方法为y1=k1*y2,x1=k2*x2,其中x2和y2表示板材图像的大小,x1,y1表示路径图像的大小,则k1,k2分别表示对采集图像比例更改的数值。
20.路径图像为二值图像,路径上的像素点灰度值为1,其余像素点的灰度值为0,路径图像没有其余纹理信息,将灰度值为1的像素点记为路径像素点,在路径图像第一行、第一列、最后一行、最后一列中找到灰度值为1的像素点,根据预设路径的移动方向得到切入口和切出口。
21.当切割刀在切入口正上方时,使用数控系统控制切割刀向下移动,其中下移距离根据不同的木板厚度设定不同的距离,在本实施例中,下移距离为3厘米,切割刀下移完成后,使用数控系统根据预设路径对板材进行切割。
22.由于切割刀的存在,得到的板材图像存在一定的视野盲区,因此直接根据板材图像获得切割路径较为困难,因此本实施例采用快匹配算法中的三步搜索法获得相邻帧板材图像的运动矢量,根据运动矢量获取切割路径,根据切割路径和预设路径的对比结果对切割路径进行调整。在切割过程中板材会出现粉末,从而影响获取到的运动矢量的准确性,故需要减少粉末对运动矢量获取的影响,根据粉末特征可知,粉末是由多到少向切割裂缝两侧进行扩散的,并且随着扩散,其对应粉末减少,即切割路径周围的粉末最多,距离切割路径的距离越远,出现的粉末越少,由于粉末是刚从木材中切割出来的,板材外部会和空气发生反映,颜色会变暗,而粉末灰度值在板材内部没有和空气接触反映,因此在板材图像中切割出的粉末灰度值比板材灰度值较高。
23.对于采集的第一帧板材图像和第二帧板材图像,使用块匹配算法获取两帧板材图像之间的运动矢量,快匹配算法为公知技术,在此不做详细赘述,由于刚开始切割时粉末影响较小,因此直接通过快匹配算法获得两帧图像的运动矢量,记此时的运动矢量为第一运动矢量,将第一运动矢量的起始点为板材图像的切入口位置,此时第一运动矢量就为切割路径的最开始,记为第一切割路径。
24.由于此时有切割操作出现,那么就会出现粉末,之后采集第三帧板材图像,将在板材图像中表示粉末的像素点记为粉末像素点,在切割过程中,粉末会飘向离切割路径较远的位置上,在较远的位置上,粉末没有堆积,而是零散的分布,将这种粉末零散分布对板材的遮挡称为雾化作用。
25.对板材图像使用canny边缘检测,在canny边缘检测中设置初始低阈值为a,设置最
低低阈值为b,a,b的取值根据板材而定,在本实施例中,令a=100,b=50。使用canny算子对板材图像进行边缘检测,高阈值不变,低阈值从初始低阈值降低为最低低阈值,其中每次降低幅度为1,由此将板材图像得到若干边缘图像,得到每个边缘图像的所有边缘线。当粉末较少时,粉末对边缘图像中的边缘遮挡能力较弱,此时在低阈值较小时,可以完整检测到边缘线,当低阈值较大时,边缘线被遮挡的部分无法被检测,此时之前可以完整检测到的边缘线就无法检测到,基于此,在低阈值从初始低阈值降低时,边缘线从无到有的部分更有可能为粉末像素点,将边缘线从无到有的程度记为雾化值,由此可以计算每个像素点的雾化值。
26.具体的,将使用初始低阈值得到的边缘图像记为初始边缘图像,统计每条边缘线的像素点数量作为边缘线长度,适用otsu大津阈值算法将边缘线的长度分为两类,得到长度阈值,将边缘线长度小于等于长度阈值的边缘线删除,保留长度大于长度阈值的边缘线,之后不断降低低阈值,每降低一次对边缘线筛选一次,判断降低后的低阈值得到的边缘图像中的边缘像素点在初始边缘图像中是否出现,若出现,将降低后的边缘图像的低阈值和初始边缘图像的低阈值作差,差值作为边缘补全差异,表示边缘点需要经过这么多的灰度值才会从无到有,根据边缘每次低阈值变化时每个边缘点的边缘补全差异和每次低阈值变化时的低阈值计算雾化值,雾化值的计算方法为:式中,表示第u次低阈值变化时第v个边缘像素点的边缘补全差异,表示第u次低阈值变化时的低阈值,表示最小值函数,表示第v个边缘像素点的雾化值。
27.值得注意的是,同一个像素点在不用低阈值下可能有多个雾化值,在此只选最小的雾化值,边缘补全差异越大,说明边缘点需要降低更多的低阈值才能检测到,说明该像素点雾化程度越深即粉末可能性越大。
28.对于最低低阈值对应的边缘图像中的非边缘像素点,给定初始雾化值为1,之后对于所有非边缘像素点计算非边缘像素点3*3领域内所有像素点的雾化值的均值作为每个非边缘像素点的雾化值。
29.针对板材图像中的所有像素点的雾化值使用线性归一化得到所有像素点的雾化归一值。
30.至此,获得了板材图像中每个像素点的雾化归一值。
31.步骤s003,获得每个像素点的位于粉末覆盖区的可能性和混乱归一值,基于此得到板材图像的特征点。
32.由于计算每个像素点的雾化值时是针对粉末零散分布时的计算,而在粉末堆集的区域中,板材图像中的纹理会被大面积的遮挡,即使更改低阈值也无法准确检测,会出现低阈值下降时,堆集的部分粉末仍然没有检测出来的情况,然而由于粉末的堆集以及粉末灰度值和板材灰度值不同,因此会在板材图像中出现灰度突变的密集区域,基于此可以获取像素点在粉末堆集区域的可能性。
33.具体的,对得到板材图像的灰度直方图,获得灰度值方图的极值的横坐标以及灰度值方图初始点的横坐标和结束点的横坐标,记这些点为中央点,对于相邻的两个中央点得到中点,将中央点的中点记为分割点,将相邻的两个分割点之间的灰度作为一个灰度范
围,得到若干灰度范围,在板材图像中使用连通域分析根据所获得的所有灰度范围获得若干连通域,将连通域中所有像素点求均值得到连通域的灰度值,并且获得每个连通域与其相邻连通域的灰度值差值,对于板材图像上的每个像素点,给予该像素点的窗口区域记为第一窗口区域,在本实施例中,第一窗口区域内的连通域越多,说明第一窗口区域内粉末像素点和正常像素点交叉越严重,将粉末像素点和正常像素点混合的区域称为粉末覆盖区,粉末覆盖区有大量粉末对板材进行覆盖,但是没有完全覆盖板材,基于每个像素点所对应的连通域与相邻连通域灰度值的差异和像素点第一窗口区域内连通域的数量得到每个像素点处于粉末覆盖区的可能性,公式如下:式中,表示板材图像第z个像素点所在的连通域与第z个像素点所在的连通域的所有相邻连通域灰度值差异的均值,为板材图像第z个像素点所对应的的第一窗口区域内的连通域数量,为板材图像第z个像素点的粉末覆盖值。
34.将板材图像中的所有像素点的粉末覆盖值进行线性归一化,得到,即为第z个像素点位于粉末覆盖区的可能性。
35.每个像素点位于粉末覆盖区的可能性越大,该像素点是粉末像素点的概率越大。
36.针对最低低阈值得到板材图像的边缘图像作为标准边缘图像,由于切割的位置不同以及粉末飘散到板材的位置较为随机,若板材没有被粉末覆盖,那么板材上的纹理是一条完整的清晰可见的边缘线,若板材上的纹理被粉末覆盖,那会出现多条较短的边缘线,因此对于标准边缘图像中的所有像素点,得到一个大小的窗口区域记为第二窗口区域,在本实施例中,获得每个第二窗口区域内所有边缘线的数量和每条边缘线上边缘像素点的数量,将每条边缘线上的每个像素点在边缘线上的切线与水平方向的夹角记为角度差,根据角度差、边缘线长度和边缘线数量得到第二窗口区域的边缘混乱程度,公式如下:下:式中,为第i条边缘线第j个边缘像素点的角度差,为第i条边缘线上边缘像素点的数量,为第i条边缘线所有边缘像素点的角度差的和即第i条边缘线的扭曲度,为第i条边缘线的长度,为第z个像素点对应的第二窗口区域内边缘线的数量,为第z个像素点对应的第二窗口区域的边缘混乱程度,记为第z个像素点的边缘混乱程度。
37.将所有像素点的边缘混乱程度使用线性归一化,得到每个像素点的混乱归一值,记为根据获得的每个像素点的混乱归一值、每个像素点的雾化归一值,每个像素点位
于粉末覆盖区的可能性,将三者相乘,获得每个像素点为粉末像素点的可能性g。
38.得到每个像素点为粉末像素点的可能性后,使用ac显著性分析算法获取图像中像素点显著值q,其中每个像素点为粉末像素点的可能性为显著抑制因子,使用显著抑制因子对显著性进行调控,公式如下:式中,为第z个像素点的显著值,为第z个像素点的雾化归一值,为第z个像素点的显著印制因子,为第z个像素点调控后的显著值记为最终显著值。像素点越有可能为粉末像素点时,像素点的最终显著值越低。设定显著阈值ψ=0.7,将像素点的最终显著值大于显著阈值的像素点记为特征点。
39.至此获得了板材图像中所有像素点的特征点。
40.步骤s004,根据切割路径完成对板材的切割。
41.对于采集的第三帧图像,使用上述方法得到第三帧图像的特征点,根据第三帧图像的特征点使用三步搜索法得到第二帧图像到第三帧图像的运动矢量记为第二运动矢量,将第二运动矢量第一位与第一运动矢量的最后一位相连,将新得到的切割路径部分记为第二切割路径,将第二切割路径与预设路径进行对比,若第二切割路径完全包含在预设路径中,即第二切割路径经过的每个像素点,预设路径也经过,那么继续采集第四帧图像,如果第二切割路径不完全包含在预设路径当中,说明切割路径偏离了预设路径,此时使用算法进行路径规划,对下次路径进行优化,之后采集第四帧图像;获得第四帧图像的特征点,根据特征点得到第三运动矢量和第三切割路径,将第三切割路径和预设路径进行对比,若第三切割路径完全包含在预设路径中,即第三切割路径经过的每个像素点,预设路径也经过,那么继续采集第五帧图像,如果第三切割路径不完全包含在预设路径当中,说明切割路径偏离了预设路径,此时使用算法进行路径规划,对下次切割路径进行优化,之后采集第五帧图像,依次类推,直到完成对板材的切割为止。
42.至此对切割路径进行实时获得并定位,根据切割路径完成智能切割。
43.以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表