激光切割机视觉自适应识别板材材料方法与流程

摘要: 本发明涉及激光切割机,特别涉及一种激光切割机视觉自适应识别板材材料方法。背景技术:1、当前激光切割机虽已具备自动上下料、路径优化等能力,但‌切割参数仍需人工预设...
激光切割机视觉自适应识别板材材料方法与流程

本发明涉及激光切割机,特别涉及一种激光切割机视觉自适应识别板材材料方法。

背景技术:

1、当前激光切割机虽已具备自动上下料、路径优化等能力,但‌切割参数仍需人工预设‌,尤其在多品种、小批量生产场景下,操作员需根据板材类型如碳钢、不锈钢、铝和板材厚度手动选择激光功率、切割速度、焦点位置、辅助气体等参数,需要人工现场干预和操作,存在的问题是:无法实现真正意义上的激光切割无人值守作业,导致生产自动化智能化水平低,生产效率低,操作者劳动强度大、人工成本高,同时由于人工干预存在人为干预误差,而且人为干预由于人为因素容易导致产品不合格甚至产生废品,同时造成设备和工装模具等的损坏甚至报废,造成大的经济损失。

2、随着ai视觉与深度学习技术成熟,通过‌高动态范围工业摄像头+多光谱光源+边缘计算算法,实现对板材材料的非接触式识别,减少由于人为干预存在的生产自动化智能化水平低、生产效率低下和容易产生产品质量问题,以提高生产自动化智能化水平,提高生产效率和产品质量,成为行业急需解决的问题。

技术实现思路

1、本发明就是为了克服上述现有技术存在的缺点,提供一种激光切割机视觉自适应识别板材材料方法。本发明能够实现对板材材料的非接触式识别,无需人工现场干预,能够实现全自动智能切割方式,设备通过自动化系统完成全自动智能切割‌的全流程作业,减少人为误差,实现工序的连续作业运行,显著提升生产效率、降低人力成本与劳动强度,提高生产效率和产品质量,避免人为干预误差以及由于人工干预失误造成的废品损失和设备损坏。

2、本发明解决其技术问题所采取的技术方案是:

3、一种激光切割机视觉自适应识别板材材料方法,包括如下步骤:

4、s1.在激光切割机防护外壳的内部安装视觉装置,并以目标监控区域为基准对视觉装置安装位置及拍摄角度进行标定;

5、s2.获取视觉装置实时采集的目标监控区域的视频流数据,并对视频流数据进行处理;

6、s3.使用opencv深度学习dnn模块输出目标监控区域内板材的轮廓和定位;

7、s4.拍照各种材料进行材料库建立,并进行材料分类模拟,基于hsv颜色空间的统计特征,对不锈钢、碳钢和铝材、黄铜进行简易分类;

8、s5.进行材料厚度估算模拟;‌

9、s6.根据分析出的结果,并向激光切割机控制系统发送;所述控制指令至少包括板材材料指令和板材厚度指令。

10、s1包括以下步骤:

11、s11.以激光切割机的台面运动方向为基准,将视觉装置安装于激光切割机的防护外壳内部的左侧钣金上,所述视觉装置包括摄像头、红外光源及漫射板;

12、s12.以激光切割机z轴上下垂直方向为基准,通过标定工具调整视觉装置的安装高度,以及以覆盖刀条80%区域视野为基准,通过标定工具调整视觉装置的拍摄角度;

13、s13.调整红外光源的照射角度,使红外光源的光轴以远离与台面垂直的基准线的方式偏转一预设角度,并通过漫射板使光线均匀漫射;

14、s14.对摄像头图像进行畸变矫正;

15、其中,标定分为高位相机标定和低位相机标定,高位相机识别板材的大体位置,低位相机进行材料识别;标定的时候同时进行畸变矫正。

16、s12包括以下步骤:

17、s121.获取激光切割机刀条间距尺寸、摄像头参数及安装区域范围;

18、s122.计算摄像头的最小安装高度、最大安装高度及推荐安装角度;

19、s123.通过标定工具加载摄像头光学参数,并输入激光切割机刀条间距尺寸、摄像头参数及安装区域范围,计算出为完整覆盖目标监控区域所需的理论推荐安装参数;所述理论推荐安装参数包括摄像头的最小安装高度、最大安装高度及推荐安装角度;

20、s124.获取人工添加的表征期望监控范围的虚拟标定框,并将虚拟定位框与理论推荐安装参数对应的理想视野范围进行比对,对安装的合规性进行提示;

21、s125.通过图像算法或传感器获取摄像头的实际安装角度,并将实际安装角度与理论推荐安装角度进行比对,若二者的偏差超过预设公差,则提示对摄像头角度进行调整。

22、s14包括以下步骤:

23、s141.首先准备棋盘格,以确保高精度的建立世界坐标系与像素坐标系的转换关系;

24、s142.拍摄照片,标定拍摄时需要包含但不限于视野中心以及视野四周,注意光源均匀化,避免因为光源问题导致将棋盘遮挡任意角点;

25、s143.将图像进行归一化和灰度处理,利用opencv中的findchessboardcorners轮廓边缘查找算法定位速定位棋盘格内角点的粗略像素坐标 ,进行初始角点定位;

26、s144.以初始角点为中心进行定位窗口搜索,利用高斯拟合进行迭代计算角点的亚像素坐标;寻找使梯度与向量qp正交的亚像素点q:

27、q*(qp)=0

28、其中,p为初始像素坐标,q为优化后的亚像素坐标;

29、s145.建立世界坐标点与图像像素点之间的映射关系,解算出相机内参和畸变系数;世界坐标点通过旋转矩阵和平移向量变换到视觉装置像素坐标系,再经内参矩阵k投影到理想图像平面;

30、

31、其中,fx,fy为焦距,(cx,cy)为主点坐标;

32、实际镜头存在径向畸变和切向畸变;设归一化坐标为(x,y),畸变后坐标(xdist,ydist)为:

33、xdist=x*(1+k1r2+k2r4+k3r6)+2p1xy+p2(r2+2x2)

34、ydist=y*(1+k1r2+k2r4+k3r6)+2p2xy+p1(r2+2y2)

35、其中,r2=x2+y2,k1,k2,k3为径向畸变系数,p1,p2为切向畸变系数;

36、利用非线性最小二乘法优化算法,迭代调整内参、畸变系数及每张图的外参,使得所有角点的重投影误差平方和最小;

37、s146.获得参数后对原始图像进行像素重排,实现矫正;根据内参和畸变系数,计算原始图像中每个像素点在矫正后图像中的对应位置,生成映射矩阵;利用生成的映射表和双线性插值算法生成最终无畸变图像;

38、s147.计算识别准确度,在进行畸变矫正过后,验证畸变矫正效果,如果畸变矫正失败,将s14步骤再次进行标定;

39、高位相机标定和识别厚度的相机标定使用激光切割机的固定尺寸的板材来进行世界坐标系和像素坐标系建立关系。

40、步骤s2包括以下步骤:

41、s21.通过hdr高动态相机摄像头实时捕获板材图像,并进行高斯模糊去噪,便于后续使用‌laplacian进行边缘检测和轮廓查找;

42、s22.对视频流数据中的图像帧进行预处理,所述预处理包括将rgb图像转换为灰度图像,对灰度图像进行高斯滤波法以消除噪声,以提高后续处理的稳定性。

43、步骤s3包括以下步骤:

44、首先使用opencv的dnn模块作为推理搜索引擎,加载与训练深度学习模型pytorch,对输入视频流的每一帧进行前向传播计算,得到像素级分类结果,用来区分出噪声和板材;具体包括以下步骤:

45、s31、对之前预处理的图像进行前向推理计算

46、将预处理后的图像数据输入到加载的神经网络模型中;调用函数执行前向推理计算,得到模型的原始输出结果;模型的原始输出结果为包含批次大小维度、类别数维度、高度维度和宽度维度的四维张量,其中批次大小表示单次推理计算的图像帧数量,类别数表示待区分的像素类别数量,高度和宽度表示输出特征图的高度尺寸和宽度尺寸。

47、s32:对使用前向推理计算出来的结果再次进行后处理

48、对模型输出的张量进行argmax操作,得到每个像素的类别索引;

49、将类别索引映射为对应的颜色值,生成彩色分割掩码;

50、将分割掩码调整为与输入图像相同的尺寸;

51、s33、利用‌laplacian边缘检测和轮廓查找算法,使用高斯滤波对图像进行预处理,识别图像中最大的连通域作为板材主体,并计算其最小外接矩形和边界框,实现板材位置的自动定位。

52、步骤s4包括以下步骤:

53、s41:材料图像采集与预处理;

54、s42.建立数据库

55、对拍摄的数据库进行处理,将原始图像转化为结构化的‌特征向量数据库‌,每个向量代表一个样本的hsv颜色统计特性;

56、s43.拍摄逻辑

57、拍摄时要拍摄多个地方,防止只拍摄一处进行分析时,由于存在油污或者铁锈导致识别存在误差。

58、步骤s41包括以下步骤:

59、s411、在标准化光照环境下,使用工业相机分别拍摄不锈钢、碳钢、铝材和黄铜的样本图像;

60、s412、对采集到的图像进行预处理,包括去噪、裁剪、灰度化操作,去除背景噪声,提取金属样本的有效区域;分为以下步骤:

61、s4121、噪声抑制:自适应高斯滤波去噪

62、采用自适应高斯滤波算法进行去噪处理,通过计算图像局部区域的方差,判断噪声强度;对于方差大于阈值的区域,增大滤波核半径;对于方差较小的区域,减小滤波核半径,避免过度模糊金属表面纹理;滤波核大小范围根据局部噪声强度自动切换;结合sobel边缘检测算子,对金属边缘区域单独处理,在滤波时保留边缘梯度信息,避免边缘模糊导致后续裁剪误差;

63、s4122、目标提取:基于颜色阈值的自动裁剪

64、利用hsv颜色空间的饱和度通道进行背景分割,实现金属区域自动裁剪,其中,包括:

65、统计背景区域的饱和度值,设置阈值s<30为背景区域,s≥30为金属区域;通过二值化操作得到金属区域的掩码图像;对掩码图像进行轮廓检测,提取面积最大的轮廓,计算轮廓的最小外接矩形;根据外接矩形的坐标信息,从原始图像中裁剪出仅包含金属样本的子图像,去除背景噪声和无关区域;裁剪后的图像尺寸统一调整像素,确保后续特征提取的一致性;

66、s4123、特征归一化:灰度化与对比度增强

67、将裁剪后的彩色图像转换为灰度图像,并进行对比度增强以减少颜色通道冗余;灰度化转换:采用加权平均法将rgb图像转换为灰度图像,计算公式为: gray = 0.299×r+ 0.587×g + 0.114×b,该公式模拟人眼对不同颜色的敏感度,保留金属表面的亮度信息;使用直方图均衡化算法,拉伸灰度图像的直方图分布,增强金属表面纹理细节;对于灰度分布集中的区域,通过自适应直方图均衡化进行局部对比度调整,避免整体均衡化导致的细节丢失。

68、步骤s42包括以下步骤:

69、s421. 颜色空间转换:从rgb到hsv‌

70、从激光切割机上得到的原始图像为rgb格式,其三通道高度相关且受光照影响大;通过opencv的cvtcolor函数将图像转换至‌hsv颜色空间‌,分离出色相、饱和度、明度三个独立维度;

71、s422. 对所有图像进行‌尺寸归一化,消除尺寸差异带来的干扰;使用‌高斯滤波‌去噪,减少传感器噪声和环境光波动的影响;使用‌clahe算法对‌增强局部对比度,提升表面纹理和颜色细节的可见性;

72、s423. 利用hsv空间中‌饱和度通道的差异‌进行背景分离:金属区域通常s值较高,而灰色背景s值接近0;设定s>30的阈值进行二值化,生成掩码图像;通过‌轮廓检测‌找到最大连通区域,并提取其最小外接矩形,裁剪出仅包含目标材料的有效图像块;

73、s424. hsv通道统计特征提取‌

74、对裁剪后的有效区域,分别计算h、s、v三个通道的统计量:

75、h通道‌:计算均值与方差,反映材料的主色调及其均匀性,此时黄铜集中在黄色区,不锈钢偏蓝绿;s通道‌:提取峰值与中位数,表征颜色纯度;v通道‌:计算均值与标准差,体现反光能力;将这六个统计值组合成一个‌6维特征向量‌,作为该样本的数字指纹;

76、s425. 所有特征向量进行‌归一化处理,消除不同特征量纲差异,保证分类器公平对待每一维;

77、将每个样本的特征向量与其标签,四种材料不锈钢、碳钢、铝材、黄铜一同存入数据库,形成带标注的‌材料特征库。

78、步骤s5包括以下步骤:

79、s51、相机标定:建立像素-物理映射‌

80、测量前使用已知尺寸的标定板进行相机内参和畸变系数的标定;由此确定每个像素代表的实际长度;

81、s52、 图像采集:获取清晰的侧面或端面视图‌

82、拍摄材料的边缘图像,确保能同时清晰看到其上下或内外两个表面边界;成像视角垂直于材料平面,避免因倾斜导致投影变形而影响精度;

83、s53、图像预处理:增强对比度与去噪‌

84、对原始图像进行灰度化、直方图均衡化和去噪处理,提升边缘对比度,抑制光照不均和传感器噪声;

85、s54、边缘检测与亚像素定位‌

86、利用canny算子检测材料的两个边界轮廓,并通过亚像素优化技术精确定位边缘位置,提高定位精度以提高测量分辨率;

87、s55、几何拟合与间距计算‌

88、将检测到的两条边缘拟合为平行直线,计算它们之间的垂直距离;

89、s56、厚度换算:像素转物理尺寸‌

90、将像素距离乘以标定时获得的像素当量,得到材料的实际厚度值。

91、本发明的有益效果是:

92、1.本发明的激光切割机视觉自适应识别板材材料方法,无需人工现场干预,能够实现对板材材料的非接触式识别,保证后续实现全自动智能切割方式,通过自动化系统完成全自动智能切割‌的全流程作业,减少人为干预的误差,实现工序的连续作业运行,显著提升生产效率、降低人力成本与劳动强度,提高生产效率和产品质量,避免人为干预误差以及由于人工干预失误造成的废品损失和设备损坏。

93、2.本发明通过建立带标注的材料特征库,基于hsv颜色空间的六维统计特征向量对不锈钢、碳钢、铝材和黄铜进行自动分类,并向激光切割机控制系统发送板材材料指令,避免了每次因人工手动输入板材材料和板材厚度出错而导致加工出废品或造成设备损耗,显著降低废品率,减少设备和工装的损坏风险。

94、3.本发明通过对板材边缘的图像采集、边缘检测与亚像素定位,自动估算板材厚度并将像素距离换算为物理尺寸,向控制系统发送板材厚度指令,无需人工测量和录入,实现了全自动无人值守作业,增加了使用的便利性。

95、4.本发明通过棋盘格标定与畸变矫正消除镜头畸变影响,通过高位相机与低位相机分工标定兼顾大范围定位与近距离材料识别精度,通过多点位拍摄与百分比投票机制抑制油污、铁锈等局部污染干扰,提高了材料识别和厚度测量的准确性、鲁棒性与可重复性,保证了切割参数自适应选取的可靠性,延长了设备使用寿命。