一种基于视觉检测的封装吸附机器人控制方法及系统与流程
本发明涉及机器视觉与机器人控制领域,尤其涉及一种基于视觉检测的封装吸附机器人控制方法及系统。
背景技术:
1、在半导体后道封装,微系统集成与光电器件贴装等工位中,通常由多轴运动机构携带真空吸附式末端吸嘴,将微小器件自取料位吸取、经空中搬运后放置于封装工位。现有的此类吸附搬运控制方案,一般由操作人员依经验预先设定光源亮度与相机观察角度并固定不变,随后以固定斜率或瞬时恒压的方式建立真空压差完成吸附,待机器人到达封装工位并停机后再对器件位姿进行检测与补偿,末端吸嘴的工具中心点则采用出厂标定所得的固定参数,仅在定期停机维护时重新标定。但现有的方案在处理极薄、易碎、高反光的微小器件时存在多方面不足:
2、其一,焊球、金属凸点或镀层表面具有镜面反射特性,当相机、器件表面法向与光源入射方向满足特定几何关系时,反射光集中进入镜头使局部像素达到饱和上限,该区域附近的真实纹理已经丢失,器件真实边缘与定位标志被高光覆盖而无法通过后续图像处理还原,固定的照明与观察设定难以适应不同表面粗糙度、镀层反射率、焊球曲率与器件微倾斜状态。其二,极薄器件抗弯刚度低且初始翘曲不均,采用与器件状态无关的固定斜率或瞬时恒压加载,容易在吸嘴与器件之间的密封尚未均匀建立时形成局部集中载荷而损伤器件。其三,为提高设备节拍需在机器人移动过程中进行飞拍检测,而曝光期间末端持续位移,使同一真实边缘沿运动轨迹卷积叠加形成方向性残影模糊;若改用盲去模糊,则须同时估计清晰图像与未知的点扩散函数,该问题固有的多解性使恢复结果不具确定性。
3、因此,现有的封装吸附机器人控制方案存在高反光表面成像饱和致盲、薄壁器件吸附加载易致损伤、飞拍图像残影模糊难以确定性复原、放置滑移纠偏不及时以及工具中心偏移长期累积的问题。
技术实现思路
1、本发明目的之一在于提供一种基于视觉检测的封装吸附机器人控制方法,以解决现有技术中高反光表面成像饱和致盲、薄壁器件吸附加载易致损伤、飞拍图像残影模糊难以确定性复原、放置滑移纠偏不及时以及工具中心偏移长期累积的问题。
2、本发明通过下述技术方案实现,一种基于视觉检测的封装吸附机器人控制方法,包括如下步骤:获取目标物件的第一表征数据,所述第一表征数据用于指示所述目标物件在预期吸附作用区域内相对于基准形态的几何偏离程度;依据所述第一表征数据,通过预设的确定性映射关系确定加载控制参量,所述加载控制参量包括加载起始量与加载变化率,且所述加载变化率与所述几何偏离程度呈负相关;按照所述加载控制参量驱动吸附执行机构对所述目标物件施加吸附作用量,所述吸附作用量自所述加载起始量起随时间非线性增长,并在所述吸附作用量增长的过程中获取所述目标物件的第二表征数据,所述第二表征数据用于指示所述目标物件边缘的形变程度;当所述第二表征数据自加载开始至当前时刻的历史极值达到预设安全阈值时,锁存当前时刻的所述吸附作用量,并停止所述吸附作用量的继续增长。
3、进一步地,依据所述第一表征数据,通过预设的确定性映射关系确定加载控制参量,包括:获取所述目标物件的第二几何参量,所述第二几何参量用于指示所述目标物件在其法向上的实体尺度;以所述第二几何参量为自变量,查询预设的刚度—负荷对应关系,得到所述加载起始量;所述吸附作用量,随时间非线性增长,包括:所述吸附作用量的增长速度自加载开始时刻起随时间按指数规律衰减,使得所述吸附作用量在加载初期的增长快于其在接近稳定状态时的增长。
4、进一步地,所述加载变化率还与所述第二几何参量的三次方呈正相关,使得所述第二几何参量越小则所述加载变化率越低。
5、进一步地,锁存当前时刻的所述吸附作用量,并停止所述吸附作用量的继续增长,包括:在当前控制周期内中断按所述加载控制参量确定的增长过程,并向所述吸附执行机构的气路输出阶跃式截断指令,以使所述吸附作用量维持于所述历史极值达到所述预设安全阈值的时刻所对应的数值;且所述锁存在本次吸附周期内保持有效,不因所述第二表征数据的回落而解除。
6、进一步地,获取目标物件的第一表征数据,包括:由视觉系统重建所述目标物件的表面高度场,并依据所述表面高度场拟合得到所述基准形态;在所述预期吸附作用区域内,对所述表面高度场与所述基准形态之差取绝对值后求单位面积平均值,将求得的单位面积平均值作为所述几何偏离程度。
7、进一步地,在获取目标物件的第一表征数据之前,所述封装吸附机器人控制方法还包括:在照明配比参量与姿态调整量所构成的联合可调范围内,同步调整所述照明配比参量并驱动所述吸附执行机构改变其姿态调整量;针对调整后的每一组照明配比参量与姿态调整量采集所述目标物件的图像,并确定该图像的结构显著度指标,所述结构显著度指标用于指示所述目标物件的边缘在该图像中的显著程度;将所述结构显著度指标取最大值时所对应的一组照明配比参量与姿态调整量确定为最佳检测位姿,并在所述最佳检测位姿下采集所述表面高度场,随后驱动所述吸附执行机构回正至垂直姿态。
8、进一步地,同步调整所述照明配比参量并驱动所述吸附执行机构改变其姿态调整量,由下述条件触发:所采集图像中局部特征区域的灰度对比度低于预设有效辨识阈值,且该图像中存在饱和像素簇;且所述同步调整依据预先建立的联动调节矩阵进行,所述联动调节矩阵用于指示所述照明配比参量的各分量与所述姿态调整量的各分量之间的调节对应关系;所述结构显著度指标为所述图像的二阶灰度变化响应相对于该响应在全图上的平均值的全局方差,且所述最佳检测位姿的确定还包括:对所述图像中灰度超过预设高光阈值的像素,按其超限幅度的平方施加惩罚并从所述结构显著度指标中扣除,同时将所述姿态调整量的幅值约束在预设的最大微倾斜量以内。
9、进一步地,所述同步调整按预设的固定步长进行,即每次调整均使所述照明配比参量的各分量与所述姿态调整量的各分量分别改变一个所述固定步长,并对每次调整后的位姿逐一采集图像与确定所述结构显著度指标。
10、进一步地,在锁存当前时刻的所述吸附作用量之后,所述封装吸附机器人控制方法还包括:在所述吸附执行机构携带所述目标物件向封装工位移动的过程中,触发对所述吸附执行机构及所述目标物件的运动成像,得到含残影的原始图像帧;依据所述吸附执行机构在所述运动成像的曝光时间窗口内的实际位移构造运动退化算子;以所述运动退化算子为已知量,对所述原始图像帧执行确定性反演,得到所述目标物件的轮廓数据;所述依据所述吸附执行机构在所述运动成像的曝光时间窗口内的实际位移构造运动退化算子,包括:将所述封装吸附机器人的关节编码器的采样时刻与所述运动成像的曝光开启信号及曝光关闭信号在硬件层面对齐,得到同步时间戳序列;依据所述同步时间戳序列中各采样时刻的关节编码器位置相对于曝光开启时刻的位置差值,确定所述吸附执行机构投影至成像平面的相对位移,并按像素当量将该相对位移换算为离散像素位移;将各所述离散像素位移所对应的位置各自赋以相同权重并叠加,构成所述运动退化算子,且所述运动退化算子的全部权重之和归一化为一。
11、进一步地,以所述运动退化算子为已知量,对所述原始图像帧执行确定性反演,包括:迭代地对当前轮廓估计值施加数据一致性修正项与边缘保持正则项,直至满足收敛条件;其中所述数据一致性修正项使当前轮廓估计值经所述运动退化算子作用后与所述原始图像帧之间的残差减小,所述边缘保持正则项在抑制平坦区域高频噪声的同时保留所述目标物件边缘处的灰度阶跃。
12、进一步地,在得到所述目标物件的轮廓数据之后,所述方法还包括:将所述轮廓数据与预设的基准几何数据进行坐标系比对,得到位姿偏差量,所述位姿偏差量包括两个平移分量与一个平面旋转分量;依据逆运动映射关系将所述位姿偏差量转换为微调执行机构的轴向控制量,得到候选补偿量;在所述封装吸附机器人到达所述封装工位之前,且在其主运动轨迹不减速的状态下,将所述候选补偿量作为前馈量叠加至所述微调执行机构的当前控制指令。
13、进一步地,在将所述候选补偿量作为前馈量叠加至所述微调执行机构的当前控制指令之前,所述封装吸附机器人控制方法还包括:确定所述封装吸附机器人由当前路径位置至所述封装工位的剩余运动时间,并自所述剩余运动时间中扣除所述微调执行机构的机械响应时间,得到可用时间窗口;当所述可用时间窗口大于通信延迟阈值时,经第一下发路径下发所述候选补偿量;当所述可用时间窗口大于零且不大于所述通信延迟阈值时,切换至第二下发路径下发所述候选补偿量,所述第二下发路径的传输延迟低于所述第一下发路径;当所述可用时间窗口不大于零时,放弃本次叠加。
14、进一步地,确定所述封装吸附机器人由当前路径位置至所述封装工位的剩余运动时间,包括:自所述当前路径位置至所述封装工位沿路径对工具作用点运行速度的倒数求积分;在所述工具作用点运行速度于剩余路径范围内近似不变时,所述剩余运动时间为剩余路径长度与该运行速度之比。
15、进一步地,第二下发路径由可编程逻辑器件承载,所述可编程逻辑器件越过所述控制设备的主控制流程,将所述候选补偿量直接输出为供所述微调执行机构接收的高频步进脉冲。
16、进一步地,候选补偿量包括与所述位姿偏差量成比例的第一分量以及与所述位姿偏差量随时间的变化率成比例的第二分量,使得在所述位姿偏差量持续增大时,所述候选补偿量依其增大趋势提前增加。
17、进一步地,封装吸附机器人控制方法还包括:配置同轴或近轴的第一采集通道与第二采集通道,所述第一采集通道用于采集所述目标物件,所述第二采集通道的成像倍率高于所述第一采集通道且其视场小于所述第一采集通道,所述第二采集通道用于采集所述吸附执行机构自身的边缘;在所述封装吸附机器人的非作业间隙或空载移动过程中,触发所述第二采集通道采集所述吸附执行机构的当前轮廓数据;将所述当前轮廓数据与预设的基准轮廓模板作差集运算,提取轮廓变化区域;分别确定所述基准轮廓模板与所述当前轮廓数据各自的几何质心,将二者之差作为中心偏移矢量,所述中心偏移矢量用于指示所述吸附执行机构的非对称磨损或非对称变形程度;当所述中心偏移矢量超过预设的容忍极值时,依据标定转换关系将所述中心偏移矢量换算为工具坐标系下的平移修正量;将所述平移修正量组合为齐次平移变换并右乘于所述封装吸附机器人当前的工具变换关系,得到更新后的工具变换关系,且所述更新在所述封装吸附机器人的运动指令不中断的状态下生效。
18、进一步地,目标物件包括:极薄硅片、薄膜器件、微型封装体以及含焊球或金属凸点的芯片中的至少一种;所述吸附执行机构包括末端吸嘴,所述吸附作用量为所述末端吸嘴的内腔相对于外部环境的负压幅值,所述负压幅值恒为非负且其数值增大表示吸附作用增强。
19、本发明另一方面提供了一种基于视觉检测的封装吸附机器人控制系统,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上所述的任一种基于视觉检测的封装吸附机器人控制方法。
20、本发明与现有技术相比,具有如下的优点和有益效果:
21、1、本发明将原本依赖人工经验设定的照明配比与观察角度转化为具有明确目标函数与约束条件的联合寻优问题,并以高光截断惩罚项主动规避饱和致盲区,使最佳检测位姿的选取不再依赖操作人员经验,在焊球、金属凸点等强镜面表面上仍可获得边缘显著且未饱和的图像;并以器件自身的实体厚度与平均绝对翘曲量确定性地映射为加载起始量与加载变化率,使薄器件与高翘曲器件自动获得更缓的加载过程,加载律随器件几何状态自适应收敛于安全侧,而非采用与器件无关的经验曲线。
22、2、本发明以随时间非线性增长的吸附作用量兼顾初期快速建立基本密封与接近稳定状态时减小加载速度两项要求,并以边缘形变的历史极值构建锁存判据,一经越限即阶跃截断保压且不因弹性回弹而误解除,杜绝了越限后压力反复升降对器件造成的疲劳损伤;同时以关节编码器采样时刻与相机曝光信号的硬件级时钟对齐,由曝光窗内的实际位移确定性地构造运动退化算子,将盲去模糊转化为已知退化算子的非盲反演,去模糊过程具备可解释性与确定性,且恢复精度不再随运动幅度增大而劣化;反演中的边缘保持正则项在抑制平坦区高频噪声的同时保留器件边缘处的灰度阶跃,避免了直接求逆所引起的噪声放大。
23、3、本发明以高倍率窄视场在空载间隙对吸附执行机构自身轮廓进行原位监测,并以基准轮廓与当前轮廓各自的几何质心之差作为磨损测度,可将需要修正工具中心的非对称磨损与不需修正的对称磨损明确区分;越限时以齐次变换实时更新工具变换关系,在运动指令不中断的前提下隔离吸嘴长期磨损对放置精度的累积影响。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com