一种引线框架工位偏差视觉识别方法及系统与流程
本发明涉及工业视觉检测,尤其涉及一种引线框架工位偏差视觉识别方法及系统。
背景技术:
1、引线框架在连续生产过程中需要保持与生产工位之间稳定的空间配合关系。在生产工位成像范围内,引线框架各结构区域相对于固定参照区域的位置、姿态以及不同结构区域之间的空间关系可能出现偏离,并呈现整体平移、姿态偏转、局部定位或区域关联等视觉偏差表现。现有视觉识别方法通常依据单帧图像中的目标轮廓、坐标偏移或局部特征进行判断,难以持续表征不同结构区域之间的动态关联,识别结果易受图像帧间区域对应不稳定的影响。
2、引线框架自身结构随其移动产生的视觉变化,与视觉变化在生产工位固定位置跨生产周期重复出现的状态,均可表现为区域位置或轮廓形态变化。现有方法对多区域变化方向、响应时序及空间关系保持状态缺少联合分析,难以区分多个结构区域呈整体协同变化的视觉响应、在固定位置重复出现的视觉响应以及随引线框架移动的结构变化,也难以对相应视觉偏差状态进行类型识别及异常位置确定。因此如何提高引线框架工位偏差视觉识别的准确性和定位可靠性,成为了亟待解决的问题。
技术实现思路
1、本发明提供一种引线框架工位偏差视觉识别方法及系统,以解决上述背景技术中提出的问题。
2、为实现上述目的,本发明提供的一种引线框架工位偏差视觉识别方法,包括:
3、获取引线框架生产工位的连续视觉图像,识别目标区域和固定参照区域,并将目标区域划分为不同结构区域,所述结构区域包括框架连接区域、引脚排列区域和加工成型区域;
4、以结构区域和固定参照区域为节点,以节点之间的相对位置、间距和方向关系为关联边,构建区域空间关系图;
5、基于区域空间关系图,对结构区域进行逐帧关联追踪,确定相邻图像帧之间相互对应的结构区域,并更新图像帧中的节点状态和关联边状态,以得到连续区域空间关系图序列;
6、对连续区域空间关系图序列进行时序演化解析,得到多区域视觉响应关系,并基于多区域视觉响应关系,分析不同结构区域之间的变化关联特征,得到区域协同响应特征;
7、基于区域协同响应特征,判定视觉变化来源,筛选出工位偏差响应特征,并对工位偏差响应特征进行综合判别,得到工位偏差类型;
8、基于工位偏差响应特征对应的节点与固定参照区域的对应关系,确定异常工位位置,并结合工位偏差类型,生成视觉识别结果。
9、在一个优选的实施方式中,所述识别目标区域和固定参照区域,并将目标区域划分为不同结构区域包括:
10、对连续视觉图像中的各图像帧进行光照补偿和二值化分割,得到二值化图像序列;
11、根据二值化图像序列,识别各图像帧中的固定参照标记,确定固定参照区域;
12、以固定参照区域为空间基准,提取引线框架的边缘轮廓,并根据边缘轮廓界定目标区域;
13、提取目标区域中的连续连接轮廓、周期排列轮廓和加工边界轮廓,得到结构轮廓集合;
14、根据结构轮廓集合中各轮廓的分布位置和连接关系,将目标区域划分为框架连接区域、引脚排列区域和加工成型区域。
15、在一个优选的实施方式中,所述以结构区域和固定参照区域为节点,以节点之间的相对位置、间距和方向关系为关联边,构建区域空间关系图,包括:
16、将固定参照区域和结构区域的几何中心坐标作为节点坐标,以固定参照区域的节点坐标为坐标原点,以图像帧的横向和纵向为坐标轴方向,建立平面参照坐标系;
17、将各节点坐标转换至平面参照坐标系中,得到各节点的参照坐标;
18、根据参照坐标,分别确定各结构区域节点之间以及固定参照区域节点与各结构区域节点之间的相对位置向量、节点间距和相对方向角;
19、将各结构区域节点之间的相对位置向量、节点间距和相对方向角作为第一类型关联边的边状态,将固定参照区域节点与各结构区域节点之间的相对位置向量、节点间距和相对方向角作为第二类型关联边的边状态;所述第二类型关联边的相对位置向量由固定参照区域节点指向对应结构区域节点;
20、以第一类型关联边和第二类型关联边为连接边,建立区域空间关系图。
21、在一个优选的实施方式中,所述基于区域空间关系图,对结构区域进行逐帧关联追踪,确定相邻图像帧之间相互对应的结构区域,包括:
22、以当前图像帧的区域空间关系图中的各节点状态和各关联边状态为当前帧图状态;
23、以下一图像帧的区域空间关系图中的各节点状态和各关联边状态为候选帧图状态;
24、将当前帧图状态与候选帧图状态中的节点状态进行匹配,得到初始节点对应关系;
25、根据当前帧图状态与候选帧图状态中关联边的连接对象、边类型和边状态变化,对初始节点对应关系进行一致性校验,以得到校正后的节点对应关系;
26、根据校正后的节点对应关系,将当前图像帧中的各结构区域与下一图像帧中的对应结构区域建立关联,确定相邻图像帧之间相互对应的结构区域。
27、在一个优选的实施方式中,所述更新图像帧中的节点状态和关联边状态,以得到连续区域空间关系图序列,包括:
28、根据校正后的节点对应关系,为下一图像帧中相互对应的结构区域设置对应的节点标识,并为固定参照区域设置固定参照节点标识;
29、获取下一图像帧中各结构区域和固定参照区域的参照坐标及轮廓形态,并将参照坐标和轮廓形态记录至对应节点,得到更新后的节点状态;
30、根据更新后的节点状态,确定关联节点之间的相对位置向量、节点间距和相对方向角,并将确定结果记录至对应关联边,得到更新后的关联边状态;
31、根据更新后的节点状态和关联边状态,生成下一图像帧的区域空间关系图;
32、按照图像帧的时间顺序,对各区域空间关系图进行排列,得到连续区域空间关系图序列。
33、在一个优选的实施方式中,所述对连续区域空间关系图序列进行时序演化解析,得到多区域视觉响应关系,包括:
34、基于连续区域空间关系图序列,提取各结构区域节点的参照坐标和轮廓形态,得到节点状态时序序列;
35、提取关联边的相对位置向量、节点间距和相对方向角,得到关联边状态时序序列;
36、根据节点状态时序序列中同一结构区域节点在相邻图像帧之间的坐标偏移,确定各结构区域节点的位置偏移时序轨迹;
37、根据节点状态时序序列中同一结构区域节点在相邻图像帧之间的轮廓边界、区域面积和轮廓方向变化,确定各结构区域节点的形态变化时序轨迹;
38、将位置偏移时序轨迹和形态变化时序轨迹作为结构区域节点的单区域视觉响应特征,并根据关联边状态时序序列确定关联节点之间的区域关系响应特征;
39、按照关联边连接的节点和图像帧顺序,将单区域视觉响应特征与区域关系响应特征进行关联,建立各结构区域之间以及各结构区域与固定参照区域之间的时序对应关系,得到多区域视觉响应关系。
40、在一个优选的实施方式中,所述基于多区域视觉响应关系,分析不同结构区域之间的变化关联特征,得到区域协同响应特征,包括:
41、根据多区域视觉响应关系中各结构区域节点对应的第二类型关联边的相对位置向量变化方向,确定方向关联特征;
42、根据各结构区域节点的位置偏移时序轨迹和形态变化时序轨迹,提取各结构区域发生变化的起始图像帧、结束图像帧和连续帧范围,确定时序关联特征;
43、根据关联边状态时序序列中第一类型关联边的相对位置向量、节点间距和相对方向角的变化状态,确定空间关系保持特征;
44、根据发生变化的结构区域节点确定响应节点范围,并将响应节点范围、方向关联特征、时序关联特征和空间关系保持特征组合为区域协同响应特征。
45、在一个优选的实施方式中,所述基于区域协同响应特征,判定视觉变化来源,筛选出工位偏差响应特征,包括:
46、根据区域协同响应特征所涉及的响应节点在平面参照坐标系中的参照坐标,确定相邻图像帧中的结构区域节点排列次序;
47、当结构区域节点的变化方向具有协同关系、响应起始时序一致,第一类型关联边的节点间距保持稳定,且结构区域节点的邻接顺序保持稳定时,将对应视觉变化确定为工位整体运动响应;
48、以固定参照区域为空间基准,确定其余发生视觉变化的结构区域节点在生产工位中的位置,并复核不同生产周期中同一位置的节点变化,具体为:
49、当节点变化持续出现于生产工位的同一位置时,将对应视觉变化确定为工位局部运动响应;当节点变化随引线框架移动且未在生产工位的同一位置重复出现时,将对应视觉变化确定为引线框架结构变化;当节点变化仅在一个生产周期中出现且无法完成跨生产周期位置复核时,将对应视觉变化确定为待复核变化,得到变化来源结果;
50、根据变化来源结果,筛选工位整体运动响应和工位局部运动响应对应的区域协同响应特征,排除引线框架结构变化和待复核变化对应的区域协同响应特征,得到工位偏差响应特征。
51、在一个优选的实施方式中,所述对工位偏差响应特征进行综合判别,得到工位偏差类型,包括:
52、根据工位偏差响应特征中的工位运动响应类型、响应节点范围、方向关联特征、时序关联特征和空间关系保持特征进行判别;
53、当工位运动响应类型为工位整体运动响应,且结构区域节点的变化方向一致、第一类型关联边状态保持稳定时,确定为工位整体平移偏差;
54、当工位运动响应类型为工位整体运动响应,且第一类型关联边的节点间距保持稳定、相对方向角同步变化时,确定为工位姿态偏转偏差;
55、当工位运动响应类型为工位局部运动响应,且响应节点范围为单个结构区域节点时,确定为局部定位异常;
56、当工位运动响应类型为工位局部运动响应,且响应节点范围包括多个结构区域节点、方向关联和时序关联失去一致性、第一类型关联边状态发生变化时,确定为区域运动关联异常。
57、为了解决上述问题,本发明还提供一种引线框架工位偏差视觉识别系统,所述系统包括:
58、区域划分模块,用于获取引线框架生产工位的连续视觉图像,识别目标区域和固定参照区域,并将目标区域划分为不同结构区域,所述结构区域包括框架连接区域、引脚排列区域和加工成型区域;
59、空间建图模块,用于以结构区域和固定参照区域为节点,以节点之间的相对位置、间距和方向关系为关联边,构建区域空间关系图;
60、追踪更新模块,用于基于区域空间关系图,对结构区域进行逐帧关联追踪,确定相邻图像帧之间相互对应的结构区域,并更新图像帧中的节点状态和关联边状态,以得到连续区域空间关系图序列;
61、演化解析模块,用于对连续区域空间关系图序列进行时序演化解析,得到多区域视觉响应关系,并基于多区域视觉响应关系,分析不同结构区域之间的变化关联特征,得到区域协同响应特征;
62、偏差判别模块,用于基于区域协同响应特征,判定视觉变化来源,筛选出工位偏差响应特征,并对工位偏差响应特征进行综合判别,得到工位偏差类型;
63、定位输出模块,用于基于工位偏差响应特征对应的节点与固定参照区域的对应关系,确定异常工位位置,并结合工位偏差类型,生成视觉识别结果。
64、与现有技术相比,本发明具有以下有益效果:
65、1.本发明通过识别固定参照区域,并将框架连接区域、引脚排列区域和加工成型区域构造成具有相对位置、间距及方向关系的区域空间关系图,利用节点状态与关联边状态对结构区域进行逐帧关联追踪和一致性校验,使连续图像中的区域对应关系保持连贯,为偏差分析提供稳定的空间基准和时序数据基础,使多区域视觉特征在连续图像帧中形成前后对应、可核对的数据关系,并增强工位偏差识别过程的可复核性。
66、2.本发明通过联合解析位置偏移轨迹、形态变化轨迹及关联边状态,形成包含响应范围、变化方向、响应时序和空间关系保持状态的区域协同响应特征,并结合不同生产周期中的位置复核,对多个结构区域整体协同变化、固定位置跨生产周期重复变化以及随引线框架移动的结构变化等视觉响应模式进行区分,可识别整体平移偏差、姿态偏转偏差、局部定位异常及区域运动关联异常等工位视觉偏差类型,同时输出相对于固定参照区域的异常工位位置范围,从而为视觉偏差状态的模式判定、类型识别和异常定位提供前后对应、可核对的数据基础。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com