高精度视觉定位方法与流程

1.本发明涉及一种高精度视觉识别定位技术。


背景技术：

2.随着计算机技术不断进步和工业智能制造产业飞速发展，机器视觉技术的广泛应用使得机器设备具有眼睛“看”和大脑“分析决策”功能，机器设备替代人类进行产品自动化生产、制造、操控、决策，极大节省了社会生产劳动力，提高了生产效率和产品质量，进而促进社会科技生产力的发展。
3.机器视觉是工程领域和科学领域中一个非常重要的研究领域，它是一门涉及光学、机械、计算机、模式识别、图像处理、人工智能、信号处理以及光电一体化等多个领域的综合性学科。
4.目前美国在抓紧对中国的高科技领域尤其是半导体技术领域的发展进行限制和阻碍。半导体产业代表着高科技智能制造技术的精华，体现一国的科技实力，在半导体工艺制造成产进程中，为确保产品质量和生产效率，机器视觉技术的应用扮演着重要角色。
5.视觉识别定位是机器视觉和人工智能领域中的核心基础功能，在智能检测设备中对产品进行识别分析、位姿估计、几何测量、外观缺陷、异物检测等应用广泛，如视觉引导机器人要通过视觉成像识别出产品，并定位出产品位置信息后以便机器人自动化操控。产品的尺寸测量和外观检测等，在测量和检测之前要视觉识别产品及产品位置信息。因此视觉识别和定位是一个视觉自动化检测的基本问题。某些工业设备对精度和公差有严格要求的产品需要有高精度的视觉识别定位功能，要求达像素级别，甚至亚像素级别。
6.较成熟稳定的视觉高精度识别定位技术多由国外商业技术公司提供，如德国mvtec halcon、美国康耐视congnex visionpro、日本基恩士keyence等，目前国内较缺乏这方面的自研技术解决方案，众多自动化设备研发公司的产品基于国外技术进行二次开发和集成应用。
7.常用的视觉定位算法有采用图像灰度匹配(平方差匹配、标准方差匹配、ncc相关匹配等)、特征点匹配(如sift、surf ransac)、直方图匹配、基于形状匹配、mark标记定位等方式。实际应用中，这些方法均存在诸多技术缺点，应用场景有限，对系统环境要求苛刻，在普遍应用场景下，如光照变化、物体形变、高精度要求等，基于以上方法实现的视觉识别定位效果差，实际应用上具有较大局限性。


技术实现要素：

8.本发明所要解决的技术问题：针对现有的视觉定位算法存在的定位效果差难以满足识别率和精确度要求的问题，提供了一种高精度视觉识别定位方法，本发明中我们首次提出一种同时具有图像梯度和轮廓特性的物体特征描述子，我们称之为目标梯形描述子ogsd(object gradient shape discription)。该描述子ogsd具有良好的抗噪、光照变化、尺度
‑
旋转不变特性(scale
‑
invariant feature)。
9.本发明的设计思想是：
10.1.具有利用图像梯度方向提取梯形特征描述子和检测特征点集，且特征基于ogsd描述提取方式或类似ogsd思想设计或者修改的方式提取。
11.2.具有模板(母版)创建(或称学习/训练)和识别定位过程，且基于ogsd特征或者类似ogsd的方式实现识别粗定位。
12.3.具有二次定位过程即精定位，且粗定位之后的精定位基于点云配准原理进行的位姿矫正求解实现高精度定位。
13.本发明的技术方案是：
14.一种高精度视觉定位方法，包括：对图像进行提取轮廓和计算图像梯度，两者组合得到图像的目标梯形描述子，逐点对比待检测图像与模板图像是否匹配，找出待检测图像与模板图像的匹配点集。
15.匹配成功后计算待匹配点集梯形描述子与模板目标梯形描述子之间的透视变换关系得出变换矩阵，得到待检测目标的位姿信息。
16.目标梯形描述子的提取过程为：首先对图像进行预处理，然后分别进行提取轮廓和金字塔下采样，计算图像梯度形成特征响应图，提取梯度并进行直方图统计，横轴为梯度方向并进行量化，纵轴为量化后梯度方向的数量统计，最后结合梯度方向直方图、该点梯度幅值强度以及轮廓特性形成特征点集合。
17.具体的识别方法为：
18.a.建立模板的目标梯形描述子，对模板图像进行预处理，提取轮廓和计算图像梯度，组合得到模板的目标梯形描述子；
19.b.建立待检测图像的特征点集，对待检测的图像进行预处理，提取轮廓和计算图像梯度，组合得到待检测图像的待匹配的特征点集；
20.c.粗定位，逐点比对模板的目标梯形描述子与待检测图像的特征点集，判断是否匹配，匹配成功后进入步骤d；
21.d.精确定位，求解模板的目标梯形描述子与待检测图像的特征点集之间的透视变换关系得出变换矩阵，得到待检测目标的位姿信息。
22.图像预处理包括：二维图像进行高斯平滑和去噪得到彩色或者灰度图像，三维图像降维为二维图像处理。
23.步骤c中判断是否匹配的过程为：对待检测的特征点集和模板目标梯形描述子进行逐点匹配评分，计算输出置信度，若置信度满足设置的阈值则匹配成功。
24.在于步骤c中:逐点比对待检测图像中特征点与模板的目标梯形描述子并评分，将匹配成功点作为匹配目标的特征点集。
25.步骤d：模板的目标梯形描述子点集p＝{pi|pi∈r3，i＝1,2，
……
n}，待检测图像的特征点集q＝{qj|qj∈r3，j＝1,2，
……
m}，设旋转矩阵为r，平移矩阵为t，用f(r，t)来表示源点集p在变换矩阵(r，t)下与目标点集q之间的误差，求满足min(f(r，t))的最优解pos2(r，t)，pos2(r，t)＝f(r,t)
26.27.最后计算输出识别定位信息结果:类别id、中心位置、旋转角度、位姿变换矩阵。
28.本发明的有益效果是：
29.本发明首次提出ogsd特征描述子，其关键设计思想在于同时结合了图像梯度(强度和方向量化)、物体轮廓shape属性作为物体(rigid
‑
body)特征的描述子，其具有高级抽象的封装辨别特性、符合人眼从轮廓角度识别和定位物体。
30.通过与其他方法的检测效果对比，我们提供的方法检测识别率和精确率更优更稳定，适用于更复杂多变应用场景。识别定位精确性、稳定性以及效率是机器视觉检测设备的核心竞争优势。80％以上的机器视觉检测设备的核心功能基于视觉识别定位基础之上进行各种检测分析。高精度视觉识别定位技术应用前景大，本发明提供的高精度视觉识别定位方法具有很好的创新性、实用性和技术应用价值。
附图说明
31.图1是本发明的逻辑流程图。
具体实施方式
32.实施例1：
33.主要步骤如下：
34.1.对输入二维图像img(x,y)进行目标梯形特征ogsd提取。
35.a.对二维图像img(x,y)(如为三维图像，则需降维二维图像后处理)进行高斯平滑，去噪等预处理得到彩色或者灰度图像input。
36.b.将预处理后图像input分别提取轮廓shape和金字塔下采样并计算图像梯度形成input图像特征响应图responses。
37.c.若尚未创建(学习)模板特征描述子ogsd，则：
38.基于1.b中特征响应图responses提取目标梯形特征描述子ogsd并分配类别名称：id。模板(母版)创建只需创建一次即可，如要识别多个类别则依此创建。
39.否则，基于1.b中特征响应图response提取图像特征点集ogsd_dst。
40.其中ogsd提取描述如下：
41.基于步骤1.b中梯度特征响应图response，在每一点一定领域内kernel提取梯度并进行直方图统计，横轴为梯度方向(0～360度)并进行量化(量化个数＝8)，纵轴为量化后梯度方向的数量统计。最后结合梯度方向直方图hist、该点梯度幅值强度mag以及轮廓shape特性形成图像的目标梯形描述子ogsd。
42.2.将待检测图像的特征点集ogsd_dst与模板目标梯形描述子ogsd_src进行匹配评分，实现粗定位过程并求解(pos1过程)。
43.a.ogsd_dst与ogsd_src逐点匹配评分并计算输出置信度conf。
44.b.如置信度conf小于所设置的阈值score,则无匹配目标，返回。
45.c.匹配成功的特征点构成识别目标的特征点集ogsd_dst2。
46.3.对粗定位pos1进行精确位姿调优，实现精定位过程并求解(pos2过程)。
47.pos2求解过程为实现高精度定位的关键步骤。
48.根据点云配准原理，具体描述如下：
49.即模板ogsd_src和检测特征点集ogsd_dst2为待匹配的两组特征数据点集。其中p＝{pi|pi∈r3，i＝1,2，
……
n}为源点集ogsd_src，q＝{qj|qj∈r3，j＝1,2，
……
m}为目标点集ogsd_dst。设旋转矩阵为r，平移矩阵为t，用f(r，t)来表示源点集p在变换矩阵(r，t)下与目标点集q之间的误差。则求解最优变换矩阵的问题可以转化为求满足min(f(r，t))的最优解pos2(r，t)。
[0050][0051]
pos2(r，t)＝f(r,t)
[0052]
最后计算输出识别定位信息结果:
[0053]
类别id、中心位置center(x,y,z)、旋转角度angle、位姿变换矩阵trans_mat等结果。
[0054]
实施例2：对软件的运行过程描述如下
[0055]
学习模板过程：
[0056]
对模板图像进行预处理后提取轮廓shape和ogsd_src特征及相应目标信息(如位置，大小等)，学习成功则保存模板。
[0057]
检测过程：
[0058]
首先加载已学习的模板并初始化运行环境参数，对输入图像进行图像预处理，提取轮廓shape和特征点集ogsd_dst。其次对ogsd_src和ogsd_dst进行评估打分输出score等置信度。
[0059]
如score>threshold，则判定目标识别成功。将识别成功的点构成ogsd_dst2。
[0060]
根据模板和目标相应信息求解ogsd_dst2和ogsd_src之间的透视变换关系得出透视矩阵mat。
[0061]
利用mat进行检测目标的位姿信息(位置xy、旋转角度angle)进行精确定位，并更新最后的位姿信息。
[0062]
进一步的具体识别过程为：
[0063]
a.建立模板的目标梯形描述子。对模板图像进行预处理，提取轮廓和计算图像梯度，组合得到模板的目标梯形描述子。
[0064]
图像预处理包括：二维图像进行高斯平滑和去噪得到彩色或者灰度图像，三维图像降维为二维图像处理。
[0065]
将预处理后图像input分别提取轮廓shape和金字塔下采样并计算图像梯度形成input图像特征响应图responses。基于特征响应图responses提取目标梯形特征描述子ogsd并分配类别名称：id0。模板(母版)创建只需创建一次即可，如要识别多个类别则依此创建。在该点一定领域内kernel提取梯度并进行直方图统计，横轴为梯度方向(0～360度)并进行量化(量化个数＝8)，纵轴为量化后梯度方向的数量统计。最后结合梯度方向直方图hist、该点梯度幅值强度mag以及轮廓shape特性过滤筛选形成特征描述子ogsd_src。
[0066]
b.建立待检测图像的特征点集。对待检测的图像进行预处理，提取轮廓和计算图像梯度，组合得到待检测图像的待匹配特征点集。
[0067]
c.粗定位，逐点比对模板的目标梯形描述子与待检测图像的特征点集，判断是否匹配，匹配成功后进入步骤d。将梯度特征点集ogsd_dst与模板特征描述子ogsd_src进行匹
配评分，实现粗定位过程并求解pos1。具体为:对ogsd_dst1与ogsd_src逐点匹配评分并计算输出置信度conf。如置信度conf小于所设置的阈值score,则无匹配目标，返回，若置信度满足设置的阈值则匹配成功。匹配成功的点集构成识别目标的特征点集。
[0068]
进一步的，在粗定位中可以不使用梯形描述子中的轮廓数据，仅以每个点的梯度作为对比依据。
[0069]
d.精确定位：求解ogsd_src和ogsd_dst2之间的透视矩阵，模板的目标梯形描述子点集p＝{pi|pi∈r3，i＝1,2，
……
n}，待检测的特征点集q＝{qj|qj∈r3，j＝1,2，
……
m}，设旋转矩阵为r，平移矩阵为t，用f(r，t)来表示源点集p在变换矩阵(r，t)下与目标点集q之间的误差，求满足min(f(r，t))的最优解pos2(r，t)，pos2(r，t)＝f(r,t)
[0070][0071]
最后计算输出识别定位信息结果:类别id、中心位置、旋转角度、位姿透视变换矩阵。