一种基于深度相机的立体OCR检测方法与流程

一种基于深度相机的立体ocr检测方法
技术领域
1.本发明属于计算机图像处理技术领域，用于立体字符的ocr(optical character recognition，光学字符识别)检测，为一种基于深度相机的立体ocr检测方法。


背景技术：

2.ocr(optical character recognition，光学字符识别)是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程；即，针对印刷体字符，采用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件，并通过识别软件将图像中的文字转换成文本格式，供文字处理软件进一步编辑加工的技术。
3.自20世纪60年代初期出现第一代ocr产品开始，经过30多年的不断发展改进，包括手写体的各种ocr技术的研究取得了令人瞩目的成果，人们对ocr产品的功能要求也从原来的单纯注重识别率，发展到对整个ocr系统的识别速度、用户界面的友好性、操作的简便性、产品的稳定性、适应性、可靠性和易升级性、售前售后服务质量等各方面提出更高的要求。
4.随着工业自动化的发展ocr技术在生产检测中也得到了广泛应用：如键盘生产线上对于键帽字符的识别、食品包装上对于生产日期等字符的识别、生产的卡片(如银行卡)上对于卡号的识别等等。且在上述生产线中，一些字符是立体、存在高度位于物件之上的。然目前大多的ocr检测方式仍是基于普通二维相机采集图像通过一系列图像预处理，来对其进行识别，当存在较为复杂的背景干扰、光源干扰及污渍时，ocr的检测往往会存在漏检、错检的情况，且二维下一系列的图像预处理在检测效率上可能存在一定影响。


技术实现要素：

5.本发明要解决的问题是：对于存在一定高度的字符的ocr检测，提出一种新的采图及检测方案，解决了存在较为复杂的背景干扰、光源干扰及污渍时，ocr的检测往往会存在漏检、错检的情况，且简化了内部图像预处理的过程
6.本发明的技术方案为：一种基于深度相机的立体ocr检测方法，建立检测系统，包括控制计算机、结构光法深度相机、传送平台及光学支架，被检样品放置于传送平台上，经传送平台移动待检测样品至相机下方位置，传送平台给出由网口通信给出信号，信号被控制计算机读取并触发深度相机采集待测样品的深度图，由所得的深度图拟合出待测样品的点云图片，由点云图中的最大高度及最小高度值，处理计算颜色跨度并染色，使得立体的字符部分灰度差异更加明显，进而对字符进行ocr的检测。
7.进一步的，深度相机采集深度图的采集方式为：采用深度相机来对待测物件数据进行采集，并通过网口通信调用系统内函数来获取深度相机内的深度图值点云图的转换。
8.进一步的，触发深度相机采集时，采用与传送平台网口通信的方式确定待测物件是否已至相机下方，并开始对图像数据进行采集。
9.进一步的，点云图片的处理方式为：读取点云内的高度信息，并按高度信息计算适
当的颜色跨度对点云进行染色，使得凸起的字符部分灰度值相对于背景来说更为明显而更易于与背景区分、去除背景干扰、去除外部光源干扰、去除字符上的污浊等。
10.本发明基于结构光法深度相机，对待测物体进行图像采集，深度相机相较于传统的二维相机，其返回的并非是当前相机所采集的图像的实际像素值，而是以各像素点距相机的位置来对图像的像素点进行表示，故当待检测的字符为立体，尽管背景复杂，深度相机并不会采集其背景部分的冗余信息，故此时背景的灰度是一致的，而仅凸显了立体字符的灰度值与背景并非一致，故去除了背景的干扰，污渍同样如此，因污渍多是覆盖于立体字符之上，故高度信息与字符高度基本一致或相差不大。本发明结构光法深度相机有精度高可达mm级且不受外部光源信息干扰，可有效测得待测物体距相机的深度信息，排除背景及光源干扰，再结合点云图，对点云进行染色，使得凸起的字符部分灰度值相对于背景来说更为明显而更易于与背景区分，实现在ocr识别时去除背景干扰、去除外部光源干扰、去除字符上的污浊等。
附图说明
11.图1是本发明方法下的检测系统结构框图。
12.图2是本发明实施例，对键帽进行检测，键帽上方字符高度较小，经数据处理后得到增强字符与背景区别的效果图，(a)为待测样品的图像。(b)为深度图，(c)为深度图拟合得到的点云图片。
13.图3是本发明实施例的检测结果(a)深度图得到的点云图，(b)为识别出的结果。
具体实施方式
14.本发明提出一种基于深度相机的立体ocr检测方法，建立检测系统，包括控制计算机、基于结构光法的深度相机、传送平台及光学支架，光学支架将深度相机架设在传送平台上方，传送平台及深度相机受计算机控制工作。被检样品放置于传送平台上，经传送平台移动待检测样品至相机下方位置，传送平台给出由网口通信给出信号，信号被控制计算机读取并触发深度相机采集待测样品的深度图，由所得的深度图拟合出待测样品的点云图片，由点云图中的最大高度及最小高度值，处理计算颜色跨度并染色，使得立体的字符部分灰度差异更加明显，进而对字符进行ocr的检测。
15.下面通过实施例说明本发明。
16.本发明基于结构光法深度相机的立体ocr检测系统其系统结构如图1所示。系统由上位机(控制计算机)、基于结构光法的深度相机及传送平台组成，上位机中装有系统控制软件。传送平台与结构光法深度相机皆通过网口与上位机实施通信，系统中使用三角激光法的结构光来对深度相机进行读取。
17.系统控制软件即一个控制界面，应用程序通过labview编写，作为整个系统的控制中心，主要涉及到的功能就是对外通信，通过网口通信对相机的参数设置、开始采图及停止采图、读取图像发出指令。并通过与移动平台的网口通信读取移动平台当前位置来判定待检测物件是否至相机视野内并被深度的激光相机所扫描来通过系统控制软件反馈给相机命令相机开始采图。
18.当相机采图一次流程结束后，将通过c 语言所编写的函数获取相机buffer中的
深度图片，并由相机的标定参数计算出深度图片所对应的点云图，该处通过放大大于整体深度图均值的方式，来凸显高度较高的区域，即字符区域，如图2所示。
19.获取点云图后，根据每个高度点较均值的方差，来确定对点云进行染色的跨度，方差越小，则染色跨度越大，则通过对点云的染色后，点云中不同高度的点将存在很大的颜色差异；同样也可通过在x视角下通过人工选取的方式对点云进行染色，将能更好地突出立体字符部分与背景的差异。
20.经染色后的点云其不同高度已存在较大的颜色偏差，现将以z视角俯视的角度创建点云投影得到二维的投影图片进行初次检测，如检测未识别出结果则再对图像进行预处理再次进行迭代检测。最后得到检测结果如图3所示。


技术特征：
1.一种基于深度相机的立体ocr检测方法，其特征是建立检测系统，包括控制计算机、结构光法深度相机、传送平台及光学支架，被检样品放置于传送平台上，经传送平台移动待检测样品至相机下方位置，传送平台给出由网口通信给出信号，信号被控制计算机读取并触发深度相机采集待测样品的深度图，由所得的深度图拟合出待测样品的点云图片，由点云图中的最大高度及最小高度值，处理计算颜色跨度并染色，使得立体的字符部分灰度差异更加明显，进而对字符进行ocr的检测。2.根据权利要求1所述的一种基于深度相机的立体ocr检测方法，其特征是深度相机采集深度图的采集方式为：采用深度相机来对待测物件数据进行采集，并通过网口通信调用系统内函数来获取深度相机内的深度图值点云图的转换。3.根据权利要求1所述的一种基于深度相机的立体ocr检测方法，其特征是触发深度相机采集时，采用与传送平台网口通信的方式确定待测物件是否已至相机下方，并开始对图像数据进行采集。4.根据权利要求1所述的一种基于深度相机的立体ocr检测方法，其特征是点云图片的处理方式为：读取点云内的高度信息，并按高度信息计算适当的颜色跨度对点云进行染色，使得凸起的字符部分灰度值相对于背景来说更为明显，进而更易于区分。

技术总结
一种基于深度相机的立体OCR检测方法，建立检测系统，包括控制计算机、结构光法深度相机、传送平台及光学支架，被检样品放置于传送平台上，经传送平台移动待检测样品至相机下方位置，传送平台给出由网口通信给出信号，信号被控制计算机读取并触发深度相机采集待测样品的深度图，由所得的深度图拟合出待测样品的点云图片，由点云图中的最大高度及最小高度值，处理计算颜色跨度并染色，使得立体的字符部分灰度差异更加明显，进而对字符进行OCR的检测。检测。检测。


技术研发人员：李勃 王品卓
受保护的技术使用者：南京大学
技术研发日：2020.05.13
技术公布日：2021/11/19