基于神经网络的中文字符OCR识别方法、系统、介质及应用与流程

基于神经网络的中文字符ocr识别方法、系统、介质及应用
技术领域
1.本发明属于图象识别技术领域，尤其涉及一种基于神经网络的中文字符ocr识别方法、系统、介质及应用。其中ocr为optical character recognition,光学字符识别，即，将图片、照片上的文字内容，直接转换为可编辑文本。


背景技术：

2.目前，在图象识别识别技术中，有卷积神经网络(cnn)、文本检测模型east(efficient and accuracy scene text)、u
‑
net神经网络、长短时神经网络(lstm)、vgg(visual geometry group)神经网络模型。
3.场景文本识别旨在图像中提取文本内容，在实际应用中具有巨大的商业价值。场景文本识别，通常包括对场景文字定位和文字识别。例如在中文文本识别，国内外已经存在了大量成熟的检测识别方法，并且应用到实际工作中。这些方法不仅检测快，而且识别率良好，具有一定的优越性。
4.虽然，场景文本识别取得了一定的突破性成就，也产生了很多代表性的模型，但是这些模型大多数都很笨重。普遍的场景文本识别模型最后回归分类采用独热编码对每个字符进行编码，当词汇表的规模很大，那么模型的字符嵌入层和回归分类层产生的映射矩阵将会占用大量的存储容量，导致这些模型很难在移动端设备上部署，因为它消耗了大量存储资源和计算空间。
5.近年来，互联网科技的飞速发展，越来越多的技术(大数据、分布式、区块链blockchain、人工智能等)应用在多个智能大数据图象识别领域。
6.某些图像识别领域为了保证业务操作的安全性，采用了ocr(optical characterrecognition，光学字符识别，即，将图片、照片上的文字内容，直接转换为可编辑文本)技术进行某些信息核对，ocr技术的引入，虽然减少了人力资源的浪费，但是当前ocr技术中的识别模型没有进行充分学习，导致ocr识别准确率低。
7.目前中国拥有近十亿网民，在朋友圈、社交媒体上经常发布图像已成为许多网民的日常，并且往往会在图像上添加各式各样的文本信息。社交图像数据中文ocr识别价值越来越高，但目前面向社交图像的ocr识别方法识别准确率较低。
8.中文特点多形近字，形近字字形相近、用法相近，目前市面上流行的ocr识别方法多是以识别英文为基础的方法，对中文的识别存在考验。
9.通过上述分析，现有技术存在的问题及缺陷为：
10.(1)现有技术中，长字符串的识别准确率下降；不能得到每个字符的位置坐标；字符方向敏感。
11.(2)对输入图像不能准确进行中文文本检测，不能截取图像文本区域，造成对文本区域文字识别准确性差。
12.解决以上问题及缺陷的难度为：
13.目前的主流技术手段为文本检测分割 文本识别的形式，其中文本识别是采取
crnn ctc的框架。英文单词平均由8个字母组成，每个字母都完成定位和识别是很大的开销，算法效率低下，而这种框架就是对由简单字母组成单词，单词组成文本的英文语言特点的解决方法，通过识别字符的局部特征联系上下文语义特征从而识别字符，每个字母识别的准确性没那么重要。但是，这种方法对于中文文字的识别并不适合。中文特点是每个字既是独立的个体，每个字都有定位和识别的价值，相对英文来说字与字之间的分割相对简单；中文具有很多形近字，这种基于英文的识别方法不能够应对形近字的区分，因此这种识别方式用在中文识别存在天然缺陷。


技术实现要素：

14.为克服相关技术中存在的问题，本发明公开实施例提供了一种基于神经网络的中文字符ocr识别方法、系统、介质及应用。还涉及人工智能、深度学习、ocr(optical character recognition,光学字符识别)识别、机器视觉应用领域，具体涉及一种基于神经网络的中文字符ocr识别方法。所述技术方案如下：
15.根据本发明公开实施例的第一方面，提供一种基于神经网络的中文字符ocr识别方法，包括：
16.对输入图像进行文本检测；
17.对检测后的文本区域图像进行文本掩膜信息提取，并定位所述文本区域每个字符的位置坐标，按照字符位置坐标从文本掩膜截取每个字符掩膜；
18.对所述字符掩膜进行特征提取，并映射到多维向量空间得到字符向量；
19.所述字符向量按照字符次序组成文本向量矩阵，利用所述文本向量矩阵学习上下文依赖信息，完成文本的识别。
20.在本发明一实施例中，所述对输入图像进行文本检测具体包括：
21.对输入的图像经过预处理送入到文本检测模型east神经网络，返回文本矩形区域上左和右下顶点的坐标，通过坐标分割文本区域图像并调整图像大小；所述上左和右下顶点的坐标分别为(x1,y1),(x2,y2)。
22.在本发明一实施例中，获取每个字符的掩膜的方法具体包括：文本区域图像输入到u
‑
net网络提取文本掩膜，u
‑
net网络u型全卷积结构能充分保留文本的形态信息、边缘信息以及笔画的精细结构；在u
‑
net网络的最后一层特征层添加rpn定位分支网络，获取每个字符的左上和右下坐标，分割文本掩膜获取每个字符的掩膜。
23.在本发明一实施例中，所述对所述字符掩膜进行特征提取，并映射到多维向量空间得到字符向量具体包括：
24.调整字符掩膜大小，输入vgg神经网络模型映射到128维向量空间获得字符向量；字符掩膜训练集经过随机旋转、翻转、线性变换、透射、遮挡预处理方法提升模型对字符方向，形态、干扰因素的识别能力；模型训练损失函数采用三元组损失函数，其公式为其中参数m表示样本总数，a
(i)
表示第i个样本，p
(i)
表示与a
(i)
同一个字不同形态的样本，n
(i)
表示与a
(i)
不同字的样本，参数α是超参数，通过控制α来控制不同字符间的区分距离。三元损失函数常用于人脸识别，用于提升不同人脸的区分效果。本发明中vgg神经网络训练方法是：在训练第i个字符掩码a
(i)
的时
候，挑选一个与a
(i)
相同字符不同形态的字符掩码样本p
(i)
和一个与a
(i)
不同字符的掩码样本n
(i)
，构成三元组送入vgg神经网络计算三元组损失函数，分别计算同字符样本间的距离||f(a
(i)
)
‑
f(p
(i)
)||2，不同字符样本间的距离||f(a
(i)
)
‑
f(n
(i)
)||2，约束||f(a
(i)
)
‑
f(p
(i)
)||2 α<＝||f(a
(i)
)
‑
f(n
(i)
)||2，即同字符间的距离小于不同字符间的距离，从而实现vgg神经网络能够把同类别间字符在向量空间聚集，不同类别间字符远离，提升字符的识别。
25.在本发明一实施例中，所述字符向量按照字符次序组成文本向量矩阵，利用所述文本向量矩阵学习上下文依赖信息，完成文本的识别具体包括：
26.字符向量依次组成文本向量矩阵，输入矩阵到双向长短时神经网络bi
‑
lstm模型，bi
‑
lstm模型属于循环神经网络，能够学习序列特征，由单个或者数个记忆块组成，每个记忆块由遗忘门、输入门、输出门和记忆块组成，通过记忆块来决定丢弃或添加信息，实现记忆和遗忘功能。bi
‑
lstm模型能够学习文本特征语义信息和上下文字符的依赖关系，通过softmax层获得字符的概率分布，softmax层的转化公式是：n表示分类数，i表示向量k中的某个分类，g
i
表示向量k中该分类的数值，p(s
i
)表示向量k中i分类对应字符概率。
27.bi
‑
lstm模型的训练方法是：首先是训练样本有0.1的概率文本向量矩阵中的某一个字符向量被样本库中的随机字符向量所取代，对应样本结果标签不变，从而使bi
‑
lstm模型获得学习样本上下文信息能力和字符纠错能力。通过softmax层把bi
‑
lstm模型输出层向量转化成字符概率分布。
28.在本发明一实施例中，所述的基于神经网络的中文字符ocr识别中神经网络采用east神经网络和crnn神经网络联合应用进行字符识别。
29.或采用基于mask
‑
rcnn神经网络进行字符识别。
30.根据本发明公开实施例的第二方面，提供一种实施基于神经网络的中文字符ocr识别系统，包括：
31.文本位置检测模块，用于利用east(efficient and accuracy scene text)网络进行检测文本位置；
32.单字符掩膜分割模块，用于利用在最后一层特征层添加rpn(regionproposal network)字符定位分支网络的u
‑
net(u
‑
net architecture)神经网络提取字符形态信息和边缘信息，获取文本掩膜，通过rpn分支网络获得的定位坐标实现单个字符掩膜分割；
33.字符掩膜信息映射模块，用于采用vgg(visual geometry group)神经网络提取字符特征，并结合三元组损失函数优化模型非同类极相似字符的区分能力和识别能力，把字符掩膜信息映射到128维向量空间；
34.字符识别模块，用于基于双向长短时神经网络和softmax层bi
‑
lstm(bi
‑
directional long short
‑
term memory)，构建语言模型，实现字符识别。
35.根据本发明公开实施例的第三方面，提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的基于神经网络的中文字符ocr识别方法。
36.根据本发明公开实施例的第四方面，提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行所述的基于神经网络的中文字符ocr识别方法，包括下列
步骤：
37.对输入图像进行文本检测；
38.对检测后的文本区域图像进行文本掩膜信息提取，并定位所述文本区域每个字符的位置坐标，按照字符位置坐标从文本掩膜截取每个字符掩膜；
39.对所述字符掩膜进行特征提取，并映射到多维向量空间得到字符向量；
40.所述字符向量按照字符次序组成文本向量矩阵，利用所述文本向量矩阵学习上下文依赖信息，完成文本的识别。
41.根据本发明公开实施例的第五方面，提供一种所述的基于神经网络的中文字符ocr识别方法在人工智能、深度学习、机器视觉应用领域光学字符识别中的应用。
42.本发明公开的实施例提供的技术方案可以包括以下有益效果：
43.本发明解决了输入图像进行中文文本检测，截取图像文本区域，并对文本区域文字识别的问题。
44.本发明基于中文字符的形态特点，利用east(efficient and accuracy scene text)网络检测文本位置；利用在最后一层特征层添加了rpn(regionproposal network)字符定位分支网络的u
‑
net(u
‑
net architecture)神经网络提取字符形态信息和边缘信息，获取文本掩膜，通过rpn分支网络获得的定位坐标实现单个字符掩膜分割；采用vgg(visual geometry group)神经网络提取字符特征，并结合三元组损失函数优化模型非同类极相似字符的区分能力和识别能力，把字符掩膜信息映射到128维向量空间；基于双向长短时神经网络和softmax层bi
‑
lstm(bi
‑
directional long short
‑
term memory)，构建语言模型，实现了字符识别。
45.本发明中文字符识别准确率得到了提升；形近字识别准确率提升；字符的方向不敏感。目前的主流技术手段为文本检测分割 文本识别的形式，文字方向识别任务主要在文本检测分割阶段完成，文本检测算法只能检测文本框的旋转角度，然后确保文本调整至水平并输入文本识别部分完成识别任务，这种方法并不能识别文本中每个字符的方向，面对复杂场景，比如字符方向不一致、文本排列不规则等，算法鲁棒性较差。本发明的字符掩码向量化模块，在vgg网络训练过程中通过对字符掩膜随机旋转、翻转、线性变换、透射、遮挡预处理方法提升模型对字符方向、形态的抗干扰能力，因此对字符的旋转、形态变化具有很好的识别能力。
46.本发明相比于现有技术的优点见表1。
47.表1
[0048][0049]
当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明公开。
附图说明
[0050]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0051]
图1是本发明实施例提供的基于神经网络的中文字符ocr识别方法流程。
[0052]
图2是本发明实施例提供的基于神经网络的中文字符ocr识别方法原理图。
[0053]
图3是本发明实施例提供的基于神经网络的中文字符ocr识别系统示意图。
[0054]
图中：1、文本位置检测模块；2、单字符掩膜分割模块；3、字符掩膜信息映射模块；4、字符识别模块。
[0055]
图4是本发明实施例提供的选取的一种微博图像效果图。
[0056]
图5是本发明实施例提供的对图4选取的微博图像现有技术的模型识别效果图。
[0057]
图6是本发明实施例提供的对图4选取的微博图像采用本发明的模型识别效果图。
具体实施方式
[0058]
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
[0059]
如图1所示，本发明实施例提供的基于神经网络的中文字符ocr识别方法包括：
[0060]
s101，基于east神经网络对输入图像进行文本检测。
[0061]
s102，文本区域图像通过u
‑
net网络提取文本掩膜信息，并在u
‑
net网络的最后一层特征层添加rpn回归网络，定位文本区域每个字符的位置坐标，按照字符位置坐标从文本掩膜截取每个字符的掩膜。
[0062]
s103，字符掩膜经过vgg神经网络模型提取特征，映射到128维向量空间得到字符向量。
[0063]
s104，字符向量按照字符次序组成文本向量矩阵，矩阵输入到bi
‑
lstm神经网络，学习上下文依赖信息，完成文本的识别。
[0064]
在步骤s101中，所述对输入图像进行文本检测具体包括：
[0065]
对输入的图像经过预处理送入到文本检测模型east神经网络，返回文本矩形区域上左和右下顶点的坐标，通过坐标分割文本区域图像并调整图像大小；所述上左和右下顶点的坐标分别为(x1,y1),(x2,y2)。
[0066]
在步骤s102中，获取每个字符的掩膜的方法具体包括：文本区域图像输入到u
‑
net网络提取文本掩膜，u
‑
net网络u型全卷积结构能充分保留文本的形态信息、边缘信息以及笔画的精细结构；在u
‑
net网络的最后一层特征层添加rpn定位分支网络，获取每个字符的左上和右下坐标，分割文本掩膜获取每个字符的掩膜。
[0067]
在步骤s103中，所述对所述字符掩膜进行特征提取，并映射到多维向量空间得到字符向量具体包括：
[0068]
调整字符掩膜大小，输入vgg神经网络模型映射到128维向量空间获得字符向量；字符掩膜训练集经过随机旋转、翻转、线性变换、透射、遮挡预处理方法提升模型对字符方向，形态、干扰因素的识别能力；模型训练损失函数采用三元组损失函数，其公式为
其中参数m表示样本总数，a
(i)
表示第i个样本，p
(i)
表示与a
(i)
同一个字不同形态的样本，n
(i)
表示与a
(i)
不同字的样本，参数α是超参数，通过控制α来控制不同字符间的区分距离。三元损失函数常用于人脸识别，用于提升不同人脸的区分效果。本发明中vgg神经网络训练方法是：在训练第i个字符掩码a
(i)
的时候，挑选一个与a
(i)
相同字符不同形态的字符掩码样本p
(i)
和一个与a
(i)
不同字符的掩码样本n
(i)
，构成三元组送入vgg神经网络计算三元组损失函数，分别计算同字符样本间的距离||f(a
(i)
)
‑
f(p
(i)
)||2，不同字符样本间的距离||f(a
(i)
)
‑
f(n
(i)
)||2，约束||f(a
(i)
)
‑
f(p
(i)
)||2 α<＝||f(a
(i)
)
‑
f(n
(i)
)||2，即同字符间的距离小于不同字符间的距离，从而实现vgg神经网络能够把同类别间字符在向量空间聚集，不同类别间字符远离，提升字符的识别。
[0069]
在步骤s104中，所述字符向量按照字符次序组成文本向量矩阵，利用所述文本向量矩阵学习上下文依赖信息，完成文本的识别具体包括：
[0070]
字符向量依次组成文本向量矩阵，输入矩阵到双向长短时神经网络bi
‑
lstm模型，bi
‑
lstm模型属于循环神经网络，能够学习序列特征，由单个或者数个记忆块组成，每个记忆块由遗忘门、输入门、输出门和记忆块组成，通过记忆块来决定丢弃或添加信息，实现记忆和遗忘功能。bi
‑
lstm模型能够学习文本特征语义信息和上下文字符的依赖关系，通过softmax层获得字符的概率分布，softmax层的转化公式是：n表示分类数，i表示向量k中的某个分类，g
i
表示向量k中该分类的数值，p(s
i
)表示向量k中i分类对应字符概率。
[0071]
bi
‑
lstm模型的训练方法是：首先是训练样本有0.1的概率文本向量矩阵中的某一个字符向量被样本库中的随机字符向量所取代，对应样本结果标签不变，从而使bi
‑
lstm模型获得学习样本上下文信息能力和字符纠错能力。通过softmax层把bi
‑
lstm模型输出层向量转化成字符概率分布。
[0072]
下面结合具体实施例对本发明技术方案作进一步描述。
[0073]
实施例如图2基于神经网络的中文字符ocr识别方法原理所示。
[0074]
本发明实施例提供的基于神经网络的中文字符ocr识别方法具体包括：
[0075]
1)输入的图像经过预处理送入到文本检测模型east神经网络，返回文本矩形区域上左和右下顶点的坐标((x1,y1),(x2,y2))，通过坐标分割文本区域图像并调整图像大小)。
[0076]
2)文本区域图像输入到u
‑
net网络提取文本掩膜，u
‑
net网络u型全卷积结构能充分保留文本的形态信息、边缘信息以及笔画的精细结构，对后续字符的识别效果至关重要；在u
‑
net网络的最后一层特征层添加rpn定位分支网络，获取每个字符的左上和右下坐标，分割文本掩膜获取每个字符的掩码；
[0077]
3)调整字符掩膜大小，输入vgg神经网络模型映射到128维向量空间获得字符向量。为了提升vgg神经网络模型对字符的识别效果，字符掩膜训练集经过随机旋转、翻转、线性变换、透射、遮挡等预处理方法提升模型对字符方向，形态、干扰因素的识别能力；模型训练损失函数采用三元组损失函数，达到同类别间字符在向量空间聚集，不同类别间字符远
离的目的，提升模型对于不同类字符的区分能力；
[0078]
4)字符向量依次组成文本向量矩阵，输入矩阵到双向长短时神经网络bi
‑
lstm语言模型。通过bi
‑
lstm模型学习特征语义信息和上下文字符的依赖关系，构建语言模型，并通过softmax层获得字符的概率分布，识别字符并获得字符的置信度。
[0079]
在本发明一优选实施例中，可基于east神经网络和crnn神经网络进行字符识别，或基于mask
‑
rcnn神经网络进行字符识别。
[0080]
如图3所示，本发明提供一种实施基于神经网络的中文字符ocr识别系统，包括：
[0081]
文本位置检测模块1，用于利用east(efficient and accuracy scene text)网络进行检测文本位置；
[0082]
单字符掩膜分割模块2，用于利用在最后一层特征层添加rpn(regionproposal network)字符定位分支网络的u
‑
net(u
‑
net architecture)神经网络提取字符形态信息和边缘信息，获取文本掩膜，通过rpn分支网络获得的定位坐标实现单个字符掩膜分割；
[0083]
字符掩膜信息映射模块3，用于采用vgg(visual geometry group)神经网络提取字符特征，并结合三元组损失函数优化模型非同类极相似字符的区分能力和识别能力，把字符掩膜信息映射到128维向量空间；
[0084]
字符识别模块4，用于基于双向长短时神经网络和softmax层bi
‑
lstm(bi
‑
directional long short
‑
term memory)，构建语言模型，实现字符识别。
[0085]
本发明主要应用于社交网络图像中文ocr识别，社交网络图像场景一般比较复杂，通常的识别方法准确率较低，为了更好的展示本方法的可行性和有效性，下载100张微博图片数据用于实验验证和评估。和主流方法统计结果对比如表1，本方法准确率取得2.09％的提升。特选取一张微博图像用于本模型和其它模型的效果对比；微博图像如图4所示。
[0086]
其它模型识别效果如图5所示，字体方向倾斜的文字“照片”识别成了“照方”，“照”字虽然识别正确，但是概率低于其它水平方向文字；两组文字“住址”有一组识别为“信址”，对于形近字没能很好的区分。
[0087]
本发明识别效果如图6所示，本方法相对其它模型识别效果有明显提升，倾斜字体识别准确且概率和水平字体概率在同一水平上，说明本方法相比传统方法具有方向不敏感、能准确区分形近字的效果。
[0088]
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。
[0089]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围应由所附的权利要求来限制。