一种文字识别方法及终端、存储介质与流程

1.本技术涉及电子应用领域，尤其涉及一种文字识别方法及终端、存储介质。


背景技术：

2.随着电子技术的日益发展，终端上可继承越来越多的软件，而辅助增强这些软件需要识别软件界面的文字。目前，通常通过的做法是先识别文字图像，之后在对每一个文字图像进行文字识别，确定出文字图像对应的文字信息。当软件界面的文字数量庞大时，这种方法会导致文字识别速度变慢。


技术实现要素：

3.本技术实施例提供一种文字识别方法及终端、存储介质，能够提高文字识别速度。
4.本技术的技术方案是这样实现的：
5.第一方面，本技术实施例提出一种文字识别方法，所述方法包括：
6.对当前图像帧进行图形识别，得到所述当前图像帧中的文字图像对应的纹理信息；
7.从预设纹理信息和文字信息对应关系中，查找所述纹理信息对应的文字信息；所述预设纹理信息和文字信息对应关系中存储本次文字识别过程中前几帧文字识别结果；
8.若从预设纹理信息和文字对应关系中查找到所述纹理信息对应的第一预设文字信息，则将所述第一预设文字信息确定为所述纹理信息对应的文字信息。
9.第二方面，本技术实施例提出一种终端，所述终端包括：
10.图形识别模块，用于对当前图像帧进行图形识别，得到所述当前图像帧中的文字图像对应的纹理信息；
11.查找模块，用于从预设纹理信息和文字信息对应关系中，查找所述纹理信息对应的文字信息；所述预设纹理信息和文字信息对应关系中存储本次文字识别过程中前几帧文字识别结果；
12.确定模块，用于若从预设纹理信息和文字对应关系中查找到所述纹理信息对应的第一预设文字信息，则将所述第一预设文字信息确定为所述纹理信息对应的文字信息。
13.第三方面，本技术实施例提出一种终端，所述终端包括：处理器、存储器及通信总线；所述处理器执行存储器存储的运行程序时实现如上述的文字识别方法。
14.第四方面，本技术实施例提出一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述的文字识别方法。
15.本技术实施例提供了一种文字识别方法及终端、存储介质，该方法包括：对当前图像帧进行图形识别，得到当前图像帧中的文字图像对应的纹理信息；从预设纹理信息和文字信息对应关系中，查找纹理信息对应的文字信息；预设纹理信息和文字信息对应关系中存储本次文字识别过程中前几帧文字识别结果；若从预设纹理信息和文字对应关系中查找到纹理信息对应的第一预设文字信息，则将第一预设文字信息确定为纹理信息对应的文字
信息。采用上述实现方案，终端将本次文字识别过程中，前几帧文字识别结果进行存储，终端在得到当前图像帧中的文字图像对应的纹理信息后，直接从预设纹理信息和文字信息对应关系中，查找纹理信息对应的文字信息，若查找到纹理信息对应的第一预设文字信息，则直接将第一预设文字信息确定为纹理信息对应的文字信息，无需对每一个文字图像进行文字识别，极大的提高了文字识别的速度。
附图说明
16.图1为本技术实施例提供的一种文字识别方法的流程图；
17.图2为本技术实施例提供的一种示例性的图像纹理的显示示意图；
18.图3为本技术实施例提供的一种示例性的文字识别方法的方法流程图；
19.图4为本技术实施例提供的一种终端1的结构示意图一；
20.图5为本技术实施例提供的一种终端1的结构示意图二。
具体实施方式
21.应当理解，此处描述的具体实施例仅仅用以解释本技术。并不用于限定本技术。
22.本技术实施例提供一种文字识别方法，如图1所示，该方法可以包括：
23.s101、对当前图像帧进行图形识别，得到当前图像帧中的文字图像对应的纹理信息。
24.本技术实施例提出的一种图形识别方法适用于对第三方软件界面或者游戏用户界面(user interface，ui)界面的当前图像帧中的文字进行识别的场景中。
25.本技术实施例中，进行文字识别的终端可以为任何具备处理和存储功能的设备，例如：平板电脑、手机、个人计算机(personal computer，pc)、笔记本电脑、可穿戴设备等设备。
26.本技术实施例中，获取终端中的第三方软件界面或者游戏ui界面的当前图像帧，之后利用预设图形应用程序编程接口(application programming interface，api)指令流，对当前图像帧进行图形识别，得到图形识别结果；从图形识别结果中确定出当前图像帧中的文字图像对应的纹理信息。
27.可选的，预设图形api包括但不限于以下图形api：开放运算语言(open computing language，opengl)、嵌入式系统的opengl(opengl for embedded systems，opengl es)、vulkan(“下一代”开放的图形显示api)、直接扩展11(direct extension，directx 11)、directx 12、metal(低层次的渲染应用程序编程接口)，具体的可以根据实际情况进行选择，本技术实施例不做具体的限定。
28.本技术实施例中，预设图形api指令流用于对当前图像帧进行图形识别，其中，图形识别的具体识别内容可以根据实际情况进行选择，最后可以得到包含文字图像对应的纹理信息的图形识别结果。
29.具体的，可以在预设图形api指令流中提取纹理信息相关的指令和缓存，得到文字图像对应的编码流，编码流中每个文字编码都包含该文字图像对应的纹理信息。
30.需要说明的是，当前图像帧中包括至少一个图像纹理，每一个图像纹理中可包含至少一个文字图像，故，当前图像帧中的每一个文字图像处于一个图像纹理的预设位置。因
此，要得到每一个文字图像在当前图像帧中所处的具体位置，需要确定该文字图像对应的纹理标识信息和纹理坐标信息。综上所述，纹理信息包括文字图像对应的纹理标识信息和纹理坐标信息。
31.示例性的，如图2所示，包括两个图像纹理：图像纹理1和图像纹理2，图像纹理1中包括“游、戏、肺、炎”这四个文字，图像纹理2中包括“抗、击、上、瘾”这四个文字。则，“抗”对应的纹理标识信息为2、纹理坐标信息为(0,0.25,0.25,1)，“击”对应的纹理标识信息为2、纹理坐标信息为(0.25,0.25,1,1)，“肺”对应的纹理标识信息为1、纹理坐标信息为(0,0,0.25,0.25)，“炎”对应的纹理标识信息为1、纹理坐标信息为(0.25,0,1,0.25)。
32.s102、从预设纹理信息和文字信息对应关系中，查找纹理信息对应的预设文字信息，预设纹理信息和文字信息对应关系中存储本次文字识别过程中前几帧文字识别结果。
33.在本技术实施例中，在从当前图像帧中识别出文字图像对应的纹理信息后，从预设纹理信息和文字信息对应关系中，查找纹理信息对应的预设文字信息。
34.需要说明的是，预设纹理信息和文字信息对应关系中记载着本次文字识别场景中前几帧文字识别结果。若当前图像帧为本次文字场景中第一轮文字识别对应的图像帧，则预设纹理信息和文字信息对应关系为空白的初始状态。
35.需要说明的是，预设纹理信息和文字信息对应关系的具体存储行为《key,value》键值对的形式，其中，预设纹理信息为key，预设文字信息为value。
36.本技术实施例中，先从预设纹理信息和文字信息对应关系中查找与文字信息匹配的第一预设纹理信息，若查找到第一预设纹理信息，则再从预设纹理信息和文字信息对应关系中查找第一预设纹理信息对应的第一预设文字信息。
37.本技术实施例中，文字信息可以包括中文文字、东亚字符等文字形式，具体的可以根据实际情况进行选择，本技术实施例不做具体的限定。
38.s103、若从预设纹理信息和文字对应关系中查找到纹理信息对应的第一预设文字信息，则将第一预设文字信息确定为纹理信息对应的文字信息。
39.本技术实施例中，若从预设纹理信息和文字信息对应关系中查找与文字信息匹配的第一预设纹理信息和第一预设纹理信息对应的第一预设文字信息，则表征从预设纹理信息和文字信息对应关系中查找到纹理信息对应的第一预设文字信息，此时，将第一预设文字信息确定为纹理信息对应的文字信息。
40.可以理解的是，从预设纹理信息和文字信息对应关系中查找到纹理信息对应的第一预设文字信息，可以快速确定出纹理信息对应的文字信息，无需对当前图像帧中的所有文字图像进行图形识别出对应的文字信息，极大的提高了文字识别的速度。
41.进一步地，若未从预设纹理信息和文字信息对应关系中查找与文字信息匹配的第一预设纹理信息，则表征未从预设纹理信息和文字信息对应关系中查找到纹理信息对应的预设文字信息，此时，终端从当前图像帧中确定纹理信息对应的图像数据；之后对图像数据进行文字识别，得到图像数据对应的文字信息。
42.本技术实施例中，基于纹理标识信息和纹理坐标信息，从当前图像帧中定位图像数据。
43.本技术实施例中，对图像数据进行文字识别的方法可以为本地深度学习方法或云端识别方法等，具体的可以根据实际情况进行选择，本技术实施例不做具体的限定。
44.本技术实施例中，在对图像数据进行文字识别，得到图像数据对应的文字信息之后，还可以将纹理信息和文字信息的映射关系更新至预设纹理信息和文字信息对应关系中。以供本次文字识别场景的后几轮文字识别过程。
45.示例性的，将“肺、炎、抗、击”这四个文字添加至预设理信息和文字信息对应关系中。具体的如表1所示，
46.表1预设理信息和文字信息对应关系表
[0047][0048]
基于上述实施例，本技术通过可通过图形识别模块、文字管理模块和图像识别模块实现本技术的方案，其中，文字管理模块中存储有预设纹理信息和文字信息对应关系，具体的实现过程如图3所示，
[0049]
1、将图形api指令流输入图形识别模块，图形识别模块从图形api指令流中查找文字图像对应的纹理标识信息和纹理坐标信息。
[0050]
2、从文字管理模块中的预设纹理信息和文字信息对应关系中，查找与纹理标识信息和纹理坐标信息对应的文字信息。
[0051]
3、若查找到与纹理标识信息和纹理坐标信息对应的第一预设文字信息，则结束流程。
[0052]
4、若未查找到与纹理标识信息和纹理坐标信息对应的文字信息，则将纹理标识信息和纹理坐标信息输入图像识别模块。
[0053]
5、图像识别模块识别出纹理标识信息和纹理坐标信息对应的文字信息。
[0054]
6、图像识别模块将纹理标识信息和纹理坐标信息、以及纹理标识信息和纹理坐标信息对应的文字信息输入文字管理模块。
[0055]
7、文字管理模块利用纹理标识信息和纹理坐标信息、以及纹理标识信息和纹理坐标信息对应的文字信息更新预设纹理信息和文字信息对应关系。
[0056]
可以理解的是，终端将本次文字识别过程中，前几帧文字识别结果进行存储，终端在得到当前图像帧中的文字图像对应的纹理信息后，直接从预设纹理信息和文字信息对应关系中，查找纹理信息对应的文字信息，若查找到纹理信息对应的第一预设文字信息，则直接将第一预设文字信息确定为纹理信息对应的文字信息，无需对每一个文字图像进行文字识别，极大的提高了文字识别的速度。
[0057]
实施例二
[0058]
本技术实施例提供一种终端。如图4所示，该终端1包括：
[0059]
图形识别模块10，用于对当前图像帧进行图形识别，得到所述当前图像帧中的文字图像对应的纹理信息；
[0060]
查找模块11，用于从预设纹理信息和文字信息对应关系中，查找所述纹理信息对应的文字信息；所述预设纹理信息和文字信息对应关系中存储本次文字识别过程中前几帧文字识别结果；
[0061]
确定模块12，用于若从预设纹理信息和文字对应关系中查找到所述纹理信息对应的第一预设文字信息，则将所述第一预设文字信息确定为所述纹理信息对应的文字信息。
[0062]
可选的，所述终端还包括：文字识别模块；
[0063]
所述确定模块12，还用于若未从预设纹理信息和文字信息对应关系中查找到所述纹理信息对应的文字信息，则从所述当前图像帧中确定所述纹理信息对应的图像数据；
[0064]
所述文字识别模块，用于对所述图像数据进行文字识别，得到所述图像数据对应的文字信息。
[0065]
可选的，将所述纹理信息和所述文字信息的映射关系更新至所述预设纹理信息和文字信息对应关系中。
[0066]
可选的，所述当前图像帧包括至少一个图像纹理，其中，每一个图像纹理对应一个纹理标识信息；
[0067]
所述纹理信息包括所述文字图像对应的纹理标识信息和纹理坐标信息。
[0068]
可选的，所述终端还包括：定位模块；
[0069]
所述定位模块，用于基于所述纹理标识信息和所述纹理坐标信息，从所述当前图像帧中定位所述图像数据。
[0070]
可选的，所述图形识别模块10，还用于利用预设图形应用程序编程接口api指令流，对所述当前图像帧进行图形识别，得到图形识别结果；
[0071]
所述确定单元12，还用于从所述图形识别结果中确定出所述当前图像帧中的文字图像对应的纹理信息。
[0072]
本技术实施例提供的一种终端，对当前图像帧进行图形识别，得到当前图像帧中的文字图像对应的纹理信息；从预设纹理信息和文字信息对应关系中，查找纹理信息对应的文字信息；预设纹理信息和文字信息对应关系中存储本次文字识别过程中前几帧文字识别结果；若从预设纹理信息和文字对应关系中查找到纹理信息对应的第一预设文字信息，则将第一预设文字信息确定为纹理信息对应的文字信息。由此可见，本实施例提出的终端，终端将本次文字识别过程中，前几帧文字识别结果进行存储，终端在得到当前图像帧中的文字图像对应的纹理信息后，直接从预设纹理信息和文字信息对应关系中，查找纹理信息对应的文字信息，若查找到纹理信息对应的第一预设文字信息，则直接将第一预设文字信息确定为纹理信息对应的文字信息，无需对每一个文字图像进行文字识别，极大的提高了文字识别的速度。
[0073]
图5为本技术实施例提供的一种终端1的组成结构示意图二，在实际应用中，基于上述实施例的同一公开构思下，如图5所示，本实施例的终端1包括：处理器13、存储器14及通信总线15。
[0074]
在具体的实施例的过程中，上述图形识别模块10、查找模块11、确定模块12、文字识别模块和定位模块可由位于终端1上的处理器13实现，上述处理器13可以为特定用途集
成电路(asic，application specific integrated circuit)、数字信号处理器(dsp，digital signal processor)、数字信号处理图像处理装置(dspd，digital signal processing device)、可编程逻辑图像处理装置(pld，programmable logic device)、现场可编程门阵列(fpga，field programmable gate array)、cpu、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本实施例不作具体限定。
[0075]
在本技术实施例中，上述通信总线15用于实现处理器13和存储器14之间的连接通信；上述处理器13执行存储器14中存储的运行程序时实现如下的文字识别方法：
[0076]
对当前图像帧进行图形识别，得到所述当前图像帧中的文字图像对应的纹理信息；从预设纹理信息和文字信息对应关系中，查找所述纹理信息对应的文字信息；预设纹理信息和文字信息对应关系中存储本次文字识别过程中前几帧文字识别结果；若从预设纹理信息和文字对应关系中查找到所述纹理信息对应的第一预设文字信息，则将所述第一预设文字信息确定为所述纹理信息对应的文字信息。
[0077]
进一步地，上述处理器13，还用于若未从预设纹理信息和文字信息对应关系中查找到所述纹理信息对应的文字信息，则从所述当前图像帧中确定所述纹理信息对应的图像数据；对所述图像数据进行文字识别，得到所述图像数据对应的文字信息。
[0078]
进一步地，上述处理器13，还用于将所述纹理信息和所述文字信息的映射关系更新至所述预设纹理信息和文字信息对应关系中。
[0079]
进一步地，所述当前图像帧包括至少一个图像纹理，其中，每一个图像纹理对应一个纹理标识信息；所述纹理信息包括所述文字图像对应的纹理标识信息和纹理坐标信息。
[0080]
进一步地，上述处理器13，还用于基于所述纹理标识信息和所述纹理坐标信息，从所述当前图像帧中定位所述图像数据。
[0081]
进一步地，上述处理器13，还用于利用预设图形应用程序编程接口api指令流，对所述当前图像帧进行图形识别，得到图形识别结果；从所述图形识别结果中确定出所述当前图像帧中的文字图像对应的纹理信息。
[0082]
本技术实施例提供一种存储介质，其上存储有计算机程序，上述计算机可读存储介质存储有一个或者多个程序，上述一个或者多个程序可被一个或者多个处理器执行，应用于终端中，该计算机程序实现如上述的文字识别方法。
[0083]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0084]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台图像显示设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本公开各个实施例所述的方法。
[0085]
以上所述，仅为本技术的较佳实施例而已，并非用于限定本技术的保护范围。