一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像的文字识别方法、电子设备及存储介质与流程

2022-09-07 17:06:27 来源:中国专利 TAG:


1.本技术涉及无线通信领域,尤其涉及一种图像的文字识别方法、电子设备及存储介质。


背景技术:

2.光学字符识别(optical character recognition,ocr)是指对文本资料的图像文件进行分析识别处理,获取文字及版面信息的过程。ocr技术现已广泛地应用在医疗、保险、金融、物流、传统制造业、购物等领域。例如,在物流领域的一种应用场景中,用户使用手机拍摄物流订单的照片,通过ocr文字识别该照片上的快递单号。通过ocr技术,可以快速获取照片上的快递单号,无需人工录入而直接导入系统进行快递查询。
3.然而,目前电子设备(如手机、平板电脑等)对图库中的图像进行ocr文字识别的功耗大,时延长,影响用户的体验。


技术实现要素:

4.本技术实施例提供了一种优化的图像的文字识别方法、电子设备及存储介质。
5.在本技术提供的一些实施例中,电子设备可以对需要进行文字识别的图像进行文字识别,而不是对所有图像均进行文字识别的操作,减少电子设备对图像进行文字识别的功耗,有效提高电子设备的对图像进行ocr文字识别的效率,提高用户对电子设备的使用体验。
6.第一方面,本技术提供一种图像的文字识别方法,应用于第一电子设备,该方法包括:第一电子设备响应于接收到的传输操作,获取指定图像的属性信息,该传输操作用于指示第一电子设备将指定图像传输至第二电子设备;获取指定图像的属性信息;获取指定图像的识别标签,识别标签用于指示第二电子设备是否需要对指定图像进行ocr文字识别的操作;当检测到识别标签指示第二电子设备对指定图像进行ocr文字识别的操作,生成包括指定图像、指定图像的属性信息以及识别标签的传输数据;当检测到识别标签指示第二电子设备取消对图像进行ocr文字识别的操作,则获取指定图像的ocr文字识别结果;生成包括指定图像、指定图像的ocr文字识别结果以及识别标签的传输数据;将传输数据传输至第二电子设备,在第二电子设备检测到预设的触发条件,由第二电子设备根据传输数据中的识别标签指示是否对指定图像进行ocr文字识别的操作。
7.这样,第一电子设备接收到传输操作后,获取指定图像的属性信息以及识别标签,当识别标签指示第二电子设备取消对指定图像进行ocr文字识别的操作,第一电子设备的传输数据包括该指定图像的ocr文字识别结果,使得第二电子设备直接获取到该指定图像的ocr识别结果,从而无需再对该指定图像进行ocr文字识别的操作,从而减少第二电子设备的功耗。当识别标签指示第二电子设备对指定图像进行ocr文字识别的操作,确定的传输数据中包含有指定图像的属性信息,从而使得第二电子设备可以根据属性信息,对指定图像进行ocr文字识别操作,提高对指定图像进行文字识别操作的准确性。第一电子设备在传
输指定图像时,不是只传输图像至第二电子设备,而是根据指定图像的识别标签指示第二电子设备是否需要对指定图像进行ocr文字识别的操作,丰富了指定图像的信息,使得第二电子设备可以获取到与该指定图像相关的丰富的信息,从而可以高效地确定是否需要对指定图像进行ocr文字识别,避免第二电子设备功耗的浪费。
8.根据第一方面,当检测到识别标签指示第二电子设备对指定图像进行ocr文字识别的操作,生成包括指定图像、指定图像的属性信息以及识别标签的传输数据,包括:当检测到识别标签指示第二电子设备对指定图像进行ocr文字识别的操作,则检测第一电子设备是否具有ocr文字识别功能;当检测到第一电子设备具有ocr文字识别功能,则获取指定图像的ocr文字识别结果,将指定图像、指定图像的属性信息、指定图像的ocr文字识别结果以及识别标签作为传输数据;当未检测到第一电子设备具有ocr文字识别功能,则将指定图像、指定图像的属性信息以及识别标签作为传输数据。第一电子设备在指示第二电子设备对指定图像进行ocr文字识别的情况下,当第一电子设备不支持ocr文字识别时,无需传输该指定图像的ocr识别结果,减少数据的传输;当第一电子设备支持ocr文字识别时,传输数据中携带该指定图像的ocr文字识别结果,使得第二电子设备在对指定图像进行ocr文字识别之前,也可以使用传输数据中的ocr文字识别结果,使得用户可以快速查看该指定图像的ocr识别结果。
9.根据第一方面,获取指定图像的ocr文字识别结果,包括:检测第一电子设备中是否存在指定图像的ocr文字识别结果;当检测到第一电子设备中存在指定图像的ocr文字识别结果,读取指定图像的ocr文字识别结果;当检测到第一电子设备中未存储指定图像的ocr文字识别结果,则触发第一电子设备对指定图像进行ocr文字识别的操作,读取指定图像的ocr文字识别结果。第一电子设备可以直接读取指定图像的ocr文字识别结果,也可以由第一电子设备对该指定图像进行ocr文字识别后获得,避免因第一电子设备未存储ocr文字识别结果而导致发送指定图像的ocr文字识别结果失败的问题,提高传输数据中指定图像中ocr文字识别结果的准确性。
10.根据第一方面,获取指定图像的识别标签,包括:获取第一电子设备的设备信息作为第一设备信息;获取第二电子设备的设备信息作为第二设备信息;获取指定图像的源设备的设备信息作为第三设备信息;从第一设备信息与第三设备信息中选取一个作为指定图像的指定设备信息;比较指定设备信息与第二设备信息的等级,获取比较结果;根据比较结果,确定指定图像的识别标签。对指定图像进行ocr文字识别的设备可以其它设备,例如,第一电子设备中指定图像的ocr文字识别结果可以是设备c发送获得的。故通过获取指定图像的指定设备信息,可以准确指示当前对指定图像进行ocr文字识别的设备信息。而设备信息高的设备进行ocr文字识别的准确性高与设备信息低的设备进行ocr文字识别的准确性,将该指定设备信息与第二设备信息进行比较,可以快速确定对指定图像进行准确ocr文字识别的设备。
11.根据第一方面,从第一设备信息与第三设备信息中选取一个作为指定图像的指定设备信息,包括:检测第一设备信息与第三设备信息是否相同;当检测到第一设备信息与第三设备信息相同,则获取第一设备信息作为指定设备信息;当检测到第一设备信息与第三设备信息相异,则检测第一电子设备中是否存在指定图像的ocr文字识别结果;当检测到指定图像的ocr文字识别结果,则获取第三设备信息作为指定设备信息;当未检测到指定图像
的ocr文字识别结果,则获取第一设备信息作为指定设备信息。通过第一电子设备(如:手机a)的型号与第三电子设备(如:源识别设备)进行比较,若确定手机a的型号与源识别设备的型号相同,则可以直接确定手机a的型号为指定型号,无需进行后续该指定图像是否有ocr的识别结果的判断,减少不必要的步骤。由于存在源识别设备的型号高于手机a的型号,且手机a不具有ocr的识别功能的情况,故,若选取源识别设备的型号作为指定型号,会导致手机a或手机b不对该指定图像进行文字识别的操作,导致电子设备漏识别指定图像的问题,而通过判断指定图像是否有ocr的识别结果,仅在指定图像有ocr的识别结果时选取手机a的型号作为指定型号,避免出现手机a或手机b对该指定图像的漏识别的情况。
12.根据第一方面,设备信息包括设备型号;比较指定设备信息与第二设备信息的等级,获取比较结果,包括:从指定设备信息中获取指定型号,从第二设备信息中获取第二设备的型号;当检测到指定型号大于第二设备的型号,则确定比较结果指示指定设备信息的等级大于第二设备信息的等级;当检测到指定型号小于或等于第二设备的型号,则确定比较结果指示指定设备信息的等级小于或等于第二设备信息的等级。通过设备型号可以快速确定指定设备信息与第二设备信息中的高等级,比较速度快且较为准确。
13.根据第一方面,设备信息包括设备型号和设备的系统版本信息;比较指定设备信息与第二设备信息的等级,获取比较结果,包括:从指定设备信息中获取指定型号,从第二设备信息中获取第二设备的型号;当检测到指定型号等于第二设备的型号,则从指定设备信息中获取指定版本信息,以及从第二设备信息中获取第二设备的版本信息;当检测到指定版本信息大于第二设备的版本信息,则确定比较结果指示指定设备信息的等级大于第二设备信息的等级;当检测到指定版本信息小于或等于第二设备的版本信息,则确定比较结果指示指定设备信息的等级小于或等于第二设备信息的等级。增加系统版本信息的比较,进一步提高比较结果的准确性。
14.根据第一方面,根据比较结果,确定指定图像的识别标签,包括:当检测到比较结果指示指定设备信息的等级大于第二设备信息的等级,则置识别标签为假值,假值用于指示第二电子设备取消对指定图像进行ocr文字识别的操作;当检测到比较结果指示指定设备信息的等级小于或等于第二设备信息的等级,则置识别标签为真值,真值用于指示第二电子设备对指定图像进行ocr文字识别的操作。当指定设备信息的等级大于第二设备信息的等级,表征该第二电子设备的ocr文字识别能力弱,第二电子设备获得的ocr文字识别准确度低,故第一电子设备指示第二电子设备无需对指定图像进行ocr文字识别,可以减少第二电子设备的功耗,也可以保证指定图像的ocr文字识别结果的准确性。
15.根据第一方面,根据比较结果,确定指定图像的识别标签,包括:当检测到比较结果指示指定设备信息的等级大于第二设备信息的等级,则置识别标签为假值,假值用于指示第二电子设备取消对指定图像进行ocr文字识别的操作;当检测到比较结果指示指定设备信息的等级小于或等于第二设备信息的等级,则根据指定图像的属性信息,检测指定图像所属类型,指定图像所属类型包括:第一类型、第二类型以及第三类型;当检测到指定图像所属类型为第一类型或第二类型,则置识别标签为真值,指定图像所属类型用于指示指定图像中存在文字的概率范围,真值用于指示第二电子设备对指定图像进行ocr文字识别的操作。当指定设备信息的等级小于或等于第二设备信息的等级,且检测到指定图像所属类型为第一类型或第二类型时,指示第二电子设备对指定图像进行ocr文字识别,而属于第
一类型或第二类型的图像中存在文字的概率大,若指定图像属于第三类型,则该指定图像中存在文字的概率低,即使指定设备信息的等级小于或等于第二设备信息的等级,第二电子设备也无需对指定图像进行ocr文字识别,进一步可以减少第二电子设备的功耗。
16.根据第一方面,指定图像的属性信息包括:用于指示指定图像所属应用的信息应用标签、拍照模式标签以及用于指示指定图像的内容所属的类别内容标签。第一电子设备可以根据指定图像的属性信息中的应用标签、拍照模标签以及内容标签,快速判断图像的内容所属类别、拍照模式的类别以及指定图像所属应用的类别。
17.根据第一方面,指定图像的属性信息还包括第一标签,第一标签用于指示指定图像的类别,类别包括截图或照片;根据指定图像的属性信息,检测指定图像所属类型,包括:根据指定图像的第一标签,确定指定图像的类别;根据指定图像的类别以及指定图像的属性信息,确定用于指示指定图像所属类型的第一检测结果;根据指定图像的内容标签,确定用于指示指定图像所属类型的第二检测结果;从第一检测结果和第二检测结果中选取高等级的类型作为指定图像所属类型。第一电子设备可以从多种检测结果中选取高等级的类型作为指定图像所属类型,可以确保检测的指定图像所属类型的准确性,避免出现误判而导致第二电子设备不对指定图像进行ocr文字识别的问题。
18.根据第一方面,根据指定图像的类别以及指定图像的属性信息,确定用于指示指定图像所属类型的第一检测结果,包括:当确定指定图像的类别为截图,则根据指定图像的应用标签,确定指定图像所属应用的类型;当检测到指定图像所属应用属于第一类应用,则确定第一检测结果指示指定图像所属类型为第一类型;当检测到指定图像所属应用属于第二类应用,则确定第一检测结果指示指定图像所属类型为第二类型;当检测到指定图像所属应用属于第三类应用,则确定第一检测结果指示指定图像所属第三类型;其中,第一类型的等级大于第二类型的等级,第二类型的等级大于第三类型的等级。当指定图像为截图时,通过指定图像中的应用标签可以确定该指定图像所属应用的应用类型,确定处该指定图像所属类型;第一电子设备针对不同类别的指定图像采用不同的方式确定指定图像所属类型,可以加快确定指定图像的第一检测结果的速度。
19.根据第一方面,根据指定图像的类别以及指定图像的属性信息,确定用于指示指定图像所属类型的第一检测结果,包括:当检测到指定图像的类别为照片,则根据指定图像的拍照模式标签确定指定图像的拍照模式;当检测到指定图像的拍照模式属于第一类模式,则确定第一检测结果指示指定图像所属类型为第一类型;当检测到指定照片的拍照模式属于第二类模式,则确定第一检测结果指示指定图像所属类型为第二类型;当检测到指定照片的拍照模式属于第三类模式,则确定第一检测结果指示指定图像所属类型为第三类型;其中,第一类型的等级大于第二类型的等级,第二类型的等级大于第三类型的等级。当指定图像为照片时,通过指定图像中的拍照模式标签可以准确确定该指定图像的第一检测结果。
20.根据第一方面,根据指定图像的内容标签,确定用于指示指定图像所属类型的第二检测结果,包括:当检测到指定图像的内容标签属于第一类标签,则确定第二检测结果指示指定图像所属类型为第一类型;当检测到指定图像的内容标签属于第二类标签,则确定第二检测结果指示指定图像所属类型为第二类型;当检测到指定图像的内容标签属于第三类标签,则确定第二检测结果指示指定图像所属类型为第三类型;其中,第一类型的等级大
于第二类型的等级,第二类型的等级大于第三类型的等级。第一电子设备通过指定图像中的内容标签可以准确确定该指定图像的第二检测结果。
21.根据第一方面,方法还包括:获取指定图像所属类型作为检测结果;将检测结果添加至指定图像的属性信息中。将指定图像所属类型作为检测结果添加至指定图像的属性信息中,而传输数据中包括指定图像的属性信息,使得第二电子设备可以直接获取到指定图像所属类型,而无需再次进行判断,提高对指定图像进行ocr文字识别的速度。
22.根据第一方面,生成包括指定图像、指定图像的ocr文字识别结果以及识别标签的传输数据,包括:将识别标签以及指定图像的ocr文字识别结果添加至指定图像的属性信息中;向指定图像的存储文件中写入更新后的指定图像的属性信息;将更新后的指定图像作为传输数据。第一电子设备将属性信息写入指定图像的存储文件中,便于传输,避免出现是属性信息在传输过程中丢失的情况。
23.根据第一方面,生成包括指定图像、指定图像的属性信息以及识别标签的传输数据,包括:将识别标签添加至指定图像的属性信息中;向指定图像的存储文件中写入更新后的指定图像的属性信息;将更新后的指定图像作为传输数据。第一电子设备将属性信息写入指定图像的存储文件中,便于传输,避免出现是属性信息在传输过程中丢失的情况。
24.第二方面,本技术提供了一种图像的文字识别方法,应用于第二电子设备,方法包括:响应于接收的第一电子设备的传输数据,保存传输数据,传输数据包括指定图像、指定图像的属性信息以及识别标签,或者,传输数据包括:指定图像、指定图像的ocr文字识别结果以及识别标签的传输数据;识别标签用于指示第二电子设备是否对指定图像进行ocr文字识别的操作;获取指定图像的属性信息以及指定图像的识别标签;当检测到指定图像的识别标签指示第二电子设备对指定图像进行ocr文字识别的操作,则根据指定图像的属性信息对指定图像进行ocr文字识别的操作;当检测到指定图像的识别标签指示第二电子设备取消对图像进行ocr文字识别的操作,则从传输数据中获取指定图像的ocr文字识别结果。
25.这样,第二电子设备接收到第一电子设备发送的传输数据,该传输数据中包括指定图像图像、指定图像的属性信息以及识别标签,当识别标签指示第二电子设备取消对指定图像进行ocr文字识别的操作,第二电子设备可以直接获取到该指定图像的ocr识别结果,从而无需再对该指定图像进行ocr文字识别的操作,从而减少第二电子设备的功耗。当识别标签指示第二电子设备对指定图像进行ocr文字识别的操作,传输数据中包含有指定图像的属性信息,从而使得第二电子设备可以根据属性信息,对指定图像进行ocr文字识别操作,提高对指定图像进行文字识别操作的准确性。同时,不是对接收到的所有指定图像均进行ocr文字识别,提高了第二电子设备对指定图像进行ocr文字识别的效率。
26.根据第二方面,根据指定图像的属性信息对指定图像进行ocr文字识别的操作,包括:根据指定图像的属性信息,检测指定图像所属类型;当检测到指定图像属于第一类型,则对指定图像进行ocr文字识别的操作;存储指定图像的ocr文字识别结果;当检测到指定图像属于第二类型,则检测第二电子设备是否处于灭屏且充电的状态;当检测到第二电子设备处于充电且灭屏的状态,则对指定图像进行的ocr文字识别的操作,存储指定图像的ocr文字识别结果;当检测到指定图像属于第三类型,则取消对指定图像进行的ocr文字识别的操作;响应于接收到的第一用户操作,展示指定图像。第二电子设备在检测到指定图像
属于第二类型,且检测到该电子设备未处于灭屏且充电的状态时,取消对指定图像进行ocr文字识别的操作,由于为指定图像属于第二类型,指定图像中存在文字的概率相比指定图像属于第一类型的图像中存在文字的概率小,此时,取消对该指定图像进行ocr文字识别的操作,可以避免出现因不存在文字而导致功耗的无用消耗,减少第二电子设备的功耗。
27.根据第二方面,根据指定图像的属性信息对指定图像进行ocr文字识别的操作,包括:根据指定图像的属性信息,检测指定图像所属类型;当检测到指定图像属于第一类类型,则对指定图像进行ocr文字识别的操作;存储指定图像的ocr文字识别结果;当检测到指定图像属于第二类型,则检测第二电子设备是否处于灭屏且充电的状态;当检测到第二电子设备未处于充电且灭屏的状态,则对指定图像进行文本检测的操作,存储指定图像的文本检测结果;当检测到指定图像属于第三类类型,则结束对指定图像进行的ocr文字识别的操作。第二电子设备对属于第二类型的图像仅进行ocr文字识别中的文本检测的操作,由于ocr文字识别中文本识别操作的功耗大,本示例中第二电子设备未处于灭屏且充电的状态时,不对属于第二类型的图像进行文本识别的操作,可以降低手机的功耗。
28.根据第二方面,根据指定图像的属性信息,检测指定图像所属类型,包括:根据指定图像的第一标签,确定指定图像的类别;根据指定图像的类别以及指定图像的属性信息,确定用于指示指定图像所属类型的第一检测结果;根据指定图像的内容标签,确定用于指示指定图像所属类型的第二检测结果;从第一检测结果和第二检测结果中选取高等级的类型作为指定图像所属类型。
29.根据第二方面,根据指定图像的类别以及指定图像的属性信息,确定用于指示指定图像所属类型的第一检测结果,包括:当确定指定图像的类别为截图,则根据指定图像的应用标签,确定指定图像所属应用的类型;当检测到指定图像所属应用属于第一类应用,则确定第一检测结果指示指定图像所属类型为第一类型;当检测到指定图像所属应用属于第二类应用,则确定第一检测结果指示指定图像所属类型为第二类型;当检测到指定图像所属应用属于第三类应用,则确定第一检测结果指示指定图像所属第三类型;其中,第一类型的等级大于第二类型的等级,第二类型的等级大于第三类型的等级。
30.根据第二方面,根据指定图像的类别以及指定图像的属性信息,确定用于指示指定图像所属类型的第一检测结果,包括:当检测到指定图像的类别为照片,则根据指定图像的拍照模式标签确定指定图像的拍照模式;当检测到指定图像的拍照模式属于第一类模式,则确定第一检测结果指示指定图像所属类型为第一类型;当检测到指定照片的拍照模式属于第二类模式,则确定第一检测结果指示指定图像所属类型为第二类型;当检测到指定照片的拍照模式属于第三类模式,则确定第一检测结果指示指定图像所属类型为第三类型;其中,第一类型的等级大于第二类型的等级,第二类型的等级大于第三类型的等级。
31.根据第二方面,根据指定图像的内容标签,确定用于指示指定图像所属类型的第二检测结果,包括:当检测到指定图像的内容标签属于第一类标签,则确定第二检测结果指示指定图像所属类型为第一类型;当检测到指定图像的内容标签属于第二类标签,则确定第二检测结果指示指定图像所属类型为第二类型;当检测到指定图像的内容标签属于第三类标签,则确定第二检测结果指示指定图像所属类型为第三类型;其中,第一类型的等级大于第二类型的等级,第二类型的等级大于第三类型的等级。根据第二方面,指定图像的属性信息中还包括指定图像的检测结果;根据指定图像的属性信息,检测指定图像所属类型,包
括:从指定图像的属性信息中获取指定图像的检测结果;从检测结果中获取指定图像所属类型。
32.根据第二方面,根据指定图像的属性信息对指定图像进行ocr文字识别的操作,包括:根据指定图像的属性信息中的第一标签,确定指定图像的类别;根据指定图像的类别,确定指定图像的第一指示信息;根据指定图像的内容标签的类别,确定指定图像的第二指示信息;当检测到指定图像的第一指示信息以及第二指示信息均指示取消对指定图像进行ocr文字识别的操作,则取消对指定图像指定进行ocr文字识别的操作;当检测到指定图像的第一指示信息以及第二指示信息任一指示对指定图像进行ocr文字识别的操作,则对指定图像进行ocr文字识别的操作。
33.这样,第二电子设备还可以分别获取根据图像的类别确定的第一指示信息以及根据内容标签确定的第二指示信息,第一指示信息和第二指示信息均用于指示第二电子设备是否需要对指定图像进行ocr文字识别的操作,由于存在两个指示信息,在指示信息均指示取消对指定图像进行ocr文字识别操作时,取消对指定图像进行ocr文字识别操作,可以避免对指定图像漏识别的问题。
34.根据第二方面,根据指定图像的类别,确定指定图像的第一指示信息,包括:当检测到指定图像的类别属于截图,从指定图像的属性信息中获取指定图像所属应用的类别;当检测到指定图像所属应用属于第一类应用,则确定指定图像的第一指示信息指示第二电子设备对指定图像进行ocr文字识别;当检测到指定图像所属应用属于第二类应用,则检测第二电子设备是否处于灭屏且充电的状态;当检测到第二电子设备未处于充电且灭屏的状态,则确定指定图像的第一指示信息指示第二电子设备停止对指定图像进行ocr文字识别的操作;当检测到指定图像所属应用属于第三类应用,则确定指定图像的第一指示信息指示第二电子设备停止对指定图像进行ocr文字识别的操作。
35.根据第二方面,根据指定图像的类别,确定指定图像的第一指示信息,包括:当检测到指定图像的类别属于照片,根据指定图像的拍照模式标签确定指定图像的拍照模式的模式类别,模式类别包括第一类模式、第二类模式以及第三类模式;当检测到指定图像的拍照模式属于第一类模式,则确定指定图像的第一指示信息指示第二电子设备对指定图像进行ocr文字识别;当检测到指定图像的拍照模式属于第二类模式,则检测第二电子设备是否处于灭屏且充电的状态;当检测到第二电子设备未处于充电且灭屏的状态,则确定指定图像的第一指示信息指示第二电子设备取消对指定图像进行ocr文字识别的操作;当检测到指定图像的拍照模式属于第三类模式,则确定指定图像的第一指示信息指示第二电子设备取消对指定图像进行ocr文字识别的操作。
36.根据第二方面,根据指定图像的内容标签的类别,确定指定图像的第二指示信息,包括:当检测到指定图像的内容标签属于第一类标签,则确定指定图像的第二指示信息指示第二电子设备对指定图像进行ocr文字识别;当检测到指定图像的内容标签属于第二类标签,则检测第二电子设备是否处于灭屏且充电的状态;当检测到电子设备未处于充电且灭屏的状态,则确定指定图像的第二指示信息指示第二电子设备取消对指定图像进行ocr文字识别的操作;当检测到指定图像的内容标签属于第三类标签,则确定指定图像的第二指示信息指示第二电子设备取消对指定图像进行ocr文字识别的操作。
37.根据第二方面,在获取指定图像的属性信息以及指定图像的识别标签之前,方法
还包括:检测到预设的触发条件,预设的触发条件包括:第二电子设备接收到用户查看指定图像的操作;或者,第二电子设备处于灭屏且充电的状态;或者,第二电子设备接收到用户查看图库的操作。第二电子设备设置有多种触发方式,使得电子设备可以及时对图像进行文字识别的操作,便于用户查看,提高用户使用电子设备的体验。
38.第三方面,本技术提供了一种电子设备,包括:一个或多个处理器;存储器;以及一个或多个计算机程序,其中一个或多个计算机程序存储在存储器上,当计算机程序被一个或多个处理器执行时,使得电子执行如第一方面以及第一方面的任意一种实现方式相对应的图像的文字识别的方法。
39.第四方面,本技术提供了一种电子设备,包括:一个或多个处理器;存储器;以及一个或多个计算机程序,其中一个或多个计算机程序存储在存储器上,当计算机程序被一个或多个处理器执行时,使得电子执行如第二方面以及第二方面的任意一种实现方式相对应的图像的文字识别的方法。
40.第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
41.第五方面,本技术提供了一种计算机可读介质,用于存储计算机程序,当计算机程序在电子设备上运行时,使得电子设备执行上述第一方面以及第一方面的任意一种实现方式所对应的图像的文字识别的方法,或者,执行上述第二方面以及第二方面的任意一种实现方式所对应的图像的文字识别的方法。
附图说明
42.为了更清楚地说明本技术实施例的技术方案,下面将对本技术实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
43.图1是示例性示出的电子设备的结构示意图;
44.图2是本技术实施例提供的一种图像的文字识别方法的交互图;
45.图3a是本技术实施例提供的一种确定指定型号的流程图;
46.图3b是本技术实施例提供的一种确定传输数据的流程图;
47.图4a是本技术实施例提供的一种手机b对指定图像进行ocr文字识别的操作的流程图;
48.图4b是本技术实施例提供的另一种手机b对指定图像进行ocr文字识别的操作的流程图;
49.图5a是本技术实施例提供的一种手机b确定指定图像的类别为截图时,确定第一指示信息的流程图;
50.图5b是本技术实施例提供的一种手机b确定指定图像的类别为照片时,确定第一指示信息的流程图;
51.图5c是本技术实施例提供的一种手机b根据指定图像的内容标签的类别时,确定第二指示信息的流程图;
52.图5d是本技术实施例提供的一种手机b确定指定图像的类别为截图时,确定第一检测结果的流程图;
53.图5e是本技术实施例提供的一种手机b确定指定图像的类别为照片时,确定第一检测结果的流程图;
54.图5f是本技术实施例提供的一种手机b确定第二检测结果的流程图
55.图6是本技术实施例提供的一种应用类别的示意图;
56.图7是本技术实施例提供的一种模式类别的示意图;
57.图8是本技术实施例提供的一种标签类别的示意图;
58.图9a是本技术实施例提供的一种手机a的图库的示意图;
59.图9b示出了手机c传输图像至手机a的示意图;
60.图9c示出了手机a保存的图像的属性信息的示意图;
61.图10是本技术实施例提供的一种图像信息的示意图;
62.图11是本技术实施例提供的图像格式为jpg的图像的存储格式示意图;
63.图12是本技术实施例提供的手机a添加识别标签的示意图;
64.图13示出了手机a对指定图像进行ocr文字识别的操作的示意图;
65.图14为示例性示出的一种传输数据的示意图;
66.图15为示例性示出的手机a向属性信息中添加识别结果的示意图;
67.图16为示例性示出的一种传输数据的示意图;
68.图17为示例性示出的手机b接收到的指定图像的示意图;
69.图18为示例性示出的手机a添加识别标签的示意图;
70.图19为示例性示出的一种传输数据的示意图;
71.图20为示例性示出的手机b接收到的指定图像的示意图;
72.图21为示例性示出的手机b接收到的指定图像的示意图;
73.图22为示例性示出的该图像img2的属性信息的示意图;
74.图23为示例性示出的一种图像的文字识别的应用场景示意图;
75.图24为示例性示出的另一种图像的文字识别的应用场景示意图;
76.图25为示例性示出的一种图像的文字识别的应用场景示意图;
77.图26为示例性示出的一种图像的文字识别的应用场景示意图;
78.图27为示例性示出的一种图像的文字识别的应用场景示意图;
79.图28为示例性示出的一种图像的文字识别的应用场景示意图;
80.图29a为示例性示出的一种对图像进行文字识别的场景示意图;
81.图29b为示例性示出的一种对图像进行文字识别的场景示意图;
82.图29c为示例性示出的一种对图像进行文字识别的场景示意图;
83.图30是示例性示出的电子设备的软件结构示意图;
84.图31为示例性示出的一种手机a内部模块之间的交互示意图;
85.图32为示例性示出的一种手机b内部模块之间的交互示意图;
86.图33为示例性示出的另一种手机a内部模块之间的交互示意图;
87.图34为示例性示出的手机b对图像c进行ocr文字识别操作时各模块之间的交互图。
具体实施方式
88.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
89.本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。
90.本技术实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一目标对象和第二目标对象等是用于区别不同的目标对象,而不是用于描述目标对象的特定顺序。
91.图1为本技术实施例示出的一种电子设备100的结构示意图。应该理解的是,图1所示电子设备100仅是电子设备的一个范例,并且电子设备100可以具有比图中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图1中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
92.电子设备100可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,usb)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,sim)卡接口195等。其中传感器模块180可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,骨传导传感器等。
93.在本技术实施例中,处理器110可以用于根据用户的操作或者检测到预设识别条件,触发对图像进行文字识别。处理器110还可以用于为图像添加其他信息,如图像的拍照模式、拍摄图像的设备信息等。处理器110还可以用于检测电子设备当前所处状态,如检测电子设备是否处于充电状态、灭屏状态或者灭屏且充电状态等。处理器110还可以用于根据用户操作截取屏幕的内容形成的图像,并将截取的图像存储在图库中。
94.本技术实施例中,显示屏194可以用于显示图库中的图像,显示应用程序的界面等。显示屏还可以显示出电子设备为用户提供的各种可操作控件(如可点击的按钮、可滑动的滑块等)等。
95.本技术实施例中,内部存储器121可以用于存储图像,如摄像头拍摄的图像、电子设备截屏产生的图像等。内部存储器121还可以存储图像的ocr文字识别的识别结果等。
96.可以理解的是,在本技术另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。
97.电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本技术实施例以分层架构的android系统为例。
98.在一些实施例中,电子设备100的图库中存储有若干张图像(如:500张),该电子设备100响应于用户查看图像的操作,依次对用户查看的图像进行ocr文字识别。可选地,电子
设备100可以使用基于深度学习的ocr文字识别技术。深度学习的ocr文字识别技术是通过收集数据并训练出深度学习模型(如ocr模型),使用训练完成的ocr模型进行识别的技术。基于深度学习的ocr模型包括文本检测模型和文本识别模型。该电子设备100可以部署文本检测模型实现对图像的文本检测,部署文本识别模型实现对图像的文本识别。也即ocr文字识别包括文本检测的操作和文本识别的操作。
99.文本检测模型用于定位图像中文本的位置。电子设备100将一张图像输入该文本检测模型,该文本检测模型输出图像中每个文本区域、每个字符的坐标。文本检测模型检测文本的方法包括:基于候选框的文本检测方法、基于语义分割的文本检测方法、以及基于两种文本检测方法的混合方法。
100.文本识别模型用于识别图像中的文本。可选地,电子设备100将单个文本区域的切片图像输入文本识别模型,该文本识别模型将输出切片中的文字内容。文本识别模型识别文本的框架包括:卷积神经网络(convolutional neural networks,cnn)、循环神经网络(recurrent neural network,rnn)以及联结主义时间分类(connectionist temporal classification,ctc)算法三者组合框架,或者,采用cnn、sequence to sequence模型以及注意力模型(attention)三者组合的框架。
101.为了确保对图像的文本识别的准确性,在进行ocr文字识别之前进行预处理,如对图像进行旋转矫正等,还可以在ocr文本识别后,进行后处理,如进行文本的纠错操作。
102.当用户点击进入电子设备100的图库时,将触发电子设备对该图像进行ocr文字识别。即用户每查看一张图像,电子设备100都将对查看的图像进行ocr文字识别,导致电子设备100的功耗增加,例如,假设对一张具有5行文本的图像进行ocr文字识别的时延为630ms,功耗为m。当用户依次查看50张相同的图像时,该电子设备100将依次对该50张图像进行ocr文字识别,此时查看50张图像的时延为630ms*50;消耗的功耗为m*50;电子设备的功耗增加。由于ocr文字识别的时延长,也影响用户查看图像的速度,影响用户的体验。
103.此外,某一电子设备(如电子设备a)将图像传输至另一电子设备(如电子设备b),电子设备a同时存储有该图像的识别结果,当电子设备a将该图像传输至电子设备b后,电子设备b若查看该图像的文字识别结果,仍需要对该图像进行文字识别,增加电子设备b的功耗。
104.本技术一些实施例提供了一种图像的文字识别方法,以优化电子设备对图库中图像进行ocr文字识别的效率。示例性地,本技术实施例中电子设备100以手机为例。
105.图2为示例性示出的本技术实施例提供了图像的文字识别方法的流程图。该图像的文字识别方法包括以下步骤:
106.步骤201:手机a响应于接收的图像传输指令,读取指定图像的属性信息。
107.示例性地,手机a为数据的发送端设备,手机b为数据的接收端设备。手机a存储有每张图像对应的属性信息。示例性地,属性信息可以包括:第一标签、第二标签、拍照模式标签以及内容标签;还可以包括:图像的获取时间信息等。第一标签用于指示获取图像的来源方式,例如,第一标签为“dcim”,可以用于指示图像来源于拍摄,第一标签为“screenshot”,可以用于指示图像来源于截屏操作。拍照模式标签用于指示拍摄图像的工作模式,如:人像模式、大光圈模式等。内容标签用于指示图像的内容所属的类别,例如,图像中内容呈现的是蛋糕,则该图像的内容所属类别为食物,即该内容标签“food”用于指示该图像的内容为
食物。图像中内容呈现的是文字,则该图像的内容所属类别为文本,手机可以为该图像标记“text1”的内容标签。第二标签用于指示图像所属应用的信息。图像的获取时间信息用于指示该当前手机获取图像的时间或者指示发送图像的源电子设备生成图像的时间。需要说明的是,本技术中属性信息包含的内容仅为示意性举例,本技术不做限定。在其他实施例中,属性信息还可以包括以下信息中的一种或多种信息的组合:图像的颜色信息(如rgb三色的详细信息)、拍照模式标签(如:人像拍照模式标签、夜景拍照模式标签、大光圈拍照模式标签等)、源设备信息等,其中,源设备信息用于指示发送图像的设备的型号信息、系统信息(如android版本信息)等。
108.手机a可以按照数据结构的方式将图像的属性信息存储于手机的数据库中。其中,手机a将绑定该图像与该图像的属性信息。示例性地,手机a可以通过图像的标识信息绑定该图像与该图像的属性信息。图像的标识信息可以用于唯一指示该图像。手机a可以根据属性信息生成图像的标识信息,例如,手机a可以为图像设置唯一对应的标识信息(如img2),也可以用拍摄图像的时间作为图像的标识信息。
109.需要说明的是,本示例中的标识信息仅为示例性举例,在其他实施例中,标识信息还可以是随机生成,例如,手机可以随时生成的预设位数的字符串,并将随机生成的字符串作为图像的标识信息,本技术不限制图像的标识信息的生成方式。本示例中属性信息可以以表的形式存储于数据库中,表的形式如表1所示,其中,表1中属性信息包括:第一标签、第二标签、图像的获取时间、拍照模式标签以及内容标签。手机通过图像标识绑定图像以及图像对应的属性信息。需要说明的是,本示例中属性信息中包含的项目仅为示例性举例,在本技术另一些实施例中,属性信息可以包括比表1更多或更少的项目。手机可以根据图像标识查找图像对应的属性信息。
110.表1
[0111][0112]
用户可以点击手机a中克隆应用的图标,手机a响应于用户的点击操作,启动手机a的克隆应用。同理,手机b响应于用户的启动操作,启动手机b中的克隆应用。手机a的克隆应用可以通过获取手机b的克隆应用提供的二维码,实现与手机b的配对,手机a与手机b建立通信连接。手机a的克隆应用与手机b的克隆应用之间是通过两台手机之间建立的wlan热点进行数据传输,无需使用数据线,无需连接到网络,无需使用移动数据,即可快速的将旧手机(即手机a)中的数据传输到新手机(即手机b)。
[0113]
手机a可以在检测到与手机b成功建立连接之后,响应于用户的传输指令(如点击传输图像的按钮等),手机a读取图库中的图像。可选地,手机a选取图库中的任一张图像作为指定图像,例如,手机可以将待处理的图像依次作为指定图像。如图库存储有3张图像(分
别为图像a、图像b、图像c),手机a遍历图库中的每张图像。即手机a对图像a处理时,将图像a作为指定图像。对图像b处理时,将图像b作为指定图像。对图像c处理时,将图像c作为指定图像。手机a确定指定图像之后,读取指定图像的属性信息。可选地,本示例中指定图像的属性信息可以包括:第一标签、内容标签以及第二标签。
[0114]
需要说明的是,本示例中以手机a通过克隆应用传输数据的方式为例,在其他示例中,手机a可以通过分享图像的方式,将手机a中的图像通过即时通信应用分享至手机b。分享图像的方式可以是:荣耀分享、蓝牙分享、微信分享、wi-fi分享等,本示例中不再一一列举。
[0115]
步骤202:手机a将该指定图像的属性信息以及该指定图像作为图像信息。
[0116]
步骤203:手机a获取接收端设备的型号、该指定图像的源识别设备的型号以及手机a的型号。
[0117]
在一些实施例中,手机a与手机b之间建立了通信连接后,手机a可以读取手机b的型号。手机a读取手机b的型号的方式可以是向该手机b发送读取型号的请求,手机b响应于手机a发送的读取型号的请求后,将自身的型号反馈至手机a。手机a还可以获取自身的设备型号以及该图像的源识别设备的型号。可选地,图像的源识别设备可以是指获取图像的源设备。例如,在执行步骤201之前手机a对该指定图像进行了文字识别的操作,则该手机a即为该指定图像的源识别设备。再如,手机a存储有指定图像,该指定图像由手机c传输至手机a中,即该指定图像的源识别设备即为手机c。当该指定图像的源识别设备为手机a,则该指定图像的源识别设备与手机a为同一设备。
[0118]
步骤204:手机a从图像的源识别设备的型号与手机a的设备型号中选取一个型号作为指定型号。
[0119]
可选地,本示例中手机a可以采用如图3a所示的流程确定指定型号。图3a中确定指定型号的步骤可以包括:
[0120]
步骤2041:手机a判断手机a的型号与源识别设备的型号是否相异。若确定手机a的型号与源识别设备的型号相同,则执行步骤2042。若确定手机a的型号与源识别设备的型号相异,则执行步骤2043。
[0121]
步骤2042:手机a选取手机a的型号作为指定型号。
[0122]
示例性地,当手机a的型号与该指定图像的源识别设备的型号相同,故可以直接将该手机a的型号作为指定型号。
[0123]
步骤2043:手机a判断该指定图像是否有ocr的识别结果。若确定该指定图像有ocr的识别结果,则执行步骤2044。若确定该指定图像没有ocr的识别结果,则执行步骤2042。
[0124]
示例性地,手机a可以查询是否存储有该指定图像的ocr的识别结果,若查询到该指定图像的ocr的识别结果,则可以确定该指定图像有ocr的识别结果,执行步骤2044。若未查询到该指定图像的ocr的识别结果,则可以确定该指定图像没有ocr的识别结果,执行步骤2042。
[0125]
步骤2044:手机a选取源识别设备的型号作为指定型号。
[0126]
本示例中,通过手机a的型号与源识别设备进行比较,若确定手机a的型号与源识别设备的型号相同,则可以直接确定手机a的型号为指定型号,无需进行后续该指定图像是否有ocr的识别结果的判断,减少不必要的步骤。由于存在源识别设备的型号高于手机a的
型号,且手机a不具有ocr的识别功能的情况,故,若选取源识别设备的型号作为指定型号,会导致手机a或手机b不对该指定图像进行文字识别的操作,导致电子设备漏识别指定图像的问题,而通过判断指定图像是否有ocr的识别结果,仅在指定图像有ocr的识别结果时选取手机a的型号作为指定型号,避免出现手机a或手机b对该指定图像的漏识别的情况。
[0127]
需要说明的是,在另一示例中,手机a还可以获取手机b的系统版本,并在确定指定型号后,获取指定型号所属设备的系统版本作为指定版本,例如,若指定型号为手机a的型号,则可以获取手机a的系统版本a1.0。将系统版本a1.0作为指定版本。若指定型号为手机c的型号,可以获取存储的手机c的系统版本c1.0,手机a将系统版本c1.0作为指定版本。
[0128]
步骤205:手机a比较接收端设备的型号与指定型号,获取比较结果。
[0129]
示例性地,手机a将手机b(即接收端设备)的型号与指定型号进行比较,获得比较结果。即比较结果可以是指定型号与手机b的型号相同、指定型号大于手机b的型号以及指定型号等于手机b的型号。
[0130]
在另一示例中,当手机a还获取了指定版本以及手机b的系统版本,则手机a先将手机b的型号与指定型号进行比较,当手机b的型号与指定型号相异,则将手机b的型号与指定型号之间比较的结果作为比较结果。若确定手机b的型号与指定型号相同,则手机a将手机b的系统版本与指定版本进行比较,则将该手机b的系统版本与指定版本之间比较的结果作为比较结果。例如,手机a确定指定型号与手机b的型号相同,则将指定版本与手机b的系统版本进行比较,若确定指定版本大于手机b的系统版本,则比较结果指示指定版本大于手机b的系统版本。
[0131]
需要说明的是,本示例中以手机b的型号与指定型号之间比较的结果作为比较结果为例。
[0132]
可以理解的是,手机a中可以预先存储有各个手机型号之间的大小关系的信息,以便手机a可以准确比较各个型号之间的大小。同理,手机a中也可以存储有各个系统版本之间的大小关系信息,以便手机a可以准确确定版本之间的大小。
[0133]
步骤206:手机a根据比较结果以及图像信息,确定传输数据。
[0134]
一个示例中,手机a可以采用如图3b所示的流程确定传输数据。图3b所示的流程包括:
[0135]
步骤2061:手机a检测到比较结果指示指定型号大于接收端设备的型号。该步骤之后执行步骤2062。
[0136]
步骤2062:手机a置识别标签为假值。
[0137]
示例性地,手机a对指定图像进行文字识别的操作,获得识别结果a1;手机b对同一指定图像进行文字识别的操作,获得识别结果b1。当指定型号大于手机b的型号时,该识别结果a1比识别结果b1更加准确。故当手机a确定指定型号大于手机b的型号时,手机a可以指示手机b不再对该指定图像进行文字识别的操作。可选地,手机a可以在属性信息中添加识别标签,该识别标签可以用于指示手机b是否进行ocr文字识别操作的信息。当识别标签的值为假值(即为false),则该识别标签用于指示手机b结束对该指定图像进行ocr文字识别的操作。
[0138]
可以理解的是,识别标签的值还可以采用其他的字符串,例如,可以用“0”指示识别标签的假值,本示例中不再一一列举。
[0139]
步骤2063:手机a判断该指定图像是否有ocr的识别结果。若手机a确定该指定图像有ocr的识别结果,则执行步骤2064,即执行将图像信息与识别结果作为传输数据的步骤。若手机a确定该指定图像没有ocr的识别结果,则执行步骤2065,即执行ocr文字识别。
[0140]
示例性地,手机a可以获取步骤2043的结果,即可获知该指定图像是否有ocr的识别结果。
[0141]
另一个示例中,手机a也可以重新查询该指定图像是否有ocr的识别结果,若手机a查询到该指定图像的ocr的识别结果,则确定执行步骤2064,若手机a未查询到该指定图像的ocr文字识别结果,则确定执行步骤2065。
[0142]
步骤2064:手机a将图像信息与识别结果作为传输数据。
[0143]
步骤2065:手机a对该指定图像进行ocr文字识别的操作。
[0144]
示例性地,由于识别标签用于指示手机b不对图像进行文字识别的操作,当手机a未查询到该指定图像的ocr的识别结果,则触发手机a对该指定图像进行ocr文字识别的操作。
[0145]
ocr文字识别的过程包括:文本检测和文本识别。当手机a检测该指定图像中存在文本后,继续对该指定图像进行文本识别,手机a获取对该指定图像进行文本识别的识别结果,该识别结果也即为ocr文字识别的识别结果。当手机a未检测到该指定图像中存在文本,则手机a结束该ocr文字识别的流程。
[0146]
步骤2066:手机a检测到比较结果指示指定型号小于或等于接收端设备的型号。
[0147]
步骤2067:手机a置识别标签为真值。
[0148]
示例性地,手机a对指定图像进行ocr文字识别的操作,获得识别结果a1;手机b对同一指定图像进行ocr文字识别的操作,获得识别结果b1。当指定型号小于或等于手机b的型号时,该识别结果a1的准确度弱于或等于识别结果b1。故当手机a确定指定型号小于或等于手机b的型号时,手机a可以指示手机b对该指定图像进行ocr文字识别的操作。可选地,手机a可以置识别标签的值为真值(即为true),则该识别标签用于指示手机b对指定图像进行ocr文字识别的操作。
[0149]
可以理解的是,识别标签的值还可以采用其他的字符串,例如,可以用“1”指示识别标签的真值,本示例中不再一一列举。
[0150]
步骤2068:手机a查询手机a是否具有ocr文字识别功能。若手机a确定具有ocr文字识别功能,则执行步骤2063。若手机a确定不具有ocr文字识别功能,则执行步骤2069。
[0151]
示例性地,手机a可以向手机a的系统查询是否具有ocr文字识别功能。
[0152]
步骤2069:手机a将图像信息作为传输数据。
[0153]
需要说明的是,在另一示例中,当手机a将该手机b的系统版本与指定版本之间比较的结果作为比较结果时,手机a执行的步骤2061为:手机a检测到比较结果指示指定版本大于接收端设备的版本。手机a执行的步骤2066可以为:手机a检测到比较结果指示指定版本小于或等于接收端设备的版本。
[0154]
步骤207:手机a向手机b发送传输数据。
[0155]
示例性地,手机a通过建立的通信通道将该传输数据发送至手机b。如本示例中,通过两台手机之间建立的wlan热点进行数据传输。
[0156]
步骤208:手机b接收到手机a发送的传输数据。
[0157]
步骤209:手机b从该传输数据中获取指定图像以及该指定图像的属性信息。
[0158]
该传输数据中包含有指定图像、该指定图像的属性信息。手机b从该传输数据中获取指定图像以及该指定图像的属性信息。
[0159]
步骤210:手机b保存该指定图像与该指定图像的属性信息。
[0160]
示例性地,手机b可以按照数据结构的方式将图像的属性信息存储于手机的数据库中。手机a并绑定该图像与该图像的属性信息。示例性地,手机b可以通过图像的标识信息绑定该图像与该图像的属性信息。图像的标识信息可以用于唯一指示该图像。
[0161]
步骤211:手机b当检测到预设的触发条件,则根据传输数据中的比较结果以及该指定图像的属性信息,对该指定图像进行ocr文字识别的操作。
[0162]
示例性地,预设的触发条件可以是:手机b接收到用户查看图库中任一图像的操作。需要说明的是,本示例中的触发条件仅为示例性举例,在其他示例中,预设的触发条件还可以是:手机b检测手机b到处于灭屏且充电的状态;或者,手机b接收到用户查看图库的操作。对此,本技术将不再一一列举。
[0163]
本示例中,手机b绑定了指定图像与该指定图像的属性信息并保存后,手机b可以响应于用户查看该指定图像的操作,触发手机b对该指定图像进行ocr文字识别的操作。
[0164]
手机b可以获取传输数据中的比较结果以及该指定图像的属性信息,对该指定图像进行ocr文字识别的操作。下面将结合图4a、图5a~图5c详细介绍手机b对指定图像进行ocr文字识别的过程。
[0165]
图4a为示例性示出的手机b对该指定图像进行ocr文字识别的操作的流程图。
[0166]
步骤2111:手机b读取指定图像的属性信息。
[0167]
手机b将不同来源方式的图像存储于图库中,以供用户查看。例如,手机b通过拍照方式获得的图像、手机b接收其他电子设备(如手机a)发送的指定图像、或者手机b通过截屏获得图像。
[0168]
本示例中,图库界面上以缩略图的方式显示图像,用户点击缩略图,手机b响应于用户的点击操作,打开与该缩略图对应的图像。手机b还可以通过该缩略图确定该缩略图对应图像的标识信息,从数据库中查找与该标识信息绑定的属性信息。示例性地,手机b响应于用户点击指定图像的缩略图的操作,从数据库中查找该指定图像绑定的属性信息。
[0169]
需要说明的是,本示例中,属性信息可以包括:第一标签、第二标签、拍照模式标签、内容标签以及识别标签。可选地,该属性信息中可以包括获取图像的时间信息。
[0170]
步骤2112:手机b判断识别标签是否为真值。当手机b确定识别标签为假值,则结束流程。当手机b确定识别标签为真值,则执行步骤2113以及步骤2115。
[0171]
示例性地,手机b从指定图像的属性信息中获取识别标签,判断该识别标签是否为真值。当手机b确定识别标签为假值(即false),则手机b结束流程。手机b结束对图像进行ocr文字识别的操作后,可以直接从传输数据中获取指定图像的识别结果。
[0172]
本示例中,手机b通过判断识别标签是否为真值,确定手机b是否对指定进行ocr文字识别的操作。在识别标签为假值时,手机b不必对图像进行ocr文字识别的操作,而是直接从传输数据中获取指定图像的ocr文字识别的识别结果,避免了出现重复识别的情况,或者出现手机b的识别结果的准确度小于传输数据中的识别结果的情况。
[0173]
当手机b确定识别标签为真值(即为true),则手机b可以并行执行步骤2113以及步
骤2115。
[0174]
步骤2113:手机b从指定图像的属性信息中确定该指定图像的类别。
[0175]
示例性地,手机b读取指定图像的属性信息之后,从属性信息中获取第一标签。手机b根据第一标签,确定该指定图像所属的类别。例如,属性信息中获取到第一标签为“screenshot”,则手机b确定该指定图像属于截图。若第一标签的值为“dcim”,则手机b确定该指定图像属于照片。
[0176]
可以理解的是,手机b可以预先存储第一标签与图像的类别之间的对应关系,例如,“screenshot”——截图,“dcim”——照片。当手机b从属性信息中获取到第一标签,即可根据存储的第一标签与图像的类别之间的对应关系,确定该指定图像的类别。需要说明的是,第一标签的值为示例性举例。在其他实施例中,例如指示照片的第一标签可以为“camera”。本示例中对第一标签的值不做具体的限制。
[0177]
本示例中,手机通过属性信息可以快速获取指定图像的类别。
[0178]
步骤2114:手机b根据指定图像的类别,确定第一指示信息。该步骤之后执行步骤2117。
[0179]
示例性地,手机b确定指定图像的类别为截图时,可以采用如图5a所示的方法确定第一指示信息。当手机b确定指定图像的类别为照片时,可以采用如图5b所示的方法确定第一指定信息。
[0180]
在一个示例中,将结合图5a说明指定图像为截图时,确定第一指示信息的流程。
[0181]
步骤501:手机b确定该指定图像的类别为截图。
[0182]
步骤502:手机b从该图像的属性信息中获取该图像所属应用的信息。
[0183]
示例性地,手机b可以从属性信息中获取第二标签,读取该第二标签,例如,第二标签的值为:“taobao”,该第二标签“taobao”可以指示该截图所属应用为“淘宝”。
[0184]
可以理解的是,手机b可以预先存储第二标签与应用名称之间的对应关系,例如,“taobao”——淘宝,“meitu”——美图秀秀。当手机b从属性信息中获取到第二标签,即可根据存储的第二标签与应用名称之间的对应关系,确定指定图像所属应用的名称。需要说明的是,第二标签的值为示例性举例。
[0185]
步骤503:手机b检测应用的类型。当检测到该应用属于第二概率应用,则执行步骤504。当检测到该应用属于第一概率应用,则执行步骤506。当检测到该应用属于第三概率应用,则执行步骤505。
[0186]
示例性地,该指定图像所属应用的应用类别可以预先划分,例如,电子设备可以对各种截图进行ocr文字识别,通过大数据统计的方式确定出第一概率应用、第二概率应用以及第三概率应用。示例性地,第一概率应用用于指示应用出现文字的概率大于第一阈值(如:第一阈值为50%),第二概率应用用于指示应用出现文字的概率大于第二阈值且小于第一阈值,如,大于0且小于50%。第三概率应用用于指示应用出现文字的概率为0。需要说明的是,第一阈值、第二阈值仅为示例性举例,第二阈值可以为0;在其他实施例中,第一阈值还可以是60%,第二阈值还可以是20%、10%等。
[0187]
图6为示例性示出的应用类别的示意图。手机b可以预先存储如图6所示的应用类别的信息。示例性地,第一概率应用包括:社交类应用、教育类应用、新闻阅读类应用、出行导航类应用、旅游住宿类应用、购物类应用、商务类应用、美食类应用、便携生活类应用以及
儿童类应用。社交类应用如:微信。教育类应用如:xx学英语、xx辅导等。新闻阅读类应用如:人民日报、央视新闻等应用。出行导航类应用如:百度地图、高德地图、xx打车应用等。旅游住宿类应用如:携程应用、去哪儿应用等。购物类应用如淘宝、京东等应用。商务类应用如:招聘应用、商标查询应用等。美食类应用如:下厨房应用等。便携生活类应用如:备忘录、支付宝等应用。儿童类应用如:xx绘本读物。需要说明的是,第一概率应用中各类所包含的应用仅为举例,在其他实施例中,每个类别还可以包括其他未列举的应用,如社交类应用还可以包括:钉钉、飞鸽等。
[0188]
第二概率应用可以包括:影音类应用(如:视频应用)、金融财经类应用(如:交易所应用等)、运动健康类应用(如:xx运动健康等)、使用工具类应用(如:测量工具应用、网盘应用等)、汽车类应用(如:二手车交易应用、车类查询应用等)。第二概率应用中各类所包含的应用仅为举例,在其他实施例中,每个类别还可以包括其他未列举的应用,如影音类应用还可以包括:酷我音乐等。
[0189]
第三概率应用可以包括:拍摄美化类应用(如美图应用等)以及主题个性类应用(如:主题应用等)。第三概率应用中各类所包含的应用仅为举例,在其他实施例中,每个类别还可以包括其他未列举的应用。
[0190]
在一个示例中,手机b获取截图所属应用的信息,以及预先存储的应用类别,确定截图所属应用的类别。例如,截图所属应用的名称为“淘宝”,根据预先存储的应用类别,手机b确定该截图所属应用属于第一概率应用。
[0191]
在另一个示例中,手机b还可以通过其他方式确定截图所属应用的类别。例如,可以训练截图所属应用分类模型,手机b将截图所属应用的信息输入该截图所属应用分类模型,即可确定该截图所属应用的类别。截图所属应用分类模型可以预先训练好。训练的方式将不再进行赘述。
[0192]
可以理解的是,手机b还可以采用其他方式确定截图所属应用的类别。
[0193]
步骤504:手机b判断手机b是否处于灭屏且充电的状态。当手机b确定处于灭屏且充电的状态,则执行步骤506。当手机b确定未处于灭屏且充电状态,则执行步骤505。
[0194]
步骤505:手机b确定第一指示信息指示结束流程。
[0195]
步骤506:手机b确定第一指示信息指示进行ocr文字识别。
[0196]
在另一个示例中,将结合图5b说明指定图像为时,确定第一指示信息的流程。
[0197]
步骤601:手机b确定该指定图像的类别为照片。
[0198]
步骤602:手机b从该指定图像的属性信息中获取该指定图像的拍照模式的信息。
[0199]
示例性地,手机b可以从属性信息中读取拍照模式标签的内容,将该拍照模式标签的值作为拍照模式的信息,例如,获取的属性信息包括“dcim_20210928_2010_拍摄_text1”,该指定图像的属性信息中第一项属性为图像的来源方式,获取到第一标签的值为“dcim”,手机b确定该图像属于照片。该指定图像的属性信息中第二项属性为图像的拍照模式信息,获取到第二标签的值为“拍摄”,手机b确定该图像的拍照模式属于普通模式。
[0200]
可选地,若属性信息在数据库中以表的形式存储,手机b可以根据第一标签的属性名以及图像的标识信息,从表中读取该指定图像的第一标签的值、拍照模式标签的值。例如,指定图像的标识信息为“img2”,根据表1的内容,可以读取该图像的第一标签的值为“dcim”、读取该图像的拍照模式标签的值为“水印”。
[0201]
步骤603:手机b识别拍照模式的类型。当手机b识别到该指定图像的拍照模式属于第二概率模式,则执行步骤604。当手机b识别到该指定图像的拍照模式属于第一概率模式,则执行步骤606。当手机识别到该指定图像的拍照模式属于第三概率模式,则执行步骤605。
[0202]
示例性地,图像的拍照模式的类别可以预先划分,拍照模式的划分与应用类别的划分方式类似,可以参照步骤503,此处不再进行赘述。第一概率模式用于指示图像出现文字的概率大于第一阈值(如:第一阈值为50%),第二概率模式用于指示图像出现文字的概率大于第二阈值且小于第一阈值,如,大于0且小于50%。第三概率模式用于指示图像出现文字的概率小于等于第二阈值且大于等于0。需要说明的是,第一阈值、第二阈值仅为示例性举例,在其他实施例中,第二阈值可以为0。可选地,第一阈值还可以是60%,第二阈值还可以是20%、10%等。
[0203]
图7为示例性示出的模式类别的示意图。手机b可以预先存储如图7所示的模式类别的信息。示例性地,第一概率模式包括:文档矫正模式、水印模式。本示例中,第一概率模式中包含的模式仅为举例,在其他实施例中,第一概率模式还可以为其他用于拍摄文档或包含文字的拍照模式。第二概率模式可以包括:大光圈模式、高像素模式以及普通拍照模式。本示例中,第二概率模式中包含的模式仅为举例,在其他实施例中,第二概率模式还可以为其他用于拍摄高像素图像的拍照模式。第三概率模式可以包括:夜景模式、人像模式、全景模式、慢动作模式、水下模式、黑白艺术模式、流光快门模式、延时摄影模式、超级微距模式、多机位模式以及专业模式。第三概率模式中包含各类标签仅为举例,在其他实施例中,还可以包括其他未列举的模式。
[0204]
在一个示例中,手机b根据拍照模式标签的值以及预先存储的模式类别,确定指定图像的拍照模式所属的类别。例如,拍照模式标签的值为“人像”,根据预先存储的模式类别,手机b确定该“人像”标签属于第三概率模式。
[0205]
在另一个示例中,手机b还可以通过其他方式确定拍照模式标签的类别。例如,可以训练拍照模式的模式分类模型,手机b将图像的内容标签输入该训练好的模式分类模型中,该模式分类模型即可输出该拍照模式标签的类别。模式分类模型可以预先训练好。训练的方式将不再进行赘述。可以理解的是,手机b还可以采用其他方式确定拍照模式标签的类别。
[0206]
步骤604:手机b判断手机b是否处于灭屏且充电的状态。当手机b确定处于灭屏且充电的状态,则执行步骤606。当手机b确定未处于灭屏且充电状态,则执行步骤605。
[0207]
步骤605:手机b确定第一指示信息指示结束流程。
[0208]
步骤606:手机b确定第一指示信息指示进行ocr文字识别。
[0209]
本示例中,当手机b确定指定图像的类别为截图时,采用如图5a所示的方式确定第一指示信息;当手机b确定指定图像的类别为照片时,采用如图5b所示的方式确定第一指示信息。
[0210]
需要说明的是,确定第一指示信息的步骤与确定第二指示信息的步骤可以并行处理。即在确定识别标签为真值后,并行执行步骤2115。
[0211]
步骤2115:手机b根据该属性信息,判断内容标签是否为空。当手机b确定内容标签不为空,则执行步骤2116。当手机b确定内容标签为空,则执行步骤2118。
[0212]
步骤2116:手机b根据该指定图像的内容标签的类别,确定第二指示信息。在该步
骤之后执行步骤2117。
[0213]
在一个示例中,将结合图5c说明根据指定图像的内容标签的类别,确定第二指示信息的流程。确定第二指示信息包括:
[0214]
步骤701:手机b从该指定图像的属性信息中获取该指定图像的内容标签。
[0215]
示例性地,手机b可以从属性信息中读取该内容标签的内容,例如,获取的属性信息为“dicm_camera_20210928_2010_拍摄_text1”,其中,该属性信息中的第五项属性为内容标签,则手机读取该内容标签的取值为“text1”。
[0216]
可选地,若属性信息在数据库中以表的形式存储,手机b可以根据内容标签的属性名以及图像的标识信息,从表中读取该图像的内容标签的值。例如,图像的标识信息为“img1”,根据表1的内容,可以读取该图像对应的内容标签的值为“text1”。
[0217]
步骤702:手机b识别内容标签的类型。当手机b识别到该指定图像的内容标签属于第二概率标签,则执行步骤703。当手机b识别到该指定图像的内容标签属于第一概率标签,则执行步骤705。当识别到该图像的内容标签属于第三概率标签,则执行步骤704。
[0218]
示例性地,图像的内容标签的类别可以预先划分,示例性地,第一概率标签用于指示图像出现文字的概率大于第一阈值(如:第一阈值为50%),第二概率标签用于指示图像出现文字的概率大于第二阈值且小于第一阈值,如,大于0且小于50%。第三概率标签用于指示图像出现文字的概率小于等于第二阈值且大于等于0。需要说明的是,第一阈值、第二阈值仅为示例性举例,在其他实施例中,可选地,第一阈值还可以是60%,第二阈值还可以是20%、10%等。
[0219]
图8为示例性示出的标签类别的示意图。手机可以预先存储如图8所示的标签类别的信息。示例性地,第一概率标签包括:文档一类。文档一类包括:纸质文档、身份证、护照、银行卡、演示文稿、名片、房产证、户口本、发票、火车票、飞机票、电影票、荣誉证书、表格、结婚证、驾驶证、行驶证、设计图等。需要说明的是,文档一类中包含的各类型的物体仅为举例,在其他实施例中,该文档一类还可以包括其他未列举的包含文字的实体,如报纸、期刊杂志等。第二概率标签可以包括:交通工具一类、电器一类。可选地,交通工具一类可以是覆盖有文字的交通工具,例如,车身覆盖有广告的汽车、火车、轮船等。电器一类可以是覆盖有文字的电器,例如,机身上覆盖有使用说明的打印机、自助充卡机等。交通工具一类以及电器一类中包含的各类物体仅为举例,在其他实施例中,交通工具一类还可以包括其他未列举的物体,如覆盖有公益口号的救援车等,电器一类中还可以是自动售货机、智能货柜等。第三概率标签可以包括:人像、风景、动物、家居、艺术、节目、运动、动作、活动、配饰、服饰、玩具、工具、交通工具二类、电器二类以及文档二类。可选地,交通工具二类可以是无覆盖文字或文字少于预设字数(如5个字)的交通工具,如,挖掘机、代步机等。电器二类可以是无覆盖文字或文字少于预设字数(如5个字)的电器,如电灯、插线板等
[0220]
家居可以用于指示图像中物体为沙发、餐桌等。艺术可以用于指示图像中物体为画、瓶子等艺术品。节目可以用于指示图像所处时间为节假日,如图像包含爆竹,则可以使用节日的内容标签。运动标签可以用于指示图像中的人物的运动,如图像中人物的起跑姿势,可以使用跑步的标签。动作可以用于指示图像中的人物或动物的姿态。活动可以用于指示图像中人物的任务、配饰可以用于指示图像中的人物衣服的装饰物、服饰可以用于指示图像中的人物的服装等。
[0221]
第三概率标签中包含各类标签仅为举例,在其他示例中,还可以包括其他未列举的标签。
[0222]
在一个示例中,与步骤503类似,手机b根据内容标签的值以及预先存储的标签类别,确定指定图像的内容标签所属的类别。在另一个示例中,手机b还可以通过其他方式确定内容标签的类别。
[0223]
步骤703:手机b判断手机是否处于灭屏且充电的状态。当手机b确定处于灭屏且充电的状态,则执行步骤705。当手机b确定未处于灭屏且充电状态,则执行步骤704。
[0224]
步骤704:手机b确定第二指示信息指示结束流程。
[0225]
步骤705:手机b确定第二指信息指示进行ocr文字识别。
[0226]
本示例中,通过步骤701~步骤705,手机b可以根据指定图像的内容标签的类别,确定第二指示信息。在手机b确定第一指示信息以及第二指示信息后,可以执行步骤2117。
[0227]
步骤2117:手机b判断第一指示信息以及第二指示信息是否均指示结束流程。当手机b确定第一指示信息以及第二指示信息均指示结束流程,则结束对该指定图像进行ocr文字识别的操作。当手机b确定第一指示信息以及第二指示信息未均指示结束流程,则执行步骤2119。
[0228]
示例性地,手机b确定第一指示信息或第二指示信息中任一指示信息未指示结束流程,则手机b执行步骤2119。
[0229]
步骤2118:手机b确定第二指示信息指示结束流程。
[0230]
步骤2119:手机b执行ocr文字识别。
[0231]
手机b对该图像进行ocr文字识别,ocr文字识别的过程包括:文本检测和文本识别。当手机b检测到文本后,继续对该指定图像进行文本识别,手机b获取对该指定图像进行文本识别的识别结果,该识别结果也即为ocr文字识别的识别结果。当手机b未检测到文本,则手机b结束流程。
[0232]
步骤2120:手机b存储ocr文字识别的识别结果。
[0233]
示例性的,手机b可以存储ocr文字识别的识别结果。手机b响应于用户查看ocr文字识别结果的操作时,显示该识别结果。示例性地,查看ocr文字识别结果的操作可以是点击界面中的指定按钮。
[0234]
在另一个示例中,结合图4b、图5d~图5f详细介绍手机b对指定图像进行ocr文字识别的另一种过程。
[0235]
图4b为示例性示出的手机b对该指定图像进行ocr文字识别的操作的流程图。
[0236]
步骤2111’:手机b读取指定图像的属性信息。
[0237]
该步骤与2111类似,此处不再进行赘述。
[0238]
步骤2112’:手机b判断识别标签是否为真值。当检测到识别标签为假值,则结束对指定图像进行ocr文字识别的操作。当手机b检测到识别标签为真值,则执行步骤2113’和步骤2114’。
[0239]
该步骤与2112类似,此处不再进行赘述。
[0240]
步骤2113’:手机b从指定图像的属性信息中确定该指定图像的类别。该步骤之后,执行步骤2115’。
[0241]
该步骤与2113类似,此处不再进行赘述。
[0242]
步骤2114’:手机b根据该属性信息,判断内容标签是否为空。确定第二检测结果为空。当手机b检测到内容标签不为空,则执行步骤2116’。当手机b检测到内容标签为空,则执行步骤2117’。
[0243]
该步骤与2115类似,此处不再进行赘述。
[0244]
步骤2115’:手机b根据指定图像的类别以及该指定图像的属性信息,确定第一检测结果。该步骤之后,执行步骤2118’。
[0245]
在一个示例中,该步骤2115’可以采用如图5d或5e中的流程。具体过程将在图5d以及5e中介绍。
[0246]
步骤2116’:手机b从属性信息中获取内容标签,确定第二检测结果。该步骤之后执行步骤2118’。
[0247]
该步骤的具体过程参见图5f。
[0248]
步骤2117’:手机b确定第二检测结果为空。该步骤之后,执行步骤2118’。
[0249]
步骤2118’:手机b从第一检测结果和第二检测结果中选取高等级的类型作为该指定图像所属类型。
[0250]
可选地,图像所属的概率类型包括:第一概率类型、第二概率类型以及第三概率类型,其中,第一概率类型的等级高于第二概率类型,第二概率类型高于第三概率类型。
[0251]
第一概率类型的图像可以包括:所属应用属于第一概率应用的图像、拍照模式属于第一拍照模式的图像或者内容标签为第一概率标签的图像。
[0252]
第二概率类型的图像可以包括:所属应用属于第二概率应用的图像、拍照模式属于第二拍照模式的图像或者内容标签为第二概率标签的图像。
[0253]
第三概率类型的图像可以包括:所属应用属于第三概率应用的图像、拍照模式属于第三拍照模式的图像或者内容标签为第三概率标签的图像。
[0254]
当确定了第一检测结果以及第二检测结果后,选取高等级的类型作为指定图像的概率类型。例如,第一检测结果指示指定图像属于第一概率类型,第二检测结果指示该指定图像属于第二概率类型,则确定图像属于第一概率类型。
[0255]
步骤2119’:手机b检测该指定图像的概率类型。当手机b检测到该指定图像属于第三概率类型,则结束对该指定图像进行ocr文字识别的操作。当手机b检测到该指定图像属于第二概率类型,则手机b执行步骤2120’。当手机b检测到该指定图像属于第一概率类型,则手机b执行步骤2123’。
[0256]
步骤2120’:手机b判断手机是否处于灭屏且充电的状态。当手机b检测到手机b未处于充电且灭屏的状态,则手机b执行步骤2121’。当手机b检测到手机b处于充电且灭屏的状态,则手机b步骤2122’。
[0257]
步骤2121’:手机b对该指定图像指定文本检测的操作。该步骤之后,执行步骤2122’。
[0258]
步骤2122’:存储文本检测结果。该步骤之后,手机b结束对该指定图像进行ocr文字识别的操作。
[0259]
步骤2123’:手机b对该指定图像执行文本检测的操作。该步骤之后,执行步骤2124’。
[0260]
步骤2124’:手机b对该指定图像执行文本识别的操作。
[0261]
步骤2125’:手机b存储ocr文字识别结果。该步骤之后,结束对指定图像进行ocr文字识别的操作。
[0262]
本示例中,对属于第一概率类型的指定图像直接进行文本检测以及文本识别的操作;当检测到图像属于第二概率类型,且未检测到手机处于充电且灭屏的状态时,对指定图像进行文本检测的操作。当手机检测到指定图像属于第三概率类型,则不对指定图像进行任何操作;本示例中,由于预先确定了图像所属的概率类型,可以避免对指定图像执行的操作出现冲突的问题。
[0263]
需要说明的是,图5d和图5e为确定第一检测结果的流程图。图5f为一种确定第二检测结果的流程图。
[0264]
图5d为针对图像的类别属于截图时,确定第一检测结果的示意图。
[0265]
步骤501’:手机b确定该指定图像的类别为截图。
[0266]
与步骤501类似,此处不再进行赘述。
[0267]
步骤502’:手机b从该指定图像的属性信息中获取该指定图像所属应用的信息。
[0268]
与步骤502类似,此处不再进行赘述。
[0269]
步骤503’:手机b检测应用的类型。当手机b检测该指定图像所属应用属于第三概率应用,则执行步骤504’。当手机b检测到指定图像所属应用属于第二概率应用,则执行步骤505’。当手机b检测到指定图像所属应用属于第一概率应用,则执行步骤506’。
[0270]
与步骤503类似,此处不再进行赘述。
[0271]
步骤504’:手机b确定第一检测结果指示该指定图像属于第三概率类型。
[0272]
步骤505’:手机b确定第一检测结果指示该指定图像属于第二概率类型。
[0273]
步骤506’:手机b确定第一检测结果指示该指定图像属于第一概率类型。
[0274]
在另一个示例中,图5e为针对图像的类别属于照片时,确定第一检测结果的示意图。
[0275]
步骤601’:手机b确定该指定图像的类别为照片。
[0276]
与步骤601类似,此处不再进行赘述。
[0277]
步骤602’:手机b从该指定图像的属性信息中获取该指定图像的拍照模式的信息。
[0278]
与步骤602类似,此处不再进行赘述。
[0279]
步骤603’:手机b检测拍照模式的类型。当手机b检测该指定图像的拍照模式属于第三概率模式,则执行步骤604’。当手机b检测到指定图像的拍照模式属于第二概率模式,则执行步骤605’。当手机b检测到指定图像的拍照模式属于第一概率应用,则执行步骤606’。
[0280]
与步骤603类似,此处不再进行赘述。
[0281]
步骤604’:手机b确定第一检测结果指示该指定图像属于第三概率类型。
[0282]
步骤605’:手机b确定第一检测结果指示该指定图像属于第二概率类型。
[0283]
步骤606’:手机b确定第一检测结果指示该指定图像属于第一概率类型。
[0284]
在另一个示例中,图5f为根据图像的内容标签确定第二检测结果的示意图。
[0285]
步骤701’:手机b从指定图像的属性信息中获取该指定图像的内容标签。
[0286]
与步骤701类似,此处不再进行赘述。
[0287]
步骤702’:手机b识别该内容标签的类型。当手机b检测该指定图像的内容标签属
于第三概率标签,则执行步骤703’。当手机b检测到指定图像的内容标签属于第二概率标签,则执行步骤704’。当手机b检测到指定图像的内容标签属于第一概率应用,则执行步骤705’。
[0288]
与步骤702类似,此处不再进行赘述。
[0289]
步骤703’:手机b确定第二检测结果指示该指定图像属于第三概率类型。
[0290]
步骤704’:手机b确定第二检测结果指示该指定图像属于第二概率类型。
[0291]
步骤705’:手机b确定第二检测结果指示该指定图像属于第一概率类型。
[0292]
下面结合具体场景,对本技术实施例中图像的文字识别方法进行详细说明。
[0293]
图9a为示例性示出的手机a的图库的示意图。
[0294]
在一个示例中,手机a启动了克隆应用,同时手机b也启动了克隆应用。手机a通过启动的克隆应用与手机b建立通信连接。手机a可以响应于接收到用户的传输指令,依次将图库中的每张图像作为指定图像,并读取指定图像的属性信息。可选地,本示例中传输指令为用户点击了克隆应用中传输图像的按钮。为了便于理解,本示例中示出了手机a的图库主界面901,图库界面901中包括各个图像的缩略图。每个缩略图对应的图像绑定各自的属性信息。例如,缩略图902对应的图像的属性信息903。该属性信息中包括:缩略图902对应的图像的像素信息、手机a的型号(即当前设备的型号)、该缩略图902对应的图像的存储路径等。可选地,可以将属性信息中的部分内容作为图像的名称,例如,可以将属性信息中的第一标签、第二标签、内容标签以及图像的获得时间作为该图像的名称,如“screenshot_20210928_2010_memorandum_text1”为该图像的名称。该属性信息903中包含的内容仅为示例性举例,在其它示例中,属性信息还可以包括其它内容。
[0295]
图9b示出了手机c传输图像至手机a的示意图。在另一个示例中,手机a在与手机b建立通信连接之前,手机c可以与手机a建立蓝牙连接,手机c响应于用户传输图像的指令,将图像通过蓝牙通道将图像传输至手机a中。手机a接收到手机c传输的图像,并保存该图像。图9c示出了手机a保存的图像的属性信息的示意图。
[0296]
如图9c所示,用户点击图库图标,手机a响应于用户点击图库图标的操作,展示图库主界面901’,图库界面901’中包括各个图像的缩略图。每个缩略图对应的图像绑定各自的属性信息。例如,缩略图902’对应的图像的属性信息903’。该属性信息903’中包括:缩略图902’对应的图像的像素信息、手机a的型号(即当前设备的型号)、源识别设备的型号(即手机c的型号)、该缩略图902’对应的图像的存储路径等。
[0297]
需要说明的是,本示例中,图像的属性信息中包括:手机a的型号以及源识别设备的型号信息,在其他示例中,图像的属性信息中可以不包括手机a的型号以及源识别设备的型号,手机a将手机a的型号以及源识别设备的型号存储于其他位置,本示例中不限定手机a的型号以及源识别设备的型号的存储位置。
[0298]
下面以传输缩略图902对应的图像为例。继续参照图9a,手机a响应于接收到的传输指定,将缩略图902对应的图像作为指定图像,并读取该缩略图902对应的图像的属性信息。在一个示例中,图10为示例性示出了一种图像信息的示意图。如图10所示,将指定图像的属性信息1001以及该指定图像1002绑定,作为图像信息。
[0299]
在另一个示例中,手机a还可以将属性信息写入指定图像1002中,将写入属性信息的指定图像作为图像信息。图11为示例性示出的图像格式为jpg(或jpeg)的图像的存储格
式示意图。本示例中,图像采用十六进制的文件形式存储于手机a中。参照图11所示,标号1101为图像的存储文件的头(start of imge,soi),标号1102为该图像的存储文件的尾(end of image,eoi)。即在显示屏中展示的图像的内容从ffd8开始,至ffd9结束。手机a不展示ffd9之后的内容。故手机a可以从ffd9的位置写入图像的属性信息。需要说明的是,图像的属性信息可以转换为十六进制的文件从ffd9的位置写入图像的存储文件中。
[0300]
在一个示例中,由于手机a与手机b均启动了各自的克隆应用,手机a与手机b之间通过wlan热点连接,手机a可以向手机b发送读取型号的请求,手机b接收到手机a发送的读取型号的请求后,手机b将手机b的型号传输至手机a。手机a读取该手机b的发送的型号,例如,本示例中,手机a读取到手机b的型号为:honor 30。
[0301]
在一个示例中,可以结合图9a详细介绍确定指定型号的过程。如图9a所示,手机a的型号为“honor 50pro”。当手机a读取到手机b的型号为:“honor 30”。由于图像img1为手机a截屏获得,手机a查询到该图像img1的源识别设备为“honor 50pro”。手机a可以检测到手机a的型号与源识别设备的型号相同,则手机a选取手机a的型号作为指定型号。即手机a确定的指定型号为:“honor 50pro”。
[0302]
在另一个示例中,可以结合图9c详细介绍确定指定型号的另一场景。如图9c所示,手机a的型号为“honor 50pro”。指定图像的源识别设备的型号为“honor 30”,当手机a读取到手机b的型号为:“honor 30”。手机a检测到手机a的型号与源识别设备的型号相异,则手机a判断该指定图像是否有ocr的识别结果,本示例中,以手机a未查询到指定图像的识别结果为例,当手机a查询到指定图像的ocr的识别结果,则手机a选取手机a的型号作为指定型号。即手机a确定的指定型号为:“honor 50pro”。可选地,在另一示例中,当手机a查询到指定图像的识别结果,则手机a选取源识别设备的型号作为指定型号。
[0303]
图12为示例性示出的手机a添加识别标签的示意图。本示例中,如图12所示,图像1301的属性信息中示出了指定图像的指定型号为:“honor 50pro”。手机a比较该指定型号(即honor 50pro)与手机b(即honor 30)的型号,获取比较结果。手机a检测比较结果指示“honor 50pro”大于“honor 30”,即指示指定型号大于手机b的型号,则手机a置识别标签1302的值为假值(即false)。手机a向指定图像1301的属性信息1303中添加该识别标签1302。添加识别标签后的属性信息1304如图12所示。
[0304]
需要说明的是,图12所示的属性信息中并未示出当前设备的型号以及源识别设备的型号。
[0305]
手机a查询该指定图像是否有ocr的识别结果,在一个示例中,手机a可以直接查询到指定图像的识别结果a。在另一个示例中,当手机a未查询到该指定图像的ocr的识别结果时,可以触发手机a对该指定图像进行ocr文字识别的操作。图13示出了手机a对指定图像进行ocr文字识别的操作的示意图。为了便于理解,图13中的13a示出了图库主界面1501,缩略图1303对应的图像为指定图像,手机a直接对缩略图1303对应的图像进行ocr文字识别的操作,获得ocr的识别结果a。本示例中,手机a对缩略图1303对应的图像进行ocr文字识别的延时可以为630ms。如图13中的13b所示,手机a对指定图像进行了ocr文字识别后,读取该识别结果a。
[0306]
图14为示例性示出的一种传输数据的示意图。如图14所示,手机a可以将指定图像1602、该指定图像1602的属性信息1601以及该指定图像1602的识别结果a(即标号1603)作
为一个传输数据。
[0307]
在另一个示例中,手机a还可以将获取的指定图像的识别结果写入属性信息中或者将识别结果写入指定图像的存储文件中。如图15所示,图15示出了手机a向属性信息中添加识别结果的示意图。如图15所示,手机a向属性信息1703中添加指定图像的识别结果a(即标号1702)。添加了识别结果a的属性信息1704如图15所示。该属性信息1704包括:识别结果a,识别标签、指定型号、第一标签、第二标签、内容标签、该指定图像的像素等信息。图16为示例性示出的一种传输数据的示意图。如图16所示,手机a将指定图像1802以及该指定图像1802的属性信息1801绑定并作为传输数据。即将更新了属性信息的图像信息作为传输数据。需要说明的是,指定图像的属性信息也可以写入图像的存储文件中。
[0308]
手机a在确定了传输数据后,将该传输数据通过wlan热点连接,传输至手机b中。手机b接收到手机a发送的传输数据,可以从传输数据中获取指定图像(即图像img1),以及该指定图像的属性信息。手机b可以将该指定图像的属性信息存储于手机b的数据库中,并绑定该指定图像以及该指定图像的属性信息。本示例中,传输数据还包括识别结果a,则手机b还可以从该传输数据中获取识别结果a,同理,手机b可以绑定该识别结果a与该指定图像。
[0309]
在另一个示例中,当属性信息以及识别结果均被手机a写入指定图像(即图像img1)的存储文件中,手机b接收到该指定图像后,可以从该指定图像的存储文件中读取属性信息以及识别结果a。
[0310]
图17为示例性示出的手机b接收到的指定图像的示意图。当手机b检测到用户查看该指定图像的操作,手机b读取该图像img1的识别标签。手机b检测到该识别标签的值为false,则手机b直接获取存储的识别结果a,在显示界面1901上展示显示识别结果的控件1904(如显示有“点击显示识别结果”的控件)以及该图像img1。如图17所示,用户点击该显示界面1901上的详细按钮1902,手机b响应于用户的点击详细按钮1902的操作,在该显示界面1901中展示该指定图像的详细信息。本示例中,详细信息包括属性信息,该属性信息包括:第一标签、第二标签、内容标签、识别标签、指定型号等内容。另外,手机b还可以响应于点击该显示识别结果的控件1904的操作,经过kms后展示该图像img1的识别结果a,可选地,k可以为10ms,即手机b展示图像的时延,在其他实施例中,手机b展示图像的时延还可以是其他值,如20ms、5ms等,具体时延与手机b的系统性能相关,本实施例中不做具体限定。
[0311]
本示例中,手机a与手机b通过克隆应用将手机a中的图像传输至手机b时,当手机a确定指定型号大于手机b的型号时,表明手机a获得的识别结果a更加准确,手机a将该准确的识别结果传输至手机b。手机b检测到指示无需进行ocr文字识别操作的信息后,无需手机b对接收的指定图像进行ocr文字识别,减少了手机b的功耗。另外,由于指定型号高于手机b的型号,也确保了显示的识别结果的准确性,提高用户的体验。
[0312]
下面结合图18~图20介绍指定型号小于或等于手机b的型号的场景。
[0313]
在一个示例中,指定图像为图像img2,该图像img2的源识别设备的型号为:“honor畅玩6x”,手机a的型号为“honor30”,手机b的型号为“honor 30”。手机a检测到手机a的型号与源识别设备的型号相异,则手机a判断该指定图像是否有ocr的识别结果,本示例中,该型号“honor畅玩6x”的手机不具有ocr文字识别功能,故手机a未查询到图像img2的识别结果,则手机a选取手机a的型号作为指定型号,即指定型号为:“honor 30”。
[0314]
需要说明的是,本示例中所列举的手机的型号仅为示意性举例,在其他示例中,
honor畅玩6x的型号可以为“bln-al20”表示,本示例中不一一列举。
[0315]
图18为示例性示出的手机a添加识别标签的示意图。本示例中,如图18所示,图像2001的属性信息中示出了指定图像(即图像img2)的指定型号为:“honor 30”。手机a比较该指定型号(即honor 30)与手机b(即honor 30)的型号,获取比较结果。手机a检测比较结果指示手机a的型号等于手机b的型号,则手机a置识别标签2002的值为真值(即true)。手机a向指定图像2001的属性信息2003中添加该识别标签2002。添加识别标签后的属性信息如图18所示中标号2004所示。
[0316]
需要说明的是,图18所示的属性信息2004中并未示出当前设备的型号以及源识别设备的型号。
[0317]
在另一个示例中,识别标签也可以写入指定图像的存储文件中。如,图像格式为jpg情况下,将识别标签从ffd9的位置写入该识别标签。
[0318]
图19为示例性示出的一种传输数据的示意图。如图19所示,手机a可以将指定图像2102以及该指定图像2102的属性信息2101作为一个传输数据。手机a在确定了传输数据后,将该传输数据通过wlan热点连接,传输至手机b中。手机b接收到手机a发送的传输数据,可以从传输数据中获取指定图像(即图像img2),以及该指定图像的属性信息。手机b可以将该指定图像的属性信息存储于手机b的数据库中,并绑定该指定图像以及该指定图像的属性信息。
[0319]
图20为示例性示出的手机b接收到的指定图像的示意图。如图20所示,手机b的界面2201中显示出接收到的指定图像(即图像img2),用户点击该图像img2的详细按钮2203,手机b响应于用户的点击详细按钮2203的操作,在该手机界面1901中展示该图像img2的详细信息。本示例中,详细信息包括属性信息,该属性信息包括:第一标签、第二标签、内容标签、识别标签、指定型号等内容。
[0320]
此外,手机b在响应于用户查看指定图像的操作,手机b读取该图像img2的识别标签。手机b检测到该识别标签的值为true,则手机b对该图像img2进行ocr文字识别的操作。
[0321]
本示例中,当手机a确定指定型号小于或等于手机b的型号时,表明手机b获得的识别结果更加准确,手机a将将该图像的属性信息传输至手机b。手机b检测到指示进行ocr文字识别操作的信息后,手机b根据指定图像的属性信息该指定图像进行指定的ocr文字识别,使得输出的识别结果更加准确。
[0322]
图21为示例性示出的手机b对图像进行ocr文字识别的应用场景示意图。
[0323]
手机b响应于用户查看图库的操作(如:点击相册的图标),在显示屏中展示如图21中的21a所示的图库界面2301。该图库界面2301中显示了6张图像的缩略图。21a中缩略图2302为图像img2的缩略图。用户可以通过点击缩略图的方式,查看缩略图对应的图像。本示例中,手机b在获取到点击缩略图2302的操作时,可以触发手机b读取该缩略图2302对应的图像(即图像img2)的属性信息。可选地,图21中的21a中仅示出了部分属性信息,例如,获取的属性信息可以包括:第一标签、第二标签、内容标签以及获取图像的时间信息,如:screenshot_20210928_2010_memorandum_text1。
[0324]
图像img2的属性信息的示意图。如图22所示,该属性信息包括:第一标签2401、图像的获取时间信息2402、第二标签2403以及内容标签2404。如图22所示,该第一标签为“screenshot”,用于指示该图像来源于截图方式。标号2402用于指示该图像img2的获取时
间为2021年9月28日20点10分。第二标签2403用于指示该图像img2所属应用的信息,例如,手机b根据“memorandum”,可以确定图像img2所属应用的名称为“备忘录”。内容标签用于指示该图像img2的内容的类别,例如,手机b根据“text1”,确定图像img2的内容属于文档一类。
[0325]
继续参照图21,手机b获取该属性信息中的第一标签,该第一标签为“screenshot”。手机b可以根据该第一标签确定该图像属于截图。手机b从该属性信息中获取第二标签,根据该第二标签“memorandum”,手机b确定该图像所属应用为“备忘录”。手机b根据“备忘录”的应用名称,确定该“备忘录”应用属于便携生活类应用。该手机b根据预先存储的应用类别的信息(即如图6所示的应用类别分类信息)确定便携生活类应用属于第一概率应用,即该缩略图2302对应图像的所属应用属于第一概率应用。手机b确定图像img2的所属应用属于第一概率应用,则确定第一指示信息指示进行ocr文字识别。
[0326]
手机b检测到该图像img2的内容标签不为空。手机b从该属性信息中获取该内容标签,根据该内容标签的内容“text1”,手机b确定该图像img2的内容属于文档一类。该手机b根据预先存储的标签类别的信息(即如图8所示的标签类别的信息)确定文档一类的标签属于第一概率标签,即确定该图像img2的内容标签属于第一概率标签。手机b确定图像img2的内容标签属于第一概率标签,则确定第二指示信息指示进行ocr文字识别。
[0327]
手机b确定第一指示信息以及第二指示信息均指示进行ocr文字识别,则该手机b执行ocr文字识别步骤,对该图像img2(即缩略图2302对应的图像)进行ocr文字识别。手机b获取ocr文字识别的识别结果,并存储该识别结果。手机b可以以数据结构的方式存储该识别结果,如手机b将该图像img2的标识信息作为键(key),以该识别结果作为该键对应的值(value)进行存储。也可以将该识别结果存储于该图像img2的属性信息中。本示例对此不作限定。
[0328]
需要说明的是,本示例中以手机b对该图像2302进行ocr文字识别的时长为630ms为例进行说明。在其他实施例中,对图像进行ocr文字识别的时延与该图像中文字的个数相关,字数越多,ocr文字识别的时长越长。
[0329]
图21中的21b为示例性示出的一种图像展示的场景示意图。用户点击该缩略图2302,手机b经过630ms之后,显示如21b所示的界面2303。界面2303中包括有缩略图2302对应的图像(即图像img2),以及控件2304(即显示有“点击显示识别结果”的控件),该控件2304用于指示用户查看当前图像的ocr文字识别的识别结果。示例性地,手机b响应于用户点击该控件2304的操作,经过10ms之后,将界面2303切换为界面2305。该界面2305中包括该蒙板2306,展示在蒙板2306之上图像2307以及图像2307的识别结果2308。标号2309用于指示复制文字的控件。该控件2309被点击后,手机b为用户提供通过触摸屏幕复制的文字的操作,以供用户复制文字。需要说明的是,21b切换至21c所经历的时延为示例性举例,在其他实施例中,从21b切换至21c所经历的时延还可以是其他值,如20ms、5ms等,具体时延与手机的系统性能相关,本实施例中不做具体限定。
[0330]
需要说明的是,蒙板2306仅为示例性举例,在其它实施例中,也可以没有蒙板以及图像2307,例如,在界面2305上直接显示图像的识别结果2308。
[0331]
本示例中,还可以采用其他的形式提示用户点击,例如,可以通过颜色指示该当前显示的图像有对应的文字识别结果。例如,控件为黄色时,指示该图像有对应的文字识别结
果,还可以是通过语音提示手机存储有显示界面显示的图像的识别结果。
[0332]
图23为示例性示出的一种图像的文字识别的应用场景示意图。
[0333]
手机b响应于用户查看图库的操作(如:点击相册的图标),在显示屏中展示如图23中的23a所示的图库界面2501。该图库界面2501中显示了6张图像的缩略图。用户可以通过点击缩略图的方式,查看缩略图对应的图像。本示例中,手机b在获取到点击缩略图2502的操作时,可以触发手机b读取该缩略图2502对应的图像(如该图像的标识信息为img3,后文中“图像img3”用于指示标识信息为img3的图像)的属性信息2503。可选地,图23中的23a中仅示出了部分属性信息,例如,获取的属性信息可以包括:第一标签、第二标签、内容标签以及获取图像的时间信息,如:screenshot_20210928_2010_memorandum。手机b获取该属性信息中的第一标签,该第一标签为“screenshot”。手机b可以根据该第一标签确定该图像属于截图。手机b从该属性信息中获取第二标签,根据该第二标签“memorandum”,手机b确定该图像所属应用为“备忘录”。手机b根据“备忘录”的应用名称,确定该“备忘录”应用属于便携生活类应用。该手机b根据预先存储的应用类别的信息(即如图6所示的应用类别分类信息)确定便携生活类应用属于第一概率应用,即该缩略图2502对应图像的所属应用属于第一概率应用。手机b确定图像img3的所属应用属于第一概率应用,则确定第一指示信息指示进行ocr文字识别。
[0334]
手机b检测到该图像img3的内容标签为空。手机b确定第二指示信息指示结束流程。
[0335]
手机b确定第一指示信息指示进行ocr文字识别,确定第二指示信息指示结束流程,则该手机b依然执行ocr文字识别步骤,对该图像img3(即缩略图2502对应的图像)进行ocr文字识别。手机b获取ocr文字识别的识别结果,并存储该识别结果。手机b可以以数据结构的方式存储该识别结果。示例性地,手机b识别图像img3的时长可以是630ms,则手机b经过630ms之后,显示如23b所示的界面2504,界面2504中包括有图像img3,以及控件2505(即显示有“点击显示识别结果”的控件),该控件2505用于指示用户查看当前图像的ocr文字识别的识别结果。与图21中的21c类似,手机b响应于用户点击该控件2505的操作,经过10ms之后,切换界面2504,显示如图21c所示的识别结果,本示例中对显示识别结果的界面不再进行赘述。
[0336]
本示例中,第一指示信息指示对图像进行ocr文字识别,当属性信息中内容标签为空时,第二指示信息指示结束流程,当手机确定第一指示信息与第二指示信息的相异时,手机执行对图像进行ocr文字识别的操作,避免手机对图像漏识别的问题,提高自主触发ocr文字识别的准确性,进而提高用户的使用体验。
[0337]
图24为示例性示出的一种图像的文字识别的应用场景示意图。
[0338]
图24中的24a示出了该手机b的图库主界面2601,该图库主界面2601中展示了各图像的缩略图。本示例中,如24a所示,手机b响应于用户点击缩略图2602的操作,手机读取该缩略图2602对应的图像(如该图像的标识信息为img4,后文中“图像img4”用于指示标识信息为img4的图像)的属性信息,即手机b读取“dcim_20210928_2010_水印_vehicle_1”。手机b从该属性信息中获取拍照模式标签,获取该拍照模式标签的值“水印”,手机b确定该图像img4的拍照模式为水印模式。该手机b根据预先存储的模式类别的信息(即如图7所示的模式类别的分类信息)确定水印模式属于第一概率模式,则手机b确定第一指示信息指示进行
ocr文字识别。
[0339]
手机b检测到该图像img4的内容标签不为空。手机b从该属性信息中获取内容标签,根据该内容标签的内容“vehicle_1”,手机b确定该图像img4的内容属于交通工具一类。该手机b根据预先存储的标签类别的信息(即如图8所示的标签类别的信息)确定交通工具一类的标签属于第二概率标签。在一个场景中,手机b识别到该图像img4的内容标签属于第二概率标签,手机b检测当前是否处于灭屏且充电的状态。该手机b未检测到手机处于灭屏且充电的状态,则手机b确定第二指示信息指示结束流程,即不对图像img4进行ocr文字识别。
[0340]
手机b确定第一指示信息指示进行ocr文字识别,确定第二指示信息指示结束流程,则该手机b依然执行ocr文字识别步骤,对该图像img4(即缩略图2602对应的图像)进行ocr文字识别。手机b获取ocr文字识别的识别结果,并存储该识别结果。手机b可以以数据结构的方式存储该识别结果。
[0341]
示例性地,手机b识别图像img4的时长可以是630ms,手机b可以在经过630ms之后,显示如24b所示的界面2604。界面2604中包括有图像img4,以及控件2605(即显示有“点击显示识别结果”的控件),该控件2605用于指示用户查看当前图像的ocr文字识别的识别结果。与图21中的21c类似,手机b响应于用户点击该控件2605的操作,经过10ms之后,显示界面显示如图21c所示的识别结果,本示例中对显示识别结果的界面不再进行赘述。
[0342]
本示例中,属性信息中内容标签的值不为空,手机根据内容标签的值确定第二指示信息指示结束流程。当手机确定第一指示信息与第二指示信息的相异时,手机执行对图像进行ocr文字识别的操作,避免手机对图像漏识别的问题,提高自主触发ocr文字识别的准确性,进而提高用户的使用体验。
[0343]
图25为示例性示出的一种图像的文字识别的应用场景示意图。
[0344]
图25中的25a示出了该手机b的图库主界面2701,该图库主界面2701中展示了各图像的缩略图。本示例中,如25a所示,手机b响应于用户点击缩略图2702的操作,手机读取该缩略图2702对应的图像(如该图像的标识信息为img5,后文中“图像img5”用于指示标识信息为img5的图像)的属性信息,即手机读取“screenshot_20210928_2010_汽车租赁_vehicle_1”。
[0345]
手机b从属性信息中获取第一标签“screenshot”,确定该图像img5属于截图。手机b确定该图像img5属于截图后,手机b从该属性信息中获取第二标签(即“汽车租赁”),根据该第二标签“汽车租赁”,确定该“汽车租赁”应用属于第二概率应用。在一个场景中,手机b确定图像img5的所属应用属于第二概率应用,手机b检测当前是否处于灭屏且充电的状态。该手机b未检测到手机b处于灭屏且充电的状态,则手机b确定第一指示信息指示结束流程。
[0346]
手机b检测到该图像img5的内容标签不为空。手机b从该属性信息中获取内容标签,根据该内容标签的内容“vehicle_1”,确定图像img5的内容标签属于第二概率标签。手机b检测当前是否处于灭屏且充电的状态。该手机b未检测到手机b处于灭屏且充电的状态,则手机b确定第二指示信息指示结束流程。
[0347]
需要说明的是,手机b的电池标识2704指示该手机处于电量低的状态。
[0348]
在一个示例中,用户发现手机b的电量低(如2704所示),用户对手机b进行了灭屏操作(也可以手机b检测到电量低,自行关闭了手机b,即手机b进行了灭屏操作),用户为该
手机b进行充电操作。如图25中的25b所示,显示屏2705处于熄灭状态,充电线2706为该手机b进行充电。当手机b检测到手机b处于灭屏且充电状态,则手机b确定该图像img5的第一指示信息指示对图像img5进行ocr文字识别,以及确定第二指示信息指示对图像img5进行ocr文字识别。手机b根据第一指示信息和第二指示信息,对图像img5进行ocr文字识别(即对图像img5进行文本检测和文本识别的步骤),获取对图像img5进行ocr文字识别的识别结果,并存储图像img5的识别结果。
[0349]
经过1小时的充电后,用户停止对手机b的充电,图26中的26a示出了手机经过1小时充电后的电量处于满电状态的示意图。如26a所示,图库主界面2801示出了各图像的缩略图,该图库主界面2801中的电池标识2803显示电量满格。手机b响应于用户点击缩略图2802的操作,查询到该缩略图2802对应的图像为图像img5。手机b根据图像img5的标识信息查询到该图像img5的ocr文字识别的识别结果。如26b所示,手机b经过10ms,从图库主界面2801切换至界面2804。在该界面2804上显示用于指示查看识别结果的控件2805。如26b所示,该控件2805上可以显示用于提示用户点击查看识别结果的信息,如控件2805上显示文字“点击显示识别结果”。可以理解的是,控件2805不限于本示例中所列举的样式,在其他实施例中,控件2805可以通过颜色提示用户点击显示识别结果。可选地,手机b还可以通过检测到快捷查看操作后,显示图像img5的识别结果,快捷查看操作可以根据实际应用进行设置,例如,可以三指左滑/右滑屏幕,连续三次击打屏幕等,本示例中不作具体限制。
[0350]
本示例中,手机检测到图像的内容标签属于第二概率标签且手机检测到未处于灭屏且充电状态时,确定第二指示信息不指示该图像进行ocr文字识别。手机检测到图像的拍照模式属于第二概率模式,且手机检测到未处于灭屏且充电状态时,确定第一指示信息不指示该图像进行ocr文字识别。第一指示信息以及第二指示信息均指示结束流程,手机不对图像进行ocr文字识别,节省了手机的功耗。而当手机检测到处于灭屏且充电状态时,第一指示信息以及第二指示信息均指示对该图像进行ocr文字识别,该手机对图像进行ocr文字识别,并保存该图像的ocr文字识别的识别结果。手机检测到用户查看该图像的操作时,手机可以在图像的属性信息之前,查询该图像是否存在识别结果,若存在识别结果,则该手机可以直接展示该图像以及提示用户可以查看该图像的识别结果,而无需检测到用户指示进行ocr文字识别的指令后,才对图像进行ocr文字识别,由于不是实时对图像进行ocr文字识别,加快了手机展示识别结果的速度,减少了展示图像的识别结果的时延,提高用户使用图像的ocr文字识别的使用体验。由于手机处于灭屏且充电状态时,用户未使用手机,故在此状态下进行ocr文字识别,避免手机在未充电状态时对电量的消耗,可以提高手机的续航能力。
[0351]
图27为示例性示出的一种图像的文字识别的应用场景示意图。
[0352]
图27中的27a示出了用户点击图库中缩略图的示意图。如27a所示,图库主界面2901示出各图像的缩略图。手机b响应于用户的点击缩略图2902的操作,读取查询到的图像(如该图像的标识信息为img6,后文中“图像img6”用于指示标识信息为img6的图像)的属性信息。手机b获取该属性信息(即“dcim_20210928_2010_人像_人像”)中的第一标签,该第一标签的值为“dcim”。手机b可以根据该第一标签的值确定该图像img6属于照片。手机b从该属性信息中获取拍照模式标签,获取该拍照模式标签的值“人像”,手机b确定该图像img6的拍照模式为人像模式。该手机b根据预先存储的模式类别的信息(即如图7所示的模式类别
的分类信息)确定人像模式属于第三概率模式。当手机b识别到图像img6的拍照模式属于第三概率模式,可以确定第一指示信息指示结束流程。
[0353]
手机b检测到该属性信息中的内容标签不为空。手机b从该属性信息中获取内容标签为人像。手机b根据该内容标签以及预先存储的标签类别的信息,确定“人像”标签属于第三概率标签。手机b确定该图像img6的内容标签为第三概率标签,则手机b确定第二指示信息指示结束流程。
[0354]
手机b确定第一指示信息以及第二指示信息均指示结束流程,则手机b不对图像img6进行ocr文字识别。手机b可以经过10ms的时延后,在显示屏中展示如27b所示的界面2904。该界面2904中展示有图像img6,如27b所示,该图像中不涉及文本,属于人物图像。可选地,在该界面2904中还可以显示用于指示用户进行ocr文字识别的控件2905。如27b所示,在界面2904中显示有“点击触发ocr文字识别”的控件2905。手机b响应于用户点击该控件2905的操作,对该图像img6进行文本检测。该手机b检测到该图像中不存在文本,不进行后续的文本识别的操作。手机b可以在界面2905中提示该图像中未检测到文本。
[0355]
本示例中,由于第三概率标签指示图像不涉及文本,当手机确定图像的内容标签属于第三概率标签,手机确定第二指示信息指示结束流程。且手机检测到图像的拍照模式为人像拍照模式,该人像拍照模式属于第三概率模式,手机确定第一指示信息指示结束流程。由于第一指示信息以及第二指示信息均指示结束流程,手机不对该图像进行ocr文字识别,大大减小了手机的功耗。本技术中,根据图像的内容标签的类别以及图像的类别,决定是否立即对图像进行ocr文字识别,或对图像结束ocr文字识别,从而大大减小了手机在查看图像时消耗的不必要的功耗。
[0356]
图28为示例性示出的一种图像的文字识别的应用场景示意图。
[0357]
如图28中的28a所示,图库主界面3001示出了各图像的缩略图。手机b响应于点击缩略图3002的操作,查询该缩略图3002对应的图像(如该图像的标识信息为img7,后文中“图像img7”用于指示标识信息为img7的图像)。手机b获取图像img7的属性信息(即读取dcim_20210928_2010_大光圈_vehicle_1)。手机b可以根据该第一标签的值确定该图像img7属于照片。手机b确定该图像img7的拍照模式属于第二概率模式。
[0358]
当手机b识别到图像img5的拍照模式属于第二概率模式,手机b检测当前是否处于灭屏且充电的状态。当手机b确定未处于灭屏且充电的状态,手机b可以对图像img7进行文本检测操作。当手机b检测到该图像img7中存在文本,则存储该图像img7的文本检测结果。示例性地,手机b对图像img7进行文本检测的时延为230ms。手机b在文本检测操作完成后,可以确定第一指示信息指示结束流程,即不对图像img7进行文本识别操作。
[0359]
手机b检测到该图像img7的内容标签不为空。手机b确定该图像img7的内容标签属于第二概率标签。当手机b检测到手机b未处于灭屏且充电的状态,则手机b可以对该图像img7进行文本检测。本示例中,由于手机b并行确定第一指示信息和第二指示信息,为了减少对图像img7的重复处理,手机b在对图像img7进行文本检测前,查询该图像img7是否存在文本检测结果,若手机b确定存在文本检测结果,则直接确定第二指示信息指示结束流程,即不对图像img7进行后续的文本识别操作。若手机b确定不存在文本检测结果,则对图像img7进行文本检测的操作,当手机b检测到该图像img7中存在文本,则存储该图像img7的文本检测结果。示例性地,手机b对图像img7进行文本检测的时延为230ms。
[0360]
手机b确定第一指示信息以及第二指示信息均指示结束流程,则手机b可以在经过230m后,将界面3001切换至如28b所示的界面3004。如28b所示,界面3004上显示缩图像img7。手机b确定该图像img7的文本检测结果指示存在文本,则在该界面3004上展示控件3005,该控件3005用于指示图像img7中存在文本,且用于触发文本识别的操作。例如,手机b响应于用户点击该控件3005的操作,则手机b对该图像img7进行文本识别,获得对该图像img7进行文本识别的识别结果,手机经过400ms的文本识别后,在界面3006中展示该图像img7的识别结果,如28c所示,标号3007为蒙板,标号3008为图像img7,标号3009为图像img7的识别结果,控件3010用于为用户提供复制文字的功能。本示例中对图像img7进行ocr文字识别的总时延为630ms,其中,手机对图像img7进行文本检测的时延为230ms,对图像img7进行文本识别的时延为400ms。需要说明的是,本示例中对图像img7进行文字检测以及文字识别的时延仅为举例,其中,本示例中以文本识别的时延为400ms为例,在其他实施例中,图像中文字的字数不同,对应文本识别的时延也不同,例如,对100个文字进行识别的时延为500ms。
[0361]
本示例中,图像的内容标签属于第二概率标签,且确定图像的拍照模式属于第二概率模式。手机检测到手机未处于灭屏且充电状态,手机确定第一指示信息以及第二指示信息均指示结束流程的情况下,手机可以预先对图像进行文本检测。手机在检测到用户指示对图像进行文本识别的操作时,对图像进行文本识别,减少了手机的功耗。另外,手机响应于用户的文本识别操作后,手机由于仅需对图像进行文本识别的步骤,而不是对图像进行文本检测以及文本识别两个步骤,提高了展示识别结果的速度,提高用户的使用体验。
[0362]
图29a为示例性示出的一种对图像进行ocr文字识别的场景示意图。本示例的场景中,用户点击查看图像3102,手机获取该图像3102的属性信息,从图像3102的属性信息中获取图像3102的内容标签、第一标签、第二标签以及拍照模式标签。手机b根据第一标签确定图像3102属于照片,根据拍照模式标签确定图像3102的拍照模式属于第二概率模式,则手机b确定第一检测结果指示图像属于第二概率类型。手机b根据标签类别,确定图像3102的内容标签属于第二概率标签;手机b确定第二检测结果指示图像属于第二概率类型。根据第一检测结果以及第二检测结果,确定图像3102属于第二概率类型。手机b检测是否处于充电且灭屏的状态。当手机检测到未处于充电且灭屏的状态,则结束对图像3102进行文字识别的操作。手机可以在经过10ms的时长后,显示如图29a所示的显示界面3101,显示界面3101上显示有该图像3102,同时在该图像3102上显示有控件3103。控件3103用于触发对图像3102进行ocr文字识别的操作。例如,若用户点击该图像3102,则触发手机对该图像3102进行ocr文字识别,即进行文本检测和文本识别(也称文字识别)的操作。手机b可以切换至新的界面显示该ocr文字识别结果。手机b也可以在该图像3102上对识别到的文字以高亮颜色进行标注。
[0363]
图29b为示例性示出的一种对图像进行文字识别的场景示意图。本示例中的场景中,用户点击查看图像3105,手机获取该图像3105的属性信息,从图像3105的属性信息中获取图像3105的内容标签,读取该图像3105的内容标签、第一标签、第二标签以及拍照模式标签。手机b根据第一标签确定图像3105属于照片,根据拍照模式标签确定图像3102的拍照模式(如拍照模式为“人像”)属于第三概率模式,则手机b确定第一检测结果指示图像属于第三概率类型。手机b根据标签类别,确定图像3105的内容标签(如内容标签为“电器一类”)属
于第二概率标签;手机b确定第二检测结果指示图像属于第二概率类型。根据第一检测结果以及第二检测结果,确定图像3105属于第二概率类型。
[0364]
手机b确定图像3105属于第二概率类型,则手机b检测是否处于充电且灭屏的状态。当手机检测到未处于充电且灭屏的状态,则对图像3105进行文本检测的操作,获取文本检测结果。当手机检测到该图像3105存在文本检测结果,可以在图像3105上显示控件3106。例如,手机b可以在经过230ms的时长后,显示为如图29b所示的显示界面3104,显示界面3104上显示有该图像3105,同时在该图像3105上显示有控件3106。控件3106用于触发对图像3105进行文本识别的操作。控件3106可以设置为灰色,本示例中以横线填充代表灰色。在其他示例中,控件3106的颜色还可以设置为其他颜色,如白色等。当手机检测到用户点击该控件3106的操作,触发手机对该图像3106进行文本识别的操作,手机b可以切换至新的界面显示该ocr文字识别结果。手机也可以在该图像3105上对识别到的文字以高亮颜色进行标注。
[0365]
图29c为示例性示出的一种对图像进行文字识别的场景示意图。本示例中的场景中,用户点击查看图像3108,手机获取该图像3108的属性信息,从图像3108的属性信息中获取图像3108的内容标签、第一标签、第二标签以及拍照模式标签。手机b根据第一标签确定图像3108属于照片,根据拍照模式标签确定图像3108的拍照模式(如拍照模式为“普通拍照”)属于第二概率模式,则手机b确定第一检测结果指示图像属于第二概率类型。手机b根据标签类别,确定图像3108的内容标签(如内容标签为“文档一类”)属于第一概率标签;手机b确定第二检测结果指示图像属于第一概率类型。根据第一检测结果以及第二检测结果,确定图像3108属于第一概率类型。手机b确定图像3108属于第一概率,则对图像3108进行ocr文字识别的操作,获取ocr文字识别结果。当手机检测到该图像3108存在ocr文字识别结果,可以在图像3108上显示控件3111。例如,手机b可以在经过630ms的时长后,切换为如图29c所示的显示界面3107,显示界面3107上显示有该图像3108,同时在该图像3108上显示有控件3111。控件3111填充颜色与控件3105的填充颜色不同,例如,可以是蓝牙填充该控件3111。
[0366]
在一个示例中,手机b在该图像3102上对识别到的文字以高亮颜色进行标注,如图29c中的3109、3110等。其中,本示例中,高亮以虚线框表征。该控件3111还可以是图标,以用于指示该图像3108存在ocr文字识别结果。
[0367]
在另一个示例中,手机响应于用户点击控件3111的操作,在该图像3108上对识别到的文字以高亮颜色进行标注。其中,本示例中,高亮以虚线框表征。
[0368]
本示例中,不再一一列举对图像进行了如本技术中图像的文字识别的操作后的可能示意图。
[0369]
另外,执行本技术示例中图像的文字识别的操作的电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本技术实施例以分层架构的android系统为例,示例性说明电子设备100的软件结构。
[0370]
图30是本技术实施例的电子设备100的软件结构框图。
[0371]
电子设备100的分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将android系统分为五层,从上至下分别为应用程序层,应用程序框架层,系统层,硬件抽象层以及内核层。
[0372]
应用程序层可以包括一系列应用程序包。
[0373]
如图30所示,应用程序包可以包括相机,图库,换机克隆、荣耀分享、相机,ocr引擎以及智慧截屏等应用程序。
[0374]
本技术实施例中图库展示图像、触发ocr引擎对图像进行ocr文字识别的操作。
[0375]
ocr引擎可以对图像进行ocr文字识别的操作,ocr文字识别包括文本检测和文本识别两个步骤。
[0376]
如图30所示,应用程序框架层可以包括活动管理器,窗口提供器,内容管理器,通知管理器以及电池管理器等。本示例中通知管理器可以向手机发送灭屏且充电的消息。
[0377]
本技术实施例中电池管理器可以检测电池的状态以及检测手机是否处于灭屏状态。同时,电池管理器在检测到电子设备处于充电且灭屏的状态时,则可以向图库发送灭屏且充电的消息。如图30所示,系统层可以包括多个功能模块。例如:表面管理层(surface manager),媒体库(media libraries),sqlite,二维图像处理库以及android运行时等。
[0378]
如图30所示,硬件抽象层可以包括多个模块。例如:图形模块,蓝牙模块,摄像头模块、wi-fi模块以及硬件合成器等模块。图形模块用于生成图像。
[0379]
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动等。
[0380]
图31为示例性示出的一种手机a(图像发送端设备)内部模块之间的交互示意图。
[0381]
其中,图31仅示出了手机a的内部模块图。
[0382]
步骤3301:用户执行打开图像a的操作。
[0383]
本示例中,手机a显示图库主界面,图库主界面中显示有各图像的缩略图。用户执行打开图像a的操作。打开图像的操作可以是点击该图像的缩略图。
[0384]
步骤3302:手机的图库接收到用户打开图像a的操作。
[0385]
手机的图库接收到打开图像a的操作,可以触发图库执行步骤3303。
[0386]
步骤3303:图库向多媒体数据库发起查询图像a的请求。
[0387]
多媒体数据库可以是sqlite数据库。
[0388]
步骤3304:多媒体数据库向图库返回图像a。
[0389]
手机a的多媒体数据库查询到图像a后,可以直接向图库返回该图像a。
[0390]
步骤3305:手机a的图库显示图像a。
[0391]
步骤3306:用户启动换机克隆的操作。
[0392]
本示例中换机克隆为换机克隆应用。用户可以通过点击换机克隆应用的图标启动手机a的换机克隆应用。
[0393]
步骤3307:手机a的图库向换机克隆发起获取手机b的型号和系统版本信息的请求。
[0394]
换机克隆应用被启动后,手机a的图库可以向换机克隆发送获取手机b的型号,或者获取手机b的型号和系统版本信息的请求。
[0395]
本示例中以获取手机b的型号与系统版本信息为例。
[0396]
步骤3308:手机a的换机克隆向手机b发起获取手机b的型号与系统版本信息的请求。
[0397]
手机b的换机克隆接收到手机a的请求,查询该手机b的型号和系统版本信息。手机
b的换机克隆将该手机b的型号和系统版本信息返回手机a的换机克隆。
[0398]
步骤3309:手机a的换机克隆接收手机b的换机克隆返回的手机b的型号和系统版本信息。
[0399]
步骤3310:手机a的换机克隆向图库返回手机b的型号和系统版本信息。
[0400]
步骤3311:手机a的图库向手机a的多媒体数据库发送查询图像a的属性信息的请求。
[0401]
本示例中,指定图像的属性信息中可以包括:第一标签、第二标签、拍照模式标签、内容标签。该指定图像的属性信息中还可以包括:手机a的型号、手机a的系统版本信息。可选地,指定图像的属性信息中还可以包括其他信息,例如,指定图像的检测标签。图像a的检测标签可以为“screenshottypejude”,该检测标签用于指示图像a是否存在检测结果。该检测标签的值若为真值(如真值为true或1),指示图像a存在检测结果,也即指示手机检测过该图像a所属的概率类型。若检测标签的值为假值(如真值为false或0),指示图像a不存在检测结果,也即指示手机未检测该图像a所属的概率类型。
[0402]
多媒体数据库接收到图库发送的查询请求,将该图像a的属性信息返回图库。
[0403]
本示例中,图像a的属性信息可以包括:第一标签、第二标签、拍照模式标签、内容标签、手机a的型号、图像a的源识别设备的型号手机a的系统版本信息、手机a的检测标签等。可选地,图像a的源识别设备可以是指获取图像a的源设备。
[0404]
在一个示例中该步骤3311也可以先于步骤3307执行。
[0405]
步骤3312:手机a的多媒体数据库向图库返回图像a的属性信息。
[0406]
步骤3313:手机a的图库从图像a的源识别设备的型号与手机a的型号中选取一个型号作为指定型号。
[0407]
本示例中确定指定型号的过程可以如步骤204中的过程,此处不再赘述。
[0408]
步骤3314:手机a的图库检测到指定型号小于或等于手机b的型号,且检测到图像a所属的概率类型为第一概率类型或第二概率类型,则置识别标签为真值。
[0409]
示例性地,手机a的图库检测到指定型号小于或等于手机b的型号的过程与步骤2066的过程类似,手机a可以在属性信息中添加识别标签,该识别标签可以用于指示手机b是否进行ocr文字识别操作的信息。当识别标签的值为假值(即为false),则该识别标签用于指示手机b结束对该指定图像进行ocr文字识别的操作。
[0410]
示例性地,手机a的图库检测到指定型号小于或等于手机b的型号的过程与步骤2066的过程类似。此处不再赘述。当手机a的图库检测到指定型号小于或等于手机b的型号,可以继续检测该图像a所属的概率类型。手机a的图库检测图像a所属的概率类型与步骤2113’~步骤2118’类似,此处也不再进行赘述。
[0411]
当手机a的图库检测到指定型号小于或等于手机b的型号,且检测到手机图像a所属的概率类型为第一概率类型或第二概率类型,则置识别标签的值的真值。
[0412]
当手机a的图库检测到指定型号小于或等于手机b的型号,且检测到手机图像a所属的概率类型为第一概率类型或第二概率类型,则置识别标签的值的真值。可选地,可以将图像a的检测结果存储添加至图像a的属性信息中,图像a的检测结果用于指示图像a所属的概率类型。
[0413]
在另一个示例中,当手机a的图库检测到指定型号小于或等于手机b的型号,且检
测到手机图像a所属的概率类型为第三概率类型,可以将用于指示该图像a的所属类型的检测结果存储至图像a的属性信息中。可以置该识别标签的值为假值。
[0414]
需要说明的是,手机a的图库根据手机b的型号与指定型号之间的比较结果,确定传输数据。例如,比较结果指示指定型号小于或等于手机b的型号,且检测到手机图像a所属的概率类型为第一概率类型或第二概率类型,传输数据中可以包括图像a、图像a的检测结果、识别标签等信息。
[0415]
步骤3315:手机a的图库向换机克隆发送该传输数据。
[0416]
示例性地,传输数据中可以包括图像a以及图像a的属性信息。可选地,图像a的属性信息中可以包括:第一标签、第二标签、拍照模式标签、内容标签、手机a的型号、图像a的源识别设备的型号手机a的系统版本信息、手机a的检测标签、识别标签、检测结果等。
[0417]
步骤3316:手机a的换机克隆向手机b的换机克隆发送该传输数据。
[0418]
手机b的换机克隆接收到该传输数据,手机a结束对图像a的克隆。
[0419]
图32为示例性示出的一种手机b(图像a的接收端设备)内部模块之间的交互示意图。其中,图32仅示出了手机b的内部模块图。图32中的手机b作为图31中手机a的接收端设备。
[0420]
步骤3401:手机b的换机克隆接收到手机a发送的获取手机b的型号与系统版本信息的请求。
[0421]
手机b的换机克隆接收到手机a发送的获取手机b的型号与系统版本信息的请求后,查询手机b的型号以及系统版本信息。
[0422]
步骤3402:手机b的换机克隆向手机a发送手机b的型号与系统版本信息。
[0423]
步骤3403:手机b的换机克隆接收到手机a发送的传输数据。
[0424]
本示例中,接收的传输数据可以包括:图像a以及图像a的属性信息。可选地,图像a的属性信息中可以包括:第一标签、第二标签、拍照模式标签、内容标签、手机a的型号、图像a的源识别设备的型号手机a的系统版本信息、手机a的检测标签、识别标签。
[0425]
步骤3404:手机b的换机克隆向手机b的图库发送传输数据。
[0426]
步骤3405:手机b的图库从传输数据中获取图像a以及图像a的属性信息。
[0427]
步骤3406:手机b的图库向多媒体数据库发送图像a以及图像a的属性信息。
[0428]
步骤3407:手机b的多媒体数据库绑定图像a以及图像a的属性信息,并保存。
[0429]
步骤3408:手机b的图库检测到预设的触发条件,获取图像a的识别标签。
[0430]
示例性地,预设的触发条件可以是:手机b接收到用户查看图库中任一图像的操作。需要说明的是,本示例中的触发条件仅为示例性举例,在其他示例中,预设的触发条件还可以是:手机b检测手机b到处于灭屏且充电的状态;或者,手机b接收到用户查看图库的操作。对此,本技术将不再一一列举。
[0431]
步骤3409:手机b的图库检测到识别标签为真值,对图像a进行ocr文字识别的操作。
[0432]
示例性地,识别标签为真值可以执行上述图4a中步骤2113~步骤2120;或者图库执行如图4b中步骤2113’~步骤2125’。
[0433]
在另一个示例中,图像a的属性信息中存储有图像a的检测结果,则图库可以直接获取图像a所属的概率类别。当手机b的图库获取到图像a所属的概率类型后,可以执行步骤
2119’~步骤2125’。例如,当手机b的图库确定图像a属于第三概率类型,则结束流程。
[0434]
图33为示例性示出的另一种手机a(图像发送端设备)内部模块之间的交互示意图。
[0435]
其中,图33仅示出了手机a的内部模块图。
[0436]
步骤3501:用户执行打开图像b的操作。
[0437]
步骤3502:手机的图库接收到用户打开图像a的操作。
[0438]
步骤3503:图库向多媒体数据库发起查询图像b的请求。
[0439]
步骤3504:当多媒体数据库向图库返回图像b。
[0440]
步骤3505:手机a的图库显示图像b。
[0441]
步骤3506:用户启动换机克隆的操作。
[0442]
本示例中换机克隆为换机克隆应用。用户可以通过点击换机克隆应用的图标启动手机a的换机克隆应用。
[0443]
步骤3507:手机a的图库向换机克隆发起获取手机b的型号和系统版本信息的请求。
[0444]
换机克隆应用被启动后,手机a的图库可以向换机克隆发送获取手机b的型号,或者获取手机b的型号和系统版本信息的请求。
[0445]
本示例中以获取手机b的型号与系统版本信息为例。
[0446]
步骤3508:手机a的换机克隆向手机b发起获取手机b的型号与系统版本信息的请求。
[0447]
步骤3509:手机a的换机克隆接收手机b的换机克隆返回的手机b的型号和系统版本信息。
[0448]
步骤3510:手机a的换机克隆向图库返回手机b的型号和系统版本信息。
[0449]
步骤3511:手机a的图库向手机a的多媒体数据库发送查询图像b的属性信息的请求。
[0450]
步骤3512:手机a的多媒体数据库向图库返回图像b的属性信息。
[0451]
步骤3513:手机a的图库从图像b的源识别设备的型号与手机a的型号中选取一个型号作为指定型号。
[0452]
本示例中步骤3501~步骤3513与图31中步骤3301~步骤3313类似,此处将不再赘述。
[0453]
步骤3514:手机a的图库检测到指定型号大于手机b的型号,则置识别标签为假值。
[0454]
示例性地,手机a的图库检测到指定型号大于手机b的型号的过程与步骤2061的过程类似,手机a可以在属性信息中添加识别标签,该识别标签可以用于指示手机b是否进行ocr文字识别操作的信息。当识别标签的值为假值(即为false),则该识别标签用于指示手机b结束对该指定图像进行ocr文字识别的操作。
[0455]
步骤3515:手机a的图库获取图像b的识别结果。
[0456]
手机a的图库可以查询是否存在图像b的ocr文字识别结果,若检测到图像b的ocr文字识别结果,则获取该图像b的识别结果。当图库未检测到图像b的ocr文字识别结果,可以对图像b进行ocr文字识别操作(可以参见图3b中的步骤2065)。
[0457]
在另一个示例中,图库还可以对图像b进行ocr文字识别操作。该图像b进行ocr文
字识别的操作的过程可以参照图4a、图5a~图5c。对图像b进行ocr文字识别的操作的过程还可以参照图4b、图5e~图5f。具体过程此处将不在进行赘述。
[0458]
需要说明的是,当手机a的图库确定图像b属于第二概率类型后,无需判断手机a是否处于灭屏且充电的状态,而是直接对图像a进行文本检测和文本识别两个操作。
[0459]
步骤3516:手机a的图库向换机克隆发送该传输数据。
[0460]
示例性地,传输数据中可以包括图像a以及图像a的属性信息。可选地,图像a的属性信息中可以包括:第一标签、第二标签、拍照模式标签、内容标签、手机a的型号、图像a的源识别设备的型号手机a的系统版本信息、手机a的检测标签、识别标签、检测结果等。
[0461]
步骤3517:手机a的换机克隆向手机b的换机克隆发送该传输数据。
[0462]
示例性地,手机a的传输数据可以包括图像b以及图像b的属性信息,图像b的属性信息可以包括识别标签以及图像b的ocr文字识别结果。
[0463]
手机b的换机克隆接收到该传输数据,手机a结束对图像a的克隆。
[0464]
手机b的换机克隆接收到传输数据,将传输数据发送至手机b的图库中,手机b的图库从传输数据中获取图像b以及图像属性信息,手机b的图库将图像b以及图像b的属性信息发送至手机b的多媒体数据库中绑定,并存储。当手机b的图库检测到预设的触发条件后,图库检测到图像b的识别标签假值,则直接获取与图像b绑定的ocr文字识别结果并显示。
[0465]
图34为手机b对图像c进行ocr文字识别操作时各模块之间的交互图。
[0466]
步骤3601:手机b的图库接收到用户打开图像c的操作。
[0467]
步骤3602:手机b的图库向多媒体数据库发起查询图像c的属性信息的请求。
[0468]
步骤3603:手机b的多媒体数据库向图库返回图像c以及图像c的属性信息。
[0469]
步骤3604:手机b的图库根据图像c的属性信息,检测到图像c的识别标签为真值。
[0470]
步骤3605:手机b的图库根据属性信息确定图像c属于第二概率类型。
[0471]
步骤3606:手机b的图库触发ocr引擎执行ocr文字识别的操作。
[0472]
步骤3607:手机b的ocr引擎执行ocr文字识别的操作。
[0473]
步骤3608:手机b的ocr引擎向多媒体数据库传输ocr文字识别结果。
[0474]
步骤3609:手机b的ocr引擎向图库返回ocr文字识别结果。
[0475]
步骤3610:手机b的图库显示图像c以及显示控件c。
[0476]
控件c用于触发显示ocr文字识别结果的操作。
[0477]
步骤3611:手机b的多媒体数据库存储ocr文字识别结果。
[0478]
步骤3612:用户点击控件c。
[0479]
步骤3613:手机b的图库显示图像c以及ocr文字识别结果。
[0480]
上述各步骤在其他实施例中已详细介绍,本示例中将不在进行赘述。
[0481]
可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本技术能够以硬件或硬件和计算机软件的结合形式来实现。
[0482]
其中,本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
[0483]
本技术各个实施例的任意内容,以及同一实施例的任意内容,均可以自由组合。对
上述内容的任意组合均在本技术的范围之内。
[0484]
上面结合附图对本技术的实施例进行了描述,但是本技术并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本技术的启示下,在不脱离本技术宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本技术的保护之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献