控件标注方法及装置与流程

1.本技术涉及终端技术领域，尤其涉及一种控件标注方法及装置。


背景技术：

2.随着终端设备的不断发展，终端设备可以针对不同的用户提供不同的服务。例如，针对存在视力障碍(如失明、视力低下和色盲等)的用户，终端设备可以为用户提供屏幕朗读功能，通过朗读各个控件对应的朗读文本，终端设备可以告知用户所触碰的控件。
3.在对应用程序中的控件或终端设备自带的控件进行开发的过程中，开发者可以手动为每个控件标注相对应的图标，以便终端设备可以通过显示图标的方式向用户展示各个控件。开发者也可以手动为每个控件标注相对应的朗读文本，以便终端设备在开启屏幕朗读功能时，终端设备可以根据用户触发的图标，朗读该图标所属控件对应的朗读文本，从而告知用户当前所触发的控件。
4.但是，目前在设置控件对应的朗读文本时，通常是由开发者手动为每个控件进行朗读文本的标注，而终端设备中可以包括大量的控件，因而为控件进行标注朗读文本的工作量较大。


技术实现要素：

5.本技术提供一种控件标注方法及装置，解决了现有技术中为控件标注朗读文本的工作量较大的问题。
6.为达到上述目的，本技术采用如下技术方案：
7.第一方面，本技术实施例提供了一种控件标注方法，包括：
8.获取控件对应的图标标识，所述图标标识用于指示所述控件被配置的控件图标；
9.在预先设置的图标标识与字符串标识之间的映射表中，获取与所述图标标识相对应的字符串标识；
10.将所述字符串标识指示的字符串配置为所述控件的朗读文本。
11.可选的，在所述获取控件对应的图标标识之前，所述方法还包括：
12.根据所述控件对应的图标配置指令，为所述控件配置所述图标配置指令中的所述图标标识。
13.可选的，所述映射表中的各个图标标识所指示的图标与图标资源库中的各个系统图标一一对应；
14.在所述将所述字符串标识指示的字符串配置为所述控件的朗读文本之前，所述方法还包括：
15.若从所述映射表中未获取到所述字符串标识，则将所述控件图标与所述图标资源库中的每个所述系统图标进行比较，得到所述控件图标与每个所述系统图标之间的相似度；
16.将各所述相似度中的最大相似度对应的系统图标，作为相似系统图标；
17.根据所述相似系统图标的图标标识，在所述映射表中确定所述字符串标识。
18.可选的，所述映射表是由多个键值对组成的，每个所述键值对中的键用于表示图标标识，每个所述键值对中的值用于表示字符串标识。
19.第二方面，本技术实施例提供了一种控件标注装置，包括：
20.第一获取模块，用于获取控件对应的图标标识，所述图标标识用于指示所述控件被配置的控件图标；
21.第二获取模块，用于在预先设置的图标标识与字符串标识之间的映射表中，获取与所述图标标识相对应的字符串标识；
22.文本配置模块，用于将所述字符串标识指示的字符串配置为所述控件的朗读文本。
23.可选的，所述装置还包括：
24.图标配置模块，用于根据所述控件对应的图标配置指令，为所述控件配置所述图标配置指令中的所述图标标识。
25.可选的，所述映射表中的各个图标标识所指示的图标与图标资源库中的各个系统图标一一对应；
26.所述装置还包括：
27.比较模块，用于若从所述映射表中未获取到所述字符串标识，则将所述控件图标与所述图标资源库中的每个所述系统图标进行比较，得到所述控件图标与每个所述系统图标之间的相似度；
28.确定模块，用于将各所述相似度中的最大相似度对应的系统图标，作为相似系统图标；
29.第三获取模块，用于根据所述相似系统图标的图标标识，在所述映射表中确定所述字符串标识。
30.可选的，所述映射表是由多个键值对组成的，每个所述键值对中的键用于表示图标标识，每个所述键值对中的值用于表示字符串标识。
31.第三方面，本技术实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的控件标注方法。
32.第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的控件标注方法。
33.第五方面，本技术实施例提供了一种芯片系统，所述芯片系统包括存储器和处理器，所述处理器执行所述存储器中存储的计算机程序，以实现如上述第一方面中任一项所述的控件标注方法。
34.其中，所述芯片系统可以为单个芯片，或者多个芯片组成的芯片模组。
35.本技术提供的控件标注方法及装置，通过获取控件对应的图标标识，该图标标识用于指示控件被配置的控件图标，在预先设置的图标标识与字符串标识之间的映射表中，获取与图标标识相对应的字符串标识，再将字符串标识指示的字符串配置为控件的朗读文本，无需开发者手动为每个控件进行标注，终端设备可以自动根据控件对应的控件图标，为
控件配置与控件图标相匹配的朗读文本，可以减少开发者手动对控件标注朗读文本的工作量，也可以减少对控件标注朗读文本所花费的时间，可以提高对控件标注朗读文本的效率，具有较强的易用性和实用性。
附图说明
36.图1是本技术实施例提供的一种终端设备的播放器的界面示意图；
37.图2是本技术实施例提供的另一种终端设备的播放器的界面示意图；
38.图3是本技术实施例提供的一种控件标注方法所涉及的软件系统架构图；
39.图4是本技术实施例提供的一种控件标注方法的示意性流程图；
40.图5为本技术实施例提供的一种图标资源库所包括的多个图标的示意图；
41.图6为本技术实施例提供的一种字符串资源库所包括的多个字符串的示意图；
42.图7是本技术实施例提供的一种控件标注装置的结构框图；
43.图8是本技术实施例提供的另一种控件标注装置的结构框图；
44.图9是本技术实施例提供的又一种控件标注装置的结构框图；
45.图10是本技术实施例提供的一种终端设备的结构示意图。
具体实施方式
46.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
47.以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本技术的限制。如在本技术的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“所述”、“上述”和“该”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。
48.首先，对本技术实施例所涉及的场景进行介绍，终端设备中可以包括多个控件，每个控件用于实现不同的功能。
49.以终端设备的播放器为例，参见图1，终端设备的播放器所对应的界面可以包括：播放模式、上一曲、播放、暂停、下一曲、收藏和进度条等多个控件对应的图标。在终端设备开启屏幕朗读功能后，若检测到用户对播放控件对应的图标的触碰或点击操作，则可以在屏幕上显示播放控件的图标所对应的选框，并播放相对应的语音“播放按键，点按两次即可激活”。
50.若检测到用户触发的激活操作，则终端设备可以控制播放器播放音频数据。而且，在播放音频数据时，终端设备可以将显示的播放控件对应的图标切换为暂停控件对应的图标。若终端设备检测到用户对暂停控件对应的图标触发的触碰或点击操作，则可以显示如图2所示的界面，也即是，显示暂停控件的图标所对应的选框。而且，终端设备还可以播放暂停控件对应的语音“暂停按键，点按两次即可激活”。
51.上述用户触发的激活操作可以为点击屏幕进行激活的动作。可以理解的是，在实际应用中，终端设备也可以根据用户发出的语音进行激活。例如，终端设备在播放语音“播
放按键，点按两次即可激活”后，若接收到用户发出的语音“小e，开始播放”，则终端设备也可以开始播放音频数据。
52.而且，在实际应用中，终端设备可以根据用户触发的点击操作开启屏幕朗读功能，也可以根据用户发出的语音开启屏幕朗读功能。例如，若终端设备接收到用户发出的语音“小e，开启屏幕朗读功能”，则终端设备也可以开启屏幕朗读功能。当然，终端设备还可以采用其他方式开启屏幕朗读功能，本技术实施例对此不做限定。
53.另外，需要说明的是，上述播放器中每个控件均可以对应一个图标和一个字符串，终端设备所显示的即为控件对应的图标，而终端设备发出的语音所对应的朗读文本，即为控件对应的字符串所指示的文本。
54.终端设备可以根据开发者触发的操作，为每个控件配置相对应的图标和字符串。例如，以安卓系统为例，开发者可以在布局的可扩展标记语言(extensible markup language，xml)文件中设置控件的备注说明(android:contentdescription)，实现控件的字符串配置。或者，开发者还可以在java(一种计算机编程语言)代码中调用view类的设置备注说明函数(setcontentdescription)对控件的字符串进行配置。
55.其中，调用setcontentdescription函数的代码可以如下所示：
[0056][0057]
需要说明的是，上述仅是以播放器为例进行说明，而在实际应用中，屏幕朗读功能还可以应用在终端设备的其他控件或终端设备运行的应用程序所包括的控件中，本技术实施例对此不做限定。
[0058]
另外，本技术实施例中，开发者用于指示开发应用程序和/或控件的研发人员，用户则用于指示在终端设备出厂后，使用终端设备控制应用程序和/或控件执行对应功能的人员。
[0059]
参见图3，图3是本技术实施例提供的一种控件标注方法所涉及的软件系统架构图，该软件系统可以包括：至少一个应用程序、framework(架构)系统接口、系统标准资源和系统标准控件。
[0060]
其中，应用程序是终端设备预先存储、安装或下载的程序，可以在终端设备所显示的界面中显示应用程序对应的图标。若终端设备检测到用户对该图标触发的点击操作，则可以启动该应用程序，并显示应用程序对应的界面。
[0061]
而且，framework系统接口用于为应用程序提供可以调用的资源和控件。例如，framework系统接口可以为应用程序提供系统标准资源中的图标和字符串等资源，也可以为应用程序提供系统标准控件中的各个控件。相应的，系统标准资源中可以包括：图标标识与字符串标识之间的映射表、图标资源库和字符串资源库。
[0062]
其中，图标资源库可以是终端设备所加载的系统自带的多个系统图标，字符串资源库可以为终端设备所加载的系统自带的多个字符串，图标标识与字符串标识之间的映射
表可以为系统自带的多个系统图标的图标标识与系统自带的多个字符串的字符串标识之间的映射表。而且，在实际应用中，可以设置图标标识与字符串标识之间的映射表的名称，以便在为控件配置字符串的过程中，可以快速调用获取图标标识与字符串标识之间的映射表。
[0063]
例如，图标标识与字符串标识之间的映射表可以采用java编码系统中的哈希映射(hashmap)来实现，也即是由多个键值对(key，value)所组成的映射表。另外，图标标识与字符串标识之间的映射表的名称可以设置为siconstotexts。
[0064]
需要说明的是，上述图标资源库中的系统图标可以为图形文件，而图标标识则用于指示图标资源库中的图标。例如，图标标识可以为系统图标对应的文件名称，也可以为图标资源库中的每个系统图标对应的编码，还可以是其他用于指示系统图标的标识信息，本技术实施例对图标标识不做限定。
[0065]
另外，系统标准控件中可以包括：图标设置接口、屏幕朗读设置接口和图标转屏幕朗读标记接口。其中，图标设置接口用于设置控件的图标，屏幕朗读设置接口用于设置控件对应的用于屏幕朗读的字符串，图标转屏幕朗读标记接口用于从图标标识与字符串标识之间的映射表中，获取与控件的控件图标的图标标识所对应的字符串标识。
[0066]
例如，图标设置接口可以为setimageresource(int iconid)，其中，iconid可以为图标对应的图标标识。类似的，屏幕朗读设置接口可以为setcontentdescription(gettext(int textid))，其中，textid可以为与控件图标的图标标识对应的字符串标识。
[0067]
需要说明的是，上述软件系统可以应用在终端设备中，终端设备可以通过加载并运行上述软件系统，实现对各个控件的自动标注，无需人工手动标注各个控件用于屏幕朗读的字符串，从而可以减少对控件进行标注所花费的时间，提高对控件进行标注的效率。
[0068]
图4是本技术实施例提供的一种控件标注方法的示意性流程图，作为示例而非限定，该方法可以应用于上述终端设备中，参见图4，该方法包括：
[0069]
步骤401、根据控件对应的图标配置指令，为控件配置图标配置指令中的图标标识。
[0070]
终端设备可以检测开发者触发的操作，并根据开发者触发的操作获取开发者输入的指令，从而可以根据开发者输入的不同指令，对终端设备中所包括的各个控件进行不同的配置。
[0071]
例如，可以根据开发者输入的图标配置指令，对控件进行标注，也即是为控件配置图标标识，以便终端设备可以展示控件对应的图标，并根据对该图标触发的操作，执行该控件的功能。
[0072]
其中，图标配置指令用于从图标资源库所包括的多个系统图标中，为指定的控件配置指定的系统图标。而且，图标配置指令中可以包括图标标识和控件标识，图标标识用于指示控件被配置的控件图标，控件标识用于指示被配置的控件。
[0073]
例如，参见图5，图5中示出了多个图标文件、以及每个图标文件对应的名称，则每个图标文件对应的名称可以为图标标识。而且，参见图5，图5中被选中的分别是添加(add)、后退(back)、取消(cancel)、选择(collect)、删除(delete)、下载(download)、编辑(edit)、主界面(home)、锁定(lock)和移动(move)等多个图标文件。另外，图5中也示出了每个图标文件可以为xml文件，本技术实施例对图标标识和图标的文件类型不做限定。
[0074]
在一种可能的实现方式中，终端设备若检测到用户触发的输入图标配置指令的操作，则可以根据该图标配置指令，获取图标配置指令中的控件标识和图标标识，对控件标识对应的控件标注该图标标识，将控件对应的图标设置为图标标识所指示的控件图标。
[0075]
需要说明的是，在实际应用中，终端设备可以通过图标配置指令，将图标资源库中与图标配置指令中图标标识相对应的系统图标作为控件图标，并为图标配置指令中控件标识所指示的控件配置该控件图标。
[0076]
另外，在实际应用中，终端设备可以在根据输入图标配置指令为控件配置图标之前，终端设备可以根据输入图标配置指令中的控件标识，确定该控件标识所指示的控件是否配置有图标和/或朗读文本。
[0077]
若控件并未配置图标和朗读文本，则终端设备可以执行步骤401至步骤406。若控件配置有图标和朗读文本，则终端设备可以不执行步骤401至步骤406，并向开发者提醒该控件已经配置有图标和朗读文本，无需再次配置。若控件仅配置有图标，但是并未配置朗读文本，则终端设备可以不执行步骤401，而是执行步骤402至步骤406，并向开发者提醒该控件已配置图标，是否需要对配置的图标进行更新。若控件仅配置有朗读文本，但是并未配置图标，则终端设备可以执行步骤401，但是并不执行步骤402至步骤406，并向开发者提醒该控件已配置朗读文本，是否需要对配置的朗读文本进行更新。
[0078]
步骤402、获取控件对应的图标标识。
[0079]
终端设备若检测到开发者输入的图标配置指令，说明开发者在为控件配置相对应的控件图标，则终端设备也可以显示该控件对应的控件图标。相应的，若终端设备开启了屏幕朗读功能，则在用户对该控件触发操作时，终端设备需要对该控件进行屏幕朗读。
[0080]
因此，终端设备可以在开发者为控件配置图标的同时，调用预先存储的接口，自动为控件配置用于屏幕朗读的朗读文本。而在终端设备为控件配置朗读文本时，可以先从图标配置指令中获取图标标识，或者，根据控件对应的控件图标获取图标标识，以便在后续步骤中，可以根据图标标识确定相对应的朗读文本。
[0081]
在一种可能的实现方式中，终端设备在检测到开发者输入的图标配置指令后，可以通过预先设置的图标转屏幕朗读标记接口，从图标配置指令的指定字段，提取得到图标标识。或者，终端设备不再检测开发者是否输入图标配置指令，而是可以获取并根据用于描述控件对应的控件图标的代码，提取得到图标标识。
[0082]
需要说明的是，本技术实施例仅是以终端设备先为控件配置控件图标，之后获取图标标识为例进行说明。在实际应用中，终端设备也可以同时执行步骤401和步骤402。当然，本技术实施例中终端设备也可以不执行步骤401，也即是跳过步骤401执行步骤402，本技术实施例对执行步骤401的时机、以及是否执行步骤401不做限定。
[0083]
步骤403、在预先设置的图标标识与字符串标识之间的映射表中，获取与图标标识相对应的字符串标识。
[0084]
其中，图标标识与字符串标识之间的映射表是由多个键值对(key，value)所组成的。例如，每个键值对中的键(key)可以用于表示图标标识，键值对中的值(value)则可以用于表示字符串标识。当然，也可以是键值对中的key用于表示字符串标识，value用于表示图标标识，本技术实施例对映射表的映射方式不做限定。
[0085]
终端设备在获取图标标识后，可以先从系统标准资源中获取图标标识与字符串标
识之间的映射表，并在映射表中查找与图标标识相对应的字符串标识，以便在后续步骤中，可以根据该字符串标识为控件配置朗读文本。
[0086]
在一种可能的实现方式中，终端设备可以先调用图标转屏幕朗读标记接口，通过该图标转屏幕朗读标记接口获取图标标识与字符串标识之间的映射表，并通过该图标转屏幕朗读标记接口，在映射表中查找与图标标识相匹配的键值对，也即是查找包括图标标识的键值对。若查找到相匹配的键值对，则终端设备可以将键值对中的字符串标识，作为与图标标识相匹配的字符串标识。
[0087]
需要说明的是，在实际应用中，为应用程序配置的控件图标可能不是终端设备的系统自带的系统图标，也即是，为应用程序配置的控件图标与终端设备的图标资源库中的各个系统图标均不一致，则图标标识与字符串标识之间的映射表中不包括相匹配的键值对，终端设备可以执行步骤404至步骤406，完成对控件的标注。但是，若图标标识与字符串标识之间的映射表中包括与图标标识相匹配的键值对，则终端设备可以跳过步骤404和步骤405，执行步骤406，完成对控件的标注。
[0088]
步骤404、若从图标标识与字符串标识之间的映射表中未获取到字符串标识，则从该映射表对应的图标资源库中，查找与控件图标的形状相似的相似系统图标。
[0089]
其中，该图标资源库中的每个系统图标对应图标标识与字符串标识之间的映射表中的一个图标标识。例如，图标资源库中包括n个系统图标，则图标标识与字符串标识之间的映射表也可以包括n个图标标识，映射表中的各个图标标识所指示的图标与图标资源库中的各个系统图标一一对应，其中n为正整数。
[0090]
在实际应用中，用于实现某个功能的控件可以对应系统图标，也可以对应非系统图标。但是为了便于用户获知该控件的功能，该控件对应的系统图标的形状和非系统图标的形状，具有一定的相似度。
[0091]
因此，若终端设备在执行完步骤404后，并未获取到相匹配的字符串标识，则可以将控件图标与终端设备预先存储的图标资源库中的多个系统图标进行比较，查找与控件图标的形状相似的系统图标。
[0092]
可选的，终端设备可以将控件图标与图标资源库中的每个系统图标进行比较，得到控件图标与每个系统图标之间的相似度，再将各相似度中的最大相似度对应的系统图标，作为相似系统图标。
[0093]
在一种可能的实现方式中，对于图标资源库中的每个系统图标，终端设备可以将预先获取的控件图标与该系统图标进行比较，确定控件图标的形状是否与该系统图标的形状类似，从而得到控件图标与该系统图标之间的相似度。
[0094]
在将控件图标与每个系统图标比较完毕后，可以得到控件图标与每个系统图标之间的相似度。之后，终端设备可以对各个相似度进行统计，如可以按照从大到小的顺序对各个相似度进行排序，最后将排在首位的相似度确定为最大相似度，并将该最大相似度对应的系统图标，作为与控件图标类似的相似系统图标。
[0095]
其中，在终端设备比较控件图标和系统图标的过程中，可以将控件图标和系统图标同时输入预先训练的比较模型，通过比较模型对控件图标和系统图标进行识别，确定二者的形状之间的相似程度，进而可以输出控件图标和系统图标之间的相似度。
[0096]
当然，终端设备还可以采用其他方式确定控件图标和系统图标之间的相似度，本
申请实施例对此不做限定。
[0097]
步骤405、根据相似系统图标的图标标识，在图标标识与字符串标识之间的映射表中确定字符串标识。
[0098]
终端设备在确定相似系统图标后，可以获取该相似系统图标的图标标识，再根据该图标标识，从图标标识与字符串标识之间的映射表中获取与该图标标识相匹配的字符串标识，并将该字符串标识作为后续用于标注控件的字符串标识。
[0099]
由于本步骤获取字符串标识的过程，与步骤403类似，在此不再赘述。
[0100]
步骤406、将字符串标识指示的字符串配置为控件的朗读文本。
[0101]
终端设备在确定字符串标识后，可以根据字符串标识对控件进行标注，将字符串标识所指示的字符串作为控件对应的朗读文本，以便在终端设备开启屏幕朗读功能时，若终端设备检测到用户对控件触发的操作，则终端设备可以根据控件相关联的字符串进行朗读。
[0102]
其中，终端设备可以通过屏幕朗读设置接口，建立字符串与控件之间的对应关系，从而将字符串标识所指示的字符串配置为控件对应的字符串，也即是，将字符串标识所指示的字符串，设置为控件对应的朗读文本。
[0103]
在一种可能的实现方式中，终端设备可以先通过图标转屏幕朗读标记接口，调用屏幕朗读设置接口，并通过屏幕朗读设置接口结合字符串标识，从系统标准资源的字符串资源中获取字符串标识所指示的字符串，再将获取的字符串设置为控件对应的朗读文本。
[0104]
例如，开发者在为控件配置图标的过程中，终端设备可以执行如下代码，以便可以根据开发者输入的图标配置指令，自动将与图标对应的字符串配置为控件对应的朗读文本。参见下述代码中的if语句，若图标标识与字符串标识之间的映射表(siconstotexts)中包括图标标识(iconid)，则可以从图标标识与字符串标识之间的映射表中获取与图标标识相对应的字符串标识(textid)，并为控件配置该字符串(setcontentdescription(gettext(int textid)))。
[0105][0106]
需要说明的是，上述字符串资源中可以包括多个字符串。例如，参见图6，图6中示出了多个字符串，每个图标对应的字符串可以包括字符串标识(string name)和字符串对应的中文文本，该中文文本即为与控件相对应的朗读文本。
[0107]
综上所述，本技术实施例提供的控件标注方法，通过获取控件对应的图标标识，该图标标识用于指示控件被配置的控件图标，在预先设置的图标标识与字符串标识之间的映
射表中，获取与图标标识相对应的字符串标识，再将字符串标识指示的字符串配置为控件的朗读文本，无需开发者手动为每个控件进行标注，终端设备可以自动根据控件对应的控件图标，为控件配置与控件图标相匹配的朗读文本，可以减少开发者手动对控件标注朗读文本的工作量，也可以减少对控件标注朗读文本所花费的时间，可以提高对控件标注朗读文本的效率，具有较强的易用性和实用性。
[0108]
而且，在开发者为控件配置图标的过程中，终端设备可以根据每个控件对应的控件图标，为控件配置相对应的朗读文本，可以减少开发者为控件配置朗读文本时出现遗漏的情况，可以提高对控件进行标注的可靠性。
[0109]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0110]
对应于上文实施例所述的控件标注方法，图7是本技术实施例提供的一种控件标注装置的结构框图，为了便于说明，仅示出了与本技术实施例相关的部分。
[0111]
参照图7，该装置包括：
[0112]
第一获取模块701，用于获取控件对应的图标标识，该图标标识用于指示该控件被配置的控件图标；
[0113]
第二获取模块702，用于在预先设置的图标标识与字符串标识之间的映射表中，获取与该图标标识相对应的字符串标识；
[0114]
文本配置模块703，用于将该字符串标识指示的字符串配置为该控件的朗读文本。
[0115]
可选的，参见图8，该装置还包括：
[0116]
图标配置模块704，用于根据该控件对应的图标配置指令，为该控件配置该图标配置指令中的该图标标识。
[0117]
可选的，该映射表中的各个图标标识所指示的图标与图标资源库中的各个系统图标一一对应；
[0118]
参见图9，该装置还包括：
[0119]
比较模块705，用于若从该映射表中未获取到该字符串标识，则将该控件图标与该图标资源库中的每个该系统图标进行比较，得到该控件图标与每个该系统图标之间的相似度；
[0120]
确定模块706，用于将各该相似度中的最大相似度对应的系统图标，作为该相似系统图标；
[0121]
第三获取模块707，用于根据该相似系统图标的图标标识，在该映射表中确定该字符串标识。
[0122]
可选的，该映射表是由多个键值对组成的，每个该键值对中的键用于表示图标标识，每个该键值对中的值用于表示字符串标识。
[0123]
综上所述，本技术实施例提供的控件标注装置，通过获取控件对应的图标标识，该图标标识用于指示控件被配置的控件图标，在预先设置的图标标识与字符串标识之间的映射表中，获取与图标标识相对应的字符串标识，再将字符串标识指示的字符串配置为控件的朗读文本，无需开发者手动为每个控件进行标注，终端设备可以自动根据控件对应的控件图标，为控件配置与控件图标相匹配的朗读文本，可以减少开发者手动对控件标注朗读
文本的工作量，也可以减少对控件标注朗读文本所花费的时间，可以提高对控件标注朗读文本的效率，具有较强的易用性和实用性。
[0124]
如图3所示的软件架构可以应用在终端设备的开发场景中，例如，可以应用在对手机或平板电脑的系统自带的控件开发的场景中。当然，上述软件架构还可以应用在应用程序的控件开发的场景中，本技术实施例对此不做限定。
[0125]
下述介绍本技术实施例涉及的终端设备。请参阅图10，图10是本技术实施例提供的一种终端设备的结构示意图。
[0126]
终端设备1000可以包括处理器1010，外部存储器接口1020，内部存储器1021，通用串行总线(universal serial bus，usb)接口1030，充电管理模块1040，电源管理模块1041，电池1042，天线1，天线2，移动通信模块1050，无线通信模块1060，音频模块1070，扬声器1070a，受话器1070b，麦克风1070c，耳机接口1070d，传感器模块1080，按键1090，马达1091，指示器1092，摄像头1093，显示屏1094，以及用户标识模块(subscriber identification module，sim)卡接口1095等。其中传感器模块1080可以包括压力传感器1080a，陀螺仪传感器1080b，气压传感器1080c，磁传感器1080d，加速度传感器1080e，距离传感器1080f，接近光传感器1080g，指纹传感器1080h，温度传感器1080j，触摸传感器1080k，环境光传感器1080l，骨传导传感器1080m等。
[0127]
可以理解的是，本发明实施例示意的结构并不构成对终端设备1000的具体限定。在本技术另一些实施例中，终端设备1000可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
[0128]
处理器1010可以包括一个或多个处理单元，例如：处理器1010可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
[0129]
其中，控制器可以是终端设备1000的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
[0130]
处理器1010中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器1010中的存储器为高速缓冲存储器。该存储器可以保存处理器1010刚用过或循环使用的指令或数据。如果处理器1010需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器1010的等待时间，因而提高了系统的效率。
[0131]
在一些实施例中，处理器1010可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，i2c)接口，集成电路内置音频(inter-integrated circuit sound，i2s)接口，脉冲编码调制(pulse code modulation，pcm)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，uart)接口，移动产业处理器接口(mobile industry processor interface，mipi)，通用输入输出(general-purpose input/output，gpio)接口，用户标识模块(subscriber identity module，sim)接口，和/或通用串行总线(universal serial bus，usb)接口等。
[0132]
i2c接口是一种双向同步串行总线，包括一根串行数据线(serial data line，sda)和一根串行时钟线(derail clock line，scl)。在一些实施例中，处理器1010可以包含多组i2c总线。处理器1010可以通过不同的i2c总线接口分别耦合触摸传感器1080k，充电器，闪光灯，摄像头1093等。例如：处理器1010可以通过i2c接口耦合触摸传感器1080k，使处理器1010与触摸传感器1080k通过i2c总线接口通信，实现终端设备1000的触摸功能。
[0133]
i2s接口可以用于音频通信。在一些实施例中，处理器1010可以包含多组i2s总线。处理器1010可以通过i2s总线与音频模块1070耦合，实现处理器1010与音频模块1070之间的通信。在一些实施例中，音频模块1070可以通过i2s接口向无线通信模块1060传递音频信号，实现通过蓝牙耳机接听电话的功能。
[0134]
pcm接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块1070与无线通信模块1060可以通过pcm总线接口耦合。在一些实施例中，音频模块1070也可以通过pcm接口向无线通信模块1060传递音频信号，实现通过蓝牙耳机接听电话的功能。所述i2s接口和所述pcm接口都可以用于音频通信。
[0135]
uart接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，uart接口通常被用于连接处理器1010与无线通信模块1060。例如：处理器1010通过uart接口与无线通信模块1060中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块1070可以通过uart接口向无线通信模块1060传递音频信号，实现通过蓝牙耳机播放音乐的功能。
[0136]
mipi接口可以被用于连接处理器1010与显示屏1094，摄像头1093等外围器件。mipi接口包括摄像头串行接口(camera serial interface，csi)，显示屏串行接口(display serial interface，dsi)等。在一些实施例中，处理器1010和摄像头1093通过csi接口通信，实现终端设备1000的拍摄功能。处理器1010和显示屏1094通过dsi接口通信，实现终端设备1000的显示功能。
[0137]
gpio接口可以通过软件配置。gpio接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，gpio接口可以用于连接处理器1010与摄像头1093，显示屏1094，无线通信模块1060，音频模块1070，传感器模块1080等。gpio接口还可以被配置为i2c接口，i2s接口，uart接口，mipi接口等。
[0138]
usb接口1030是符合usb标准规范的接口，具体可以是mini usb接口，micro usb接口，usb type c接口等。usb接口1030可以用于连接充电器为终端设备1000充电，也可以用于终端设备1000与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他终端设备，例如ar设备等。
[0139]
可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对终端设备1000的结构限定。在本技术另一些实施例中，终端设备1000也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
[0140]
充电管理模块1040用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块1040可以通过usb接口1030接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块1040可以通过终端设备1000的无线充电线圈接收无线充电输入。充电管理模块1040为电池1042充电的同时，还可以通过电源管理模块1041为终端设备供电。
division multiple access，wcdma)，时分码分多址(time-division code division multiple access，td-scdma)，长期演进(long term evolution，lte)，bt，gnss，wlan，nfc，fm，和/或ir技术等。所述gnss可以包括全球卫星定位系统(global positioning system，gps)，全球导航卫星系统(global navigation satellite system，glonass)，北斗卫星导航系统(beidou navigation satellite system，bds)，准天顶卫星系统(quasi-zenith satellite system，qzss)和/或星基增强系统(satellite based augmentation systems，sbas)。
[0148]
终端设备1000通过gpu，显示屏1094，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏1094和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器1010可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
[0149]
显示屏1094用于显示图像，视频等。显示屏1094包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light-emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode，amoled)，柔性发光二极管(flex light-emitting diode，fled)，miniled，microled，micro-oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。在一些实施例中，终端设备1000可以包括1个或n个显示屏1094，n为大于1的正整数。
[0150]
终端设备1000可以通过isp，摄像头1093，视频编解码器，gpu，显示屏1094以及应用处理器等实现拍摄功能。
[0151]
isp用于处理摄像头1093反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头1093中。
[0152]
摄像头1093用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，终端设备1000可以包括1个或n个摄像头1093，n为大于1的正整数。
[0153]
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当终端设备1000在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
[0154]
视频编解码器用于对数字视频压缩或解压缩。终端设备1000可以支持一种或多种视频编解码器。这样，终端设备1000可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，mpeg)1，mpeg2，mpeg3，mpeg4等。
[0155]
npu为神经网络(neural-network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现终端设备1000的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
[0156]
外部存储器接口1020可以用于连接外部存储卡，例如micro sd卡，实现扩展终端设备1000的存储能力。外部存储卡通过外部存储器接口1020与处理器1010通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
[0157]
内部存储器1021可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器1010通过运行存储在内部存储器1021的指令，从而执行终端设备1000的各种功能应用以及数据处理。内部存储器1021可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储终端设备1000使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器1021可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。
[0158]
终端设备1000可以通过音频模块1070，扬声器1070a，受话器1070b，麦克风1070c，耳机接口1070d，以及应用处理器等实现音频功能。例如音乐播放，录音等。
[0159]
音频模块1070用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块1070还可以用于对音频信号编码和解码。在一些实施例中，音频模块1070可以设置于处理器1010中，或将音频模块1070的部分功能模块设置于处理器1010中。
[0160]
扬声器1070a，也称“喇叭”，用于将音频电信号转换为声音信号。终端设备1000可以通过扬声器1070a收听音乐，或收听免提通话。
[0161]
受话器1070b，也称“听筒”，用于将音频电信号转换成声音信号。当终端设备1000接听电话或语音信息时，可以通过将受话器1070b靠近人耳接听语音。
[0162]
麦克风1070c，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风1070c发声，将声音信号输入到麦克风1070c。终端设备1000可以设置至少一个麦克风1070c。在另一些实施例中，终端设备1000可以设置两个麦克风1070c，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，终端设备1000还可以设置三个，四个或更多麦克风1070c，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
[0163]
耳机接口1070d用于连接有线耳机。耳机接口1070d可以是usb接口1030，也可以是3.5mm的开放移动终端设备平台(open mobile terminal platform，omtp)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the usa，ctia)标准接口。
[0164]
压力传感器1080a用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器1080a可以设置于显示屏1094。压力传感器1080a的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器1080a，电极之间的电容改变。终端设备1000根据电容的变化确定压力的强度。当有触摸操作作用于显示屏1094，终端设备1000根据压力传感器1080a检测所述触摸操作强度。终端设备1000也可以根据压力传感器1080a的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸
操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
[0165]
陀螺仪传感器1080b可以用于确定终端设备1000的运动姿态。在一些实施例中，可以通过陀螺仪传感器1080b确定终端设备1000围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器1080b可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器1080b检测终端设备1000抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消终端设备1000的抖动，实现防抖。陀螺仪传感器1080b还可以用于导航，体感游戏场景。
[0166]
气压传感器1080c用于测量气压。在一些实施例中，终端设备1000通过气压传感器1080c测得的气压值计算海拔高度，辅助定位和导航。
[0167]
磁传感器1080d包括霍尔传感器。终端设备1000可以利用磁传感器1080d检测翻盖皮套的开合。在一些实施例中，当终端设备1000是翻盖机时，终端设备1000可以根据磁传感器1080d检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。
[0168]
加速度传感器1080e可检测终端设备1000在各个方向上(一般为三轴)加速度的大小。当终端设备1000静止时可检测出重力的大小及方向。还可以用于识别终端设备1000的姿态，应用于横竖屏切换，计步器等应用。
[0169]
距离传感器1080f，用于测量距离。终端设备1000可以通过红外或激光测量距离。在一些实施例中，拍摄场景，终端设备1000可以利用距离传感器1080f测距以实现快速对焦。
[0170]
接近光传感器1080g可以包括例如发光二极管(led)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。终端设备1000通过发光二极管向外发射红外光。终端设备1000使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定终端设备1000附近有物体。当检测到不充分的反射光时，终端设备1000可以确定终端设备1000附近没有物体。终端设备1000可以利用接近光传感器1080g检测用户手持终端设备1000贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器1080g也可用于皮套模式，口袋模式自动解锁与锁屏。
[0171]
环境光传感器1080l用于感知环境光亮度。终端设备1000可以根据感知的环境光亮度自适应调节显示屏1094亮度。环境光传感器1080l也可用于拍照时自动调节白平衡。环境光传感器1080l还可以与接近光传感器1080g配合，检测终端设备1000是否在口袋里，以防误触。
[0172]
指纹传感器1080h用于采集指纹。终端设备1000可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
[0173]
温度传感器1080j用于检测温度。在一些实施例中，终端设备1000利用温度传感器1080j检测的温度，执行温度处理策略。例如，当温度传感器1080j上报的温度超过阈值，终端设备1000执行降低位于温度传感器1080j附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，终端设备1000对电池1042加热，以避免低温导致终端设备1000异常关机。在其他一些实施例中，当温度低于又一阈值时，终端设备1000对电池1042的输出电压执行升压，以避免低温导致的异常关机。
[0174]
触摸传感器1080k，也称“触控面板”。触摸传感器1080k可以设置于显示屏1094，由
触摸传感器1080k与显示屏1094组成触摸屏，也称“触控屏”。触摸传感器1080k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏1094提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器1080k也可以设置于终端设备1000的表面，与显示屏1094所处的位置不同。
[0175]
骨传导传感器1080m可以获取振动信号。在一些实施例中，骨传导传感器1080m可以获取人体声部振动骨块的振动信号。骨传导传感器1080m也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器1080m也可以设置于耳机中，结合成骨传导耳机。音频模块1070可以基于所述骨传导传感器1080m获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器1080m获取的血压跳动信号解析心率信息，实现心率检测功能。
[0176]
按键1090包括开机键，音量键等。按键1090可以是机械按键。也可以是触摸式按键。终端设备1000可以接收按键输入，产生与终端设备1000的用户设置以及功能控制有关的键信号输入。
[0177]
马达1091可以产生振动提示。马达1091可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏1094不同区域的触摸操作，马达1091也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
[0178]
指示器1092可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
[0179]
sim卡接口1095用于连接sim卡。sim卡可以通过插入sim卡接口1095，或从sim卡接口1095拔出，实现和终端设备1000的接触和分离。终端设备1000可以支持1个或n个sim卡接口，n为大于1的正整数。sim卡接口1095可以支持nano sim卡，micro sim卡，sim卡等。同一个sim卡接口1095可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。sim卡接口1095也可以兼容不同类型的sim卡。sim卡接口1095也可以兼容外部存储卡。终端设备1000通过sim卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，终端设备1000采用esim，即：嵌入式sim卡。esim卡可以嵌在终端设备1000中，不能和终端设备1000分离。
[0180]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0181]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0182]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0183]
在本技术所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0184]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0185]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0186]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
[0187]
最后应说明的是：以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何在本技术揭露的技术范围内的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。