一种识别设备屏幕边界的方法、装置及介质与流程

1.本文涉及移动终端数据处理技术领域，尤其涉及基于图像处理的识别设备屏幕边界的方法、装置及介质。


背景技术：

2.随着伺服电机和自动控制系统的不断发展，工业机械手在终端测试领域中的使用越来越普遍。
3.在机械手控制系统的使用过程中，由于终端的型号大小和摆放位置的不同，此时经常需要对被测设备进行边缘检测，从而实现被测设备的定位。常规的设备定位方法是通过人工手动框选设备屏幕边界，图1是现有技术中手动确定设备屏幕边界的方法的示意图。此人工手动框选的方式需要在每次测试前由人工手动框选好设备的边界，处理效率较慢，而且容易产生误差和框选错误等问题。
4.因此，需要提供新的识别设备屏幕边界的方案是需要解决的技术问题。


技术实现要素：

5.为克服相关技术中存在的问题，本文提供了一种识别设备屏幕边界的方法、装置及介质。
6.根据本文实施例的第一方面，提供一种识别设备屏幕边界的方法，包括：
7.获取待处理图像；所述待处理图像中包含屏幕所在面朝上的待测设备，所述待测设备的屏幕处于亮屏状态；
8.对所述待处理图像进行边缘检测，获得边缘图像；
9.检测所述边缘图像的直线段，获得直线段集合；
10.从所述直线段集合中选择符合边界规则的多个直线段；
11.根据选择出的所述多个直线段确定设备屏幕边界。
12.在一实施方式中，在获得直线段集合后，以及从所述直线段集合中选择符合边界规则的多个直线段之前，还包括：对所述直线段集合进行直线段去重处理；
13.所述对所述直线段集合进行直线段去重处理，包括：确定各直线段的斜率，针对斜率相同的多个直线段，确定位于同一直线上的多个直线段，从位于同一直线的多个直线段中选择一直线段，从所述直线段集合中删除其它直线段。
14.在一实施方式中，所述从所述直线段集合中选择符合边界规则的多个直线段包括：
15.计算每个直线段的倾斜指数，根据倾斜指数从大到小或者从小到大的顺序排序，确定前两个倾斜指数对应的两个直线段和后两个倾斜指数对应的两个直线段，获得四个直线段；
16.确定除所述四个直线段之外的其它每个直线段与所述四个直线段的倾斜指数差值，将差值大于设定值的直线确定为不符合边界规则的直线段；
17.从除所述不符合边界规则的直线段之外的直线段集合中选择符合边界规则的直线段。
18.在一实施方式中，所述从所述直线段集合中选择符合边界规则的多个直线段包括：
19.确定每个直线段的坐标信息，确定直线段集合中所有直线段的坐标信息所覆盖的最大区域，从确定距离所述区域的边界最近的多个直线段中选择符合边界规则的直线段。
20.在一实施方式中，所述符合边界规则包括以下中的至少一种：
21.在直线段按长度从大到小的排序中位于前n位，或者，在直线段按长度从小到大的排序中位于后n位，n为大于4的整数值；
22.长度大于第一设定值；
23.倾斜指数位于设定区间；
24.具有平行关系且间距大于第二设定值的两个直线段；
25.具有交点并且夹角与90度的差值小于设定角度的两个直线段。
26.在一实施方式中，所述方法还包括：
27.循环执行以下内容直至确定出的设备屏幕边界符合屏幕边界要求：
28.判断确定出的设备屏幕边界是否符合屏幕边界要求；
29.在不符合屏幕边界要求时，提高用于检测所述边缘图像的直线段的检测精度；
30.使用提高后的检测精度检测所述边缘图像的直线段，获得直线段集合，从所述直线段集合中选择符合边界规则的多个直线段，根据选择出的所述多个直线段确定设备屏幕边界。
31.根据本文实施例的第二方面，提供一种识别设备屏幕边界的装置，包括：
32.获取模块，用于获取待处理图像；所述待处理图像中包含屏幕所在面朝上的待测设备，所述待测设备的屏幕处于亮屏状态；
33.边缘检测模块，用于对所述待处理图像进行边缘检测，获得边缘图像；
34.直线检测模块，用于检测所述边缘图像的直线段，获得直线段集合；
35.选择模块，用于从所述直线段集合中选择符合边界规则的多个直线段；
36.边界确定模块，用于根据选择出的所述多个直线段确定设备屏幕边界，所述设备屏幕边界为矩形。
37.在一实施方式中，所述装置还包括：去重模块，用于对所述直线段集合进行直线段去重处理；
38.所述对所述直线段集合进行直线段去重处理包括：确定各直线段的斜率，针对斜率相同的多个直线段，确定位于同一直线上的多个直线段，从位于同一直线的多个直线段中选择一直线段，从所述直线段集合中删除其它直线段。
39.在一实施方式中，所述选择模块包括：
40.第一计算模块，用于计算每个直线段的倾斜指数；
41.排序模块，用于根据倾斜指数从大到小或者从小到大的顺序排序；
42.第一确定模块，用于确定前两个倾斜指数对应的两个直线段和后两个倾斜指数对应的两个直线段，获得四个直线段；
43.第二确定模块，用于确定除所述四个直线段之外的其它每个直线段与所述四个直
线段的倾斜指数差值，将差值大于设定值的直线确定为不符合边界规则的直线段；从除所述不符合边界规则的直线段之外的直线段集合中选择符合边界规则的直线段。
44.在一实施方式中，所述选择模块包括：
45.第三确定模块，用于确定每个直线段的坐标信息；
46.第四确定模块，用于确定直线段集合中所有直线段的坐标信息所覆盖的最大区域，从确定距离所述区域的边界最近的多个直线段中选择符合边界规则的直线段。
47.在一实施方式中，所述符合边界规则包括以下中的至少一种：
48.在直线段按长度从大到小的排序中位于前n位，或者，在直线段按长度从小到大的排序中位于后n位，n为大于4的整数值；
49.长度大于第一设定值；
50.倾斜指数位于设定区间；
51.具有平行关系且间距大于第二设定值的两个直线段；
52.具有交点并且夹角与90度的差值小于设定角度的两个直线段。
53.在一实施方式中，所述装置还包括循环处理模块，用于循环执行以下内容直至确定出的设备屏幕边界符合屏幕边界要求：
54.判断确定出的设备屏幕边界是否符合屏幕边界要求；
55.在不符合屏幕边界要求时，提高用于检测所述边缘图像的直线段的检测精度；
56.使用提高后的检测精度检测所述边缘图像的直线段，获得直线段集合，从所述直线段集合中选择符合边界规则的多个直线段，根据选择出的所述多个直线段确定设备屏幕边界。
57.根据本文实施例的第三方面，提供一种识别设备屏幕边界的装置，包括：
58.处理器；
59.用于存储处理器可执行指令的存储器；
60.其中，所述处理器被配置为执行所述存储器中的可执行指令以实现所述方法的步骤。
61.根据本文实施例的第四方面，提供一种非临时性计算机可读存储介质，其上存储有可执行指令，该可执行指令被处理器执行时实现所述方法的步骤。
62.本文的实施例提供的技术方案可以包括以下有益效果：通过使用基于图像处理的边缘检测以及直线检测确定设备屏幕边界，提高检测速度和实时性，并且保持具有较高的准确性。
63.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本文。
附图说明
64.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本文的实施例，并与说明书一起用于解释本文的原理。
65.图1是现有技术中手动确定设备屏幕边界的方法的示意图；
66.图2是根据一示例性实施例示出的一种识别设备屏幕边界的方法的流程图；
67.图3是根据一示例性实施例示出的待处理图像的图示；
68.图4是根据一示例性实施例示出的对图3所示的待处理图像进行边界识别处理后的图示；
69.图5是根据一示例性实施例示出的待处理图像的图示；
70.图6是根据一示例性实施例示出的对图5所示的待处理图像进行边界识别处理后的图示；
71.图7是根据一示例性实施例示出的一种识别设备屏幕边界的方法的流程图；
72.图8是根据一示例性实施例示出的一种识别设备屏幕边界的装置的结构图；
73.图9是根据一示例性实施例示出的一种识别设备屏幕边界的装置的结构图。
具体实施方式
74.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本文相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本文的一些方面相一致的装置和方法的例子。
75.本公开实施例中提供一种识别设备屏幕边界的方法。参照图2，图2是根据一示例性实施例示出的一种识别设备屏幕边界的方法的流程图。如图2所示，此方法包括：
76.步骤s21，获取待处理图像；所述待处理图像中包含屏幕所在面朝上的待测设备，所述待测设备的屏幕处于亮屏状态。
77.步骤s22，对所述待处理图像进行边缘检测，获得边缘图像。
78.步骤s23，检测所述边缘图像的直线段，获得直线段集合；
79.步骤s24，从所述直线段集合中选择符合边界规则的多个直线段；
80.步骤s25，根据选择出的所述多个直线段确定设备屏幕边界。
81.其中，步骤s21中获取待处理图像，包括：从工业相机采集的视频流中截取一帧图像，将截取到的一帧图像作为所述待处理图像。
82.获取待处理图像后，将待处理图像保存为设定格式(例如jpg格式、png格式、bmp格式等)的图像。保存位置为缓存、保存至硬盘存储区或者设定路径下。优选的，将待处理图像保存为绝对路径下的设定名称(例如p1、pt等)以及设定格式的图像，从而与其它图像进行明确区分，使后续处理程序方便提取。
83.在一实施方式中，步骤s22中，待处理图像为灰度图像时，直接对待处理图像进行边缘检测。待处理图像为彩色度图像时，先对彩色图像进行灰度化处理，在将图像转换为灰度图像后，再对灰度化处理后得到的待处理图像进行边缘检测。
84.在一实施方式中，步骤s22中，对所述待处理图像进行边缘检测的方法划分为两类：基于查找的一类和基于零穿越的一类。基于查找的方法通过寻找图像一阶导数中的最大和最小值来检测边界，通常是将边界定位在梯度最大的方向。基于零穿越的方法通过寻找图像二阶导数零穿越来寻找边界，通常是laplacian过零点或者非线性差分表示的过零点。基于搜索的边缘检测方法首先计算边缘强度，通常用一阶导数表示，例如梯度模，然后，用计算估计边缘的局部方向，通常采用梯度的方向，并利用此方向找到局部梯度模的最大值。基于零交叉的方法找到由图像得到的二阶导数的零交叉点来定位边缘。通常用拉普拉斯算子或非线性微分方程的零交叉点。
85.在计算出导数之后，根据阈值确定哪些像素点是边缘。阈值越低，能够检测出的边线越多，结果也就越容易受到图片噪声的影响，并且越容易从图像中挑出不相关的特性。与此相反，一个高的阈值将会遗失细的或者短的线段。一个常用的这种方法是带有滞后作用的阈值选择。
86.工业相机采集的视频流中，终端的处于亮屏状态下的屏幕与其它区域(称为背景区域)的差别较大，识别出的设备屏幕边界为屏幕边界。
87.本实施例中，通过使用基于图像处理的边缘检测以及直线检测确定设备屏幕边界，提高检测速度和实时性，并且保持具有较高的准确性。在需要不间断检测不同型号或者不同屏幕尺寸的设备时，不需要暂停测试，可以智能的自动持续检测。
88.本公开实施例中提供一种识别设备屏幕边界的方法，此方法包括图2所示的方法，并且，步骤s23和步骤s24之间还包括：对所述直线段集合进行直线段去重处理。所述对所述直线段集合进行直线段去重处理，包括：确定各直线段的斜率，针对斜率相同的多个直线段，确定位于同一直线上的多个直线段，从位于同一直线的多个直线段中选择一直线段，从所述直线段集合中删除其它直线段。
89.通过去重处理，可以去除重复的可表达相同信息的直线段。例如：屏幕中显示有多个规则排列的矩形图标时，可以去除位于同一直线上的多个矩形图标的同一侧的侧边对应的直线段。再例如：如果边缘检测后，屏幕边界的一侧边被识别为位于同一直线上的两个直线段时，可以去除其中一个直线段。
90.通过去重处理可以对直线段集合的数据进行精简，提高数据的有效性，提高数据处理速度。
91.本公开实施例中提供一种识别设备屏幕边界的方法，此方法包括图2所示的方法，并且步骤s24，从所述直线段集合中选择符合边界规则的多个直线段包括：
92.计算每个直线段的倾斜指数，根据倾斜指数从大到小或者从小到大的顺序排序，确定前两个倾斜指数对应的两个直线段和后两个倾斜指数对应的两个直线段，获得四个直线段；
93.确定除所述四个直线段之外的其它每个直线段与所述四个直线段的倾斜指数差值，将差值大于设定值的直线确定为不符合边界规则的直线段；
94.从除所述不符合边界规则的直线段之外的直线段集合中选择符合边界规则的直线段。
95.在一实施例中，符合边界规则包括以下中的至少一种：
96.一，在直线段按长度从大到小的排序中位于前n位，或者，在直线段按长度从小到大的排序中位于后n位，n为大于4的整数值；
97.二，长度大于第一设定值；
98.三，倾斜指数位于设定区间；
99.四，具有平行关系且间距大于第二设定值的两个直线段；
100.五，具有交点并且夹角与90度的差值小于设定角度的两个直线段。
101.其中，倾斜指数是倾斜角度，或者，倾斜指数是指斜率，在直线段的倾斜角度为90度时，因90度对应的斜率无法用常数表示，其斜率用设定值表示。
102.通过此边界规则可以达到去噪的效果，有效将显示界面中的显示内容中的直线段
去除。
103.规则一可以优先选择长度较大的直线段。
104.规则二可以过滤掉显示界面中长度较小的直线段，例如对话框、文本框、图标、电池电量表示框的边框对应的长度较小的直线段，或者，壁纸图像中的长度较小的直线段。
105.规则三可以过滤掉显示界面中倾斜指数不在设定区间的直线段。例如：在待测设备的放置位置较为标准时，工业相机摄取到的视频中的每帧图像中，待测设备的屏幕边界与图像的边界基本保持平行。即待测设备的屏幕边界的倾斜指数对应于接近0度的倾角或者对应于接近90度的倾角。例如设定区间为[-10度，10度]和[80度，100度]时，显示界面中倾斜角度为45度的直线段将被过滤掉。
[0106]
规则三中设置设定区间可以用于移动终端放置时位置较为倾斜，使待测设备的屏幕边界与图像的边界呈一定角度的情况。
[0107]
规则四可以过滤显示界面内构成平行关系的长度较小的直线段对。例如对话框、文本框、图标、电池电量表示框中构成平行关系的对边。
[0108]
规则五可以过滤显示界面内构成交叉关系且夹角与90度相差较大的直线段对。
[0109]
举例如下：
[0110]
图3示出了一待处理图像的示图，此图中待测设备的屏幕边界与图像的边界基本保持平行。对此图，使用本方法进行处理时，获取直线段集合。此直线段集合中包括电池电量表示框的边框对应的直线段，通过边界规则将此电池电量表示框的边框对应的直线段均过滤掉。如图4所示，最终选择出的符合边界规则的直线段共包括四个直线段，其中两个直线段的倾斜指数均为0度，另外两个直线段的倾斜指数均为90度。分别沿着此四个直线段作直线，获得四个交点，将此四交点定位的矩形作为确定出的设备屏幕边界。
[0111]
再例如：图5示出了一待处理图像的示图，此图中待测设备的屏幕边界与图像的边界基本保持平行。对此图，使用本方法进行处理时，获取直线段集合。此直线段集合中包括显示界面中壁纸部分的较多直线段。如图6所示，最终选择出的最终选择出的符合边界规则的直线段共包括四个直线段，即最上边界处的直线段、最下边界处的直线段、最左边界处的直线段和最右边界处上部分的直线段。分别沿着此四个直线段作直线，获得四个交点，将此四交点定位的矩形作为确定出的设备屏幕边界。
[0112]
本公开实施例中提供一种识别设备屏幕边界的方法，此方法包括图2所示的方法，并且步骤s24，从所述直线段集合中选择符合边界规则的多个直线段包括：确定每个直线段的坐标信息，确定直线段集合中所有直线段的坐标信息所覆盖的最大区域，从确定距离所述区域的边界最近的多个直线段中选择符合边界规则的直线段。
[0113]
在一实施例中，符合边界规则包括以下中的至少一种：
[0114]
一，长度大于第一设定值；
[0115]
二，倾斜指数位于设定区间；
[0116]
三，具有平行关系且间距大于第二设定值的两个直线段；
[0117]
四，具有交点并且夹角与90度的差值小于设定角度的两个直线段。
[0118]
本实施例中，可以有效过滤掉显示界面中的众多直线段，提高处理速度。
[0119]
本公开实施例中提供一种识别设备屏幕边界的方法，参照图7，图7是根据一示例性实施例示出的一种识别设备屏幕边界的方法的流程图。如图7所示，此方法包括：此方法
包括图2所示的方法，并且还包括：
[0120]
循环执行以下内容直至确定出的设备屏幕边界符合屏幕边界要求：
[0121]
步骤s26，判断确定出的设备屏幕边界是否符合屏幕边界要求。
[0122]
步骤s27，在不符合屏幕边界要求时，提高用于检测所述边缘图像的直线段的检测精度。
[0123]
步骤s28，使用提高后的检测精度检测所述边缘图像的直线段，获得直线段集合，从所述直线段集合中选择符合边界规则的多个直线段，根据选择出的所述多个直线段确定设备屏幕边界。
[0124]
所述屏幕边界要求包括以下中的至少一种：
[0125]
设备屏幕边界对应的矩形的长宽比位于设定长宽比范围；
[0126]
设备屏幕边界对应的矩形的面积位于设定面积范围；
[0127]
相对侧边构成平行关系；
[0128]
相对侧边的长度差值小于设定差值。
[0129]
本实施例中，设置屏幕边界要求，确定出的设备屏幕边界后，在不满足屏幕边界要求时，调整检测参数自动重新计算，提高检测成功率。
[0130]
本公开实施例中提供一种识别设备屏幕边界的方法，此方法包括图2所示的方法，并且还包括：确定设备屏幕边界后，根据所述设备屏幕边界确定设备屏幕顶点、设备屏幕中心点、屏幕宽度像素、屏幕长度像素。
[0131]
本公开实施例中提供一种识别设备屏幕边界的装置，参照图8，图8是根据一示例性实施例示出的一种识别设备屏幕边界的装置的结构图。如图8所示，此装置包括：
[0132]
获取模块801，用于获取待处理图像；所述待处理图像中包含屏幕所在面朝上的待测设备，所述待测设备的屏幕处于亮屏状态；
[0133]
边缘检测模块802，用于对所述待处理图像进行边缘检测，获得边缘图像；
[0134]
直线检测模块803，用于检测所述边缘图像的直线段，获得直线段集合；
[0135]
选择模块804，用于从所述直线段集合中选择符合边界规则的多个直线段；
[0136]
边界确定模块805，用于根据选择出的所述多个直线段确定设备屏幕边界，所述设备屏幕边界为矩形。
[0137]
本公开实施例中提供一种识别设备屏幕边界的装置，此装置包括图8所示的装置，并且：在边缘检测模块802和直线检测模块803之间还包括：去重模块，用于对所述直线段集合进行直线段去重处理。
[0138]
所述对所述直线段集合进行直线段去重处理包括：确定各直线段的斜率，针对斜率相同的多个直线段，确定位于同一直线上的多个直线段，从位于同一直线的多个直线段中选择一直线段，从所述直线段集合中删除其它直线段。
[0139]
本公开实施例中提供一种识别设备屏幕边界的装置，此装置包括图8所示的装置，并且：
[0140]
所述选择模块804包括：
[0141]
第一计算模块，用于计算每个直线段的倾斜指数；
[0142]
排序模块，用于根据倾斜指数从大到小或者从小到大的顺序排序；
[0143]
第一确定模块，用于确定前两个倾斜指数对应的两个直线段和后两个倾斜指数对
应的两个直线段，获得四个直线段；
[0144]
第二确定模块，用于确定除所述四个直线段之外的其它每个直线段与所述四个直线段的倾斜指数差值，将差值大于设定值的直线确定为不符合边界规则的直线段；从除所述不符合边界规则的直线段之外的直线段集合中选择符合边界规则的直线段。
[0145]
在一实施方式中，所述符合边界规则包括以下中的至少一种：
[0146]
在直线段按长度从大到小的排序中位于前n位，或者，在直线段按长度从小到大的排序中位于后n位，n为大于4的整数值；
[0147]
长度大于第一设定值；
[0148]
倾斜指数位于设定区间；
[0149]
具有平行关系且间距大于第二设定值的两个直线段；
[0150]
具有交点并且夹角与90度的差值小于设定角度的两个直线段。
[0151]
本公开实施例中提供一种识别设备屏幕边界的装置，此装置包括图9所示的装置，并且：
[0152]
所述选择模块804包括：
[0153]
第三确定模块，用于确定每个直线段的坐标信息；
[0154]
第四确定模块，用于确定直线段集合中所有直线段的坐标信息所覆盖的最大区域，从确定距离所述区域的边界最近的多个直线段中选择符合边界规则的直线段。
[0155]
在一实施方式中，所述符合边界规则包括以下中的至少一种：
[0156]
在直线段按长度从大到小的排序中位于前n位，或者，在直线段按长度从小到大的排序中位于后n位，n为大于4的整数值；
[0157]
长度大于第一设定值；
[0158]
倾斜指数位于设定区间；
[0159]
具有平行关系且间距大于第二设定值的两个直线段；
[0160]
具有交点并且夹角与90度的差值小于设定角度的两个直线段。
[0161]
本公开实施例中提供一种识别设备屏幕边界的装置，此装置包括图8所示的装置，并且：
[0162]
所述装置还包括循环处理模块，用于循环执行以下内容直至确定出的设备屏幕边界符合屏幕边界要求：
[0163]
判断确定出的设备屏幕边界是否符合屏幕边界要求；在不符合屏幕边界要求时，提高用于检测所述边缘图像的直线段的检测精度；使用提高后的检测精度检测所述边缘图像的直线段，获得直线段集合，从所述直线段集合中选择符合边界规则的多个直线段，根据选择出的所述多个直线段确定设备屏幕边界。
[0164]
本公开实施例中提供一种识别设备屏幕边界的装置，包括：
[0165]
处理器；
[0166]
用于存储处理器可执行指令的存储器；
[0167]
其中，所述处理器被配置为执行所述存储器中的可执行指令以实现所述方法的步骤。
[0168]
本公开实施例中提供一种非临时性计算机可读存储介质，其上存储有可执行指令，该可执行指令被处理器执行时实现所述方法的步骤。
[0169]
图9是根据一示例性实施例示出的一种识别设备屏幕边界的装置900的框图。例如，装置900可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
[0170]
参照图9，装置900可以包括以下一个或多个组件：处理组件902，存储器904，电力组件906，多媒体组件908，音频组件910，输入/输出(i/o)的接口912，传感器组件914，以及通信组件916。
[0171]
处理组件902通常控制装置900的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件902可以包括一个或多个模块，便于处理组件902和其他组件之间的交互。例如，处理组件902可以包括多媒体模块，以方便多媒体组件908和处理组件902之间的交互。
[0172]
存储器904被配置为存储各种类型的数据以支持在设备900的操作。这些数据的示例包括用于在装置900上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0173]
电力组件906为装置900的各种组件提供电力。电力组件906可以包括电源管理系统，一个或多个电源，及其他与为装置900生成、管理和分配电力相关联的组件。
[0174]
多媒体组件908包括在所述装置900和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件908包括一个前置摄像头和/或后置摄像头。当设备900处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0175]
音频组件910被配置为输出和/或输入音频信号。例如，音频组件910包括一个麦克风(mic)，当装置900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中，音频组件910还包括一个扬声器，用于输出音频信号。
[0176]
i/o接口912为处理组件902和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
[0177]
传感器组件914包括一个或多个传感器，用于为装置900提供各个方面的状态评估。例如，传感器组件914可以检测到设备900的打开/关闭状态，组件的相对定位，例如所述组件为装置900的显示器和小键盘，传感器组件914还可以检测装置900或装置900一个组件的位置改变，用户与装置900接触的存在或不存在，装置900方位或加速/减速和装置900的温度变化。传感器组件914可以包括接近传感器，被配置用来在没有任何的物理接触时检测
附近物体的存在。传感器组件914还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件914还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
[0178]
通信组件916被配置为便于装置900和其他设备之间有线或无线方式的通信。装置900可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件916还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
[0179]
在示例性实施例中，装置900可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
[0180]
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器904，上述指令可由装置900的处理器920执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0181]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本文的其它实施方案。本技术旨在涵盖本文的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本文的一般性原理并包括本文未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本文的真正范围和精神由下面的权利要求指出。
[0182]
应当理解的是，本文并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本文的范围仅由所附的权利要求来限制。