图像融合方法、图像融合装置及存储介质与流程

1.本公开涉及图像处理技术领域，尤其涉及一种图像融合方法、图像融合装置及存储介质。


背景技术：

2.随着科学技术的发展，图像去模糊作为一种常用的图像处理方式，被人们运用于日常生活中的各个方面，用来解决图像中因局部运动等因素导致的成像模糊问题。
3.相关技术中，可以通过算法处理，将图像参数用多帧融合的方式进行效果优化，使用多个像素点共同完成原来需要一个像素点完成的任务，来达到抵消图像模糊、优化图像质量的目的。但这些方法存在图像融合产生鬼影的问题。


技术实现要素：

4.为克服相关技术中存在的问题，本公开提供一种图像融合方法、图像融合装置及存储介质。
5.根据本公开实施例的第一方面，提供一种图像融合方法，包括：
6.确定待进行图像融合的多帧图像；在所述多帧图像中确定基准图像，并确定所述多帧图像中非基准图像相对所述基准图像的运动状态，所述非基准图像为所述多帧图像中不同于所述基准图像的图像，并响应于所述非基准图像中包括第一图像，将所述第一图像替换为所述基准图像，并基于替换后的基准图像进行图像融合，所述第一图像为运动状态为非静止状态的非基准图像。
7.一种实施方式中，所述图像融合方法还包括：响应于所述非基准图像中包括第二图像，基于所述第二图像进行图像融合，所述第二图像为运动状态为静止状态的非基准图像。
8.一种实施方式中，所述基于替换后的基准图像进行图像融合包括：
9.确定第一权重，所述第一权重为对应融合所述第一图像的权重；基于所述第一权重，融合所述替换后的基准图像。
10.一种实施方式中，所述确定所述多帧图像中非基准图像相对所述基准图像的运动状态包括：基于相同的块大小，对所述基准图像以及所述多帧图像中的非基准图像进行分块；针对所述非基准图像中的各图像块，分别确定相对所述基准图像在同一位置处图像块的运动状态；所述第一图像为所述非基准图像中运动状态为非静止状态的第一图像块；将所述第一图像替换为所述基准图像，并基于替换后的基准图像进行图像融合，包括：将所述第一图像块替换为第一基准图像块，并基于替换后的第一基准图像块进行图像融合，所述第一基准图像块为与所述第一图像块同一位置处的图像块。
11.一种实施方式中，所述确定待进行图像融合的多帧图像，包括：将滤波强度在预设滤波强度范围内的多帧图像，确定为待进行图像融合的多帧图像。
12.根据本公开实施例的第二方面，提供一种图像融合装置，包括：
13.获取单元，用于确定待进行图像融合的多帧图像；融合单元，用于在所述多帧图像中确定基准图像，并确定所述多帧图像中非基准图像相对所述基准图像的运动状态，所述非基准图像为所述多帧图像中不同于所述基准图像的图像，并响应于所述非基准图像中包括第一图像，将所述第一图像替换为所述基准图像，并基于替换后的基准图像进行图像融合，所述第一图像为运动状态为非静止状态的非基准图像。
14.一种实施方式中，所述融合单元还用于：响应于所述非基准图像中包括第二图像，基于所述第二图像进行图像融合，所述第二图像为运动状态为静止状态的非基准图像。
15.一种实施方式中，所述融合单元采用如下方式对替换后的基准图像进行图像融合：确定第一权重，所述第一权重为对应融合所述第一图像的权重；基于所述第一权重，融合所述替换后的基准图像。
16.一种实施方式中，所述融合单元采用如下方式确定所述多帧图像中非基准图像相对所述基准图像的运动状态：
17.基于相同的块大小，对所述基准图像以及所述多帧图像中的非基准图像进行分块；针对所述非基准图像中的各图像块，分别确定相对所述基准图像在同一位置处图像块的运动状态；所述第一图像为所述非基准图像中运动状态为非静止状态的第一图像块；将所述第一图像替换为所述基准图像，并基于替换后的基准图像进行图像融合，包括：将所述第一图像块替换为第一基准图像块，并基于替换后的第一基准图像块进行图像融合，所述第一基准图像块为与所述第一图像块同一位置处的图像块。
18.一种实施方式中，所述获取单元采用如下方式确定待进行图像融合的多帧图像：将滤波强度在预设滤波强度范围内的多帧图像，确定为待进行图像融合的多帧图像。
19.根据本公开实施例第三方面，提供一种图像融合装置，包括：
20.处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：执行第一方面或者第一方面任意一种实施方式中所述的图像融合方法。
21.根据本公开实施例第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行第一方面或者第一方面任意一种实施方式中所述的图像融合方法。
22.本公开的实施例提供的技术方案可以包括以下有益效果：将多帧图像中确定基准图像，并确定非基准图像相对基准图像的运动状态。在进行多帧图像融合过程中，以基准图像替换运动状态为非静止状态的非基准图像，可以改善融合非静止状态图像产生鬼影的问题。
23.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
24.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
25.图1是根据一示例性实施例示出的一种图像融合的流程图。
26.图2是根据一示例性实施例示出的一种图像融合方法的流程图。
27.图3是根据一示例性实施例示出的一种确定多帧图像中非基准图像相对基准图像
运动状态的流程图。
28.图4是根据本公开一示例性实施例示出的一种多帧图像块的图像块划分示意图。
29.图5是根据一示例性实施例示出的一种图像融合装置框图。
30.图6是根据一示例性实施例示出的一种用于图像融合的装置的框图。
具体实施方式
31.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
32.本公开实施例提供的图像融合方法可以应用于多帧降噪(multi-frame noise reduction，mfnr)的图像处理场景中。例如，本公开实施例可以应用于包括相机等图像采集装置的图像处理设备(例如终端)通过多帧降噪提高图片信噪比，使得采集的图像细节更丰富，噪声更小的应用场景中。例如，可以是终端中的相机进行图片拍摄或者视频录制的场景。
33.相关技术中，采用帧间叠加的方式进行图像融合，从而得到优化的图像。例如，利用多帧图像的相同位置像素点的融合，使多个像素点共同完成原来只要一个像素点来完成的任务，并借此来得到每个位置最清晰的像素点，最终复原修复的图像。多帧降噪(multi-frame noise reduction，mfnr)是将获得的原始图像文件进行运动检测，根据运动检测结果做图像融合以减小噪声，提高信噪比。例如，一种方案中，在获得的多帧图像中选出清晰度最高的一帧图像作为基准图像(也称为anchor帧)。并对多帧图像中除基准帧以外的其他帧进行运动状态检测。其中，运动状态检测过程相当于滤波过程。根据滤波强度(filter strength)可以将图像划分为局部运动(local motion)图像部分、完全运动图像部分，以及不能完全判断为局部运动图像部分。例如，对于0《filter strength《63的图像部分可以理解为是不能完全判断为局部运动图像部分。
34.相关技术中，针对多帧图像中局部运动图像部分降噪的处理方法是基于运动检测结果，根据局部运动程度，进行图像融合。对于可以完全判断为局部运动图像部分，不做图像融合，因此不会产生鬼影。但是对于不能完全判断为局部运动图像部分，以anchor帧作为最清晰的基准图像，与其他帧图像进行图像融合。此种图像融合方式，可能产生鬼影，并且anchor帧作为最清晰的帧，与其他帧进行图像融合的效果差于将anchor代替这些帧做图像融合。
35.有鉴于此，本公开实施例提供一种图像融合方法，在该图像融合方法中，进行图像融合时，针对不能完全判断为局部运动图像部分，用基准图像替换不能完全判断为局部运动图像部分中的非静止帧图像，改善多帧图像中非静止帧图像在图像融合过程中产生的鬼影问题。
36.图1是根据一示例性实施例示出的一种图像融合的流程图。如图1所示，本公开实施例提供的图像融合方法可应用于终端，包括以下步骤。
37.在步骤s11中，确定待进行图像融合的多帧图像。
38.本公开实施例中的待进行图像融合的多帧图像，例如可以是通过设置曝光时长对
运动物体拍摄的连续帧图像，当然也可以是已拍摄完成能够进行图像融合的多帧图像。
39.其中，本公开实施例一实施方案中，可以基于实际需求确定图像融合所需的多帧图像。其中，一方面，图像融合所需的多帧图像可以是基于拍照需求确定的需要合成图片的多帧图像。另一方面，图像融合所需的多帧图像可以是基于视频播放需求确定的需要融合的视频的多帧图像。其中，需要融合后的图像具有图像增益(gain)值。故，本公开实施例中可以根据gain值合理确定不同gain值下的多帧图像的数量。
40.本公开实施例中，可以合理设置图像采集装置进行图像拍摄的自动曝光(automatic exposure，ae)参数，捕获用于合成所需图片的多帧图像。比如，可以通过相机中自动曝光设置来调整曝光时间、快门速度、相机感度等参数，得到满足gain值的多帧图像。控制设置了上述自动曝光参数的图像采集设备，待对焦完成以及ae收敛完成后进行拍照，其中拍照的场景为有运动物体的场景。例如可以拍摄得到含有亮度值、曝光值等meta信息的原始图像文件(raw图)。
41.其中，得到的n张图像可以是能够进行图像融合的任意张图像。可以理解的是，得到的n张图像可以是基于连续时间窗口拍摄的图像，也可以是非连续时间窗口的图像，原始图像文件中包含的meta信息也可以是捕获范围内的任意亮度值和/或曝光值。
42.进一步可以理解的是，本公开实施例中待进行图像融合的多帧图像可以理解为是需要进行图像融合处理的图像。
43.一种实施方式中，本公开实施例可以将滤波强度在预设滤波强度范围内的多帧图像，确定为待进行图像融合的多帧图像。比如可以是传统技术中涉及的不能完全判断为局部运动图像部分的图像。
44.一示例中，本公开实施例中，基于mfnr算法，还可以通过对滤波强度的调整来达到筛选照片运动状态的目的。例如，算法将滤波强度小于0的图像判定为完全运动图像，将滤波强度范围在0到63之间的图像判定为非静止图像，将滤波强度范围大于63的图像判定为完全静止图像。并基于对于完全判断为局部运动的图像，不进行图像融合，并对不能完全判断为局部运动的图像进行图像融合。其中，本公开实施例中，将滤波强度在预设滤波强度范围内的多帧图像，确定为待进行图像融合的多帧图像。
45.在步骤s12中，在多帧图像中确定基准图像，并确定多帧图像中非基准图像相对基准图像的运动状态。
46.本公开实施例中在多帧图像中确定基准图像时，可以基于图像的锐度进行选择，比如选择多帧图像中锐度最高的图像作为基准图像。其中，锐度，有时也叫“清晰度”，它是反映图像平面清晰度和图像边缘锐利程度的一个指标。
47.本公开实施例中，在确定了基准图像后，可以确定待进行图像融合的多帧图像中的非基准图像相对基准图像的运动状态。其中，非基准图像可以理解为是待进行图像融合的多帧图像中除基准图像以外的其他帧图像。或者非基准图像也可以理解为是待进行图像融合的多帧图像中不同于基准图像的图像。
48.本公开实施例中，确定非基准图像的运动状态时，可以将待进行图像融合的多帧图像中的非基准图像的运动状态划分为静止状态和非静止状态。例如，本公开实施例中可以将0《filter strength《63的图像的运动状态设置为非静止状态。针对filter strength≥63的图像的运动状态设置为静止状态。
49.本公开实施例中为描述方便，将运动状态为非静止状态的非基准图像称为第一图像，将运动状态为静止状态的非基准图像称为第二图像。
50.换言之，待进行图像融合的多帧图像中非基准图像包含的运动状态包括静止状态和/或非静止状态。非基准图像为多帧图像中不同于基准图像的图像，并包括第一图像(运动状态为非静止状态的非基准图像)和第二图像(运动状态为静止状态的非基准图像)。
51.在步骤s13中，响应于非基准图像中包括第一图像，将第一图像替换为基准图像，并基于替换后的基准图像进行图像融合。
52.本公开实施例提供的图像融合方法，针对待进行图像融合的多帧图像中的第一图像替换为基准图像后进行图像融合，改善多帧图像中非静止帧图像在图像融合过程中产生的鬼影问题。
53.本公开实施例提供的图像融合方法中，响应于非基准图像中包括第二图像，则直接将第二图像进行图像融合。
54.图2是根据一示例性实施例示出的一种图像融合方法的流程图。如图2所示，本公开实施例提供的图像融合方法中的步骤s21、步骤s22和步骤s23的实施过程与图1所示的执行方法相似，在此不再赘述。
55.在步骤s24中，响应于非基准图像中包括第二图像，基于第二图像进行图像融合。
56.其中，由于第二图像为运动状态为静止状态的非基准图像，故，在进行图像融合时，该处于静止状态的非基准图像不会产生鬼影问题。
57.本公开实施例以下结合实际应用对上述实施例中涉及的图像融合方法进行说明。
58.一种实施方式中，针对多帧图像中的图像进行图像融合时，可以针对多帧图像中的每一帧图像赋予归一化的权重值，并在图像融合时，针对融合的图像赋予该图像对应的权重。一示例中，多帧图像中包括n帧图像，n帧图像分别对应的权重为n1、n2
……
nn。其中，n1、n2
……
nn之和为1。在进行图像融合时，第1帧赋予n1的权重值，第2帧赋予n2的权重值进行图像融合。第1帧与第2帧融合后得到的帧，再与赋予n3权重值的第3帧进行融合。
……
以此类推，直至完成第n帧的融合。
59.本公开实施例提供的图像融合方法中，将第一图像替换为基准图像，并基于替换后的基准图像进行图像融合时，可以保持第一图像原有的权重值不变进行帧间的图像融合。
60.一示例中，本公开实施例中，将第一图像对应的权重值称为第一权重。其中，本公开实施例中，将基准图像替换第一图像后进行图像融合对应的权重设置为第一权重，并赋予替换后的基准图像以第一权重进行图像融合。可以理解的是，图像的替换并不会改变相应位置帧图像原本的权重。其中，一示例中，假设将基准图像设置为a，基准图像所对应的权重值设置为a，将多帧图像中某一帧对应的第一图像设置为b，第一图像b所对应的权重值设置为b。对于被基准图像替换后的第一图像位置处进行图像融合时，是以图像值a和权重值b带入算法，并参与算法的图像融合的过程。或者，也可以理解为是对图像值a中的每个像素点都赋予了b的权重值。
61.本公开实施例提供的图像融合方法，利用基准图像替换第一图像，参与图像融合，并保持对应权重不变，可以改善图像融合过程中的干扰成分，并提高了复原图像的清晰度。
62.一示例中，本公开实施例中，将第二图像对应的权重值称为第二权重。其中，本公
开实施例中，可以确定对应第二图像的权重为第二权重，并赋予第二图像以第二权重进行图像融合。
63.其中，本公开实施例一实施方案中，可以对待处理图像进行图像融合。例如，本公开实施例中的多帧图像可以是任意数量的图像。一示例中，假设存在基准图像、第一图像和第二图像。基于帧间叠加算法检测，确定基准图像，并将基准帧图像设置为a，基准帧图像所对应的权重值设置为a，第一图像设置为b，第一图像所对应的权重值设置为b，第二图像设置为c，这一帧的第一图像所对应的权重值设置为c。在进行图像融合时，可以是三帧图像分别对应赋予权重进行图像融合，例如：采用a*a、b*a、c*c的权重平衡来进行图像融合。
64.本公开实施例提供的图像融合方法，不但保留了mfnr算法中多帧叠加优化图像的结果，还通过筛选并替换非静止图像，得到了优化效果更好的图像，且改善因图像融合产生鬼影的问题。
65.本公开实施例中在进行图像融合过程中，可以对每一帧图像进行图像块划分，基于图像块进行图像融合，提高图像融合处理效率。
66.本公开实施例基于图像块进行图像融合时，可以确定图像块之间的运动状态，并基于图像块的运动状态进行图像融合。
67.图3是根据一示例性实施例示出的一种确定多帧图像中非基准图像相对基准图像运动状态的流程图。参阅图3所示，确定非基准图像运动状态包括以下步骤：
68.在步骤s121中，基于相同的块大小，对基准图像以及多帧图像中的非基准图像进行分块。
69.本公开实施例中，可以通过设置截取图像块的长和宽，得到所需大小的图像块。其中，本公开实施例一实施方案中，可以将图像块的大小和块数设置为任意值，当分块数为1时，相当于图像没有分块。图像块的越小，处理图像块中像素的融合可以越精细，达到的效果越好。
70.一示例中，本公开实施例中，基于相同的块大小，对基准图像以及多帧图像中的非基准图像进行分块。
71.图4是根据本公开一示例性实施例示出的一种多帧图像块的图像块划分示意图。
72.参阅图4所示，本公开实施例中可以对多帧图像中的每一帧图像采用相同的图像块大小进行图像块分割。例如，图4中，将第1帧、第2帧
……
第n帧中的每一帧划分为m*n个图像块。其中，每一帧中包括的图像块，在相同位置具有相同的大小。
73.其中，可以理解的是，本公开实施例中划分的图像块可以是任意形状、任意数量和/或任意大小的图像块，本公开实施例对此并不作限定。
74.在步骤s122中，针对非基准图像中的各图像块，分别确定相对基准图像在同一位置处图像块的运动状态。
75.其中，第一图像为非基准图像中运动状态为非静止状态的第一图像块。
76.本公开实施例一种实施方式中，可以基于各图像块运动状态，对各图像块内的全部像素点赋予相同的运动状态标记。
77.可以理解的是，本公开实施例中涉及的图像的运动状态可以是包括图像分割的多个图像块的运动状态。同一图像中的不同图像块的运动状态可以相同，也可以不同。
78.在步骤s123中，将第一图像块替换为第一基准图像块，并基于替换后的第一基准
图像块进行图像融合，第一基准图像块为与第一图像块同一位置处的图像块。
79.本公开实施例中，在进行图像融合时，针对同一位置处的图像块进行图像融合。继续参阅图4所示，假设第1帧中a1位置处的图像块为基准图像块，则在进行图像融合时，针对第1帧、第2帧
……
第n帧中的每一帧中的a1位置处的图像块进行图像融合。一示例中，假设第2帧中a1位置处的图像块为第一图像块，则可将第2帧中a1位置处的第一图像块替换为第1帧中a1位置处的基准图像块后，按照第2帧中a1位置处的第一图像块的权重值，将第2帧中a1位置处的基准图像块，与第1帧中a1位置处的基准图像块进行图像融合。
80.本公开实施例提供的图像融合方法，在多帧图像中确定基准图像，并确定非基准图像相对基准图像的运动状态。在进行多帧图像融合过程中，以基准图像替换运动状态为非静止状态的非基准图像，可以改善融合非静止状态图像产生的鬼影问题。
81.基于相同的构思，本公开实施例还提供一种图像融合装置。
82.可以理解的是，本公开实施例提供的图像融合装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。
83.图5是根据一示例性实施例示出的一种图像融合装置框图。参照图5，该图像融合装置100应用于图像融合设备，例如包括相机的移动终端。其中，图像融合装置100包括获取单元101和融合单元102。
84.获取单元101，用于确定待进行图像融合的多帧图像。融合单元102，用于在多帧图像中确定基准图像，并确定多帧图像中非基准图像相对基准图像的运动状态，非基准图像为多帧图像中不同于基准图像的图像，并响应于非基准图像中包括第一图像，将第一图像替换为基准图像，并基于替换后的基准图像进行图像融合，第一图像为运动状态为非静止状态的非基准图像。
85.一种实施方式中，融合单元102还用于：响应于非基准图像中包括第二图像，基于第二图像进行图像融合，第二图像为运动状态为静止状态的非基准图像。
86.一种实施方式中，融合单元102采用如下方式对替换后的基准图像进行图像融合：确定第一权重，第一权重为对应融合第一图像的权重。基于第一权重，融合替换后的基准图像。
87.一种实施方式中，融合单元102采用如下方式确定多帧图像中非基准图像相对基准图像的运动状态：基于相同的块大小，对基准图像以及多帧图像中的非基准图像进行分块。针对非基准图像中的各图像块，分别确定相对基准图像在同一位置处图像块的运动状态。第一图像为非基准图像中运动状态为非静止状态的第一图像块。将第一图像替换为基准图像，并基于替换后的基准图像进行图像融合，包括：将第一图像块替换为第一基准图像块，并基于替换后的第一基准图像块进行图像融合，第一基准图像块为与第一图像块同一位置处的图像块。
88.一种实施方式中，获取单元101采用如下方式确定待进行图像融合的多帧图像。将滤波强度在预设滤波强度范围内的多帧图像，确定为待进行图像融合的多帧图像。
89.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
90.图6是根据一示例性实施例示出的一种用于图像融合的装置的框图。例如，装置200可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
91.参照图6，装置200可以包括以下一个或多个组件：处理组件202，存储器204，电力组件206，多媒体组件208，音频组件210，输入/输出(i/o)接口212，传感器组件214，以及通信组件216。
92.处理组件202通常控制装置200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件202可以包括一个或多个处理器220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件202可以包括一个或多个模块，便于处理组件202和其他组件之间的交互。例如，处理组件202可以包括多媒体模块，以方便多媒体组件208和处理组件202之间的交互。
93.存储器204被配置为存储各种类型的数据以支持在装置200的操作。这些数据的示例包括用于在装置200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
94.电力组件206为装置200的各种组件提供电力。电力组件206可以包括电源管理系统，一个或多个电源，及其他与为装置200生成、管理和分配电力相关联的组件。
95.多媒体组件208包括在所述装置200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件208包括一个前置摄像头和/或后置摄像头。当装置200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
96.音频组件210被配置为输出和/或输入音频信号。例如，音频组件210包括一个麦克风(mic)，当装置200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中，音频组件210还包括一个扬声器，用于输出音频信号。
97.i/o接口212为处理组件202和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
98.传感器组件214包括一个或多个传感器，用于为装置200提供各个方面的状态评估。例如，传感器组件214可以检测到装置200的打开/关闭状态，组件的相对定位，例如所述组件为装置200的显示器和小键盘，传感器组件214还可以检测装置200或装置200一个组件
的位置改变，用户与装置200接触的存在或不存在，装置200方位或加速/减速和装置200的温度变化。传感器组件214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件214还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
99.通信组件216被配置为便于装置200和其他设备之间有线或无线方式的通信。装置200可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件216还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
100.在示例性实施例中，装置200可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
101.在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器204，上述指令可由装置200的处理器220执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
102.可以理解的是，本公开中“多个”是指两个或两个以上，其它量词与之类似。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
103.进一步可以理解的是，术语“第一”、“第二”等用于描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
104.进一步可以理解的是，除非有特殊说明，“连接”包括两者之间不存在其他构件的直接连接，也包括两者之间存在其他元件的间接连接。
105.进一步可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
106.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
107.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。