基于多摄像头的图像内容屏蔽方法和装置与流程

1.本技术涉及终端领域，尤其涉及基于多摄像头的图像内容屏蔽方法和装置。


背景技术：

2.目前，用户使用手机等电子设备进行自拍的需求旺盛，因此还带来了自拍杆的出现。自拍杆有效地解决了自拍时构图受限的问题，尤其是在户外运动、多人自拍或者全身自拍的场景下。但是，使用自拍杆拍照也产生了新的问题：自拍杆出现在自拍照片中，影响用户体验。


技术实现要素：

3.本技术提供了基于多摄像头的图像内容屏蔽方法和装置。该方法可应用在手机、平板电脑等具备拍摄能力的电子设备上。实施上述方法，手机、平板电脑等电子设备可以对两个或两个以上的摄像头采集具有视觉差的一组图像进行拼接，从而得到屏蔽特定图像内容的图像，以提升用户的拍摄体验。
4.第一方面，本技术提供了一种图像内容屏蔽方法，该方法应用于具备摄像头的电子设备，该方法包括：获取一组图像帧，一组图像帧至少包括第一图像、第二图像，第一图像和第二图像分别是电子设备的第一摄像头和第二摄像头在同一时刻采集的，第一摄像头和第二摄像头同时为电子设备的前置摄像头或后置摄像头；利用第二图像中的图像内容替换第一图像中的第一物体得到第三图像；显示第三图像。
5.实施第一方面提供的方法，电子设备可以同时使用多个前置摄像头或后置摄像头采集具有视觉差的一组图像帧。多个前置摄像头或后置摄像头在同一时刻采集的图像天然的具有视觉差，使用由于视觉差产生的图像对待屏蔽内容进行填补可以尽可能保留被待屏蔽内容遮挡的图像特征，提升屏蔽效果。同时，利用视觉差图像进行拼接来屏蔽某些图像内容可以降低计算量，提升处理效率。
6.结合第一方面的实施例，在一些实施例中，利用第二图像中的图像内容替换第一图像中的第一物体得到第三图像，具体包括：利用第二图像中第一区域的图像内容替换第一图像中第二区域的图像内容得到第三图像，第二区域为第一图像中显示第一物体的区域，第一区域与第二区域对应。
7.结合第一方面的实施例，在一些实施例中，第一区域与第二区域对应，包括：第一区域与第二区域大小相同，且位置相同；或，第一区域大于第二区域，第一区域的中心位置与第二区域的中心位置相同，且第一区域覆盖第二区域。
8.实施上述实施例提供的方法，第一区域可以刚好与第一物体对应的区域相同，即与第二区域相同，这样，电子设备可以使用第一区域的图像内容填补待屏蔽的第一物体。第一区域还可以比第二区域大，这样，第一区域不仅可以填补第二区域中的第一物体，还可避免屏蔽不完全引起的边缘锯齿现象，提升屏蔽效果。
9.结合第一方面的实施例，在一些实施例中，在获取一组图像帧之前，该方法还包
括：检测到第一用户操作。
10.实施上述实施例提供的方法，电子设备可以检测用户的操作，响应于该操作，电子设备可执行本技术提供的图像屏蔽算法。这样，电子设备可以根据用户需求执行该图像屏蔽算法，提升图像屏蔽功能应用的针对性，降低电子设备的无效计算。
11.结合第一方面的实施例，在一些实施例中，第一用户操作为：图像拍摄操作。
12.实施上述实施例提供的方法，电子设备可在检测到用户的拍摄操作后，再实施本技术提供的图像内容屏蔽方法。
13.结合第一方面的实施例，在一些实施例中，图像拍摄操作包括：电子设备检测到的图像拍摄操作，和/或，第二设备检测到的图像拍摄操作；电子设备检测到的图像拍摄操作包括：作用于拍摄控件的操作，和，作用在按键上的操作，拍摄控件显示在电子设备提供的用户界面上，第二设备与第一设备相连。
14.结合第一方面的实施例，在一些实施例中，第二设备在第一图像中的成像为第一物体。
15.结合第一方面的实施例，在一些实施例中，显示第三图像，具体包括：响应于第一用户操作，保存第三图像；检测到第二用户操作，显示第三图像或第三图像的缩略图。
16.实施上述实施例提供的方法，响应于第一用户操作，电子设备可保存第三图像，然后，电子设备可以检测第二用户操作，响应于该操作，电子设备可显示该第三图像。
17.结合第一方面的实施例，在一些实施例中，第二用户操作包括：在图库应用中显示第三图像的操作，或，第三方应用程序调用第三图像的操作。
18.实施上述实施例提供的方法，在浏览图库应用程序的场景下，电子设备可显示该第三图像；在调用图库中存储的图像发送给其他电子设备的过程中，电子设备可显示该第三图像。
19.结合第一方面的实施例，在一些实施例中，第一用户操作为：打开拍摄预览界面的操作。
20.实施上述实施例提供的方法，电子设备可在检测到用户的调用摄像头进行拍摄的操作后，就实施本技术提供的图像内容屏蔽方法。
21.结合第一方面的实施例，在一些实施例中，打开拍摄预览界面的操作包括：从第一应用程序图标进入拍摄预览界面的操作，第一应用程序为电子设备提供的应用程序；或，从第三方应用程序提供的第一控件进入拍摄预览界面的操作。
22.实施上述实施例提供的方法，在检测到用户打开相机应用程序的场景下，电子设备可实施本技术提供的图像内容屏蔽方法。在运行其他应用程序的场景下，在检测到调用电子设备的摄像头后，电子设备可实施本技术提供的图像内容屏蔽方法。
23.结合第一方面的实施例，在一些实施例中，在检测到第一用户操作之后，该方法还包括：显示拍摄预览界面，拍摄预览界面包括预览窗，预览窗用于实时显示电子设备的摄像头采集的图像；显示第三图像，具体包括：在预览窗中显示第三图像。
24.实施上述实施例提供的方法，电子设备可以在显示拍摄预览界面时，就在预览窗显示屏蔽处理后的图像。这样，用户在拍摄之前就可以看到屏蔽处理后的拍摄效果。
25.结合第一方面的实施例，在一些实施例中，第二设备为自拍杆，第一物体为图像中的自拍杆。
26.实施上述实施例提供的方法，电子设备可以在预览窗或拍摄的照片或录像中屏蔽图像中出现的自拍杆，从而提升用户的拍摄体验。
27.结合第一方面的实施例，在一些实施例中，自拍杆包括杆体和夹持部，第一物体为图像中的自拍杆，具体包括：第一物体为图像中的自拍杆的杆体。
28.第二方面，本技术提供了一种电子设备，该电子设备包括一个或多个处理器和一个或多个存储器；其中，一个或多个存储器与一个或多个处理器耦合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，使得电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
29.第三方面，本技术提供一种计算机可读存储介质，包括指令，当上述指令在电子设备上运行时，使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
30.第四方面，本技术提供一种包含指令的计算机程序产品，当上述计算机程序产品在电子设备上运行时，使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
31.可以理解地，上述第二方面提供的电子设备、第三方面提供的计算机存储介质、第四方面提供的计算机程序产品均用于执行本技术所提供的方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。
附图说明
32.图1是本技术实施例提供的电子设备的示意图；
33.图2是本技术实施例提供的一组具有视觉差的图像；
34.图3a
‑
图3c是本技术实施例提供的一组用户界面；
35.图4是本技术实施例提供的一种屏蔽图像内容的流程图；
36.图5是本技术实施例提供的电子设备获取一组具有视觉差的图像的示意图；
37.图6a是本技术实施例提供的电子设备识别图像中自拍杆的示意图；
38.图6b、图6c是本技术实施例提供的编码器和解码器的结构图；
39.图7是本技术实施例提供的一种屏蔽图像内容的示意图；
40.图8是本技术实施例提供的电子设备的硬件结构图。
具体实施方式
41.本技术以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本技术的限制。
42.随着手机、平板电脑等移动智能终端拍摄能力的提升，尤其是景深摄像头(depth of field，dof)、tof(time of flight)摄像头等具备深感能力(deep ability)的摄像头在移动智能终端上的应用，手机、平板电脑等移动智能终端已经可以拍摄包含深度信息的图像，例如rgbd类型的图像。上述具备深感能力的摄像头可称为深感摄像头(deep sense camera)。
43.深感摄像头拍摄的图像可包括图像中物体的深度信息。图像处理模块可根据上述
深度信息生成自拍杆的3d模型，进而，确定自拍图像中的自拍杆区域。然后，图像处理模块可对自拍杆区域进行屏蔽处理，从而使得用户得到的图像中不出现自拍杆，提升用户的拍摄体验。
44.然而，使用深感摄像头屏蔽自拍杆的方法需要付出的计算成本较大。特别的，若将该方法应用在视频类型的图像处理中，电子设备的计算量增长显著。相应地，计算的时间成本也明显增加。对用户而言，较长的计算时间极其影响用户的使用体验。
45.因此，为了避免自拍杆等用户不期望出现在图中的内容出现在照片或视频中影响用户拍摄体验，同时，降低图像处理的计算量，降低计算的时间成本，本技术实施例提供了一种基于多摄像头的图像内容屏蔽方法。该方法可应用在手机、平板电脑等具备拍摄能力的电子设备上。
46.实施该方法，手机、平板电脑等电子设备(电子设备100)可以通过两个或两个以上的摄像头采集图像。由于不同摄像头的空间位置不同，因此，不同摄像头采集的同一时刻的图像具有视觉差。进而，电子设备100可基于上述视觉差，对不同摄像头采集的图像进行剪切和替换，从而屏蔽图像中用户不期望出现的部分内容，提升用户的拍摄体验。
47.同时，由于被处理的图像为普通的不包括深度信息的图像，因此，电子设备100进行屏蔽处理的计算量显著减少，时间成本也相应地显著降低。因此，该方法在视频类型的图像处理中也适用。
48.以手机a为电子设备100为例，图1示例性示出了手机a的示意图。
49.如图1所示，手机a包括两个摄像头，分别为cam1和cam2。上述cam1和cam2可以为手机a的一组前置摄像头，或一组后置摄像头。
50.在本技术实施例中，cam1和cam2可以为标准镜头。在启用前置摄像头进行拍摄时，cam1和cam2均可采集图像，并产生时序的图像帧流。cam1生成的图像帧流可称为stream1；cam2生成的图像帧流可称为stream2。当cam1和cam2为标准镜头时，cam1和cam2采集的图像为rgb类型的图像。
51.优选的，上述cam1和cam2为彩色摄像头。不限于彩色摄像头，cam1和cam2还可以是黑白摄像头。例如，cam1可以为彩色摄像头，cam2可以为黑白摄像头；或者cam1可以为黑白摄像头，cam2可以为彩色摄像头。此外，不限于cam1和cam2，手机a还可包括更多的摄像头。这里，更多的摄像头包括：更多的前置摄像头，和/或，更多的后置摄像头。进一步的，上述更多的摄像头可以为：标准镜头、广角镜头、长焦镜头、潜望式变焦镜头、景深镜头等。本技术实施例对此不做限制。
52.相应地，对于不同类型的摄像头，该摄像头采集的图像包括的信息不同。例如，当手机a还包括景深镜头时，手机a通过景深镜头可获取到rgbd类型的图像。rgbd类型的图像可记录有图像中物体的深度信息。
53.cam1和cam2之间间距为d。基于间距d，cam1和cam2采集的图像存在视觉差，参考双目视觉原理。图2示例性示出了不同摄像头采集的图像存在视觉差的示意图。
54.图2包括(左)图和(右)图。(左)图为cam1采集的一帧图像；(右)图为同一时刻cam2采集的一帧图像。(左)图和(右)图中的内容均包括自拍杆10、人物20。
55.在(左)图中，自拍杆10在图像中心偏左的位置，遮盖了用户的右腿。在(右)图中，自拍杆10在图像的中心位置，在用户的左右腿之间。上述自拍杆10在(左)图和(右)图中处
于不同位置即体现了：不同摄像头在同一时刻采集的图像存在视觉差。
56.基于上述视觉差，在获取多帧具有视觉差的图像后，手机a可以对上述多帧具有视觉差的图像进行拼接，将上述多帧具有视觉差的图像融合为一张屏蔽了自拍杆的图像。上述融合后的图像可称为输出图像。在得到输出图像后，手机a可以将该图像存储下来，供用户进一步操作。上述操作包括编辑、浏览等等。
57.可以理解的，当间距d较小时，即cam1和cam2靠近，cam1和cam2的取景范围相差很小。这时，cam1和cam2在同一时刻采集的图像的视觉差较小。当间距d较大时，cam1和cam2的取景范围相差较大。这时，cam1和cam2在同一时刻采集的图像的视觉差较大。
58.这也就是说，对于手机a来说，当手机a中安装的cam1和cam2具有较大的间距时，其采集的图像之间的视觉差更显著。因此，基于视觉差屏蔽自拍杆的效果更好。
59.在其他实施例中，当手机a具备更多的摄像头时，手机a可以获取更多的图像帧(同一时刻的)，且上述图像帧两两之间具有视觉差。这样，手机a可以对上述更多的图像进行融合，从而提升屏蔽效果。
60.可以理解的，当上述cam1和cam2同为前置摄像头时，这里的更多的摄像头是指更多的前置摄像头；更多的图像帧是指上述更多的前置摄像头采集的图像。反之，当上述cam1和cam2同为后置摄像头时，这里的更多的摄像头是指更多的后置摄像头；更多的图像帧是指上述更多的后置摄像头采集的图像。
61.不限于手机，电子设备100还包括平板电脑、智能手表、智能手环、运动相机、增强现实(augmented reality，ar)设备、虚拟现实(virtual reality，vr)设备等具备拍摄能力的便携式手持设备。电子设备100的示例性实施例包括但不限于搭载的便携式手持设备。电子设备100的示例性实施例包括但不限于搭载linux或者其它操作系统的便携式电子设备。
62.图3a
‑
图3c示例性示出了一组拍照场景下的用户界面。下面，结合图3a
‑
图3c所示的用户界面，介绍实施本技术实施例提供的基于多摄像头的图像内容屏蔽方法的场景。在图3a
‑
图3c所述的实施例中，拍摄场景为自拍场景，用户期望屏蔽的图像内容为自拍杆。
63.电子设备100可检测到调用摄像头显示拍摄预览界面的用户操作，响应于该操作，电子设备100可显示图3a所示的拍摄预览界面。
64.上述调用摄像头显示拍摄预览界面的用户操作包括：作用于电子设备100自带的相机应用程序图标的操作，和作用于第三方应用提供的拍摄控件的操作。上述第三方应用提供的拍摄控件例如提供的拍照控件、视频通话控件等等。
65.图3a示出了使用电子设备100显示拍摄预览界面的用户界面31。如图3a所示，用户界面31包括预览窗311、模式栏312、拍摄按钮313、图像预览窗314。
66.预览窗311可用于实时显示摄像头采集的图像。这里，在预览窗311显示的图像可称为原始图像。可以理解的原始图像也经过了图像处理模块的一些基础处理，例如色温校准、线性纠正、噪声去除、坏点去除、内插、自动曝光控制等。但是，上述基础处理操作均为光信号转变为电信号并在手机等电子设备上成像所必须经过的处理。因此，在本技术实施例中，经过上述基础的图像处理并在预览窗311中显示的图像可称为原始图像。
67.模式栏312可用于选择拍摄模式。上述拍摄模式包括：夜景模块、人像模式、拍照模式、录像模式、专业模式等等。在图3a
‑
图3c示出的拍照场景下的用户界面中，电子设备100正处理拍照模式中。
68.拍摄按钮313可用于接收用户拍摄照片的操作。当检测到控制电子设备100拍摄的用户操作时，响应于该操作，电子设备100可确定此时预览窗311中显示的图像帧为拍摄图像。
69.在确定预览窗311中显示的图像帧为拍摄图像后，电子设备100可将该拍摄图像存储至指定的存储空间。然后，电子设备100可在图像预览窗314中显示上述拍摄图片的缩略图。同时，电子设备100可接收作用于图像预览窗314的用户操作，为用户提供浏览拍摄图片的用户操作。
70.用户界面31还可包括其他控件，例如，区域315提供的多个用户调节拍摄画面的控件、切换按钮316等。切换按钮316可用于变更电子设备100的摄像头(前置摄像头，或后置摄像头)。可以理解的，图3a所示的用户界面31为一种可能的用户界面，不应构成对本技术实施例的限制。
71.当检测到控制电子设备100拍摄的用户操作时，响应于该操作，电子设备100可显示图3b所示的用户界面32。在本技术实施例中，在用户使用自拍杆自拍的场景下，上述控制电子设备100拍摄的用户操作包括：作用于图3a中拍摄按钮313的操作，和作用在自拍杆上的拍摄按钮上的操作。
72.在其他实施例中，上述控制电子设备100拍摄还包括作用于电子设备100的实体按键的拍摄操作等等。
73.此时，图像预览窗314可显示前一时刻响应于用户拍摄操作生成的拍摄图片的缩略图。然后，电子设备100可检测到作用于图像预览窗314的用户操作。响应于该操作，电子设备100可显示图3c所示的用户界面33。
74.如图3c所示，用户界面33为电子设备100上展示拍摄的照片的用户界面。用户界面33包括区域331。区域331可用于显示用户拍摄的图像，包括单帧图像和多帧图像。其中，单帧图像例如照片；多帧图像包括视频、gif动图等。
75.此外，用户界面33还可包括其他控件，例如控件332、控件333等等。响应于作用在控件332的操作，手机a可显示相册中的更多图片。响应于作用在控件333的操作，手机a可显示区域331中的图像的详细信息。上述详细信息例如：拍摄时间、拍摄位置、图像大小(存储空间占用量)、分辨率以及存储路径等。本技术实施例对此不做限制。
76.对比预览窗311中的显示的图像和区域331中显示的拍摄后的图像，前者的图像中包括自拍杆10和人物20；后者的图仅包括人物20。这也就是说，在检测到用户的拍摄操作后，手机a可识别原始图像(即预览窗311中的显示的图像)中的自拍杆10，并将其从原始图像中去除，使得用户得到的照片中不包括自拍杆，进而提升用户的拍摄体验。
77.在其他实施例中，在检测到用户的拍摄操作并生成屏蔽处理后的图像后，电子设备100并不会立即显示上述屏蔽处理后的图像。此时，电子设备100可检测用户调用该图像的操作，例如在图库中显示上述图像的操作，将上述图像发送给其他电子设备的操作等等。在执行上述调用该图像的操作的过程中，电子设备100可显示该图像或该图像的缩略图。
78.不限于图3a
‑
图3c所述的拍照场景，本技术实施例提供的基于多摄像头的图像内容屏蔽方法还可应用于拍摄视频的场景。
79.在拍摄视频的场景下，在检测到用户开始拍摄的操作后，预览窗311中的显示的图像将会被手机a记录并存储(视频)。在拍摄完成后，手机a可在图像预览窗314显示拍摄的视
频的摘要。这里，视频摘要包括：视频的封面图片，和/或，指示视频类型图像文件的标志，例如时间条、播放图标。
80.在检测到作用于图像预览窗314的用户操作后，手机a可在区域331中显示上述用户拍摄的视频。在拍摄视频的过程中，预览窗311中显示的图像可包括自拍杆10和人物20。但是，手机a在区域331中显示的视频中，视频的图像可不包括自拍杆10。即，在拍摄完成后，手机a可识别视频中是否包括自拍杆10。若识别到自拍杆10，手机a可去除视频中的自拍杆10，然后将生成新的视频。在该视频中，视频中的内容不包括自拍杆10。
81.手机a在录制视频的过程中虽然拍摄到了自拍杆，但是生成的视频文件中并不包括自拍杆。这样，用户可以直接得到屏蔽了自拍的自拍视频。
82.进一步的，在拍照场景中，或者在拍摄视频的场景中，手机a还可在预览窗311显示处理后的图像。具体的，在摄像头采集图像后，手机a即可对摄像头采集的图像进行屏蔽处理。然后，将屏蔽后的图像显示在预览窗311中。这样，拍摄完成后生成的视频与拍摄的过程中预览窗311中显示的图像流在图像内容上完全一致，即用户在拍摄过程中便能从预览窗311中看到屏蔽自拍后的拍摄效果，从而提升用户的拍摄体验。
83.下面，结合图4介绍本技术实施例提供的基于多摄像头的图像内容屏蔽方法的流程。
84.s101:电子设备100检测到用户正在使用摄像头进行拍摄。
85.这里，使用摄像头进行拍摄包括使用前置摄像头进行自拍和使用后置摄像进行一般的拍摄。通常情况下，自拍杆出现在拍摄画面中往往发生在自拍场景中。
86.因此，下面主要以自拍场景为例，介绍电子设备100确定用户正在使用摄像头自拍的场景。在本技术实施例中，自拍场景包括具体包括拍照(图像帧)和拍视频(图像帧流)。
87.在自拍场景下，电子设备100的工作状态包括：运行具备拍摄功能的应用程序，且该应用正在调用电子设备100的前置摄像头。因此，电子设备100可通过前置摄像头是否处于工作状态判断用户是否正在自拍。
88.前置摄像头处于工作状态可以指示自拍场景，但不一定指示使用自拍杆自拍的场景。因此，进一步的，电子设备100还可检测是否有自拍杆接入。当检测到已连接自拍杆时，电子设备100可确认用户正在使用自拍杆自拍。
89.具体的，电子设备100上设置有外接接口；自拍杆包括控制拍照的按钮和连接线。上述外接接口包括3.5mm耳机接口、type
‑
c接口、lighting接口等。本技术实施例对此不做限制。自拍杆的连接线可与上述外接接口连接。然后，用户可通过自拍杆上的拍摄按钮控制电子设备100的拍摄任务。
90.因此，在开启前置摄像头的情况下，当检测外接接口连接有其他设备时，电子设备100可确定用户正在使用自拍杆自拍。参考图3a，当电子设备100显示图3a所示的用户界面31时，电子设备100可确定用户正在处于自拍的场景。
91.在自拍场景之外的其他拍摄场景下，电子设备100也可实施本技术实施例提供的基于多摄像头的图像内容屏蔽方法。例如，在拍摄单人照的场景中，用户可选择去除偶然出现在取景范围内的其他人物。这也就是说，拍摄的场景不限于自拍场景，也可以是使用后置摄像头的拍摄普通拍摄场景。其次，被屏蔽的对象不限于自拍杆，也可以是其他的预设的电子设备100可以识别的图像内容。本技术实施例对此不作限制。
92.s102:电子设备100获取具有视觉差的一组图像帧。
93.在识别到使用自拍杆自拍的场景后，电子设备100可启用本技术实施例提供的自拍杆屏蔽方法。这也就是说，实施本技术实施例提供的多摄像头的自拍杆屏蔽方法是可选的。
94.在一些实施例中，电子设备100可以在任何拍摄的场景均实施上述方法，识别并屏蔽图像中的自拍杆。在其他实施例中，电子设备100也可以对拍摄场景进行进一步的细化。在识别到预设的细化场景后，电子设备100再实施上述方法，识别并屏蔽图像中的自拍杆。例如，s101中介绍的确定用户处于自拍场景，或进一步的，确定用户处于使用自拍杆进行自拍的场景等等。
95.这样，电子设备100可以针对性的开启该功能，避免计算资源滥用。
96.在启用本技术实施例提供的多摄像头的自拍杆屏蔽方法后，电子设备100可获取同一时刻的不同摄像头采集的具有视觉差的一组图像帧。具体的，以自拍场景中，处于工作状态的cam1和cam2为例，图5示例性示出了cam1和cam2采集图像生成图像帧流的示意图。
97.如图5所示，stream1可表示cam1采集并生成的图像帧流；stream2可表示cam2采集并生成的图像帧流。stream1和stream2分别包括多个连续的图像帧，且stream1和stream2中的多个图像帧是时序对齐的。这里，时序对齐是指：stream1中的任意一张图像帧与stream2中对应位置上的图像帧的时间戳相同。即，stream1和stream2中相同位置上的图像帧分别为同一时刻的cam1和cam2采集的。
98.具体的，stream1包括图像帧t1、t2、t3、t4和t5；stream2包括图像帧s1、s2、s3、s4和s5。其中，t1和s1分别为cam1和cam2在同一时刻采集的图像。t2、t3、t4、t5和s2、s3、s4、s5的关系可参考上述t1和s1的介绍，这里不再赘述。
99.上述t1和s1可称为具有视觉差的一组图像帧。同样的，t2和s2、t3和s3、t4和s4、t5和s5分别为具有视觉差的一组图像帧。可以理解的，在使用更多摄像头拍摄时，电子设备100获取的具有视觉差的图像帧更多。
100.这样，电子设备100可以方便快捷的获取具有视觉差的图像，而不需要用户调整手机a的位置，或移动自身的位置。
101.由于在非运动的拍摄状态下，连续的两帧或多帧的图像内容一般不会出现较大的差距。因此，电子设备100获取的具有视觉差的图像还可包括不同时刻摄像头采集的图像。
102.在其他实施例中，电子设备100还可获取连续的多帧图像作为一组图像帧，然后对上述多帧图像进行融合，得到屏蔽自拍杆或其他图像内容的图像。
103.上述连续的多帧图像包括：stream1中连续的两帧或两帧以上的图像，和stream2中两帧或两帧以上的图像。具体的，参考图5，上述连续的多帧图像例如：t1、t2、s1、s2，或者包括：t1、t2、t3、s1、s2、s3。
104.这样，电子设备100可以获取更多的具有视觉差的图像，从而进一步提升屏蔽自拍杆等其他图像内容的屏蔽效果。
105.下面，以t1和s1这组图像帧为例，介绍电子设备100利用上述图像帧屏蔽图像中部分图像内容的方法。结合图2，t1的图像内容可以参考图2中的(左)图；s1的图像内容可以参考图2中的(右)图。
106.s103:电子设备100定位图像帧t1中的自拍杆。
107.在获取到t1和s1之后，电子设备100首先定位图像帧t1中的自拍杆。具体的，电子设备100可利用图像分割算法分别对t1进行图像分割，得到边缘图像(mask)。上述边缘图像是指：以图像内不同物体的边缘轮廓为边界，对图像内容进行标记区分的图像。
108.图6a示例性示出了电子设备100对图像帧t1进行分割的示意图。如图6a所示，左侧的图像帧为电子设备100从cam1采集的图像帧流中获取的图像帧t1(stream1中的图像帧t1)；右侧的图像可表示电子设备100对t1进行图像分割后得到的边缘图像(t1
‑
mask)。
109.利用图像分割算法，电子设备100可确定t1中包括的内容物，并确定各个内容物的边缘。以t1为例，t1中的图像内容包括：人物10和自拍杆20。通过图像分割，电子设备100得到的关于t1的边缘图像t1
‑
mask的内容物包括：自拍杆601、人像602和背景603。
110.在本技术实施例中，电子设备100使用的图像分割算法为图像语义分割算法。该算法包括自编码器(encoder)和自解码器(decoder)。上述自编码器和自解码器是基于深度神经网络建立的。其中，自编码器是一种数据压缩算法，可用于提取输入图像的特征。自解码器是自编码器的反向重构，是对深层特征空间的反向解码。
111.图6b示出了自编码器的结构。如图6b所示，自编码器包括前端60和后端61。前端60包括三层卷积网络(conv2)。后端由block1和block2联合组成。其中，block1包括两层卷积网络(conv2)，block2包括三层卷积网络(conv2)。
112.在图像分割这一过程中，电子设备100首先可将t1输入图像分割算法的自编码器，提取t1的图像特征。cam1和cam2生成的图像帧为三通道rgb图像。在经过自编码器的拆分重构和特征提取后，上述三通道rgb图像可转化为196通道的高维特征。
113.图6c示出了自解码器的结构。如图6c所示，自解码器包括前端62和后端63。前端62包括三层上采样模块(upsample)。上采样模块包括三层卷积网络(conv2)和一层线性插值(linear interpolation)。后端63为一层卷积网络(conv2)。
114.在通过自编码对t1进行重构后，电子设备100可将重构后t1输入到自解码器，对特征化的t1进行反向重构，从而将上述196通道的高维特征恢复成3通道的rgb图像，并在该图像中标记分割结果。
115.参考图6a，在将图像帧t1经过图像分割算法处理后，电子设备100可得到t1
‑
mask所示的边缘图像。t1
‑
mask中显示的图像内容包括：自拍杆601、人像602和背景603。进一步的，电子设备100就可以定位图片中的自拍杆601。
116.可以理解的，图6b所示的自编码器、图6c所示的自解码器均为一种可能的自编码器结构和一种可能的自解码器结构，不应构成本技术实施例的限制。这也就是说，在其他实施例，自编码器和自解码器可具有不同的层级结构。这里，不同的层级结构包括不同数量的卷积层和不同方式的卷积层联合方式。
117.此外，不限于本技术实施例使用的图像语义分割算法，电子设备100定位图像帧中的自拍杆还可使用其他的图像分割算法，例如基于特征编码的vggnet、resnet、基于区域选择的卷积神经网络(region
‑
based convolutional neural network，r
‑
cnn)以及传统的区域生长算法、基于边缘检测的分割方法等等。本技术实施例对此不作限制。
118.s104:电子设备100使用图像帧s1替换t1中的自拍杆，得到屏蔽后的图像。
119.上述t1中的自拍杆501可称为屏蔽对象，即电子设备100需要去除的图像内容。s1中标记的与t1中自拍杆像素点位置对应的像素点区域可称为替换物料，即用于替换t1中的
自拍杆的像素点区域。
120.图7示例性示出了电子设备100使用替换物料替换屏蔽对象的示意图。下面，结合图7说明上述替换过程。
121.首先，在确定t1中的自拍杆后，电子设备100可根据t1中自拍杆的像素点位置对s1进行切割，确定替换物料的像素点区域。
122.如图7所示，根据自拍杆601在t1中所在的位置，电子设备100可在s1中标记相同位置的像素点，参考图像中s1'。s1为cam2采集的与t1同一时刻的具有视觉差的图像帧。前述实施例已经详细介绍过s1了，这里不再赘述。于是，电子设备100可确定区域60。区域60可表示替换物料，且区域60包括的像素点与t1中标记为自拍杆601的像素点一一对应。
123.然后，电子设备100可使用s1中标记为替换物料的图像内容替换t1中标记为自拍杆601的像素点。例如，电子设备100可将t1中标记为自拍杆601的图像内容消除，然后，将s1中区域60中的图像内容移入到t1中，这样，电子设备100可得到去除了自拍杆601的图像帧，如t1'所示。
124.此时，图像帧t1'中的内容物包括：人物602、背景603，而不再包括自拍杆601，即去除了t1中的自拍杆601。
125.可以理解的，t1、s1为示例性的电子设备100的摄像头采集的图像。本技术实施例对于cam1、cam2具体为电子设备100的哪一个摄像头不做限制。因此，在其他实施例中，电子设备100也可使用t1中的图像内容替换s1中的待屏蔽内容。
126.优选的，为了避免边缘锯齿现象，替换物料的尺寸可比屏蔽对象的尺寸大。边缘锯齿现象是指：图像分割算法定位的屏蔽对象的区域与原始图像中实际物体的位置不完全重合引起的，屏蔽对象消除不完全的现象。
127.在本技术实施例中，替换物料的尺寸可在屏蔽对象的尺寸的基础上，向外延展10
‑
20个像素点，从而使得替换物料可以完全覆盖原始图像中的屏蔽对象，从而避免边缘锯齿现象，提升屏蔽效果。
128.可以理解的，当cam1与cam2之间的距离d较小时，cam1采集的图像帧与cam2采集的图像帧之间的视觉差较小。这就可能导致替换物料中的图像内容包括屏蔽对象。这样，即便使用替换物料去填补屏蔽对象，也不能完全去除原始图像中的屏蔽对象。
129.因此，进一步的，电子设备100还可对替换后的图像进行自填补。这里，自填补是指使用脏像素点附近的像素点对脏像素点进行填补。上述脏像素点是指在替换后遗留的屏蔽对象，即未完全去除屏蔽对象的像素点。
130.s105:电子设备100显示屏蔽后的图像。
131.在拍摄照片的场景中，当检测到作用于拍摄按钮的用户操作后，电子设备100可实施s102～s104所示的方法，然后，电子设备100可显示屏蔽后的图像。
132.结合图3a
‑
图3c所示的用户界面。当电子设备100检测到作用拍摄按钮313的用户操作后，响应于该操作，电子设备100实施s102～s104所示的方法，可生成屏蔽自拍杆10的图像。进一步的，响应于作用在图像预览窗314的用户操作，电子设备100可显示上述屏蔽自拍杆10的图像，如图3c所示的用户界面33。
133.实施s101
‑
s105所示的方法，电子设备100可在拍摄过程中，使用多个摄像头采集图像。然后，电子设备100可根据上述多个摄像头采集的图像的视觉差，对图像中的自拍杆
进行屏蔽，从而得到不含自拍杆的图像，进而满足用户期望拍摄不含自拍杆的自拍图像的需求。
134.为了提升图像内容替换的准确性，在使用s1中的图像内容替换t1中自拍杆10之前，电子设备100还可判断s1与t1的图像内容的相似性。
135.若s1与t1中的图像内容明显不同，且电子设备100仍然使用s1中的图像来填补t1中需要屏蔽的图像内容，这样不仅不能实现屏蔽目的，反而使得处理后的图像比出处理前的图像更降低用户拍摄体验。
136.例如，当cam2被物体阻挡时，例如被手指遮挡，s1中大部分都是手指的时图像内容。此时若使用s1填补t1中的被屏蔽图像内容，则电子设备100从s1中获取的替换物料与被屏蔽图像内容很可能是不适配的，例如使用s1中手指的图像内容填补t1中自拍杆的图像内容，这样不仅不能实现屏蔽目的，反而使得处理后的图像比出处理前的图像更降低用户拍摄体验。
137.因此，若s1与t1中的图像内容明显不同，则电子设备100可视为s1不具备替换t1的能力，进一步的，电子设备100可使用被屏蔽图像内容附近的相似的图像内容填补该被屏蔽图像。
138.不限于使用自拍杆自拍的场景，本技术实施例提供的基于多摄像头的图像内容屏蔽方法还可用于其他拍摄场景中。例如，在拍摄单人照的场景中，用户可选择去除偶然出现在取景范围内的其他人物。本技术实施例对此不作限制。
139.在本技术实施例中：
140.电子设备100的多个前置摄像头(或多个后置摄像头)在同一时刻采集的一组图像帧可称为一组图像帧。其中，cam1可称为第一摄像头，cam2可称为第二摄像头；cam1采集的图像帧，例如图5所示的t1，可称为第一图像，cam2采集的图像帧，例如图5所示的s1，可称为第二图像。利用第二图像填补第一图像中部分图像内容后的图像可称为第三图像，例如图7所示的t1'。
141.自拍杆可称为第二设备，图像中的自拍杆可称为第一物体。
142.第二图像中用于填补第一图像的区域可称为第一区域，例如图7中s1'所示的区域60。第一图像中被屏蔽图像内容对应的区域可称为第二区域，例如图6a中图像帧t1中自拍杆10对应的区域。
143.参考图3a，作用于拍摄控件313的操作可称为电子设备检测到的作用于拍摄控件的操作。作用于电子设备100的电源键、音量键等实体按键的操作可称为电子设备检测到的作用在按键上的操作。用户作用于自拍杆上拍摄按钮的操作可称为第二设备检测到的图像拍摄操作。上述拍摄操作可称为第一用户操作。
144.参考图3b，作用于控件314的操作可称为第二用户操作。图3c所示的用户界面可称为显示第三图像。在控件314中显示的第三图像可称为显示第三图像的缩略图。
145.图8示出了电子设备100的结构示意图。
146.电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，usb)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头
193，显示屏194，以及用户标识模块(subscriber identification module，sim)卡接口195等。其中传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器180c，磁传感器180d，加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感器180h，温度传感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m等。
147.可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本技术另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
148.处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural
‑
network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
149.控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
150.处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
151.在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter
‑
integrated circuit，i2c)接口，集成电路内置音频(inter
‑
integrated circuit sound，i2s)接口，脉冲编码调制(pulse code modulation，pcm)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，uart)接口，移动产业处理器接口(mobile industry processor interface，mipi)，通用输入输出(general
‑
purpose input/output，gpio)接口，用户标识模块(subscriber identity module，sim)接口，和/或通用串行总线(universal serial bus，usb)接口等。
152.i2c接口是一种双向同步串行总线，包括一根串行数据线(serial data line，sda)和一根串行时钟线(derail clock line，scl)。在一些实施例中，处理器110可以包含多组i2c总线。处理器110可以通过不同的i2c总线接口分别耦合触摸传感器180k，充电器，闪光灯，摄像头193等。例如：处理器110可以通过i2c接口耦合触摸传感器180k，使处理器110与触摸传感器180k通过i2c总线接口通信，实现电子设备100的触摸功能。
153.i2s接口可以用于音频通信。在一些实施例中，处理器110可以包含多组i2s总线。处理器110可以通过i2s总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过i2s接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。
154.pcm接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过pcm总线接口耦合。在一些实施例中，音频模块170也可以通过pcm接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功
能。所述i2s接口和所述pcm接口都可以用于音频通信。
155.uart接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，uart接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过uart接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过uart接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。
156.mipi接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。mipi接口包括摄像头串行接口(camera serial interface，csi)，显示屏串行接口(display serial interface，dsi)等。在一些实施例中，处理器110和摄像头193通过csi接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过dsi接口通信，实现电子设备100的显示功能。
157.gpio接口可以通过软件配置。gpio接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，gpio接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。gpio接口还可以被配置为i2c接口，i2s接口，uart接口，mipi接口等。
158.usb接口130是符合usb标准规范的接口，具体可以是mini usb接口，micro usb接口，usb type c接口等。usb接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如ar设备等。
159.可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本技术另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
160.充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过usb接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。
161.电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
162.电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
163.天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
164.移动通信模块150可以提供应用在电子设备100上的包括2g/3g/4g/5g等无线通信
diode，fled)，miniled，microled，micro
‑
oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。在一些实施例中，电子设备100可以包括1个或n个显示屏194，n为大于1的正整数。
170.在本技术实施例中，电子设备100显示用户界面(图3a
‑
图3c)、摄像头采集的预览图像以及用户拍摄的照片或视频等可通过gpu，显示屏194，以及应用处理器等完成。
171.电子设备100可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。
172.isp用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头193中。
173.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal
‑
oxide
‑
semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，电子设备100可以包括1个或n个摄像头193，n为大于1的正整数。
174.数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
175.视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，mpeg)1，mpeg2，mpeg3，mpeg4等。
176.在本技术实施例中，电子设备100包括两个或两个以上的摄像头193。
177.在电子设备100在预览窗中显示原始图像的实施方式中，摄像头193采集的，经isp处理的图像可直接被送至gpu，显示屏194显示。然后，电子设备100再根据用户的具体拍摄内容，对原始图像进行屏蔽处理。
178.在电子设备100在预览窗中显示屏蔽后的图像的实施方式中，电子设备100可在送显之前就对摄像头193采集的图像进行处理，从而使得gpu，显示屏194等显示的图像是不包括屏蔽对象的图像。
179.npu为神经网络(neural
‑
network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
180.内部存储器121可以包括一个或多个随机存取存储器(random access memory，ram)和一个或多个非易失性存储器(non
‑
volatile memory，nvm)。
181.随机存取存储器可以包括静态随机存储器(static random
‑
access memory，sram)、动态随机存储器(dynamic random access memory，dram)、同步动态随机存储器(synchronous dynamic random access memory,sdram)、双倍资料率同步动态随机存取存
储器(double data rate synchronous dynamic random access memory,ddr sdram，例如第五代ddr sdram一般称为ddr5 sdram)等。非易失性存储器可以包括磁盘存储器件、快闪存储器(flash memory)。
182.快闪存储器按照运作原理划分可以包括nor flash、nand flash、3d nand flash等，按照存储单元电位阶数划分可以包括单阶存储单元(single
‑
level cell,slc)、多阶存储单元(multi
‑
level cell,mlc)、三阶储存单元(triple
‑
level cell,tlc)、四阶储存单元(quad
‑
level cell,qlc)等，按照存储规范划分可以包括通用闪存存储(英文：universal flash storage，ufs)、嵌入式多媒体存储卡(embedded multi media card，emmc)等。
183.随机存取存储器可以由处理器110直接进行读写，可以用于存储操作系统或其他正在运行中的程序的可执行程序(例如机器指令)，还可以用于存储用户及应用程序的数据等。
184.非易失性存储器也可以存储可执行程序和存储用户及应用程序的数据等，可以提前加载到随机存取存储器中，用于处理器110直接进行读写。
185.外部存储器接口120可以用于连接外部的非易失性存储器，实现扩展电子设备100的存储能力。外部的非易失性存储器通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部的非易失性存储器中。
186.在本技术实施例中，用户拍摄的照片、视频等图像数据可存储到外部存储器接口120连接的非易失性存储器中，从而供用户随时使用。
187.电子设备100可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，以及应用处理器等实现音频功能。例如音乐播放，录音等。
188.音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
189.扬声器170a，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170a收听音乐，或收听免提通话。
190.受话器170b，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170b靠近人耳接听语音。
191.麦克风170c，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170c发声，将声音信号输入到麦克风170c。电子设备100可以设置至少一个麦克风170c。在另一些实施例中，电子设备100可以设置两个麦克风170c，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170c，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
192.耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，omtp)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the usa，ctia)标准接口。
193.压力传感器180a用于感受压力信号，可以将压力信号转换成电信号。在一些实施
例中，压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180a检测所述触摸操作强度。电子设备100也可以根据压力传感器180a的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
194.陀螺仪传感器180b可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180b确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180b检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180b还可以用于导航，体感游戏场景。
195.气压传感器180c用于测量气压。在一些实施例中，电子设备100通过气压传感器180c测得的气压值计算海拔高度，辅助定位和导航。
196.磁传感器180d包括霍尔传感器。电子设备100可以利用磁传感器180d检测翻盖皮套的开合。在一些实施例中，当电子设备100是翻盖机时，电子设备100可以根据磁传感器180d检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。
197.加速度传感器180e可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。
198.距离传感器180f，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180f测距以实现快速对焦。
199.接近光传感器180g可以包括例如发光二极管(led)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180g检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180g也可用于皮套模式，口袋模式自动解锁与锁屏。
200.环境光传感器180l用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合，检测电子设备100是否在口袋里，以防误触。
201.指纹传感器180h用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
202.温度传感器180j用于检测温度。在一些实施例中，电子设备100利用温度传感器180j检测的温度，执行温度处理策略。例如，当温度传感器180j上报的温度超过阈值，电子
设备100执行降低位于温度传感器180j附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备100对电池142加热，以避免低温导致电子设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。
203.触摸传感器180k，也称“触控器件”。触摸传感器180k可以设置于显示屏194，由触摸传感器180k与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180k也可以设置于电子设备100的表面，与显示屏194所处的位置不同。
204.在本技术实施例中，电子设备100通过触摸传感器180k检测是否用作用于显示屏194的用户操作(点击操作、双击操作、长按操作等等)。
205.骨传导传感器180m可以获取振动信号。在一些实施例中，骨传导传感器180m可以获取人体声部振动骨块的振动信号。骨传导传感器180m也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180m也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180m获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180m获取的血压跳动信号解析心率信息，实现心率检测功能。
206.按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。
207.马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
208.指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
209.sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195，或从sim卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或n个sim卡接口，n为大于1的正整数。sim卡接口195可以支持nano sim卡，micro sim卡，sim卡等。同一个sim卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。sim卡接口195也可以兼容不同类型的sim卡。sim卡接口195也可以兼容外部存储卡。电子设备100通过sim卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用esim，即：嵌入式sim卡。esim卡可以嵌在电子设备100中，不能和电子设备100分离。
210.实施本技术实施例提供的基于多摄像头的图像内容屏蔽方法，手机、平板电脑等电子设备可以通过两个或两个以上的摄像头采集具有视觉差的图像。然后，该电子设备可基于上述视觉差，对不同摄像头采集的图像进行剪切和替换，从而屏蔽图像中用户不期望出现的内容，以提升用户的拍摄体验。
211.特别的，利用两个或两个以上的摄像头采集的一组图像帧天然的具备视觉差，进
而用户无需调整电子设备或自身的位置，就能实现利用视觉差屏蔽图像内容。
212.本技术的说明书和权利要求书及附图中的术语“用户界面(user interface，ui)”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。应用程序的用户界面是通过java、可扩展标记语言(extensible markup language，xml)等特定计算机语言编写的源代码，界面源代码在终端设备上经过解析，渲染，最终呈现为用户可以识别的内容，比如图片、文字、按钮等控件。控件(control)也称为部件(widget)，是用户界面的基本元素，典型的控件有工具栏(toolbar)、菜单栏(menu bar)、文本框(text box)、按钮(button)、滚动条(scrollbar)、图片和文本。界面中的控件的属性和内容是通过标签或者节点来定义的，比如xml通过<textview>、<imgview>、<videoview>等节点来规定界面所包含的控件。一个节点对应界面中一个控件或属性，节点经过解析和渲染之后呈现为用户可视的内容。此外，很多应用程序，比如混合应用(hybrid application)的界面中通常还包含有网页。网页，也称为页面，可以理解为内嵌在应用程序界面中的一个特殊的控件，网页是通过特定计算机语言编写的源代码，例如超文本标记语言(hyper text markup language，gtml)，层叠样式表(cascading style sheets，css)，java脚本(javascript，js)等，网页源代码可以由浏览器或与浏览器功能类似的网页显示组件加载和显示为用户可识别的内容。网页所包含的具体内容也是通过网页源代码中的标签或者节点来定义的，比如gtml通过<p>、<img>、<video>、<canvas>来定义网页的元素和属性。
213.用户界面常用的表现形式是图形用户界面(graphic user interface，gui)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、widget等可视的界面元素。
214.在本技术的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本技术中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。上述实施例中所用，根据上下文，术语“当
…
时”可以被解释为意思是“如果
…”
或“在
…
后”或“响应于确定
…”
或“响应于检测到
…”
。类似地，根据上下文，短语“在确定
…
时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定
…”
或“响应于确定
…”
或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
215.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含
一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如dvd)、或者半导体介质(例如固态硬盘)等。
216.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：rom或随机存储记忆体ram、磁碟或者光盘等各种可存储程序代码的介质。