用于保护包括在图像中的个人信息的电子装置和方法与流程

1.一个或更多实施例大体涉及用于保护包括在图像中的个人信息的电子装置和方法。


背景技术：

2.电子装置，例如智能电话、平板pc、便携式多媒体播放器(pmp)、个人数字助理(pda)、膝上型个人计算机(膝上型pc)、手表或头戴式显示器，可以包括一个或更多相机，并且可以通过使用相机捕获图像。
3.用户可以将由电子装置的相机捕获的图像上传到外部电子装置，诸如社交网络服务的电子装置或服务器(sns)。
4.上述信息仅作为背景信息来呈现，以帮助理解本公开。关于上述中的任何一个是否可以作为针对本公开的现有技术适用，没有做出任何确定，并且没有做出断言。


技术实现要素：

5.技术问题
6.随着部署在上述电子装置上的高速高容量无线通信的日益普及，可以将由上述相机捕获的高质量原始图像(例如，生图)上传到sns服务器。
7.服务器或外部电子装置可以对从电子装置接收的高质量原始图像应用图像质量增强算法以增强图像质量，并且可以将具有增强质量的图像提供回电子装置。
8.如果电子装置的用户通过社交网络服务将图像上传到外部电子装置或与另一用户共享图像，则个人信息可以被暴露给或泄漏给其他人，而不管用户的意图。例如，高质量图像之一可以包括用户的个人信息(例如，指纹信息、虹膜信息或面部信息)。
9.近来，服务器的非法黑客攻击已经频繁发生，并且通过黑客攻击非法获取的信息可能对用户造成巨大的损害。
10.问题的解决方案
11.根据实施例，电子装置可以包括：相机，包括图像传感器；通信模块；存储器；以及处理器，其可操作地连接到相机、通信模块和存储器。存储器可以存储指令，指令在被执行时使得处理器：通过使用相机来获取包括外部对象的第一图像；通过使用第一图像的至少一部分来获取包括比第一图像少的信息的第二图像；通过通信模块将第二图像发送到外部电子装置；通过通信模块从外部电子装置接收与第二图像对应的安全信息；以及至少部分地基于安全信息来保护第一图像。
12.根据实施例，用于保护包括在图像中的个人信息的方法可以包括：通过使用包括图像传感器的相机来获取包括外部对象的第一图像；通过使用第一图像的至少一部分来获取包括比第一图像少的信息的第二图像；通过通信模块将第二图像发送到外部电子装置；通过通信模块从外部电子装置接收与第二图像对应的安全信息；以及至少部分地基于安全信息来保护第一图像。
13.根据实施例，电子装置可以包括：通信模块；存储器；以及处理器，其可操作地连接到通信模块和存储器。存储器存储指令，指令在被执行时使得处理器：通过使用通信模块从外部电子装置接收图像；识别图像中的至少一个图像区域；至少部分地基于识别的结果，确定包括在图像中并且与至少一个图像区域相关联的安全信息；通过使用通信模块将安全信息发送至外部电子装置。
14.另外的方面将部分地在随后的描述中阐述，并且部分地将从描述中显而易见，或者可以通过所呈现的实施例的实践来获知。
15.发明的有益效果
16.在此公开的实施例的一个方面是防止可能包括在图像中的用户个人信息的非预期泄漏。
17.根据某些实施例，用于保护包括在图像中的个人信息的电子装置和方法可以防止包括在图像中的个人信息泄漏到公众。
18.根据某些实施例，在用于保护包括在图像中的个人信息的电子装置和方法中，可以仅在用户的电子装置上显示包括在图像中的用户个人信息。
附图说明
19.为了更透彻地理解本公开及其优点，现在结合附图参考以下描述，其中相同的附图标记表示相同的部件：
20.图1是根据实施例的网络环境中的电子装置的框图；
21.图2是示出根据实施例的相机模块的框图；
22.图3是示出根据实施例的电子装置和外部电子装置的操作的框图；
23.图4是根据实施例的电子装置的框图；
24.图5是示出根据实施例的用于保护包括在电子装置中的图像中的个人信息的方法的流程图；
25.图6是示出根据实施例的用于保护电子装置中的第一图像的方法的流程图；
26.图7是示出根据实施例的用于保护电子装置中的第一图像的方法的流程图；
27.图8是示出根据实施例的用于保护包括在系统中的图像中的个人信息的方法的流程图；以及
28.图9a示出根据实施例的用于保护个人信息的方法的示例，图9b示出根据实施例的用于保护个人信息的方法的示例，以及图9c示出根据实施例的用于保护个人信息的方法的示例。
具体实施方式
29.在下文中，将参考附图详细描述本公开的实施例。
30.图1是示出根据各种实施例的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装
置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(sim)196或天线模块197。在一些实施例中，可从电子装置101中省略所述部件中的至少一个(例如，显示装置160或相机模块180)，或者可将一个或更多其它部件添加到电子装置101中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。
31.处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(cpu)或应用处理器(ap))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(gpu)、图像信号处理器(isp)、传感器中枢处理器或通信处理器(cp))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
32.在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123可控制与电子装置101(而非主处理器121)的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。
33.存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
34.可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(os)142、中间件144或应用146。
35.输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔)。
36.声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
37.显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
38.音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由
输入装置150获取声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
39.传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后生成与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(ir)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
40.接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(hdmi)、通用串行总线(usb)接口、安全数字(sd)卡接口或音频接口。
41.连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如hdmi连接器、usb连接器、sd卡连接器或音频连接器(例如，耳机连接器)。
42.触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
43.相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多镜头、图像传感器、图像信号处理器或闪光灯。
44.电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(pmic)的至少部分。
45.电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
46.通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(ap))独立操作的一个或更多通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(gnss)通信模块)或有线通信模块194(例如，局域网(lan)通信模块或电力线通信(plc)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(wi
‑
fi)直连或红外数据协会(irda))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，lan或广域网(wan)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分开的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(imsi))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
47.天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，pcb)中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线。在这种情
况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(rfic))可附加地形成为天线模块197的一部分。
48.上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(gpio)、串行外设接口(spi)或移动工业处理器接口(mipi))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
49.根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机
‑
服务器计算技术。
50.图2是示出根据各种实施例的相机模块180的框图200。参照图2，相机模块180可包括镜头组件210、闪光灯220、图像传感器230、图像稳定器240、存储器250(例如，缓冲存储器)或图像信号处理器260。镜头组件210可采集从将被拍摄图像的物体发出或反射的光。镜头组件210可包括一个或更多镜头。根据实施例，相机模块180可包括多个镜头组件210。在这种情况下，相机模块180可形成例如双相机、360度相机或球形相机。多个镜头组件210中的一些镜头组件210可具有相同的镜头属性(例如，视角、焦距、自动对焦、f数或光学变焦)，或者至少一个镜头组件可具有与另外的镜头组件的镜头属性不同的一个或更多镜头属性。镜头组件210可包括例如广角镜头或长焦镜头。
51.闪光灯220可发光，其中，发出的光用于增强从物体反射的光。根据实施例，闪光灯220可包括一个或更多发光二极管(led)(例如，红绿蓝色(rgb)led、白色led、红外(ir)led或紫外(uv)led)或氙灯。图像传感器230可通过将从物体发出或反射并经由镜头组件210透射的光转换为电信号来获取与物体相应的图像。根据实施例，图像传感器230可包括从具有不同属性的多个图像传感器中选择的一个图像传感器(例如，rgb传感器、黑白(bw)传感器、ir传感器或uv传感器)、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。可使用例如电荷耦合器件(ccd)传感器或互补金属氧化物半导体(cmos)传感器来实现包括在图像传感器230中的每个图像传感器。
52.图像稳定器240可沿特定方向移动图像传感器230或包括在镜头组件210中的至少一个镜头，或者响应于相机模块180或包括相机模块180的电子装置101的移动来控制图像
333和存储器335。识别模块331可以是逻辑模块，并且可以使用外部电子装置300的处理器以及软件来实现。isp 333也可以使用外部电子装置300的处理器来实现。在该示例中，外部电子装置300的处理器可以执行识别和图像处理。尽管未示出，但是电子装置101可以包括通信模块(例如，图1中的通信模块190)，该通信模块可以向外部电子装置300发送数据或从外部电子装置300接收数据。外部电子装置300可以包括通信模块，该通信模块可以向电子装置101发送数据或从电子装置101接收数据。根据实施例，电子装置101可以包括识别模块327。设置在电子装置101中的识别模块327可以被配置为执行与识别模块331的一些功能相同的功能。例如，识别模块327可以是被配置为识别图像中的面部的硬件或软件，并且因为识别是在本地完成的，而不是要求图像通过网络发送，所以识别模块327能够比外部电子装置300(例如，服务器)更简单和快速地识别面部。
61.在实施例中，图像传感器321(例如，图2中的图像传感器230)可以获取外部对象的图像，并且可以生成与其对应的原始图像322。原始图像322可以用各种格式来实现，例如bayer格式、滤色器阵列(cfa)图案、通过感测每个像素的三种颜色而生成的层结构、由每个像素获取的不同视差生成的格式等。图像传感器321可以将原始图像322传送到isp 323(例如，图2中的图像信号处理器260)和/或识别模块327。
62.在实施例中，图像传感器321可以生成小原始图像326。图像传感器321可以通过例如通过降低原始图像322的分辨率而原始图像322来生成小原始图像326。例如，图像传感器321可以通过使用各种缩小方法或缩小采样方法从原始图像322生成小原始图像326。由于图像传感器321调整原始图像322的分辨率，通过一个或更多频带对原始图像322进行滤波，和/或选择原始图像322的一个或更多位平面级，因此小原始图像326的数据量可以小于原始图像322的数据量。例如，图像传感器321可以通过从原始图像322中提取低频带来生成小原始图像326。在另一个示例中，图像传感器321可以通过从原始图像322的多个位平面级中选择一些来生成小原始图像326。图像传感器321可以通过通信模块将小原始图像326发送到外部电子装置300。小原始图像326可以包括原始图像322的至少一部分，并且可以是比原始图像322更小的数据文件。如果小原始图像326而不是原始图像322被发送到外部电子装置，则数据发送的量被减小，并且因此图像可以被更快速地发送到外部电子装置300。在另一个实施例中，电子装置101的处理器(例如处理器120)可以代替图像传感器321来生成小原始图像326，并且可以通过通信模块将生成的小原始图像326发送到外部电子装置300。处理器120可以包括微处理器或任何合适类型的处理电路，例如一个或更多通用处理器(例如，基于arm的处理器)、数字信号处理器(dsp)、可编程逻辑器件(pld)、专用集成电路(asic)、现场可编程门阵列(fpga)、图形处理单元(gpu)、视频卡控制器等。此外，可以认识到，当通用计算机访问用于实现这里所示的处理的代码时，代码的执行将通用计算机转换为用于执行这里所示的处理的专用计算机。在附图中提供的某些功能和步骤可以用硬件、软件或两者的组合来实现，并且可以全部或部分地在计算机的编程指令内执行。依据35u.s.c.
§
112(f)的规定，除非使用短语“用于
……
的装置”明确地阐述要素，否则本文并不解释要保护的要素。此外，技术人员会理解和明白，“处理器”或“微处理器”可以是所要求保护的公开中的硬件。在最广泛的合理解释下，所附权利要求是符合35u.s.c.
§
101的法定主题。
63.在实施例中，图像传感器321可以将压缩的原始图像322发送到isp 323、外部电子
装置300或识别模块327。图像传感器321可以压缩原始图像322，并且可以将压缩的原始图像322存储在图像传感器321的内部存储器中。
64.在实施例中，外部电子装置300的识别模块331可以通过通信模块获取小原始图像326，并且可以将小原始图像326分割为至少一个图像区域。识别模块331可以识别经由分割生成的至少一个图像区域。例如，识别模块331可以对小原始图像326进行分割，并且可以从由分割生成的小原始图像326中识别至少一个图像区域。识别模块331可以通过对图像区域应用对象识别算法或文本识别算法来识别图像区域。因此，外部电子装置300的识别模块331可通过使用各种识别算法(例如机器学习或深度学习算法)来识别至少一个图像区域。例如，外部电子装置300的识别模块331可以获取与图像区域相关联的信息，其中像素坐标(100,101)、(100,102)、(102,102)和(102,103)表示“人的牙齿”。像素坐标可以对应于原始图像322的像素坐标。识别模块331可以获取例如分类信息，该分类信息指示小原始图像326被分类为“人在街道上”的类别。识别模块331可以通过使用识别结果来获取分类信息，或者在不采用识别的情况下可以通过颜色分布等来获取小原始图像326中的分类信息。识别模块331可以生成校正区域信息332，该校正区域信息332包括分类信息或与通过上述过程获取的至少一个图像区域相关联的信息中的至少一个。识别模块331可以将校正区域信息332发送到电子装置101。isp 323可通过使用校正区域信息332来校正原始图像322，且因此可生成经校正图像324。经校正图像324可以具有例如yuv格式。经校正图像324可以存储在存储器325中。或者，可以通过例如jpeg方法来压缩经校正图像324，并且可以将经压缩的图像存储在存储器325中。根据实施例，校正区域信息可以由电子装置101的识别模块327生成，然后可以被传送到isp323。
65.在实施例中，从图像传感器321提供的原始图像322可以被发送到外部电子装置300，而不管小原始图像326是否被发送。外部电子装置300可以通过使用原始图像322来生成另一个校正区域信息。通过使用大于小原始图像326的原始图像322，外部电子装置300(例如，外部电子装置300的isp 333)除了从小原始图像326生成的校正区域信息之外还可以基于原始图像322生成校正区域信息，并且可以指定该校正区域信息作为扩展校正区域信息。由于原始图像322可以包括比小原始图像326更多的信息，外部电子装置300可以从原始图像322生成更详细的校正区域信息。在实施例中，外部电子装置300(外部电子装置300的isp 333)可以仅从原始图像322生成扩展校正区域信息。或者，外部电子装置300(例如，外部电子装置300的isp 333)可以通过使用原始图像322以及从小原始图像326生成的校正区域信息来生成扩展校正区域信息。
66.在实施例中，由于原始图像322大于小原始图像326，所以可以首先将小原始图像326发送到外部电子装置300，然后将原始图像322发送到外部电子装置300。例如，原始图像322可以被发送到外部电子装置300，同时isp 323使用从小原始图像326生成的校正区域信息来校正原始图像322。原始图像322可以在被图像传感器321生成时上传到外部电子装置300。或者，可以上传经过镜头失真校正和噪声消除的预处理版本的原始图像322。预处理可以由外部电子装置300执行。外部电子装置300可执行去马赛克处理或图像格式修改或其它预处理以改进识别模块331所进行的图像识别。外部电子装置300的isp 333可以校正所接收的原始图像322。外部电子装置300可以通过使用校正区域信息332和/或扩展校正区域信息来校正原始图像322。由于原始图像322可以具有比小原始图像326更高的质量，所以外部
装置300的isp 333可以从更高质量的图像获取更详细的区域信息。isp333可以通过一起使用所生成的校正区域信息和原始图像322来生成扩展校正区域信息。isp 333可以通过使用扩展校正区域信息校正原始图像322来生成高质量图像334。高质量图像334可以被存储在外部电子装置300的存储器335中，并且可以被下载到电子装置101。
67.图4是根据实施例的电子装置的框图。
68.根据实施例的第一电子装置470(例如，电子装置102或服务器108)可以被实现为云服务器。第一电子装置470可以执行针对构成云系统的服务器以及针对可连接到云系统的电子装置(例如第二电子装置400)的网络管理、与要提供的服务和权限有关的云服务管理、以及存储管理。
69.根据实施例的第一电子装置470可以包括处理器471、数据库478、原始图像存储器479和图像存储器480。根据实施例的处理器471可以包括预处理模块474、图像识别模块473、isp 476、编码器475、监视模块472、测试目标获取模块481、图像比较模块482和校正目标确定模块483。根据实施例，isp 476可以被实现为单独的硬件。
70.根据实施例，预处理模块474、图像识别模块473、编码器475、监视模块472、测试目标获取模块481、图像比较模块482和校正目标确定模块483可以是逻辑模块。因此，由此执行的操作可以由第二电子装置400的处理器471或处理器(例如，第一处理器430或第二处理器412)执行。
71.根据实施例，预处理模块474、图像识别模块473、isp 476、编码器475、监视模块472、测试目标获取模块481、图像比较模块482或校正目标确定模块483中的至少一个可以实现为第一电子装置470的处理器471中的单独硬件模块或者第二电子装置400的处理器(例如，第一处理器430或第二处理器412)中的单独硬件模块。
72.根据实施例的预处理模块474可以对从第二电子装置400接收的图像(例如，原始图像或小原始图像)进行预处理，并且可以将预处理后的图像发送到图像识别模块473、原始图像存储器479或isp 476。根据实施例，预处理可以包括对从第二电子装置400接收的图像文件进行解码以生成原始图像。
73.根据实施例的图像识别模块473(例如，图3中的识别模块331)可以通过第一电子装置470的通信模块或经由其预处理模块474从第二电子装置400接收图像(例如，原始图像或小原始图像)。
74.根据实施例的图像识别模块473可以通过使用各种算法来识别所接收的图像，例如(1)对象识别算法，(2)文本识别算法，或(3)通过对图像存储器(例如原始图像存储器479和/或图像存储器480)应用机器学习或深度学习而获取的识别算法。图像识别模块473可以将所识别的结果存储在与所接收的图像相关联的数据库(例如，原始图像存储器479)中，和/或可以将所识别的结果发送到第二电子装置400。例如，图像识别模块473可以识别所接收的图像中的至少一个对象(例如，人、天空、云、猫、小狗等)。可以在图像内的图像区域中识别对象。根据实施例，图像识别模块473可以识别图像中的对应于用户信息的对象。例如，可以从存储在数据库478中的图像(例如，家庭或熟人的照片或家庭照片)获取用户信息。所识别的结果可以包括图像区域的位置信息(例如，像素坐标)和图像区域中的对象的标识信息。此外，当isp 476处理图像时以及当测试目标获取模块481选择测试目标时，可以使用所识别的结果。
75.根据实施例的图像识别模块473可以将在所接收的图像中识别出的对象(或多个对象)的标识信息存储为所接收的图像的类别信息，该标识信息可以与类别信息相关联地被存储在数据库(例如原始图像存储器479)中。例如，图像识别模块473可以将标识信息存储为所接收的图像的标签信息，并将其存储在数据库中。或者，图像识别模块473可将标识信息发送到第二电子装置400。类别信息可以包括分级地分类的多个类别。例如，如果“猫”被识别为图像区域中的对象，则图像识别模块473可以将指示“动物”的标识信息配置为相应图像的上级类别，并且可以将指示“猫”的标识信息配置为相应图像的下级类别。根据实施例，第一电子装置470可以从第二电子装置400接收与图像(例如原始图像或小原始图像)相对应的类别信息，并且可以将该类别信息与相应图像相关地存储在数据库中。
76.根据实施例的isp 476可以通过调整所接收的图像的各种值(例如亮度、色调、颜色、饱和度、色温、锐度、色相、鲜明度、对比度或色调饱和度值(hsv))来对所接收的图像执行图像处理(例如校正)。图像处理可以基于通过图像识别获取的组分(recipe)信息(例如，图像区域、层、矢量、场景类别等)来执行。例如，isp 476可以识别图像的其中放置了对象的图像区域作为校正目标，并且可以校正图像区域。isp 476可以从数据库478接收对应于组分信息的附加信息(例如，指示对象或对象的一部分(例如，毛发)的特征的特征向量)，并且可以使用该附加信息来进行图像处理。处理后的图像可以被发送到第二电子装置400或编码器475，或者可以被存储在数据库(例如，图像存储器480)中。图像处理可以包括诸如白平衡、颜色调整、噪声降低、锐度效果和细节增强之类的功能。可以基于组分信息为每个图像区域执行这些功能。
77.根据实施例的编码器475可以通过对由isp 476处理的经校正图像或存储在原始图像存储器479中的原始图像进行编码来生成图像文件(例如，jpeg、mpeg、360度全景等)。由编码器475生成的图像文件可以通过第一电子装置470的通信模块被发送到第二电子装置400，或者可以被存储在数据库(例如，图像存储器480)中。
78.根据实施例的监视模块472可以确定被配置成处理第一电子装置470中的图像的isp 476已经从第一isp 476a改变到第二isp 476b。例如，第二isp 476b可以执行从第一isp 476a升级的校正方法。
79.响应于由监视模块472做出的确定，根据实施例的测试目标获取模块481可以获取存储在数据库(例如原始图像存储器479或图像存储器480)中的一些图像作为用于图像处理的测试目标。根据实施例，如果从原始图像存储器479获取测试目标，则可以通过第一isp 476a的未对其应用修改(例如，替换或升级)的校正方法以及第二isp 476b的已对其应用修改的校正方法来执行图像处理。根据实施例，如果从图像存储器480获取测试目标，则可以在第二isp 476b上执行图像处理。
80.根据实施例的测试目标获取模块481可以获取用于一个或更多类别的相等数量的测试目标。例如，测试目标获取模块481可以获取与分类为“猫”类别的图像的数量相同数量的、分类为“小狗”类别的图像。
81.在实施例中，第一isp 476a和第二isp 476b中的每一个可以校正由测试目标获取模块481获取的测试目标，即通过调整每个测试目标的各种值(例如亮度、色调、颜色、饱和度、色温、锐度、色相、鲜明度、对比度或hsv)。根据实施例，如果测试目标是从图像存储器480获取的压缩图像，则可以首先对图像进行解压缩，然后对图像进行校正。
82.根据实施例的图像比较模块482可以为从数据库(例如原始图像存储器479)获取的每个测试目标计算通过第一isp 476a的图像校正获取的值和通过第二isp 476b的图像校正获取的值之间的差。例如，图像比较模块482可基于随着校正方法改变而预期的调谐策略(例如，效果)从亮度、色调、颜色、饱和度、色温、锐度、色相、鲜明度、对比度或hsv中选择至少一个作为比较目标。例如，如果校正方法的改变所预期的效果是对比度的增加，则图像比较模块482可以针对每个测试目标计算通过第一isp 476a的图像校正和第二isp 476b的图像校正获取的对比度值之间的差。如果预期效果是其中hsv具有约30至60度的图像区域的鲜明度的增加，则图像比较模块482可针对测试目标中的每一者计算通过第一isp 476a的图像校正和第二isp 476b的图像校正获取的色彩值之间的差。
83.根据实施例的图像比较模块482可以为从数据库(例如，图像存储器480)获取的每个测试目标计算在由第二isp 476b校正之前和之后的图像的值之间的差。
84.根据实施例的图像比较模块482可以基于比较结果将测试目标分类为两个组。例如，图像比较模块482可以将测试目标分类为具有超过预定阈值的值差的上级组和具有低于阈值的值差的下级组。这里，值差可以指：1)通过第一isp 476a的图像校正和第二isp 476b的图像校正获取的图像中的值之间的差，或2)由第二isp 476b校正之前和之后的图像中的值之间的差。
85.根据实施例的校正目标确定模块483可以基于由图像比较模块482获取的比较结果来确定校正目标。这里，可以从存储在数据库中的图像(例如，原始图像存储器479或图像存储器480)中选择校正目标。校正目标可以通过已经应用了修改(例如，替换或升级)的校正方法(例如，第二isp 476b)进行图像处理，然后可以将其存储在数据库(例如，图像存储器480)中和/或可以将其发送到第二电子装置400。根据实施例，校正目标确定模块483可以将下级组识别为具有不如预期的校正效果的组，并且因此，可以识别属于下级组的图像的类别，并且可以确定对应于下级组的类别的图像没有经过校正。校正目标确定模块483可以从上级组中选择至少一个测试目标，并且可以确定与所选择的测试目标的类别相对应的图像作为存储在数据库中的图像(例如，原始图像存储器479或图像存储器480)中的校正目标。
86.根据实施例，用于确定校正目标的类别信息可以包括由图像识别模块473获取然后与相应图像相关联地被存储在数据库(例如，原始图像存储器479或图像存储器480)中的信息。此外，类别信息可以包括从外部装置(例如，第二电子装置400)接收并作为相应图像的元数据与相应图像一起存储在数据库中的信息。
87.在实施例中，根据由图像比较模块482获取的比较结果，类别可以通常与上级组的测试目标或下级组的测试目标相关联。例如，具有“猫”的第一测试目标可以属于上级组，而也具有“猫”的第二测试目标可以属于下级组。因此，落入上级组和下级组的图像可能具有比预期的更小的校正效果。因此，校正目标确定模块483可以从校正目标中排除具有“猫”的图像。
88.如上所述，根据实施例，校正目标确定模块483可以确定对应于类别信息的测试目标作为校正目标，所述类别信息对应于第一级并且不对应于第二级。对应于第一级的类别可以是根据分类属于上级组的测试目标的类别，而对应于第二级的类别可以是根据分类属于下级组的测试目标的类别。
89.在实施例中，根据由图像比较模块482获取的比较结果，一些元数据通常可以与属于上级组的测试目标和属于下级组的测试目标相关联。例如，尽管具有相同的iso灵敏度，但是第一测试目标可以属于上级组，而第二测试目标可以属于下级组。此外，特定的组分信息(例如，场景类别)通常可以与属于上级组的测试目标和属于下级组的测试目标相关联。如上所述，对应于通常与上级组和下级组相关联的元数据或组分信息的图像可能具有比预期的更小的校正效果。因此，校正目标确定模块483可以从校正目标中排除存储在数据库中的图像(例如，原始图像存储器479或图像存储器480)之中的具有与上级组和下级组相关联的元数据或组分信息的图像。
90.根据实施例，校正目标确定模块483可以基于元数据或组分信息中的至少一个以及基于通过图像比较模块482的操作获取的比较结果来确定校正目标。例如，校正目标确定模块483可以识别属于上级组的测试目标的元数据(以下称为“上级元数据集”)以及属于下级组的测试目标的元数据(以下称为“下级元数据集”)。校正目标确定模块483可以比较上级元数据集和下级元数据集以识别包括在上级元数据集和下级元数据集中的元数据(以下称为“重复元数据集”)。校正目标确定模块483可确定与上级元数据集的一个或更多元数据对应且不与重复元数据集的两个或更多元数据对应的图像作为校正目标。例如，如果上级元数据集包括第一iso灵敏度值、第二iso灵敏度值、第一亮度值、第二亮度值、第一锐度值和第二锐度值，并且第一iso灵敏度值、第一亮度值和第一锐度值被确定为重复元数据，则具有第一iso灵敏度值、第二亮度值和第二锐度值的图像可以被确定为校正目标。可以从校正目标中排除具有第一iso灵敏度值、第一亮度值和第二锐度值的图像。
91.根据实施例，元数据可以与图像一起从外部装置(例如，电子装置400)被接收，并且可以与图像相关联地存储在数据库(例如，原始图像存储器479或图像存储器480)中。例如，元数据可以是由图像传感器(例如，图像传感器411)获取的信息，并且可以包括焦距、自动聚焦区、与拍摄期间的左右旋转相关的信息(取向)、自动白平衡(awb)、颜色空间、曝光时间、孔径相关信息(例如，f
‑
number、f
‑
stop)、曝光程序(例如，自动、孔径优先、快门优先、手动等)、iso速度等级(iso)、图像捕获日期(原始数据时间)等。元数据还可以包括由除了图像传感器之外的传感器或时钟感测的信息，例如在图像捕获位置或时间戳处的照度。
92.根据实施例，组分信息可以包括由图像识别模块473通过识别从外部装置(例如，电子装置400)接收的图像(例如，小原始图像)而获取的信息(例如，图像区域、层、向量、场景类别等)。
93.根据实施例，校正目标确定模块483可以基于调谐策略(例如，效果)来确定校正目标。例如，当通过已经应用了修改(例如，替换或升级)的校正方法(例如，第二isp 476b)校正图像时，如果预期效果是亮度的增加，则校正目标确定模块483可以对亮度的差值应用权重(例如，可以将预定值添加到差值)，以便优先地将具有通过校正而增加的亮度的测试目标分类到上级组中。
94.根据实施例的第二电子装置400(例如，电子装置101)可以包括相机模块410、显示器420、第一处理器430、第一存储器440、输入装置450和声音输出装置460。根据实施例的相机模块410可以包括图像传感器411、第二处理器412和第二存储器418。根据实施例的第二处理器412可以包括原始图像处理模块413、isp 416和编码器417。由第二处理器412执行的至少一些操作可以由第一处理器430执行。原始图像处理模块413、isp 416和编码器417可
以是逻辑模块，因此，由此执行的操作可以由第二处理器412(例如，处理器120)执行。在另一个实施例中，原始图像处理模块413、isp 416和编码器417中的至少一个可以实现为第二处理器412内的独立硬件模块。
95.尽管未示出，但是第二电子装置400可以包括用于与第一电子装置470进行数据通信的通信模块(例如，图1中的通信模块190)，并且第一电子装置470还可以包括用于与第二电子装置400进行数据通信的通信模块。
96.在实施例中，图像传感器411(例如，图2中的图像传感器230或图3中的图像传感器321)可以获取对象的各种原始图像。图像传感器411可以根据滤色器阵列(cfa)图案获取各种类型的原始图像。图像传感器411可以获取具有双像素(dp)结构(或双光电二极管(2pd)结构)的原始图像，其中像素包括不同的视差(或相位差)信息。图像传感器411可以包括具有相同或不同特性的多个图像传感器(例如，双传感器(例如，rgb rgb、rgb mono或wide tele等)或阵列传感器(例如，两个或更多传感器)等)。多个图像传感器可用于获取一个或更多原始图像。所获取的原始图像可以原样或者在附加处理之后存储在第二存储器418(例如dram)中。
97.根据实施例，获取的原始图像可以以各种格式(例如bayer格式等)来配置。原始图像可以根据每个像素由红(r)、绿(g)和蓝(b)中的一个来表示，并且可以由8到16位的位深度来表示。可以将各种滤色器阵列(cfa)图案应用于原始图像。原始图像可以具有包括关于每个像素的各种颜色(例如，r、g和b的多种颜色)的信息的层结构。根据图像传感器的各种配置，原始图像不仅可以包括颜色信息，还可以包括视差(相位差)信息。与捕获图像相关的信息(例如，时间、位置、照度等)可以作为元数据被生成，并与原始图像相关联地被存储。例如，第二处理器412可以使用图像传感器411获取关于原始图像的元数据。可以通过图像传感器411获取的元数据包括，例如，焦距、自动聚焦区、与图像捕获期间的左右旋转(定向)相关的信息、颜色空间和曝光时间。此外，元数据可以包括图像的位置信息，其可以通过不同于图像传感器的传感器(例如gps传感器)来获取。
98.在实施例中，原始图像处理模块413可以对从图像传感器411获取的原始图像执行各种处理。例如，原始图像处理模块413可以对原始图像执行镜头失真校正或噪声去除。
99.根据实施例的原始图像处理模块413可以包括小原始图像生成模块414和压缩模块415。小原始图像生成模块414可以通过使用各种缩减方法(例如，减小尺寸或减小分辨率)或缩减采样方法(例如，仅取一系列采样样本中的一个或一些采样样本)从原始图像生成小原始图像。压缩模块415可通过使用各种压缩算法来压缩原始图像或小原始图像，且可将经压缩的原始图像或经压缩的小原始图像存储在第二存储器418中。可将小原始图像临时或长久地存储在第二存储器418中。第二电子装置400的通信模块(未示出)(例如通信模块190)可以将存储在第二存储器418中的小原始图像发送到第一电子装置470。
100.在实施例中，isp 416(例如，图2中的图像信号处理器260或图3中的isp 323)可以对存储在第二存储器418中的原始图像执行图像处理。例如，isp 416可以通过使用通过通信模块以各种方式从第一电子装置470获取的组分信息(例如，图像区域(segment)、层、向量、场景类别等)来对原始图像进行处理(例如，校正)。根据实施例，isp 416可以通过通信模块将原始图像或小原始图像发送到第一电子装置470，使得第一电子装置470生成用于图像处理的组分信息。isp 416可以通过使用经由通信模块从第一电子装置470获取的组分信
息来对原始图像进行处理。isp 416可以将处理后的原始图像压缩成例如jpeg，并且可以将其存储在第一存储器440中。
101.在实施例中，在第二电子装置400中执行图像处理的isp 416可以从第一isp 416a改变到第二isp 416b。例如，第二isp 416b可以具有其中第一isp 416a的校正方法的至少一部分已经被升级的校正方法。
102.在实施例中，编码器417可以对由isp 416处理的原始图像进行编码以生成图像文件(例如，jpeg、mpeg、360度全景等)，并且可以将图像文件存储在第一存储器440中。
103.在实施例中，第一处理器430(例如，图1中的处理器120)可以电连接到相机模块410、显示器420、第一存储器440、输入装置450、声音输出装置460和通信模块(未示出)，以便控制其中的至少一个。此外，第一处理器430可以执行各种数据处理和操作。
104.根据实施例，第一处理器430可以响应于isp 416已经从第一isp 416a改变到第二isp 416b的事实来更新存储在第一存储器440中的图像。例如，第一处理器430可以执行与第一电子装置470的处理器471(例如，测试目标获取模块481、图像比较模块482和校正目标确定模块483中的至少一个)的至少一些功能相同的功能。
105.根据实施例，电子装置(例如，图1中的电子装置101或图4中的第二电子装置400)可以包括：相机(例如，图1中的相机模块180)，其包括图像传感器(例如，图1中的相机模块180、图2中的图像传感器230、图3中的图像传感器321或图4中的图像传感器411)；通信模块(例如，图1中的通信模块190)；存储器(例如，图1中的存储器130、图2中的存储器250或图3中的存储器325)；以及处理器(例如，图1中的处理器120、图2中的图像信号处理器260、图3中的isp 323或图4中的第一处理器430或第二处理器412)，其可操作地连接到相机、通信模块和存储器。存储器可以存储指令，所述指令在被执行时使得所述处理器：通过使用相机来获取包括外部对象的第一图像；通过使用第一图像的至少一部分来获取包括比第一图像少的信息的第二图像；通过使用通信模块将第二图像发送到外部电子装置(例如，图1中的电子装置104或服务器108、图3中的外部电子装置300、或图4中的第一电子装置470)；通过使用通信模块接收来自外部电子装置的与第二图像对应的安全信息；以及至少部分地基于安全信息来保护第一图像。
106.根据实施例，对应于第二图像的安全信息可以涉及外部对象的至少一个生物信息区域。
107.根据实施例，指令还可以使处理器(例如，图1中的处理器120、图2中的图像信号处理器260、图3中的isp 323、或者图4中的第一处理器430或第二处理器412)至少部分地基于安全信息将第一图像划分为第一安全级别区域和第二安全级别区域。
108.根据实施例，指令还可以使处理器(例如，图1中的处理器120、图2中的图像信号处理器260、图3中的isp 323、或图4中的第一处理器430或第二处理器412)：生成安全密钥并将安全密钥存储在存储器(例如，图1中的存储器130、图2中的存储器250、或图3中的存储器325)中；基于安全密钥获取已经对第一图像的第二安全级别区域进行编码的第三图像；并且将第三图像发送到外部电子装置(例如，图1中的电子装置104或服务器108、图3中的外部电子装置300、或图4中的第一电子装置470)。
109.根据实施例，指令还可以使处理器(例如，图1中的处理器120、图2中的图像信号处理器260、图3中的isp 323、或图4中的第一处理器430或第二处理器412)：从外部电子装置
(例如，图1中的电子装置104或服务器108、图3中的外部电子装置300、或图4中的第一电子装置470)接收第四图像，在第四图像中第三图像的第一安全级别区域已经被至少部分地校正；以及使用存储在存储器(例如，图1中的存储器130、图2中的存储器250、或图3中的存储器325)中的安全密钥获取其中对第四图像进行了解码的第五图像。
110.根据实施例，指令还可以使处理器(例如，图1中的处理器120、图2中的图像信号处理器260、图3中的isp 323、或者图4中的第一处理器430或第二处理器412)通过对第一图像的第二安全级别区域进行镶嵌、掩码或加扰来获取第三图像。
111.根据实施例，指令还可以使处理器(例如，图1中的处理器120、图2中的图像信号处理器260、图3中的isp 323、或图4中的第一处理器430或第二处理器412)：从第一图像中提取第一安全级别区域，并生成包括第一安全级别区域的第三图像；以及从第一图像中提取第二安全级别区域，并基于第二安全级别区域生成安全区域图像。
112.根据实施例，指令还可以使处理器(例如，图1中的处理器120、图2中的图像信号处理器260、图3中的isp 323、或者图4中的第一处理器430或第二处理器412)：将第三图像发送到外部电子装置；并且将安全区域图像存储在存储器(例如，图1中的存储器130、图2中的存储器250、或图3中的存储器325)中。
113.根据实施例，指令还可以使处理器(例如，图1中的处理器120、图2中的图像信号处理器260、图3中的isp 323、或图4中的第一处理器430或第二处理器412)：从外部电子装置(例如，图1中的电子装置104或服务器108、图3中的外部电子装置300、或图4中的第一电子装置470)接收第四图像，在第四图像中第三图像已经被至少部分地校正；以及通过合成第四图像和安全区域图像获取第五图像。
114.根据实施例，指令还可以使处理器(例如，图1中的处理器120、图2中的图像信号处理器260、图3中的isp 323、或者图4中的第一处理器430或第二处理器412)：基于所接收的安全信息，向用户提供指示第一安全级别区域和第二安全级别区域的图像；以及基于选择第一安全级别区域或第二安全级别区域的一部分或全部的用户输入，将第一安全级别区域和第二安全级别区域彼此分开。
115.根据实施例，指令还可以使处理器(例如，图1中的处理器120、图2中的图像信号处理器260、图3中的isp 323、或图4中的第一处理器430或第二处理器412)：接收指定所提供的图像中的除了第一安全级别区域和第二安全级别区域之外的另外区域的另一用户输入；以及将所指定的另外区域确定为第二安全级别区域。
116.图5是示出根据实施例的用于保护包括在电子装置中的图像中的个人信息的方法的流程图。
117.参照图5，在操作510中，根据实施例，电子装置101的处理器120(例如，图4中的第二电子装置400)可以通过使用包括图像传感器(例如，图1中的相机模块180、图2中的图像传感器230、图3中的图像传感器321、或图4中的图像传感器411)的相机来获取包括外部对象的第一图像。第一图像可以是原始图像(例如，图3中的原始图像322)和/或通过对原始图像进行处理或校正所获取的图像(例如，jpeg图像)。
118.根据实施例，第一图像可以是各种格式(例如bayer格式等)。第一图像可以针对每个像素由红(r)、绿(g)和蓝(b)中的一个来表示，并且可以由8到16位的位深度来表示。可以将各种滤色器阵列(cfa)图案应用于第一图像。第一图像可以具有包括关于每个像素的各
种颜色(例如，r、g和b的多种颜色)的信息的层结构。根据图像传感器的各种配置，第一图像不仅可以包括颜色信息(例如rgb)，还可以包括相位差信息。可以作为元数据生成与捕获图像相关的信息(例如，时间、位置、照度等)，并将其与第一图像相关联地存储。
119.在操作520中，根据实施例，电子装置101的处理器120可以通过使用第一图像的至少一部分来获取包括比第一图像少的信息的第二图像。第二图像可以是与原始图像相关的小图像(图3中的小原始图像326)和/或已处理图像(例如jpeg图像)的小图像。
120.根据实施例，处理器120可以通过减少第一图像中的数据来生成第二图像。例如，处理器120可以通过使用各种缩小方法或缩小采样方法从第一图像生成第二图像。由于处理器120调整第一图像的分辨率、通过一个或更多频带对第一图像进行滤波、和/或选择fir图像的一个或更多位平面级，所以第二图像的数据量可以小于第一图像的数据量。处理器120可以通过从第一图像中提取低频带来生成第二图像。处理器120可以通过从第一图像的多个位平面级中选择一些来生成第二图像。
121.在操作530中，根据实施例，电子装置101的处理器120可以通过通信模块(例如，图1中的通信模块190)将第二图像发送到外部电子装置300(例如，图1中的电子装置104或服务器108或图4中的第一电子装置470)。
122.根据实施例，处理器120可以将具有比第一图像小的容量的第二图像发送到外部电子装置300，使得外部电子装置300生成用于保护第一或第二图像的安全组分信息。根据实施例，处理器120可以从外部电子装置300请求安全组分信息，以便将第二图像划分为第一安全级别区域和需要比第一安全级别区域更高的安全性的第二安全级别区域。
123.根据实施例，安全组分信息可以用于将第二图像分成多个安全级别区域(例如，三个安全级别区域)。在这种情况下，多个服务器可以针对多个安全级别来处理第二图像。例如，第一服务器可以被配置为处理包括在第二图像中的第一安全级别区域，并且第二服务器可以被配置为处理第二安全级别区域。在另一个示例中，第三安全级别区域可以由电子装置101处理。
124.在操作540中，根据实施例，电子装置101的处理器120可以通过使用通信模块(例如，图1中的通信模块190)从外部电子装置300接收包括在第二图像中的安全信息。
125.根据实施例，外部电子装置300可以使用第二图像来识别至少一个图像区域。例如，外部电子装置300可以确定包括个人信息的至少一个图像区域(例如，安全区域)。
126.根据实施例，代替确定个人信息(例如，指纹信息、虹膜信息或面部信息)或除了其之外，外部电子装置300可以将对象识别算法或文本识别算法应用于第二图像，以便识别对象(例如，人)或识别对象的特定部位(例如，“人的面部”、“人的眼睛”或“人的手”)。例如，外部电子装置300可以识别第二图像中的对象(例如，驾驶证)，但是可以不确定包括在对象中的个人信息(例如，执照号码)。
127.根据实施例，外部电子装置300可以在安全信息中包括第二图像的被认为包括个人信息的至少一个图像区域(例如，“人的面部”、“人的眼睛”或“人的手”)，并且可以将其发送到电子装置101。根据实施例，安全信息可以包括被认为包括个人信息的至少一个图像区域的位置信息(例如，像素坐标)和/或每个图像区域的标识信息(例如，“人的面部”、“人的眼睛”或“人的手”)。
128.根据实施例，外部电子装置300可以将校正区域信息(例如校正区域信息332)连同
第二图像的安全信息一起发送到电子装置101。
129.在操作550中，根据实施例，电子装置101的处理器120可以至少部分地基于安全信息来保护第一图像。
130.根据实施例，处理器120可以至少部分地基于安全信息将第一图像划分为第一安全级别区域和第二安全级别区域。
131.根据实施例，处理器120可以生成安全密钥作为用于保护第一图像的方法的一部分并且将安全密钥存储在存储器中，可以基于安全密钥获取其中第一图像的第二安全级别区域已经被编码的第三图像，并且可以将第三图像发送到外部电子装置300。例如，处理器120可以通过对第一图像的第二安全级别区域进行镶嵌、掩码或加扰来获取第三图像。根据实施例，处理器120可以从外部电子装置300接收其中第三图像的第一安全级别区域已经被至少部分地校正的第四图像，并且可以使用存储在存储器130中的安全密钥获取其中已经对第四图像进行了解码的第五图像。
132.根据实施例，作为用于保护第一图像的方法的一部分，处理器120可以从第一图像中提取第一安全级别区域并生成包括第一安全级别区域的第三图像，并且可以从第一图像中提取第二安全级别区域并生成包括第二安全级别区域的安全区域图像。根据实施例，处理器120可以将第三图像发送到外部电子装置300，并且可以将安全区域图像存储在存储器130中。
133.根据实施例，处理器120可以从外部电子装置300接收其中已经至少部分地校正了第三图像的第四图像，并且通过使用第四图像和安全区域图像来获取第五图像。
134.图6是示出根据实施例的用于保护电子装置中的第一图像的方法的流程图。图6中的操作可以作为操作550的一部分或其全部被包括在图5中。
135.参照图6，在操作610中，根据实施例，电子装置101的处理器120可以基于安全密钥获取其中第一图像的第二安全级别区域已经被编码的第三图像。
136.根据实施例，包括在从外部电子装置300(例如，图1中的电子装置104或服务器108或图4中的第一电子装置470)接收的第二图像中的安全信息可以包括用于将第二图像划分为第一安全级别区域和/或需要比第一安全级别区域更高的安全性的第二安全级别区域的安全组分信息。处理器120可至少部分地基于安全信息或安全组分信息将第一图像划分为第一安全级别区域和第二安全级别区域。根据实施例，可以根据安全信息或安全组分信息将第一图像分成多个安全区域(例如，三个安全级别区域)。
137.根据实施例，处理器120可以基于从外部电子装置300接收的安全信息向用户提供指示至少一个安全区域的图像，并且可以基于选择至少一个安全区域的一部分或其整体的用户输入来确定第一安全级别区域和第二安全级别区域。例如，处理器可以在所提供的图像中显示至少一个安全区域(例如，“人的面部”、“人的眼睛”或“人的手”)，并且如果用户选择特定区域(例如，“人的眼睛”)，则可以将所选择的特定区域(例如，“人的眼睛”)指定为第二安全级别区域。
138.根据实施例，处理器120可以接收指定除了所提供的图像内的至少一个安全区域之外的另外区域(例如，图像的显示文档的区域)的用户输入，并且可以将所指定的另外区域确定为第二安全级别区域。
139.根据实施例，处理器120可以生成安全密钥，然后可以将安全密钥存储在存储器
中。处理器120可以通过使用安全密钥和散列函数从第一图像生成已编码的第三图像。
140.在操作620中，根据实施例，电子装置101的处理器120可以通过通信模块(例如，图1中的通信模块190)将第三图像发送到外部电子装置300(例如，图1中的电子装置104或服务器108或者图4中的第一电子装置470)。例如，第三图像可以具有已经被镶嵌、掩码和加扰的第二安全级别区域。
141.在操作630中，根据实施例，电子装置101的处理器120可以通过通信模块(例如，图1中的通信模块190)从外部电子装置300接收其中第三图像的第一安全级别区域被校正了的第四图像。
142.根据实施例，外部电子装置300可以校正第一安全级别区域的至少一部分。例如，外部电子装置300可以通过使用现有的所生成的校正区域信息(例如，校正区域信息332)来校正第一安全级别区域，或者可以通过使用扩展校正区域信息来校正第一安全级别区域。外部电子装置300没有用于第三图像的安全密钥，因此可以不确定第二安全级别区域。例如，外部电子装置300可以不校正第二安全级别区域。
143.在操作640中，根据实施例，电子装置101的处理器120可以基于存储在存储器130中的安全密钥对第四图像进行解码，然后获取第五图像。
144.根据实施例，处理器120可以仅通过对第四图像进行解码来获取第五图像。例如，处理器120可以对第四图像中的第二安全级别区域进行解调、解掩码或解扰。根据实施例，处理器120可以对第四图像进行解码然后使用校正区域信息(例如，校正区域信息332)来校正第二安全级别区域，从而获取第五图像。第五图像可以存储在存储器130中。
145.图7是示出根据实施例的用于保护电子装置中的第一图像的方法的流程图。图7中的操作可以作为操作550的一部分或其全部被包括在图5中。
146.参照图7，在操作710中，根据实施例，电子装置101的处理器120可以从第一图像中提取第一安全级别区域，并生成包括第一安全级别区域的第三安全级别区域。
147.根据实施例，包括在从外部电子装置300(例如，图1中的电子装置104或服务器108或图4中的第一电子装置470)接收的第二图像中的安全信息可以包括用于将第二图像划分为第一安全级别区域和/或需要比第一安全级别区域更高的安全性的第二安全级别区域的安全组分信息。处理器120可以至少部分地基于安全信息或安全组分信息将第一图像划分为第一安全级别区域和第二安全级别区域。根据实施例，安全信息可以用于将第一图像分成多个安全区域(例如，三个安全级别区域)。
148.根据实施例，处理器120可以基于从外部电子装置300接收的安全信息向用户提供指示至少一个安全区域的图像，并且可以基于选择至少一个安全区域的一部分或其整体的用户输入将第一安全级别区域和第二安全级别区域彼此分开。例如，处理器可以在所提供的图像中显示至少一个安全区域(例如，“人的面部”、“人的眼睛”或“人的手”)，并且如果用户选择了特定区域(例如，“人的眼睛”)，则可以将所选择的特定区域(例如，“人的眼睛”)指定为第二安全级别区域。
149.根据实施例，处理器120可以接收指定所提供的图像内的除了至少一个安全区域之外的另外区域(例如，图像的显示文档的部分)的用户输入，并且可以将所指定的另外区域确定为第二安全级别区域。
150.根据实施例，处理器120可以至少部分地基于安全信息来提取第一安全区域。例
如，第三图像可以仅包括第一图像内的第一安全区域。
151.在操作720中，根据实施例，电子装置101的处理器120可以从第一图像中提取第二安全级别区域，并生成包括第二安全级别区域的安全区域图像。
152.根据实施例，处理器120可以至少部分地基于安全信息来提取第二安全级别区域。例如，安全区域图像可以仅包括第一图像内的第二安全级别区域。在该示例中，可以从第三图像中去除安全区域图像。
153.在操作730中，根据实施例，电子装置101的处理器120可以通过通信模块(例如，图1中的通信模块190)将第三图像发送到外部电子装置300。
154.在操作740中，根据实施例，电子装置101的处理器120可以通过通信模块(例如，图1中的通信模块190)从外部电子装置300接收其中第三图像的至少一部分被校正了的第四图像。
155.根据实施例，外部电子装置300可以校正包括第一安全区域的第三图像的至少一部分。例如，外部电子装置300可以通过使用现有的所生成的校正区域信息(例如，校正区域信息332)来校正第三图像，或者可以通过使用扩展校正区域信息来校正第三图像。
156.在操作750中，根据实施例，电子装置101的处理器120可以通过使用第四图像和安全区域图像来获取第五图像。
157.根据实施例，处理器120可以通过合成第四图像和安全区域图像来获取第五图像。根据实施例，处理器120可以通过使用校正区域信息(例如，校正区域信息332)来校正包括第二安全级别区域的安全区域图像，并且可以通过合成第四图像和经校正的安全区域图像来获取第五图像。第五图像可以存储在存储器130中。
158.根据实施例，用于保护包括在图像中的个人信息的方法可以包括：通过使用包括图像传感器的相机来获取包括外部对象的第一图像(操作510)；通过使用第一图像的至少一部分来获取包括比第一图像少的信息的第二图像(操作520)；通过通信模块将第二图像发送到外部电子装置(操作530)；通过通信模块从外部电子装置接收与第二图像对应的安全信息(操作540)；以及至少部分地基于所述安全信息来保护第一图像(操作550)。
159.根据实施例，对应于第二图像的安全信息可以涉及外部对象的至少一个生物信息区域。
160.根据实施例，所述保护(操作550)可以包括：至少部分地基于安全信息将第一图像划分为第一安全级别区域和第二安全级别区域。
161.根据实施例，用于保护包括在图像中的个人信息的方法可以包括：生成安全密钥并将安全密钥存储在存储器中；基于安全密钥获取已经对第一图像的第二安全级别区域进行了编码的第三图像(操作610)；以及将所述第三图像发送到所述外部电子装置(操作620)。
162.根据实施例，用于保护包括在图像中的个人信息的方法可以包括：从外部电子装置接收其中第三图像的第一安全级别区域已经被至少部分地校正的第四图像(操作630)；以及使用存储在存储器中的安全密钥获取其中对第四图像进行了解码的第五图像(操作640)。
163.根据实施例，用于保护包括在图像中的个人信息的方法可以包括：从第一图像中提取第一安全级别区域，并且生成包括第一安全级别区域的第三图像(操作710)；以及从所
述第一图像中提取所述第二安全级别区域，并基于所述第二安全级别区域生成安全区域图像(操作720)。
164.根据实施例，用于保护包括在图像中的个人信息的方法可以包括：将第三图像发送到外部电子装置；将所述安全区域图像存储在所述存储器中。
165.根据实施例，用于保护包括在图像中的个人信息的方法可以包括：从外部电子装置接收其中第三图像已经被至少部分地校正的第四图像(操作740)；以及通过合成第四图像和安全区域图像来获取第五图像(操作750)。
166.图8是示出根据实施例的在系统中用于保护包括在图像中的个人信息的方法的流程图。
167.参照图8，在操作811中，根据实施例，电子装置101可以通过使用图像传感器(例如，图1中的相机模块180、图2中的图像传感器230、图3中的图像传感器321、或图4中的图像传感器411)来获取包括外部对象的第一图像。
168.在操作813中，根据实施例，电子装置101可以通过使用第一图像的至少一部分来获取包括比第一图像少的信息的第二图像。
169.在操作815中，根据实施例，电子装置101可以通过通信模块将第二图像发送到外部电子装置300(例如，图1中的电子装置104或服务器108或图4中的第一电子装置470)。
170.在操作817中，根据实施例，外部电子装置300可以基于第二图像提取被认为包括个人信息的至少一个图像区域(例如，安全区域)。例如，外部电子装置300可以对第二图像应用对象识别算法或文本识别算法，以便识别对象(例如，人)或识别对象的特定区域(例如，“人的面部”、“人的眼睛”或“人的手”)。
171.在操作819中，根据实施例，外部电子装置300可以将包括在第二图像中的安全信息发送到电子装置101。根据实施例，安全信息可以包括至少一个图像区域的位置信息(例如，像素坐标)，该至少一个图像区域被认为包括个人信息或每个图像区域的标识信息(例如，“人的面部”、“人的眼睛”或“人的手”)。
172.在操作821中，根据实施例，电子装置101可以至少部分地基于第一图像和安全信息来获取第三图像。根据实施例，电子装置101可以基于安全密钥获取其中已经对第一图像的第二安全级别区域进行了编码的第三图像。根据实施例，电子装置101可以从第一图像中提取第一安全级别区域，并且可以生成包括第一安全级别区域的第三图像。
173.在操作823中，根据实施例，电子装置101可以通过通信模块(例如，图1中的通信模块190)将第三图像发送到外部电子装置300。
174.在操作825中，根据实施例，外部电子装置300可以校正包括第一安全级别区域的第三图像的至少一部分以获取第四图像。
175.在操作827中，根据实施例，外部电子装置300可以将第四图像发送到电子装置101。
176.在操作829中，根据实施例，电子装置101可以通过使用第四图像来获取第五图像。根据实施例，处理器120可以仅通过解码第四图像来获取第五图像。根据另一个实施例，处理器120可以通过合成第四图像和安全区域图像来获取第五图像。第五图像可以存储在电子装置101的存储器130中。
177.根据实施例，电子装置(例如，图1中的电子装置104或服务器108、图3中的外部电
子装置300或图4中的第一电子装置470)可以包括：通信模块；存储器(例如，图3中的存储器335)；以及可操作地连接到通信模块和存储器的处理器(例如，图3中的isp 333或图4中的处理器471)。存储器存储指令，所述指令在被执行时使得处理器：通过通信模块从外部电子装置(例如，图1中的电子装置101或图4中的第二电子装置400)接收图像；识别图像中的至少一个图像区域；至少部分地基于所述识别的结果，确定包括在所述图像中并且与所述至少一个图像区域相关联的安全信息；通过通信模块向外部电子装置发送安全信息。
178.图9a示出根据实施例的用于保护个人信息的方法的示例，图9b示出根据实施例的用于保护个人信息的方法的示例，以及图9c示出根据实施例的用于保护个人信息的方法的示例。
179.图9a示出包括外部对象911的第二图像901(例如，图3中的小原始图像326)。通过使用第一图像的包括外部对象911的至少一部分，处理器120可以获取包括比第一图像少的信息的第二图像901。
180.图9b示出用于指示至少一个安全区域的图像921。基于从外部电子装置300接收的安全信息，处理器120可以向用户提供指示至少一个安全区域(例如，“人的眼睛931”、“人的耳朵933”或“人的手935”)的图像921。根据实施例，处理器120可以将第一图像分成第一安全级别区域和第二安全级别区域，而不向用户提供图像921。例如，处理器可以将对应于“人的眼睛931”、“人的耳朵933”或“人的手935”的区域指定为第二安全级别区域。
181.图9c示出其中第一图像的第二安全级别区域已经基于安全密钥被编码的第三图像941。根据实施例，处理器120可以确定选择通过所提供的图像提供的至少一个安全区域的一部分或全部的用户输入，并且可以将第一安全级别区域和第二安全级别区域彼此分开。例如，如果用户从图像中提供的至少一个安全区域(例如，“人的眼睛931”、“人的耳朵933”或“人的手935”)中选择特定区域(例如，人的眼睛931)，则处理器120可以将对应于“人的眼睛931”的区域确定为第二安全级别区域。此外，根据实施例，处理器120可以在将第一图像划分为第一安全级别区域和第二安全级别区域之后获取第三图像941。根据实施例，第三图像941可具有已被镶嵌、掩码(951)或加扰的第二安全级别区域。
182.根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
183.应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多事物，除非相关上下文另有明确指示。如这里所使用的，诸如“a或b”、“a和b中的至少一个”、“a或b中的至少一个”、“a、b或c”、“a、b和c中的至少一个”以及“a、b或c中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一个元件(例
如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一个元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
184.如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(asic)的形式来实现模块。
185.可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多其它部件的情况下调用存储在存储介质中的所述一个或更多指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多指令可包括由编译器生成的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
186.根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(cd
‑
rom))的形式来发布计算机程序产品，或者可经由应用商店(例如，playstore
tm
)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时生成的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
187.根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述部件中的一个或更多部件，或者可添加一个或更多其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多操作可按照不同的顺序来运行或被省略，或者可添加一个或更多其它操作。
188.本公开的某些上述实施例可以以硬件、固件或来实现，或者经由可以存储在诸如cd rom、数字多功能盘(dvd)、磁带、ram、软盘、硬盘或磁光盘中的软件或计算机代码或者最初存储在远程记录介质或非暂时性机器可读介质上、通过网络被下载并存储在本地记录介质上的计算机代码的执行来实现，使得本文描述的方法可以通过使用通用计算机或专用处理器或可编程或专用硬件(例如asic或fpga)经由存储在记录介质上的这种软件来呈现。如
本领域中将理解的，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储器组件，例如，ram、rom、闪存等，这些软件或计算机代码在被计算机、处理器或硬件访问和执行时实现本文描述的处理方法。
189.虽然已经参考本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的情况下，可以在形式和细节上进行各种改变。