用于通过使用红外传感器调整图像数据的颜色的电子装置和方法与流程

1.本公开涉及一种用于通过使用红外传感器来调整图像数据的颜色的电子装置和方法。


背景技术：

2.随着近年来数字技术的发展，各种类型的电子装置(诸如移动通信终端、智能电话、平板个人计算机(pc)、电子管理器、个人数字助理(pda)、可穿戴装置等)正在被广泛使用。电子装置可以包括用于捕获主体的一个或更多个相机。到达相机的外部光可以由电子装置的图像传感器和/或其图像信号处理器(isp)进行电处理。
3.上述信息仅作为背景技术信息呈现，以帮助理解本公开。关于上述内容中的任何一个是否可以作为关于本公开的现有技术而适用，没有做出任何确定，也没有做出断言。


技术实现要素：

4.问题的解决方案
5.本公开的各方面在于至少解决上述问题和/或缺点，并且至少提供下面描述的优点。因此，本公开的一个方面在于提供一种用于通过使用红外传感器来调整图像数据的颜色的电子装置和方法。
6.到达电子装置的相机的图像传感器的外部光可能由外部光穿过的镜头和/或红外滤光器而失真。电子装置可以基于外部光的亮度及其色温来补偿失真。为了使电子装置更精确地补偿由镜头和/或红外滤光器引起的外部光的失真，电子装置可能需要一种基于外部光中包括的红外光的强度来补偿失真的方法。
7.本文档寻求实现的技术解决方案不限于上述技术解决方案，并且本领域普通技术人员将能够从以下陈述中清楚地理解上面未提到的其他技术解决方案。
8.另外的方面将部分地在下面的描述中阐述，并且部分地将从描述中显而易见，或者可以通过实践所呈现的实施例而被获知。
9.根据本公开的一个方面，提供了一种电子装置。所述电子装置包括：镜头；红外滤光器；图像传感器；红外传感器；以及至少一个处理器，可操作地耦接到图像传感器和红外传感器。所述至少一个处理器从图像传感器接收基于穿过所述镜头和所述红外滤光器并到达所述图像传感器的外部光的图像数据，并且至少基于红外传感器的传感器数据来识别包括在外部光中的红外光的强度，并且响应于对红外光的强度的识别，至少基于红外光的强度来调整图像数据的至少一部分的颜色。
10.根据本公开的另一方面，提供了一种电子装置的方法。所述方法包括从图像传感器接收基于穿过所述电子设备的镜头和红外滤光器并到达所述电子设备的图像传感器的外部光的图像数据，并且至少基于电子装置的红外传感器的传感器数据来识别包括在外部光中的红外光的强度，并且响应于对红外光的强度的识别，至少基于红外光的强度来调整
图像数据的至少一部分的颜色。
11.根据本公开的另一方面，提供了一种电子装置。所述电子装置包括图像传感器、红外传感器和至少一个处理器，所述至少一个处理器可操作地耦接到图像传感器和红外传感器。所述至少一个处理器从图像传感器接收第一图像数据，并且响应于接收到第一图像数据，识别第一图像数据的亮度和色温，并且识别来自红外传感器的与第一图像数据相关的外部光中包括的红外光的强度，并且基于识别的亮度、色温或红外光的强度中的至少一个来调整在接收到第一图像数据之后从图像传感器接收的第二图像数据的至少一部分的颜色。
12.各种实施例的电子装置及其方法可以通过基于外部光中包括的红外光的强度更准确地补偿或校正由镜头和/或红外滤光器引起的外部光的失真来提供质量增强的图像数据。
13.根据以下结合附图公开了本公开的各种实施例的详细描述，本公开的其他方面、优点和显著特征对于本领域技术人员将变得显而易见。
附图说明
14.通过以下结合附图的描述，本公开的某些实施例的上述和其他方面、特征和优点将更加明显，其中：
15.图1是根据本公开的实施例的网络环境内的电子装置的框图。
16.图2是示出根据本公开的实施例的相机模块的框图。
17.图3a和图3b是示出根据本公开的各种实施例的电子装置中包括的硬件组件的图。
18.图4是示出根据本公开的实施例的由电子装置的处理器执行的操作的框图。
19.图5a和图5b是示出根据本公开的各种实施例的由电子装置的图像传感器提供的镜头阴影的图。
20.图6是示出根据本公开的实施例的电子装置的操作的流程图。
21.图7是示出根据本公开的实施例的电子装置执行以便调整图像数据的颜色的操作的流程图。
22.图8a和图8b是示出根据本公开的各种实施例的由电子装置使用的镜头阴影校正(lsc)信息的图。
23.图9a和图9b是示出根据本公开的各种实施例的电子装置基于外部光的亮度选择lsc信息的操作的图。
24.图10是示出根据本公开的实施例的电子装置基于外部光的色温选择lsc信息的操作的图。
25.图11是示出根据本公开的实施例的电子装置的操作的流程图。
26.在整个附图中，应当注意，相同的附图标记被用于描绘相同或相似的元件、特征和结构。
具体实施方式
27.提供参考附图的以下描述以帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。它包括各种具体细节以帮助理解，但是这些细节仅被认为是示例性的。因
此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种实施例进行各种改变和修改。此外，为了清楚和简明，可以省略对众所周知的功能和结构的描述。
28.在以下描述和权利要求书中使用的术语和词语不限于书面含义，而是仅由发明人使用以使得能够清楚且一致地理解本公开。因此，对于本领域技术人员显而易见的是，提供本公开的各种实施例的以下描述仅用于说明目的，而不是为了限制由所附权利要求及其等同物限定的本公开的目的。
29.应当理解，除非上下文另有明确规定，否则单数形式包括复数指示物。因此，例如，对“组件表面”的引用包括对一个或更多个这样的表面的引用。
30.在文档中，表述“具有”、“可以具有”、“包括”、“可以包括”等指示对应特征(例如，诸如数值、功能、操作、部件等的组成元件)的存在，并且不排除附加特征的存在。
31.在文档中，表述“a或b”、“a或/和b中的至少一个”、“a或/和b中的一个或更多个”等可以包括一起列举的项目的所有可用组合。例如，“a或b”、“a和b中的至少一个”或“a或b中的至少一个”可以表示全部(1)包括至少一个a、(2)包括至少一个b或(3)包括至少一个a和至少一个b中的全部。
32.表述“第一”、“第二”、“第一”、“第二”等可以使用各种组成元件，而不管顺序和/或重要性如何，并且仅用于将组成元件与另一组成元件区分开，并且不限制对应的组成元件。例如，第一用户装置和第二用户装置可以表示相互不同的用户装置，而不管顺序或重要性如何。例如，在不脱离文档中提到的权利的范围的情况下，第一组成元件可以被命名为第二组成元件。可能的是，甚至第二组成元件也可以与第一组成元件互换地命名。
33.当提到一些组成元件(例如，第一组成元件)与另一组成元件(例如，第二组成元件)“(可操作地或通信地)耦接/耦接到”或“连接到”另一组成元件(例如，第二组成元件)时，必须理解的是，一些组成元件可以直接耦接到另一组成元件，或者通过另一组成元件(例如，第三组成元件)耦接到另一组成元件。另一方面，当提到一些组成元件(例如，第一组成元件)“直接耦接到”或“直接连接到”另一组成元件(例如，第二组成元件)时，可以理解，在一些组成元件和另一组成元件之间不存在另一组成元件(例如，第三组成元件)。
34.根据上下文，在文档中使用的表述“被配置(或设置)为～”可以与例如“适合于～”、“具有～的能力”、“被设计为～”、“适于～”、“被制造为～”或“能够～”互换使用。术语“被配置(或设置)为”可能不一定仅意味着在硬件中“专门设计为”。相反，在一些上下文中，表述“被配置为～的装置”可以意指该装置与其他装置或部分一起“能够～”。例如，短语“被配置(或设置)为执行a、b和c的处理器”可以表示用于执行相应操作的专用处理器(例如，嵌入式处理器)，或者能够通过执行存储在存储器装置中的一个或更多个软件程序来执行相应操作的通用处理器(例如，中央处理单元(cpu)或应用处理器(ap))。
35.文档中使用的术语是仅用于解释特定实施例的术语，并且可不旨在限制其他实施例的范围。本文使用的术语(包括技术或科学术语)可以具有与本文中提及的本领域普通技术人员通常理解的含义相同的含义。在文档中使用的术语中，通用词典中定义的术语可以被解释为具有与相关技术的上下文含义相同或相似的含义，并且不被解释为具有理想或过于形式化的含义，除非在文档中明确定义。根据情况，即使文档中定义的术语也不能被解释为排除文档的实施例。
36.文档的各种实施例的电子装置可以例如包括智能电话、平板个人计算机(pc)、移动电话、视频电话、电子书(e
‑
book)阅读器、台式pc、膝上型pc、上网本计算机、工作站、服务器、个人数字助理(pda)、便携式多媒体播放器(pmp)、运动图像专家组(mpeg
‑
1或mpeg
‑
2)音频层3(mp3)播放器、移动医疗装置、相机或可穿戴装置中的至少一个。根据本公开的各种实施例，可穿戴装置可以包括配件类型(例如，手表、戒指、腕带、脚链、项链、眼镜、隐形眼镜、头戴式装置(hmd)等)、织物或服装集成类型(例如，电子服装)、身体安装类型(例如，皮肤垫或纹身)或生物植入物类型(例如，可植入电路)中的至少一种。
37.在本公开的一些实施例中，电子装置可以是家用电器。家用电器可以例如包括电视(tv)、数字视频盘(dvd)播放器、音频系统、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、tv盒(例如，samsung homesync
tm
、apple tv
tm
或google tv
tm
)、游戏机(例如，xbox
tm
、playstation
tm
)、电子词典、电子锁定系统、摄像机或电子相框中的至少一个。
38.在本公开的另一实施例中，电子装置可以包括各种医疗装置(例如，各种便携式医疗测量装置(即，血糖测量装置、心率测量装置、血压测量装置、体温测量装置等)、磁共振血管造影术(mra)、磁共振成像(mri)、计算机断层扫描(ct)、摄影机、超声机等)、导航装置、全球导航卫星系统(gnss)、事件数据记录器(edr)、飞行数据记录器(fdr)、车载信息娱乐装置等)、船用电子装置(例如，船用导航装置、陀螺罗盘等)、航空电子设备、安全装置、汽车头部单元、工业或家庭机器人、金融机构的自动柜员机(atm)、商店的销售点(pos)或物联网(iot)装置(例如，电灯泡、各种传感器、电表或煤气表、喷淋装置、火警、恒温器、路灯、烤面包机、锻炼器具、热水箱、加热器、锅炉等)中的至少一种。
39.根据本公开的一些实施例，电子装置可以包括家具或建筑物/结构的部分、电子板、电子签名接收装置、投影仪或各种计量装置(例如，自来水、电力、燃气或无线电波计量装置等)中的至少一个。在本公开的各种实施例中，电子装置可以是上述各种装置中的一个或更多个的组合。一些实施例的电子装置可以是柔性电子装置或可折叠电子装置。另外，本文档的实施例的电子装置不限于上述装置，并且可以包括基于技术发展的新电子装置。
40.在该文档中，术语“用户”可以表示使用电子装置的人或使用电子装置的装置(例如，人工智能电子装置)。
41.下面参考附图描述各种实施例。然而，为了便于描述，附图中的组成元件的尺寸可能被夸大或缩小。例如，为了便于描述，任意示出了附图中所示的每个组成元件的尺寸和厚度，因此，本公开不一定限于所示的附图。
42.图1是示出根据本公开的实施例的网络环境内的电子装置的框图。
43.参照图1，网络环境100中的电子装置101可以经由第一网络198(例如，短距离无线通信网络)与电子装置102通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108通信。根据本公开的实施例，电子装置101可以经由服务器108与电子装置104通信。根据本公开的实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(sim)196或天线模块197。在本公开的一些实施例中，可以从电子装置101中省略所述组件中的至少一个(例如，显示装置160或相机模块180)，或者可以在电子装置101中添加一个或更多个其他组
件。在本公开的一些实施例中，一些组件可以被实现为单个集成电路。例如，传感器模块176(例如，指纹传感器、虹膜传感器或照度传感器)可以被实现为嵌入在显示装置160(例如，显示器)中。
44.处理器120可以运行例如软件(例如，程序140)以控制与处理器120耦接的电子装置101的至少一个其他组件(例如，硬件组件或软件组件)，并且可以执行各种数据处理或计算。根据本公开的一个实施例，作为数据处理或计算的至少部分，处理器120可以将从另一组件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据本公开的实施例，处理器120可以包括主处理器121(例如，中央处理单元(cpu)或应用处理器(ap))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(gpu)、图像信号处理器(isp)、传感器中枢处理器或通信处理器(cp))。另外地或可选地，辅助处理器123可被适配为比主处理器121消耗更少的功率，或者被适配为用于指定的功能。辅助处理器123可以被实现为与主处理器121分离或主处理器121的部分。
45.在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可控制与电子装置101的组件中的至少一个组件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起控制与电子装置101的组件中的至少一个组件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据本公开的实施例，辅助处理器123(例如，图像信号处理器或通信处理器)可以被实现为在功能上与辅助处理器123相关的另一组件(例如，相机模块180或通信模块190)的部分。
46.存储器130可以存储由电子装置101的至少一个组件(例如，处理器120或传感器模块176)使用的各种数据。各种数据可以包括例如软件(例如，程序140)和针对与其相关的命令的输入数据或输出数据。存储器130可以包括易失性存储器132或非易失性存储器134。
47.程序140可以作为软件被存储在存储器130中，并且可以包括例如操作系统(os)142、中间件144或应用146。
48.输入装置150可以从电子装置101的外部(例如，用户)接收将由电子装置101的另一组件(例如，处理器120)使用的命令或数据。输入装置150可以包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔)。
49.声音输出装置155可以将声音信号输出到电子装置101的外部。声音输出装置155可以包括例如扬声器或接收器。扬声器可以用于诸如播放多媒体或播放唱片的通用目的，并且接收器可以用于呼入呼叫。根据本公开的实施例，接收器可以被实现为与扬声器分离或作为扬声器的部分。
50.显示装置160可以向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可以包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据本公开的实施例，显示装置160可以包括被适配为检测触摸的触摸电路，或者被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
51.音频模块170可以将声音转换为电信号，反之亦然。根据本公开的实施例，音频模
块170可以经由输入装置150获得声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)或无线耦接的外部电子装置(例如，电子装置102)的耳机输出声音。
52.传感器模块176可以检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后生成与检测到的状态相应的电信号或数据值。根据本公开的实施例，传感器模块176可以包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(ir)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
53.接口177可以支持将用于电子装置101直接(例如，有线地)或无线地与外部电子装置(例如，电子装置102)耦接的一个或更多个特定协议。根据本公开的实施例，接口177可以包括例如高清晰度多媒体接口(hdmi)、通用串行总线(usb)接口、安全数字(sd)卡接口或音频接口。
54.连接端178可以包括连接器，电子装置101可以经由该连接器与外部电子装置(例如，电子装置102)物理连接。根据本公开的实施例，连接端178可以包括例如hdmi连接器、usb连接器、sd卡连接器或音频连接器(例如，耳机连接器)。
55.触觉模块179可以将电信号转换成可以由用户经由他的触感或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据本公开的实施例，触觉模块179可以包括例如电机、压电元件或电刺激器。
56.相机模块180可以捕获静止图像或运动图像。根据本公开的实施例，相机模块180可以包括一个或更多个镜头、图像传感器、图像信号处理器或闪光灯。
57.电力管理模块188可管理供应给电子装置101的电力。根据本公开的实施例，电力管理模块188可以被实现为例如电力管理集成电路(pmic)的至少部分。
58.电池189可以向电子装置101的至少一个组件供电。根据本公开的实施例，电池189可以包括例如不可再充电的原电池、可再充电的蓄电池或燃料电池。
59.通信模块190可以支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并且经由建立的通信信道执行通信。通信模块190可以包括可独立于处理器120(例如，应用处理器(ap))操作的一个或更多个通信处理器并且支持直接(例如，有线)通信或无线通信。根据本公开的实施例，通信模块190可以包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(gnss)通信模块)或有线通信模块194(例如，局域网(lan)通信模块或电力线通信(plc)模块)。这些通信模块中的相应一个可以经由第一网络198(例如，诸如蓝牙
tm
、无线保真(wi
‑
fi)直连或红外数据协会(irda)的短程通信网络)或第二网络199(例如，诸如蜂窝网络、互联网或计算机网络(例如，lan或广域网(wan))的远程通信网络)与外部电子装置通信。这些各种类型的通信模块可以被实现为单个组件(例如，单个芯片)，或者可以被实现为彼此分离的多个组件(例如，多个芯片)。无线通信模块192可以使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(imsi))来识别和认证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
60.天线模块197可以向电子装置101的外部(例如，外部电子装置)发送信号或电力或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据本公开的实施例，天线模块197可以包括天线，该天线包括辐射元件，该辐射元件包括形成在基底(例如，印刷电
路板(pcb))中或基底上的导电材料或导电图案。根据本公开的实施例，天线模块197可以包括多个天线。在这种情况下，可以例如由通信模块190(例如，无线通信模块192)从多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。然后可以经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据本公开的实施例，除了辐射元件之外的另一组件(例如，射频集成电路(rfic))可以另外形成为天线模块197的部分。
61.上述组件中的至少一些可以经由外围通信方案(例如，总线、通用输入和输出(gpio)、串行外围接口(spi)或移动工业处理器接口(mipi))相互耦接并且在它们之间传送信号(例如，命令或数据)。
62.根据本公开的实施例，可以经由与第二网络199耦接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型或不同类型的装置。根据本公开的实施例，可以在外部电子装置102、104或#08中的一个或更多个处运行要在电子装置101处运行的全部或一些操作。例如，如果电子装置101应该自动执行功能或服务，或者响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可以请求一个或更多个外部电子装置执行功能或服务的至少部分，而不是运行功能或服务，或者电子装置101除了运行功能或服务之外，还可以请求一个或更多个外部电子装置执行功能或服务的至少部分。接收到请求的一个或更多个外部电子装置可以执行所请求的功能或服务的至少部分，或者执行与请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可以在对结果进行进一步处理的情况下或不对结果进行进一步处理的情况下提供结果，作为对请求的回复的至少部分。为此，例如，可以使用云计算、分布式计算或客户端
‑
服务器计算技术。
63.图2是示出根据本公开的实施例的相机模块的框图。
64.参照图1和图2，相机模块180可以包括镜头组件210、闪光灯220、图像传感器230、图像稳定器240、存储器250(例如，缓冲存储器)或图像信号处理器260。镜头组件210可以收集从将拍摄其图像的物体发射或反射的光。镜头组件210可以包括一个或更多个镜头。根据本公开的实施例，相机模块180可以包括多个镜头组件210。在这种情况下，相机模块180可以形成例如双相机、360度相机或球面相机。多个镜头组件210中的一些可以具有相同的镜头属性(例如，视角、焦距、自动聚焦、f数或光学变焦)，或者至少一个镜头组件可以具有与另一镜头组件的镜头属性不同的一个或更多个镜头属性。镜头组件210可以包括例如广角镜头或长焦镜头。
65.闪光灯220可以发射被用于增强从物体反射的光的光。根据本公开的实施例，闪光灯220可以包括一个或更多个发光二极管(led)(例如，红
‑
绿
‑
蓝(rgb)led、白光led、红外(ir)led或紫外(uv)led)或氙气灯。图像传感器230可通过将从物体发射或反射并经由镜头组件210透射的光转换为电信号来获得与物体对应的图像。根据本公开的实施例，图像传感器230可包括从具有不同属性的图像传感器(诸如rgb传感器、黑白(bw)传感器、ir传感器或uv传感器)、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器中选出的一个传感器。图像传感器230中包括的每个图像传感器可以使用例如电荷耦合器件(ccd)传感器或互补金属氧化物半导体(cmos)传感器来实现。
66.图像稳定器240可以在特定方向上移动图像传感器230或包括在镜头组件210中的
至少一个镜头，或者响应于相机模块180或包括相机模块180的电子装置101的移动来控制图像传感器230的操作属性(例如，调整读出时机)。这允许补偿由正在被捕获的图像上的移动引起的负面影响(例如，图像模糊)的至少一部分。根据本公开的实施例，图像稳定器240可以使用布置在相机模块180内部或外部的陀螺仪传感器(未示出)或加速度传感器(未示出)来检测相机模块180或电子装置101的这种移动。根据本公开的实施例，图像稳定器240可以被实现为例如光学图像稳定器。
67.存储器250可以至少临时地存储经由图像传感器230获得的图像的至少一部分以用于后续图像处理任务。例如，如果图像捕获由于快门滞后而延迟或者多个图像被快速捕获，则可以将获得的原始图像(例如，拜耳模式(bayer
‑
patterned)图像、高分辨率图像)存储在存储器250中，并且可以经由显示装置160预览其对应的复制图像(例如，低分辨率图像)。此后，如果满足指定条件(例如，通过用户的输入或系统命令)，则可以例如通过图像信号处理器260获得并处理存储在存储器250中的原始图像的至少一部分。根据本公开的实施例，存储器250可以被配置为存储器130的至少一部分，或者被配置为独立于存储器130操作的单独存储器。
68.图像信号处理器260可关于经由图像传感器230获得的图像或存储在存储器250中的图像执行一个或更多个图像处理。一个或更多个图像处理可以包括例如深度图生成、三维(3d)建模、全景生成、特征点提取、图像合成或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊、锐化或软化)。另外地或可选地，图像信号处理器260可以关于相机模块180中包括的组件中的至少一个(例如，图像传感器230)执行控制(例如，曝光时间控制或读出时机控制)。由图像信号处理器260处理的图像可以被存储回存储器250中以进行进一步处理，或者可以被提供给相机模块180外部的外部组件(例如，存储器130、显示装置160、电子装置102、电子装置104或服务器108)。根据本公开的实施例，图像信号处理器260可以被配置为处理器120的至少一部分，或者被配置为独立于处理器120操作的单独处理器。如果图像信号处理器260被配置为与处理器120分离的处理器，则由图像信号处理器260处理的至少一个图像可以由处理器120经由显示装置160原样显示或在被进一步处理之后显示。
69.根据本公开的实施例，电子装置101可以包括具有不同属性或功能的多个相机模块180。在这种情况下，多个相机模块180中的至少一个可以形成例如广角相机，并且多个相机模块180中的至少另一个可以形成长焦相机。类似地，多个相机模块180中的至少一个可以形成例如前置相机，并且多个相机模块180中的至少另一个可以形成后置相机。
70.根据各种实施例的电子装置可以是各种类型的电子装置中的一种。电子装置可以包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于上述那些。
71.应当理解的是，本公开的各种实施例和其中使用的术语不旨在将本文阐述的技术特征限制于特定实施例，并且包括针对相应实施例的各种改变、等同形式或替换形式。关于附图的描述，类似的附图标记可以用于指代类似或相关的元件。如本文所使用的，诸如“a或b”、“a和b中的至少一个”、“a或b中的至少一个”、“a、b或c”、“a、b和c中的至少一个”和“a、b或c中的至少一个”的短语中的每个短语可以包括在相应的一个短语中一起列举的项中的任何一个或所有可能的组合。如本文所使用的，诸如“第1”和“第2”或“第一”和“第二”之类的术语可以被用于简单地将相应的组件与另一个组件区分开，并且不在其他方面(例如，重
要性或顺序)限制组件。应当理解，如果元件(例如，第一元件)在有术语“可操作地”或“通信地”的情况下或没有术语“可操作地”或“通信地”的情况下被称为“与另一元件(例如，第二元件)耦接”、“耦接到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着该元件可以与另一元件直接(例如，有线地)耦接、与另一元件无线地耦接或经由第三元件与另一元件耦接。
72.如本文所使用的，术语“模块”可以包括以硬件、软件或固件实现的单元，并且可以与其他术语(例如“逻辑”、“逻辑块”、“部分”或“电路”)互换使用。模块可以是被适配为执行一个或更多个功能的单个集成组件或是单个集成组件的最小单元或部分。例如，根据本公开的实施例，模块可以以专用集成电路(asic)的形式被实现。
73.本文阐述的各种实施例可以被实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，机器(例如，电子装置101)的处理器(例如，处理器120)可以在使用或不使用一个或更多个其他组件的情况下调用存储在存储介质中的一个或更多个指令中的至少一个指令并运行所述至少一个指令。这允许操作机器以根据所调用的至少一个指令执行至少一个功能。一个或更多个指令可以包括由编译器生成的代码或可由解释器运行的代码。机器可读存储介质可以以非暂时性存储介质的形式被提供。其中，术语“非暂时性”仅意味着存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语不在数据被半永久地存储在存储介质中和数据被临时存储在存储介质中之间进行区分。
74.根据本公开的实施例，可以在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可以作为产品在销售者和购买者之间交易。计算机程序产品可以以机器可读存储介质(例如，紧凑盘只读存储器(cd
‑
rom))的形式被分发，或者经由应用商店(例如，playstore
tm
)被在线分发(例如，下载或上传)，或者直接在两个用户装置(例如，智能电话)之间被分发。如果在线分发，则计算机程序产品的至少部分可以是临时生成的，或者至少临时被存储在机器可读存储介质(诸如制造商的服务器的存储器、应用商店的服务器或中继服务器)中。
75.根据本公开的各种实施例，上述组件的每个组件(例如，模块或程序)可以包括单个实体或多个实体。根据本公开的各种实施例，可以省略上述组件中的一个或更多个组件，或者可以添加一个或更多个其他组件。可选地或另外地，多个组件(例如，模块或程序)可以集成到单个组件中。在这种情况下，根据本公开的各种实施例，集成组件仍然可以以与在集成之前由多个组件中的对应组件执行的方式相同或相似的方式执行多个组件中的每个组件的一个或更多个功能。根据本公开的各种实施例，由模块、程序或另一组件执行的操作可以顺序地、并行地、重复地或启发式地来执行，或者可以以不同的顺序运行或省略一个或更多个操作，或者可以添加一个或更多个其他操作。
76.图3a至图3b是示出根据本公开的各种实施例的电子装置中包括的硬件组件的图。
77.参照图3a至图3b，图3a至图3b的电子装置101可以对应于图1或图2的电子装置101。电子装置101可以是智能电话、pda、诸如智能平板的平板pc、台式pc和/或膝上型pc。根据本公开的各种实施例，电子装置101可以是可作为另一电子装置的部分被包括的嵌入式pc，或者可以是可穿戴装置(诸如智能手表)。
78.电子装置101可以包括相机模块180，相机模块180包括镜头组件210、红外滤光器
310、图像传感器230和处理器260。相机模块180可以可操作地连接和/或电连接到电子装置101的其他硬件组件(例如，第二处理器120和红外传感器320)。第二处理器120可以对应于图1至图2的处理器120(例如，应用处理器(ap))。相机模块180、第二处理器120和红外传感器320可以例如通过诸如通信总线(未示出)的电接口被连接。
79.包括在相机模块180中的镜头组件210和图像传感器230可以对应于图2的镜头组件210和图像传感器230。处理器260可以对应于图2的isp 260。在图3a中示出了一个相机模块180，但是电子装置101中包括的相机模块180的数量可以根据实施例而变化。下面，镜头组件210和相机模块180可以分别指镜头和相机。下面，isp可以指处理器260。
80.在本公开的实施例中，镜头组件210的至少一部分可以通过电子装置101的壳体暴露于外部。从主体朝向镜头组件210发射的外部光可以通过镜头组件210被传播到电子装置101和/或相机模块180中。穿过镜头组件210的外部光可以穿过红外滤光器310，然后到达图像传感器230。红外滤光器310可以减少和/或阻挡到达图像传感器230的外部光的红外波段的分量。
81.图像传感器230可包括以二维排列的像素。图像传感器230可基于光电效应将通过镜头形成的图像转换为像素单元的电信号。像素可以分别包括多个光电二极管(pd)。多个pd可以基于光电效应将光信号转换为电信号。图像传感器230的任何一个像素内的多个pd中的每个可接收相互不同波段的光(例如，红光、蓝光和绿光)，并输出基于接收到的光的强度的电信号。图像传感器230的任何一个像素内的多个pd中的每个可基于指定模式(诸如拜耳模式)来布置。
82.图像传感器230可根据指定时间点和/或周期将图像数据输出到处理器260。图像数据可包括与图像传感器230中包括的多个像素中的每个像素的电信号和像素中包括的多个pd中的每个pd的电信号相对应的数据。例如，可基于图像数据内的拜耳模式的多个pd的布置和图像传感器230内的多个像素的布置来排列对应于多个pd中的每个pd的电信号的数据。
83.根据本公开的各种实施例，处理器260可以执行与图像数据相关的图像处理。图像处理可以包括例如自动曝光(ae)、自动白平衡(awb)、去马赛克、颜色插值(ci)、伽马校正、边缘增强(ee)、降噪(nr)等。参照图4描述由处理器260执行的图像处理的顺序。
84.根据本公开的各种实施例，处理器260可以执行补偿由镜头组件210和红外滤光器310提供的图像数据的失真的图像处理。例如，失真可以包括镜头阴影和/或色差。例如，处理器260可以基于镜头阴影校正(lsc)来补偿由镜头组件210和红外滤光器310提供的图像数据的失真。可以参照图5a至图5b描述由镜头组件210和红外滤光器310提供的图像数据的失真。
85.在本公开的实施例中，处理器260可以通过使用红外传感器320来测量包括在外部光中的红外光的强度。红外传感器320可以输出指示红外光的强度的数字电信号。通过基于测量的红外光强度执行lsc，处理器260可以补偿由镜头组件210和红外滤光器310提供的图像数据的失真。处理器260可以将应用了图像处理的图像数据发送到第二处理器120。
86.参照图3b，示出了实施例的电子装置101的镜头组件210
‑
1、210
‑
2和210
‑
3以及红外传感器320
‑
1的布置。电子装置101可以包括多个相机，并且相应的多个相机的镜头组件210
‑
1、210
‑
2和210
‑
3可以通过电子装置101的壳体的相互不同的部分暴露于外部。红外传
感器320
‑
1可以例如对应于接近传感器、心率监测(hrm)传感器、ir专用传感器或飞行时间(tof)传感器中的至少一个。
87.参照图3b，红外传感器320
‑
1可以被布置成与电子装置101的壳体的暴露出镜头组件210
‑
1、210
‑
2和210
‑
3的部分相邻。红外传感器320
‑
1可以将指示包括在外部光中的红外光的强度的传感器数据发送到与镜头组件210
‑
1、210
‑
2和210
‑
3相对应的多个相机中的至少一个。传感器数据可以被用于由多个相机中的至少一个执行的lsc。下面，参照图4描述电子装置101的相机使用红外传感器320
‑
1的传感器数据执行的操作。
88.图4是示出根据本公开的实施例的由电子装置的处理器执行的操作的框图。
89.图4的电子装置可以对应于图1至图2和图3a至图3b的电子装置101。图4的处理器260可以对应于图3a至图3b的处理器260和/或图2的isp 260。
90.参照图4示出从图像传感器230输出的图像数据410的格式的示例。图像传感器230可每指定周期(例如，在24hz、60hz或120hz之间调整的每秒帧(fps)周期)将图像数据410输出到处理器260。包括在图像传感器230中的多个像素可基于二维阵列被布置。在图像数据410的部分415内，可基于包括在图像传感器230中的多个pd的布置(例如，拜耳模式)来布置在所述多个pd中的每个中测量的颜色。
91.参照图4，各种实施例的处理器260可包括用于执行与图像数据410相关的图像处理的lsc处理单元420、ae处理单元430、awb处理单元440、wb调整单元445、拜耳模式转换单元450、颜色转换单元460和/或伽马转换单元470。lsc处理单元420、ae处理单元430、awb处理单元440、wb调整单元445、拜耳模式转换单元450、颜色转换单元460和伽马转换单元470中的每个可以对应于在处理器260中运行的多个指令和/或线程，或者对应于包括在处理器260中的用于信号处理的电路的至少一部分。
92.响应于从图像传感器230接收到图像数据410，实施例的处理器260可基于lsc处理单元420补偿包括在图像数据410中的镜头阴影和/或色差的失真。例如，处理器260可以通过使用基于多个像素的位置的指定值(例如，增益)来调整图像数据410中包括的多个像素中的每个像素的颜色。指定值可以与和lsc相关的指定信息(例如，镜头阴影校正系数和/或lsc表)相关。
93.实施例的处理器260可基于ae处理单元430处理基于lsc处理单元420处理的图像数据410。处理器260可以基于ae处理单元430的ae算法来识别图像数据410的亮度。例如，处理器260可以基于ae处理单元430将图像数据410的亮度(例如，图像数据410中包括的多个像素的平均亮度)调整到指定范围内。处理器260可以基于ae处理单元430识别图像数据410的亮度。处理器260可基于识别的图像数据410的亮度来控制lsc处理单元420，以执行考虑基于ae处理单元430识别的亮度的lsc。处理器260可以基于ae处理单元430识别和/或调整将图像传感器230暴露于外部光的时间和图像传感器230的增益。
94.实施例的处理器260可以基于awb处理单元440和/或wb调整单元445来处理基于ae处理单元430处理的图像数据410。处理器260可基于awb处理单元440的awb算法识别图像数据410的色温。例如，处理器260可基于awb处理单元440调整图像数据410的色温。处理器260可基于awb处理单元440识别取决于开尔文光温度(kelvins light temperature，k)的图像数据410的色温。基于黑体的温度和从黑体发射的颜色之间的关系，色温可以表示为开尔文光温度(或k值)。例如，k值越低，越多的外部光包括红色光，并且k值越高，越多的外部光包
括蓝色光(或紫色光)。
95.图像数据410的色温可根据发射到达图像传感器230的外部光的光源的类型而变化。处理器260可以基于awb处理单元440识别光源的类型。通过使用wb调整单元445，处理器260可根据识别的光源类型来调整图像数据410的白平衡。例如，处理器260可基于使用awb处理单元440确定的白平衡增益(wb增益)来控制wb调整单元445，以调整图像数据410的白平衡。在本公开的实施例中，处理器260可以基于使用ae处理单元430识别的亮度和使用awb处理单元440识别的色温来调整图像数据410的白平衡。
96.当调整图像数据410的色温和/或白平衡时，各种实施例的处理器260可以使用由红外传感器320测量的红外光的强度。例如，处理器260可以基于使用ae处理单元430识别的亮度、使用awb处理单元440识别的色温和由红外传感器320测量的红外光的强度来识别与到达图像传感器230的外部光相关的光源的类型。例如，处理器260可以识别红外光是否相对更多地被包括在外部光中。与处理器260使用awb处理单元440识别的光源的类型相关的信息(例如，光源信息)可被用于lsc处理单元420中，以便补偿镜头阴影。参照图4，处理器260可以基于图像数据410的亮度、色温和从红外传感器320测量的红外光的强度来补偿图像数据410中包括的镜头阴影。例如，处理器260可基于图像数据410的亮度、色温和从红外传感器320测量的红外光的强度来补偿在图像数据410之后从图像传感器230接收的图像数据中包括的镜头阴影。
97.实施例的处理器260可基于拜耳模式转换单元450处理基于awb处理单元440和/或wb调整单元445处理的图像数据410。例如，处理器260可以根据拜耳模式改变显示由图像传感器230测量的颜色的图像数据410，其中图像数据410的多个像素中的每个包括基于去马赛克的多个颜色分量(例如，红色(r)、绿色(g)和蓝色(b)的三个分量和/或y、cb和cr的三个分量)。例如，通过对基于拜耳模式的图像数据410的值进行插值，处理器260可以获取基于r、g和b的图像数据410。
98.在本公开的实施例中，在处理器260基于拜耳模式转换单元450处理图像数据410之前，图像数据410可包括从包括在图像传感器230中的多个光电二极管(pd)输出的多个信号。多个信号可基于多个光电二极管被布置在图像传感器230内的指定模式(例如，拜耳模式)而在图像数据410内被排列。在处理器260基于拜耳模式转换单元450处理图像数据410之后，图像数据410可基于多个指定颜色分量(例如，红色(r)、绿色(g)和蓝色(b)的三个分量和/或y、cb和cr的三个分量)指示多个像素中的每个的颜色。
99.实施例的处理器260可以基于颜色转换单元460处理基于拜耳模式转换单元450处理的图像数据410。处理器260可根据图像传感器230的特性调整图像数据410的颜色。例如，处理器260可根据图像传感器230的特性调整未准确表达的颜色。
100.实施例的处理器260可以基于伽马转换单元470来处理基于颜色转换单元460处理的图像数据410。处理器260可以根据非线性伽马特性(例如，电子装置的显示器的伽马特性)非线性地调整图像数据410的颜色。
101.在本公开的各种实施例中，处理器260可以输出应用了各种图像处理方案的图像数据410。例如，处理器260可以将图像数据410输出到与处理器260和/或存储器(例如，图1的存储器130)不同的第二处理器(例如，第二处理器120，诸如图3a的ap)。图像数据410可以被存储为由电子装置捕获的照片和/或视频的至少一部分。
102.各种实施例的电子装置的处理器260可基于lsc处理单元420的lsc算法来补偿图像数据410中包括的镜头阴影和/或色差。可以基于使用ae处理单元430识别的亮度、使用awb处理单元440识别的色温和使用红外传感器320识别的红外光的强度来执行lsc算法。例如，处理器260可以基于亮度、色温和红外光的强度来选择与互不相同的红外光的强度相对应的指定信息中的任何一个。该信息可以具有表格的格式，该表格包括与图像数据410的各个互不相同的像素相对应并且与像素的颜色(例如，红色)相乘的系数(例如，红色的颜色增益)。通过基于选择的信息调整图像数据410中包括的多个像素的颜色，处理器260可以补偿图像数据410中包括的镜头阴影和/或色差。参照图8a至图8b描述由处理器260使用的指定信息的示例。
103.图5a至图5b是示出根据本公开的各种实施例的由电子装置的图像传感器提供的镜头阴影的图。
104.参照图5a至图5b，图5a至图5b的电子装置可以对应于图1至图2和图3a至图3b的电子装置101。各种实施例的电子装置可以通过使用红外传感器(例如，图3a至图3b的红外传感器320)来识别包括在光源中的红外光的强度，并且基于识别的强度来补偿镜头阴影。
105.参照图5a，示出了示例曲线图500，曲线图500示出包括在各种实施例的电子装置中的红外滤光器(例如，图3a的红外滤光器310)的特性。镜头阴影是指这样的一种失真，其中，随着穿过相机镜头的光的强度减小得越多，从镜头的中心部分到其外周部分越多，与镜头的外周部分相对应的图像数据的一部分的亮度变得小于与镜头的中心部分相对应的图像数据的另一部分的亮度。色差是指图像数据的与镜头的中心部分相对应的部分的颜色和图像数据的与镜头的外周部分相对应的部分的颜色变得不同的失真。
106.红外滤光器的透射特性可以根据到达红外滤光器的光的入射角而不同。参照图5a，示出了曲线图500，曲线图500示出了基于入射角和波长的穿过红外滤光器的光的光量。y轴是指穿过红外滤光器的光的光量，并且意味着值越大，穿过红外滤光器的光越多。参照图5a，曲线510指示当入射角为0
°
时(例如，当光垂直到达红外滤光器时)每个波长的光量。在镜头的中心部分处穿过镜头的外部光可以垂直地到达红外滤光器。在这种情况下，红外滤光器可以与曲线510类似地过滤外部光。
107.在曲线510、520、530、540和550的比较中，入射角增加得越多，红外滤光器可以阻挡较短波长的光越多。入射角增加得越多，由红外滤光器阻挡的光的波长可以减小得越多。从镜头的中心部分到其外周部分越多，到达红外滤光器的光的入射角可以通过镜头的弯曲表面增加得越多。在镜头的外周部分处穿过镜头的外部光的光量可以小于在镜头的中心部分处穿过镜头的外部光的光量。参照曲线图500，从镜头的中心部分到其外周部分越多，红外滤光器可以阻挡较短波长的光(例如，与红外波段相邻的红色波段的光)越多。取决于入射角的红外滤光器的透射特性的变化可能导致色差。
108.参照图5b，示出了在各种实施例的电子装置的相机内沿着指定轴560对齐的镜头组件210、红外滤光器310和图像传感器230。穿过镜头组件210和红外滤光器310的外部光可以到达图像传感器230。指定轴560可以与镜头组件210的中心轴重合。
109.由于镜头阴影变得离指定轴560越远，到达图像传感器230的光的强度可能越小。在红外滤光器310中，通过诸如曲线图500的透射特性，离指定轴560越远，越多的较短波长的光(例如，与红外波段相邻并且具有比红外波段更短波长的红色波段的光)可以被阻挡。
离指定轴560越远，红色波段的光被红外滤光器310阻挡得越多。因此，离指定轴560越远，到达图像传感器230的外部光的颜色会越多地变化到绿色波段(色差)。包括在外部光中的红外光的强度和/或红外波段的分量增加得越多，到达图像传感器230的与镜头组件210的外周部分对应的部分的外部光的颜色会越多地变为绿色波长。
110.通过基于包括在外部光中的红外光的强度调整包括在从图像传感器230接收的图像数据中的多个像素的颜色，各种实施例的电子装置可以补偿由红外滤光器310的透射特性和包括在外部光中的红外光引起的颜色失真。下面，参照图6描述电子装置基于红外光的强度调整图像数据的颜色的操作。
111.图6是示出根据本公开的实施例的电子装置的操作的流程图。图6的电子装置可以对应于图1至图2和图3a至图3b的电子装置101。图6的电子装置的操作可以由图2的isp 260和/或图3a的处理器260执行。
112.参照图6，在操作610中，各种实施例的电子装置可以从图像传感器接收基于外部光的图像数据。可以响应于用于激活包括在电子装置中的相机的用户输入(例如，用于运行相机应用的用户输入)来执行电子装置基于操作610接收图像数据。图像传感器可对应于图2及图3a的图像传感器230。图像数据可对应于图4的图像数据410。例如，由电子装置接收的图像数据可以是基于图像传感器内的多个pd的布置(例如，基于拜耳模式的多个pd的布置)来布置在多个pd中测量的颜色值的数据。
113.由电子装置接收的图像数据可以基于穿过相机中包括的镜头(例如，图2和图3a的镜头组件210)和红外滤光器(例如，图3a的红外滤光器310)并到达图像传感器的外部光。外部光可能由于图5a至图5b中解释的红外滤光器的透射特性而失真。由红外滤光器的透射特性引起的失真可以例如与色差相关，色差是与相对远离镜头的中心轴的镜头的外周部分相对应的图像数据的一部分的颜色变化为绿色波段的现象。
114.参照图6，在操作620中，各种实施例的电子装置可以至少基于红外传感器的传感器数据来识别包括在外部光中的红外光的强度。红外传感器可以例如对应于图3a至图3b的红外传感器320。在本公开的实施例中，电子装置可以基于操作610在接收图像数据的时间点从红外传感器获取传感器数据。在本公开的实施例中，电子装置可以基于从红外传感器获取的传感器数据来识别与外部光相关的光源的类型。在本公开的实施例中，电子装置可以根据红外光的强度来识别色差。电子装置可以根据红外光的强度来识别与镜头的外周部分对应的图像数据的部分的颜色的变化。
115.参照图6，在操作630中，各种实施例的电子装置可以至少基于红外光的强度来调整图像数据的至少一部分的颜色。在本公开的实施例中，响应于基于操作620识别红外光的强度，电子装置可以调整图像数据的至少一部分的颜色。例如，为了补偿由镜头和红外滤光器引起的图像数据的失真(例如，色差)，电子装置可以基于红外光的强度来调整图像数据的至少一部分的颜色。通过基于lsc算法将指定系数或增益应用于图像数据中包括的多个像素中的每个像素的颜色，电子装置可调整多个像素中的每个像素的颜色。
116.响应于基于操作610接收到图像数据，实施例的电子装置可以识别与图像数据相关的外部光的亮度。电子装置可以使用识别的亮度来基于ae算法调整图像数据的亮度。在本公开的实施例中，电子装置可以基于根据操作620识别的红外光的强度和外部光的亮度来调整图像数据的至少一部分的颜色。
117.响应于基于操作610接收到图像数据，实施例的电子装置可以识别与图像数据相关的外部光的色温。电子装置可以使用识别的色温来基于awb算法调整图像数据的色温。电子装置可以基于根据操作620识别的红外光的强度和外部光的色温来调整图像数据的至少一部分的颜色。
118.在本公开的实施例中，响应于基于操作620红外光的强度的识别，电子装置可以调整对应于与包括镜头的中心的部分不同的镜头的另一部分的图像数据的至少一部分的颜色。由电子装置调整的颜色可以是包括在与红外波段相邻的波段(例如，红色波段)中的颜色(例如，红光)。例如，包括在外部光中的红外光的强度增加得越多，电子装置可以越多地突出与镜头的边缘部分对应的图像数据的至少一部分的红光。例如，离与镜头的中心部对应的图像数据的部分越远，并且/或者包括在外部光中的红外光的强度越大，则电子装置突出红光的程度越增加。在本公开的实施例中，通过放大与图像数据内的红光相关的值，电子装置可以增强红光。
119.在本公开的另一实施例中，通过减小与图像数据内的除红光之外的另一颜色(例如，绿光或蓝光中的至少一种)相关的值的增量，电子装置可以强调红光。例如，包括在外部光中的红外光的强度增加得越多，电子装置可以减小与镜头的外周部分对应的图像数据的至少一部分的绿光或蓝光中的至少一种的增量越多。
120.响应于基于操作620红外光的强度的识别，各种实施例的电子装置可以获取包括与图像数据的各个互不相同的像素相对应并且与红外光的强度相对应的颜色增益的信息。基于获取的信息，电子装置可以调整图像数据中包括的多个像素的颜色。该信息可以是用于执行lsc算法以补偿镜头阴影和/或色差的信息。
121.图7是示出根据本公开的实施例的电子装置执行以便调整图像数据的颜色的操作的流程图。图7的电子装置可以对应于图1至图2和图3a至图3b的电子装置101。图7的电子装置的操作可以由图2的isp 260和/或图3a的处理器260执行。图7的操作可以与图6的操作中的至少一个操作(例如，图6的操作630)相关。图7的操作可以例如至少部分地与图4的lsc处理单元420和/或lsc算法相关。
122.参照图7，在操作710中，各种实施例的电子装置可以基于外部光的亮度来获取至少一种红外光的阈值。在本公开的实施例中，电子装置可以例如基于图4的ae处理单元430和/或ae算法来识别与图像数据相关的外部光的亮度。外部光的亮度是表示图像数据中包括的多个像素的亮度的值，并且可以例如是多个像素的亮度的平均值、中值、最大值或最小值中的至少一个。由电子装置识别的阈值可以被用于确定红外光是否相对较多地被包括在外部光中。参照图9a描述由电子装置获取的阈值与亮度之间的关系。
123.参照图7，在操作720中，各种实施例的电子装置可基于外部光的色温获取多个lsc信息。在本公开的实施例中，电子装置可以例如基于图4的awb处理单元440和/或awb算法来识别与图像数据相关的外部光的色温。lsc信息是用于补偿镜头阴影和/或色差的信息，并且可以表示镜头阴影校正系数和/或lsc表。lsc表可以表示包括颜色增益的数据集，该颜色增益将被应用于图像数据的各个互不相同的像素。多个lsc信息可分别对应于互不相同的红外光的强度。在本公开的实施例中，电子装置可基于外部光的色温获取多个lsc信息中的至少两个lsc信息。参照图8a至图8b描述由电子装置获取的lsc信息的示例。
124.参照图7，在操作730中，各种实施例的电子装置可基于红外光的强度和在操作710
中获取的阈值来选择多个lsc信息中的任何一个。例如，可以使用图3a的红外传感器320来识别红外光的强度。响应于基于外部光的色温获取多个lsc信息中的至少两个lsc信息，电子装置可基于识别的红外光的强度来选择至少两个lsc信息中的任一个。在本公开的实施例中，基于与红外光的指定的第一强度相对应的第一lsc信息或与指定的第二强度相对应的第二lsd信息中的至少一个，电子装置可识别与识别的红外光的强度相对应的至少一个颜色增益。颜色增益可以指示突出或增强红光、绿光或蓝光中的至少一种的程度。参照图9b描述电子装置基于红外光的强度和阈值来选择lsc信息的操作。
125.参照图7，在操作740中，各种实施例的电子装置可基于选择的lsc信息来调整图像数据的至少一部分的颜色。在本公开的实施例中，基于包括在选择的lsc信息中的至少一个颜色增益，电子装置可调整图像数据的至少一部分的颜色。在本公开的实施例中，由电子装置调整的颜色可以是图像数据中包括的红光的颜色。从图像数据的中心部分向其外周部分移动得越多，并且/或者红外光的强度增加得越多，则电子装置调整(例如，调整以增加)红光的颜色的程度可以增加得越多。在本公开的实施例中，由电子装置调整的颜色可以是图像数据中包括的蓝光或绿光中的至少一种的颜色。它从图像数据的中心部分向其外周部分移动得越多，并且/或者红外光的强度增加得越多，则电子装置调整(例如，调整以减小)蓝光或绿光中的至少一种的颜色的程度可以增加得越多。
126.图8a至图8b是示出根据本公开的各种实施例的由电子装置使用的lsc信息的图。图8a至图8b的电子装置可以对应于图1至图2和图3a至图3b的电子装置101。图8a至8b的lsc信息可被包括在图7的操作720、730和740的lsc信息中。
127.由各种实施例的电子装置识别的lsc信息可以包括多个颜色增益。lsc信息中包括的多个颜色增益可被用于调整图像数据中相互不同位置的像素的颜色。参照图8a至图8b，指定的第一lsc信息810和指定的第二lsc信息820以表的形式示出。例如，lsc信息可以包括(17
×
13)颜色增益。颜色增益可以表示强调或增强图像数据的像素的颜色的程度。电子装置可以例如将基于拜耳模式的图像数据的颜色值乘以颜色增益，以调整图像数据的颜色。可通过对lsc信息中包括的颜色增益进行插值来确定与图像数据的多个像素中的每个像素相对应的颜色增益。
128.表内的颜色增益的位置可以指示应用颜色增益的图像数据内的像素的位置。例如，可以将表的中心部分(第9行和第7列)的颜色增益(1.000)应用于图像数据的中心部分。在本公开的实施例中，从图像数据的中心部分向其外周部分移动得越多，电子装置基于lsc信息调整图像数据的颜色的程度可以增加得越多。参照图8a，从表的中心部分向其外周部分移动得越多，颜色增益可以增加得越多。
129.各种实施例的电子装置可在包括第一lsc信息810和第二lsc信息820的多个lsc信息中，根据包括在外部光中的红外光的强度大来选择突出图像数据的红光的lsc信息。如果将第一lsc信息810的外周部分的增益(例如，行1和列1的增益(2.957))与第二lsc信息820的外周部分的增益(例如，行1和列1的增益(3.139))进行比较，则第二lsc信息829的外周部分的增益可更大。响应于包括在外部光中的红外光的强度超过指定阈值，电子装置可在第一lsc信息810和第二lsc信息820中选择包括相对大的颜色增益的第二lsc信息820。包括在选择的第二lsc信息820中的多个颜色增益可被用于调整图像数据中相互不同的像素的颜色。
130.实施例的电子装置可在包括第一lsc信息810和第二lsc信息820的多个lsc信息中，根据包括在外部光中的红外光的强度大而选择减小图像数据的蓝光或绿光中的至少一个的增量的lsc信息。随着蓝色光或绿色光的增量减少，红色光可以相对地被突出。例如，响应于包括在外部光中的红外光的强度超过指定阈值，电子装置可基于包括相对小的颜色增益的第一lsc信息810来调整图像数据的蓝光或绿光中的至少一个。
131.图9a和图9b是示出根据本公开的各种实施例的电子装置基于外部光的亮度选择lsc信息的操作的图。图9a至图9b的电子装置可以对应于图1至图2和图3a至图3b的电子装置101。
132.参照图9a，示出了电子装置用于确定用于与红外光的强度进行比较的阈值的查找表(lut)910的示例。在本公开的实施例中，电子装置可以使用查找表910以便获取图7的操作710的阈值。查找表910可以是指示表示外部光的亮度的亮度值(bv)与阈值之间的关系的表。例如，可以基于图4的ae处理单元430和/或ae算法来识别外部光的亮度。亮度值可以基于基数为2的对数尺度。
133.包括在光源中的红外光的光量可以根据光源的亮度而变化。实施例的电子装置可以基于外部光的亮度来识别用于确定外部光中是否包括相对更多的红外光的至少一个阈值。例如，响应于识别亮度值
‑
2，电子装置可以基于阈值(60、100)来确定红外光被包括在外部光中的程度。例如，响应于识别亮度值0，电子装置可以基于阈值(300、450)来确定红外光被包括在外部光中的程度。响应于识别出查找表910中不包括的亮度值，电子装置可以通过根据查找表910中包括的亮度值对查找表910中包括的阈值进行插值来识别至少一个阈值。
134.参照图9b，图9b是示出基于电子装置从查找表910识别的阈值来获取用于调整图像数据的颜色的lsc信息的操作的曲线图920。曲线图920的x轴可以指示从红外传感器识别的红外光的强度。可以基于外部光的亮度和图9a的查找表910来识别曲线图920的阈值(即，ir低阈值和ir高阈值)。
135.例如，在识别出亮度值为
‑
2的状态下，曲线图920的每个阈值可以是60、100。在识别出亮度值为
‑
2的状态下，响应于在持续时间922内包括的从红外传感器识别的红外光的强度小于60，电子装置可以确定外部光中包括相对较少的红外光。在识别出亮度值为
‑
2的状态下，响应于在持续时间924内包括的从红外传感器识别的红外光的强度超过100，电子装置可以确定外部光中包括相对更多的红外光。
136.例如，在识别出亮度值为3的状态下，曲线图920的每个阈值可以是(1200，1400)。在识别出亮度值为3的状态下，响应于在持续时间922内包括的从红外传感器识别的红外光的强度小于1200，电子装置可以确定外部光中包括相对较少的红外光。在识别出亮度值为3的状态下，响应于在持续时间924内包括的从红外传感器识别的红外光的强度超过1400，电子装置可以确定外部光中包括相对更多的红外光。
137.例如，响应于电子装置基于图8a和图8b的第一lsc信息810和第二lsc信息820识别出将应用于图像数据的lsc信息，电子装置可响应于识别出包括在持续时间922中的红外光的强度而选择第一lsc信息810，并且响应于识别出包括在持续时间924中的红外光的强度而选择第二lsc信息820。因为第二lsc信息820的颜色增益是相对高的值，所以电子装置可选择与相对更多红外光的强度相对应的持续时间924的第二lsc信息820。
138.持续时间922和924之间的持续时间926是基于插值识别lsc信息的持续时间。响应
于识别出包括在持续时间926中的红外光的强度，电子装置可通过对第一lsc信息810和第二lsc信息820进行插值(例如，基于图9b的线性插值系数)来获取将应用于图像数据的lsc信息。
139.可以在先前存储的指定lsc信息中选择与持续时间922、924和926中的至少一个相对应的lsc信息。在本公开的实施例中，电子装置可以基于外部光的色温来选择与持续时间922、924和926中的至少一个相对应的lsc信息。
140.图10是示出根据本公开的实施例的电子装置基于外部光的色温选择lsc信息的操作的图。图10的电子装置可以对应于图1至图2和图3a至图3b的电子装置101。
141.根据本公开的各种实施例，电子装置可基于外部光的亮度、色温和红外光的强度，在根据红外光的强度而互不相同的多个lsc信息(例如，lsc表1至lsc表4)中选择任何一个lsc信息。图10的表1000示出了电子装置基于外部光的亮度、色温和红外光的强度选择的lsc表的类型。lsc表1至lsc表4中的每个可对应于红外光的指定的第一强度至指定的第四强度中的每个。从第一强度往第四强度越多，红外光的强度可以增加得越多。lsc表1至lsc表4可包括与图像数据的互不相同的位置相对应的多个颜色增益，如图8a至图8b所示。
142.参照图10，基于外部光的亮度，电子装置可以确定图像数据是在室内拍摄还是在室外拍摄。例如，响应于识别出指定阈值的外部光或更多，电子装置可以确定图像数据是在室外拍摄的。在本公开的实施例中，电子装置可以基于全球定位系统(gps)传感器和/或用户输入来确定图像数据是在室内拍摄还是在室外拍摄。
143.响应于确定图像数据是在室外拍摄的，各种实施例的电子装置可选择指定lsc表(例如，lsc表2和lsc表4)中的任何一个，而不管外部光的色温如何。例如，响应于红外光的强度等于或大于指定阈值，电子装置可基于lsc表4来调整图像数据的颜色。例如，响应于红外光的强度小于指定阈值，电子装置可基于lsc表2来调整图像数据的颜色。例如，可以基于图9a的查找表910来确定阈值。
144.响应于在室内拍摄图像数据，各种实施例的电子装置可基于外部光的色温来选择指定lsc表中的至少两个。选择lsc表中的任一个的选择可基于从红外传感器测量的红外光的强度。例如，响应于图像数据已经在室内拍摄，并且色温为4000k或更高，电子装置可以选择lsc表1或lsc表3中的任何一个。例如，响应于图像数据已经在室内拍摄，并且色温为3000k或更低，电子装置可以选择lsc表2或lsc表3中的任何一个。
145.电子装置选择lsc表中的任何一个可以基于将红外光的强度与基于外部光的亮度确定的阈值进行比较的结果。例如，响应于图像数据已经在室内拍摄，并且外部光的亮度值为
‑
2，电子装置可以基于图9a的查找表910将红外光的强度与阈值(60、100)进行比较。响应于色温为3000k或更低，并且红外光的强度小于60k，电子装置可基于表1000选择lsc表2以执行lsc。响应于色温为3000k或更低，并且红外光的强度超过100k，电子装置可选择表3的lsc来执行lsc。响应于色温为3000k或更低，并且红外光的强度等于或大于60且小于100，电子装置可通过对lsc表2和lsc表3进行插值来识别将应用于图像数据的lsc表。
146.作为另一示例，响应于图像数据已经在室内拍摄，并且外部光的亮度值为3，电子装置可以基于图9a的查找表910将红外光的强度与阈值(1200、1400)进行比较。响应于色温等于或大于3000k或小于4000k，并且红外光的强度超过1400k，电子装置可以选择lsc表3，以补偿色差。响应于色温等于或大于3000k且小于4000k，并且红外光的强度小于1200k，电
子装置可选择lsc表1，以补偿色差。响应于色温等于或大于3000k且小于4000k，并且红外光的强度等于或大于1200且小于1400k，电子装置可通过对lsc表1和lsc表3进行插值来确定用于补偿色差的lsc表。
147.通过比较不仅基于外部光的色温而且基于红外光的强度和外部光的亮度的阈值，各种实施例的电子装置可以执行多个lsc表中的任何一个的选择。通过这样做，电子装置可以基于包括在外部光中的红外光的实际强度来补偿色差。例如，在太阳光到达的房间中，基于awb算法识别的色温可能超过5000k。当不考虑红外光的强度时，可以基于超过5000k的室内光源(例如，荧光灯和/或led光源)来执行色差的补偿。在这种情况下，通过太阳光中包括的红外光，图像数据的中心部分可以相对地以红色表示，并且其外周部分可以相对地以绿色表示。在这种情况下，通过基于红外传感器考虑红外光的强度来执行色差的补偿，各种实施例的电子装置可以相对更强调图像数据的外周部分的红光或者相对更弱化外周部分的蓝光或绿光。
148.图11是示出根据本公开的实施例的电子装置的操作的流程图。图11的电子装置可以对应于图1至图2和图3a至图3b的电子装置101。图11的电子装置的操作可以由图2的isp 260和/或图3a的处理器260执行。
149.参照图11，在操作1110中，各种实施例的电子装置可以从图像传感器接收第一图像数据。第一图像数据可根据多个pd被布置在图像传感器中的模式(例如，拜耳模式)被排列，并且可包括在图像传感器中包括的相应多个pd中测量的颜色值。
150.参照图11，在操作1120中，各种实施例的电子装置可以识别第一图像数据的亮度及其色温。例如，可以基于图4的ae处理单元430和/或ae算法来识别第一图像数据的亮度。第一图像数据的亮度可以表示与第一图像数据相关的外部光的亮度。例如，可以基于图4的awb处理单元440和/或awb算法来识别第一图像数据的色温。第一图像数据的亮度可以表示与第一图像数据相关的外部光的色温。
151.在本公开的实施例中，响应于识别出在第一图像数据之前从图像传感器接收的另一图像数据的亮度，电子装置可以调整第一图像数据的亮度。在本公开的实施例中，响应于识别出在第一图像数据之前从图像传感器接收的另一图像数据的色温，电子装置可调整第一图像数据的白平衡。在本公开的实施例中，可以基于其他图像数据的亮度、色温和包括在与其他图像数据相关的外部光中的红外光的强度来执行对包括在第一图像数据中的色差的补偿。
152.参照图11，在操作1130中，各种实施例的电子装置可以从红外传感器识别包括在与第一图像数据相关的外部光中的红外光的强度。在操作1120中识别的亮度和色温以及在操作1130中识别的红外光的强度可以被用于补偿在第一图像数据之后接收的其他图像数据的色差。
153.参照图11，在操作1140中，各种实施例的电子装置可以从图像传感器接收第二图像数据。例如，在接收到第一图像数据之后，电子装置可以从图像传感器接收第二图像数据。响应于接收到第二图像数据，在操作1150中，各种实施例的电子装置可以基于识别的亮度、色温和红外光的强度中的至少一个来调整第二图像数据的至少一部分的颜色。在本公开的实施例中，基于在操作1120中识别的第一图像数据的亮度和色温以及在操作1130中识别的与第一图像数据相关的外部光中包括的红外光的强度，电子装置可以调整第二图像数
据的至少一部分的颜色。
154.可以执行电子装置调整第二图像数据的至少一部分的颜色，以便补偿第二图像数据的色差。电子装置执行以便补偿第二图像数据的色差的操作可以基于图9a至图9b和图10中描述的各种实施例。根据图11的实施例，响应于图像传感器根据时间顺序地输出第一图像数据和第二图像数据，电子装置可以基于与第一图像数据相关的亮度、色温和红外光的强度来补偿第一图像数据之后的第二图像数据的镜头阴影和/或色差。
155.各种实施例的电子装置可以使用包括在电子装置中的红外传感器，以便补偿包括在图像数据中并且取决于镜头和红外滤光器的结构的镜头阴影和/或色差。电子装置可以基于使用红外传感器测量的外部光中包括的红外光的强度来确定调整图像数据的颜色的程度。
156.各种实施例的电子装置可以包括镜头、红外滤光器、图像传感器、红外传感器和可操作地耦接到图像传感器和红外传感器的处理器。处理器可以从图像传感器接收基于穿过镜头和红外滤光器并到达图像传感器的外部光的图像数据，并且至少基于红外传感器的传感器数据识别包括在外部光中的红外光的强度，并且响应于识别出红外光的强度，至少基于红外光的强度调整图像数据的至少一部分的颜色。
157.在本公开的实施例中，处理器可以基于红外光的强度来调整图像数据的至少一部分的颜色，以便补偿由镜头和红外滤光器引起的图像数据的失真。
158.在本公开的实施例中，处理器可以响应于识别出红外光的强度，获取包括与图像数据的各个互不相同的像素相对应并且与红外光的强度相对应的颜色增益的信息，并且基于获取的信息，调整图像数据中包括的多个像素的颜色。
159.在本公开的实施例中，处理器可以基于红外光的强度来获取包括与红光相关的颜色增益的信息。
160.在本公开的实施例中，处理器可以响应于接收到图像数据，识别与图像数据相关的外部光的亮度和色温，并且基于亮度、色温和红外光的强度来调整图像数据的至少一部分的颜色。
161.在本公开的实施例中，处理器可以从图像传感器接收图像数据，并且在至少基于红外光的强度调整图像数据的至少一部分的颜色之后，改变基于指定模式的图像数据，其中，在图像数据中，从图像传感器内的多个光电二极管输出的多个信号基于所述多个光电二极管的指定模式而被排列，其中，图像数据基于多个指定的颜色分量来指示多个像素中的每个像素的颜色。
162.在本公开的实施例中，处理器可以响应于识别出红外光的强度，调整图像数据的与镜头的另一部分相对应的至少一部分的颜色，其中，镜头的所述另一部分不同于包括镜头的中心的部分。
163.在本公开的实施例中，处理器可以基于与红外光的指定的第一强度相对应的第一信息或与指定的第二强度相对应的第二信息中的至少一个来识别与识别的红外光的强度相对应的至少一个颜色增益，并且基于所述至少一个颜色增益来调整图像数据的至少一部分的颜色。
164.各种实施例的电子装置的方法可以包括：从图像传感器接收基于穿过电子装置的镜头和红外滤光器并到达电子装置的图像传感器的外部光的图像数据，并且至少基于电子
装置的红外传感器的传感器数据，识别包括在外部光中的红外光的强度，并且响应于识别出红外光的强度，至少基于红外光的强度来调整图像数据的至少一部分的颜色。
165.根据本公开的实施例，调整可以包括：基于红外光的强度来调整图像数据的至少一部分的颜色，以便补偿由镜头和红外滤光器引起的图像数据的失真。
166.根据本公开的实施例，调整可以包括：响应于识别出红外光的强度，获取包括颜色增益的信息，其中，颜色增益与图像数据的各个互不相同的像素相对应并且与红外光的强度相对应；并且基于获取的信息，调整图像数据中包括的多个像素的颜色。
167.根据本公开的实施例，所述方法还可以包括：响应于接收到图像数据，识别与图像数据相关的外部光的亮度和色温，并且调整可以包括基于亮度、色温和红外光的强度来调整图像数据的至少一部分的颜色。
168.根据本公开的实施例，接收可以包括：从图像传感器接收图像数据，其中，在图像数据中，从图像传感器内的多个光电二极管输出的多个信号基于多个光电二极管的指定模式而被排列，并且所述方法还可以包括：在至少基于红外光的强度调整图像数据的至少一部分的颜色之后，改变基于指定模式的图像数据。其中，图像数据基于多个指定的颜色分量来指示多个像素中的每个像素的颜色。
169.根据本公开的实施例，调整可以包括：响应于识别出红外光的强度，调整图像数据的与镜头的另一部分相对应的至少一部分的颜色，其中，镜头的所述另一部分不同于包括镜头的中心的部分。
170.根据本公开的实施例，调整可以包括：基于与红外光的指定的第一强度相对应的第一信息或与指定的第二强度相对应的第二信息中的至少一个，识别与识别的红外光的强度相对应的至少一个颜色增益，以及基于所述至少一个颜色增益来调整图像数据的至少一部分的颜色。
171.各种实施例的电子装置可以包括图像传感器、红外传感器和可操作地耦接到图像传感器和红外传感器的处理器。处理器可以从图像传感器接收第一图像数据，并且响应于接收到第一图像数据，识别第一图像数据的亮度和色温，并且识别来自红外传感器的与第一图像数据相关的外部光中包括的红外光的强度，并且基于识别的亮度、色温和红外光的强度中的至少一个，调整在接收到第一图像数据之后从图像传感器接收的第二图像数据的至少一部分的颜色。
172.根据本公开的实施例，处理器可以基于红外光的强度来调整第二图像数据的至少一部分的颜色，以便补偿由到达图像传感器的外部光通过的镜头和红外滤光器引起的第二图像数据的失真。
173.根据本公开的实施例，处理器可以响应于识别出红外光的强度，获取包括与第二图像数据的各个互不相同的像素相对应的颜色增益的信息，并且基于获取的信息，调整包括在第二图像数据中的多个像素的颜色。
174.根据本公开的实施例，处理器可以在包括颜色增益的多个指定信息中选择与亮度、色温和红外光的强度相对应的信息，并且基于选择的信息，调整包括在第二图像数据中的多个像素的颜色。
175.根据本公开的实施例，处理器可以基于选择的信息来调整第二图像数据的与镜头的另一部分相对应的至少一部分的颜色，其中，镜头的所述另一部分不同于包括与图像传
感器相关的镜头的中心的部分。
176.在本公开的权利要求或其说明书中提到的实施例的方法可以以硬件、软件或硬件和软件的组合的形式来实现。
177.响应于由软件实现，可以提供存储一个或更多个程序(即，软件模块)的计算机可读存储介质。存储在计算机可读存储介质中的所述一个或更多个程序被配置为由电子装置的一个或更多个处理器运行。所述一个或更多个程序包括用于使电子装置能够运行本公开的权利要求或其说明书中提到的实施例的方法的指令。
178.这些程序(即，软件模块和/或软件)可以存储在随机存取存储器(ram)、非易失性存储器，所述非易失性存储器包括闪存、只读存储器(rom)、电可擦除可编程rom(eeprom)、磁盘存储装置、紧凑盘
‑
rom(cd
‑
rom)、数字通用光盘(dvd)、另一种形式的光学存储装置和/或磁带盒中。或者，所述程序可以存储在被配置为由其中一些或全部组合的存储器中。另外，每个配置的存储器也可以包括多个存储器。
179.另外，所述程序可以存储在可附接的存储装置中，所述可附接的存储装置可以通过诸如互联网、内联网、局域网(lan)、无线lan(wlan)或存储区域网络(san)的通信网络或以它们的组合配置的通信网络进行访问。所述存储装置可以通过外部端口访问执行本公开的实施例的装置。另外，通信网络上的单独的存储装置也可以访问执行本公开的实施例的装置。
180.虽然已经参考本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。