1.本公开涉及图像处理
技术领域：
：，具体涉及一种图像处理系统、图像处理方法、计算机可读介质和电子设备。
背景技术：
：：2.伴随着人们生活水平的不断提高，对于拍摄的图像质量的要求也越来越高。拜耳传感器(bayersensor)是一种可以将红，绿，蓝三种成份光信号在空间上区分开来单独统计光信号的传感器。3.目前大多数相机方案采用的是拜耳传感器以及基于红绿蓝(rgb)颜色通道的组合所获得不同滤光样式组合的图像传感器，例如，基于rgbg的图像传感器。但是，这种方案中，由于相机所采用的色彩滤波仅限于红，绿，蓝三种光谱范围，复杂光源场景下的光谱感知信息有限，并且无法得到局部区域的色彩信息，因此最终输出图像的色彩还原的准确性较差。技术实现要素：4.本公开的目的在于提供一种图像处理系统、图像处理方法、计算机可读介质和电子设备，进而至少在一定程度上提高相关方案中输出的图像的色彩还原的准确性。5.根据本公开的第一方面，提供一种图像处理系统，包括：6.光谱感知装置，用于采集目标光谱色彩数据；7.摄像模组，包括图像传感器和图像信号处理器，其中：8.所述图像传感器，用于生成原始图像；9.所述图像信号处理器，与所述图像传感器和所述光谱感知装置电连接，用于根据所述目标光谱色彩数据对所述原始图像进行色彩还原，得到目标图像。10.根据本公开的第二方面，提供一种图像处理方法，包括：11.采集目标光谱色彩数据；12.获取原始图像；13.根据目标光谱色彩数据对所述原始图像进行色彩还原，得到目标图像。14.根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。15.根据本公开的第四方面，提供一种电子设备，其特征在于，包括：16.壳体；17.主电路板，设置在所述壳体内；18.如第一方面所提供的图像处理系统，设置在所述壳体内，与所述主电路板电连接。19.本公开的一种实施例所提供的图像处理系统，可以包括光谱感知装置，光谱感知装置用于采集目标光谱色彩数据，以及摄像模组，摄像模组可以包括图像传感器和图像信号处理器，其中图像传感器可以用于生成原始图像，图像信号处理器可以与图像传感器和光谱感知装置电连接，用于根据目标光谱色彩数据对原始图像进行色彩还原，得到目标图像。一方面，通过光谱感知装置获取目标光谱色彩数据，相比于图像传感器生成的颜色通道较少的原始图像，能够感知当前场景中更加丰富的色彩信息，并结合目标光谱色彩数据对原始图像进行色彩还原，能够有效提升目标图像的色彩表达的准确性，提高目标图像的色彩表现力；另一方面，通过独立的光谱感知装置采集目标光谱色彩数据，并将目标光谱色彩数据与图像信号处理器中的已经成熟的图像信号处理流程的系统架构相结合进行色彩还原，并不需要调整已经成熟的图像信号处理流程的系统结构，有效提升色彩还原效率，降低优化成本。20.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明21.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：22.图1示出了相关技术方案中的一种图像信号处理流程的系统架构示意图；23.图2示意性示出本公开示例性实施例中一种图像处理系统的架构示意图；24.图3示意性示出本公开示例性实施例中一种光谱感知装置与电子设备设置方式的示意图；25.图4示意性示出本公开示例性实施例中一种光谱传感器阵列采集光谱色彩数据的原理示意图；26.图5示意性示出本公开示例性实施例中另一种图像处理系统的架构示意图；27.图6示意性示出本公开示例性实施例中一种图像区域分割模块的原理示意图；28.图7示意性示出本公开示例性实施例中再一种图像处理系统的架构示意图；29.图8示意性示出本公开示例性实施例中一种rgb域处理模块的结构示意图；30.图9示意性示出本公开示例性实施例中一种图像信号处理流水线的结构示意图；31.图10示意性示出本公开示例性实施例中一种rawrgb域图像与fullrgb域的区别的示意图；32.图11示意性示出本公开示例性实施例中一种rawrgb域处理模块的结构示意图；33.图12示意性示出本公开示例性实施例中一种fullrgb域处理模块的结构示意图；34.图13示意性示出本公开示例性实施例中一种yuv域处理模块的结构示意图；35.图14示意性示出本公开示例性实施例中一种图像处理方法的流程示意图；36.图15示出了可以应用于本公开实施例的一种电子设备的结构示意图；37.图16示出了可以应用于本公开实施例的另一种电子设备的结构示意图。具体实施方式38.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。39.此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。40.图1示出了相关技术方案中的一种图像信号处理流程的系统架构示意图。41.参考图1所示，一种图像信号处理流程的系统架构可以包括图像传感器110、rgb域处理模块120、yuv域处理模块130以及jpg输出模块140。其中：42.图像传感器110是指基于拜耳滤光样式的模板实现光信号采集，并将光信号转换为电信号的传感器，例如，图像传感器110可以是互补性金属氧化物半导体(complementarymetaloxidesemiconductor，cmos)，也可以是电荷耦合探测元件(charge-coupleddevice，ccd)。43.rgb域处理模块120是指对于图像传感器110采集的原始图像在rgb域上进行图像信号处理的所有流程对应的模块。44.yuv域处理模块130是指将rgb域处理模块120的输出结果转换到yuv颜色空间(yuv域)，并在yuv颜色空间上进行图像信号处理的所有流程对应的模块。45.jpg输出模块140是指将rgb域处理模块120的处理结果以及yuv域处理模块130的处理结果，映射到原始图像中，并将处理后的原始图像转换为最终可以显示到显示单元如jpg格式图片的处理模块。46.但是，由于该方案中图像传感器110采用的是基于拜耳滤镜以及基于rgb颜色通道的组合所获得不同滤光样式组合的传感器，基于rgb三通道的传感器所采用的色彩滤波仅限于红，绿，蓝(r，g，b)三种光谱范围，复杂光源场景下的光谱感知信息有限；同时对于系统结构中需要用到当前色温，以及反应当前场景颜色信息，而基于全局rgb的方式存在很多局限性，无法获得局部区域的色彩信息，导致最终输出的图像的色彩的准确性较差，无法较好还原真实场景中的色彩。47.另外，一些技术方案中，虽然有采用到基于红绿蓝青品红黄(rgbcmy)以及红黄蓝(ryyb)等非常规颜色通道的传感器，用于弥补当前图像传感器仅能够采集rgb三通道色彩的缺陷，但是，由于红绿蓝青品红黄(rgbcmy)以及红黄蓝(ryyb)等非常规颜色通道的传感器的应用较少，需要在图像信号处理流程(isp)的系统架构以及单点算法层面上需要针对该类型的色彩滤波模板做进一步的支持，工作量较大，应用成本较高。48.基于相关方案中存在的一个或者多个问题，本公开首先提供了一种图像处理系统，图像处理系统可以设置在具有一定计算能力的电子设备中，例如，电子设备可以是台式计算机、便携式计算机、智能手机、智能机器人、可穿戴设备和平板电脑等，本示例实施例对此不做特殊限定。49.图2示意性示出本公开示例性实施例中一种图像处理系统的架构示意图。参考图2所示，图像处理系统200可以包括：50.光谱感知装置210可以用于采集目标光谱色彩数据；51.摄像模组220可以包括图像传感器221和图像信号处理器222，其中：52.图像传感器221可以用于生成原始图像；53.图像信号处理器222可以与图像传感器221和光谱感知装置210电连接，用于根据光谱感知装置210采集的目标光谱色彩数据对图像传感器221输出的原始图像进行色彩还原，得到目标图像。54.其中，光谱感知装置210是指用于感知拍摄原始图像时的当前场景中真实色彩的感知单元，例如，光谱感知装置210可以是多光谱传感器(multispectralsensor)，多光谱传感器可以包括成像光学元件和划分光谱的光学元件，能够准确识别当前场景中所有的光谱色彩信息；当然，光谱感知装置210也可以是ccd直读光谱仪，本示例实施例对光谱感知装置的类型不做特殊限定。55.图3示意性示出本公开示例性实施例中一种光谱感知装置与电子设备设置方式的示意图。56.参考图3所示，以光谱感知装置210是多光谱传感器310为例，可以将多光谱传感器310集成到摄像模组220中，也可以独立于摄像模组220设置到电子设备中，例如，可以设置在电子设备的外壳320上，并且与摄像模组220的距离处于距离阈值之内；当然，光谱感知装置210也可以作为外接设备与摄像模组220对应的电子设备通信连接，例如，外接的光谱感知装置330可以通过有线或者无线的方式340与摄像模组220通信连接，本示例实施例对于光谱感知装置210的连接方式不做特殊限定。57.继续参考图2所示，目标光谱色彩数据是指筛选的作用于原始图像的光谱色彩数据，例如，目标光谱色彩数据可以是光谱感知装置210采集的所有光谱色彩数据，也可以是光谱感知装置210采集的所有光谱色彩数据中与原始图像的前景区域对应的光谱色彩数据，当然，还可以是以其他方式筛选的作用于原始图像的光谱色彩数据，本示例实施例对目标光谱色彩数据的筛选方式不做特殊限定。58.图像传感器221是指实现光信号采集，并将光信号转换为电信号的传感器，例如，图像传感器221可以是互补性金属氧化物半导体cmos，也可以是电荷耦合探测元件ccd，本示例实施例对图像传感器221的传感器类型不做任何特殊限定。可选的，图像传感器221可以是基于拜耳滤光样式的图像传感器，如基于rgbg滤光样式、rgbw滤光样式的图像传感器，当然，也可以是基于非拜耳滤光样式的图像传感器，如基于ryyb滤光样式的图像传感器，本实施例不以此为限。59.原始图像是指通过图像传感器选择光信号并转换得到的图像数据，例如，若原始图像是基于rgbg滤光样式的图像传感器采集的图像数据，那么原始图像可以是rgbg图像；若原始图像是基于ryyb滤光样式的图像传感器采集的图像数据，那么原始图像可以是ryyb图像，本示例实施例不以此为限。60.图像信号处理器是指将图像传感器采集的原始图像加工成可以输出到显示器展示的图像数据的处理器，例如，图像信号处理器可以是isp(imagesignalprocessor)处理器，也可以是应用处理器(applicationprocessor，ap)、gpu图形处理器(graphicsprocessingunit，gpu)等，本示例实施例对此不做限定，为便于理解，下面均以图像信号处理器为isp处理器进行说明。61.在一示例实施例中，光谱感知装置可以包括多个光谱传感器，多个光谱传感器可以按照m*n的阵列排布构成光谱传感器阵列，其中，m和n均为大于1的正整数。62.图4示意性示出本公开示例性实施例中一种光谱传感器阵列采集光谱色彩数据的原理示意图。63.参考图4所示，光谱感知装置210可以包括多个光谱传感器410，光谱传感器410在空间上按照预设列数和行数进行排列，排列得到光谱传感器阵列，具体的，多个光谱传感器410可以按照m*n的阵列排布构成光谱传感器阵列420，例如，可以预先设置m为10，可以设置n为10，那么光谱感知装置210可以包括100个光谱传感器410，对这100个光谱传感器410在空间上进行排列，得到10*10的光谱传感器阵列。当然，具体的m和n可以根据实际应用场景进行自定义设置，本示例实施例对此不做特殊限定。64.具体的，光谱感知装置210可以用于，通过光谱传感器阵列420采集得到具有m*n个检测区域430的光谱色彩数据440，并将该m*n个局部检测区域的光谱色彩数据440作为目标光谱色彩数据。65.继续参考图4所示，在拍摄原始图像时，在空间上具有m*n光谱传感器阵列420结构的光谱感知装置210，采集当前场景中的真实色彩信息，得到具有m*n个检测区域430的光谱色彩数据440，各检测区域430内的光谱色彩数据能够采集所对应的真实场景区域中的光谱色彩数据，相比于基于rgb通道的图像传感器，能够得到真实场景中更加丰富的色彩信息，感知更大范围的光谱信息，有效补充图像传感器的色彩信息，提升输出的目标图像的色彩还原的准确性，并且通过各检测区域中的光谱色彩数据，能够有效实现对目标图像的局部区域色彩增强，保证目标图像的色彩表现力。66.在一示例实施例中，参考图5所示，图像处理系统200可以包括图像区域分割模块510，该图像区域分割模块510可以设置在电子设备的中央处理器(centralprocessingunit，cpu)、神经网络处理器(neural-networkprocessingunit，npu)等处理器中，也可以设置在摄像模组的图像信号处理器中，本示例实施例对此不做特殊限定。67.具体的，图像区域分割模块510可以用于：根据原始图像确定感兴趣区域，通过感兴趣区域在m*n个检测区域中确定目标检测区域，并将目标检测区域对应的光谱色彩数据作为目标光谱色彩数据。68.其中，感兴趣区域是指原始图像中特定图像内容所在的区域，例如，假设原始图像采集的是人脸内容，那么原始图像对应的感兴趣区域可以是原始图像中的人脸区域；假设原始图像采集的是一颗树，那么原始图像对应的感兴趣区域可以是这棵树对应的图像区域，本示例实施例对于感兴趣区域的选取或者设定不做特殊限定。69.目标检测区域是指原始图像中的感兴趣区域与光谱感知装置对应的多个检测区域的重叠区域，即对原始图像中的感兴趣区域与光谱感知装置对应的多个检测区域取交集，得到目标检测区域。70.通过确定原始图像对应的感兴趣区域，并根据感兴趣区域筛选需要使用的光谱色彩数据对原始图像进行色彩还原，而不是将光谱感知装置采集到的所有光谱色彩数据均应用于色彩还原，可以有效降低色彩还原过程中的计算量，提升计算效率，并且筛选目标检测区域对应的光谱色彩数据对原始图像进行色彩还原，能够实现对原始图像局部感兴趣区域的色彩增强，提升图像中感兴趣区域的色彩表现力，使输出的目标图像中的感兴趣区域的图像内容更加鲜艳，提升用户观赏体验。71.图6示意性示出本公开示例性实施例中一种图像区域分割模块的原理示意图。72.参考图6所示，图像传感器221采集到原始图像610，可以将原始图像610输入到中央处理器、图像信号处理器或者其他具有计算能力的处理器中，确定原始图像610中的感兴趣区域620，例如，可以将原始图像610输入到中央处理器中，通过边缘检测算法确定感兴趣区域620，也可以将原始图像610输入到人工智能处理器中，通过预先训练的基于深度学习的感兴趣区域提取模型确定感兴趣区域620，本示例实施例对此不做特殊限定。73.可以将原始图像610对应的感兴趣区域620，与光谱感知装置210对应的多个检测区域630的光谱色彩数据输入到图像区域分割模块510中，确定感兴趣区域620与多个检测区域630的光谱色彩数据的重叠区域640，并将重叠区域640作为目标检测区域，并将目标检测区域对应的光谱色彩数据作为目标光谱色彩数据。74.通过确定原始图像对应的感兴趣区域，并根据感兴趣区域筛选需要使用的光谱色彩数据对原始图像进行色彩还原，而不是将光谱感知装置采集到的所有光谱色彩数据均应用于色彩还原，可以有效降低色彩还原过程中的计算量，提升计算效率。75.在一示例实施例中，本实施例中的图像处理系统不改变已经成熟的图像信号处理流程的系统架构，即本实施例中的图像处理系统是将光谱感知装置210对应的多个检测区域630的光谱色彩数据，在已经成熟的图像信号处理流程的系统架构上进行结合。76.图7示意性示出本公开示例性实施例中再一种图像处理系统的架构示意图，参考图7所示，图像信号处理器222可以包括rgb域处理模块710和yuv域处理模块720，具体的，参考图8所示，rgb域处理模块710可以包括rawrgb域处理单元810以及fullrgb域处理单元820。77.可以理解的是，rawrgb域、fullrgb域以及yuv域分别是指在图像信号处理流水线中对不同格式或者阶段的原始图像的区分，举例而言，参考图9所示，对于将原始图像转换为最终的jpg输出图像的成熟的图像信号处理流水线900，其中，可以将坏点隐藏(deadpixelconcealment)、黑电平补偿(blacklevelcompensation)、镜头阴影校正(lensshadingcorrection)、抗混叠噪声滤波器(anti-aliasingnoisefilter)、自动白平衡增益控制(awbgaincontrol)、cfa插值(cfainterpolation)等流程处理的数据认为是rawrgb域910对应的原始图像；可以将伽马校正(gammacorrection)、色彩校正(colorcorrection)、色彩空间转换(colorspaceconversion)等流程处理的数据认为是fullrgb域920对应的原始图像；可以将色度噪声滤波器(noisefilterforchroma)、色度饱和度控制(huesaturationcontrol)、luma噪声滤波器(noisefilterforluma)、边缘增强(edgeenhancement)、对比度亮度控制(contrastbrightnesscontrol)、数据格式化(dataformatter)等流程处理的数据认为是yuv域930对应的原始图像。78.便于理解的，参考图10所示，可以通过基于拜耳滤光样式的图像传感器采集到rawrgb域原始图像1000，此时的rawrgb域原始图像1000可以包含不同通道的颜色滤波阵列1010(r颜色滤波阵列、g颜色滤波阵列、b颜色滤波阵列)；此时可以通过对不同通道的颜色滤波阵列1010进行插值(如可以通过反马赛克demosaic算法对颜色滤波阵列1010进行插值)，得到不同通道的全局颜色阵列1020(r全局颜色阵列、g全局颜色阵列、b全局颜色阵列)，进而可以通过不同通道的全局颜色阵列1020得到fullrgb域原始图像1030。可以继续对fullrgb域原始图像1030进行颜色空间转换，得到yuv域的原始图像。79.具体的，继续参考图7和图8所示，图像信号处理器222可以包括rgb域处理模块710，具体的，rgb域处理模块710可以包括rawrgb域处理单元810，该rawrgb域处理单元810可以用于：80.将原始图像划分为多个局部图像区域，局部图像区域可以按照k*l的阵列排布，其中，k和l均为大于1的正整数，k大于或者等于m，且l大于或者等于n；根据目标光谱色彩数据对具有k*l个局部图像区域的原始图像进行色彩还原处理，得到目标图像。81.进一步的，参考图11所示，rawrgb域处理单元810可以包括白平衡增益子单元1110以及第一色调映射子单元1120，其中：白平衡增益子单元1110可以用于根据目标光谱色彩数据对具有k*l个局部图像区域的原始图像进行白平衡处理，确定白平衡增益矩阵；第一色调映射子单元1120可以用于根据目标光谱色彩数据对具有k*l个局部图像区域的原始图像进行色调映射处理，确定第一色调映射增益函数。82.在确定白平衡增益矩阵和第一色调映射增益函数之后，rawrgb域处理单元810可以通过白平衡增益矩阵以及第一色调映射增益函数对原始图像进行色彩还原，得到目标图像。83.在一示例实施例中，图像信号处理器222可以包括rgb域处理模块710，rgb域处理模块710可以包括fullrgb域处理单元820，该fullrgb域处理单元820可以用于：84.将原始图像划分为多个局部图像区域，局部图像区域可以按照x*y的阵列排布，其中，x和y均为大于1的正整数，x大于或者等于m，且y大于或者等于n；根据目标光谱色彩数据对具有x*y个局部图像区域的原始图像进行色彩还原处理，得到目标图像。85.具体的，参考图12所示，fullrgb域处理单元820可以包括颜色校正子单元1210、第二色调映射子单元1220和2d/3d查找表子单元1230，其中：86.颜色校正子单元1210可以用于根据所述目标光谱色彩数据对具有x*y个局部图像区域的原始图像进行伽马校正处理，确定伽马校正曲线；87.第二色调映射子单元1220可以用于根据所述目标光谱色彩数据对具有x*y个局部图像区域的原始图像进行色调映射处理，确定第二色调映射增益函数；88.2d/3d查找表子单元1230可以用于根据所述目标光谱色彩数据以及2d/3d查找表，对具有x*y个局部图像区域的原始图像进行色彩映射处理，确定校正色彩数据。89.在确定伽马校正曲线、第二色调映射增益函数以及校正色彩数据之后，fullrgb域处理单元820可以通过伽马校正曲线、第二色调映射增益函数以及校正色彩数据对原始图像进行色彩还原，得到目标图像。90.在一示例实施例中，图像信号处理器222可以包括yuv域处理模块720，该yuv域处理模块720可以用于：91.将原始图像划分为多个局部图像区域，局部图像区域可以按照e*f的阵列排布，其中，e和f均为大于1的正整数，e大于或者等于m，且f大于或者等于n；根据目标光谱色彩数据对具有e*f个局部图像区域的原始图像进行色彩还原处理，得到目标图像。92.具体的，参考图13所示，yuv域处理模块720可以包括第三色调映射子单元1310和色彩调整增强子单元1320，其中：93.第三色调映射子单元1310可以用于根据所述目标光谱色彩数据对具有e*f个局部图像区域的原始图像进行色调映射处理，确定第三色调映射增益函数；94.色彩调整增强子单元1320可以用于根据所述目标光谱色彩数据对具有e*f个局部图像区域的原始图像进行色彩调整增强，确定色彩调整增强参数，其中色彩调整增强参数可以包括对比度调整参数、亮度调整参数、饱和度调整参数和边缘增强参数等，本示例实施例对此不做特殊限定。95.在确定第三色调映射增益函数以及色彩调整增强参数之后，yuv域处理模块720可以根据第三色调映射增益函数和色彩调整增强参数对原始图像进行色彩还原，得到目标图像。96.需要说明的是，本公开实施例中的k*l阵列、x*y阵列、e*f阵列分别为在rawrgb域处理数据、fullrgb域处理数据、yuv域处理数据时划分的网格，k*l阵列、x*y阵列、e*f阵列的尺寸可以是一致的，也可以是不一致的，具体可以根据实际应用情况进行自定义设置，本示例实施例对此不做特殊限定。97.在一示例实施例中，图像信号处理器还可以用于基于无限脉冲响应iir滤波器对不同时刻色彩还原后的原始图像进行时域滤波处理，得到目标图像。通过对不同时刻色彩还原后的原始图像进行时域滤波处理，能够降低由于对图像局部处理而导致的区域边缘或者前后图像色彩不连续的问题，提升拍摄视频或者实时预览时的图像表现连续性，提升用户体验。98.综上所述，本示例性实施方式中，可以包括光谱感知装置，光谱感知装置用于采集目标光谱色彩数据，以及摄像模组，摄像模组可以包括图像传感器和图像信号处理器，其中图像传感器可以用于生成原始图像，图像信号处理器可以与图像传感器和光谱感知装置电连接，用于根据目标光谱色彩数据对原始图像进行色彩还原，得到目标图像。一方面，通过光谱感知装置获取目标光谱色彩数据，相比于图像传感器生成的颜色通道较少的原始图像，能够感知当前场景中更加丰富的色彩信息，并结合目标光谱色彩数据对原始图像进行色彩还原，能够有效提升目标图像的色彩表达的准确性，提高目标图像的色彩表现力；另一方面，通过独立的光谱感知装置采集目标光谱色彩数据，并将目标光谱色彩数据与图像信号处理器中的已经成熟的图像信号处理流程的系统架构相结合进行色彩还原，并不需要调整已经成熟的图像信号处理流程的系统结构，有效提升色彩还原效率，降低优化成本。99.需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。100.进一步的，本示例的实施方式中还提供一种图像处理方法，图14示出了本示例性实施方式中一种图像处理方法的流程示意图，包括以下步骤s1410至步骤s1430：101.步骤s1410，采集目标光谱色彩数据；102.步骤s1420，获取原始图像；103.步骤s1430，根据目标光谱色彩数据对所述原始图像进行色彩还原，得到目标图像。104.在一示例实施例中，目标光谱色彩数据可以包括多个检测区域，原始图像可以包括多个图像区域，且检测区域与图像区域相对应。105.上述方法的具体细节在系统部分实施方式中已经详细说明，未披露的细节内容可以参见系统部分的实施方式内容，因而不再赘述。106.所属
技术领域：
：的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。107.本公开的示例性实施方式还提供一种电子设备，参考图15所示，电子设备1500可以包括：壳体1510，主电路板1520，图像处理系统1530。其中，主电路板1520位于壳体1510内。图像处理系统1530可以是如本公开实施例中的图像处理系统。图像处理系统1530可以与主电路板1520电连接，以实现图像处理系统1530可以与主电路板1520之间的信号或数据传输。例如，图像处理系统1530可以设置于主电路板1520上，或者通过柔性电路板等介质连接于主电路板1520，以形成电连接，给图像处理系统1530供电或者传输信号。108.下面以图16中的移动终端1600为例，对该电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图16中的构造也能够应用于固定类型的设备。109.如图16所示，移动终端1600具体可以包括：处理器1601、存储器1602、总线1603、移动通信模块1604、天线1、无线通信模块1605、天线2、显示屏1606、摄像模块1607、音频模块1608、电源模块1609与传感器模块1610。110.处理器1601可以包括一个或多个处理单元，例如：处理器1601可以包括应用处理器ap、调制解调处理器、图形处理器gpu、isp处理器、控制器、编码器、解码器、dsp(digitalsignalprocessor，数字信号处理器)、基带处理器和/或神经网络处理器npu等。111.编码器可以对图像或视频进行编码(即压缩)，以减小数据大小，便于存储或发送。解码器可以对图像或视频的编码数据进行解码(即解压缩)，以还原出图像或视频数据。移动终端1600可以支持一种或多种编码器和解码器，例如：jpeg(jointphotographicexpertsgroup，联合图像专家组)、png(portablenetworkgraphics，便携式网络图形)、bmp(bitmap，位图)等图像格式，mpeg(movingpictureexpertsgroup，动态图像专家组)1、mpeg10、h.1063、h.1064、hevc(highefficiencyvideocoding，高效率视频编码)等视频格式。112.处理器1601可以通过总线1603与存储器1602或其他部件形成连接。113.存储器1602可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器1601通过运行存储在存储器1602的指令，执行移动终端1600的各种功能应用以及数据处理。存储器1602还可以存储应用数据，例如存储图像，视频等文件。114.移动终端1600的通信功能可以通过移动通信模块1604、天线1、无线通信模块1605、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块1604可以提供应用在移动终端1600上3g、4g、5g等移动通信解决方案。无线通信模块1605可以提供应用在移动终端1600上的无线局域网、蓝牙、近场通信等无线通信解决方案。115.显示屏1606用于实现显示功能，如显示用户界面、图像、视频等。摄像模块1607用于实现拍摄功能，如拍摄图像、视频等。音频模块1608用于实现音频功能，如播放音频，采集语音等。电源模块1609用于实现电源管理功能，如为电池充电、为设备供电、监测电池状态等。116.传感器模块1610可以包括一种或多种传感器，用于实现相应的感应检测功能。例如，传感器模块1610可以包括惯性传感器，其用于检测移动终端1600的运动位姿，输出惯性传感数据。117.本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。118.需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。119.在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。120.此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c 等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。121.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本
技术领域：
：中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。122.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。当前第1页12当前第1页12
技术领域：
：，具体涉及一种图像处理系统、图像处理方法、计算机可读介质和电子设备。
背景技术：
：：2.伴随着人们生活水平的不断提高，对于拍摄的图像质量的要求也越来越高。拜耳传感器(bayersensor)是一种可以将红，绿，蓝三种成份光信号在空间上区分开来单独统计光信号的传感器。3.目前大多数相机方案采用的是拜耳传感器以及基于红绿蓝(rgb)颜色通道的组合所获得不同滤光样式组合的图像传感器，例如，基于rgbg的图像传感器。但是，这种方案中，由于相机所采用的色彩滤波仅限于红，绿，蓝三种光谱范围，复杂光源场景下的光谱感知信息有限，并且无法得到局部区域的色彩信息，因此最终输出图像的色彩还原的准确性较差。技术实现要素：4.本公开的目的在于提供一种图像处理系统、图像处理方法、计算机可读介质和电子设备，进而至少在一定程度上提高相关方案中输出的图像的色彩还原的准确性。5.根据本公开的第一方面，提供一种图像处理系统，包括：6.光谱感知装置，用于采集目标光谱色彩数据；7.摄像模组，包括图像传感器和图像信号处理器，其中：8.所述图像传感器，用于生成原始图像；9.所述图像信号处理器，与所述图像传感器和所述光谱感知装置电连接，用于根据所述目标光谱色彩数据对所述原始图像进行色彩还原，得到目标图像。10.根据本公开的第二方面，提供一种图像处理方法，包括：11.采集目标光谱色彩数据；12.获取原始图像；13.根据目标光谱色彩数据对所述原始图像进行色彩还原，得到目标图像。14.根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。15.根据本公开的第四方面，提供一种电子设备，其特征在于，包括：16.壳体；17.主电路板，设置在所述壳体内；18.如第一方面所提供的图像处理系统，设置在所述壳体内，与所述主电路板电连接。19.本公开的一种实施例所提供的图像处理系统，可以包括光谱感知装置，光谱感知装置用于采集目标光谱色彩数据，以及摄像模组，摄像模组可以包括图像传感器和图像信号处理器，其中图像传感器可以用于生成原始图像，图像信号处理器可以与图像传感器和光谱感知装置电连接，用于根据目标光谱色彩数据对原始图像进行色彩还原，得到目标图像。一方面，通过光谱感知装置获取目标光谱色彩数据，相比于图像传感器生成的颜色通道较少的原始图像，能够感知当前场景中更加丰富的色彩信息，并结合目标光谱色彩数据对原始图像进行色彩还原，能够有效提升目标图像的色彩表达的准确性，提高目标图像的色彩表现力；另一方面，通过独立的光谱感知装置采集目标光谱色彩数据，并将目标光谱色彩数据与图像信号处理器中的已经成熟的图像信号处理流程的系统架构相结合进行色彩还原，并不需要调整已经成熟的图像信号处理流程的系统结构，有效提升色彩还原效率，降低优化成本。20.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明21.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：22.图1示出了相关技术方案中的一种图像信号处理流程的系统架构示意图；23.图2示意性示出本公开示例性实施例中一种图像处理系统的架构示意图；24.图3示意性示出本公开示例性实施例中一种光谱感知装置与电子设备设置方式的示意图；25.图4示意性示出本公开示例性实施例中一种光谱传感器阵列采集光谱色彩数据的原理示意图；26.图5示意性示出本公开示例性实施例中另一种图像处理系统的架构示意图；27.图6示意性示出本公开示例性实施例中一种图像区域分割模块的原理示意图；28.图7示意性示出本公开示例性实施例中再一种图像处理系统的架构示意图；29.图8示意性示出本公开示例性实施例中一种rgb域处理模块的结构示意图；30.图9示意性示出本公开示例性实施例中一种图像信号处理流水线的结构示意图；31.图10示意性示出本公开示例性实施例中一种rawrgb域图像与fullrgb域的区别的示意图；32.图11示意性示出本公开示例性实施例中一种rawrgb域处理模块的结构示意图；33.图12示意性示出本公开示例性实施例中一种fullrgb域处理模块的结构示意图；34.图13示意性示出本公开示例性实施例中一种yuv域处理模块的结构示意图；35.图14示意性示出本公开示例性实施例中一种图像处理方法的流程示意图；36.图15示出了可以应用于本公开实施例的一种电子设备的结构示意图；37.图16示出了可以应用于本公开实施例的另一种电子设备的结构示意图。具体实施方式38.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。39.此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。40.图1示出了相关技术方案中的一种图像信号处理流程的系统架构示意图。41.参考图1所示，一种图像信号处理流程的系统架构可以包括图像传感器110、rgb域处理模块120、yuv域处理模块130以及jpg输出模块140。其中：42.图像传感器110是指基于拜耳滤光样式的模板实现光信号采集，并将光信号转换为电信号的传感器，例如，图像传感器110可以是互补性金属氧化物半导体(complementarymetaloxidesemiconductor，cmos)，也可以是电荷耦合探测元件(charge-coupleddevice，ccd)。43.rgb域处理模块120是指对于图像传感器110采集的原始图像在rgb域上进行图像信号处理的所有流程对应的模块。44.yuv域处理模块130是指将rgb域处理模块120的输出结果转换到yuv颜色空间(yuv域)，并在yuv颜色空间上进行图像信号处理的所有流程对应的模块。45.jpg输出模块140是指将rgb域处理模块120的处理结果以及yuv域处理模块130的处理结果，映射到原始图像中，并将处理后的原始图像转换为最终可以显示到显示单元如jpg格式图片的处理模块。46.但是，由于该方案中图像传感器110采用的是基于拜耳滤镜以及基于rgb颜色通道的组合所获得不同滤光样式组合的传感器，基于rgb三通道的传感器所采用的色彩滤波仅限于红，绿，蓝(r，g，b)三种光谱范围，复杂光源场景下的光谱感知信息有限；同时对于系统结构中需要用到当前色温，以及反应当前场景颜色信息，而基于全局rgb的方式存在很多局限性，无法获得局部区域的色彩信息，导致最终输出的图像的色彩的准确性较差，无法较好还原真实场景中的色彩。47.另外，一些技术方案中，虽然有采用到基于红绿蓝青品红黄(rgbcmy)以及红黄蓝(ryyb)等非常规颜色通道的传感器，用于弥补当前图像传感器仅能够采集rgb三通道色彩的缺陷，但是，由于红绿蓝青品红黄(rgbcmy)以及红黄蓝(ryyb)等非常规颜色通道的传感器的应用较少，需要在图像信号处理流程(isp)的系统架构以及单点算法层面上需要针对该类型的色彩滤波模板做进一步的支持，工作量较大，应用成本较高。48.基于相关方案中存在的一个或者多个问题，本公开首先提供了一种图像处理系统，图像处理系统可以设置在具有一定计算能力的电子设备中，例如，电子设备可以是台式计算机、便携式计算机、智能手机、智能机器人、可穿戴设备和平板电脑等，本示例实施例对此不做特殊限定。49.图2示意性示出本公开示例性实施例中一种图像处理系统的架构示意图。参考图2所示，图像处理系统200可以包括：50.光谱感知装置210可以用于采集目标光谱色彩数据；51.摄像模组220可以包括图像传感器221和图像信号处理器222，其中：52.图像传感器221可以用于生成原始图像；53.图像信号处理器222可以与图像传感器221和光谱感知装置210电连接，用于根据光谱感知装置210采集的目标光谱色彩数据对图像传感器221输出的原始图像进行色彩还原，得到目标图像。54.其中，光谱感知装置210是指用于感知拍摄原始图像时的当前场景中真实色彩的感知单元，例如，光谱感知装置210可以是多光谱传感器(multispectralsensor)，多光谱传感器可以包括成像光学元件和划分光谱的光学元件，能够准确识别当前场景中所有的光谱色彩信息；当然，光谱感知装置210也可以是ccd直读光谱仪，本示例实施例对光谱感知装置的类型不做特殊限定。55.图3示意性示出本公开示例性实施例中一种光谱感知装置与电子设备设置方式的示意图。56.参考图3所示，以光谱感知装置210是多光谱传感器310为例，可以将多光谱传感器310集成到摄像模组220中，也可以独立于摄像模组220设置到电子设备中，例如，可以设置在电子设备的外壳320上，并且与摄像模组220的距离处于距离阈值之内；当然，光谱感知装置210也可以作为外接设备与摄像模组220对应的电子设备通信连接，例如，外接的光谱感知装置330可以通过有线或者无线的方式340与摄像模组220通信连接，本示例实施例对于光谱感知装置210的连接方式不做特殊限定。57.继续参考图2所示，目标光谱色彩数据是指筛选的作用于原始图像的光谱色彩数据，例如，目标光谱色彩数据可以是光谱感知装置210采集的所有光谱色彩数据，也可以是光谱感知装置210采集的所有光谱色彩数据中与原始图像的前景区域对应的光谱色彩数据，当然，还可以是以其他方式筛选的作用于原始图像的光谱色彩数据，本示例实施例对目标光谱色彩数据的筛选方式不做特殊限定。58.图像传感器221是指实现光信号采集，并将光信号转换为电信号的传感器，例如，图像传感器221可以是互补性金属氧化物半导体cmos，也可以是电荷耦合探测元件ccd，本示例实施例对图像传感器221的传感器类型不做任何特殊限定。可选的，图像传感器221可以是基于拜耳滤光样式的图像传感器，如基于rgbg滤光样式、rgbw滤光样式的图像传感器，当然，也可以是基于非拜耳滤光样式的图像传感器，如基于ryyb滤光样式的图像传感器，本实施例不以此为限。59.原始图像是指通过图像传感器选择光信号并转换得到的图像数据，例如，若原始图像是基于rgbg滤光样式的图像传感器采集的图像数据，那么原始图像可以是rgbg图像；若原始图像是基于ryyb滤光样式的图像传感器采集的图像数据，那么原始图像可以是ryyb图像，本示例实施例不以此为限。60.图像信号处理器是指将图像传感器采集的原始图像加工成可以输出到显示器展示的图像数据的处理器，例如，图像信号处理器可以是isp(imagesignalprocessor)处理器，也可以是应用处理器(applicationprocessor，ap)、gpu图形处理器(graphicsprocessingunit，gpu)等，本示例实施例对此不做限定，为便于理解，下面均以图像信号处理器为isp处理器进行说明。61.在一示例实施例中，光谱感知装置可以包括多个光谱传感器，多个光谱传感器可以按照m*n的阵列排布构成光谱传感器阵列，其中，m和n均为大于1的正整数。62.图4示意性示出本公开示例性实施例中一种光谱传感器阵列采集光谱色彩数据的原理示意图。63.参考图4所示，光谱感知装置210可以包括多个光谱传感器410，光谱传感器410在空间上按照预设列数和行数进行排列，排列得到光谱传感器阵列，具体的，多个光谱传感器410可以按照m*n的阵列排布构成光谱传感器阵列420，例如，可以预先设置m为10，可以设置n为10，那么光谱感知装置210可以包括100个光谱传感器410，对这100个光谱传感器410在空间上进行排列，得到10*10的光谱传感器阵列。当然，具体的m和n可以根据实际应用场景进行自定义设置，本示例实施例对此不做特殊限定。64.具体的，光谱感知装置210可以用于，通过光谱传感器阵列420采集得到具有m*n个检测区域430的光谱色彩数据440，并将该m*n个局部检测区域的光谱色彩数据440作为目标光谱色彩数据。65.继续参考图4所示，在拍摄原始图像时，在空间上具有m*n光谱传感器阵列420结构的光谱感知装置210，采集当前场景中的真实色彩信息，得到具有m*n个检测区域430的光谱色彩数据440，各检测区域430内的光谱色彩数据能够采集所对应的真实场景区域中的光谱色彩数据，相比于基于rgb通道的图像传感器，能够得到真实场景中更加丰富的色彩信息，感知更大范围的光谱信息，有效补充图像传感器的色彩信息，提升输出的目标图像的色彩还原的准确性，并且通过各检测区域中的光谱色彩数据，能够有效实现对目标图像的局部区域色彩增强，保证目标图像的色彩表现力。66.在一示例实施例中，参考图5所示，图像处理系统200可以包括图像区域分割模块510，该图像区域分割模块510可以设置在电子设备的中央处理器(centralprocessingunit，cpu)、神经网络处理器(neural-networkprocessingunit，npu)等处理器中，也可以设置在摄像模组的图像信号处理器中，本示例实施例对此不做特殊限定。67.具体的，图像区域分割模块510可以用于：根据原始图像确定感兴趣区域，通过感兴趣区域在m*n个检测区域中确定目标检测区域，并将目标检测区域对应的光谱色彩数据作为目标光谱色彩数据。68.其中，感兴趣区域是指原始图像中特定图像内容所在的区域，例如，假设原始图像采集的是人脸内容，那么原始图像对应的感兴趣区域可以是原始图像中的人脸区域；假设原始图像采集的是一颗树，那么原始图像对应的感兴趣区域可以是这棵树对应的图像区域，本示例实施例对于感兴趣区域的选取或者设定不做特殊限定。69.目标检测区域是指原始图像中的感兴趣区域与光谱感知装置对应的多个检测区域的重叠区域，即对原始图像中的感兴趣区域与光谱感知装置对应的多个检测区域取交集，得到目标检测区域。70.通过确定原始图像对应的感兴趣区域，并根据感兴趣区域筛选需要使用的光谱色彩数据对原始图像进行色彩还原，而不是将光谱感知装置采集到的所有光谱色彩数据均应用于色彩还原，可以有效降低色彩还原过程中的计算量，提升计算效率，并且筛选目标检测区域对应的光谱色彩数据对原始图像进行色彩还原，能够实现对原始图像局部感兴趣区域的色彩增强，提升图像中感兴趣区域的色彩表现力，使输出的目标图像中的感兴趣区域的图像内容更加鲜艳，提升用户观赏体验。71.图6示意性示出本公开示例性实施例中一种图像区域分割模块的原理示意图。72.参考图6所示，图像传感器221采集到原始图像610，可以将原始图像610输入到中央处理器、图像信号处理器或者其他具有计算能力的处理器中，确定原始图像610中的感兴趣区域620，例如，可以将原始图像610输入到中央处理器中，通过边缘检测算法确定感兴趣区域620，也可以将原始图像610输入到人工智能处理器中，通过预先训练的基于深度学习的感兴趣区域提取模型确定感兴趣区域620，本示例实施例对此不做特殊限定。73.可以将原始图像610对应的感兴趣区域620，与光谱感知装置210对应的多个检测区域630的光谱色彩数据输入到图像区域分割模块510中，确定感兴趣区域620与多个检测区域630的光谱色彩数据的重叠区域640，并将重叠区域640作为目标检测区域，并将目标检测区域对应的光谱色彩数据作为目标光谱色彩数据。74.通过确定原始图像对应的感兴趣区域，并根据感兴趣区域筛选需要使用的光谱色彩数据对原始图像进行色彩还原，而不是将光谱感知装置采集到的所有光谱色彩数据均应用于色彩还原，可以有效降低色彩还原过程中的计算量，提升计算效率。75.在一示例实施例中，本实施例中的图像处理系统不改变已经成熟的图像信号处理流程的系统架构，即本实施例中的图像处理系统是将光谱感知装置210对应的多个检测区域630的光谱色彩数据，在已经成熟的图像信号处理流程的系统架构上进行结合。76.图7示意性示出本公开示例性实施例中再一种图像处理系统的架构示意图，参考图7所示，图像信号处理器222可以包括rgb域处理模块710和yuv域处理模块720，具体的，参考图8所示，rgb域处理模块710可以包括rawrgb域处理单元810以及fullrgb域处理单元820。77.可以理解的是，rawrgb域、fullrgb域以及yuv域分别是指在图像信号处理流水线中对不同格式或者阶段的原始图像的区分，举例而言，参考图9所示，对于将原始图像转换为最终的jpg输出图像的成熟的图像信号处理流水线900，其中，可以将坏点隐藏(deadpixelconcealment)、黑电平补偿(blacklevelcompensation)、镜头阴影校正(lensshadingcorrection)、抗混叠噪声滤波器(anti-aliasingnoisefilter)、自动白平衡增益控制(awbgaincontrol)、cfa插值(cfainterpolation)等流程处理的数据认为是rawrgb域910对应的原始图像；可以将伽马校正(gammacorrection)、色彩校正(colorcorrection)、色彩空间转换(colorspaceconversion)等流程处理的数据认为是fullrgb域920对应的原始图像；可以将色度噪声滤波器(noisefilterforchroma)、色度饱和度控制(huesaturationcontrol)、luma噪声滤波器(noisefilterforluma)、边缘增强(edgeenhancement)、对比度亮度控制(contrastbrightnesscontrol)、数据格式化(dataformatter)等流程处理的数据认为是yuv域930对应的原始图像。78.便于理解的，参考图10所示，可以通过基于拜耳滤光样式的图像传感器采集到rawrgb域原始图像1000，此时的rawrgb域原始图像1000可以包含不同通道的颜色滤波阵列1010(r颜色滤波阵列、g颜色滤波阵列、b颜色滤波阵列)；此时可以通过对不同通道的颜色滤波阵列1010进行插值(如可以通过反马赛克demosaic算法对颜色滤波阵列1010进行插值)，得到不同通道的全局颜色阵列1020(r全局颜色阵列、g全局颜色阵列、b全局颜色阵列)，进而可以通过不同通道的全局颜色阵列1020得到fullrgb域原始图像1030。可以继续对fullrgb域原始图像1030进行颜色空间转换，得到yuv域的原始图像。79.具体的，继续参考图7和图8所示，图像信号处理器222可以包括rgb域处理模块710，具体的，rgb域处理模块710可以包括rawrgb域处理单元810，该rawrgb域处理单元810可以用于：80.将原始图像划分为多个局部图像区域，局部图像区域可以按照k*l的阵列排布，其中，k和l均为大于1的正整数，k大于或者等于m，且l大于或者等于n；根据目标光谱色彩数据对具有k*l个局部图像区域的原始图像进行色彩还原处理，得到目标图像。81.进一步的，参考图11所示，rawrgb域处理单元810可以包括白平衡增益子单元1110以及第一色调映射子单元1120，其中：白平衡增益子单元1110可以用于根据目标光谱色彩数据对具有k*l个局部图像区域的原始图像进行白平衡处理，确定白平衡增益矩阵；第一色调映射子单元1120可以用于根据目标光谱色彩数据对具有k*l个局部图像区域的原始图像进行色调映射处理，确定第一色调映射增益函数。82.在确定白平衡增益矩阵和第一色调映射增益函数之后，rawrgb域处理单元810可以通过白平衡增益矩阵以及第一色调映射增益函数对原始图像进行色彩还原，得到目标图像。83.在一示例实施例中，图像信号处理器222可以包括rgb域处理模块710，rgb域处理模块710可以包括fullrgb域处理单元820，该fullrgb域处理单元820可以用于：84.将原始图像划分为多个局部图像区域，局部图像区域可以按照x*y的阵列排布，其中，x和y均为大于1的正整数，x大于或者等于m，且y大于或者等于n；根据目标光谱色彩数据对具有x*y个局部图像区域的原始图像进行色彩还原处理，得到目标图像。85.具体的，参考图12所示，fullrgb域处理单元820可以包括颜色校正子单元1210、第二色调映射子单元1220和2d/3d查找表子单元1230，其中：86.颜色校正子单元1210可以用于根据所述目标光谱色彩数据对具有x*y个局部图像区域的原始图像进行伽马校正处理，确定伽马校正曲线；87.第二色调映射子单元1220可以用于根据所述目标光谱色彩数据对具有x*y个局部图像区域的原始图像进行色调映射处理，确定第二色调映射增益函数；88.2d/3d查找表子单元1230可以用于根据所述目标光谱色彩数据以及2d/3d查找表，对具有x*y个局部图像区域的原始图像进行色彩映射处理，确定校正色彩数据。89.在确定伽马校正曲线、第二色调映射增益函数以及校正色彩数据之后，fullrgb域处理单元820可以通过伽马校正曲线、第二色调映射增益函数以及校正色彩数据对原始图像进行色彩还原，得到目标图像。90.在一示例实施例中，图像信号处理器222可以包括yuv域处理模块720，该yuv域处理模块720可以用于：91.将原始图像划分为多个局部图像区域，局部图像区域可以按照e*f的阵列排布，其中，e和f均为大于1的正整数，e大于或者等于m，且f大于或者等于n；根据目标光谱色彩数据对具有e*f个局部图像区域的原始图像进行色彩还原处理，得到目标图像。92.具体的，参考图13所示，yuv域处理模块720可以包括第三色调映射子单元1310和色彩调整增强子单元1320，其中：93.第三色调映射子单元1310可以用于根据所述目标光谱色彩数据对具有e*f个局部图像区域的原始图像进行色调映射处理，确定第三色调映射增益函数；94.色彩调整增强子单元1320可以用于根据所述目标光谱色彩数据对具有e*f个局部图像区域的原始图像进行色彩调整增强，确定色彩调整增强参数，其中色彩调整增强参数可以包括对比度调整参数、亮度调整参数、饱和度调整参数和边缘增强参数等，本示例实施例对此不做特殊限定。95.在确定第三色调映射增益函数以及色彩调整增强参数之后，yuv域处理模块720可以根据第三色调映射增益函数和色彩调整增强参数对原始图像进行色彩还原，得到目标图像。96.需要说明的是，本公开实施例中的k*l阵列、x*y阵列、e*f阵列分别为在rawrgb域处理数据、fullrgb域处理数据、yuv域处理数据时划分的网格，k*l阵列、x*y阵列、e*f阵列的尺寸可以是一致的，也可以是不一致的，具体可以根据实际应用情况进行自定义设置，本示例实施例对此不做特殊限定。97.在一示例实施例中，图像信号处理器还可以用于基于无限脉冲响应iir滤波器对不同时刻色彩还原后的原始图像进行时域滤波处理，得到目标图像。通过对不同时刻色彩还原后的原始图像进行时域滤波处理，能够降低由于对图像局部处理而导致的区域边缘或者前后图像色彩不连续的问题，提升拍摄视频或者实时预览时的图像表现连续性，提升用户体验。98.综上所述，本示例性实施方式中，可以包括光谱感知装置，光谱感知装置用于采集目标光谱色彩数据，以及摄像模组，摄像模组可以包括图像传感器和图像信号处理器，其中图像传感器可以用于生成原始图像，图像信号处理器可以与图像传感器和光谱感知装置电连接，用于根据目标光谱色彩数据对原始图像进行色彩还原，得到目标图像。一方面，通过光谱感知装置获取目标光谱色彩数据，相比于图像传感器生成的颜色通道较少的原始图像，能够感知当前场景中更加丰富的色彩信息，并结合目标光谱色彩数据对原始图像进行色彩还原，能够有效提升目标图像的色彩表达的准确性，提高目标图像的色彩表现力；另一方面，通过独立的光谱感知装置采集目标光谱色彩数据，并将目标光谱色彩数据与图像信号处理器中的已经成熟的图像信号处理流程的系统架构相结合进行色彩还原，并不需要调整已经成熟的图像信号处理流程的系统结构，有效提升色彩还原效率，降低优化成本。99.需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。100.进一步的，本示例的实施方式中还提供一种图像处理方法，图14示出了本示例性实施方式中一种图像处理方法的流程示意图，包括以下步骤s1410至步骤s1430：101.步骤s1410，采集目标光谱色彩数据；102.步骤s1420，获取原始图像；103.步骤s1430，根据目标光谱色彩数据对所述原始图像进行色彩还原，得到目标图像。104.在一示例实施例中，目标光谱色彩数据可以包括多个检测区域，原始图像可以包括多个图像区域，且检测区域与图像区域相对应。105.上述方法的具体细节在系统部分实施方式中已经详细说明，未披露的细节内容可以参见系统部分的实施方式内容，因而不再赘述。106.所属
技术领域：
：的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。107.本公开的示例性实施方式还提供一种电子设备，参考图15所示，电子设备1500可以包括：壳体1510，主电路板1520，图像处理系统1530。其中，主电路板1520位于壳体1510内。图像处理系统1530可以是如本公开实施例中的图像处理系统。图像处理系统1530可以与主电路板1520电连接，以实现图像处理系统1530可以与主电路板1520之间的信号或数据传输。例如，图像处理系统1530可以设置于主电路板1520上，或者通过柔性电路板等介质连接于主电路板1520，以形成电连接，给图像处理系统1530供电或者传输信号。108.下面以图16中的移动终端1600为例，对该电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图16中的构造也能够应用于固定类型的设备。109.如图16所示，移动终端1600具体可以包括：处理器1601、存储器1602、总线1603、移动通信模块1604、天线1、无线通信模块1605、天线2、显示屏1606、摄像模块1607、音频模块1608、电源模块1609与传感器模块1610。110.处理器1601可以包括一个或多个处理单元，例如：处理器1601可以包括应用处理器ap、调制解调处理器、图形处理器gpu、isp处理器、控制器、编码器、解码器、dsp(digitalsignalprocessor，数字信号处理器)、基带处理器和/或神经网络处理器npu等。111.编码器可以对图像或视频进行编码(即压缩)，以减小数据大小，便于存储或发送。解码器可以对图像或视频的编码数据进行解码(即解压缩)，以还原出图像或视频数据。移动终端1600可以支持一种或多种编码器和解码器，例如：jpeg(jointphotographicexpertsgroup，联合图像专家组)、png(portablenetworkgraphics，便携式网络图形)、bmp(bitmap，位图)等图像格式，mpeg(movingpictureexpertsgroup，动态图像专家组)1、mpeg10、h.1063、h.1064、hevc(highefficiencyvideocoding，高效率视频编码)等视频格式。112.处理器1601可以通过总线1603与存储器1602或其他部件形成连接。113.存储器1602可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器1601通过运行存储在存储器1602的指令，执行移动终端1600的各种功能应用以及数据处理。存储器1602还可以存储应用数据，例如存储图像，视频等文件。114.移动终端1600的通信功能可以通过移动通信模块1604、天线1、无线通信模块1605、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块1604可以提供应用在移动终端1600上3g、4g、5g等移动通信解决方案。无线通信模块1605可以提供应用在移动终端1600上的无线局域网、蓝牙、近场通信等无线通信解决方案。115.显示屏1606用于实现显示功能，如显示用户界面、图像、视频等。摄像模块1607用于实现拍摄功能，如拍摄图像、视频等。音频模块1608用于实现音频功能，如播放音频，采集语音等。电源模块1609用于实现电源管理功能，如为电池充电、为设备供电、监测电池状态等。116.传感器模块1610可以包括一种或多种传感器，用于实现相应的感应检测功能。例如，传感器模块1610可以包括惯性传感器，其用于检测移动终端1600的运动位姿，输出惯性传感数据。117.本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。118.需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。119.在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。120.此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c 等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。121.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本
技术领域：
：中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。122.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。当前第1页12当前第1页12
再多了解一些
本文用于创业者技术爱好者查询，仅供学习研究，如用于商业用途，请联系技术所有人。
