一种图像校正方法、装置及电子设备与流程

本技术涉及图像处理，尤其涉及一种图像校正方法、装置及电子设备。

背景技术：

1、近年来，随着电子技术的不断发展，手机、平板电脑、数码相机等各种具有拍摄功能的电子设备已经成为了人们生活中不可或缺的一部分。由于摄像模组拍摄到的图像可能会出现偏色现象，因而，通常需要对摄像模组拍摄到的图像信号进行校正。

2、然而，现有技术中的方案只能校正场景中单一颜色的光源，在多光源的场景中，校正某一个光源的颜色，可能会导致图像的局部颜色校正不准确，无法准确还原被拍摄场景的颜色。例如，对主要光源进行校正，但是由次要光源引起的偏色仍然可见。

技术实现思路

1、本技术实施例提供了一种图像校正方法、装置及电子设备，用以解决多光源场景下无法对图像的颜色进行准确校正的问题。

2、第一方面，本技术实施例提供了一种图像校正装置，本技术实施例提供的图像校正装置可以包括：第一输入接口、第二输入接口、光源估计模块和颜色校正模块。第一输入接口可以用于从多光谱传感器接收多光谱图像信号，第二输入接口可以用于从三通道传感器接收三通道图像信号。光源估计模块可以用于根据多光谱图像信号得到多个光源中各个光源对应的校正参数。颜色校正模块可以用于根据校正参数对三通道图像信号进行校正。

3、本技术实施例提供的图像校正装置中，光源估计模块可以根据多光谱图像信号对场景进行多光源估计，得到多个光源中各个光源对应的校正参数。颜色校正矩阵可以根据校正参数对三通道图像信号进行校正，以得到成像图。相比于三通道传感器，多光谱传感器中的光谱通道比较多，可以采集更多光源的光谱信息，因而，本技术实施例提供的技术方案，利用多光谱图像信号可以识别场景中的多个光源，实现更准确地多光源估计和图像校正，可以有效提高多光源场景下颜色校正的准确性，以便更准确地还原被拍摄场景中的颜色。

4、本技术实施例提供的图像校正装置还可以包括处理器，上述光源估计模块和颜色校正模块的功能可以通过处理器中硬件的集成逻辑电路和/或软件形式的指令实现。在具体实施时，处理器可以为一种芯片，例如，处理器可以为现场可编程门阵列(fieldprogrammable gate array，fpga)、专用集成芯片(application specific integratedcircuit，asic)、系统芯片(system on chip，soc)、中央处理器(central processor unit，cpu)、网络处理器(network processor，np)、数字信号处理电路(digital signalprocessor，dsp)、微控制器(micro controller unit，mcu)、可编程控制器(programmablelogic device，pld)等任何具有处理功能的芯片。当然，处理器也可以为其他任何具有数据处理功能的器件，此处不再一一举例。

5、在本技术的实施例中，光源估计模块可以根据多光谱图像信号对场景进行多光源估计，确定场景中各个光源的光源信息，并根据场景中各光源的光源信息，确定各个光源对应的校正参数。示例性地，场景中各个光源的光源信息可以包括场景中光源的数量、各个光源的色温信息、各个光源的光谱信息等。在实际应用中，拍摄场景中的光源可以分为室内光源、室外光源、显示光源(例如电脑、电视等屏幕形成的光源)等，由于大部分拍摄场景中的光源数量不会超过3个，因而，光源估计模块进行多光源估计得到的光源数量可以小于或等于3个，这样，可以在满足大部分场景的图像校正需求的情况下，降低硬件和算法的复杂度，提高图像校正装置的运算速度。在一种可能的实现方式中，上述校正参数可以包括白平衡增益值或颜色校正矩阵中的至少一项。举例来说，场景中存在室内光源和室外光源两个光源时，通过对多光谱图像信号进行多光源估计，可以计算得到室内光源下的白平衡增益值和颜色校正矩阵，以及室外光源下的白平衡增益值和颜色校正矩阵。

6、在本技术的一些实施例中，光源估计模块还可以用于根据多光谱图像信号得到用于计算分区的网格系数。由于多光谱图像信号中的光谱通道比较多，通过多光谱图像信号可以区分不同光源对应的图像区域，因而，根据多光谱图像信号得到的网格系数可以表示光源分区信息。示例性地，网格系数可以为双边网格系数(bilateral grid ofcoefficients)。颜色校正模块可以具体用于根据网格系数对三通道图像信号做采样以得到光源分区图，例如，可以采用切片采样(slicing)的方式对三通道图像信号进行处理。光源分区图本质是一个权重图，用来表示各个光源在每一个像素点处的权重。多光谱图像信号相比于三通道图像信号对多光源场景具有更强的识别能力，因而，把多光谱图像信号中的光源分区信息，相采样到三通道图像信号上，可以按照不同的光源对图像进行准确的分区。

7、此外，颜色校正模块还可以用于利用校正参数和光源分区图对三通道图像信号进行校正。在具体实施时，可以根据光源分区图确定每一个像素点处各个光源的权重，根据每一个像素点处各个光源的权重以及各个光源对应的校正参数，可以对每一个像素点的进行颜色校正。举例来说，以场景中存在室内光源和室外光源两个光源为例，在对某一个像素点的颜色进行校正时，可以根据室内光源在该像素点处的权重和室内光源对应的校正参数、室外光源在该像素点的权重和室外光源对应的校正参数，对该像素点的进行颜色校正。

8、在本技术的一些实施例中，图像校正装置还可以包括：降采样模块，降采样模块可以用于对多光谱图像信号进行降采样，从而，可以将原始分辨率的多光谱图像信号降采样为低分辨率的图像信号，以降低后续处理的计算量。降采样模块还可以将降采样后的多光谱图像信号提供给光源估计模块，光源估计模块可以具体用于根据降采样后的多光谱图像信号得到校正参数和网格系数。利用降采样后的多光谱图像信号生成校正参数和网格系数，可以有效降低光源估计模块的计算量，以实现实时的视频级图像处理。在实际应用中，由于多光谱传感器与三通道传感器的空间位置不同，因而多光谱图像信号与三通道图像信号之间可能存在偏差。在一些实施例中，颜色校正模块还可以用于：在根据网格系数对三通道图像信号做采样以得到光源分区图之前，将网格系数和三通道图像信号进行位置对齐。在具体实施时，可以根据多光谱传感器与三通道传感器的空间位置关系，对网格系数和三通道图像信号进行位置对齐。具体地，可以通过标定或者光流的方式对齐多光谱传感器和三通道传感器的空间位置关系，利用二者的空间位置相对关系，对网格系数进行裁剪(crop)、扭曲(warp)、缩放(resize)等操作，得到对齐三通道图像信号的网格系数。本技术实施例中，对网格系数进行对齐需要的算力要求较低，能够在视频上实现实时的多光源图像处理。

9、在本技术的另一些实施例中，图像校正装置还可以包括：降采样模块，降采样模块可以用于对多光谱图像信号进行降采样，以及对三通道图像信号进行降采样，从而，可以将原始分辨率的多光谱图像信号和三通道图像信号分别降采样为低分辨率的图像信号，以降低后续处理的计算量。降采样模块还可以将降采样后的多光谱图像信号和降采样后的三通道图像信号提供给光源估计模块，光源估计模块可以具体用于：根据降采样后的多光谱图像信号和降采样后的三通道图像信号得到校正参数和网格系数。利用降采样后的多光谱图像信号和三通道图像信号生成校正参数和网格系数，可以有效降低光源估计模块的计算量，以实现实时的视频级图像处理。此外，由于网格系数是根据多光谱图像信号和三通道图像信号生成的，可以使后续计算光源分区图、颜色校正等操作的空间准确性较高。并且，相比于图所示的实施例，图所示的实施例中无需对网格系数与三通道图像信号进行位置对齐，可以节省光源估计模块的运算步骤，提高光源估计模块的运算速度。

10、进一步地，本技术实施例中的光源估计模块还可以用于根据三通道图像信号得到导向图。颜色校正模块可以具体用于根据网格系数和导向图，对三通道图像信号做采样以得到光源分区图。导向图(guided map)是与三通道图像信号相关联的参考图像，可以用于指导光源分区图生成过程中的方向。本技术实施例中，利用导向图对光源分区图的生成过程进行指导，对不同光源分区交界处的处理过程进行优化，从而，可以避免在不同光源分区的交界处出现模糊、色彩偏差等边缘伪彩问题，进而使颜色校正模块校正得到的成像图更接近人眼观看的真实图像。在具体实施时，光源估计模块可以根据原始分辨率的三通道图像信号得到导向图，从而使导向图中的图像信息更丰富，以便对光源分区图的生成过程起到较好的指导效果。此外，如果利用多光谱图像信号计算导向图，需要将生成的光源分区图再对齐到三通道图像信号上，为了避免产生边缘伪彩问题，需要比较高的对齐精度，计算难度较大。本技术实施例中，利用三通道图像信号计算导向图，生成的光源分区图无需与三通道图像信号对齐，可以降低计算量，加快图像处理装置的运行速度。

11、在一种可能的实现方式中，上述光源估计模块可以包括：神经网络处理单元(neural processing unit，npu)和数据处理单元，示例性地，神经网络处理单元可以为卷积神经网络(convolutional neural network，cnn)。神经网络处理单元可以用于根据多光谱图像信号对场景进行多光源估计、计算网格系数、计算导向图等，数据处理单元可以用于根据场景中各光源的光源信息计算各个光源对应的校正参数。

12、在具体实施时，上述颜色校正模块可以通过图像信号处理器(imagesignalprocessor，isp)实现，上述颜色校正模块计算光源分区图、根据校正参数对三通道图像信号进行校正等操作可以硬化于图像信号处理器中，可以减小图像校正装置的实时数据处理量，从而，实现视频级的多光源图像处理。

13、第二方面，本技术实施例还提供了一种电子设备，本技术实施例提供的电子设备可以包括：上述第一方面中的任一图像校正装置。本技术实施例中的图像校正装置可以为图像处理芯片、图像处理器等各种具有处理功能的装置。本技术实施例中的电子设备还可以包括：三通道传感器和多光谱传感器。其中，三通道传感器可以为主摄摄像头、长焦摄像头、广角摄像头中至少之一的感光传感器。在一种可能的实现方式中，多光谱传感器中可以具有阵列分布的多个感光单元，使多光谱传感器可以采集更多光源光谱的信息，提供接近于人眼光谱响应曲线的光谱信息。

14、第三方面，本技术实施例还提供了一种图像校正方法，本技术实施例中的图像校正方法可以在上述第一方面中的任一图像校正装置中执行，例如可以在上述图像校正装置中的处理器中执行。

15、本技术实施例提供的图像校正方法可以包括：

16、步骤一、从多光谱传感器接收多光谱图像信号，以及从三通道传感器接收三通道图像信号；

17、步骤二、根据多光谱图像信号得到多个光源中各个光源对应的校正参数；

18、步骤三、根据校正参数对三通道图像信号进行校正。

19、本技术实施例提供的图像处理方法中，根据多光谱图像信号对场景进行多光源估计，得到多个光源中各个光源对应的校正参数，并根据校正参数对三通道图像信号进行校正，以得到成像图。相比于三通道传感器，多光谱传感器中的光谱通道比较多，可以采集更多光源的光谱信息，因而，本技术实施例提供的技术方案，利用多光谱图像信号可以识别场景中的多个光源，实现更准确地多光源估计和图像校正，可以有效提高多光源场景下颜色校正的准确性，以便更准确地还原被拍摄场景中的颜色。

20、在本技术的实施例中，上述步骤二可以具体包括：根据多光谱图像信号对场景进行多光源估计，确定场景中各个光源的光源信息，并根据场景中各光源的光源信息，确定各个光源对应的校正参数。示例性地，场景中各个光源的光源信息可以包括场景中光源的数量、各个光源的色温信息、各个光源的光谱信息等。在实际应用中，拍摄场景中的光源可以分为室内光源、室外光源、显示光源(例如电脑、电视等屏幕形成的光源)等，由于大部分拍摄场景中的光源数量不会超过3个，因而，上述步骤二中进行多光源估计得到的光源数量可以小于或等于3个，这样，可以在满足大部分场景的图像校正需求的情况下，降低硬件和算法的复杂度，提高图像校正装置的运算速度。在一种可能的实现方式中，上述校正参数可以包括白平衡增益值或颜色校正矩阵中的至少一项。举例来说，场景中存在室内光源和室外光源两个光源时，通过对多光谱图像信号进行多光源估计，可以计算得到室内光源下的白平衡增益值和颜色校正矩阵，以及室外光源下的白平衡增益值和颜色校正矩阵。

21、在本技术的一些实施例中，在上述步骤一之后，上述步骤三之前，上述图像校正方法还可以包括：根据多光谱图像信号得到用于计算分区的网格系数，由于多光谱图像信号中的光谱通道比较多，通过多光谱图像信号可以区分不同光源对应的图像区域，因而，根据多光谱图像信号得到的网格系数可以表示光源分区信息。示例性地，网格系数可以为双边网格系数(bilateral grid of coefficients)。

22、上述步骤三可以具体包括：根据网格系数对三通道图像信号做采样以得到光源分区图，并利用校正参数和光源分区图对三通道图像信号进行校正。示例性地，可以采用切片采样(slicing)的方式对三通道图像信号进行处理，以得到光源分区图。光源分区图本质是一个权重图，用来表示各个光源在每一个像素点处的权重。多光谱图像信号相比于三通道图像信号对多光源场景具有更强的识别能力，因而，把多光谱图像信号中的光源分区信息，相采样到三通道图像信号上，可以按照不同的光源对图像进行准确的分区。在具体实施时，可以根据光源分区图确定每一个像素点处各个光源的权重，根据每一个像素点处各个光源的权重以及各个光源对应的校正参数，可以对每一个像素点的进行颜色校正。举例来说，以场景中存在室内光源和室外光源两个光源为例，在对某一个像素点的颜色进行校正时，可以根据室内光源在该像素点处的权重和室内光源对应的校正参数、室外光源在该像素点的权重和室外光源对应的校正参数，对该像素点的进行颜色校正。

23、在本技术的一些实施例中，在上述步骤一之后，上述图像校正方法还可以包括：对多光谱图像信号进行降采样，从而，可以将原始分辨率的多光谱图像信号降采样为低分辨率的图像信号，以降低后续处理的计算量。上述步骤二可以具体包括：根据降采样后的多光谱图像信号得到校正参数，上述根据多光谱图像信号得到用于计算分区的网格系数，可以具体包括：根据降采样后的多光谱图像信号得到网格系数。利用降采样后的多光谱图像信号生成校正参数和网格系数，可以有效降低计算量，以实现实时的视频级图像处理。在实际应用中，由于多光谱传感器与三通道传感器的空间位置不同，因而多光谱图像信号与三通道图像信号之间可能存在偏差。在一些实施例中，上述图像校正方法还可以包括：在根据网格系数对三通道图像信号做采样以得到光源分区图之前，将网格系数和三通道图像信号进行位置对齐。在具体实施时，可以根据多光谱传感器与三通道传感器的空间位置关系，对网格系数和三通道图像信号进行位置对齐。具体地，可以通过标定或者光流的方式对齐多光谱传感器和三通道传感器的空间位置关系，利用二者的空间位置相对关系，对网格系数进行裁剪(crop)、扭曲(warp)、缩放(resize)等操作，得到对齐三通道图像信号的网格系数。

24、在本技术的另一些实施例中，在上述步骤一之后，上述图像校正方法还可以包括：对多光谱图像信号进行降采样，以及对三通道图像信号进行降采样，从而，可以将原始分辨率的多光谱图像信号和三通道图像信号分别降采样为低分辨率的图像信号，以降低后续处理的计算量。上述步骤二可以具体包括：根据降采样后的多光谱图像信号和降采样后的三通道图像信号得到校正参数。上述根据多光谱图像信号得到用于计算分区的网格系数，可以具体包括：根据降采样后的多光谱图像信号和降采样后的三通道图像信号得到网格系数。这样，可以有效降低计算校正参数和网格系数过程的计算量，以实现实时的视频级图像处理。此外，由于网格系数是根据多光谱图像信号和三通道图像信号生成的，可以使后续计算光源分区图、颜色校正等操作的空间准确性较高。并且，无需对网格系数与三通道图像信号进行位置对齐，可以节省运算步骤，提高运算速度。

25、进一步地，在上述步骤一之后，上述步骤三之前，上述图像校正方法还可以包括：根据三通道图像信号得到导向图。上述根据网格系数对三通道图像信号做采样以得到光源分区图，可以具体包括：根据网格系数和导向图，对三通道图像信号做采样以得到光源分区图。导向图(guided map)是与三通道图像信号相关联的参考图像，可以用于指导光源分区图生成过程中的方向。本技术实施例中，利用导向图对光源分区图的生成过程进行指导，对不同光源分区交界处的处理过程进行优化，从而，可以避免在不同光源分区的交界处出现模糊、色彩偏差等边缘伪彩问题，进而使校正得到的成像图更接近人眼观看的真实图像。在具体实施时，可以根据原始分辨率的三通道图像信号得到导向图，从而使导向图中的图像信息更丰富，以便对光源分区图的生成过程起到较好的指导效果。此外，如果利用多光谱图像信号计算导向图，需要将生成的光源分区图再对齐到三通道图像信号上，为了避免产生边缘伪彩问题，需要比较高的对齐精度，计算难度较大。本技术实施例中，利用三通道图像信号计算导向图，生成的光源分区图无需与三通道图像信号对齐，可以降低计算量，加快图像处理过程的运行速度。