1.本技术属于成像
技术领域：
：，具体涉及一种传感器、摄像头模组、电子设备和图像处理方法。
背景技术：
：：2.随着成像技术的不断发展，电子设备的拍摄功能与专业拍摄设备的拍摄功能间的差距逐渐缩小。而为了实现拍摄成像，电子设备中设置有图像传感器，该图像传感器能够通过彩色滤光片实现颜色的筛选，并借此对环境光进行捕捉、还原得到所在环境的图像。但相关技术中的图像传感器仅能记录拍摄瞬间的画面亮度，而忽略了环境场景中的光源对图像的影响，使得最终得到的图像画面和人眼感知的图像差异较大。技术实现要素：3.本技术旨在提供一种传感器、摄像头模组、电子设备和图像处理方法，旨在提供一种能够获取环境中真实光谱信息的图像数据采集方案。4.第一方面，本技术实施例提出了一种传感器，包括：5.滤光片单元，所述滤光片单元包括rgb滤光片和多种窄带滤光片，所述多种窄带滤光片的带宽在预设光谱范围内连续，所述预设光谱范围包括可见光谱；6.像素单元，所述像素单元包括多个感光像素，所述像素单元的任一个所述感光像素设置于所述rgb滤光片或所述窄带滤光片的一侧；7.其中，所述rgb滤光片用于获取rgb图像信息，所述多种窄带滤光片用于获取多光谱信息。8.第二方面，本技术实施例提出了一种摄像头模组，所述摄像头模组包括如上述第一方面的传感器。9.第三方面，本技术实施例提出了一种电子设备，所述电子设备包括如上述第一方面的传感器。10.第四方面，本技术实施例还提出了一种图像处理方法，所述图像处理方法应用于第三方面的电子设备，所述方法包括：11.在接收到拍摄指令的情况下，通过所述传感器获得第一图像以及所述第一图像对应的多光谱信息；12.根据所述多光谱信息，对所述第一图像进行色彩校正。13.在本技术的实施例中，通过在传感器中设置滤光片单元和像素单元，其中滤光片单元包括rgb滤光片和多种窄带滤光片，像素单元中的感光像素与rgb滤光片或窄带滤光片对应设置，而因为滤光片单元中设置有多种窄带滤光片，且该多种窄带滤光片的带宽在预设光谱范围内连续，预设光谱范围包括可见光谱，使得rgb滤光片可以获得rgb图像信息，同时多种窄带滤光片可以获取多光谱信息，由此提供了一种获取环境中真实光谱信息的图像数据采集方案，能够采集得到环境场景中的光源信息，使得后续对拍摄得到的图像处理能够基于真实的光谱信息，间接提升了图像画面的真实感，改善了与人眼感知画面间的差异度。14.本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。附图说明15.本技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：16.图1是根据本技术实施例的传感器的一个示意图；17.图2是根据本技术实施例的传感器中滤光片的一平面结构图；18.图3是根据本技术实施例的传感器中多种窄带滤光片的频带示意图；19.图4是根据本技术实施例的图像处理方法的一流程示意图；20.图5是根据本技术实施例的图像处理方法得到的光谱信息和第一图像的示意图；21.图6是根据本技术实施例提供的一种电子设备的硬件结构示意图；22.图7为根据本技术实施例提供的另一种电子设备的硬件结构示意图。23.附图标记：24.滤光片单元10；rgb滤光片11；窄带滤光片12；基础单位块13；25.像素单元20；26.红色窄带滤光片r；绿色窄带滤光片g；蓝色窄带滤光片b。具体实施方式27.下面将详细描述本技术的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本技术，而不能理解为对本技术的限制。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。28.本技术的说明书和权利要求书中的术语“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术的描述中，除非另有说明，“多个”的含义是两个或两个以上。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。29.在本技术的描述中，需要理解的是，术语“中心”、“深度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。30.多光谱技术区别于传统的红色、绿色和蓝色三通道的数据采集方式，其是将采样频谱按照更精细的窄带带通来进行划分，并对采集到的频谱数据进行复原和处理的技术。31.目前，多光谱技术的应用比较受局限，较主流的应用方向大致可以分为两类：一类是做物质检测，比如防晒检测、水果的含糖量、气体的化学成分等，该类应用精度有限，应用范围窄；另一类是通过光谱数据，达到扩展传统rgb图像维度的应用，比如军事监测、天气遥感等，该类应用主要运用于非民用领域。32.这两类应用从技术层面又可以分为检测类和成像类，检测类需要先对检测样本进行预处理，通过大量样本的采样和分类形成数据库，然后通过专业的聚类建模标定，最终才能落地到应用中去。而成像类的应用主要集中在远距离成像方向。33.综上，这两类应用距离我们的日常生活比较远，应用价值有限。34.在电子设备的成像技术中，相关的主流图像传感器是通过记录拍照或录像瞬间场景中画面的亮度，然后采用分通道插值的方式还原场景的颜色。但是正是由于图像传感器的采样特性，使得相关技术忽略了场景中光源的信息，且后续算法的处理是一个高维到低维不可逆的降维过程，由此使得最终得到画面和人眼感知的画面的差异度较大。35.本技术的发明人在对成像技术的研发过程中发现，人眼对于颜色的感知是建立在感知环境光光谱的基础上，电子设备的成像过程的物理基础也应该是对人眼成像过程的拆解和重构。36.而在相关技术中，如果需要获取环境光的光谱信息，通常需要安装两套装置，其中一套用于识别环境光中的光源位置，另一套用于读取该位置的光谱信息。在部署之前，还需要将两套装置进行标定对齐、工作量大，最终得到的光谱信息的稳定性和效果均不佳。37.综上，本技术的发明人发现相关技术中的基于传感器的图像采集和处理方案存在诸多问题，因此有必要研发出一种新的图像采集方案以解决上述问题。38.下面结合图1-图3描述本技术实施例的传感器。39.如图1和图2所示，根据本技术一些实施例的传感器，该传感器可以是基于cmos(complementarymetal-oxide-semiconductor，互补金属氧化物半导体)的图像传感器。40.该传感器中可以包括滤光片单元10和像素单元20，滤光片单元10和像素单元20均可以包括多个，由此对应构成滤光片阵列和像素阵列。滤光片单元10和像素单元20可以对应是滤光片阵列和像素阵列中的最小重复单元，也可以是最小重复单元的倍数。41.上述滤光片单元10，可以包括rgb滤光片11和多种窄带滤光片12，多种窄带滤光片12的带宽在预设光谱范围内连续，预设光谱范围可以包括可见光谱。示例性地，预设光谱范围可以是400nm-700nm的可见光范围。42.其中，rgb滤光片11可以为成像得到rgb图像信息时所需使用的滤光片。上述rgb滤光片11可以用于rgb图像信息的正常采集，rgb滤光片11可以为彩色滤光片，示例性地，rgb滤光片11可以包括红色滤光片r、绿色滤光片g和蓝色滤光片b中的至少一种。在一些可选示例中，rgb滤光片11中绿色滤光片g的数量可以最多。43.窄带滤光片12是带通滤光片的一种，其能够在特定的波段允许光信号通过，而偏离特定波段以外的两侧光信号被阻止。窄带滤光片12的半峰宽可以小于rgb滤光片11的半峰宽。44.在本技术示例中，多种窄带滤光片12可以指多光谱窄带滤光片，多种窄带滤光片12在光路传输时构成了多光谱信号的通道，该多光谱信号通道的数量与窄带滤光片12的种类数量相关。45.上述像素单元20，可以包括多个感光像素，像素单元20的任一个感光像素可以设置于滤光片单元10的rgb滤光片11或窄带滤光片12的一侧。46.在一些示例中，每一个像素单元20的任一个感光像素上可以覆盖有滤光片单元10中的rgb滤光片11或窄带滤光片12。47.上述rgb滤光片11可以用于获取rgb图像信息，多种窄带滤光片12可以用于获取多光谱信息。示例性地，使用传感器时可以经rgb滤光片11获取第一rgb图像信息，并使用多种窄带滤光片12获取第一rgb图像信息对应的多光谱信息。该多光谱信息可以是第一图像信息中的对象的光谱响应曲线。48.在使用rgb滤光片11获得rgb图像信息的同时，可以利用传感器中设置的多种窄带滤光片12，经过精细的窄带带通，得到可见光范围内的多光谱信息，由此从成像原理出发，对图像传感器的结构进行了改进设置，进而给出了获取环境光光谱的解决方案。该获取的多光谱信息，相比相关技术具有更高的维度，能够在后续算法处理时帮助指导数字信号对拍摄环境进行更好的还原，保证了图像的效果，针对相机摄影创造，动态短视频制作等商业应用方面具有较高的使用价值。49.且整个多光谱信息的捕捉过程通过图像传感器的采样控制即可完成，因此工程前期无需复杂的视场角标定对齐流程，极大地简化了部署难度。50.本技术实施例通过在传感器中设置滤光片单元10和像素单元20，其中滤光片单元10包括rgb滤光片11和多种窄带滤光片12，像素单元20中的感光像素与rgb滤光片11或窄带滤光片12对应设置，而因为滤光片单元10中设置有多种窄带滤光片12，且多种窄带滤光片12的带宽在预设光谱范围内连续，预设光谱包括可见光谱，使得可以使用rgb滤光片11获得rgb图像信息，同时多种窄带滤光片12可以获取多光谱信息，由此提供了一种获取环境中真实光谱信息的图像数据采集方案，能够采集得到环境场景中的光源信息，使得后续对拍摄得到的图像处理能够基于真实的光谱信息，间接提升了图像画面的真实感，改善了与人眼感知画面间的差异度。51.在一些可选示例中，沿垂直于像素单元20的方向(即图1中的x方向)，rgb滤光片11和窄带滤光片12可以间隔设置。需要说明的是，在x方向上通过在光路垂直的平面上间隔设置rgb滤光片11和窄带滤光片12，可以使得得到的rgb图像信息与多光谱信息更为匹配，标定度高，间接提升了环境光源位置的精确度。52.可选地，沿多个感光像素的行方向或列方向(即图1中的y方向)，任一窄带滤光片12相邻的两个rgb滤光片11的颜色不同。53.示例性地，请一并参看图1和图2，沿左上角为起点，第一排的第一个rgb滤光片11可以为绿色窄带滤光片g(即图2中的“g”位置)，第二个rgb滤光片11可以为红色窄带滤光片r(即图2中的“r”位置),第二排的rgb滤光片11可以依次为蓝色窄带滤光片b(即图2中的“b”位置)、绿色窄带滤光片g，也可以为绿色窄带滤光片g、蓝色窄带滤光片b等等。当然，不同位置的rgb滤光片11也可以替换为其他颜色。54.在这些实施例中，通过以窄带滤光片12为参考对象，将相邻的两个rgb滤光片11设置为颜色不同，可以提高rgb图像信息的还原度。55.在一些可选示例中，任意rgb滤光片11相邻的两个窄带滤光片12的种类可以不同，示例性地，仍以图2为例进行说明，当滤光片单元10为4*4矩阵排列时，其中rgb滤光片11如图示，可以包括红色窄带滤光片r、蓝色窄带滤光片b和绿色窄带滤光片g。其中还可以包括八种窄带滤光片12，每种窄带滤光片12在滤光片单元10中仅出现一次。56.八种滤光片构成了滤光片单元10中含有多光谱信号的8个通道，可以分别记作α、β、γ、δ、ε、ζ、η、θ，8个通道在包括可见光谱的预设光谱范围内连续，其频谱设计可以参考图3。57.图3中每种灰度的曲线代表一种滤光片在400nm-700nm的可见光范围内的透光度变化情况，8个通道对应在图3中显示为八条曲线。这八条曲线的曲线位置不同且在400nm-700nm的波长范围内是连续的，由此指示不同滤光片的带宽在可见光范围内连续。58.在这些实施例中，通过以rgb滤光片11为参考对象，将相邻的两个窄带滤光片12的种类设置为不同，能够使得获得的多光谱信息覆盖整个可见光范围，均匀性较佳。59.在一些可选示例中，两个rgb滤光片11和两种窄带滤光片12按照2*2矩阵排列，由此在滤光片单元10中形成了多个基础单位块13。60.在基础单位块13中，两个rgb滤光片11沿第一对角线方向设置，两个rgb滤光片11颜色相同，两种窄带滤光片12沿第二对角线方向设置，第一对角线方向与第二对角线方向相交。61.示例性地，上述第一对角线可以是基础单位块13的副对角线，第二对角线可以是基础单位块13的主对角线。或者，第一对角线可以是基础单位块13的主对角线，第二对角线可以是基础单位块13的副对角线。62.示例性地，第一对角线和第二对角线也可以相互垂直。63.还需要的是，第一对角线方向和第二对角线方向也可以是平行于基础单位块13的主副对角线的方向。64.请继续参看图2，其中单个滤光片单元10可以包括四个基础单位块13，可以在每个基础单位块13的第二对角线方向放置两种窄带滤光片12，在第一对角线方向再放置相同颜色的两个rgb滤光片11，最终依次排布得到4个基础单位块13组成的滤光片单元10。65.在这些实施例中，通过分成多个基础单位块13进行布置，方便滤光片单元10的排布，降低了工艺复杂度，同时能够使得得到的rgb图像信息与多光谱信息更为匹配，标定度高，间接提升了环境光源位置的精确度。66.可选地，任意相邻的两个基础单位块13中的rgb滤光片11颜色不同。67.示例性地，请继续参看图2，在单个滤光片单元10中，左上角的基础单位块13中rgb滤光片11的颜色为绿色(即图2中“g”位置)，右上角的基础单位块13中rgb滤光片11的颜色为红色(参考图2中“r”位置)，左下角的基础单位块13中rgb滤光片11的颜色为蓝色(即图2中“b”位置)，右下角的基础单位块13中rgb滤光片11的颜色为绿色。68.当然，在另一些示例中，不同位置基础单位块13中rgb滤光片11的颜色也可以进行替换，只要实现相邻基础单位块13中的rgb滤光片11颜色不同即可。69.在这些实施例中，通过相邻基础单位块13中rgb滤光片11的颜色区分设置，帮助提升第一图像的还原度，保证图像的真实性。70.还需要说明的是，多种窄带滤光片12为8种至16种带宽在可见光谱范围内连续的窄带滤光片。上述图2中示出了8种窄带滤光片12时的传感器中滤光片单元10的分布示意图。71.在这些实施例中，通过适当种类的窄带滤光片设置，能够在保证图像还原度和精度的基础上，尽可能降低工艺复杂度，同时保证合适的图像数据处理量。72.上文中结合图1至图3，详细描述了本技术实施例的传感器。在此基础上，本技术实施例还保护一种摄像头模组和电子设备，其中电子设备可以包括壳体和摄像头模组，该摄像头模组可以包括上述任一示例中的传感器。当然，电子设备也可以直接包括上述实施例的传感器。73.该电子设备可以是终端，也可以为除终端之外的其他设备。示例性地，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(mobileinternetdevice，mid)、增强现实(augmentedreality，ar)/虚拟现实(virtualreality，vr)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonalcomputer，umpc)、上网本或者个人数字助理(personaldigitalassistant，pda)等，还可以为服务器、网络附属存储器(networkattachedstorage，nas)、个人计算机(personalcomputer，pc)、电视机(television，tv)、柜员机或者自助机等，本技术实施例不作具体限定。74.本技术实施例中的电子设备可以为具有操作系统的装置。该操作系统可以为安卓(android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本技术实施例不作具体限定。75.该电子设备和摄像头模组包括上述实施例所提供的传感器，因此电子设备和摄像头模组具有上述传感器的全部有益效果，为避免重复，这里不再赘述。76.请参看图4，基于上述传感器、摄像头模组和电子设备，本技术实施例还提供一种图像处理方法，该一实施例中，该方法可以包括：77.s410，在接收到拍摄指令的情况下，通过传感器获得第一图像以及第一图像对应的多光谱信息。78.s420，根据多光谱信息，对第一图像进行色彩校正。79.需要说明的是，电子设备利用其中的传感器，从获得的第一图像中了解到了所处环境的场景以及空间分布，还借助多种窄带滤光片可以得到场景中的光谱信息。80.示例性地，请一并参看图4和图5，经过传感器的采集处理，可以得到第一图像的左上角存在一棵树，还可以得到这棵树的光谱信息(即图5右侧的响应曲线)。81.以下对上述方案的实现原理进行简要说明：82.假设滤光片的量化采样间距为5nm，则传感器的成像模型可由如公式(1)表示。[0083][0084]求解矩阵方程，即可以通过各窄带通道的灰度响应值和传感器各通道的响应曲线(已知值)，计算得到环境的混合谱信息。[0085]其中，由于传感器各通道的响应曲线并不一定是方阵，所以用到了伪逆矩阵。[0086]再结合成像公式即下述公式(2)可知，传感器得到的光谱信息实际上是光源光谱i和物体反射谱r在各波段处内积的混合谱。而由于物体反射谱r本身是个常数，其与光源光谱i内积的结果并不会影响光源光谱i的形状，所以此区域的混合谱信息，就是光源的光谱信息。因此可以通过得到的光谱信息直接进行图像校正处理。[0087][0088]其中，i为光源光谱，r为物体反射谱，qe为传感器的量子效率灵敏度，grayn为第n个光谱通道的灰度值。[0089]还需要说明的是，上述图像的色彩校正可以包括白平衡处理、色差矫正等等，还可以包括色彩校准、图像颜色模式的转换和特殊色彩效果的应用处理。[0090]在这些示例中，电子设备在利用传感器采集得到多光谱信息之后，即可将多光谱信息作为算法的输入，帮助还原第一图像最真实的氛围色彩，进而提升人眼感知和图像显示的一致性。[0091]在一些可选示例中，上述s420的实现过程可以包括步骤a10至a30。[0092]a10，对第一图像进行语义分析，得到目标区域，目标区域为第一图像中物体反射率为常数的区域。[0093]a20，从多光谱信息中提取目标光谱信息，目标光谱信息与目标区域对应。[0094]a30，通过目标光谱信息对目标区域进行色彩校正。[0095]在这些示例中，可以通过语义分析得到第一图像中物体反射率为常数的目标区域，该目标区域即是需要进行白平衡处理、色彩校正的区域。可选地，还可以在此基础上，选择物体反射率为常数且置信度最高的区域作为目标区域，由此提高待处理目标区域的精准度。[0096]示例性地，该目标区域可以显示为灰色或白色，在实际环境场景中可以是灰色的水泥地、白色墙面等，通过多光谱信息，可以获得目标区域所在位置的目标光谱信息，进而根据目标光谱信息对目标区域进行图像处理，例如可以是白平衡处理、色差校正以及3dlut(3dlookuptable，3d颜色查找表)处理。由此实现了更为精确的算法适配，帮助更好地还原拍摄得到的第一图像的真实感。[0097]可选地，如图6所示，本技术实施例还提供一种电子设备600，包括处理器601和存储器602，存储器602上存储有可在所述处理器601上运行的程序或指令，该程序或指令被处理器601执行时实现上述图像处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。[0098]需要说明的是，本技术实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。[0099]图7为实现本技术实施例的一种电子设备的硬件结构示意图。[0100]该电子设备700包括但不限于：射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、以及处理器710等部件。[0101]本领域技术人员可以理解，电子设备700还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器710逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。[0102]输入单元704，可以用于在接收到拍摄指令的情况下，通过传感器获得第一图像以及第一图像对应的多光谱信息。[0103]处理器710，可以用于根据多光谱信息，对第一图像进行色彩校正。[0104]可选地，处理器710可以用于对第一图像进行语义分析，得到目标区域，目标区域为第一图像中物体反射率为常数的区域；从多光谱信息中提取目标光谱信息，目标光谱信息与目标区域对应；通过目标光谱信息对目标区域进行色彩校正。[0105]应理解的是，本技术实施例中，输入单元704可以包括图形处理器(graphicsprocessingunit，gpu)7041和麦克风7042，图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元706可包括显示面板7061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板7061。用户输入单元707包括触控面板7071以及其他输入设备7072中的至少一种。触控面板7071，也称为触摸屏。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。[0106]存储器709可用于存储软件程序以及各种数据。存储器709可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器709可以包括易失性存储器或非易失性存储器，或者，存储器709可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-onlymemory，rom)、可编程只读存储器(programmablerom，prom)、可擦除可编程只读存储器(erasableprom，eprom)、电可擦除可编程只读存储器(electricallyeprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(randomaccessmemory，ram)，静态随机存取存储器(staticram，sram)、动态随机存取存储器(dynamicram，dram)、同步动态随机存取存储器(synchronousdram，sdram)、双倍数据速率同步动态随机存取存储器(doubledataratesdram，ddrsdram)、增强型同步动态随机存取存储器(enhancedsdram，esdram)、同步连接动态随机存取存储器(synchlinkdram，sldram)和直接内存总线随机存取存储器(directrambusram，drram)。本技术实施例中的存储器709包括但不限于这些和任意其它适合类型的存储器。[0107]处理器710可包括一个或多个处理单元；可选地，处理器710集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器710中。[0108]在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。[0109]尽管已经示出和描述了本技术的实施例，本领域的普通技术人员可以理解：在不脱离本技术的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本技术的范围由权利要求及其等同物限定。当前第1页12当前第1页12
技术领域：
：，具体涉及一种传感器、摄像头模组、电子设备和图像处理方法。
背景技术：
：：2.随着成像技术的不断发展，电子设备的拍摄功能与专业拍摄设备的拍摄功能间的差距逐渐缩小。而为了实现拍摄成像，电子设备中设置有图像传感器，该图像传感器能够通过彩色滤光片实现颜色的筛选，并借此对环境光进行捕捉、还原得到所在环境的图像。但相关技术中的图像传感器仅能记录拍摄瞬间的画面亮度，而忽略了环境场景中的光源对图像的影响，使得最终得到的图像画面和人眼感知的图像差异较大。技术实现要素：3.本技术旨在提供一种传感器、摄像头模组、电子设备和图像处理方法，旨在提供一种能够获取环境中真实光谱信息的图像数据采集方案。4.第一方面，本技术实施例提出了一种传感器，包括：5.滤光片单元，所述滤光片单元包括rgb滤光片和多种窄带滤光片，所述多种窄带滤光片的带宽在预设光谱范围内连续，所述预设光谱范围包括可见光谱；6.像素单元，所述像素单元包括多个感光像素，所述像素单元的任一个所述感光像素设置于所述rgb滤光片或所述窄带滤光片的一侧；7.其中，所述rgb滤光片用于获取rgb图像信息，所述多种窄带滤光片用于获取多光谱信息。8.第二方面，本技术实施例提出了一种摄像头模组，所述摄像头模组包括如上述第一方面的传感器。9.第三方面，本技术实施例提出了一种电子设备，所述电子设备包括如上述第一方面的传感器。10.第四方面，本技术实施例还提出了一种图像处理方法，所述图像处理方法应用于第三方面的电子设备，所述方法包括：11.在接收到拍摄指令的情况下，通过所述传感器获得第一图像以及所述第一图像对应的多光谱信息；12.根据所述多光谱信息，对所述第一图像进行色彩校正。13.在本技术的实施例中，通过在传感器中设置滤光片单元和像素单元，其中滤光片单元包括rgb滤光片和多种窄带滤光片，像素单元中的感光像素与rgb滤光片或窄带滤光片对应设置，而因为滤光片单元中设置有多种窄带滤光片，且该多种窄带滤光片的带宽在预设光谱范围内连续，预设光谱范围包括可见光谱，使得rgb滤光片可以获得rgb图像信息，同时多种窄带滤光片可以获取多光谱信息，由此提供了一种获取环境中真实光谱信息的图像数据采集方案，能够采集得到环境场景中的光源信息，使得后续对拍摄得到的图像处理能够基于真实的光谱信息，间接提升了图像画面的真实感，改善了与人眼感知画面间的差异度。14.本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。附图说明15.本技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：16.图1是根据本技术实施例的传感器的一个示意图；17.图2是根据本技术实施例的传感器中滤光片的一平面结构图；18.图3是根据本技术实施例的传感器中多种窄带滤光片的频带示意图；19.图4是根据本技术实施例的图像处理方法的一流程示意图；20.图5是根据本技术实施例的图像处理方法得到的光谱信息和第一图像的示意图；21.图6是根据本技术实施例提供的一种电子设备的硬件结构示意图；22.图7为根据本技术实施例提供的另一种电子设备的硬件结构示意图。23.附图标记：24.滤光片单元10；rgb滤光片11；窄带滤光片12；基础单位块13；25.像素单元20；26.红色窄带滤光片r；绿色窄带滤光片g；蓝色窄带滤光片b。具体实施方式27.下面将详细描述本技术的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本技术，而不能理解为对本技术的限制。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。28.本技术的说明书和权利要求书中的术语“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术的描述中，除非另有说明，“多个”的含义是两个或两个以上。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。29.在本技术的描述中，需要理解的是，术语“中心”、“深度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。30.多光谱技术区别于传统的红色、绿色和蓝色三通道的数据采集方式，其是将采样频谱按照更精细的窄带带通来进行划分，并对采集到的频谱数据进行复原和处理的技术。31.目前，多光谱技术的应用比较受局限，较主流的应用方向大致可以分为两类：一类是做物质检测，比如防晒检测、水果的含糖量、气体的化学成分等，该类应用精度有限，应用范围窄；另一类是通过光谱数据，达到扩展传统rgb图像维度的应用，比如军事监测、天气遥感等，该类应用主要运用于非民用领域。32.这两类应用从技术层面又可以分为检测类和成像类，检测类需要先对检测样本进行预处理，通过大量样本的采样和分类形成数据库，然后通过专业的聚类建模标定，最终才能落地到应用中去。而成像类的应用主要集中在远距离成像方向。33.综上，这两类应用距离我们的日常生活比较远，应用价值有限。34.在电子设备的成像技术中，相关的主流图像传感器是通过记录拍照或录像瞬间场景中画面的亮度，然后采用分通道插值的方式还原场景的颜色。但是正是由于图像传感器的采样特性，使得相关技术忽略了场景中光源的信息，且后续算法的处理是一个高维到低维不可逆的降维过程，由此使得最终得到画面和人眼感知的画面的差异度较大。35.本技术的发明人在对成像技术的研发过程中发现，人眼对于颜色的感知是建立在感知环境光光谱的基础上，电子设备的成像过程的物理基础也应该是对人眼成像过程的拆解和重构。36.而在相关技术中，如果需要获取环境光的光谱信息，通常需要安装两套装置，其中一套用于识别环境光中的光源位置，另一套用于读取该位置的光谱信息。在部署之前，还需要将两套装置进行标定对齐、工作量大，最终得到的光谱信息的稳定性和效果均不佳。37.综上，本技术的发明人发现相关技术中的基于传感器的图像采集和处理方案存在诸多问题，因此有必要研发出一种新的图像采集方案以解决上述问题。38.下面结合图1-图3描述本技术实施例的传感器。39.如图1和图2所示，根据本技术一些实施例的传感器，该传感器可以是基于cmos(complementarymetal-oxide-semiconductor，互补金属氧化物半导体)的图像传感器。40.该传感器中可以包括滤光片单元10和像素单元20，滤光片单元10和像素单元20均可以包括多个，由此对应构成滤光片阵列和像素阵列。滤光片单元10和像素单元20可以对应是滤光片阵列和像素阵列中的最小重复单元，也可以是最小重复单元的倍数。41.上述滤光片单元10，可以包括rgb滤光片11和多种窄带滤光片12，多种窄带滤光片12的带宽在预设光谱范围内连续，预设光谱范围可以包括可见光谱。示例性地，预设光谱范围可以是400nm-700nm的可见光范围。42.其中，rgb滤光片11可以为成像得到rgb图像信息时所需使用的滤光片。上述rgb滤光片11可以用于rgb图像信息的正常采集，rgb滤光片11可以为彩色滤光片，示例性地，rgb滤光片11可以包括红色滤光片r、绿色滤光片g和蓝色滤光片b中的至少一种。在一些可选示例中，rgb滤光片11中绿色滤光片g的数量可以最多。43.窄带滤光片12是带通滤光片的一种，其能够在特定的波段允许光信号通过，而偏离特定波段以外的两侧光信号被阻止。窄带滤光片12的半峰宽可以小于rgb滤光片11的半峰宽。44.在本技术示例中，多种窄带滤光片12可以指多光谱窄带滤光片，多种窄带滤光片12在光路传输时构成了多光谱信号的通道，该多光谱信号通道的数量与窄带滤光片12的种类数量相关。45.上述像素单元20，可以包括多个感光像素，像素单元20的任一个感光像素可以设置于滤光片单元10的rgb滤光片11或窄带滤光片12的一侧。46.在一些示例中，每一个像素单元20的任一个感光像素上可以覆盖有滤光片单元10中的rgb滤光片11或窄带滤光片12。47.上述rgb滤光片11可以用于获取rgb图像信息，多种窄带滤光片12可以用于获取多光谱信息。示例性地，使用传感器时可以经rgb滤光片11获取第一rgb图像信息，并使用多种窄带滤光片12获取第一rgb图像信息对应的多光谱信息。该多光谱信息可以是第一图像信息中的对象的光谱响应曲线。48.在使用rgb滤光片11获得rgb图像信息的同时，可以利用传感器中设置的多种窄带滤光片12，经过精细的窄带带通，得到可见光范围内的多光谱信息，由此从成像原理出发，对图像传感器的结构进行了改进设置，进而给出了获取环境光光谱的解决方案。该获取的多光谱信息，相比相关技术具有更高的维度，能够在后续算法处理时帮助指导数字信号对拍摄环境进行更好的还原，保证了图像的效果，针对相机摄影创造，动态短视频制作等商业应用方面具有较高的使用价值。49.且整个多光谱信息的捕捉过程通过图像传感器的采样控制即可完成，因此工程前期无需复杂的视场角标定对齐流程，极大地简化了部署难度。50.本技术实施例通过在传感器中设置滤光片单元10和像素单元20，其中滤光片单元10包括rgb滤光片11和多种窄带滤光片12，像素单元20中的感光像素与rgb滤光片11或窄带滤光片12对应设置，而因为滤光片单元10中设置有多种窄带滤光片12，且多种窄带滤光片12的带宽在预设光谱范围内连续，预设光谱包括可见光谱，使得可以使用rgb滤光片11获得rgb图像信息，同时多种窄带滤光片12可以获取多光谱信息，由此提供了一种获取环境中真实光谱信息的图像数据采集方案，能够采集得到环境场景中的光源信息，使得后续对拍摄得到的图像处理能够基于真实的光谱信息，间接提升了图像画面的真实感，改善了与人眼感知画面间的差异度。51.在一些可选示例中，沿垂直于像素单元20的方向(即图1中的x方向)，rgb滤光片11和窄带滤光片12可以间隔设置。需要说明的是，在x方向上通过在光路垂直的平面上间隔设置rgb滤光片11和窄带滤光片12，可以使得得到的rgb图像信息与多光谱信息更为匹配，标定度高，间接提升了环境光源位置的精确度。52.可选地，沿多个感光像素的行方向或列方向(即图1中的y方向)，任一窄带滤光片12相邻的两个rgb滤光片11的颜色不同。53.示例性地，请一并参看图1和图2，沿左上角为起点，第一排的第一个rgb滤光片11可以为绿色窄带滤光片g(即图2中的“g”位置)，第二个rgb滤光片11可以为红色窄带滤光片r(即图2中的“r”位置),第二排的rgb滤光片11可以依次为蓝色窄带滤光片b(即图2中的“b”位置)、绿色窄带滤光片g，也可以为绿色窄带滤光片g、蓝色窄带滤光片b等等。当然，不同位置的rgb滤光片11也可以替换为其他颜色。54.在这些实施例中，通过以窄带滤光片12为参考对象，将相邻的两个rgb滤光片11设置为颜色不同，可以提高rgb图像信息的还原度。55.在一些可选示例中，任意rgb滤光片11相邻的两个窄带滤光片12的种类可以不同，示例性地，仍以图2为例进行说明，当滤光片单元10为4*4矩阵排列时，其中rgb滤光片11如图示，可以包括红色窄带滤光片r、蓝色窄带滤光片b和绿色窄带滤光片g。其中还可以包括八种窄带滤光片12，每种窄带滤光片12在滤光片单元10中仅出现一次。56.八种滤光片构成了滤光片单元10中含有多光谱信号的8个通道，可以分别记作α、β、γ、δ、ε、ζ、η、θ，8个通道在包括可见光谱的预设光谱范围内连续，其频谱设计可以参考图3。57.图3中每种灰度的曲线代表一种滤光片在400nm-700nm的可见光范围内的透光度变化情况，8个通道对应在图3中显示为八条曲线。这八条曲线的曲线位置不同且在400nm-700nm的波长范围内是连续的，由此指示不同滤光片的带宽在可见光范围内连续。58.在这些实施例中，通过以rgb滤光片11为参考对象，将相邻的两个窄带滤光片12的种类设置为不同，能够使得获得的多光谱信息覆盖整个可见光范围，均匀性较佳。59.在一些可选示例中，两个rgb滤光片11和两种窄带滤光片12按照2*2矩阵排列，由此在滤光片单元10中形成了多个基础单位块13。60.在基础单位块13中，两个rgb滤光片11沿第一对角线方向设置，两个rgb滤光片11颜色相同，两种窄带滤光片12沿第二对角线方向设置，第一对角线方向与第二对角线方向相交。61.示例性地，上述第一对角线可以是基础单位块13的副对角线，第二对角线可以是基础单位块13的主对角线。或者，第一对角线可以是基础单位块13的主对角线，第二对角线可以是基础单位块13的副对角线。62.示例性地，第一对角线和第二对角线也可以相互垂直。63.还需要的是，第一对角线方向和第二对角线方向也可以是平行于基础单位块13的主副对角线的方向。64.请继续参看图2，其中单个滤光片单元10可以包括四个基础单位块13，可以在每个基础单位块13的第二对角线方向放置两种窄带滤光片12，在第一对角线方向再放置相同颜色的两个rgb滤光片11，最终依次排布得到4个基础单位块13组成的滤光片单元10。65.在这些实施例中，通过分成多个基础单位块13进行布置，方便滤光片单元10的排布，降低了工艺复杂度，同时能够使得得到的rgb图像信息与多光谱信息更为匹配，标定度高，间接提升了环境光源位置的精确度。66.可选地，任意相邻的两个基础单位块13中的rgb滤光片11颜色不同。67.示例性地，请继续参看图2，在单个滤光片单元10中，左上角的基础单位块13中rgb滤光片11的颜色为绿色(即图2中“g”位置)，右上角的基础单位块13中rgb滤光片11的颜色为红色(参考图2中“r”位置)，左下角的基础单位块13中rgb滤光片11的颜色为蓝色(即图2中“b”位置)，右下角的基础单位块13中rgb滤光片11的颜色为绿色。68.当然，在另一些示例中，不同位置基础单位块13中rgb滤光片11的颜色也可以进行替换，只要实现相邻基础单位块13中的rgb滤光片11颜色不同即可。69.在这些实施例中，通过相邻基础单位块13中rgb滤光片11的颜色区分设置，帮助提升第一图像的还原度，保证图像的真实性。70.还需要说明的是，多种窄带滤光片12为8种至16种带宽在可见光谱范围内连续的窄带滤光片。上述图2中示出了8种窄带滤光片12时的传感器中滤光片单元10的分布示意图。71.在这些实施例中，通过适当种类的窄带滤光片设置，能够在保证图像还原度和精度的基础上，尽可能降低工艺复杂度，同时保证合适的图像数据处理量。72.上文中结合图1至图3，详细描述了本技术实施例的传感器。在此基础上，本技术实施例还保护一种摄像头模组和电子设备，其中电子设备可以包括壳体和摄像头模组，该摄像头模组可以包括上述任一示例中的传感器。当然，电子设备也可以直接包括上述实施例的传感器。73.该电子设备可以是终端，也可以为除终端之外的其他设备。示例性地，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(mobileinternetdevice，mid)、增强现实(augmentedreality，ar)/虚拟现实(virtualreality，vr)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonalcomputer，umpc)、上网本或者个人数字助理(personaldigitalassistant，pda)等，还可以为服务器、网络附属存储器(networkattachedstorage，nas)、个人计算机(personalcomputer，pc)、电视机(television，tv)、柜员机或者自助机等，本技术实施例不作具体限定。74.本技术实施例中的电子设备可以为具有操作系统的装置。该操作系统可以为安卓(android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本技术实施例不作具体限定。75.该电子设备和摄像头模组包括上述实施例所提供的传感器，因此电子设备和摄像头模组具有上述传感器的全部有益效果，为避免重复，这里不再赘述。76.请参看图4，基于上述传感器、摄像头模组和电子设备，本技术实施例还提供一种图像处理方法，该一实施例中，该方法可以包括：77.s410，在接收到拍摄指令的情况下，通过传感器获得第一图像以及第一图像对应的多光谱信息。78.s420，根据多光谱信息，对第一图像进行色彩校正。79.需要说明的是，电子设备利用其中的传感器，从获得的第一图像中了解到了所处环境的场景以及空间分布，还借助多种窄带滤光片可以得到场景中的光谱信息。80.示例性地，请一并参看图4和图5，经过传感器的采集处理，可以得到第一图像的左上角存在一棵树，还可以得到这棵树的光谱信息(即图5右侧的响应曲线)。81.以下对上述方案的实现原理进行简要说明：82.假设滤光片的量化采样间距为5nm，则传感器的成像模型可由如公式(1)表示。[0083][0084]求解矩阵方程，即可以通过各窄带通道的灰度响应值和传感器各通道的响应曲线(已知值)，计算得到环境的混合谱信息。[0085]其中，由于传感器各通道的响应曲线并不一定是方阵，所以用到了伪逆矩阵。[0086]再结合成像公式即下述公式(2)可知，传感器得到的光谱信息实际上是光源光谱i和物体反射谱r在各波段处内积的混合谱。而由于物体反射谱r本身是个常数，其与光源光谱i内积的结果并不会影响光源光谱i的形状，所以此区域的混合谱信息，就是光源的光谱信息。因此可以通过得到的光谱信息直接进行图像校正处理。[0087][0088]其中，i为光源光谱，r为物体反射谱，qe为传感器的量子效率灵敏度，grayn为第n个光谱通道的灰度值。[0089]还需要说明的是，上述图像的色彩校正可以包括白平衡处理、色差矫正等等，还可以包括色彩校准、图像颜色模式的转换和特殊色彩效果的应用处理。[0090]在这些示例中，电子设备在利用传感器采集得到多光谱信息之后，即可将多光谱信息作为算法的输入，帮助还原第一图像最真实的氛围色彩，进而提升人眼感知和图像显示的一致性。[0091]在一些可选示例中，上述s420的实现过程可以包括步骤a10至a30。[0092]a10，对第一图像进行语义分析，得到目标区域，目标区域为第一图像中物体反射率为常数的区域。[0093]a20，从多光谱信息中提取目标光谱信息，目标光谱信息与目标区域对应。[0094]a30，通过目标光谱信息对目标区域进行色彩校正。[0095]在这些示例中，可以通过语义分析得到第一图像中物体反射率为常数的目标区域，该目标区域即是需要进行白平衡处理、色彩校正的区域。可选地，还可以在此基础上，选择物体反射率为常数且置信度最高的区域作为目标区域，由此提高待处理目标区域的精准度。[0096]示例性地，该目标区域可以显示为灰色或白色，在实际环境场景中可以是灰色的水泥地、白色墙面等，通过多光谱信息，可以获得目标区域所在位置的目标光谱信息，进而根据目标光谱信息对目标区域进行图像处理，例如可以是白平衡处理、色差校正以及3dlut(3dlookuptable，3d颜色查找表)处理。由此实现了更为精确的算法适配，帮助更好地还原拍摄得到的第一图像的真实感。[0097]可选地，如图6所示，本技术实施例还提供一种电子设备600，包括处理器601和存储器602，存储器602上存储有可在所述处理器601上运行的程序或指令，该程序或指令被处理器601执行时实现上述图像处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。[0098]需要说明的是，本技术实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。[0099]图7为实现本技术实施例的一种电子设备的硬件结构示意图。[0100]该电子设备700包括但不限于：射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、以及处理器710等部件。[0101]本领域技术人员可以理解，电子设备700还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器710逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。[0102]输入单元704，可以用于在接收到拍摄指令的情况下，通过传感器获得第一图像以及第一图像对应的多光谱信息。[0103]处理器710，可以用于根据多光谱信息，对第一图像进行色彩校正。[0104]可选地，处理器710可以用于对第一图像进行语义分析，得到目标区域，目标区域为第一图像中物体反射率为常数的区域；从多光谱信息中提取目标光谱信息，目标光谱信息与目标区域对应；通过目标光谱信息对目标区域进行色彩校正。[0105]应理解的是，本技术实施例中，输入单元704可以包括图形处理器(graphicsprocessingunit，gpu)7041和麦克风7042，图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元706可包括显示面板7061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板7061。用户输入单元707包括触控面板7071以及其他输入设备7072中的至少一种。触控面板7071，也称为触摸屏。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。[0106]存储器709可用于存储软件程序以及各种数据。存储器709可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器709可以包括易失性存储器或非易失性存储器，或者，存储器709可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-onlymemory，rom)、可编程只读存储器(programmablerom，prom)、可擦除可编程只读存储器(erasableprom，eprom)、电可擦除可编程只读存储器(electricallyeprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(randomaccessmemory，ram)，静态随机存取存储器(staticram，sram)、动态随机存取存储器(dynamicram，dram)、同步动态随机存取存储器(synchronousdram，sdram)、双倍数据速率同步动态随机存取存储器(doubledataratesdram，ddrsdram)、增强型同步动态随机存取存储器(enhancedsdram，esdram)、同步连接动态随机存取存储器(synchlinkdram，sldram)和直接内存总线随机存取存储器(directrambusram，drram)。本技术实施例中的存储器709包括但不限于这些和任意其它适合类型的存储器。[0107]处理器710可包括一个或多个处理单元；可选地，处理器710集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器710中。[0108]在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。[0109]尽管已经示出和描述了本技术的实施例，本领域的普通技术人员可以理解：在不脱离本技术的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本技术的范围由权利要求及其等同物限定。当前第1页12当前第1页12
再多了解一些
本文用于创业者技术爱好者查询，仅供学习研究，如用于商业用途，请联系技术所有人。
