一种图像像素值映射方法、成像装置及计算机存储介质与流程

1.本发明涉及图像传感器技术领域，特别是涉及一种图像像素值映射方法、成像装置及计算机存储介质。


背景技术：

2.图像传感器广泛应用于视频监控及其他相关领域。在一些交通监控摄像的应用场合，交通信号灯开启后亮度相当于周围的环境，亮度比较亮。图像传感器用作视频监控拍摄包含交通信号灯的场景时，容易出现阴天时光照较弱红色信号灯出现偏色(除红色外，其他颜色通道过爆)，晚上时拍摄会出现红绿灯过曝的问题。产生这个问题的原因主要是目前的图像传感器设计通常是线性的，线性图像传感器所探测的光照范围小，不能够采集低照度环境变化到强光线环境下的全部信号，因此其输出动态范围无法同时满足红绿灯与周围环境的亮度范围。要解决上述问题，需要对图像传感器输出图像的动态范围进行提高，以满足不同场景的应用需求。
3.提高图像传感器输出的动态范围通常采用输出两帧图像进行合成，以提高动态范围的模式。具体设计中，两帧图像具有不同的曝光时间，一帧图像的曝光时间长，另一帧图像的曝光时间短。具有长曝光时间的一帧图像可清晰获得低照度场景中的图像细节，短曝光时间的另一帧图像可获得高照度场景中的图像细节。上述两帧图像进行合并处理，能够得到一帧既包含低照度场景也包含高照度场景细节的清晰图像。但两帧合成的实现方式中，需要对第一帧图像读取后进行存储，读取完第二帧图像后再进行合并处理。因此在具体应用中，两帧图像合成会出现运动模糊的问题。
4.另有一类用于此场景的图像传感器的解决方案是在一帧曝光过程中对不同区域采用不同的曝光时间，即通过对曝光时间的控制，使输出的一帧图像中包含有不同的曝光，从而解决图像中的过曝问题。然而，现有的图像融合方法是将不同曝光的完整场景图像进行融合，即是用于多帧曝光图像的融合，而在分区曝光的情况下，用来融合的不同曝光图像都只包含场景的一部分，因此现有的图像融合方法不能够满足分区曝光图像融合的需要。
5.因此，在图像处理比如上述的图像融合处理过程中，经常需要对图像进行像素值映射后进行后续处理和应用。


技术实现要素：

6.本发明要解决的技术问题在于，有必要提供一种图像像素值映射方法、成像装置及计算机存储介质，以实现各种图像处理应用。
7.本发明还提供一种成像装置，包括处理器和存储器，所述存储器存储有至少一条指令，所述处理器用于读取所述至少一条指令并执行上述的方法。
8.本发明还提供一种计算机存储介质，所述计算机存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述的方法。
9.本发明图像像素值映射方法、成像装置及计算机存储介质，通过计算亮度阈值将
亮度调节图像的像素点划分为低亮度点，中亮度点和高亮度点；以及根据待映射像素点的像素值和其所在设定邻域内的低、中、高亮度点的比率及映射值，将所述亮度调节图像的各个像素点的像素值映射到[0,2^n-1]范围内，得到像素值映射图像。本发明无需人工干预，能够自动完成图像像素值映射任务，适用于灰度图像和彩色图像，并且适用于连续视频图像的图像像素值映射。。
[0010]
为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
[0011]
图1为本发明一实施例的图像像素值映射方法应用于片内分区曝光图像融合方法的步骤流程图；
[0012]
图2为本发明一实施例的图像像素值映射方法应用于片内分区曝光图像融合方法的各步骤对应的图像的示意图；
[0013]
图3为本发明一实施例的亮度调节方法的步骤流程图；
[0014]
图4为本发明一实施例的像素值映射方法的步骤流程图；
[0015]
图5为本发明一实施例的色彩饱和度保持方法的步骤流程图；
[0016]
图6为本发明一实施例的衔接区域过渡处理方法的步骤流程图；
[0017]
图7为本发明一实施例的衔接区域过渡处理方法中边界像素点的示意图。
具体实施方式
[0018]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0019]
如图1及图2所示，本发明一种片内分区曝光图像融合方法，包括以下步骤。
[0020]
步骤s100：对原始待调节图像src进行亮度调节，将原始待调节图像src划分为若干个曝光分区，指定一曝光分区作为首次调节的参照分区，根据所述参照分区调节相邻曝光分区的亮度，使得不同曝光分区的亮度达到一致，得到亮度调节图像src_adj。
[0021]
步骤s200：对亮度调节图像src_adj的各个分区进行像素值映射，根据待映射像素点及其所在设定邻域内其他像素点的像素值，将所述亮度调节图像src_adj的各个像素点的像素值映射到[0,2^n-1]范围内，得到各个分区的像素值映射图像src_mapping。其中，n为原始待调节图像src的位宽。在本发明实施例中，n为8，因此像素值映射范围为[0,255]。本领域技术人员可以理解，在其他实施例中，n可以取9、10、12等其他的位宽。
[0022]
步骤s300：对原始待调节图像src进行色彩饱和度保持，将大于设定亮度阈值的高亮度像素点的值，赋予像素值映射图像src_mapping中对应的像素点，并对src_mapping图像中被赋值的高亮度像素点的边缘像素点与设定邻域内像素点的值进行加权，完成过渡处理，得到色彩饱和度保持图像src_ret。
[0023]
步骤s400：对相邻曝光分区进行衔接区域过渡处理，在相邻的两个曝光分区中，设定以衔接边界为中心的衔接过渡区域，在所述衔接过渡区域内，位于衔接边界一侧的像素
点的像素值调整为原像素值和衔接边界另一侧紧邻衔接边界的边界像素点的像素值的加权之和，完成分区曝光图像的融合。
[0024]
在一个实施例中，步骤s300所述色彩饱和度保持不是必须的，可以不对原始待调节图像src进行色彩饱和度保持处理，直接进行步骤s400的衔接区域过渡处理。
[0025]
如图3所示，在一个实施例中，在步骤s100的亮度调节中，以原始待调节图像src的中间分区作为首次亮度调节的参照分区，具体包括以下步骤。
[0026]
步骤s101：选择src图像的中间分区作为参照分区。
[0027]
步骤s102：判断src是否为灰度图像。
[0028]
步骤s103：若src为灰度图像，将src图像赋值到灰度原始待调节图像src_gray，进入步骤s105，否则，进入步骤s104。
[0029]
步骤s104：将src图像利用如下公式(1)转为灰度原始待调节图像src_gray：
[0030]
gray＝r*0.299 g*0.587 b*0.114
ꢀꢀꢀ
(1)
[0031]
其中，r，g，b分别为src图像r通道，g通道，b通道的像素值。
[0032]
步骤s105：统计src_gray图像参照分区的平均亮度值ave_ref(本实施例中，不考虑像素值大于200的过曝像素点)和相邻待调节分区的平均亮度值ave_adj(本实施例中，不考虑像素值大于200的过曝像素点)。
[0033]
在本发明实施例中，具体为统计原始待调节图像src_gray的参照分区一侧靠近衔接边界n行的平均亮度值ave_ref和相邻待调节分区一侧靠近衔接边界n行的平均亮度值ave_adj。
[0034]
统计相邻待调节分区的平均亮度值ave_adj时，首先计算n行所有像素点的均值ave_adj_all，然后考虑n行中像素值小于min{(2^n-1)*a1,ave_adj_all*a2}的像素点，n为当前所处理图像的位宽，最后计算这些点的均值得到ave_adj。其中，min{(2^n-1)*a1,ave_adj_all*a2}表示取这两个数值中较小的一个数值。在一个实施例中，设定参数a1取0.9，设定参数a2取1.5。
[0035]
统计参照分区的平均亮度值ave_ref时，首先计算n行所有像素点的均值ave_ref_all，然后考虑n行中像素值小于min{(2^n-1)*b1 ave_ref_all*b2}的像素点，n为当前所处理图像的位宽，最后计算这些点的均值得到ave_ref。其中，min{(2^n-1)*b1,ave_ref_all*b2}表示取这两个数值中较小的一个数值。在一个实施例中，设定参数b1取0.9，设定参数b2取1.5。
[0036]
其中，n的取值范围为[1,min{height_region_adj,height_region_ref}]，其中，height_region_adj表示相邻待调节分区的高度，height_region_ref表示参照分区的高度。若待调节分区靠近衔接分界的位置有高亮点，则n在上述取值范围[1,min{height_region_adj,height_region_ref}]内取较大值，比如大于20行，以弱化高亮点对平均亮度的影响；否则，n在上述取值范围[1,min{height_region_adj,height_region_ref}]内取较小值即可，比如10行以内，以减少运算量。
[0037]
步骤s106：判断ave_adj与ave_ref的差值是否小于设定的第一阈值，比在一个实施例中，第一阈值设定为0.5，如果|ave_adj-ave_ref|《0.5，待调节分区的亮度调节完成，进入步骤s108，否则，进入步骤s107。
[0038]
步骤s107：否则，计算参照分区与待调节分区平均亮度值的比值rate，即rate＝
ave_ref/ave_adj，在一个实施例中，限定各个分区曝光增益的比值不超过16，即比值rate小于等于16，因此，若参照分区的位宽为8，则将待调节分区的像素值位宽扩展4位，即待调节分区的像素值位宽为12，然后将src图像待调节分区的像素值乘以比值，进入步骤s102。
[0039]
步骤s108：src图像参照分区的相邻分区亮度调节完成，判断是否存在其他未调节分区。
[0040]
步骤s109：若src图像参照分区的相邻分区亮度调节完成，且存在其他未调节分区，则将src图像存在相邻未调节分区的已调节分区作为参照分区，其相邻未调节分区作为待调节分区，进入步骤s102。
[0041]
若所有分区亮度调节完成，则亮度调节结束，得到各个分区亮度一致的亮度调节图像src_adj。
[0042]
如图4所示，在一个实施例中，在步骤s200的像素值映射中，计算亮度阈值将亮度调节图像src_adj各个分区的像素点划分为低亮度点，中亮度点和高亮度点；以及根据图像src_adj各个分区待映射像素点及其设定邻域内(比如，9*9)的像素值，采用对数方程实现高动态范围的压缩，将像素值映射到[0,2^n-1]范围，包括以下步骤。
[0043]
步骤s201：利用公式(1)，对亮度调节图像src_adj各个分区进行灰度转化，得到图像src_adj的各个分区的灰度亮度调节图像src_adj_gray，用以表征图像src_adj的亮度，利用如下公式(2)计算图像src_adj_gray像素值的对数平均值lg_ave，即：
[0044][0045]
其中，num为图像src_adj_gray的像素点总数，src_adj_gray(x,y)表示图像src_adj_gray在x行y列的像素值，在一个实施例中，设定参数α取0.0001。
[0046]
步骤s202：计算亮度阈值key，即：
[0047][0048]
其中，graymax和graymin分别表示图像src_adj_gray的最大像素值和最小像素值。
[0049]
步骤s203：根据亮度阈值key将归一化src_adj_gray图像像素点划分为低亮度点，中亮度点和高亮度点：
[0050]
l
t
＝l
max-[c1 (1-c1)*key]*(l
max-l
min
)
ꢀꢀꢀ
(4)
[0051]
lh＝l
min
[c2 (1-c2)*(1-key)]*(l
max-l
min
)
ꢀꢀꢀ
(5)
[0052]
其中，l
max
和l
min
分别为图像src_adj_gray归一化之后的最大值和最小值，归一化图像中像素值小于l
t
的像素点为低亮度点，大于lh的像素点为高亮度点，介于中间的为中亮度点。其中，设定c1的取值范围为0.5～1之间，设定c2的取值小于c1的值。在一个实施例中，c1为0.9，c2为0.6。
[0053]
步骤s204：判断图像src_adj是否为灰度图像。
[0054]
步骤s205：若图像src_adj为灰度图像，则将图像src_adj归一化，得到归一化亮度调节图像src_adj_norm。
[0055]
步骤s206：若图像src_adj为彩色图像，则分别对图像src_adj的三个颜色通道归一化，得到归一化亮度调节图像src_adj_norm。
[0056]
步骤s207：对归一化图像src_adj_norm的每个像素点，考虑以该像素点为中心的设定邻域(比如m*m的窗口)内的像素点，分别计算窗口内属于低、中、高亮度点的比率rate
l
，ratem，rateh。
[0057]
步骤s208：对低、中、高亮度点的像素值利用如下公式(6)进行映射；即：
[0058][0059]
其中，参数si，qi，ki为大于1的正值，i∈[l,m,h]，分别对应着低亮度点，中亮度点和高亮度点，参数si值按照低亮度点到高亮度点递增，参数qi、ki值按照低亮度点到高亮度点递减，ln为图像src_adj_norm的像素值，l
nmax
为图像src_adj_norm的最大像素值，li为映射之后的值。在一个实施例中，si的取值范围为2-15，qi的取值范围为20-500，ki的取值范围为20-500。在一个实施方式中，低亮度点，中亮度点和高亮度点的si，qi，ki的取值表格1所示。
[0060]
低s
l
＝2q
l
＝50k
l
＝50中sm＝5qm＝45k
mm
＝45高sh＝5qh＝30kh＝30
[0061]
表格1
[0062]
步骤s209：归一化图像src_adj_norm的每个像素点，根据三组不同的si，qi，ki值，算得低亮度点，中亮度点和高亮度点的映射值l
l
，lm，lh，从而得到图像src_adj像素点的映射值为：
[0063]
l＝(l
l
*rate
l
lm*ratem lh*rateh)*(2^n-1)
ꢀꢀꢀ
(7)
[0064]
在一个实施例中，像素值映射后的图像记为src_mapping。
[0065]
如图5所示，在一个实施例中，在步骤s300的色彩饱和度保持中，在原始待调节图像src中，将大于设定亮度阈值的高亮度像素点的值，赋予像素值映射图像src_mapping中对应的像素点，并对src_mapping图像中被赋值的高亮度像素点的边缘像素点与设定邻域内像素点的值进行加权，完成过渡处理，具体包括以下步骤。
[0066]
步骤s301：创建模板图像mask，初始化mask图像的像素值为0，遍历gray图像，若像素值大于(2^n-1)*d1，比如当n＝8且设定参数d1为0.8时，若像素值大于200，则将mask图像中，该像素值对应位置的像素值设置为255，并将src_mapρing图像对应位置的像素值设置为src图像同样位置像素点的值。本实施例中，模板图像mask的位宽大于等于8。
[0067]
步骤s302：对mask图像进行形态学膨胀处理，并对mask图像进行设定邻域(比如11*11)的均值滤波。
[0068]
步骤s303：遍历mask图像，当mask图像的像素值不为0且不为255时，将src_mapping图像中对应位置的像素值作如公式(8)的调整，即：
[0069][0070]
其中，(x，y)表示mask图像中值不为0且不为255的像素点位置。
[0071]
在一个实施例中，经过色彩饱和度保持处理后的图像记做src_ret。
[0072]
如图6及图7所示，在一个实施例中，在步骤s400的衔接区域过渡处理中，具体包括以下步骤。
[0073]
步骤s401：设第一边界像素点(x1,y1)和第二边界像素点(x2,y2)分别为相邻的第一曝光分区和第二曝光分区的衔接边界位置两侧的边界像素点。
[0074]
步骤s402：在(x1,y1)一侧，在设定的衔接过渡过渡区域内，衔接边缘径向的m个，比如20个像素点集合{(x_t1i，y_t1i)|i＝1,2,
…
,20}，将src_ret图像中对应位置的像素点做如下公式(9)处理：
[0075][0076]
其中，dis1表示当前处理像素点距离(x2,y2)的像素距离；src_ret(x2,y2)为第二边界像素点(x2,y2)在色彩饱和度保持图像的像素。
[0077]
步骤s403：在(x2,y2)一侧，在设定的衔接过渡过渡区域内，衔接边缘径向的m个，比如20个像素点集合{(x_t2i，y_t2i)|i＝1,2,
…
,20}，将src_ret图像中对应位置的像素点做如下公式(10)处理：
[0078][0079]
其中，dis2表示当前处理像素点距离(x1,y1)的像素距离；src_ret(x1,y1)为第一边界像素点(x1,y1)在色彩饱和度保持图像的像素值。
[0080]
步骤s404：对衔接过渡区域进行高斯滤波。
[0081]
本发明片内分区曝光图像融合方法，通过对原始待调节图像进行亮度调节；对亮度调节图像进行像素值映射；对原始待调节图像进行色彩饱和度保持；对相邻曝光分区进行衔接区域过渡处理，从而能够实现分区曝光图像的融合。本发明无需人工干预，能够自动完成分区曝光图像的融合任务，适用于灰度图像和彩色图像，并且适用于连续视频图像的分区曝光融合。
[0082]
在一些实施例中，还提供一种成像装置，包括处理器和存储器，存储器存储有多条指令，处理器用于读取所述多条指令并执行上述片内分区曝光图像融合方法，例如包括：计算亮度阈值将亮度调节图像的像素点划分为低亮度点，中亮度点和高亮度点；以及根据待映射像素点的像素值和其所在设定邻域内的低、中、高亮度点的比率及映射值，将所述亮度调节图像的各个像素点的像素值映射到[0,2^n-1]范围内，得到像素值映射图像。本发明无需人工干预，能够自动完成图像像素值映射任务，适用于灰度图像。
[0083]
在一些实施例中，还提供一种计算机可读存储介质，所述计算机存储介质存储有多条指令，所述多条指令可被处理器读取并执行上述片内分区曝光图像融合方法，例如包括：计算亮度阈值将亮度调节图像的像素点划分为低亮度点，中亮度点和高亮度点；以及根据待映射像素点的像素值和其所在设定邻域内的低、中、高亮度点的比率及映射值，将所述亮度调节图像的各个像素点的像素值映射到[0,2^n-1]范围内，得到像素值映射图像。本发明无需人工干预，能够自动完成图像像素值映射任务，适用于灰度图像。
[0084]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0085]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有
的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本发明不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
[0086]
应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语"如果"可以被解释成为"在
……
时"或"当
……
时"或"响应于确定"。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“a、b或c”或者“a、b和/或c”意味着“以下任一个：a；b；c；a和b；a和c；b和c；a、b和c”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
[0087]
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。