一种基于颜色偏移量估计的内窥镜颜色校正方法与流程

1.本发明涉及医学图像处理及计算机视觉领域，特别是一种基于颜色偏移量估计的内窥镜颜色校正方法。


背景技术：

2.随着科学技术的不断进步，医疗领域、光学领域、计算机领域和电子领域的结合越来越密切，使得内窥镜技术日趋成熟，内窥镜成为了当今应用最广泛的医疗设备之一，成为临床检查及其治疗中必不可少的一种工具。
3.由于内窥镜的应用场景及其应用需求，内窥镜图像往往会存在亮度阴影和偏色。主要是由于镜头的一些光学特性及其光源不均匀所带来的，进而影响图像的质量。若认为真实世界是无颜色的，我们所感知的颜色就是物体自身的反射性质和物体周围的光照强度作用的结果；根据颜色恒常性理论，物体有自身的固有属性，不会受到光照的影响，一个物体对于不同光波的反射能力才能够决定物体的颜色。而在实际应用中很难获得均匀性光源，而光源不均匀性不仅会带来亮度阴影还会带来颜色的偏差。
4.目前对偏色校正方法之一是采用图像的光照曲面，利用原图消除光照曲面，从而得到校正图像。其中光照曲面的估计最早使用高斯函数与原图像卷积获得，但此方法依赖于高斯函数的相关系数，光照曲面估计的准确与否在于高斯函数的系数设置，而且处理后的图像容易出现光晕现象。后来研究者通过采用最小二乘法、多项式等对图像进行直接估计光照曲面，从而去消除原图像中的光照分量的影响，进而校正图像的偏色。
5.发明人在研究发现，直接对原图像进行估计光照曲面的时候，对于高、低光源亮度下图像的光照曲面估计不准确，因而不能适用于所有光源亮度下的图像，在低、高光源亮度下的图像校正效果不佳。


技术实现要素：

6.基于上述问题，本发明的目的在于提供一种基于颜色偏移量估计的内窥镜图像颜色校正方法。通过估计原图的偏色值构建与原图同等大小的偏色分量，利用中等光源亮度下的灰阶图像对光照曲面系数进行拟合，估计偏色分量的光照曲面，从而得到偏色分量的反射分量。利用反射分量和偏色分量求解图像的颜色偏移量，根据颜色偏移量对图像的各通道进行颜色校正。本发明解决了光源不均匀性带来的图像偏色问题，校正后的图像更加符合真实颜色。
7.一种基于颜色偏移量估计的内窥镜图像的颜色校正方法，具体包括以下步骤：
8.步骤s1：用内窥镜采集图像。
9.步骤s2：对步骤s1中的图像，利用图像r、g和b三通道像素值进行倒序排列取其阈值范围内像素点值求平均，估计图像的偏色值，并根据两点间的距离公式构建与原图同等大小的偏色分量。
10.步骤s3：针对步骤s2中的偏色分量，通过采集灰阶图像并利用最小二乘法拟合光
照曲面，将中等光源的光找曲面系数再次利用最小二乘法来拟合光照曲面系数拟合模型，估计其偏色分量的光照曲面。
11.步骤s4：根据步骤s3中的光照曲面，通过与偏色分量进行卷积得到光照分量，将偏色分量r、g、b三通道分别减去光照分量，从而获得反射分量，并对其进行增益补偿。
12.步骤s5：对步骤s4中的反射分量和偏色分量，将反射分量和偏色分量之间的差值作为颜色偏移量。根据颜色偏移量利用变形的亮度公式对原图进行颜色校正，最终得到颜色校正图像。
13.上述技术方案中，进一步地，步骤s1中用内窥镜采集图像的方法为：在内窥镜的主动照明、暗室环境中，采集任意物体的图像。
14.进一步地，步骤s2根据距离公式估计与原图同等大小的偏色分量：
[0015][0016]
g(x，y)＝pixeli×
distance(x，y)(i＝r
′
，g
′
，b
′
)
ꢀꢀꢀ
(2)
[0017]
式(1)中，x0和y0为图像的中心点，distance(x，y)为离图像中心点的距离；式(2)中，g(x，y)为图像的偏色分量，其中pixel计算方法为：
[0018]
先将单通道图像中的像素值进行倒序排列并设定阈值，取阈值范围之内的所有像素值进行求和，其公式如下：
[0019][0020]
num＝m
×n×
thr
ꢀꢀꢀ
(4)
[0021]
式(3)中sump为像素值的和，num为像素值的数量，f为原图；式(4)中m和n为原图像的大小，thr为阈值，根据图像可自行调整。然后对式(3)中的像素值的和求平均，即可以计算出pixeli的数值。
[0022]
进一步地，步骤s3中，光照曲面的具体步骤为：
[0023]
步骤s31：采集不同光源亮度下的灰阶图像；
[0024]
步骤s32：计算不同光源亮度下光照曲面的系数；
[0025]
步骤s33：根据最小二乘估计法拟合光照曲面系数；
[0026]
步骤s34：估计偏色分量的光照曲面。
[0027]
更进一步地，步骤s31具体为：在内窥镜的主动照明、暗室环境中，采集同一距离不同光源亮度下的灰阶图像，在这里采集光源亮度从0到100之间的光源亮度图像；并分离图像中的r通道分量，由于内窥镜中r通道分量较其它通道分量强，故采用r通道分量进行相关的计算。
[0028]
更进一步地，步骤s32具体为：对不同光源亮度下的r通道分量进行计算其光照曲面的系数，其式如下：
[0029][0030]
式(5)中f(x，y)表示原图像像素点值，x0和y0分别为图像的中心点，a和c分别为光照曲面的相关系数。对(1)进行两边取对数：
[0031]
lnf(x，y)＝lna-c
×
[(x-x0)2 (y-y0)2]
ꢀꢀꢀ
(6)
[0032]
根据最小二乘法使得拟合数据和目标数据之间误差的平方和达到最小，即式(7)中的loss(x，y)最小，从而可求出不同光源亮度下的光照曲面系数a和c。其式如下：
[0033]
loss(x，y)＝lna—c
×
[(x—x0)2 (y—y0)2]-lnf(x，y)
ꢀꢀꢀ
(7)
[0034]
更进一步地，步骤s32中，对于中等光源亮度下的图像估计其光照曲面系数较为准确，对于低、高光源亮度图像，其光照曲面系数估计不准确。为了准确的估计其图像的光照曲面，根据中等光源亮度图像的光照曲面系数进行最小二乘法拟合，从而进一步准确的估计所有光源亮度图像的光照曲面。
[0035]
更进一步地，步骤s33具体为：对中等光源亮度图像的光照曲面系数a和c建立如下数学模型，其式如下：
[0036][0037]
qi(x)＝d*x2 e*x p(i＝a，c)
ꢀꢀꢀ
(9)
[0038]
式(8)中α＝0.216、β＝0.7152、γ＝0.0722采用rec.709中的数值，式(8)中α＝0.216、β＝0.7152、γ＝0.0722采用rec.709中的数值，分别是red、green和blue通道的平均值，lum是图像的亮度；式(9)中x为图像通道的亮度均值，q(x)为曲面系数。
[0039]
根据最小二乘法使得拟合数据和目标数据之间误差的平方和达到最小，即式(10)中的lossi(x)最小，从而可求出系数d、e、p。其式如下：
[0040]
lossi(x)＝d*x2 e*x p—qi(x，y)(i＝a，c)
ꢀꢀꢀ
(10)
[0041]
更进一步地，步骤s34具体为：按公式(9)可求出偏色分量的光照曲面系数a和c，从而可估计出偏色分量的光照曲面。
[0042]
进一步地，步骤s4中，利用光照曲面与偏色分量进行卷积从而得到光照分量，其式如下：
[0043]
l(x，y)＝si(x，y)*q(x，y)(i＝r)
ꢀꢀꢀ
(11)
[0044]
式(11)中的l(x，y)为图像的光照分量，s(x，y)为偏色分量中的r通道分量，q(x，y)为光照曲面，其中*为卷积。
[0045]
更进一步地，利用光照分量将偏色分量中的r、g、b三通道分别减去光照分量，从而获得反射分量，其式如下：
[0046]gi
(x，y)＝l(x，y)*refi(x，y)(i＝r，g，b)
ꢀꢀꢀ
(12)
[0047]
式(12)中l(x，y)为图像的光照分量，g(x，y)为偏色分量，ref(x，y)为反射分量，其中*为乘积。直接进行计算其计算量大，故对上式两边进行取对数，得到下式：
[0048]
ln si(x，y)＝ln l(x，y) ln refi(x，y)(i＝r，g，b)
ꢀꢀꢀ
(13)
[0049]
故可得反射分量为：
[0050]
refi(x，y)＝exp(ln gi(x，y)-ln l(x，y))(i＝r，g，b)
ꢀꢀꢀ
(14)
[0051]
对反射分量进行增益补偿，其做一个线性拉伸处理，其公式：
[0052][0053]
进一步地，步骤s5中，根据步骤s4中得偏色分量和反射分量，获取图像得颜色偏移量，其式如下：
[0054]
r＝r
ref-rg[0055]
g＝g
ref
—ggꢀꢀꢀ
(16)
[0056]
b＝b
ref-bg[0057]
式(16)中r
ref
、g
ref
和b
ref
为反射分量的r、g、b三通道，rg、gg和bg为图像的偏色分量
的r、g、b三通道，r、g和b为颜色偏移量。然后根据公式(17)对图像进行颜色校正，其式如下：
[0058]rout
＝r
in
(1-α)*r-β*g-γ*b
[0059]gout
＝g
in
(1-β)*g-α*r-γ*b
ꢀꢀꢀ
(17)
[0060]bout
＝b
in
(1-γ)*b-α*r-β*g
[0061]
式(17)中α＝0.216、β＝0.7152、γ＝0.0722，其中r
in
、g
in
、b
in
为输入图像的r、g、b三通道分量，r
out
、g
out
、b
out
为校正后图像的r、g、b三通道分量，最后将三通道进行融合从而得到最后的颜色校正图像。
[0062]
基于上述技术方案可知，本发明首先用内窥镜采集图像，其次估计原图中的偏色值，利用距离公式构建与原图同等大小的偏色分量。然后采集同一距离不同光源亮度下的灰阶图像，并分离图像中的r通道；对不同光源亮度下的r通道利用最小二乘法进行光照曲面估计，并对中等光源亮度下的光照曲面系数再次进行最小二乘法拟合，利用光照曲面拟合的公式对偏色分量估计光照曲面，并与偏色分量进行卷积获得光照分量，再将偏色分量的r、g、b三通道分别减去其光照分量，同时进行增益补偿，从而可获得偏色分量的反射分量。最后计算偏色分量和反射分量之间的颜色偏移量，利用颜色偏移量对原图进行颜色校正，最终得到颜色校正图像。该方法对原图中的偏色值进行了估计，利用距离公式构建与原图同等大小的偏色分量，提取了图像的偏色信息的分布；其次利用中等光源亮度区域下的灰阶图像建立光照曲面系数模型，能更准确的估计高、低光源亮度下图像的光照曲面；通过反射分量和偏色分量计算颜色偏移量，利用颜色偏移量校正原图像，校正后图像更加符合人眼所见。
附图说明
[0063]
图1为本发明实施的方法流程示意图。
[0064]
图2为光源亮度15的r、g、b三通道图。
[0065]
图3为光源亮度15图像校正前后的r、g、b通道像素值曲线图。
具体实施方式
[0066]
下面将结合本发明实施中的附图，对本发明的目的、技术方案更加清楚、完整的描述，显然，所描述的实施仅为本发明的具体实施例而已，但并不用于限制本发明，凡是在本发明的原则和思想之内，所作的任何修改、等同替换和改进等，均应该算在本发明的合理保护范围之内。
[0067]
参见图1，是本发明提供的一种内窥镜图像颜色校正方法的一个实施例的流程示意图。
[0068]
本发明实施例提供一种基于颜色偏移量估计的内窥镜颜色校正技术方法，具体包括以下步骤：
[0069]
步骤s1:用内窥镜采集图像。
[0070]
步骤s2：对步骤s1中的图像，利用图像r、g和b三通道像素值进行倒序排列取其阈值范围内像素点值求平均，估计图像的偏色值，并根据两点间的距离公式构建与原图同等大小的偏色分量。
[0071]
步骤s3:针对步骤s2中的偏色分量，通过采集灰阶图像并利用最小二乘法拟合光
照曲面，将中等光源的光找曲面系数再次利用最小二乘法来拟合光照曲面系数拟合模型，估计其偏色分量的光照曲面。
[0072]
步骤s4:根据步骤s3中的光照曲面，通过与偏色分量进行卷积得到光照分量，将偏色分量r、g、b三通道分别减去光照分量，从而获得反射分量，并对其进行增益补偿。
[0073]
步骤s5：对步骤s4中的反射分量和偏色分量，将反射分量和偏色分量之间的差值作为颜色偏移量。根据颜色偏移量利用变形的亮度公式对原图进行颜色校正，最终得到颜色校正图像。
[0074]
在本实施例中，步骤s1中，用内窥镜采集偏色图像；再采集图像的时候，为了避免其它杂光的干扰，最好再暗室中进行采集图像。
[0075]
在本实施例中，步骤s2中，根据距离公式估计与原图同等大小的偏色分量，其式如下：
[0076][0077]
g(x，y)＝pixeli×
distance(x，y)(i＝r
′
，g
′
，b
′
)
ꢀꢀꢀ
(2)
[0078]
式(1)中，x0和y0为图像的中心点，distance(x，y)为离图像中心点的距离；式(2)中，g(x，y)为图像的偏色分量，其中pixel计算方法为：
[0079]
首先将单通道图像中的像素值进行倒序排列并设定阈值，取阈值范围之内的所有像素值进行求和，其公式如下：
[0080][0081]
num＝m
×n×
thr
ꢀꢀꢀ
(4)
[0082]
式(3)中sump为像素值的和，num为像素值的数量，f为原图；式(4)中m和n为单通道图像的大小，thr为阈值，根据图像可自行调整。然后对式(3)中的像素值的和求平均，即可以计算出pixeli的数值。
[0083]
在本实施例中，步骤s3中，光照曲面的获取具体步骤为：
[0084]
步骤s31：采集不同光源亮度下的灰阶图像；
[0085]
步骤s32：确定不同光源亮度下，光照曲面的系数；
[0086]
步骤s33：根据最小二乘估计法拟合光照曲面系数；
[0087]
步骤s34：估计偏色分量的光照曲面。
[0088]
在本实施例中，步骤s31具体为：用内窥镜采集同一距离不同光源亮度下的灰阶图像，在这里采集光源亮度从0到100之间的光源亮度图像；并分离图像中的r通道分量，由于内窥镜中r通道分量较其它通道分量强，故采用r通道分量进行相关的计算。图2为光源亮度15下图像的r、g、b三通道图，其图像分辨率为960
×
1080。
[0089]
在本实施例中，步骤s32具体为：对不同光源亮度下的r通道分量进行计算其光照曲面的系数，其式如下：
[0090][0091]
式(5)中f(x，y)表示原图像像素点值，x0和y0分别为图像的中心点，a和c分别为光照曲面的相关系数。对(1)进行两边取对数：
[0092]
lnf(x，y)＝lna—c
×
[(x-x0)2 (y—y0)2]
ꢀꢀꢀ
(6)
[0093]
根据最小二乘法使得拟合数据和目标数据之间误差的平方和达到最小，即式(7)
中的loss(x，y)最小，从而可求出不同光源亮度下的光照曲面系数a和c。其式如下：
[0094]
loss(x，y)＝lna—c
×
[(x—x0)2 (y—y0)2]-lnf(x，y)
ꢀꢀꢀ
(7)
[0095]
在本实施例中，步骤s32中，对于中等光源亮度下的图像估计其光照曲面系数较为准确，对于低、高光源亮度图像，其光照曲面系数估计不准确。为了准确的估计其图像的光照曲面，根据中等光源亮度图像的光照曲面系数进行最小二乘法拟合，从而进一步准确的估计所有光源亮度图像的光照曲面。
[0096]
在本实施例中，步骤s33具体为：对中等光源亮度图像的光照曲面系数a和c建立如下数学模型，其式如下：
[0097][0098]
qi(x)＝d*x2 e*x p(i＝a，c)
ꢀꢀꢀ
(9)
[0099]
式(8)中α＝0.216、β＝0.7152、γ＝0.0722采用rec.709中的数值，式(8)中α＝0.216、β＝0.7152、γ＝0.0722采用rec.709中的数值，分别是red、green和blue通道的平均值，lum是图像的亮度；式(9)中x为图像通道的亮度均值，q(x)为曲面系数。
[0100]
根据最小二乘法使得拟合数据和目标数据之间误差的平方和达到最小，即式(10)中的lossi(x)最小，从而可求出系数d、e、p。其式如下：
[0101]
lossi(x)＝d*x2 e*x p—qi(x，y)(i＝a，c)
ꢀꢀꢀ
(10)
[0102]
在本实施例中，步骤s34具体为：按公式(9)可求出偏色分量的光照曲面系数a和c，从而可估计出偏色分量的光照曲面。
[0103]
在本实施例中，步骤s4中，利用光照曲面与偏色分量进行卷积从而得到光照分量，其式如下：
[0104]
l(x，y)＝si(x，y)*q(x，y)(i＝r)
ꢀꢀꢀ
(11)
[0105]
式(11)中的l(x，y)为图像的光照分量，s(x，y)为偏色分量中的r通道分量，q(x，y)为光照曲面，其中*为卷积。
[0106]
然后利用光照分量，将偏色分量中的r、g、b三通道分别减去光照分量，从而获得反射分量，其式如下：
[0107]gi
(x，y)＝l(x，y)*refi(x，y)(i＝r，g，b)
ꢀꢀꢀ
(12)
[0108]
式(12)中l(x，y)为图像的光照分量，g(x，y)为偏色分量，ref(x，y)为反射分量，其中*为乘积。直接进行计算其计算量大，故对上式两边进行取对数，得到下式：
[0109]
ln si(x，y)＝ln l(x，y) ln refi(x，y)(i＝r，g，b)
ꢀꢀꢀ
(13)
[0110]
故可得反射分量为：
[0111]
refi(x，y)＝exp(ln gi(x，y)-ln l(x，y))(i＝r，g，b)
ꢀꢀꢀ
(14)
[0112]
对反射分量进行增益补偿，其做一个线性拉伸处理，其公式：
[0113][0114]
在本实施例中，步骤s5中，根据步骤s4中得偏色分量和反射分量，获取图像得颜色偏移量，其式如下：
[0115]
r＝r
ref-rg[0116]
g＝g
ref
—ggꢀꢀꢀ
(16)
[0117]
b＝b
ref-bg[0118]
式(16)中r
ref
、g
ref
和b
ref
为反射分量的r、g、b三通道，rg、gg和bg为图像的偏色分量的r、g、b三通道，r、g和b为颜色偏移量。然后根据公式(17)对图像进行颜色校正，其式如下：
[0119]rout
＝r
in
(1-α)*r-β*g-γ*b
[0120]gout
＝g
in
(1-β)*g-α*r-γ*b
ꢀꢀꢀ
(17)
[0121]bout
＝b
in
(1-γ)*b-α*r-β*g
[0122]
式(17)中α＝0.216、β＝0.7152、γ＝0.0722，其中r
in
、g
in
、b
in
为输入图像的r、g、b三通道分量，r
out
、g
out
、b
out
为校正后图像的r、g、b三通道分量，最后将三通道进行融合从而得到最后的颜色校正图像。
[0123]
校正前后的效果如图3所示，可以看出三通道的颜色值更加接近，尤其图像中的b通道像素点值相对校正之前有所提高，说明其图像的偏色现象得到相应的校正。实际应用中在不同距离不同的光源亮度下图像的偏色现象可能不同，此方法能够解决在不同采集距离不同光源亮下的图像偏色现象，使其校正结果符合人眼观察。