内窥镜弱纹理图像增强方法及装置与流程

1.本发明涉及计算机视觉的技术领域，尤其涉及一种内窥镜弱纹理图像增强方法，以及内窥镜弱纹理图像增强装置。


背景技术：

2.近年来，随着计算机视觉研究方向的延伸，内窥镜图像特征在检测、识别、定位、重建中应用广泛，而且也成为了计算机视觉领域实现价值提升的有效途径。因此，内窥镜图像的特征匹配技术成为获取物体表面形态的关键技术。然而，由于临床手术中操作环境的特殊性，手术时间的限制和内窥镜设备差异，导致获取的内窥镜图像质量差异较大。一些图像存在弱纹理性质。
3.弱纹理内窥镜图像整体颜色单一，结构相似度高，视觉响应点稀少，提取视觉特征困难，对于之后的特征匹配，病灶识别，手术器械定位和内环境三维重建等应用中会造成严重的影响。目前，广泛运用的图像特征点采集方法在弱纹理内窥镜图像上的视觉特征点检测数量较少，另外，图像增强方法主要依据两点：(1)利用改变图像照明条件的动态范围增强图像纹理。(2)构建物体几何边界描述符，对弱纹理对象增强描述。这样的增强方法在提高图像特征点提取数量的同时，会引入较多随机噪声，造成误匹配。并且，临床医用内窥镜镜头直径微小，手术中内窥镜镜头靠近拍摄表面，导致视野狭窄，不能显示单个物体表面轮廓。这些限制因素都将严重影响后续的视觉应用。


技术实现要素：

4.为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种内窥镜弱纹理图像增强方法，其能够实现视觉错误感知的去除，提高视觉特征点提取数量，提高图像的纹理梯度信息。
5.本发明的技术方案是：这种内窥镜弱纹理图像增强方法，其包括以下步骤：
6.(i)提取临床手术中内窥镜图像数据；
7.(ii)基于色彩通道强度偏移获取单帧内窥镜影像中的高光区域；
8.(iii)根据所述内窥镜高光区域，对所述内窥镜影像区域补全；
9.(iv)以图像的空间对称性为依据，对内窥镜图像的弱纹理区域进行空间对称性描述；以图像的颜色梯度为依据，对内窥镜图像的弱纹理区域进行颜色梯度描述；
10.(v)根据图像像素空间对称性和颜色梯度的加权和，得到弱纹理指数，对内窥镜弱纹理图像数据进行量化；
11.(vi)基于局部线性关系对弱纹理图像进行自适应梯度保留。
12.本发明基于临床手术中获取的内窥镜图像，用以增强由于术中溶液填充，运动模糊和焦距散失造成的弱纹理图像。构建图像rgb三通道强度偏移优化模型，获取内窥镜图像中镜面反射区域，并采用快速匹配模型对图像镜面反射区域缺失的信息进行补全。利用图像的纹理信息，通过自适应梯度保留方法增强弱纹理内窥镜图像。最终生成内窥镜弱纹理
图像增强方案。因此能够实现视觉错误感知的去除，提高视觉特征点提取数量，提高图像的纹理梯度信息。
13.还提供了另一种内窥镜弱纹理图像增强方法，其包括以下步骤：
14.(1)探测内窥镜图像中镜面反射区域；
15.(2)通过计算图像整体空间对称性和颜色梯度，得到弱纹理图像的评价指标；
16.(3)根据图像像素的局部线性关系与滤波器一般性线性模型q＝ai b，将输出图像的像素表示为一个加权平均邻近像素；在边缘信息变化的区域，线性系数随着图像内容的变化，输出应与原始图像的梯度信息一致作为约束，为求解a和b，使用最小化代价函数：
[0017][0018]
其中，ε为正则化参数，ε越小，图像平滑程度越低，梯度保留越多，但引入噪声；反之，图像平滑程度越高，梯度保留越少。
[0019]
还提供了内窥镜弱纹理图像增强装置，其包括：
[0020]
探测模块，其配置来探测内窥镜图像中镜面反射区域；
[0021]
评价指标获取模块，其配置来通过计算图像整体空间对称性和颜色梯度，得到弱纹理图像的评价指标；
[0022]
最小化代价函数获取模块，其配置来根据图像像素的局部线性关系与滤波器一般性线性模型q＝ai b，将输出图像的像素表示为一个加权平均邻近像素；在边缘信息变化的区域，线性系数随着图像内容的变化，输出应与原始图像的梯度信息一致作为约束，为求解
[0023]
a和b，使用最小化代价函数：
[0024][0025]
其中，ε为正则化参数，ε越小，图像平滑程度越低，梯度保留越多，
[0026]
但引入噪声；反之，图像平滑程度越高，梯度保留越少。
附图说明
[0027]
图1是根据本发明的一种内窥镜弱纹理图像增强方法的流程图。
[0028]
图2是根据本发明的另一种内窥镜弱纹理图像增强方法步骤(1)的流程图。
[0029]
图3是根据本发明的另一种内窥镜弱纹理图像增强方法步骤(2)的流程图。
[0030]
图4是根据本发明的另一种内窥镜弱纹理图像增强方法步骤(3)的流程图。
[0031]
图5是医用内窥镜连续帧图像特征点匹配方法的流程图。
具体实施方式
[0032]
如图1所示，这种内窥镜弱纹理图像增强方法，其包括以下步骤：
[0033]
(i)提取临床手术中内窥镜图像数据；
[0034]
(ii)基于色彩通道强度偏移获取单帧内窥镜影像中的高光区域；
[0035]
(iii)根据所述内窥镜高光区域，对所述内窥镜影像区域补全；
[0036]
(iv)以图像的空间对称性为依据，对内窥镜图像的弱纹理区域进行空间对称性描述；以图像的颜色梯度为依据，对内窥镜图像的弱纹理区域进行颜色梯度描述；
[0037]
(v)根据图像像素空间对称性和颜色梯度的加权和，得到弱纹理指数，对内窥镜弱
纹理图像数据进行量化；
[0038]
(vi)基于局部线性关系对弱纹理图像进行自适应梯度保留。
[0039]
本发明基于临床手术中获取的内窥镜图像，用以增强由于术中溶液填充，运动模糊和焦距散失造成的弱纹理图像。构建图像rgb三通道强度偏移优化模型，获取内窥镜图像中镜面反射区域，并采用快速匹配模型对图像镜面反射区域缺失的信息进行补全。利用图像的纹理信息，通过自适应梯度保留方法增强弱纹理内窥镜图像。最终生成内窥镜弱纹理图像增强方案。因此能够实现视觉错误感知的去除，提高视觉特征点提取数量，提高图像的纹理梯度信息。
[0040]
还提供了另一种内窥镜弱纹理图像增强方法，其包括以下步骤：
[0041]
(1)探测内窥镜图像中镜面反射区域；
[0042]
(2)通过计算图像整体空间对称性和颜色梯度，得到弱纹理图像的评价指标；
[0043]
(3)根据图像像素的局部线性关系与滤波器一般性线性模型q＝ai b，将输出图像的像素表示为一个加权平均邻近像素；在边缘信息变化的区域，线性系数随着图像内容的变化，输出应与原始图像的梯度信息一致作为约束，为求解a和b，使用最小化代价函数：
[0044][0045]
其中，ε为正则化参数，ε越小，图像平滑程度越低，梯度保留越多，但引入噪声；反之，图像平滑程度越高，梯度保留越少。
[0046]
优选地，如图2所示，所述步骤(1)中，内窥镜图像通单道饱和度高被视为色彩通道强度偏移，颜色平衡比率计算为：
[0047][0048]
其中，p
95
(
·
)为95％，c
g
和c
b
为像素点蓝绿通道分量，将灰度强度c
e
设置为c
e
＝0.3
·
c
r
0.6
·
c
g
0.1
·
c
b
，c
r
为红通道分量；通过对整幅图像的镜面反射区域分析，确定镜面反射区域并保存到一个二值的掩膜中；基于快速匹配模型对图像镜面反射区域缺失的信息进行补全。
[0049]
优选地，如图3所示，所述步骤(2)包括以下分步骤：
[0050]
(2.1)弱纹理区域空间对称性描述为：
[0051][0052]
其中，在区域r内，任意点p(r，θ)，关于任意对称轴的对称点其像素值满足τ为容忍因子，t
ss
(i)为空间对称性描述，n
r
为区域r的数量，n
e
为区域r内随机对比次数，e(
·
)为弱纹理对称点二值判断函数，当一对对称点在容忍阈值内，则判断为一对弱纹理点，为区域均值，以便减
小镜面反射对结果的影响；
[0053]
(2.2)弱纹理区域颜色梯度描述为：
[0054][0055]
图像i中的任意一点p(x，y)，t
cg
(i)表示颜色梯度，n表示窗口中像素的个数，w
(x，y)
表示以像素(x，y)为中心的窗口，i(u，v)在灰度图像中表示像素的灰度值，表示窗口范围内像素的平均值；
[0056]
(2.3)计算得到弱纹理指数t
less
(i)定义为：
[0057]
将弱纹理指数分为5个等级，由强到弱，当指数为(0.8～1.0)为极强性纹理，(0.6～0.8)为强纹理，(0.4～0.6)为中等程度纹理，(0.2～0.4)为弱纹理，(0.0～0.2)为极弱纹理；将空间对称性和颜色梯度赋予不同权重，分别为α和β。
[0058]
优选地，如图4所示，所述步骤(3)中，引入一个弱纹理梯度保留因子γ(
·
)，对ε值进行自适应调节，表示为：
[0059]
t
less
(i)＝α*t
ss
(i) β*t
cg
(i)
ꢀꢀꢀ
(4)
[0060]
其中，|w
k
|为窗口中像素个数，为该像素点处的二阶微分，为w
k
内像素的二阶微分均值；通过窗口w
k
内每个像素的梯度幅值与平均值残差，反映局部像素之间的差异，避免引入个体间的显著差异；μ
k
和为i的均值与方差，为p
i
在窗口w
k
内的均值。
[0061]
优选地，所述步骤(3)中，在弱纹理程度高的图像中使用较小的ε值，减少对a
k
的约束力，获取更好的梯度保留结果，弱纹理程度低的图像中使用较大的ε值，得到更小的a
k
，避免引入过多高频噪声。
[0062]
优选地，该方法还包括，对上述构建的数学模型进行求解，根据求解结果进行特征点匹配的筛选，得到医用内窥镜连续帧图像特征点匹配方法(如图5所示)。
[0063]
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：rom/ram、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种内窥镜弱纹理图像增强装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：
[0064]
探测模块，其配置来探测内窥镜图像中镜面反射区域；
[0065]
评价指标获取模块，其配置来通过计算图像整体空间对称性和颜色梯度，得到弱纹理图像的评价指标；
[0066]
最小化代价函数获取模块，其配置来根据图像像素的局部线性关系与滤波器一般性线性模型q＝ai b，将输出图像的像素表示为一个加权平均邻近像素；在边缘信息变化的区域，线性系数随着图像内容的变化，输出应与原始图像的梯度信息一致作为约束，为求解a和b，使用最小化代价函数：
[0067][0068]
其中，ε为正则化参数，ε越小，图像平滑程度越低，梯度保留越多，但引入噪声；反
之，图像平滑程度越高，梯度保留越少。
[0069]
本发明基于临床手术中获取的内窥镜图像，用以增强由于术中溶液填充，运动模糊和焦距散失造成的弱纹理图像。构建图像rgb三通道强度偏移优化模型，获取内窥镜图像中镜面反射区域，并采用快速匹配模型对图像镜面反射区域缺失的信息进行补全。利用图像的纹理信息，通过自适应梯度保留方法增强弱纹理内窥镜图像。最终生成内窥镜弱纹理图像增强方案。本发明为弱纹理内窥镜图像特征匹配、手术工具识别和定位，以及内环境表面三维重建等应用提供了特征提取的新思路。解决了当前弱纹理内窥镜图像特征点稀少，弱纹理区域与强纹理区域特征点密度存在较大差异的问题。
[0070]
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。