一种基于高光感知的FPGA内窥图像自适应增强系统及方法

摘要: 本发明涉及fpga实时图像处理和内窥图像增强,特别是一种基于高光感知的fpga内窥图像自适应增强系统及方法。背景技术:1、内窥图像增强在医学观察和辅助诊断场景中...
一种基于高光感知的FPGA内窥图像自适应增强系统及方法

本发明涉及fpga实时图像处理和内窥图像增强,特别是一种基于高光感知的fpga内窥图像自适应增强系统及方法。

背景技术:

1、内窥图像增强在医学观察和辅助诊断场景中具有重要应用价值。由于内窥成像通常依赖近距离照明,人体腔道内部组织表面又具有湿润、光滑和不规则反射等特点,内窥图像中容易出现强反光区域和局部过曝区域。该类区域会遮挡组织纹理和疑似病灶区域细节,影响图像观察效果。

2、目前内窥图像增强方法主要包括两类:

3、1、通过软件算法对内窥图像进行亮度调节、白平衡校正、颜色增强或高光修复。这类方法处理灵活,但部分算法计算复杂度较高,对处理器算力和存储资源要求较大,难以满足fpga内窥视频低延时、连续输出的实时处理需求。

4、2、通过fpga图像处理流水线对内窥视频进行裁剪、格式转换、白平衡、降噪、颜色增强和视频输出。这类方法实时性较好,但各图像处理模块通常相对独立,缺少针对强反光区域的统一感知结果和协同控制机制。

5、同时,在未对高光区域进行有效识别和剔除的情况下,强反光像素容易参与自动曝光和自动白平衡统计,导致曝光调节不稳定、白平衡增益偏移或颜色显示失真。

6、因此,目前仍需要一种适用于fpga实时流水线的内窥图像增强系统及方法,能够对强反光区域进行感知和标记,并将高光感知结果用于消光、自动曝光、自动白平衡和颜色增强的协同控制。

7、需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、发明目的:本发明所要解决的技术问题是针对现有fpga内窥图像处理系统中,强反光区域和局部过曝区域容易遮挡组织纹理及疑似病灶区域细节,并且容易干扰自动曝光和自动白平衡统计的问题,提供一种基于高光感知的fpga内窥图像自适应增强系统及方法。

2、为了解决上述技术问题,本发明的第一方面公开了一种基于高光感知的fpga内窥图像自适应增强系统,包括:

3、图像采集模块,用于接收内窥摄像头输出的原始图像数据,并生成与fpga图像处理流水线同步的有效像素流;

4、图像预处理模块,用于对所述有效像素流进行图像裁剪、数据格式转换、基础白平衡、同步信号对齐以及疑似病灶区域的缩放显示处理,得到预处理后的内窥图像数据;

5、高光感知模块,用于根据所述预处理后的内窥图像数据提取与强反光相关的亮度特征和颜色特征,计算像素的高光置信度,并根据所述高光置信度生成高光等级、高光掩膜和有效像素掩膜;

6、自适应增强处理模块,用于根据所述高光等级、高光掩膜和有效像素掩膜,对内窥图像进行消光、自动曝光、自动白平衡和颜色增强协同处理;

7、参数控制模块,用于根据高光比例、平均亮度、颜色偏差信息和有效像素统计结果,动态配置高光检测、消光处理、自动曝光、自动白平衡、颜色增强和缩放显示中的至少一种工作参数;

8、视频输出模块,用于将自适应增强处理后的内窥图像数据转换为显示接口所需的视频信号,并输出增强后的内窥视频流。

9、进一步的,所述图像采集模块包括图像传感器接口、视频时序解析单元和像素流同步单元;所述图像传感器接口用于接收内窥摄像头输出的原始图像数据;所述视频时序解析单元用于解析所述原始图像数据对应的行同步信号、场同步信号和数据有效信号;所述像素流同步单元用于将原始图像数据与对应的视频时序信号进行对齐,生成能够在fpga图像处理流水线中逐像素传输和处理的有效像素流。

10、进一步的,所述图像预处理模块包括裁剪单元、数据格式转换单元、基础白平衡单元、同步信号对齐单元和感兴趣区域缩放单元;所述裁剪单元用于去除无效边界区域或选取目标显示区域;所述数据格式转换单元用于将原始图像数据转换为后级处理所需的rgb图像数据;所述基础白平衡单元用于对rgb图像数据中的红色通道、绿色通道和蓝色通道进行基础增益校正;所述同步信号对齐单元用于对各级图像处理后的行同步信号、场同步信号和数据有效信号进行延迟匹配;所述感兴趣区域缩放单元用于对疑似病灶区域或局部组织细节区域进行放大显示,以增强局部纹理和边缘细节的可观察性。

11、进一步的,所述高光感知模块包括亮度特征计算单元、颜色特征计算单元、高光置信度计算单元和掩膜生成单元;所述亮度特征计算单元用于根据rgb图像数据计算像素亮度分量;所述颜色特征计算单元用于计算像素的最小颜色通道分量和颜色通道差异分量;所述高光置信度计算单元用于根据所述亮度分量、最小颜色通道分量和颜色通道差异分量计算像素属于强反光区域的可能程度;所述掩膜生成单元用于根据所述高光置信度生成高光等级、高光掩膜和有效像素掩膜。

12、具体的,设当前像素的红色通道值、绿色通道值和蓝色通道值分别为r、g、b,则所述亮度分量y、最小颜色通道分量d和颜色通道差异分量c分别满足:

13、

14、式中,y为亮度分量,用于反映当前像素的整体明亮程度;d为最小颜色通道分量,用于判断当前像素的红色通道、绿色通道和蓝色通道是否同时接近高亮状态;c为颜色通道差异分量,用于反映当前像素的颜色差异程度。

15、具体的,所述高光置信度计算单元根据亮度超出量、最小颜色通道超出量和颜色通道差异惩罚量计算高光置信度s。所述亮度超出量sy、最小颜色通道超出量sd、颜色通道差异惩罚量sc和高光置信度s分别满足:

16、

17、式中,ty为亮度阈值,td为最小颜色通道阈值,tc为颜色通道差异阈值;w1、w2、w3为权重系数。亮度分量y越高、最小颜色通道分量d越高,当前像素越可能属于强反光区域;颜色通道差异分量c越大,当前像素越可能属于具有明显颜色特征的正常组织区域,因此在高光置信度计算中对颜色通道差异进行惩罚。

18、进一步的,所述掩膜生成单元根据高光置信度s和高光等级判定阈值,将内窥图像区域划分为正常有效区域、半影过渡区域和核心高光区域。其中,正常有效区域为未被强反光明显影响的组织区域;半影过渡区域为位于核心高光区域周围且受反光影响的边缘区域;核心高光区域为亮度较高、颜色通道接近饱和且组织纹理被明显遮挡的强反光区域。所述高光掩膜用于标记半影过渡区域和核心高光区域,并提供给消光处理使用;所述有效像素掩膜用于标记正常有效区域,并提供给自动曝光统计和自动白平衡统计使用。

19、进一步的,所述自适应增强处理模块包括消光处理单元、自动曝光统计单元、自动白平衡统计单元和颜色增强单元;所述消光处理单元用于根据高光掩膜和高光等级对核心高光区域和半影过渡区域进行不同强度的反光抑制;所述自动曝光统计单元用于根据有效像素掩膜仅对正常有效区域进行亮度统计,以减少强反光区域对曝光调节结果的影响;所述自动白平衡统计单元用于根据有效像素掩膜仅对正常有效区域进行颜色通道统计,以减少强反光区域对白平衡增益的影响;所述颜色增强单元用于根据高光掩膜、有效像素掩膜以及参数控制模块输出的颜色增强参数调节图像颜色增强强度。

20、具体的,所述消光处理单元包括局部窗口缓存子单元、方向特征计算子单元、有效邻域统计子单元、颜色补偿子单元和融合输出子单元;所述局部窗口缓存子单元用于缓存当前像素周围邻域内的rgb像素数据和高光掩膜数据;所述方向特征计算子单元用于计算不同方向上的亮度或颜色变化;所述有效邻域统计子单元用于统计不同方向上的非高光像素数量;所述颜色补偿子单元用于选取变化较平缓且非高光像素数量较多的方向生成补偿像素值;所述融合输出子单元用于根据高光等级将原始像素值与补偿像素值进行融合,得到消光后的像素值。

21、进一步的,所述参数控制模块包括图像状态统计单元、参数生成单元、寄存器配置单元和帧同步更新单元;所述图像状态统计单元用于统计高光比例、平均亮度、颜色偏差信息和有效像素统计结果;所述参数生成单元用于根据所述高光比例、平均亮度、颜色偏差信息和有效像素统计结果,生成高光检测阈值、高光等级判定阈值、消光融合权重、自动曝光目标亮度、自动白平衡增益、颜色增强系数和感兴趣区域缩放参数中的至少一种;所述寄存器配置单元用于将生成的工作参数写入对应图像处理模块的参数寄存器;所述帧同步更新单元用于在帧同步时刻更新所述工作参数,以避免同一帧图像处理过程中参数突变导致显示异常。

22、进一步的,所述视频输出模块包括输出时序生成单元、像素数据缓存单元和显示接口适配单元;所述输出时序生成单元用于生成与显示接口匹配的行同步信号、场同步信号和数据有效信号;所述像素数据缓存单元用于缓存自 适应增强处理后的内窥图像数据,并进行像素流时序匹配;所述显示接口适配单元用于将增强后的内窥图像数据输出为hdmi视频流、rgb并行视频流或其他显示接口所需的视频信号。

23、本发明的第二方面公开了一种基于高光感知的fpga内窥图像自适应增强方法,采用上述系统实施。该方法包括:

24、步骤1,接收内窥摄像头输出的原始图像数据,并生成与fpga图像处理流水线同步的有效像素流;

25、步骤2,对所述有效像素流进行图像裁剪、数据格式转换、基础白平衡、同步信号对齐以及疑似病灶区域的缩放显示处理,得到预处理后的内窥图像数据;

26、步骤3,根据所述预处理后的内窥图像数据计算亮度分量、最小颜色通道分量和颜色通道差异分量,并根据所述亮度分量、最小颜色通道分量和颜色通道差异分量计算高光置信度;

27、步骤4,根据所述高光置信度生成高光等级、高光掩膜和有效像素掩膜;

28、步骤5,根据所述高光掩膜和高光等级对强反光区域进行消光处理,并根据所述有效像素掩膜对正常有效区域进行自动曝光统计和自动白平衡统计;

29、步骤6,根据高光比例、平均亮度、颜色偏差信息和有效像素统计结果动态配置各图像处理模块的工作参数;

30、步骤7,输出增强后的内窥视频流。

31、有益效果:

32、本发明提出的一种基于高光感知的fpga内窥图像自适应增强系统及方法,通过高光感知模块对内窥图像中的强反光区域进行识别,生成高光等级、高光掩膜和有效像素掩膜,并将其分别用于消光、自动曝光、自动白平衡和颜色增强处理,实现了强反光区域感知与多图像处理模块之间的协同控制。

33、与现有技术相比,本发明至少具有以下有益效果:

34、1、本发明通过亮度特征和颜色特征共同判断内窥图像中的强反光区域,能够减少仅依据亮度阈值进行高光判断时产生的误检,提高强反光区域识别的准确性;

35、2、本发明通过高光等级将图像区域划分为正常有效区域、半影过渡区域和核心高光区域,并根据不同区域采用不同处理方式,能够提高消光处理的针对性,减少对正常组织区域的过度处理;

36、3、本发明通过有效像素掩膜使自动曝光统计和自动白平衡统计仅针对正常有效区域进行,能够减少强反光区域对曝光调节和白平衡增益的干扰,提高内窥视频显示稳定性;

37、4、本发明通过参数控制模块根据高光比例、平均亮度、颜色偏差信息和有效像素统计结果动态配置各图像处理模块的工作参数,能够提高不同照明条件和不同组织成像情况下的图像增强适应性;

38、5、本发明采用适合fpga硬件流水线实现的图像特征计算、掩膜生成、分级消光和参数控制方式,能够满足内窥视频低延时、连续输出和实时显示的应用需求。