一种光纤图像恢复方法及其系统与流程

1.本发明属于光纤传像技术领域，具体涉及一种光纤图像恢复方法及其系统。


背景技术：

2.图像噪声从统计理论观点可以分为平稳噪声和非平稳噪声两种。在实际应用中，这两种噪声可以理解为：其统计特性不随时间变化的噪声，称之为平稳噪声，适合做时域多帧降噪；其统计特性随时间变化而变化的噪声，称之为非平稳噪声，适合在单帧内做空域降噪。
3.光纤与光纤之间存在间隙(即死区)，传统光纤图像恢复仅用邻域像素来恢复死区，然后直接做3d降噪，但由于恢复后图像并非真实场景，为此我们提出一种光纤图像恢复方法及其系统。


技术实现要素：

4.本发明的目的在于提供一种光纤图像恢复方法及其系统，以解决上述背景技术中提出的问题。
5.为了实现上述目的，本发明采用了如下技术方案：一种光纤图像恢复方法，包括如下步骤：
6.a、将捕获到的视频流存储到外部sdram，并从sdram读出图像，经显示驱动模块在显示器上显示，最后通过查看显示器的图像将阵列光纤组成的光纤束调整到清晰对焦位置并固定，实现校准；
7.b、对光纤束打高强度平行光，提取视频流中的y亮度分量通过二值化模块进行二值化处理，然后对二值图像通过二值腐蚀模块和二值膨胀模块进行腐蚀膨胀处理，得到光纤图像死区模板，由flash控制模块存入外部flash，实现死区获取；
8.c、死区模板缓存模块从外部flash读取光纤图像死区模板并存在fpga内部bram中，视频格式转换模块对视频流格式转换，死区恢复模块采用模板分别对r、g、b三个通道的图像以及光纤死区图像进行从左到右、自上而下滑动处理，得到恢复死区后的图像；
9.d、3d降噪算法将图像分成多个块，且每个光纤分别与相应的块对应，采用光纤有效区域的sad计算运动强度，进而实现降噪；
10.e、采用前后帧之间光纤有效块sad的计算，决定采用多帧降噪或2d滤波合成图像，计算的公式如下；
[0011][0012]
f、边缘锐化模块和对比度增强模块对图像进行边缘锐化和对比度增强处理，并将得到的目标图像通过sdram控制模块存入外部sdram，最后从sdram读出图像，经显示驱动模
块在显示器上显示。
[0013]
进一步地，步骤e中，b
k
‑1，b
k
，b
k 1
分别为前一帧、当前帧以及后一帧，w为图像运算的权重。
[0014]
进一步地，当运动强度小于t时进行时域滤波，反之则进行空域滤波。
[0015]
进一步地，步骤b之前，需要摄像头参数配置模块对摄像头的参数寄存器进行配置，由视频捕获模块进行捕获画面，并通过摄像头输出1280*720@60hz yuv422的视频流。
[0016]
进一步地，步骤c中的模板具体为5*5模板。
[0017]
进一步地，步骤c中滑动处理后包括两种情况。
[0018]
进一步地，第一种情况为模板中心位置是非死区位置，则其对应的r、g、b亮度值直接作为目标亮度值。
[0019]
进一步地，第二种情况为模板中心位置为死区位置，则将模板中的非死区位置对应的r、g、b像素求均值作为目标亮度。
[0020]
进一步地，一种光纤图像恢复系统，其特征在于：包括摄像头参数配置模块、视频捕获模块、二值化模块、二值腐蚀模块、二值膨胀模块、flash控制模块、死区模板缓存模块、视频格式转换模块、死区恢复模块、边缘锐化模块、对比度增强模块、sdram控制模块以及显示驱动模块，摄像头分别与摄像头参数配置模块和视频捕获模块连接，所述视频捕获模块一路连接至二值化模块、二值腐蚀模块、二值膨胀模块、flash控制模块以及死区模板缓存模块，所述视频捕获模块另一路连接至视频格式转换模块、死区恢复模块、边缘锐化模块、对比度增强模块、sdram控制模块以及显示驱动模块
[0021]
进一步地，所述死区模板缓存模块与死区恢复模块连接。
[0022]
相比于现有技术，本发明的有益效果在于：
[0023]
本发明采用用高强度平行光照射光纤束，对其图像的灰度图进行二值化处理以及腐蚀膨胀处理，获得光纤图像死区模板，再利用光纤图像死区模板和5*5邻域恢复死区部分的图像，配合时空联合3d降噪进行图像的噪声处理，有效提升了光纤成像的信噪比。
附图说明
[0024]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
[0025]
图1为本发明的结构示意图；
[0026]
图2为本发明图像死区恢复计算示意图；
[0027]
图3为本发明光纤菱形间隔的剖视图；
[0028]
图4为本发明图像边缘锐化处理的示意图；
具体实施方式
[0029]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
[0030]
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以
特定的方位构造和操作，因此不能理解为对本发明的限制。
[0031]
参照图1
‑
图4，本发明提出的一种技术方案：一种光纤图像恢复方法，包括如下步骤：
[0032]
光纤图像恢复及显示系统有三种处理流程：校准模式、死区获取模式和死区恢复模式。系统启动后，摄像头参数配置模块对摄像头相关的寄存器进行配置，使摄像头输出1280*720@60hz的yuv422视频流，并由视频捕获模块进行捕获；
[0033]
首先，校准模式下，将捕获到的视频流存储到外部sdram，然后从sdram读出图像，经显示驱动模块在显示器上显示，最后通过观看显示器的图像将光纤束调整到清晰对焦位置并固定。
[0034]
其次，死区获取模式下，对光纤束打高强度平行光，提取视频流中的y亮度分量进行二值化处理，然后对二值图像进行腐蚀膨胀处理，得到光纤图像死区模板，由flash控制模块存入外部flash。
[0035]
然后，死区恢复模式下，从外部flash读取光纤图像死区模板并存在fpga内部bram中，将视频流yuv422转为rgb888，然后用5*5模板分别对r、g、b三个通道的图像以及光纤死区图像进行从左到右、自上而下滑动处理，如果模板中心位置是非死区位置，则其对应的r、g、b亮度值直接作为目标亮度值，如果模板中心位置为死区位置，则将模板中的非死区位置对应的r、g、b像素求均值作为目标亮度，这样就得到了恢复死区后的图像，然后对图像进行边缘锐化和对比度增强处理，并将得到的目标图像存入外部sdram，最后从sdram读出图像，经显示驱动模块在显示器上显示。
[0036]
本实施例中，一种光纤图像恢复系统，包括摄像头参数配置模块、视频捕获模块、二值化模块、二值腐蚀模块、二值膨胀模块、flash控制模块、死区模板缓存模块、视频格式转换模块、死区恢复模块、边缘锐化模块、对比度增强模块、sdram控制模块以及显示驱动模块，
[0037]
摄像头参数配置模块通过iic接口对摄像头的各种参数寄存器进行配置；
[0038]
视频捕获模块对来自摄像头的视频流进行采集；
[0039]
二值化模块将灰度图像转为二值图像；
[0040]
二值腐蚀模块去除了噪声，但目标图像会被压缩；
[0041]
二值膨胀模块对腐蚀后的图像进行膨胀处理，不但去除噪声，而且使目标图像保持原样，从而得到光纤死区模板；
[0042]
flash控制模块将光纤死区模板存入flash或从flash中读出；
[0043]
死区模板缓存模块从flash中读出的光纤死区模板存入bram；
[0044]
视频格式转换模块将yuv422转rgb888；
[0045]
边缘锐化模块使图像边缘更加锐化；
[0046]
对比度增强模块可提高图像的对比度；
[0047]
sdram控制模块：将图像存入sdram或sdram中读出；
[0048]
显示驱动模块生成相关视频时序驱动显示器。
[0049]
摄像头分别与摄像头参数配置模块和视频捕获模块连接，所述视频捕获模块一路连接至二值化模块、二值腐蚀模块、二值膨胀模块、flash控制模块以及死区模板缓存模块，所述视频捕获模块另一路连接至视频格式转换模块、死区恢复模块、边缘锐化模块、对比度
增强模块、sdram控制模块以及显示驱动模块所述死区模板缓存模块与死区恢复模块连接。
[0050]
本发明的工作原理及使用流程：
[0051]
图像二值化处理、将灰度图像转为二值图像。若目标像素亮度值p1大于等于t，则将对应的二值图像像素值p2置为1；若目标像素亮度值p1小于t，则将对应的二值图像像素值p2置为0。其中t为二值化阈值，可通过按键进行设置；
[0052][0053]
图像腐蚀处理、以目标像素为中心，取二值图像3*3领域(p1～p9)，如果该领域中存在亮度值为0即p1＆p2＆p3＆p4＆p5＆p6＆p7＆p8＆p9＝0，则目标像素的亮度值置为0；如果该领域中所有亮度值都为1即p1＆p2＆p3＆p4＆p5＆p6＆p7＆p8＆p9＝1，则将目标像素的亮度值置为1；
[0054]
图像膨胀处理、以目标像素为中心，取二值图像3*3领域(p1～p9)，如果该领域中存在亮度值为1即p1|p2|p3|p4|p5|p6|p7|p8|p9＝1，则目标像素的亮度值置为1；如果该领域中所有亮度值都为0即p1|p2|p3|p4|p5|p6|p7|p8|p9＝0，则将目标像素的亮度值置为0；
[0055]
yuv422转rgb888格式转换、yuv422格式先转yuv444格式，再转rgb888格式，yuv444转rgb888的公式如下：
[0056]
r＝1.1644*y 1.6019*v
‑
223.5521
[0057]
g＝1.1644*y
‑
0.3928*u
‑
0.8163*v 136.1381
[0058]
b＝1.1644*y 2.0253*u
‑
278.0291
[0059]
用逻辑实现公式转换时，对其进行定点化处理，对应的公式如下所示：
[0060]
r＝(1192*y 1640*v
‑
228917)＞＞10
[0061]
g＝(1192*y
‑
402*u
‑
836*v 139405)＞＞10
[0062]
b＝(1192*y 2074*u
‑
284702)＞＞10
[0063]
图像死区恢复、图像中非死区位置用原像素亮度表示，死区位置用其5*5领域中非死区位置的像素亮度均值表示。本实施例中采用5*5邻域的像素为p1～p9，5*5邻域中的死区位置用0表示、非死区位置用1表示，图像恢复计算过程如图2所示；
[0064]
时空联合3d降噪算法处理、采用了1280*720成像，以及100*100的阵列光纤，那么每个光纤近似刚刚是8*8的块，采用光纤有效区域的sad计算运动强度，可以有效减少死区的干扰，滤除低照度下噪声影响引起的sad计算错误，传统的3d降噪将图像分成8*8、16*16之类的块，通过相邻帧之间的sad(差值的平方和)去判断运动强度，由于光线成像的专用性，天然的将图像分成了棱形的块，每个块中间有光纤间隙相隔，如图3所示；
[0065]
最后，通过前后帧之间光纤有效块sad的计算，决定采用多帧降噪，还是2d滤波，相关的公式如下所示；
[0066][0067]
b
k
‑1，b
k
，b
k 1
分别为前一帧、当前帧、后一帧，w图像运算的权重。当运动强度小于t时进行时域滤波，反之则进行空域滤波。假设w＝0.5，在运动较小时，针对匹配块的像素进
行运算，则取上一阵的0.25权重，当前帧的0.5权重，下一帧的0.25权重。当运动强度大时不进行空域滤波；
[0068]
然后采用拉普拉斯锐化算法对图像进行处理，如图4所示；
[0069]
再进行图像对比度增强处理，提高图像的对比度，即让图像暗的更暗、亮的亮度，对应的公式如下所示；
[0070][0071]
采用查表的方式实现电路设计，即提前计算好x为0～255时对应的y，并存于rom中。
[0072]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。