一种基于FPGA的双光谱相机的制作方法

一种基于fpga的双光谱相机
技术领域
1.本技术属于红外光电及应用光学技术领域，具体涉及一种基于fpga的双光谱相机。


背景技术：

2.论文《高清高速cmos相机系统设计》所提出设计的高清高速相机系统是基于美国alexima公司所研发的一款高性能cmos图像传感器am41v4，在此基础上，使用xilinx公司的virtex-6型fpga作为系统的控制核心，ddr3动态存储器作为成像暂存器，配合dvi显示接口进行图像抽帧显示，采用camera link接口作为系统相机接口来进行图像数据传输。该论文所提方案主要基于fpga(field-programmable gate array，即现场可编程门阵列)上实现高分辨率的图像数据采集，并没有实现高速红外的采集以及后期红外和可见光的图像处理部分。
3.论文《红外热成像系统实现及其图像增强技术研究》针对图像的非均匀性、盲元及图像模糊问题，设计红外热成像系统的实现方案，并实现了其中的图像细节增强算法。但是该方案并未实施高速高帧率的方案。
4.公开号为cn109951617a的专利《一种基于fpga的双光谱高速相机》，介绍了一种基于fpga的双光谱高速相机，本包括：红外传感器、可见光传感器、由i2c接口实现的串行通信主从机接口、图像处理装置和图像实时显示装置。利用i2c接口工作时序来写cmos传感器内部的寄存器，并控制cmos传感器的曝光、自动白平衡开启关闭、帧率和/或分辨率。基于红外的高感光特性cmos传感器提高成像速度实现高帧率高速；利用cmos传感器采用全局曝光模式，实现对高速物体移动的拍摄不会有畸变的影响。前述双光谱相机采用了可见光cmos和红外cmos两个芯片，红外芯片器件成本较高，且fpga需要同时处理两个图像，运行复杂。


技术实现要素：

5.本技术的目的在于提供一种基于fpga的双光谱相机，提高了红外照明的图像质量，降低了图像处理复杂度。
6.为实现上述目的，本技术所采取的技术方案为：
7.一种基于fpga的双光谱相机，所述基于fpga的双光谱相机包括超星光级夜视全彩传感器，红外截止滤光片切换模块，sccb接口，红外照明装置和图像处理装置，其中：
8.所述红外照明装置，用于在图像处理装置的驱动控制下实现近红外光的照明，以供双光谱相机在微弱光照条件下的红外曝光；
9.所述红外截止滤光片切换模块，用于在图像处理装置的驱动控制下切换进入所述超星光级夜视全彩传感器的光为可见光或红外光；
10.所述超星光级夜视全彩传感器，基于sccb接口接收图像处理装置的驱动控制，实现对可见光的光电转换和红外光的光电转换以获得图像数据；
11.所述图像处理装置，基于fpga实现，用于对超星光级夜视全彩传感器、红外截止滤
光片切换模块和外照明装置进行驱动控制，并接收超星光级夜视全彩传感器输出的图像数据。
12.以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。
13.作为优选，所述超星光级夜视全彩传感器为cmos图像传感器，采用全局曝光型的cmos快门模式，且其所对应的红外照明装置为全局flash型曝光方式。
14.作为优选，所述红外照明装置包括驱动器、激光器和折射光学元件；
15.所述驱动器，接收图像处理装置输出的驱动脉冲以控制激光器工作；
16.所述激光器，在所述驱动器的驱动下发射激光，激光经过折射光学元件后投射出，所述投射区域为矩形窗，且所述矩形窗的区域和cmos快门的镜头感光区域一致。
17.作为优选，所述超星光级夜视全彩传感器为cmos图像传感器，采用卷帘曝光型的cmos快门模式，且其所对应的红外照明装置为一维线扫型曝光方式。
18.作为优选，所述红外照明装置包括驱动器、激光器、扫描反射镜和折射光学元件；
19.所述驱动器，接收图像处理装置输出的驱动脉冲以控制激光器工作；
20.所述激光器，在所述驱动器的驱动下发射激光，激光先经过扫描反射镜后经过折射光学元件后呈线性光斑输出，所述扫描反射镜的振镜频率和卷帘曝光的时间相对应。
21.作为优选，所述扫描反射镜的振镜频率和卷帘曝光的时间相对应，包括：
22.所述扫描反射镜的步进时间与卷帘曝光的cmos逐行曝光时间一致。
23.作为优选，所述图像处理装置利用i2c接口控制所述扫描反射镜。
24.作为优选，所述红外截止滤光片切换模块包括滤光片切换器、红外截止滤光片和全透光玻璃片；
25.所述全透光玻璃片的厚度为l1，所述红外截止滤光片的厚度为l2，所述可见光通过全透光玻璃片的焦距长度为f1，所述红外光经过红外截止滤光片后的焦距长度为f2，则有l1 f1＝l2 f2。
26.本技术提供的一种基于fpga的双光谱相机，仅使用单片的超星光级夜视全彩传感器实现了双光谱的输出；使用了红外照明装置，增加了红外照明的图像质量；使用一维扫描红外照明装置，降低了红外照明装置的功率要求。
附图说明
27.图1为本技术的一种基于fpga的双光谱相机的采用全局曝光型的cmos快门模式的结构示意图；
28.图2为本技术的一种基于fpga的双光谱相机的采用卷帘曝光型的cmos快门模式的结构示意图。
具体实施方式
29.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实
施例，都属于本技术保护的范围。
30.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本技术。
31.实施例1，如图1所示，提供一种基于fpga的双光谱相机，包括超星光级夜视全彩传感器，红外截止滤光片切换模块，sccb接口，红外照明装置和图像处理装置。
32.红外照明装置，用于在图像处理装置的驱动控制下实现近红外光的照明，以供双光谱相机在微弱光照条件下的红外曝光。
33.红外截止滤光片切换模块，用于在图像处理装置的驱动控制下切换进入所述超星光级夜视全彩传感器的光为可见光或红外光。
34.超星光级夜视全彩传感器，基于sccb接口接收图像处理装置的驱动控制，实现对可见光的光电转换和红外光的光电转换以获得图像数据，并将图像数据上传至图像处理装置。
35.图像处理装置，基于fpga实现，用于对超星光级夜视全彩传感器、红外截止滤光片切换模块和外照明装置进行驱动控制，并接收超星光级夜视全彩传感器输出的图像数据。
36.本实施例中的双光谱相机仅使用单片超星光级夜视全彩传感器即完成了双光谱输出，从结构上极大程度的降低了相机的复杂度以及制造成本。并且利用红外照明装置有效提高红外获取图像质量。
37.本实施例中超星光级夜视全彩传感器为cmos图像传感器，由sccb接口实现的串行通信主丛机接口，即超星光级夜视全彩传感器由fpga通过sccb接口进行配置，包括利用sccb接口工作时序来写cmos传感器内部的寄存器，并控制cmos传感器的曝光、自动白平衡开启关闭、帧率、分辨率
38.并且fpga内部配置有图像数据获取模块、图像数据实时处理模块和图像数据压缩模块。图像数据获取模块通过mipi接口(mobile industry processor interface，移动行业处理器接口)获取cmos图像传感器输出的图像数据，并通过图像数据实时处理模块进行处理，这里的处理可以是滤波、缩放、剪裁等图像处理手段，根据实际需求进行配置即可，本实施例中不进行限制。
39.并在图像数据处理后通过图像数据压缩模块对图像数据进行压缩，以便于进行数据的快速传输，后将压缩的图像数据通过以太网上传至上位机供展示分析使用。需要说明的是，本实施例中基于fpga实现的各类驱动，图像处理、压缩等采用现有技术实现，不作为本技术的重点，不进行相关限制。
40.为了实现单片超星光级夜视全彩传感器的双光谱输出，本实施例中设置了切换可见光和红外光的红外截止滤光片切换模块。本实施例的红外截止滤光片切换模块包括滤光片切换器、红外截止滤光片和全透光玻璃片。
41.由图像处理装置驱动控制滤光片切换器，由滤光片切换器完成对红外截止滤光片的切换，且截止波段为近红外波段，可选的808nm、850nm、905nm、940nm。使用滤波器切换器切换红外截止滤波片，可以实现单片超星光级夜视全彩传感器分别工作在可见光和近红外光。本实施例中滤光片切换器主要用于切换滤光片，在实现功能的前提下不对其结构进行限制。
42.为了保证双光谱图像的质量，本实施例中取全透光玻璃片的厚度为l1，所述红外截止滤光片的厚度为l2，所述可见光通过全透光玻璃片的焦距长度为f1，所述红外光经过红外截止滤光片后的焦距长度为f2，则有l1 f1＝l2 f2。
43.本实施例中的cmos图像传感器采用全局曝光型的cmos快门模式，且其所对应的红外照明装置为全局flash型曝光方式。在该方式下红外照明装置包括驱动器、激光器和折射光学元件。
44.其中驱动器，接收图像处理装置输出的驱动脉冲以控制激光器工作。
45.激光器，在驱动器的驱动下发射激光，激光经过折射光学元件后投射出，投射区域为矩形窗，且矩形窗的区域和cmos快门的镜头感光区域一致。
46.本实施例中fpga配置有激光器驱动控制模块，该模块利用gpio口控制红外照明装置的开和关。本实施例中的折射光学元件为光学分束器。
47.实施例2，如图2所示，提供一种基于fpga的双光谱相机，本实施例的双光谱相机与实施例1中的双光谱相机的区别在于，本实施例中的双光谱相机采用卷帘曝光型的cmos快门模式，且其所对应的红外照明装置为一维线扫型曝光方式。
48.在一维线扫型曝光方式下，红外照明装置包括驱动器、激光器、扫描反射镜和折射光学元件。
49.驱动器，接收图像处理装置输出的驱动脉冲以控制激光器工作。
50.激光器，在所述驱动器的驱动下发射激光，激光先经过(一维)扫描反射镜后经过折射光学元件(光学分束器)后呈线性光斑输出，所述扫描反射镜的振镜频率和卷帘曝光的时间相对应。
51.本实施例中扫描反射镜的步进时间与卷帘曝光的cmos逐行曝光时间一致。即扫描反射镜的扫描步进步长和卷帘曝光摄像头的逐行曝光时间一致，以使得每一行的红外照明曝光时长一致。本实施例使用一维扫描反射镜与图像传感器的逐行扫描匹配，实现了逐行红外曝光。
52.并且为了便于控制，图像处理装置利用i2c接口控制扫描反射镜，包括扫描反射镜的旋转速度、步进速度等。
53.本实施例中的双光谱相机的其他结构与实施例1中的双光谱相机一致，这里就不再进行赘述。
54.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
55.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。