滑窗式高清彩色相机

1.本发明涉及光电成像技术领域，特别涉及一种滑窗式高清彩色相机。


背景技术：

2.航空光电吊舱是航空遥感成像测量的重要设备，光电吊舱一般包含可见光载荷、红外载荷和激光测距载荷，通过多载荷协同成像实现对空、地目标的搜索、监测、跟踪和测量。不同光电载荷的光轴指向需要完全一致才能保证对目标的稳定跟踪与精确测量。
3.传统的光轴标较方式是通过调整吊舱框架和载荷的机械结构，使多载荷的光轴指向一致，但由于加工精度和设计工差等问题，三个以上的载荷的光轴标较往往需要不断的迭代装调和结构修整，有时甚至需要经常拆装探测器，是影响光电吊舱集成的不利因素。
4.光电吊舱在进行目标跟踪时，载机的振动和目标的移动都会导致图像中目标抖动或丢失，成像质量下降。目前一般是通过伺服稳定和电子稳像等后处理手段进行一定的补偿，但并不能完全消除这种干扰，仍然会对后续的图像处理和侦察测量带来不利影响。


技术实现要素：

5.本发明为解决上述问题，提供一种新型滑窗式高清彩色相机。
6.为实现上述目的，本发明采用以下具体技术方案：
7.提供一种滑窗式高清彩色相机，所述滑窗式高清彩色相机包括：供电模块、探测器、fpga控制器、存储器、图像接口芯片以及通信接口芯片；
8.所述供电模块用于为所述探测器、所述fpga控制器、所述存储器、所述图像接口芯片以及所述通信接口芯片供电；
9.所述探测器用于接收所述fpga控制器输出的驱动控制信号和寄存器配置信号，并输出光电转换后的低压差分信号图像数据；
10.所述fpga控制器用于为所述探测器提供驱动控制信号，配置所述探测器的工作参数，接收并处理所述探测器输出的低压差分信号图像数据，进行图像接收、图像缓存、滑窗控制、色彩还原和白平衡、图像增强、图像输出、自动调光控制、图像清晰度计算以及图像控制；
11.所述fpga控制器通过所述通信接口芯片与控制端进行通信；
12.所述图像接口芯片用于将所述fpga控制器输出的图像数据转换为cameralink标准电平信号进行传输；
13.所述通信接口芯片用于将所述fpga控制器输入和输出的串口通信数据转换为rs422标准电平信号进行传输。
14.优选的，所述fpga控制器包括探测器驱动控制模块、图像数据接收处理模块、图像缓存模块、滑窗控制模块、色彩还原和白平衡模块、图像增强模块、图像输出模块、自动调光控制模块、图像清晰度计算模块以及系统控制模块。
15.优选的，所述探测器驱动控制模块用生成所述探测器工作所需的控制信号，根据
控制端配置的工作模式对所述探测器进行spi寄存器配置，并产生同步曝光控制信号。
16.优选的，所述图像数据接收处理模块用于对所述探测器输出的低压差分信号图像数据进行自适应位对齐、字对齐，完成数据校正训练；并将完成数据校正训练后的图像数据缓存至所述图像缓存模块中。
17.优选的，所述图像缓存模块用于将缓存的图像数据读出并转存至所述存储器中。
18.优选的，所述图像输出模块用于实现视频输出。
19.优选的，所述滑窗控制模块用于读取图像数据，根据控制端要求的光轴指向偏移像素数计算出待输出图像数据的起始行和起始列数，将有效图像区域内的图像数据进行有效标记，在经过所述色彩还原和白平衡模块时，仅针对有效标记的图像数据进行处理和输出。
20.优选的，所述色彩还原和白平衡模块用于对有效标记的图像数据进行色彩还原和白平衡处理；所述图像增强模块用于对有效标记的图像数据进行图像增强处理。
21.优选的，所述自动调光控制模块用于对所述图像增强模块输出的y通道亮度数据进行累加，求取平均亮度值，并与所述系统控制模块设定的目标亮度值进行比较，根据亮度差值大小对所述探测器进行自适应调整，实现自动调光控制。
22.优选的，所述图像清晰度计算模块用于对图像增强模块输出的y通道数据进行缓存，用于控制端的自动调焦功能。
23.优选的，所述系统控制模块用于构建串口通信驱动模块，通过所述串口通信驱动模块接收控制端的控制指令和参数，并将所述滑窗式彩色高清相机的工作状态参数发送所述控制端使用，实现对所述滑窗式彩色高清相机的相机控制和参数回报。
24.本发明所提供的一种滑窗式彩色高清相机，在满足光电吊舱可见光载荷成像的基础上，可以根据指令在探测器像面范围内进行像素级精密滑窗，同时输出图像分辨率不受影响，使得输出图像的中心即光轴指向能够进行像素级偏移，大大降低了多载荷光轴标较的难度和工作量。同时电子滑窗功能可以作为伺服机构进行视轴稳定控制的最后一级辅助手段，在不影响成像质量的条件下提高稳定精度，实现电子稳像。
附图说明
25.图1是本发明一种实施例中滑窗式彩色高清相机的硬件结构框图。
26.图2是本发明一种实施例中滑窗式彩色高清相机的fpga控制器的模块框图。
27.图3(a)是本发明一种实施例中滑窗式彩色高清相机在滑窗前默认情况下探测器输出图像区域示意图。
28.图3(b)是本发明一种实施例中滑窗式彩色高清相机在滑窗后的探测器示输出图像区域与滑窗前默认情况下输出图像区域对比示意图。
29.图4是本发明一种实施例中滑窗式彩色高清相机的工作流程图。
30.附图标记：
31.供电模块101、探测器102、fpga控制器103、存储器104、图像接口芯片105、通信接口芯片106、探测器驱动控制模块201、图像数据接收处理模块202、图像缓存模块203、滑窗控制模块204、色彩还原和白平衡模块205、图像增强模块206、图像输出模块207、自动调光控制模块208、图像清晰度计算模块209、系统控制模块210。
具体实施方式
32.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。
33.如图1所示，为本发明一种实施例提供的滑窗式彩色高清相机，该实施例的滑窗式彩色高清相机包括供电模块101、探测器102、fpga控制器103、存储器104、图像接口芯片105以及通信接口芯片106。本发明所提供的滑窗式彩色高清相机具备电子滑窗、自动调光、色彩还原、白平衡、图像增强、图像输出、自动调光和清晰度计算等功能。
34.具体实施方式中，所述供电模块101用于为所述探测器102、所述fpga控制器103、所述存储器104、所述图像接口芯片105以及所述通信接口芯片106供电；具体的实施方式中，所述供电模块101将外界输入的9～36v电源转换为fpga控制器103最小系统和探测器102所需的电压，所述探测器102、所述fpga控制器103、所述存储器104、所述图像接口芯片105以及所述通信接口芯片106供电。
35.所述存储器104用于进行图像缓存，可以为目前工业相机中相对常用的各种存储器芯片，例如ddr3等，具体可根据相机的具体需求进行更换和替换。
36.所述探测器102用于接收所述fpga控制器103输出的驱动控制信号和寄存器配置信号，并输出光电转换后的低压差分信号图像数据；具体的，探测器102可以为任意一种光电成像探测器，只要相机输出图像分辨率需求比探测器102原始分辨率低即可；具体实施方式中，探测器102可采用长光辰芯公司的gmax2505彩色可见光探测器。
37.所述fpga控制器103作为数据处理和主控制器，主要用于为所述探测器102提供驱动控制信号，配置寄存器，接收并处理所述探测器102输出的低压差分信号图像数据，进行图像接收、图像缓存、滑窗控制、色彩还原和白平衡、图像增强、图像输出、自动调光控制、图像清晰度计算以及系统控制。
38.如图2所示，为本发明一种实施例中滑窗式彩色高清相机的fpga控制器的模块框图。从图中可以看出，所述fpga控制器103内部包括探测器驱动控制模块201、图像数据接收处理模块202、图像缓存模块203、滑窗控制模块204、色彩还原和白平衡模块205、图像增强模块206、图像输出模块207、自动调光控制模块208、图像清晰度计算模块209以及系统控制模块210。
39.所述fpga控制器103通过所述通信接口芯片106与控制端进行通信；所述通信接口芯片106用于将所述fpga控制器103输入和输出的串口通信数据转换为rs422标准电平信号进行传输。具体实施方式中，通信接口芯片106也可以根据控制需求选择类似功能的各种接口芯片，例如max3490、max3232、ds90lv049等。
40.所述图像接口芯片105用于将所述fpga控制器103输出的图像数据转换为cameralink标准电平信号进行传输；具体实施方式中，图像接口芯片105可以根据滑窗式彩色高清相机输出视频接口要求进行选择替换，例如采用sdi专用接口芯片或usb3.0及千兆或万兆网接口芯片等等；优选实施方式中，图像接口芯片105可以为ds90cr287图像接口芯片。
41.如图2所示，本发明实施例中提供的滑窗式彩色高清相机，在所述fpga控制器103中，图像数据接收处理模块202与图像缓存模块203采用异步fifo进行数据连接，图像缓存
模块203与滑窗控制模块204采用异步fifo进行数据连接，滑窗控制模块204、色彩还原和白平衡模块205、图像增强模块206、图像输出模块207、自动调光控制模块208、图像清晰度计算模块209之间传输的图像数据皆采用并行数据接口信号进行连接。
42.具体实施方式中，gmax2505探测器102接收fpga控制器103输出的驱动控制信号和寄存器配置信号，并输出光电转换后的低压差分信号(low-voltage differential signaling,lvds)图像数据。fpga控制器103为gmax2505探测器102提供驱动控制信号、根据工作模式和参数配置其寄存器，接收并处理其输出的lvds图像数据，进行图像接收、图像缓存、滑窗控制、色彩还原和白平衡、图像增强，最后按照cameralink标准协议通过ds90cr287图像接口芯片105输出1920
×
1080@30fps的视频流，同时实时统计输出图像的清晰度和平均亮度信息，用于基于图像的自动调焦控制和自动调光控制，构建串口通信模块通过max3490通信接口芯片106与控制端进行通信，接收相机控制指令并反馈相机工作状态参数。max3490通信接口芯片106将fpga控制器103输入和输出的串口通信数据转换为rs422标准电平进行传输。
43.具体实施方式中，探测器驱动控制模块201生成探测器102正常工作所需的时钟、复位、同步等时序控制信号，同时根据控制端配置的工作模式对探测器102进行spi寄存器配置，并根据帧频、内同步或外同步模式产生同步曝光控制信号。
44.图像数据接收处理模块202通过io_delay原语对探测器102输出的多通道lvds图像数据进行自适应位对齐、字对齐，完成数据校正训练。在正常成像时，通过检测同步数据头和数据帧尾，完成整帧图像数据的准确接收，并将图像数据按行缓存至图像缓存模块中的异步fifo中。此异步fifo相当于与前后模块的数据连接。
45.图像缓存模块203将图像数据从fifo中读出转存至ddr3存储器104中，在转存过程中需要按照滑窗控制和cameralink输出格式进行数据排布调整，便于所述滑窗控制模块204进行电子滑窗控制。当图像完整缓存1帧后，按照图像输出帧频要求，将图像数据从ddr3存储器104中读出至图像输出异步fifo中，图像输出异步fifo为图像输出模块中的异步fifo，与图像缓存模块中的异步fifo具有相同的参数。
46.滑窗控制模块204从图像输出异步fifo中读取图像数据，根据控制端要求的光轴指向偏移像素数计算出待输出图像数据的起始行和起始列数，将有效图像区域内的数据附带有效标记，在进行后端色彩还原等模块时将仅针对标记有效的数据进行处理和输出。
47.结合图3(a)和图3(b)所示，图3(a)为滑窗前默认情况下探测器102输出图像区域示意图，图3(b)为滑窗后的探测器102输出图像区域与滑窗前默认情况下输出图像区域对比示意图，其中，实线区域为滑窗后的探测器102输出图像区域，虚线区域为滑窗前默认情况下探测器102输出图像区域；待所述系统控制模块210接收到控制端滑窗指令时，将所需的图像中心偏移像素数传递给滑窗控制模块204，所述滑窗控制模块204据此计算出下一帧待输出图像区域的起始行列数，在下帧图像数据输出时，从起始行列数开始标记有效，到终止行列数是标记无效，如此，后端处理模块即可只处理标记有效的1920
×
1080分辨率图像数据，完成了电子滑窗控制。
48.色彩还原和白平衡模块205对标记有效的图像数据进行3行缓存，根据探测器像素排布方式，对其输出的bayer格式数据进行3
×
3模版内的插值处理，逐像素实现bayer到rgb的色彩还原，同步统计rgb颜色分量，当整帧数据统计完毕后，利用灰度世界法计算出图像
rgb颜色分量的白平衡校正系数，在每个像素输出的rgb通道数据进行加权校正，实现白平衡处理。
49.图像增强模块206将色彩还原和白平衡后的rgb数据转换为ycbcr色域，针对y通道进行低照度增强处理，再将处理后的y通道数据与其对应的cbcr通道颜色数据进行时序匹配，实现图像增强处理。可根据实际应用需求针对图像增强处理算法进行不同的选择以适用不同的成像场景。
50.图像输出模块207根据协议要求和控制指令，将图像处理完成的ycbcr图像数据进行rgb转换或直接输出，按照cameralink标准协议传输模式生成对应时序，并进行必要的帧头、帧号和参数叠加，最终实现1920
×
1080@30fps视频输出。
51.自动调光控制模块208主要用于进行曝光控制，具体对图像增强模块206输出的y通道亮度数据进行累加，待整帧数据输出完成后求取平均亮度值，并与系统控制模块210设定的目标亮度值进行比较，根据亮度差值大小针对探测器积分时间和增益值进行自适应调整，实现自动调光控制。
52.图像清晰度计算模块209主要用于对图像增强模块206输出的y通道数据进行3行缓存，利用sobel边缘检测算法进行逐像素边缘信息统计进而计算出当前帧图像的清晰度评价信息，发送给系统控制模块经串口输出可用于控制端的自动调焦功能。
53.系统控制模块210构建串口通信驱动模块，通过串口接收相机控制端的控制指令和参数，如亮度调整和滑窗控制等；并将相机工作状态参数如平均亮度值和清晰度评价值等经串口发送给控制端供其使用，实现对所述滑窗式彩色高清相机的相机控制和参数回报。
54.图4为本发明一种实施例中滑窗式彩色高清相机的工作流程图，从图中可以看出，本发明一种实施例中滑窗式彩色高清相机的具体工作过程包括相机上电，fpga初始化配置，然后对探测器的供电控制，配置寄存器(即配置探测器的工作参数)，进行图像数据自适应对齐训练，再对探测器进行自动曝光控制，并进行数据同步头检测；若数据同步头检测通过，则进行图像数据接收、图像缓存、滑窗控制、色彩还原和白平衡以及图像增强，最终进行图像输出和图像清晰度计算等；若数据同步头检测未通过，则放弃当前输出图像数据，控制探测器重新进行曝光成像，直至数据同步头检测通过，再继续进行后续的图像数据接收、图像缓存、滑窗控制、色彩还原和白平衡、图像增强，以及最后的图像输出。图像输出后可以再进一步通过自动调光控制和图像清晰度计算来进行相机控制。
55.根据图4中所示的内容，本领域的技术人员可以清楚地了解到本发明所提供的滑窗式彩色高清相机的具体工作过程，实现本发明的滑窗式彩色高清相机的工作过程，在此不再赘述。
56.本发明实施例中提供的滑窗式彩色高清相机，在满足光电吊舱可见光载荷成像的基础上，可以根据指令在探测器像面范围内进行像素级精密滑窗，同时输出图像分辨率不受影响，使得输出图像的中心即光轴指向能够进行像素级偏移，大大降低了多载荷光轴标较的难度和工作量。同时电子滑窗功能可以作为伺服机构进行视轴稳定控制的最后一级辅助手段，在不影响成像质量的条件下提高稳定精度，实现电子稳像。
57.本发明提供的滑窗式彩色高清相机，能够输出1920
×
1989@30fps彩色图像，具备自动调光、色彩还原、白平衡、图像增强、清晰度统计等功能，且能够在探测器像面范围内进
行像素级精密滑窗，大大降低多载荷光轴标较和系统集成的难度，同时配合伺服机构能够在不损失图像分辨率的条件下实现电子稳像。
58.本发明所提供的滑窗式彩色高清相机已经研制出成品实物，并经过了实际的项目应用和试验验证，试验验证表明，通过使用本发明的滑窗式彩色高清相机，在光轴标较方面能够大大降低光机装调的工作量，并在伺服稳定机构和跟踪器的配合下，能够在不损失图像分辨率的条件下实现电子稳像。
59.在本技术所提供的实施例中，应该理解到，所揭露的相机、模块和流程，可以通过其它的方式实现。例如，以上所描述的探测器实施例仅仅是示意性的，亦可应用于功能类似的其他探测器，例如，所述功能模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征、功能可以忽略，或不执行。
60.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
61.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制。本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
62.以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。