一种全景光谱图像采集系统

1.本发明属于光谱成像信息采集技术领域，具体涉及一种全景光谱图像采集系统。


背景技术：

2.伪装技术与探测侦察技术相生相克，探测手段不断发展变化，对应的伪装技术也不断拓展延伸。现如今，探测方式已经从单一波段探测向多波段探测发展，从单元结构向阵列化发展，从单视场向可变视场发展，在灵敏度、准确度、测量距离、抗干扰能力、便捷性等方面不断提高，对伪装技术也提出了更高的要求，为适应高精度化的侦察识别技术，目标信息的获取作为伪装系统的重要前端组成，也需要从静态单一波段、单一视角提高到动态多波段、多视角、大范围，充分且准确地采集目标所处位置的环境信息是实施有效可靠伪装隐身工程的一个大前提。
3.光谱成像技术是获取目标在可见光、近红外、中波红外及长波红外等波段下暴露特征的一个重要手段，近些年来在各领域取得了一系列重要的研究与应用成果。尤其是高光谱成像技术，能够获得目标对象在较大光谱范围且较高光谱分辨率的一系列光谱图像集合，通过高光谱图像能够获得目标周围环境和目标本身在各个波段下的电磁特性信息，不仅能够提供观察目标的定性和定量分析，而且可用于检测和鉴别对象的物理结构，并确定其化学组成和相对含量，具有极大的应用价值。
4.伪装隐身工程前期探测采集周围环境信息有如下需求：首先是能够从地面、空中、移动视角、固定视角等各个方位角度连续采集目标周围环境及目标本身的光谱反射率和高光谱图像；其次是能够对从不同采集设备采集到的图像进行去噪、畸变校正等预处理；再其次是把预处理后的来自不同采集设备的光谱图像进行配准、拼接，形成广角度、大范围的全景图像；最后将其发送给本地或远程的高性能处理终端并进行后续的图像分析与解译，为伪装隐身效果分析评估以及相应的伪装方案设计生成提供关键数据信息。


技术实现要素：

5.本发明的目的在于提供能够充分、准确地采集目标周围环境及目标本身光谱图像的一种全景光谱图像采集系统。
6.一种全景光谱图像采集系统，包括光谱采集模块、数据传输模块、光谱处理模块；
7.所述光谱采集模块用于采集目标所处位置不小于9倍于目标面积的背景环境的光谱图像，并通过数据传输模块传输给光谱处理模块；
8.所述光谱处理模块包括光谱预处理模块、图像拼接模块；所述光谱预处理模块包括光谱数据读取模块、光谱图像去噪模块、光谱图像校正模块；所述光谱数据读取模块读取光谱采集模块采集到的光谱图像数据并进行归一化处理；所述光谱图像去噪模块去除光谱图像在采集过程中受到的噪声干扰影响；所述光谱图像校正模块去除光谱图像在采集过程中产生的辐射误差和几何误差；所述图像拼接模块将两幅或多幅不同角度、不同尺度的有重叠范围的图像进行配准、拼接、融合，得到成一幅大范围的全景式图像；所述图像配准、拼
接过程是对参考图像和待拼接图像中的匹配信息进行提取，在提取出的信息中寻找最佳的匹配，完成图像间的对齐；所述图像融合过程，是将拼接后的图像进行缝合，并对缝合的边界进行平滑处理，让缝合自然过渡。
9.进一步地，所述光谱采集模块包括固定采集设备和移动采集载荷；所述固定采集设备选取地物光谱仪或地面高光谱成像仪，安置于目标周围某一固定位置不可移动，采集目标本身及目标周围环境的光谱图像信息；所述移动采集载荷包括本地移动采集载荷和远端移动采集载荷；所述本地移动采集载荷选用光谱相机或光学定量测试仪，安置于目标上，跟随目标移动，实时采集目标周围不小于9倍于目标面积的背景环境的光谱图像；所述远端移动采集载荷选用高光谱成像仪，装载于可移动载具的吊舱中，用于在所需任意方位、不同距离、不同角度上采集目标周围背景环境的光谱图像信息。
10.进一步地，所述光谱处理模块包括硬件部分和软件部分；所述硬件部分包括微型计算机、数据存储模块、数据传输模块、人机交互模块；所述软件部分包括光谱预处理程序、图像拼接程序、光谱图像提取解译程序；
11.所述微型计算机用于连接数据存储模块、数据传输模块、人机交互模块，在微型计算机上可运行光谱预处理程序、图像拼接程序；所述数据传输模块由收发端的无线通信硬件设备组成，用于建立各模块间的通信连接；所述数据存储模块由存储介质组成，与微型计算机连接，存储采集平台采集到的光谱数据；所述人机交互模块包括输入模块、控制模块和处理显示输出模块，输入模块接收人为输入的控制信号，控制模块把人为输入的控制信号转换为电信号控制系统运行状态，处理显示输出模块显示所述全景光谱图像采集系统的当前运行状态信息；所述光谱图像提取解译程序用于量化表征目标及其背景的光谱特征信息，为分析评定目标及其背景之间的光谱融合效果提供依据。
12.本发明的有益效果在于：
13.本发明可应用于遥感探测、环境信息感知等领域。能够准确、完整地在任意视角范围内采集目标对象的全景光谱图像并进行快速、可靠的信息传输，解决单一传感器由于距离、视角以及分辨率等因素，不能获取大范围、多视角高分辨率光谱图像的限制，为后续的光谱分析与解译工作提供有效、可靠且充分的光谱数据来源。
附图说明
14.图1为本发明中一种全景光谱图像采集系统的系统框图。
15.图2为本发明的实施例中本地移动采集设备的采集视角俯视图。
16.图3为本发明的实施例中一种全景光谱图像采集系统的网络结构图。
17.图4为本发明的实施例中光谱处理平台组成框图。
18.图5为本发明的实施例中光谱预处理程序框图。
19.图6为本发明的实施例中光谱图像配准和拼接的程序框图。
具体实施方式
20.下面结合附图对本发明做进一步描述。
21.本发明提供了一种全景光谱图像采集系统，包括光谱采集设备载荷及平台、光谱处理平台；
22.所述光谱采集设备载荷及平台包括固定采集设备和移动采集载荷及平台；所述固定采集设备安置于目标周围某一固定位置不可移动，采集目标本身及目标周围环境的光谱图像信息，一般选取地物光谱仪或地面高光谱成像仪。所述移动采集载荷及平台包括本地移动采集和远端移动采集两种情况，本地移动采集载荷安置于目标上，跟随目标移动，实时采集目标周围不小于9倍于目标面积的背景环境的光谱图像，一般选用光谱相机或光学定量测试仪；远端移动采集载荷装载于可移动载具的吊舱中，一般选用高光谱成像仪，装载于四旋翼或六旋翼无人机上，该移动载荷可以在所需任意方位、不同距离、不同角度上采集目标周围背景环境的光谱图像信息。
23.所述光谱处理平台包括硬件部分和软件部分；其中，所述硬件部分包括微型计算机、数据存储模块、数据传输模块、人机交互模块，软件部分主要为光谱预处理程序、图像拼接程序。所述微型计算机由中央处理器、闪存、寄存器、总线和其他计算机最小系统的必要组件所构成，连接所述数据存储模块、所述数据传输模块、所述人机交互模块等外设，其上可运行光谱预处理程序、图像拼接程序。所述数据传输模块由收发端的无线通信硬件设备组成，建立系统各模块间的通信连接。所述数据存储模块由存储介质组成，与微型计算机连接，存储采集平台采集到的光谱数据。
24.所述的人机交互模块，包括输入模块、控制模块和处理显示输出模块。所述输入模块接收人为输入的控制信号。所述控制模块把人为输入的控制信号转换为电信号控制系统运行状态。所述处理显示输出模块显示所述全景光谱图像采集系统的当前运行状态信息。
25.所述光谱预处理程序包括光谱数据读取程序模块、光谱图像去噪程序模块、光谱图像校正程序模块；所述光谱预处理程序由计算机语言编写，在微型计算机中运行。所述光谱数据读取程序模块读取多个采集平台采集到的光谱图像数据并进行归一化处理。所述光谱图像去噪程序模块去除光谱图像在采集过程中受到的噪声干扰影响。所述光谱图像校正程序模块去除光谱图像在采集过程中产生的辐射误差和几何误差。所述图像拼接程序将两幅或多幅不同角度、不同尺度的有重叠范围的图像进行配准、拼接、融合，得到成一幅大范围的全景式图像。所述图像配准、拼接过程是对参考图像和待拼接图像中的匹配信息进行提取，在提取出的信息中寻找最佳的匹配，完成图像间的对齐。所述图像融合过程，是将拼接后的图像进行缝合，并对缝合的边界进行平滑处理，让缝合自然过渡。所述光谱图像提取解译程序模块量化表征目标及其背景的光谱特征信息，为分析评定目标及其背景之间的光谱融合效果提供依据。
26.光谱采集设备载荷及平台用于采集目标所处位置不小于9倍于目标面积的背景环境的全景光谱图像；数据传输模块建立光谱采集载荷与光谱处理平台之间以及光谱处理平台内部的通信连接，将采集到的光谱图像数据传输给微型计算机并存储在与微型计算机相连接的数据存储模块中；微型计算机读取数据存储模块中的光谱图像，光谱图像预处理程序进行预处理；经由预处理后的光谱图像经由图像拼接模块进行配准、拼接、融合，得到全景光谱图像；全光谱图像通过数据传输模块传输给人机交互模块的处理显示终端进行后续的光谱图像分析与解译工作。
27.与现有技术相比，本发明的有益效果是：本发明的全景光谱图像采集系统可应用于遥感探测、环境信息感知等领域。能够准确、完整地在任意视角范围内采集目标对象的全景光谱图像并进行快速、可靠的信息传输，解决单一传感器由于距离、视角以及分辨率等因
素，不能获取大范围、多视角高分辨率光谱图像的限制，为后续的光谱分析与解译工作提供有效、可靠且充分的光谱数据来源。
28.实施例1：
29.本实施例提出了一种能够在各类环境下通过多个采集平台实时采集目标本身及周围环境光谱图像的全景光谱图像采集系统，它包括采集载荷及平台和光谱处理平台两个这主要组成部分。采集载荷及平台由移动采集载荷及平台和固定采集设备组成，获取原始光谱图像。光谱处理平台包括软件部分和硬件部分，实现对所采集原始光谱图像的预处理、光谱图像的配准、光谱图像的拼接以及光谱图像数据收发。该系统实现了对目标本身及周围环境光谱图像的完整且准确地采集，对伪装隐身工程前期的环境信息采集分析工作具有重要的价值和意义。
30.一种全景光谱图像采集系统，总体上由前端的光谱图像采集载荷和后端的光谱处理平台两部分组成。光谱图像采集载荷能够根据需要获取目标当前所处位置周围环境及目标本身的光谱图像或高光谱图像数据，该环境可以是人工背景环境或者自然背景环境。人工背景环境可以是伪装隐身工程的验证性模型；自然背景环境可以是林地、草地、沙漠、戈壁等实地环境。光谱处理平台通过数据传输模块接收来自不同采集平台的光谱图像数据，并将采集到的原始数据进行存储、预处理，再经由配准、拼接，形成广角度、大范围的全景图像，最后发送到处理终端。
31.光谱图像采集平台由固定采集平台和移动采集平台组成，固定平台被安置于某一固定位置不可移动，其上安置光谱相机或地物光谱仪，光谱相机或地物光谱仪可以转动。系统工作时，固定采集平台被安置在目标周围某一确定的方位、距离处，采集目标本身及目标周围近处环境的光谱图像信息。
32.移动采集平台包括本地移动采集平台和远端移动采集平台，本地移动采集平台安置于目标上，跟随目标移动，其上载荷实时采集目标四周环境的光谱图像信息；远端移动采集载荷安置于无人机等可移动载具上，该可移动载具可以从所需任意方位、距离处采集目标四周远处环境的光谱图像信息。
33.固定采集平台由数控转台和地面光谱相机组成。数控转台是一个可以绕中心轴360
°
旋转的平台且相对地面位置固定，在其上放置地面光谱相机。数控转台旋转时可以跟踪采集目标本身及所在位置附近的光谱图像信息。
34.远端移动采集平台由无人机和机载光谱相机组成，从空中的某一俯视角度，采集地面一定投影面积内的光谱图像。本地移动采集设备由多个车载光谱相机组成，多个光谱相机按照一定的相对方位固定安置在目标的不同位置上，通过多个摄像头采集以地面测量车为中心的周围全景光谱图像。所述光谱相机的光谱采集范围为350nm～2500nm，光谱分辨率范围4～20nm量级，采集帧率上限为20hz。
35.光谱处理平台由微型计算机、外部设备以及运行在其上的计算机软件程序所组成。
36.微型计算机是光谱处理平台的核心部分，由中央处理器、闪存、寄存器、总线和其他计算机最小系统的必要组件所构成。用以连接数据存储模块、数据传输模块、人机交互模块等外部硬件设备，并运行光谱图像预处理器程序和光谱图像配准、拼接的程序。
37.数据传输模块由无线通信硬件设备构成。数据传输模块作用有两个，第一是建立
与各个光谱采集平台之间的无线通信信道，将所采集到的光谱图像传输至光谱处理平台，进行数据缓存、光谱图像预处理以及图像配准拼接。第二是将处理后的光谱图像传送给本地或远程处理终端，进行后续的光谱图像处理和分析，如特征提取、目标识别、差异检测。具体的数据传输模块有：短距离无线传输(10米以内)使用蓝牙技术，中距离无线传输(100米以内)使用无线局域网技术，远距离无线传输使用移动通信技术。
38.数据存储模块由物理存储介质和存储设备接口组成，系统工作时各个光谱采集平台通过数据传输模块可以将实时采集到的光谱图像数据经由数据传输模块传输给光谱处理平台，光谱处理平台再将光谱图像数据写入数据存储模块中进行缓存，以此均衡实时处理过程中数据接收与数据处理之间的速度差异。数据存储模块可以采用机械磁盘或固态硬盘。
39.人机交互模块由输入模块、控制模块和显示模块组成。输入模块可由使用者人为输入控制信号，以控制系统的运行状态；控制模块使人为输入的控制信号转换为电信号；显示模块向用户显示系统当前的运行状态。系统运行状态包括：启动、终止、暂停、存储容量使用情况。输入模块可以采用按键控制器或电容触控屏。控制模块可以采用51单片机或stm32单片机。显示模块可以采用lcd屏幕或oled屏幕。
40.光谱处理平台从数据存储模块中读取缓存的光谱图像进行预处理。光谱图像预处理程序为计算机软件程序，由光谱数据读取程序、光谱图像去噪程序、光谱图像校正程序、光谱图像提取解译程序组成。上述所有预处理程序均由计算机程序语言编写，并运行在微型计算机上。光谱图像读取程序完成不同采集设备光谱图像的读取并转换为易处理的图像矩阵格式。光谱图像去噪程序模块消除光谱图像在采集的过程中受到的噪声干扰影响，噪声干扰有相机抖动、电子噪声。光谱图像校正程序模块用于校正光谱图像在采集过程中由于受到平台姿态、地球曲率、地形起伏、地球旋转、大气传输等因素所产生的辐射误差和几何误差。光谱图像配准模块用于将两幅或多幅不同尺度的图像进行配准、拼接、融合，图像配准模块采用计算机程序语言编写，并运行在微型计算机上。光谱图像拼接模块用于将包含重叠区域的多个图像拼接成一幅大范围的全景式图像，图像拼接模块采用计算机程序语言编写，并运行在计算机上。光谱图像提取解译程序模块量化表征目标及其背景的光谱特征信息，为分析评定目标及其背景之间的光谱融合效果提供依据。
41.实施例2：
42.本实施例公开了一种全景光谱图像采集系统，如图1所示，包括：光谱图像采集平台和光谱处理平台。光谱图像采集载荷及平台包括：固定采集设备和移动采集载荷及平台。其中移动采集载荷及平台又包括本地移动采集载荷及平台和远端移动采集载荷及平台。光谱处理平台包括：硬件部分和软件部分；硬件部分包括：核心部分为微型计算机，外设部分为数据存储模块、数据传输模块、人机交互模块；软件部分包括：光谱图像预处理程序、光谱图像配准程序、光谱图像拼接程序。
43.在该实施例中，目标为一陆地车，所处环境为自然林地环境。
44.其总体工作过程是，首先由各个采集载荷采集光谱图像，由数据传输模块传给光谱处理平台，光谱处理平台将光谱数据存入数据存储模块作为缓冲，然后光谱处理平台从数据存储模块中读取光谱图像并进行预处理，包括对图像进行几何畸变校正和噪声点的抑制等，最后对经由预处理的若干幅图像进行拼接，获得目标周围全景式的光谱图像。此外，
人机交互模块实时显示系统运行状态，接收控制指令。
45.固定采集设备由数控转台和地面光谱相机组成。数控转台可通过遥控控制其自动旋转，转动范围为水平方向360
°
。将地面光谱相机安装固定于数控转台上。在陆地车移动时，地面光谱相机可对陆地车所处背景环境和陆地车自身的光谱图像进行连续追踪采集。
46.远端移动采集载荷及平台由无人机和其上所搭载的机载光谱相机或高光谱成像仪组成。无人机为垂直起降固定旋翼无人机，经过改装之后在无人机底部安装机载光谱成像吊舱。无人机机体材质为碳纤维、玻璃钢和航空复合材料，重量轻且强度高，续航时间为四个小时，可在五至六级风速下稳定飞行。采集高度为50～150米，在空中对目标对象所在区域范围内进行悬停采集。
47.本地移动采集载荷及平台由陆地车上分布固定的四台光谱相机所组成。四个车载光谱相机分别安装在地面测量车的前后左右四个方向上，每个车载光谱相机负责捕捉90
°
视角范围内的光谱图像。经过图像拼接后可获得360
°
全景光谱图像。采集视角俯视图如图2所示。
48.上述固定采集设备一般为一种地物光谱仪，主要对目标物及背景植被进行光谱数据采集，获取目标及周边地物光谱特性数据信息。此类探测器工作波段350nm～2500nm，低噪声512阵元pda，采样时间短至10次/秒，光谱平均高达31800次，探测器响应线性 /-1％，色散元件是一个固定的两个快速旋转的全息反射光栅，波长精度 /-0.8nm，波长重复性优于 /-0.3nm@ /-10℃温度变化，光谱采样间隔1.4nm@350nm～2500nm，光谱分辨率3nm@350nm～2500nm，1m长标准光纤探头，25
°
前视场，带有可安装在三角架上的手枪式手柄，对应每一目标的测量结果以数据文件的形式保存在磁盘中。
49.上述三种采集载荷及平台所使用光谱相机多数为一种全波段高光谱成像仪。该型全波段高光谱成像仪利用单一焦平面阵列探测器和单镜头单分光光路。采集波段为350nm-2500nm、通光孔径为f3.3、采集帧率120hz、成像尺寸640像素
×
512像素。像素点位数16位、光谱分辨率4.1nm、成像仪尺寸9.4cm
×
18cm
×
26.7cm。该型号全波段高光谱成像仪配备高速无线网卡及接口，可实现与光谱处理平台间的无线网络通信功能。上述多种采集载荷及平台在采集图像的同时，可以通过数据传输模块将采集到的图像实时传输给光谱处理平台，光谱处理平台将其存储在数据存储模块中。无线传输模块采用无线局域网组网技术，分配给地面移动采集平台、固定采集平台以及光谱处理平台网卡相应的网络地址，并通过两台无线路由器互相连接，将其置于同一网络内实现采集平台和光谱处理平台间的无线数据收发功能。其中，远端移动采集平台距离地面光谱处理平台的距离较远，采用大功率无线路由器，固定平台和本地移动采集平台距离光谱处理平台的距离较近，采用小功率无线路由器。无线路由器传输速率均为300mbps。网络结构图如图3所示。
50.光谱处理平台中微型计算机的处理器芯片为arm高性能处理芯片。外部设备有无线网络接口、固态硬盘、液晶显示屏幕、51单片机和按键控制器。无线网络接口由一块或多块无线网卡组成，与无线路由器连接。由于光谱处理平台处理速度和采集平台采集速度之间存在速度差或者不同步的问题，所以需要先将光谱图像存储在存储设备中，作为数据缓存。光谱处理平台通过存储设备接口与存储设备相连接，存储设备为2tb固态硬盘，读写速度分别为500mb/s、450mb/s。输入模块、显示模块和控制模块共同构成了人机交互模块。它的作用是显示并控制当前系统的运行状态。输入模块的主要构成部件是按键控制器。包含
三个按钮可以分别实现系统的启动、终止和暂停。控制模块是一块51单片机，连接人机交互模块与微型计算机，接收并转换输入模块接收的人为输入信号，并输出系统状态到显示模块。显示模块为一块7英寸液晶显示屏幕，上面显示系统当前的运行状态以及系统存储容量剩余、采集平台当前定位等信息。光谱处理平台结构图如图4所示
51.光谱处理平台在将接收到的光谱数据存入固态硬盘后，光谱处理平台包括预处理和图像配准与拼接。从存储设备读取光谱图像并进行一系列的预处理，预处理部分由计算机软件程序组成，主要包括光谱数据读取程序、光谱图像去噪程序、光谱图像校正程序。光谱预处理程序框图如图5所示。
52.将经由预处理后的光谱图像进行配准、拼接、融合，图像拼接部分由计算机软件程序组成。光谱图像配准与拼接的程序框图如图6所示。
53.光谱处理平台将处理后的光谱图像经由压缩编码程序进行压缩，通过数据传输模块向终端传输。上述程序均由程序设计语言编写，经编译、链接后烧录到处理器芯片上运行。
54.上述全波段高光谱成像仪采集到的图像格式要先进行数据读取将采集到的原始数据转换为常见的易处理的数据形式。该步骤由光谱图像读取程序完成。
55.在完成光谱图像读取之后，要进行光谱图像去噪和光谱图像校正。光谱图像在采集的过程中会受到如相机抖动、电子噪声的噪声干扰影响，还会产生辐射误差和几何误差的问题。前者用光谱图像去噪程序解决，后者用光谱图像校正程序解决。光谱图像去噪程序利用空域或频域变换方法进行去噪。光谱图像校正程序中通过设定地面控制点等，用数学模型近似描述遥感图像的几何畸变过程，并利用畸变的遥感图像与标准地图之间的一些对应点求得这个几何畸变模型，对几何畸变进行几何精校正；通过模型法、波段对比法或平场域法等实现对辐射误差进行大气绝对或相对校正。
56.在完成光谱图像预处理之后，将获取的多幅图像进行配准、拼接、融合，得到目标的全景光谱图像，随后通过无线网络接口传送给本地或者远程的高性能处理终端，进行后续的高层次光谱图像分析与解译工作，例如机理分析、特征提取、特征建模。
57.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。