用于导航的多光谱成像系统和方法与流程

用于导航的多光谱成像系统和方法
1.相关申请的交叉引用
2.本技术要求于2019年8月30日提交并且名称为“用于导航的多光谱成像系统和方法(multispectral imaging for navigation systems and methods)”的美国临时专利申请第62/894,544号的优先权和权益，其全部内容通过引用并入本文。
技术领域
3.本发明总体上涉及多光谱成像，并且更具体地，涉及用于移动平台的导航中的多光谱成像的系统和方法。


背景技术：

4.现代移动平台，例如辅助或自动驾驶的有人和无人驾驶陆地载具和飞行器，包括无人驾驶飞行器(uav)、遥控水下航行器(rov)、无人驾驶(水上)水面航行器(usv)和无人驾驶地面航行器(ugv)，其中任何一种都可以配置为无人传感器平台，能够在所有环境(农村，城市，甚至水下)中长距离操作。这样的系统的操作可以包括对驾驶员的实时反馈和/或无人平台和远程基站之间的无线传输，所述远程基站通常包括显示器，以将平台捕获的遥测、图像和其他传感器数据有效地传送到操作员。操作员通常可以仅依靠从移动平台接收的图像反馈或数据，在整个任务期间监控有人或无人移动平台的自动或辅助导航，并在必要时进行驾驶员控制或以其他方式控制。
5.常规的成像系统通常过于昂贵和笨重，或者在相对常见的环境条件下缺乏足够的对比度，无法用于载具或其他移动平台的可靠和安全的自动或辅助导航。因此，需要紧凑的成像系统和相关技术来提供可靠的场景评估，以便与移动平台的导航一起使用。


技术实现要素：

6.提供了多光谱导航系统和相关技术，以改进有人或无人移动平台的操作，包括辅助或自动驾驶的有人载具和无人传感器或勘测平台。所描述的多光谱导航系统的一个或多个实施例可以有利地包括一种多光谱成像系统，所述多光谱成像系统包括多光谱成像模块，配置成与关联于移动平台关联的基站建立无线通信链路的通信模块，配置成测量多光谱成像系统和/或联接的移动平台的取向和/或位置的取向和/或位置传感器，用于控制通信模块、取向和/或位置传感器和/或移动平台的操作的控制器，以及用于测量和提供对应于移动平台的机动和/或其他操作的传感器数据的一个或多个附加传感器。
7.在各种实施例中，这样的附加传感器可以包括远程传感器系统，所述远程传感器系统配置成捕获勘测区域的传感器数据，从所述传感器数据可以生成勘测区域的二维和/或三维空间地图。例如，导航系统可以包括一个或多个可见光谱、红外和/或紫外相机和/或联接到移动平台的其他远程传感器系统。移动平台通常可以是飞行平台(例如，有人驾驶飞行器、uas和/或其他飞行平台)、陆地平台(例如，机动载具)、水上平台(例如，船只或潜艇)。更一般地，用于多光谱导航系统的多光谱成像系统可以实现为多光谱自主载具成像系统
(例如，mavis，用于各种自主或自动驾驶移动平台或载具)。
8.在一个实施例中，一种系统包括多光谱成像系统，所述多光谱成像系统包括配置成提供与移动平台的规划路线对应的多光谱图像数据的多光谱成像模块，以及配置成与多光谱成像系统通信的逻辑装置。逻辑装置可以配置成接收对应于规划路线的多光谱图像数据；接收对应于多光谱图像数据的取向和/或位置数据；以及至少部分地基于取向和/或位置数据以及多光谱图像数据的组合生成对应于规划路线的机动障碍物信息。
9.在另一实施例中，一种方法包括从多光谱成像系统接收多光谱图像数据，所述多光谱成像系统包括配置成提供与移动平台的规划路线对应的多光谱图像数据的多光谱成像模块；接收对应于多光谱图像数据的取向和/或位置数据；以及至少部分地基于取向和/或位置数据以及多光谱图像数据的组合生成对应于规划路线的机动障碍物信息。
10.本发明的范围由权利要求限定，权利要求通过引用并入本部分。通过考虑一个或多个实施例的以下详细描述，本领域技术人员将更加全面地理解本发明的实施例，并实现其额外的优点。将参考将首先简要描述的附图。
附图说明
11.图1示出了根据本公开的实施例的多光谱导航系统的示意图。
12.图2示出了根据本公开的实施例的采用多光谱导航系统的移动平台的示意图。
13.图3示出了根据本公开的实施例的用于多光谱导航系统的多光谱成像系统的示意图。
14.图4-6示出了根据本公开的实施例的包括由用于多光谱导航系统的多光谱成像系统生成的图像的显示视图。
15.图7示出了根据本公开实施例的使用多光谱导航系统提供辅助或自动驾驶导航的各种操作的流程图。
16.图8-10示出了根据本公开的实施例的包括由用于多光谱导航系统的多光谱成像系统生成的图像的显示视图。
17.本发明的实施例及其优点通过参考下面的详细描述得到最好的理解。应当理解，相似的附图标记用于标识一幅或多幅图中所示的相似元件。
具体实施方式
18.提供了多光谱导航系统和相关技术以提高移动平台(包括无人移动传感器平台)的操作灵活性和可靠性。用于高级驾驶员辅助系统(adas)的成像系统通常获取载具或移动平台周围的直接环境的实时视频图像。这样的图像可以帮助领航员(例如人类或自动驾驶仪)做出有关移动平台导航的决策，例如制动或规避操纵。当代商业adas相机产生的图像具有有限光谱内容或没有光谱内容：图像是rgb彩色或单色可见波段。这样的有限的光谱内容意味着在许多常见的环境条件(例如，航向和/或一天中的时间)下，实体对象可能与天空或其他遥远的背景相比几乎没有或没有对比度。
19.现实世界的示例可能是adas无法检测相对于天空/地平线相对较大的无特征地面阻碍物(例如，封闭的拖车)的情况。这样的不足可能是由可见光谱中有限的可见差异(例如颜色、亮度)引起的。这样的不足并不少见：由于天空“穹顶”的漫反射，阴天下的白色对象将
往往具有与天空非常相似的亮度。本文所述的多光谱导航系统的实施例在类似条件下失效的可能性要小得多，因为实体对象极不可能在光谱波段的组合上发射或反射类似于天空中的光，该光谱波段可包括可见光谱和可见光之外的光谱，例如红外和/或紫外光谱。
20.呈现给成像导航系统的场景通常包括具有非常不同的近红外(nir)、可见光(vis)和长波uv(lwuv)光谱内容的区域。对可见光以外的光谱敏感的多光谱成像系统可以更可靠地确定场景内容的组成，例如，包括能够可靠地区分天空与其他载具、树木、灌木、建筑物或道路。因此，多光谱成像系统可以为成像导航系统提供更细微得多的数据流。
21.例如，在选择的波段中的同时测量提供了场景中表面材料的粗略反射/发射光谱。植被等材料反射具有独特光谱特征的阳光，而天空则发射不同的光谱。载具和路面在这样的选择的波段中的表现也与它们在可见波段中的表现不同。与许多紧密间隔的相对窄的光谱通道相比，对于多光谱相机使用少量(例如，2、3、4或5个)相对宽的光谱波段具有几个优点。更宽的光谱波段(例如，通常与宽带通滤光片关联)通常意味着将有更多的场景通量到达检测器，并在低光照条件下导致更好的曝光。更宽的光谱波段还允许更短的积分时间，从而减少了运动模糊，这是与安装在具有相对高的运动角速率的快速移动载具中的前视系统捕获的图像边缘关联的特定问题。
22.这样的多光谱成像捕获和处理技术也可以用于飞行器，包括无人空中系统。例如，具有自主操作能力的uav可以实现为具有成像系统，该成像系统可以帮助人类或自动驾驶仪在不同的飞行情况下(包括在起飞、着陆和规避动作期间)做出关于要怎样做的决策。具有图像分析功能的多光谱成像系统可以提供有关物理环境的经处理的传感器信息，从而帮助领航员避开障碍物转向，例如白色空白广告牌，其可能具有与广告牌后面的阴天相同的可见波段辐射。多光谱图像还可以帮助确定植被的位置，这可以帮助移动平台避免降落在树上。多光谱图像还可以帮助移动平台知晓天空在成像场景中的位置，因为天空通常具有明显的多光谱特征。多光谱图像还可以帮助uas可靠且准确地定位天空中的其他uas，这对于例如uas集群的空中操纵非常有用。
23.除了上述之外，实施例可以制造得相对紧凑，从而减少尺寸、重量和功率要求(相对于常规系统)，因此适合部署在各种应用(例如相对小的无人陆地载具和飞行器系统)中。现代有人和无人移动平台(包括无人传感器平台，例如无人飞行器(uav)、远程操作水下载具(rov)、无人(水)表面载具(usv)和无人地面载具(ugv))能够在长距离上并在所有环境中进行操作。这样的系统通常依赖于可能限制其行进范围的便携式动力源。本文所描述的实施例提供了相对轻量、紧凑且有特色的多光谱导航系统，其通常增加这样的移动平台(包括无人传感器平台)的可实现范围，这在尝试在勘测区域内相对快速且详尽地导航时可能特别有用。
24.在各种实施例中，多光谱图像和/或其他传感器数据可以实时或在勘测之后传输到基站，该基站可以被配置为将传感器数据与勘测区域的地图或平面图(floor plan)结合，以在地图或平面图的空间范围内在勘测地图中呈现传感器数据。这样的地图或平面图可以是二维或三维的。勘测地图可以存储在基站处，并且如果基站包括显示器，则作为图形叠加地图实时呈现给操作员/用户。例如，在操作期间，这样的地图可以为导航移动平台或定位移动平台以进行静止观察提供洞察力，或者，如果在将来时间要在同一区域进行操作，则这样的地图可以提供信息用于将来操作的路线规划。
25.图1示出了根据本公开的实施例的多光谱导航系统100的框图。在一些实施例中，系统100可以被配置为飞越场景，飞过结构，或接近目标并使用万向节系统122将多光谱成像系统/传感器有效载荷140瞄准场景、结构或目标或其部分和/或使用传感器托架128将环境传感器160瞄准场景、结构或目标或其部分，对场景、结构或目标或其部分成像或感测。产生的图像和/或其他传感器数据可以被处理(例如，由传感器有效载荷140、平台110和/或基站130)并通过使用用户接口132(例如，一个或多个显示器，例如多功能显示器(mfd)，便携式电子设备，例如平板计算机、膝上型计算机或智能电话，或其他适当的接口)显示给用户和/或存储在存储器中以供以后查看和/或分析。在一些实施例中，系统100可以被配置为使用这样的图像和/或其他传感器数据来控制平台110、传感器有效载荷140和/或环境传感器160的操作，如本文所述，例如控制万向节系统122使传感器有效载荷140朝向特定方向瞄准或控制推进系统124以将平台110移动和/或定向到场景或结构中的期望位置/取向或相对于目标的期望位置/取向。
26.在另外的实施例中，系统100可以被配置为使用平台110和/或传感器托架128来将环境传感器160定位和/或定向在场景、结构或目标或其部分处或相对于场景、结构或目标或其部分定位和/或定向。产生的传感器数据可以被处理(例如，由环境传感器160、平台110和/或基站130)并通过使用用户接口132(例如，一个或多个显示器，例如多功能显示器(mfd)、便携式电子设备，例如平板计算机、膝上型计算机或智能电话，或其他适当的接口)显示给用户和/或存储在存储器中以供以后查看和/或分析。在一些实施例中，系统100可以被配置为使用这样的传感器数据来控制平台110和/或环境传感器160的操作，如本文所述，例如控制推进系统124以将平台110移动和/或定向到场景或结构中的期望位置/取向或相对于目标的期望位置/取向。
27.在图1所示的实施例中，多光谱导航系统100包括平台110、可选的基站130和至少一个多光谱成像系统140。平台110可以是移动平台，其被配置为使多光谱成像系统140和/或环境传感器160(例如，相对于指定或检测目标)移动或飞行和定位。如图1所示，平台110可以包括控制器112、取向传感器114、陀螺仪/加速度计116、全球导航卫星系统(gnss)118、通信模块120、万向节系统122、推进系统124、传感器托架128和其他模块126中的一个或多个。平台110的操作可以是基本上自主的和/或部分或完全由可选的基站130控制，可选的基站130可以包括用户接口132、通信模块134和其他模块136中的一个或多个。在其他实施例中，平台110可以包括基站130的一个或多个元件，例如对于各种类型的有人飞行器、陆地载具和/或水面或水下水运工具。
28.传感器有效载荷140和/或环境传感器160可以物理耦接到平台110并且被配置为捕获通过平台110和/或基站130的操作选择和/或框定的目标位置、区域和/或对象的传感器数据(例如，可见光谱图像、红外图像、紫外图像、窄孔径雷达数据、分析物传感器数据、定向辐射数据和/或其他传感器数据)。在一些实施例中，系统100的一个或多个元件可以在能够耦接到平台110或耦接在平台110内和/或由系统100的用户持有或携带的组合外壳或结构中实现。
29.控制器112可以被实现为任何适当的逻辑设备(例如，处理设备、微控制器、处理器、专用集成电路(asic)、现场可编程门阵列(fpga)、存储器存储设备、存储器读取器或其他设备或设备的组合)，其可以适于执行、存储和/或接收适当的指令，例如实现用于例如控
制平台110和/或系统100的其他元件的各种操作的控制回路的软件指令。这样的软件指令还可以实现用于处理红外图像和/或其他传感器信号、确定传感器信息、提供用户反馈(例如，通过用户接口132)、向设备查询操作参数、为设备选择操作参数或执行本文描述的各种操作(例如，由系统100的各种设备的逻辑设备执行的操作)中的任何操作的方法。
30.此外，可以提供非暂时性介质来存储机器可读指令，以供加载到控制器112中并由控制器112执行。在这些和其他实施例中，控制器112可以在适当的情况下实现有其他部件，例如易失性存储器、非易失性存储器、一个或多个接口和/或用于与系统100的设备接口连接的各种模拟和/或数字部件。例如，控制器112可以适于随着时间的推移存储例如传感器信号、传感器信息、用于坐标系变换的参数、校准参数、校准点组和/或其他操作参数，并使用用户接口132向用户提供这样的存储的数据。在一些实施例中，例如，控制器112可以与平台110的一个或多个其他元件集成，或分布作为平台110、基站130和/或传感器有效载荷140内的多个逻辑设备。
31.在一些实施例中，控制器112可以被配置为基本上连续地监测和/或存储平台110、传感器有效载荷140、环境传感器160和/或基站130的一个或多个元件提供的状态和/或传感器数据，举例来说，例如平台110、传感器有效载荷140和/或基站130的位置和/或取向，以及在平台110、传感器有效载荷140、环境传感器160和/或基站130之间建立的通信链路的状态。这样的通信链路可以被配置为在系统100的整个操作过程中基本连续地在系统100的元件之间建立然后传输数据，其中，这样的数据包括各种类型的传感器数据、控制参数和/或其他数据。
32.取向传感器114可以被实现为罗盘、浮子、加速度计和/或能够测量平台110(例如，相对于一个或多个参考取向(例如重力和/或磁北)的横滚、俯仰和/或偏航的大小和方向)、万向节系统122、成像系统/传感器有效载荷140和/或系统100的其他元件的取向并提供这样的测量作为可传送到的系统100的各种设备的传感器信号和/或数据的其他设备中的一个或多个。陀螺仪/加速度计116可以被实现为一个或多个电子六分仪、半导体设备、集成芯片、加速度计传感器、加速度计传感器系统或能够测量平台110和/或系统100的其他元件的角速度/加速度和/或线性加速度(例如，方向和大小)并提供可以传送到系统100的其他设备(例如，用户接口132、控制器112)的例如传感器信号和/或数据的测量的其他设备。
33.gnss 118可以根据任何全球导航卫星系统来实现，包括基于gps、glonass和/或伽利略的接收器和/或能够基于从空载和/或地面源(例如，eloran和/或其他至少部分地面的系统)接收的无线信号来确定平台110(例如，或110平台的元件)的绝对和/或相对位置，并且能够提供例如可以传送到系统100的各种设备的传感器信号和/或数据(例如，坐标)的测量的其他设备。在一些实施例中，例如，gnss 118可以包括高度计，或可以用于提供绝对高度。
34.通信模块120可以被实现为被配置为在系统100的元件之间传输和接收模拟和/或数字信号的任何有线和/或无线通信模块。例如，通信模块120可以被配置为从基站130接收飞行控制信号和/或数据并将它们提供给控制器112和/或推进系统124。在其他实施例中，通信模块120可以被配置为从传感器有效载荷140接收图像和/或其他传感器信息(例如，可见光谱、红外和/或紫外静态图像或视频图像)并将传感器数据中继到控制器112和/或基站130。在其他实施例中，通信模块120可以被配置为从环境传感器160接收传感器数据和/或
其他传感器信息并将传感器数据中继到控制器112和/或基站130。在一些实施例中，例如，通信模块120可以被配置为支持扩展频谱传输，和/或系统100的元件之间的多个同时通信信道。无线通信链路可以包括一个或多个模拟和/或数字无线电通信链路，例如wifi等，如本文所述，并且例如可以是在系统100的元件之间建立的直接通信链路，或者可以通过被配置为接收和重传无线通信的一个或多个无线中继站来中继。
35.在一些实施例中，通信模块120可以被配置为监测在平台110、传感器有效载荷140和/或基站130之间建立的通信链路的状态。这样的状态信息可以被提供给例如控制器112，或被传输到系统100的其他元件，用于监视、存储或进一步处理，如本文所述。由通信模块120建立的通信链路可以被配置为在系统100的整个操作过程中基本上连续地在系统100的元件之间传输数据，其中，这样的数据包括各种类型的传感器数据、控制参数和/或其他数据，如本文所述。
36.在一些实施例中，万向节系统122可以被实现为例如可以由控制器112控制以相对于目标稳定传感器有效载荷140或根据期望方向和/或相对位置使传感器有效载荷140瞄准的致动万向架底座。因此，万向节系统122可以被配置为向控制器112和/或通信模块120(例如，万向节系统122可以包括其自己的取向传感器114)提供传感器有效载荷140的相对取向(例如，相对于平台110的取向)。在其他实施例中，万向节系统122可以被实现为重力驱动底座(例如，非致动的)。在各种实施例中，万向节系统122可以被配置为提供电力、支持有线通信和/或以其他方式促进铰接传感器/传感器有效载荷140的操作。在其他实施例中，万向节系统122可以被配置为耦接到激光指示器、测距仪和/或其他设备，例如，以基本上同时支持、稳定多个设备(例如，传感器有效载荷140和一个或多个其他设备)、对其供电和/或使其瞄准。在替代实施例中，多光谱成像系统/传感器有效载荷140可以固定到移动平台110，使得万向节系统122被实现为传感器有效载荷140的固定视角安装系统。
37.推进系统124可以被实现为一个或多个螺旋桨、涡轮或其他基于推力的推进系统，和/或可用于向平台110提供动力和/或升力和/或使平台110转向的其他类型的推进系统。在一些实施例中，推进系统124可以包括多个螺旋桨(例如，三、四、六、八或其他类型的“旋翼”)，其可以被控制(例如，由控制器112)以为平台110提供升力和运动并为平台110提供取向。在其他实施例中，推进系统124可以被配置为主要提供推力，而平台110的其他结构提供升力，例如在固定翼实施例(例如，其中，机翼提供升力)和/或浮空器实施例(例如，气球、飞艇、混合浮空器)中。在各种实施例中，推进系统124可以被实现有便携式动力源，例如电池和/或内燃机/发电机和燃料源。
38.例如，其他模块126可以包括其他和/或附加传感器、致动器、通信模块/节点和/或用户接口设备，并且可以用于提供例如与平台110的操作相关的附加环境信息。在一些实施例中，其他模块126可以包括湿度传感器、风和/或水温传感器、气压计、高度计、分析物检测系统、雷达系统、接近传感器、可见光谱相机或红外/热相机(具有附加底座)、辐照度检测器和/或提供测量和/或其他传感器信号的其他环境传感器，该测量和/或其他传感器信号可以显示给用户和/或由系统100的其他设备(例如，控制器112)使用以提供平台110和/或系统100的操作控制。
39.在一些实施例中，其他模块126可以包括耦接到平台110的一个或多个致动和/或铰接设备(例如，多光谱主动照明器、可见光和/或ir相机、雷达、声纳和/或其他致动设备)，
其中，每个致动设备包括一个或多个致动器，其适于响应于一个或多个控制信号(例如，由控制器112提供)而调整设备相对于平台110的取向。特别地，其他模块126可以包括立体视觉系统，其被配置为提供可以用于计算或估计例如平台110的位置或用于计算或估计靠近平台110的导航危险的相对位置的图像数据。在各种实施例中，控制器130可以被配置为使用这样的接近和/或位置信息来帮助安全地领航平台110和/或监测通信链路质量，如本文所述。
40.在各种实施例中，传感器托架128可以被实现为闩锁机构，该闩锁机构可以永久地安装到平台110，以提供环境传感器160相对于平台110的重心、相对于推进系统124和/或相对于平台110的其他元件的安装位置和/或取向。此外，传感器托架128可以被配置为提供电力、支持有线通信和/或以其他方式促进环境传感器160的操作，如本文所述。因此，传感器托架128可以被配置为在平台110和环境传感器160之间提供电力、遥测和/或其他传感器数据接口。在一些实施例中，万向节系统122可以与传感器托架128类似地实现，反之亦然。
41.例如，传感器托架128可以被实现为例如可以由控制器112控制以相对于目标稳定环境传感器160或根据期望的方向和/或相对位置使环境传感器160瞄准的致动万向节底座。因此，传感器托架128可以被配置为向控制器112和/或通信模块120提供环境传感器160(例如，相对于平台110的取向)的相对取向(例如，传感器托架128可以包括其自己的取向传感器114)。在其他实施例中，传感器托架128可实现为重力驱动底座(例如，非致动的)。在其他实施例中，传感器托架128可以被配置为耦接到激光指示器、测距仪和/或其他设备，例如，以基本上同时支持、稳定多个设备(例如，环境传感器160和一个或更多其他设备)、对其供电和/或使其瞄准。
42.基站130的用户接口132可以被实现为显示器、触摸屏、键盘、鼠标、操纵杆、旋钮、方向盘、轭和/或能够接受用户输入和/或向用户提供反馈的任何其他设备中的一个或多个。在各种实施例中，用户接口132可以适合于向系统100的其他设备(例如控制器112)提供用户输入(例如，作为由基站130的通信模块134传输的一种信号和/或传感器信息)。用户接口132也可以实现有一个或多个逻辑设备(例如，类似于控制器112)，其可以适于存储和/或执行指令，例如软件指令，从而实现本文描述的各种过程和/或方法中的任何一个。例如，用户接口132可以例如适于形成通信链路、传输和/或接收通信(例如，红外图像和/或其他传感器信号、控制信号、传感器信息、用户输入和/或其他信息)，或执行本文所述的各种其他过程和/或方法。
43.在一个实施例中，用户接口132可以适于显示各种传感器信息和/或其他参数的时间序列作为图表或地图的一部分或叠加在图表或地图上的各种传感器信息和/或其他参数的时间序列，其可以被参考到平台110和/或系统100的其他元件的位置和/或取向。例如，用户接口132可以适于显示叠加在地理地图上的平台110和/或系统100的其他元件的位置、航向和/或取向的时间序列，其可以包括一个或多个图表，其指示致动器控制信号、传感器信息和/或其他传感器和/或控制信号的对应时间序列。
44.在一些实施例中，用户接口132可以适于接受用户输入，例如，包括用户定义的目标目的地、航向、航路点、路线和/或系统100的元件的取向，并且生成控制信号以使平台110根据目标目的地、航向、路线和/或方向移动，或相应地使传感器有效载荷140或环境传感器160瞄准。在其他实施例中，例如，用户接口132可以适于接受修改控制器112的控制回路参
数的用户输入。
45.在其他实施例中，用户接口132可以适于接受用户输入，例如，包括对于与平台110关联的致动或铰接设备(例如，传感器有效载荷140或环境传感器160)的用户定义的目标姿态、取向和/或位置，并生成控制信号，用于根据目标姿态、取向和/或位置来调整致动设备的取向和/或位置。这样的控制信号可以被传输到控制器112(例如，使用通信模块134和120)，然后该控制器可以相应地控制平台110。
46.通信模块134可以被实现为配置为在系统100的元件之间传输和接收模拟和/或数字信号的任何有线和/或无线通信模块。例如，通信模块134可以被配置为将飞行控制信号从用户接口132传输到通信模块120或144。在其他实施例中，通信模块134可以被配置为从传感器有效载荷140接收传感器数据(例如，可见光谱、红外和/或紫外静态图像或视频图像，或其他传感器数据)。在一些实施例中，通信模块134可以被配置为支持例如扩展频谱传输和/或系统100的元件之间的多个同时通信信道。在各种实施例中，如本文所述，通信模块134可以被配置为监测在基站130、传感器有效载荷140和/或平台110之间建立的通信链路的状态(例如，包括例如使用数字通信链路在系统100的元件之间传输和接收数据的分组丢失)。如本文所述，这样的状态信息例如可以被提供给用户接口132，或者被传送给系统100的其他元件，以进行监测、存储或进一步处理。
47.例如，基站130的其他模块136可以包括其他和/或附加的传感器、致动器、通信模块/节点和/或用于提供与基站130关联的附加环境信息的用户接口设备。在一些实施例中，例如，其他模块136可以包括湿度传感器、风和/或水温传感器、气压计、雷达系统、可见光谱相机、红外或热相机、gnss和/或其他环境传感器，其提供可以向用户显示和/或由系统100的其他设备使(例如，控制器112)用的测量和/或其他传感器信号，以提供对平台110和/或系统100的操作控制，或处理传感器数据以补偿环境条件，例如近似在与平台110和/或基站130处于相同高度和/或位于相同区域内的大气的水含量。在一些实施例中，其他模块136可以包括一个或多个致动和/或铰接设备(例如，多光谱主动照明器、可见光和/或ir相机、雷达、声纳和/或其他致动设备)，其中，每个致动设备包括一个或多个致动器，其适于响应于一个或多个控制信号(例如，通过用户接口132提供)来调整设备的取向。
48.在成像系统/传感器有效载荷140被实现为成像设备的实施例中，成像系统/传感器有效载荷140可以包括成像模块142，其可以被实现为检测器元件的制冷和/或非制冷阵列，例如可见光谱、红外和/或紫外敏感检测器元件，包括量子阱红外光电检测器元件、基于辐射热计或微辐射热计的检测器元件、基于ii型超晶格的检测器元件和/或可布置在焦平面阵列(fpa)中的其他红外光谱检测器元件(例如，以及对其他光谱敏感的其他检测器元件)。在各种实施例中，成像模块142可以实现有同时对可见光、近红外(nir)和长波紫外(lwuv)光谱的一些部分敏感的检测器元件的基于互补金属氧化物半导体(cmos)的fpa。在各种实施例中，成像模块142可以包括一个或多个逻辑设备(例如，类似于控制器112)，其可以被配置为在将由成像模块142的检测器元件捕获的图像提供给存储器146或通信模块144之前处理该图像。更一般地，成像模块142可以被配置为至少部分地或与控制器112和/或用户接口132结合来执行本文所述的任何操作或方法。
49.在一些实施例中，传感器有效载荷140可以例如实现有类似于成像模块142的第二或附加成像模块，其可以包括被配置为检测其他电磁频谱(例如可见光、热、紫外线和/或其
他电磁频谱或这样的频谱的子集)的检测器元件。在各种实施例中，这样的附加成像模块可以被校准或配准到成像模块142，使得由每个成像模块捕获的图像占据其他成像模块的已知且至少部分重叠的视场，从而允许不同光谱的图像在几何上相互配准(例如，通过缩放和/或定位)。在一些实施例中，除了依赖于已知的重叠视场之外，或者作为依赖于已知的重叠视场的替代，可以使用模式识别处理将不同光谱的图像相互配准。
50.传感器有效载荷140的通信模块144可以被实现为被配置为在系统100的元件之间传输和接收模拟和/或数字信号的任何有线和/或无线通信模块。例如，通信模块144可以被配置为将图像从成像模块142传输到通信模块120或134。在其他实施例中，通信模块144可以被配置为从控制器112和/或用户接口132接收控制信号(例如，引导传感器有效载荷140的捕获、聚焦、选择性滤光和/或其他操作的控制信号)。在一些实施例中，通信模块144可以被配置为支持例如扩展频谱传输，和/或系统100的元件之间的多个同时通信信道。在各种实施例中，如本文所述，通信模块144可以被配置为监测在传感器有效载荷140、基站130和/或平台110之间建立的通信链路的状态(例如，包括例如使用数字通信链路在系统100的元件之间传输和接收的数据的分组丢失)。如本文所述，这样的状态信息可以例如被提供给成像模块142，或被传输给系统100的其他元件，以进行监测、存储或进一步处理。
51.存储器146可以被实现为一个或多个机器可读介质和/或逻辑设备，其被配置为例如存储软件指令、传感器信号、控制信号、操作参数、校准参数、红外图像和/或促进系统100的操作的其他数据，并将其提供给系统100的各种元件。存储器146还可以至少部分地实现为可移动存储器，例如安全数字存储卡，例如包括用于这样的存储器的接口。
52.传感器有效载荷140的取向传感器148可以类似于取向传感器114或陀螺仪/加速度计116和/或能够测量传感器有效载荷140、成像模块142和/或传感器有效载荷140的其他元件的取向(例如，相对于一个或多个参考取向(例如重力和/或磁北)的横滚、俯仰和/或偏航的大小和方向)并提供这样的测量作为可以传送到系统100的各种设备的传感器信号的任何其他设备地实现。传感器有效载荷140的陀螺仪/加速度计(例如，角运动传感器)150可以被实现为一个或多个电子六分仪、半导体设备、集成芯片、加速度计传感器、加速度计传感器系统或能够测量传感器有效载荷140和/或传感器有效载荷140的各种元件的角速度/加速度(例如，角运动)和/或线性加速度(例如，方向和大小)并提供这样的测量作为可以传送到系统100的各种设备的传感器信号的其他设备。gnss 149可以类似于gnss 118和/或能够测量传感器有效载荷140、成像模块142和/或传感器有效载荷140的其他元件的位置并提供这样的测量作为可以传送到系统100的各种设备的传感器信号的任何其他设备地实现。
53.例如，传感器有效载荷140的其他模块152可以包括其他和/或附加传感器、致动器、通信模块/节点、制冷或非制冷滤光器和/或用于提供与传感器有效载荷140关联的附加环境信息的用户接口设备。在一些实施例中，其他模块152可以包括湿度传感器、风和/或水温传感器、气压计、雷达系统、可见光谱相机、红外相机、gnss和/或其他环境传感器，其提供可以向用户显示和/或由系统100的成像模块142或其他设备(例如，控制器112)使用的测量和/或其他传感器信号，以提供对平台110和/或系统100的操作控制，或处理图像以补偿环境条件。
54.在各种实施例中，环境传感器/传感器有效载荷160可以被实现为被配置为生成与平台110周围的环境对应的环境传感器数据的环境传感器。在图1所示的实施例中，环境传
感器160包括传感器控制器162、存储器163、通信模块164、传感器组件166、取向和/或位置传感器(ops)167、电源168和其他模块170。在各种实施例中，传感器组件166可以被实现有传感器元件，其被配置为检测存在危险分析物、电离辐射、发射率、热辐射、射频信号和/或接近平台110和/或环境传感器160或在其视场中的其他环境条件和/或生成与危险分析物、电离辐射、发射率、热辐射、射频信号和/或接近平台110和/或环境传感器160或在其视场中的其他环境条件对应的传感器数据。
55.例如，传感器控制器162可以被实现为一个或多个任何适当的逻辑设备(例如，处理设备、微控制器、处理器、专用集成电路(asic)、现场可编程门阵列(fpga)、存储器存储设备、存储器读取器或其他设备或设备的组合)，其可以适于执行、存储和/或接收适当指令，例如实现用于控制环境传感器160和/或环境传感器160的其他元件的各种操作的控制回路的软件指令。这样的软件指令还可以实现用于处理传感器信号、确定传感器信息、提供用户反馈(例如，通过用户接口132)、向设备查询操作参数、为设备选择操作参数或执行本文描述的各种操作中的任一个的方法。
56.此外，可以提供非暂时性介质来存储机器可读指令以供加载到传感器控制器162中并由传感器控制器162执行。在这些和其他实施例中，传感器控制器162可以在适当的情况下被实现有其他部件，例如易失性存储器、非易失性存储器、一个或多个接口和/或用于与环境传感器160的模块和/或系统100的设备接口连接的各种模拟和/或数字部件。例如，传感器控制器162可以随着时间的推移存储例如传感器信号、传感器信息、用于坐标系变换的参数、校准参数、校准点组和/或其他操作参数，并使用用户接口132向用户提供这样的存储的数据。在一些实施例中，例如，传感器控制器162可以与环境传感器160的一个或多个其他元件集成，或分布为平台110、基站130和/或环境传感器160内的多个逻辑设备。
57.在一些实施例中，传感器控制器162可以被配置为基本上连续地监测和/或存储环境传感器160的传感器组件166的一个或多个元件的状态和/或存储由其提供的传感器数据，举例来说，例如平台110、环境传感器160和/或基站130的位置和/或取向，以及在平台110、环境传感器160和/或基站130之间建立的通信链路的状态。这样的通信链路可以被配置为在系统100的整个操作过程中基本连续地在系统100的元件之间建立然后传输数据，其中，这样的数据包括各种类型的传感器数据、控制参数和/或其他数据。
58.存储器163可以被实现为一个或多个机器可读介质和/或逻辑设备，例如，其被配置为存储软件指令、传感器信号、控制信号、操作参数、校准参数、传感器数据和/或促进环境传感器160和/或系统100的其他元件的操作的其他数据，并将其提供给系统100的各种元件。存储器163也可以至少部分地实现为可移动存储器，例如安全数字存储卡，例如包括用于这样的存储器的接口。
59.环境传感器160的通信模块164可以被实现为配置为在系统100的元件之间传输和接收模拟和/或数字信号的任何有线和/或无线通信模块。例如，通信模块164可以被配置为将来自环境传感器160和/或传感器组件166的传感器数据传输到平台110的通信模块120(例如，以进一步传输到基站130)或直接传输到基站130的通信模块134。在其他实施例中，通信模块164可以被配置为从控制器112和/或用户接口132接收控制信号(例如，引导环境传感器160的操作的控制信号)。在一些实施例中，通信模块164可以被配置为支持例如扩展频谱传输和/或系统100的元件之间的多个同时通信信道。
60.传感器组件166可以被实现有一个或多个传感器元件支撑件(例如，印刷电路板“pcb”)、连接器、传感器元件和/或被配置为促进环境传感器160的操作的其他模块。在特定实施例中，环境传感器160可以被实现为相对高分辨率的可见光谱相机(例如，hd或2k或4k可见光谱相机)，并且传感器组件166可以被实现为可见光谱敏感检测器元件的相对高分辨率的fpa，其被配置为生成由多光谱成像系统140基本同时成像的场景的相对高分辨率的图像和/或视频。
61.环境传感器160的取向和/或位置传感器(ops)167可以类似于取向传感器114、陀螺仪/加速度计116、gnss 118和/或能够测量环境传感器160、传感器组件166和/或环境传感器160的其他元件的取向和/或位置(例如，相对于例如重力和/或磁北的一个或多个参考方向的横滚、俯仰和/或偏航的大小和方向，以及绝对或相对位置)并提供这样的测量作为可以传送到系统100的各种设备的传感器信号的任何其他设备地实现。
62.电源168可以被实现为任何电力存储设备，其被配置为向传感器组件166的每个传感器元件提供足够的电力，以保持所有这样的传感器元件激活并能够在环境传感器160与外部电力(例如，由平台110和/或基站130提供)断开连接时生成传感器数据。在各种实施例中，电源168可以由超级电容器实现，以便相对轻量并且促进平台110的飞行和/或平台110的相对容易的手持操作(例如，在平台110被实现为手持传感器平台的情况下)。
63.例如，环境传感器160的其他模块170可以包括其他和/或附加传感器、致动器、通信模块/节点和/或用于提供与环境传感器160关联的附加环境信息的用户接口设备。在一些实施例中，如本文所述，其他模块170可以包括湿度传感器、风和/或水温传感器、气压计、gnss和/或其他环境传感器，其提供可以向用户显示和/或由系统100的传感器控制器162或其他设备(例如，控制器112)使用的测量和/或其他传感器信号，以提供对平台110和/或系统100的操作控制，或处理传感器数据以补偿环境条件。
64.通常，系统100的每个元件可以被实现有任何适当的逻辑设备(例如，处理设备、微控制器、处理器、专用集成电路(asic)、现场可编程门阵列(fpga)、存储器存储设备、存储器读取器或其他设备或设备的组合)，其可以适于执行、存储和/或接收适当的指令，例如实现用于例如提供传感器数据和/或图像，或用于在系统100的一个或多个设备之间传输和/或接收通信(例如传感器信号、传感器信息和/或控制信号)的方法的软件指令。
65.此外，可以提供一个或多个非暂时性介质用于存储机器可读指令供加载到与系统100的一个或多个设备一起实现的任何逻辑设备中并由其执行。在这些和其他实施例中，逻辑设备可以是在适当的情况下被实现有其他部件，例如易失性存储器、非易失性存储器和/或一个或多个接口(例如，集成电路间(i2c)接口、移动行业处理器接口(mipi)、联合测试行动组(jtag))接口(例如，ieee 1149.1标准测试访问端口和边界扫描架构)和/或其他接口，例如用于一个或多个天线的接口，或用于特定类型传感器的接口)。
66.传感器信号、控制信号和其他信号可以使用各种有线和/或无线通信技术在系统100的元件之间进行传送，例如，包括电压信号发送、以太网、wifi、蓝牙、zigbee、xbee、micronet或其他介质和/短距离有线和/或无线联网协议和/或实施方式。在这样的实施例中，系统100的每个元件可以包括支持有线、无线和/或有线和无线通信技术的组合的一个或多个模块。在一些实施例中，系统100的各种元件或元件的部分可以例如彼此集成，或者可以集成到单个印刷电路板(pcb)上以降低系统复杂性、制造成本、功率要求、坐标系误差
和/或各种传感器测量之间的定时误差。
67.例如，系统100的每个元件可以包括一个或多个电池、电容器或其他电力存储设备，并且可以包括一个或多个太阳能电池模块或其他发电设备。在一些实施例中，设备中的一个或多个可以使用一个或多个电源线由平台110的电源供电。这样的电源线还可用于支持系统100的元件之间的一种或多种通信技术。
68.图2示出了根据本公开的实施例的多光谱导航系统200的移动平台110a和110b的图，该多光谱导航系统200包括环境传感器160和关联的传感器托架128的实施例。在图2所示的实施例中，多光谱导航系统200包括基站130、可选的副领航站230、具有铰接成像系统/传感器有效载荷140的移动平台110a、万向节系统122、环境传感器160和传感器托架128，以及具有铰接成像系统/传感器有效载荷140、万向节系统122、环境传感器160和传感器托架128的移动平台110b，其中，基站130和/或可选的副领航站230可以被配置为控制平台110a、平台110b、传感器有效载荷140和/或环境传感器160的运动、位置、取向和/或一般操作。
69.在各种实施例中，副领航站230可以相对于基站130类似地实现，例如包括类似的元件和/或能够具有类似的功能。在一些实施例中，副领航站230可以包括多个显示器，以促进环境传感器160和/或移动平台110a-b的各种成像和/或传感器有效载荷的操作，通常与领航移动平台110a-b分开，并促进传感器数据和对应指令的基本上实时的分析、可视化和通信，例如向与系统200的副领航员或用户联系的第一响应者。例如，基站130和副领航站230均可以被配置为呈现本文描述的任何显示视图。
70.如本文所述，多光谱导航系统100的实施例可以被实现有相对紧凑、重量轻、功率低的多光谱成像系统(例如，多光谱成像系统140)，其可用于帮助操作移动平台，例如通过辅助导航，其中，向操作员提供经处理的图像和/或显示视图以帮助操作员领航移动平台，或通过自动领航导航，其中，这样的图像用于根据期望的路线、目的地或其他操作参数自动领航移动平台。
71.在一些实施例中，多光谱成像系统可以包括由基于cmos的fpa实现的成像模块，该fpa被形成、制造、组装和/或以其他方式配置为在ir、vis和uv光谱/波段具有灵敏度。这样的成像模块可以包括拜耳滤波器，该滤波器被配置为在fpa中生成ir、vis和uv像素的马赛克或图案，使得由多光谱成像模块捕获的每个图像包括关于由多光谱成像模块成像的每个场景的ir、vis和uv信息。在特定实施例中，这样的fpa可以对nir、vis和lwuv光谱的一些部分敏感，包括至少400-750nm(vis)、750-1100nm(nir)和330-400nm(lwuv)，并且拜耳滤波器可以被配置为根据特定的马赛克或图案选择性地通过这样的波段。
72.在一些实施例中，例如，这样的拜耳滤波器可以直接沉积在fpa上，和/或可以形成类似于用于rgb vis成像的马赛克的棋盘状马赛克。根据对于拜耳滤波器选择的特定马赛克和/或根据特定的去马赛克算法(例如，基于插值、光谱相关、空间相关和/或其他去马赛克技术中的一个或更多)，vis、nir或lwuv光谱中的任何一个可以相对于所得图像中的另两个光谱被强调或不给予强调。
73.在一些实施例中，可以例如基于与成像的场景或对象关联的一个或多个环境条件，或与移动平台110和/或多光谱成像系统140的成像模块142的操作状态、位置或取向关联的一个或多个环境条件，选择特定的去马赛克算法。例如，特定去马赛克算法可以被配置为基于一天中的时间(例如，太阳在天空中的位置)、移动平台110的位置和/或移动平台110
和/或多光谱成像系统140的取向来不给予强调地平线对齐的偏振的vis、nir和/或lwuv对捕获的图像的贡献，以减少由来自地平线对齐表面的环境光的相对强的反射引起的图像伪影(例如，像素饱和伪影)。在另一示例中，当预计uv贡献相对低(例如，当太阳低于地平线)时，特定去马赛克算法可以被配置为基于一天中的时间(例如，由太阳提供的自然环境光的水平)、移动平台110的位置(例如，在水平线的地形图内放置移动平台140的地理位置和高度)和/或移动平台110和/或多光谱成像系统140的取向，强调uv对捕获的图像的贡献。
74.例如，这样的拜耳滤波器可以被实现为单带通滤波器的马赛克(例如，每个像素仅接收通过的ir、vis、uv波段中的一个)，或者可以被实现为陷波宽带透射滤波器的马赛克(例如，每个像素接收除经陷波/滤波的ir、vis、uv波段中的一个之外的所有波段)。在拜耳滤波器被实现为陷波宽带透射滤波器的马赛克的实施例中，可以从接收差异化光谱(例如，与光谱差异化陷波宽带透射滤波器关联)的两个或更多个像素的线性组合合成选择的主频带。在各种实施例中，如本文所述，这样的合成可以被实现在去马赛克算法内/被包括为去马赛克算法的一部分。相对于由单带通滤波器的马赛克实现的滤波，这样的技术可以提供增加的信噪比特性。
75.在各种实施例中，多光谱成像系统140能够以合理地高的帧速率操作，使得产生的图像流足够同时以有用于移动平台的导航(例如，在操作员或自动驾驶仪经常需要做出时间关键的操纵决策的情况下)。例如，实施例能够以接近约100帧/秒或更高的帧速率操作(例如，捕获和处理图像)。
76.在特定实施例中，多光谱成像系统140能够在两个或更多个预设值上循环与成像模块142的fpa关联的积分时间，使得多光谱成像系统140可以在所有成像波段中产生高动态范围(hdr)图像。例如，这样的hdr模式可以用于在各种照明条件下提供中阱(midwell)曝光值，并且在一些实施例中，积分时间可以由多光谱成像系统140基于环境光水平(例如，在一个或多个光谱中)、在先前捕获的多光谱图像中的对比度水平和/或其他环境传感器数据和/或得出或处理的传感器数据和/或图像进行确定和/或调整。例如，在太阳光谱在ir、vis和uv中具有非常不同的场景亮度，并且场景光谱随昼夜循环而变化的情况下，这尤其重要。
77.中阱曝光值涉及在成像模块142的fpa(例如，图3的多光谱成像系统140的fpa 374)的基于cmos的实施例中的传感器元件的积分电容器在被模块控制器372跨越pcb 375(两个都是成像模块142的)读出(例如，放电)之前被允许充电到约其容量的一半的曝光事件。例如，读出频率和/或曝光时间(例如，由快门349的机械、机电和/或电子(例如lcd)实施例控制)可以至少部分地基于(例如，滤波器系统376选择的特定波段或跨多个波段的)平均场景辐射度来进行调整，使得与由fpa 374捕获的一个或多个波段关联的fpa 374的大多数传感器元件大致在它们的中阱曝光值下操作。在这样的中阱曝光值下操作导致在fpa 374的动态范围最线性部分(例如，对由fpa 374的传感器元件截获的光子提供基本线性的响应)内捕获的图像数据，这有助于避免与例如低阱电荷水平关联的图像噪声。通过循环通过不同的曝光时间(例如，积分时间)，实施例能够对于由多光谱成像系统140捕获的每个波段实现中阱操作性能。
78.例如，场景中的vis辐射率通常会高于场景中的nir或lwuv辐射率。5毫秒的曝光/积分时间可对于nir和lwuv传感器元件(例如，由滤波器系统376选择)提供中阱曝光水平，但会过度曝光fpa 374的vis传感器元件。多光谱成像系统140可被配置为根据第一5毫秒的
曝光时间捕获第一图像，然后根据第二较短的曝光时间捕获第二图像，然后将第一图像的nir和lwuv分量与第二图像的vis分量组合以生成hdr图像(例如，只要第一和第二图像一个接一个地被捕获和/或当多光谱成像系统140或至少fov 345相对于场景302基本静止时)。
79.在各种实施例中，多光谱成像系统140可以配备在由成像模块142捕获的光谱频段上是消色差的透镜系统。这样的透镜系统可以被实现有被选择为提供对于导航系统和uas成像fov要求(例如，任务、规范和/或监管要求)足够的相对宽的视场(fov)的焦距。
80.在一些实施例中，多光谱成像系统140可以被配置为根据多光谱图像分析和/或算法(例如，机载或在传输到系统100的其他处理元件之后)处理捕获的图像，该多光谱图像分析和/或算法被配置为根据场景像素是特定对象类别的一部分的可能性来分类场景像素。例如，晴朗的天空对于其具有独特的光谱，在nir中较暗而在uv中较亮。载具(即使是漆成白色的载具)也往往具有相反的光谱：在nir波段中亮而在uv波段中暗。两种场景元素因此可以至少部分地基于它们的光谱特性被可靠地分类。在各种实施例中，例如，这样的多光谱图像分析和/或算法可以通过在多光谱成像系统140内或在与多光谱导航系统100关联的一个或多个控制器内实现的卷积神经网络(cnn)执行。
81.在特定实施例中，由多光谱成像系统140和/或成像模块142提供的图像数据可以使用每个像素两个字节来编码，其中，12位编码图像数据(例如，强度)并且剩余的四位编码关于与像素关联的分类概率的信息，例如像素是天空或不是天空的95％概率。这样的数据然后可以被多光谱导航系统100用于基本上实时地(例如，以100 帧/秒的时间实例)做出操纵(例如，制动和转向)决策。
82.图3示出了根据本公开的实施例的用于多光谱导航系统100和/或300的多光谱成像系统140的图。在图3中，多光谱成像系统140包括成像模块142，该成像模块包括多光谱fpa374，其通过滤波器系统376、透镜系统378和/或可选的快门349沿着光轴344并根据fov 345接收来自场景302的光308。在各种实施例中，成像模块142可以包括印刷电路板(pcb)375或类似结构，其被配置为支撑fpa374并将fpa374和/或成像模块142的其他元件耦接到成像模块142的模块控制器372。如本文所述，滤波器系统376在一些实施例中可以被实现为具有被配置为向fpa 374的像素提供差异化光谱(例如，vis、ir和uv光谱的一些部分)的选择的马赛克的拜耳滤波器。也如本文所述，透镜系统378可以例如对于提供给fpa374的像素的差异化光谱是消色差的，并且被配置为提供fov 345。在一些实施例中，透镜系统378可以被致动，以调整fov 345、多光谱成像系统140的缩放水平和/或传送到fpa 374的光的焦点。在其他实施例中，透镜系统378可以是固定透镜系统。
83.模块控制器372可以被实现为任何适当的处理设备(例如，微控制器、处理器、专用集成电路(asic)、现场可编程门阵列(fpga)或其他逻辑设备)，其可以由成像模块142和/或多光谱成像系统140使用以执行适当的指令，例如软件指令和/或信号处理操作，例如，用于使用fpa374、滤波器系统376、透镜系统378和/或快门349捕获场景302的多光谱图像，对与这样的多光谱图像关联的原始像素数据去马赛克，和/或对与场景302内的对象304和/或背景306关联的这样的图像中的像素进行分类(例如，使用在模块控制器372内实现的cnn)。此外，模块控制器372可以被实现有各种信号处理设备，例如模数转换器(adc)、触发输入、定时电路和本文所述的其他信号或传感器处理设备。
84.在各种实施例中，fpa374可以通过类似地制造/设置尺寸的像素结构的二维平面
阵列来实现，每个像素结构被配置为在成像模块142的整个光谱频段内敏感。在其他实施例中，fpa374可以通过在结构上差异化的像素结构子阵列的阵列来实现，例如，其中，每个子阵列对成像模块142的全光谱频段的差异化子集敏感，和/或可以是非平面的(例如，相对于光轴344是凹面的)，三维的(例如，多层的)，和/或可以包括尺寸差异化的像素(例如，随着到光轴344的距离增加，具有更大的表面积)。
85.例如，滤波器系统376可以被实现为沉积或以其他方式附接到fps 374的有效表面的静态拜耳滤波器结构，或者可以被实现为可调整或可控的拜耳滤波器结构或被配置为提供fpa374的像素或fpa部分差异化的光谱照明的其他类型的滤波器结构。在特定示例中，这样的拜耳滤波器可以被实现有对于每个nir和lwuv像素的两个vis像素(例如，类似于用于具有绿色2像素和红色和蓝色各1个像素的彩色vis相机的一些拜耳滤波器图案)。这样的滤波器可以被实现为多层介电干涉型带通滤波器。更一般地，滤波器系统376可以被配置为根据两个或更多个、或者三个或更多个不同光谱提供fpa374的在空间和光谱差异化的照明，其中，每个光谱可以是完全差异化的或者可以部分地与相邻的差异化的光谱重叠。在一个实施例中，滤波器系统376的特性可以包括780-1000nm的nir波段、具有60nm半峰全宽(fwhm)的370nm的lwuv波段和一般的vis波段。
86.在其他实施例中，滤波器系统376可以至少部分地由多元光学元件滤波器阵列(例如，多元滤光器或滤波器阵列)实现。这样的特殊干涉滤波器通常根据相对复杂的改造透射曲线进行配置，该透射曲线被设计为执行光学计算操作，例如类似于缩放回归向量和场景的光谱响应之间的点积的操作。例如，回归向量通常是滤波器设计的结果，并且可以针对特定的感兴趣光谱进行优化。在一个实施例中，这样的滤波器可以包括具有选择图案的3个或可能更多不同的多元光学元件(moe)的阵列。被设计为专门检测植被、晴朗天空、阴天、路面和载具等场景光谱的moe阵列可提供优于简单的3波段方法的优势。与常规带通滤波器相比，这样的moe滤波器可以由相对较少的层构成，因此它们通常比带通滤波器在物理上更薄，这使得在fpa像素可具有与滤波器层堆叠厚度相当的尺寸的情况下它们成为滤波器阵列的有吸引力的选择。这样的moe滤波器也可倾向于具有更好的整体场景通量吞吐量(例如，当它们由比相当的带通滤波器阵列更少的层组成时)。
87.例如，透镜系统378可以被实现有一个或多个透镜实现，每个透镜配置为使光传递到fpa374的基本上所有像素，或者可以被实现有透镜阵列(例如，微透镜阵列)，每个透镜配置为使光传递到fpa374的像素子组。一般而言，在fpa对nir、vis和lwuv波段敏感的实施例中，如本文所述，透镜系统378的每个透镜可被配置为在从330-1100nm是颜色校正或消色差的。在一些实施例中，fov 345可以是非对称的(例如，以匹配对应的fpa尺寸)并且为约42乘34度。
88.虽然图3所示的实施例示出了相对紧凑的多光谱成像系统140，其被实现有能够提供场景302的单视角多光谱图像的单个多光谱成像模块142，但在其他实施例中，例如，多光谱成像系统140可以被实现有多个成像模块142，每个成像模块对单独差异化的光谱敏感，和/或每个成像模块提供场景302的不同视角，例如根据不同的光轴和/或不同的fov。
89.例如，pcb 375可以是常规的印刷电路板，并且适于提供对fpa 374和/或成像模块142的其他元件的电接入(例如，通过各种金属迹线)以及对fpa 374和/或成像模块142的其他元件的物理支撑。在一些实施例中，快门349可以被实现为机械的或可移除的遮光罩，其
适于选择性地阻挡光308的一个或多个波段。在各种实施例中，快门349可以例如通过模块控制器372和/或成像系统控制器312被电子地致动(例如，打开和/或关闭)。例如，快门349可以耦接到外壳348/由外壳348支撑，并且外壳348可以例如适于保护系统300免受与太空或大气飞行关联的环境条件和/或其他室外环境条件，例如固定或铰接安装在陆地载具上。在其他实施例中，外壳348可以适于手持使用。
90.如图3所示，多光谱成像系统140可以被实现有适于促进多光谱成像系统140的操作的各种其他部件，包括捕获场景302的多光谱图像、对场景302的去马赛克图像、检测场景302的对象304和背景306的特性(例如，存在、程度、范围、半透明度、可见颜色和/或其他特性)和/或对场景302的对象304和背景306进行分类(例如，分类为天空或非天空、机动障碍物或非机动障碍物、移动目标或非移动目标、植被或非植被、道路/土地或非道路/土地、水面或非水面、和/或其可能性)和/或如本文所述地将这样的传感器数据报告给系统100的其他元件。在一些实施例中，系统300可以通过随时间推移聚合传感器数据(例如，多帧)以提供由系统300确定的这样的特性和/或分类的基于持续时间的可靠性，然后将传感器数据传输到系统100的其他元件，来报告传感器数据。在其他实施例中，系统300可以通过激励led指示器和/或向系统300或100的部件(例如，警报器或电气开关或继电器)传输警报或通知信号来，报告传感器数据。
91.例如，取决于多光谱成像系统140和/或成像模块142的期望应用和/或总体尺寸，成像传感器控制器312、存储器146、用户接口332、通信模块144、显示器333和其他模块152中的每一个，如果可选地包括在多光谱成像系统140中，则可以耦接到pcb 375或外壳348。在其他实施例中，任何一个或一组这样的部件可以在例如多光谱成像系统140的外部和/或以分布式或分组方式实现(例如，多个成像系统控制器312操作多光谱成像系统140，或多个多光谱成像系统140由单个成像系统控制器312操作)。
92.成像系统控制器312可以被实现为任何适当的处理设备(例如，微控制器、处理器、专用集成电路(asic)、现场可编程门阵列(fpga)或其他逻辑设备)，系统300可以使用该处理设备执行适当的指令，例如软件指令和/或信号处理操作，用于例如使用成像模块142捕获场景302的多光谱图像、对与这样的多光谱图像关联的原始像素数据去马赛克、对这样的图像中的场景302的像素和/或元素进行分类(例如，使用在成像系统控制器312内实现的cnn)和/或将这样的传感器数据/信息报告给多光谱导航系统100或300的其他元件。此外，如本文所述，成像系统控制器312可以被实现有各种信号处理设备，例如模数转换器(adc)、触发输入、定时电路和其他信号或传感器处理设备。
93.在各种实施例中，成像系统控制器312的至少某部分或某功能可以是单独的系统的其他现有控制器或逻辑设备的一部分或被实现有单独的系统的其他现有控制器或逻辑设备，例如服务器、个人电子设备(例如，移动电话、智能电话、平板设备、膝上型计算机、台式计算机)和/或可用于处理、报告或作用于由系统300捕获的多光谱图像的任何其他设备。在其他实施例中，成像系统控制器312可以适于与各种外部控制器或逻辑设备和关联组件接口连接和通信和/或以分布式方式执行各种操作。
94.一般而言，成像系统控制器312可以适于与系统300的其他部件接口连接和通信，以执行本文所述的方法和过程。在一个实施例中，成像系统控制器312可以例如适于使用通信模块144来报告多光谱图像和/或像素/对象分类，以显示333和呈现和/或显示这样的信
息或警报通知，或者呈现和/或显示与场景302对应的分类图的图像。在另一实施例中，成像系统控制器312可以适于使用通信模块144来建立与例如远程报告系统的有线或无线通信链路，并且报告这样的传感器信息。
95.存储器146通常至少与成像系统控制器312通信并且可以包括一个或多个存储器设备(例如，存储器部件)以存储信息，包括图像数据、校准数据、其他类型的传感器数据和/或软件指令。这样的存储设备可以包括各种类型的易失性和非易失性信息存储设备，例如ram(随机存取存储器)、rom(只读存储器)、eeprom(电可擦只读存储器)、闪存、盘驱动器和/或其他类型的存储器。在一个实施例中，存储器146可以包括可移动存储器设备，该可移动存储器设备可以从系统300移除并且用于将存储的数据传送到其他系统以供进一步处理和检查。
96.通信模块144可以被配置为促进系统300的各种部件之间(例如，成像系统控制器312和存储器146和/或显示器333之间)和/或各种外部设备(例如无线接入点、个人电子设备、服务器和/或其他检测器)之间的通信和接口连接。例如，诸如用户接口332和显示器333的部件可以通过通信模块144向成像系统控制器312传输数据和从成像系统控制器312接收数据，该通信模块144可以适于管理各种部件之间的有线和/或无线通信链路。因此，通信模块144可以支持用于本地系统网络的各种接口、协议和标准，例如控制器局域网(can)总线、本地互连网络(lin)总线、面向媒体系统传输(most)网络、或iso 11738(或iso总线)标准。
97.在一些实施例中，成像系统控制器312可以适于通过通信模块144与远程用户接口、通知系统或其他检测系统通信，以例如聚合来自多个系统或传感器的报告和/或实现特定的检测和/或通知方法。因此，通信模块144可以包括无线通信部件(例如，基于ieee 802.11wifi标准、蓝牙
tm
标准、zigbee
tm
标准或其他适当的短距离无线通信标准)、无线宽带部件(例如，基于wimax技术)、移动蜂窝部件、无线卫星部件或其他适当的无线通信部件。通信模块144还可以被配置为通过诸如以太网接口的有线通信部件与有线网络和/或设备接口连接。
98.如果存在，则用户接口332提供与多光谱成像系统140的用户交互，并且可以包括一个或多个按钮、指示器(例如led)、键盘、轨迹球、旋钮、操纵杆、显示器(例如，液晶显示器、触摸屏显示器)和/或适于接受用户输入和/或提供用户反馈的其他类型的用户接口。在一个实施例中，用户接口332可以包括电源按钮、振动马达、指示机动障碍物的led和/或提供机动障碍物的可听指示的扬声器(例如，可见的、触觉的和/或可听的指示器)。在各种实施例中，如本文所述，用户接口332可用于输入各种系统配置设置，例如积分时间参数、去马赛克算法选择和/或其他配置设置。在一些实施例中，用户接口332可用于查看由系统300捕获和/或根据本文描述的各种操作处理的一个或多个报告、图表和/或其他图像数据。
99.如果存在，则显示器333可以被配置为呈现、指示或以其他方式传达警报、通知和/或图像数据和/或对象或像素分类的其他报告(例如，由成像系统控制器312生成)。显示器333可以用电子显示屏实现，例如液晶显示器(lcd)、阴极射线管(crt)或各种其他类型的通常已知的视频显示器和监视器，包括触敏显示器。显示器333可适用于呈现图像数据、图表、视频、报告或本文所述的其他信息。
100.其他模块152可以包括温度传感器/探针(例如，热电偶、红外温度计)、led或激光二极管、环境光传感器、电压调节器和/或滤波器、可变电压源和/或如本文所述可用于促进
多光谱成像系统140的操作的其他类型的设备。在一些实施例中，其他模块152可以包括gnss、加速度计、罗盘和/或能够感测多光谱成像系统140的位置和/或取向的其他取向传感器。其他模块152可以附加地包括被实现为电池的电源模块、电源适配器、充电电路、电源接口、电源监测器和/或提供移动电源的其他类型的电源。
101.根据本文所述的实施例，多光谱导航系统可受益于被配置为提高这样的系统的操作灵活性、可靠性和准确性的各种多光谱成像和可视化技术。特别地，实施例可以被配置为提供各种显示视图，例如，包括基于由多光谱成像系统140和/或系统100的其他成像器提供的图像的增强现实视图，从而允许用户使用和监测这样的特征和能力，并且可以根据被配置为减轻领航负担、保护这样的系统的移动平台的操作以及比常规导航系统更快且更可靠地定性和定量评估潜在的机动障碍物和规避选项的各种过程和/或控制回路来实现。
102.在各种实施例中，系统100可以被配置为通过使用多光谱成像系统140和安装到移动平台110的其他传感器来可视化和表征机动障碍物。通常，移动平台110可以将传感器数据中继到机载操作员或基站130和/或副领航站230处的远程操作员，其中，传感器数据可以被处理或用于操纵移动平台110。这样的传感器数据也可以在显示器上呈现以帮助可视化和表征机动障碍物，从而辅助人类操作员检测并规避机动障碍物。例如，系统100的元件可以自主地对一个或多个机动障碍物的范围绘图并将得到的传感器数据叠加到地理空间图表或图像上，使得操作员可以可视化机动障碍物的全范围并安全地前进。在系统100或300包括手持移动平台的实施例中，系统100或300的元件可以聚合各种数据，以向手持平台的用户提供关键和及时的警告和/或安全指令。
103.实施例可以将2d或3d传感器数据作为图标或彩色高光或斑点(blobs)叠加到地理空间地图或图像上，使得用户可以可视化机动障碍物的范围。实施例可以可选地包括第二屏幕/附加基站，使得除了uav/ugv领航员之外的用户可以查看/处理传感器数据。
104.在一些实施例中，显示视图(例如，由用户接口132和/或显示器333呈现)可以包括由各种选择器/指示器组(例如，标头、有效负载控制器菜单、视频馈送和平台遥测指示器)围绕的地理空间图表或增强图像，该选择器/指示器组被配置为可视化和/或量化机动障碍物并操作移动平台110和/或移动平台110的元件。例如，标头可以包括一个或多个选择器和/或指示器，其被配置为例如接收特定选择器的用户选择，以启用、禁用或选择激活的传感器有效载荷(例如，多光谱成像系统140、环境传感器160)以在地理空间图表或增强图像中显示对应的地理参考传感器数据，或指示移动平台110和/或移动平台110的各种元件的操作状态。
105.在相关实施例中，地理空间图表或增强图像包括呈现在基础地图或图表上方的移动平台指示器和机动障碍物叠加。在各种实施例中，系统100可以被配置为至少部分地基于当移动平台110在地理空间图表或增强图像中显示的区域内操纵时由多光谱成像系统140、环境传感器160提供的传感器数据和取向和/或位置数据(例如，由ops 167和/或移动平台110的其他取向和/或位置或运动传感器或移动平台110的元件提供)来确定地理空间图表或增强图像内的机动障碍物叠加的形状、范围和/或其他特性。例如，系统100可以被配置为基于由移动平台110提供的传感器数据和/或环境条件确定从光轴344的视角的与对象304关联的范围，并根据颜色映射呈现机动障碍物叠加，以指示相对范围或接近速度，例如暖色(例如，红色)指示相对靠近或快速接近的机动障碍物，而冷色(例如，蓝色)指示相对较远或
快速后退的机动障碍物。
106.在另一实施例中，系统100可以被配置为例如确定多种类型的机动障碍物存在于特定勘测区域或场景内，并且根据显示视图中呈现的不同叠加层来呈现每种类型的机动障碍物，每一叠加层可以由用户选择性地启用和/或禁用。
107.在各种实施例中，移动平台110可以被配置为基于例如由多光谱成像系统140和/或环境传感器160提供的传感器数据和/或基于由安装到移动平台110的传感器测量或由外部系统测量并传送到系统100的各种环境条件(例如，由在线数据库通过链接到基站130或副领航站230的无线网络提供的区域天气数据)来调整其路线。因此，移动平台110可以被配置为自主地避开机动障碍物或危险环境(例如，显著的下降气流或其他不希望的环境条件和/或在这样的不希望的环境条件内的机动障碍物)。例如，将uav/ugv发送到危险环境中可能使移动平台110处于损坏的风险。通过添加基于载具上承载的多光谱图像和环境传感器的智能操纵避障，可以通过自动路线调整限制碰撞风险和/或低效操纵，从而保护移动平台110及其关联的传感器套件。
108.本文所述的实施例可以提供对机动障碍物的自主反应。例如，控制器112和/或基站130或副领航站230的控制器可以被配置为从移动平台110和/或从安装到移动平台110的传感器接收多光谱图像、分类数据和/或其他传感器数据并确定路线调整以避开检测到的机动障碍物和/或环境条件。路线调整的示例可以包括停止、转向、爬升和/或反向线路，以从机动障碍物或危险环境撤退或以其他方式避开机动障碍物或危险环境。例如，这样的路线调整可以中继到基站130的用户，或者可以由移动平台110直接/自主地实现。这样的自主响应旨在保持移动平台110的完整性并促进到达期望的目的地。
109.图4-6示出了根据本公开的实施例的显示视图400、500和600，其包括由用于多光谱导航系统100或300的多光谱成像系统140生成的图像。在图4中，显示视图400示出了邻域和各种场景元素(例如，道路、人行道、栅栏、植被和植被后面的结构，所有场景元素都在多云的天空下面)的相对高分辨率的可见光谱rgb或彩色图像402。在图5中，显示视图500示出了可见光谱彩色图像402中描绘的相同场景的单色可见光谱图像502、nir图像504和lwuv图像506。图6示出了包括多光谱图像602的显示视图600，该多光谱图像包括光谱单色可见光谱图像502、nir图像504和lwuv图像506中的每一个的特性，其中，每个差异化的光谱被映射到人眼通常可见的r、g和b通道(例如，nir图像数据被映射到r通道，vis数据被映射到g通道，而lwuv数据被映射到b通道)。
110.从图4-6可以看出，白天天空光谱特征在nir图像中具有相对低的光谱特征/亮度，在vis图像中具有中等光谱特征/亮度，而在lwuv图像中具有相对非常亮的光谱特征/亮度。因此，与使用vis图像时相比，在lwuv图像中以天空为背景显出轮廓的对象从天空中分割出来更容易得多，并且多光谱分析能够更好地区分天空和前景对象，例如其他移动平台。例如，很难想象在图5中描绘的所有三个波段中天空和某个封闭对象同时具有相同的表观辐射度的白天场景。此外，当对象或机动障碍物超出可靠的lidar范围时，这样的多光谱分析特别有用。因此，实施例通常能够使用简单的图像减法来在场景中从其他对象分割出天空，即使当对象在可见光谱中看起来相似时也是如此。此外，机载cnn或其他机器视觉引擎(例如，在模块控制器372和/或成像系统控制器312内实现)可以快速执行像素和/或对象分类，并将包括“标记的”像素或像素组的多光谱图像数据发送到多光谱导航系统100的元件，并
确定各种操纵调整以避开机动障碍物，如本文所述。
111.在图5的各种图像中，可以看到在uv波段中抑制了自然光阴影。例如，瑞利散射通常会使整个天空在散射的uv阳光下相对明亮地发微光。由于整个天穹都被照亮，因此在uv波段中的阴影较不强烈(例如，如lwuv图像506中所示)。此外，lwuv图像中的许多前景对象将往往看起来很暗，因为uv被许多分子表面吸收。相比之下，由于瑞利散射较少，因此阴影在nir波段中往往会被增强(例如，如nir图像504所示)。因此，将nir图像504和lwuv图像506彼此相减产生强调图像中的哪些像素可能是阴影的多光谱图像(例如，从而将这样的像素分类为阴影或非阴影，可选地具有关联的可能性)。
112.在另一示例中，以干净的雪为背景的白色衣服在vis图像中通常不可见或对比度低，特别是在具有朦胧或不存在阴影的漫射环境光中。然而，在lwuv图像中，以干净的雪为背景的白色衣服通常非常明显，对比度相对高，并且可以利用cnn分析和/或从vis图像中减去lwuv图像的图像减法相当容易地进行检测。
113.图7示出了根据本公开的实施例的使用多光谱导航系统提供辅助或自动领航导航的各种操作的流程图700。在一些实施例中，图7的操作可以被实现为由与图1-3中描绘的对应电子设备、传感器和/或结构关联的一个或多个逻辑设备或控制器执行的软件指令。更一般地，图7的操作可以用软件指令、机械元件和/或电子硬件(例如，电感器、电容器、放大器、致动器或其他模拟和/或数字部件)的任何组合来实现。
114.还应当理解，过程700的任何步骤、子步骤、子过程或框可以以不同于图7所示实施例的顺序或布置来执行。例如，在其他实施例中，一个或多个框可以从每个单独的过程中省略，或添加到每个单独的过程。此外，框输入、框输出、各种传感器信号、传感器信息、校准参数和/或其他操作参数可以在移动到对应过程的随后部分之前存储到一个或多个存储器。尽管参考图1-3中描述的系统描述了过程700，但是过程700可以由不同于那些系统并且包括电子设备、传感器、组件、机构、平台和/或平台属性的不同选择的其他系统执行。
115.图7的过程700可以总体上与用于使用多光谱导航系统100来导航勘测区域的方法对应。
116.在框702处，接收与移动平台的规划路线对应的多光谱图像数据。例如，控制器112、312和/或372、通信模块120、144和/或134、用户接口132和/或系统100的其他元件可以被配置为在移动平台110沿着规划路线(例如，在场景302内)操纵时从多光谱成像系统140和/或成像模块142接收多光谱图像数据。
117.在框704中，接收与多光谱图像数据对应的取向和位置数据。例如，系统100可以被配置为接收与在框702中接收的多光谱图像数据对应的取向和/或位置数据(例如，从系统100的各种取向、位置和/或其他运动传感器)。
118.在框706中，生成机动障碍物信息。例如，系统100可以被配置为至少部分地基于在框702和704中接收的取向和/或位置数据以及多光谱图像数据的组合生成与移动平台110的规划路线(例如，在场景302内)对应的机动障碍物信息(例如，指示场景302中对象304的位置、范围和/或其他特性)。
119.在框708中，呈现包括机动障碍物信息的显示视图。例如，系统100可以被配置为在用户接口132的显示器和/或多光谱成像系统140的显示器333中呈现包括在框706中生成的机动障碍物信息的显示视图(例如，图4-6的显示视图)。
120.在框710中，确定规划路线与机动障碍物区域的相交。例如，系统100可以被配置为至少部分地基于在框706中生成的机动障碍物信息来确定移动平台110的规划路线与场景302中的至少一个对象304的位置和/或范围相交。
121.在框712中，调整移动平台的规划路线。例如，系统100可以被配置为调整移动平台110的规划路线以避开在框710中确定的与移动平台110的规划路线相交的一个或多个机动障碍物(例如，场景302中的多个对象304)。例如，系统100可以被配置为确定避开路线，该避开路线被配置为避开场景302内的所有机动障碍物并且通常根据预定的航向或路径到达预定目的地或穿过场景302。在其他实施例中，系统100可以被配置为确定一系列避开路线，该避开路线被配置为在移动平台110操纵通过场景302时避开场景302内的各个机动障碍物。
122.通过提供这样的用于多光谱导航的系统和技术，本公开的实施例大大提高了包括无人传感器平台的有人和无人移动平台的操作灵活性和可靠性。此外，这样的系统和技术可用于提高移动平台(包括无人移动传感器平台)的用户和操作员的操作安全性，超过常规系统所能达到的安全性。因此，实施例提供了具有显著增加的操作便利性和性能的多光谱成像系统和导航系统。
123.如上所述，场景中载具经常遇到的另一类重要的对象是植被。健康的植强烈地反射nir辐射，尤其是在800nm波段。具有测量可见波段辐射和nir辐射能力的相机系统可以被配置为检测所谓的红边：与大多数植被中的海绵状叶肉组织关联的反射率从700nm急剧上升到800nm。
124.一种识别树叶的算法是归一化差分植被指数或ndvi。该度量通常用于卫星远程感测。传统的ndvi最常被定义为多光谱图像中nir波段和可见红波段之间的归一化对比度。对于所公开的多光谱成像系统的实施例，通常不存在与可见绿色或蓝色不同的单独的可见红色波段，因此可以修改传统的nvdi以形成mndvi，以根据nir与全可见光谱光之间的对比度来对其进行定义：
125.mndvi＝(nir-vis)/(nir vis)
126.使用mndvi的这种定义，可以识别和选择阈值，以将多光谱图像中的像素分类为与成像场景中的植被关联。典型的阈值范围包括0.3-0.4的mndvi。
127.另一有用的度量可以称为归一化差分天空指数或ndsi。例如，天空的lwuv和nir图像之间通常存在强烈对比度，因为瑞利散射截面随波长的变化非常强烈：
128.σ
瑞利
～波长-4
129.lwuv光将比nir光散射约16倍(例如，波长为nir的两倍)，这使得天空在lwuv波段显得亮而在nir波段显得暗。这个ndsi度量可以定义为：
130.ndsi＝(lwuv-nir)/(lwuv nir)
131.使用ndsi的这种定义，可以识别和选择阈值，以将多光谱图像中的像素分类为与成像场景中的天空关联。典型的阈值包括约0.2的ndsi。
132.图8-10示出了根据本公开的实施例的显示视图800、900和1000，显示视图800、900和1000包括由用于多光谱导航系统100或300的多光谱成像系统140生成的图像。图8-10示出了同一场景的三个视图。在图8中，显示视图800示出了具有公路入口匝道和各种场景元素(例如，路灯、具有喷涂车道和方向指示器的道路、街道标志、人行道、栅栏、植被、桥梁和山脉，所有场景元素都在晴朗的天空下)的主交叉口的相对高分辨率的可见光谱rgb或彩色
图像802。更一般地说，图8示出了典型adas场景的全彩色可见光图像。
133.在图9中，显示视图900示出了多光谱图像902，其包括可见光谱彩色图像802中描绘的相同场景的vis图像、nir图像和lwuv图像中的每一个的光谱特性，其中，每个差异化的光谱被映射到人眼通常可见的r、g和b通道(例如，nir图像数据映射到r通道，vis数据被映射到g通道，而lwuv数据被映射到b通道)。图10示出了包括经处理图像或分类图1002的显示视图1000，如使用mndvi和ndsi以及适当的阈值逐像素地识别，其将植被显示为红色、将天空显示为蓝色并将其余部分显示为黑色，如本文所述。例如，用于生成分类图1002的特定mndvi和ndsi阈值分别为0.35和0.2。
134.公开的多光谱成像系统的实施例可以被配置为将诸如绿色道路标志的绿色对象与绿色植被区分开来。这样的能力使adas更容易识别和分割出绿色道路标志，并使用光学字符识别将成像的文本中的信息合并到其一般数据流中。此外，使用来自nir和vis波段的测量更容易在绿色植被背景中看到绿色载具。相比之下，如果使用常规的彩色相机，则绿色标志和道路上或停泊在路边的绿色载具都有在绿色植被的背景下丢失的风险。
135.例如，公路的lwuv图像可能会提供标志和其后面的植被之间最小的对比度，但在lwuv图像中，天空和其他一切东西之间通常存在相对高的对比度。因此，同一场景的多光谱图像将能够显示清楚地相互界定开的天空和植被。使用本文提供的光谱映射，可以在多光谱图像中用黄灰色描绘道路。因此，可以将路面(例如，使用映射的rgb颜色阈值)分类为与成像场景中的植被和天空两者不同，因为路面的多光谱外观与天空和植被的多光谱外观非常不同。选择适当的阈值、结构形态和/或识别其他分类处理特性或技术可包括实现适当的cnn训练和分类技术，其中，训练cnn以分类对adas重要的各种不同图像特征。
136.使用本文所述的技术，本文所述的多光谱导航系统的实施例能够：识别植被，因为它在nir波段较亮，但在其他两个波段较暗；识别晴朗的天空，因为它在lwuv波段较亮，但在其他两个波段较暗；区分红色led尾灯和具有红色滤波器的白炽灯尾灯；和通过穿过车窗的可见光来限定车窗的位置。实施例还能够：区分人造表面与自然表面；区分绿色载具和植被；区分天蓝色的载具和晴朗的天空；区分白色载具和阴天；区分结冰的道路和无冰的道路；和区分湿路和干路。
137.在适用的情况下，本公开提供的各种实施例可以使用硬件、软件或硬件和软件的组合来实现。此外，在适用的情况下，本文阐述的各种硬件组件和/或软件组件可以组合成包括软件、硬件和/或两者的复合组件，而不背离本公开的精神。在适用的情况下，在不背离本公开的精神的情况下，本文阐述的各种硬件组件和/或软件组件可以被分离成包括软件、硬件或两者的子组件。此外，在适用的情况下，可以设想软件组件可以被实现为硬件组件，反之亦然。
138.根据本公开的软件，例如非暂时性指令、程序代码和/或数据，可以存储在一个或多个非暂时性机器可读介质上。还可以设想，可以使用联网的和/或其他方式的一个或多个通用或专用计算机和/或计算机系统来实现本文中识别的软件。在适用的情况下，本文描述的各个步骤的顺序可以改变、组合成复合步骤和/或分离成子步骤，以提供本文描述的特征。
139.上述实施例说明但不限制本发明。还应该理解，根据本发明的原理，许多修改和变化都是可能的。因此，本发明的范围仅由随附权利要求限定。