一种基于激光脚点约束区域的多光谱图像配准方法及装置与流程

1.本发明涉及图像处理技术领域，尤其涉及一种基于激光脚点约束区域的多光谱图像配准方法及一种基于激光脚点约束区域的多光谱图像配准装置。


背景技术：

2.不同传感器或同一传感器在不同时间获得的图像往往会存在相对平移、旋转、缩放甚至畸变等差异，这对图像融合处理是非常不利的，会使图像融合结果包含较多的错误信息或产生较大的形变，消除这种差异的过程称为图像配准。
3.在实际工作中，常采用的相对配准方法，其主要思想是取一幅图像作为配准的标准，称它为参考图；另一幅图像称为配准图；将配准图像配准至参考图像坐标系下。根据待配准图像之间的关系，brown将图像配准分为基于多传感器的图像配准、基于模板的图像配准、基于多角度的图像配准及基于时间序列的图像配准这四类。
4.目前，根据图像配准所利用的图像信息可以将配准方法分为基于灰度的方法和基于特征的方法。当两幅图像没有配准时，图像处理算法将失去分析和计算的基础；如果配准精度较高，就可以为图像的后续处理提供较好的技术支持和保障。因此，图像配准十分重要。


技术实现要素：

5.针对现有技术中的缺陷和不足，本发明提供了一种基于激光脚点约束区域的多光谱图像配准方法及装置，解决了在传统无人机多光谱图像配准过程中匹配点少，精度低造成的配准误差较大的问题。
6.作为本发明的第一个方面，提供一种基于激光脚点约束区域的多光谱图像配准方法，包括：步骤s1：获取标定后的多光谱相机和多波长激光器；步骤s2：通过所述标定后的多波长激光器发射多波长激光，以形成多个激光脚点；及通过所述标定后的多光谱相机采集一组包含所有激光脚点的原始多光谱图像；步骤s3：从所有原始多光谱图像的重叠区域选取多个激光脚点作为标记点，多个标记点构成激光脚点约束区域；步骤s4：将所述激光脚点约束区域作为配准基元图像，依据所述配准基元图像中的激光脚点间距离信息，得到配准参考坐标系，并计算所述配准基元图像的坐标与所述配准参考坐标系下的参考坐标之间的坐标变换参数；步骤s5：根据所述坐标变换参数，将所有原始多光谱图像全部配准到所述配准参考坐标系下，并对全部配准到所述配准参考坐标系下的原始多光谱图像进行融合，以实现多光谱图像的配准融合。
7.进一步地，所述获取标定后的多光谱相机和多波长激光器，包括：将所述多波长激光器和所述多光谱相机进行整合，整合前，需要对所述多光谱相
机进行标定，其中，所述多波长激光器的波长在所述多光谱相机各通道光谱波段范围内选择，具体包括如下步骤：对所述多光谱相机的各通道光谱波段进行标定，以确定所述多波长激光器的光源波长；对所述多光谱相机拍摄的图像进行辐射校正及几何校正；调整所述多波长激光器，保证形成的激光脚点在各通道原始多光谱图像中均匀分布。
8.进一步地，所述将所述激光脚点约束区域作为配准基元图像，包括：将所述激光脚点约束区域中的激光脚点、激光脚点连线或者激光脚点连线平面作为所述配准基元图像。
9.进一步地，所述依据所述配准基元图像中的激光脚点间距离信息，得到配准参考坐标系，所述配准参考坐标系为北东地坐标系，包括：利用机载gps定位信息及imu位姿信息，结合所述配准基元图像中的激光脚点间距离信息，得到所述北东地坐标系。
10.进一步地，所述通过所述标定后的多波长激光器发射多波长激光，以形成多个激光脚点；及通过所述标定后的多光谱相机采集一组包含所有激光脚点的原始多光谱图像，包括：所述多波长激光器通过激光合束技术，对多个波长的激光光束进行合束，使多路激光通过投射和反射的方法合成到一条光路上，以保证所述多光谱相机各通道采集到的是同一个激光脚点的反射信息。
11.作为本发明的另一个方面，提供一种基于激光脚点约束区域的多光谱图像配准装置，用于实现前文所述的基于激光脚点约束区域的多光谱图像配准方法，所述基于激光脚点约束区域的多光谱图像配准装置包括：获取模块，用于获取标定后的多光谱相机和多波长激光器；所述标定后的多波长激光器，用于发射多波长激光，以形成多个激光脚点；所述标定后的多光谱相机，用于采集一组包含所有激光脚点的原始多光谱图像；选取模块，用于从所有原始多光谱图像的重叠区域选取多个激光脚点作为标记点，多个标记点构成激光脚点约束区域；计算模块，用于将所述激光脚点约束区域作为配准基元图像，依据所述配准基元图像中的激光脚点间距离信息，得到配准参考坐标系，并计算所述配准基元图像的坐标与所述配准参考坐标系下的参考坐标之间的坐标变换参数；配准融合模块，用于根据所述坐标变换参数，将所有原始多光谱图像全部配准到所述配准参考坐标系下，并对全部配准到所述配准参考坐标系下的原始多光谱图像进行融合，以实现多光谱图像的配准融合。
12.进一步地，所述获取模块，具体用于将所述多波长激光器和所述多光谱相机进行整合，整合前，需要对所述多光谱相机进行标定，其中，所述多波长激光器的波长在所述多光谱相机各通道光谱波段范围内选择，具体包括：对所述多光谱相机的各通道光谱波段进行标定，以确定所述多波长激光器的光源波长；
对所述多光谱相机拍摄的图像进行辐射校正及几何校正；调整所述多波长激光器，保证形成的激光脚点在各通道原始多光谱图像中均匀分布。
13.进一步地，所述计算模块，还用于将所述激光脚点约束区域中的激光脚点、激光脚点连线或者激光脚点连线平面作为所述配准基元图像。
14.进一步地，所述配准参考坐标系为北东地坐标系，利用机载gps定位信息及imu位姿信息，结合所述配准基元图像中的激光脚点间距离信息，得到所述北东地坐标系。
15.进一步地，所述多波长激光器通过激光合束技术，对多个波长的激光光束进行合束，使多路激光通过投射和反射的方法合成到一条光路上，以保证所述多光谱相机各通道采集到的是同一个激光脚点的反射信息。
16.本发明提供的基于激光脚点约束区域的多光谱图像配准方法具有以下优点：在基于激光脚点约束区域的多光谱图像配准融合过程中，首先对相机进行标定处理，消除多光谱相机自身及环境等因素造成的图像失真；然后，利用多波长激光器确定配准基元并使用合适的配准策略，解决了在传统无人机多光谱图像配准过程中匹配点少，精度低造成的配准误差较大的问题。
附图说明
17.附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。
18.图1为本发明提供的基于激光脚点约束区域的多光谱图像配准方法的流程图。
19.图2为本发明提供的基于激光脚点约束区域的多光谱图像配准方法的具体实施方式流程图。
20.图3为本发明提供的多光谱图像的重叠区域示意图。
21.图4为本发明提供的激光脚点约束区域示意图。
22.图5为本发明提供的北东地ned坐标系与相机像素坐标系的示意图。
具体实施方式
23.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互结合。下面将参考附图并结合实施例来详细说明本发明。
24.为了使本领域技术人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
25.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包括，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
26.在本实施例中提供了一种基于激光脚点约束区域的多光谱图像配准方法，图1为本发明提供的基于激光脚点约束区域的多光谱图像配准方法的流程图。如图1所示，所述基于激光脚点约束区域的多光谱图像配准方法，包括：步骤s1：获取标定后的多光谱相机和多波长激光器；步骤s2：通过所述标定后的多波长激光器发射多波长激光，以形成多个激光脚点；及通过所述标定后的多光谱相机采集一组包含所有激光脚点的原始多光谱图像；步骤s3：从所有原始多光谱图像的重叠区域选取多个激光脚点作为标记点，多个标记点构成激光脚点约束区域；步骤s4：将所述激光脚点约束区域作为配准基元图像，依据所述配准基元图像中的激光脚点间距离信息，得到配准参考坐标系，并计算所述配准基元图像的坐标与所述配准参考坐标系下的参考坐标之间的坐标变换参数；步骤s5：根据所述坐标变换参数，将所有原始多光谱图像全部配准到所述配准参考坐标系下，并对全部配准到所述配准参考坐标系下的原始多光谱图像进行融合，以实现多光谱图像的配准融合。
27.在本实施例中，除了步骤s4和s5中的配准策略外，另一种配准策略是定义一幅图像为基准图像，其他图像为待配准图像，将所有待配准图像配准至基准图像坐标系下。
28.本发明实施例提供的基于激光脚点约束区域的多光谱图像配准方法，如图2所示，主要包括相机标定校正、激光合束、激光脚点匹配、原始多光谱图像配准融合等，能在特征点有限、原始图像特征点提取困难精度低的情况下，实现多光谱图像配准融合。
29.优选地，所述获取标定后的多光谱相机和多波长激光器，包括：将标定后的所述多波长激光器和所述多光谱相机进行整合，整合前，需要对所述多光谱相机进行标定，其中，所述多波长激光器的波长在所述多光谱相机各通道光谱波段范围内选择，具体包括如下步骤：对所述多光谱相机的各通道光谱波段进行标定，以确定所述多波长激光器的光源波长，并对多波长激光器进行标定；在本实施例中，多波长激光器的设置，利用到激光合束技术，将多路激光通过投射和反射的方法合成到一条光路上，将多个单波长激光器整合起来。
30.对所述多光谱相机拍摄的图像进行辐射校正及几何校正，消除多光谱图像失真；调整所述多波长激光器，保证形成的激光脚点在各通道原始多光谱图像中均匀分布。标定后的所述多波长激光器和所述多光谱相机整合后，激光脚点可被多光谱相机各通道清晰采集，各光谱图像中相应的同一地面激光脚点一一对应。
31.具体地，对多光谱相机的各通道公共视场进行标定，本实施例以四通道多光谱相机为例，多光谱相机所有光谱通道有重叠区域，即所有原始多光谱图像的重叠区域，请参阅图3，图中1、2、3、4为四通道原始多光谱图像，5为所有原始多光谱图像重叠区域；通过多波长激光器在多光谱相机的公共视场内（等同于图像重叠区域5）选定标记点，本实施例以三个标记点为例，请参阅图4，在图像重叠区域5中，三个激光脚点像点13、14、15构成一个约束区域，各波段光谱图像中对应的激光脚点可以构成一组特征匹配点对，对应的脚点连线可以构成一组特征匹配线对，对应的脚点平面可以构成一组特征匹配面对。
32.具体地，在激光脚点约束区域内，本实施例中以脚点特征匹配点对作为配准基元
图像，基于仿射变换模型，利用配准基元图像的坐标与北东地坐标计算坐标变换参数。在本实施例中，利用机载gps定位信息及imu位姿信息，结合激光脚点距离信息，得到北东地ned坐标系，并选用北东地坐标系作为配准参考坐标系。根据坐标变换参数，将原始多光谱图像全部配准到北东地坐标系下，原始多光谱图像的像素坐标p（x,y,z)投影到北东地坐标p(u,v)的模型如图5所示，进而实现多光谱图像的配准融合，得到融合后的图像。
33.优选地，所述将所述激光脚点约束区域作为配准基元图像，包括：将所述激光脚点约束区域中的激光脚点、激光脚点连线或者激光脚点连线平面作为所述配准基元图像。
34.优选地，所述依据所述配准基元图像中的激光脚点间距离信息，得到配准参考坐标系，所述配准参考坐标系为北东地坐标系，包括：利用机载gps定位信息及imu位姿信息，结合所述配准基元图像中的激光脚点间距离信息，得到所述北东地坐标系。
35.优选地，所述通过所述标定后的多波长激光器发射多波长激光，以形成多个激光脚点；及通过所述标定后的多光谱相机采集一组包含所有激光脚点的原始多光谱图像，包括：所述多波长激光器通过激光合束技术，对多个波长的激光光束进行合束，使多路激光通过投射和反射的方法合成到一条光路上，以保证所述多光谱相机各通道采集到的是同一个激光脚点的反射信息。
36.作为本发明的另一实施例，提供一种基于激光脚点约束区域的多光谱图像配准装置，用于实现前文所述的基于激光脚点约束区域的多光谱图像配准方法，所述基于激光脚点约束区域的多光谱图像配准装置包括：获取模块，用于获取标定后的多光谱相机和多波长激光器；所述标定后的多波长激光器，用于发射多波长激光，以形成多个激光脚点；所述标定后的多光谱相机，用于采集一组包含所有激光脚点的原始多光谱图像；选取模块，用于从所有原始多光谱图像的重叠区域选取多个激光脚点作为标记点，多个标记点构成激光脚点约束区域；计算模块，用于将所述激光脚点约束区域作为配准基元图像，依据所述配准基元图像中的激光脚点间距离信息，得到配准参考坐标系，并计算所述配准基元图像的坐标与所述配准参考坐标系下的参考坐标之间的坐标变换参数；配准融合模块，用于根据所述坐标变换参数，将所有原始多光谱图像全部配准到所述配准参考坐标系下，并对全部配准到所述配准参考坐标系下的原始多光谱图像进行融合，以实现多光谱图像的配准融合。
37.优选地，所述获取模块，具体用于将所述多波长激光器和所述多光谱相机进行整合，整合前，需要对所述多光谱相机进行标定，其中，所述多波长激光器的波长在所述多光谱相机各通道光谱波段范围内选择，具体包括：对所述多光谱相机的各通道光谱波段进行标定，以确定所述多波长激光器的光源波长；对所述多光谱相机拍摄的图像进行辐射校正及几何校正；调整所述多波长激光器，保证形成的激光脚点在各通道原始多光谱图像中均匀分
布。
38.优选地，所述计算模块，还用于将所述激光脚点约束区域中的激光脚点、激光脚点连线或者激光脚点连线平面作为所述配准基元图像。在本实施例中，如激光脚点、脚点连线、脚点所定平面或者基于灰度信息作为配准基元。
39.优选地，所述配准参考坐标系为北东地坐标系，利用机载gps定位信息及imu位姿信息，结合所述配准基元图像中的激光脚点间距离信息，得到所述北东地坐标系。
40.优选地，所述多波长激光器通过激光合束技术，对多个波长的激光光束进行合束，使多路激光通过投射和反射的方法合成到一条光路上，以保证所述多光谱相机各通道采集到的是同一个激光脚点的反射信息。
41.优选地，所述多光谱相机的各光谱通道有公共视场，表现为同时采集的各光谱通道图像有重叠区域。
42.优选地，所述多波长激光器的波长在多光谱相机波段覆盖范围内，且波长数不少于多光谱相机波段数。
43.优选地，所述多波长激光器通过激光合束技术，将多路激光通过投射和反射的方法合成到一条光路上，将多个单波长激光器整合。
44.优选地，多波长激光器亦可由单个多波长激光源激光器实现。
45.优选地，所述激光脚点个数不少于3个，所有激光脚点不共线并在公共视场内形成脚点约束区域，且激光脚点在相机各通道公共视场区域内均匀分布。
46.本发明实施例提供的基于激光脚点约束区域的多光谱图像配准方法，针对传统无人机多光谱图像配准过程中匹配点少，精度低造成的配准误差较大的问题，使用多波长激光器在多光谱相机各通道公共视场（图像重叠区域）内赋以高精度激光脚点，利用激光脚点实现约束区域配准，最终利用得到的配准参数实现原始多光谱图像配准融合。
47.可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。