图像配准方法及系统

1.本发明涉及图像处理技术领域，具体地涉及一种图像配准方法及一种图像配准系统。


背景技术：

2.图像配准是在不同拍摄环境、不同时间或不同视角等不同条件下，对同一场景拍摄的两幅或多幅图像进行空间上的对准和叠加的过程。它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。特征提取是配准技术中的关键，准确的特征提取为特征匹配的成功进行提供了保障。因此，寻求具有良好不变性和准确性的特征提取方法，对于匹配精度至关重要。现有的配准方法主要是在opencv开源库中实现，因为资源充足，其有效保证了及时性和准确性，但是在特殊场景下的图像配准，例如硬件条件受限的情况下，常规的图像配准方法实现是很困难的。即在嵌入式平台中的实现目前的图像配准方法还存在实时性差和算法资源占有率高的缺点。针对上述存在的问题，需要创造一种新的适用于嵌入式平台的图像配准方法。


技术实现要素：

3.本发明实施方式的目的是提供一种图像配准方法及系统，以至少解决在嵌入式平台中的实现目前的图像配准方法还存在实时性差和算法资源占有率高的问题。
4.为了实现上述目的，本发明第一方面提供一种图像配准方法，所述方法通过预设嵌入式平台实现，所述方法包括：获取相同场景下的至少两个不同视场的图像信息，并分别提取所有视场的图像中的orb特征点；根据预设算法进行所有视场的orb特征点的蛮力匹配，获得匹配索引表；根据所有视场的orb特征点和所述匹配索引表进行ransac筛选，获得单应性变换矩阵，该单应性变换矩阵包含有拟合的重合图像信息；根据所述单应性变换矩阵确定获取的不同视场的所有图像中，是否有至少两幅图像具有重合位置，该重合位置为相同场景下相同参照物的图像重合；若是，对所有存在重合位置的不同视场的图像进行混合并输出混合图像。
5.可选的，所述获取相同场景下的至少两个不同视场的图像信息，包括：在相同场景下采集至少两个不同视场的定格图像作为所述图像信息；或实时获取相同场景下的至少两个不同视场的视频图像，将获取的所有视场的视频图像中的图像帧提取作为所述图像信息。
6.可选的，所述orb特征点包括：特征点的位置坐标和特征点的描述子信息。
7.可选的，所述根据预设算法进行所有视场的orb特征点的蛮力匹配，获得匹配索引表，包括：获取所有视场分别对应的特征点的描述子信息；根据所述描述子信息利用knn算法对所有视场的orb特征点进行蛮力匹配，输出匹配索引表。
8.可选的，所述方法还包括：若根据所述单应性变换矩阵无法获取至少两个图像的重合位置时，则同时输出所有不同视场的图像信息；包括：提取其中画面更小的图像信息；
并将该画面更小的图像信息在画面更大的图像中居中显示。
9.本发明第二方面提供一种图像配准系统，应用于依托嵌入式平台的图像配准，所述系统包括：采集单元，用于获取相同场景下的至少两个不同视场的图像信息；处理单元，用于：分别提取所有视场的图像中的orb特征点；根据预设算法进行所有视场的orb特征点的蛮力匹配，获得匹配索引表；根据所有视场的orb特征点和所述匹配索引表进行ransac筛选，获得单应性变换矩阵，该单应性变换矩阵包含有拟合的重合图像信息；根据所述单应性变换矩阵确定获取的不同视场的所有图像中，是否有至少两幅图像具有重合位置，该重合位置为相同场景下相同参照物的图像重合；混合单元，用于在确定有至少两幅图像具有重合位置的情况下对所有存在重合位置的不同视场的图像进行混合；输出单元，用于输出混合图像。
10.可选的，所述获取相同场景下的至少两个不同视场的图像信息，包括：在相同场景下采集至少两个不同视场的定格图像作为所述图像信息；或实时获取相同场景下的至少两个不同视场的视频图像，将获取的所有视场的视频图像中的图像帧提取作为所述图像信息；所述系统还包括：存储单元，至少包括缓存模块；其中，所述缓存模块用于缓存所有视场的视频图像；以及缓存图像配准过程中的其他缓存信息。
11.可选的，所述系统还包括：通讯单元，用于建立所述存储单元与所述采集单元、所述处理单元、所述混合单元和所述输出单元之间的通讯连接。
12.可选的，所述采集单元、所述处理单元、所述混合单元、所述输出单元、所述存储单元和所述通讯单元均基于zynq平台构建。
13.另一方面，本发明提供一种计算机可读储存介质，该计算机可读存储介质上储存有指令，其在计算机上运行时使得计算机执行上述的图像配准方法。
14.通过上述技术方案，在嵌入式平台中整合orb特征提取算法和ransac算法，进行不同视场图像特征点提取和匹配，并基于匹配的特征点形成场景重合单应性变换矩阵。基于该单应性变换矩阵便可以获取不同视场的重叠图像信息，基于该重叠图像信息进行图像混合，完成图像配准。在保证orb ransac算法的配准准确性的前提下，实现了在嵌入式开发平台中运行的可能，在对系统资源占用不大的情况下提高了图像配准的实时性。
15.本发明实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
16.附图是用来提供对本发明实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施方式，但并不构成对本发明实施方式的限制。在附图中：
17.图1是本发明一种实施方式提供的图像配准方法的步骤流程图；
18.图2是本发明一种实施方式提供的ransac算法流程框图；
19.图3是本发明一种实施方式提供的图像配准系统的系统结构图。
20.附图标记说明
21.10-采集单元；20-处理单元；30-混合单元；40-输出单元。
具体实施方式
22.以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
23.图像配准是在不同拍摄环境、不同时间或不同视角等不同条件下，对同一场景拍摄的两幅或多幅图像进行空间上的对准和叠加的过程。它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。其具体思想为首先对两幅图像进行特征提取得到特征点；通过进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数；最后由坐标变换参数进行图像配准。而特征提取是配准技术中的关键，准确的特征提取为特征匹配的成功进行提供了保障。因此，寻求具有良好不变性和准确性的特征提取方法，对于匹配精度至关重要。为了更好的解决图像配准的准确性问题，orb ransac的图像配准构思已经起到了显著的效果。其在opencv开源库中实现是相对容易的，但是在特殊场景下的图像配准，例如硬件条件受限的情况下，其实现还是很困难的。即在嵌入式平台中的实现目前还存在实时性差和算法资源占有率高的缺点。为了针对这种情况，本发明提出了一种新的图像配准方法，其在嵌入式平台中实现，不依托于opencv开源库，在有限的硬件条件下，保证图像配准准确性的前提下解决实时性差和算法资源占有率高问题。为了方案解释清晰，本方案针对性的以一种对时效性要求很高以及资源算力受限的应用场景做解释，即单兵观察瞄准装备领域中，为了实现士兵“抬枪即可瞄准开火”，需要将士兵头盔夜视镜画面和红外枪瞄画面进行实时图像配准。但本发明不仅仅局限于这种应用方式，只要满足时效性要求很高以及资源算力受限的应用场景，均可以利用本发明提出的图像配准方法进行适用于场景内的图像配准。
24.图3是本发明一种实施方式提供的图像配准系统的系统结构图。如图3所示，本发明实施方式提供一种图像配准系统，所述系统包括：采集单元10，用于获取相同场景下的至少两个不同视场的图像信息；处理单元20，用于：分别提取所有视场的图像中的orb特征点；根据预设算法进行所有视场的orb特征点的蛮力匹配，获得匹配索引表；根据所有视场的orb特征点和所述匹配索引表进行ransac筛选，获得单应性变换矩阵，该单应性变换矩阵包含有拟合的重合图像信息；根据所述单应性变换矩阵确定获取的不同视场的所有图像中，是否有至少两幅图像具有重合位置，该重合位置为相同场景下相同参照物的图像重合；混合单元30，用于在确定有至少两幅图像具有重合位置的情况下对所有存在重合位置的不同视场的图像进行混合；输出单元40，用于输出混合图像。
25.优选的，所述系统还包括：存储单元，至少包括缓存模块；其中，所述缓存模块用于缓存所有视场视频信息；以及，用于缓存图像配准过程中的其他缓存信息。
26.在本发明实施例中，上述已知，本发明实施方案将系统分为fpga部分和arm部分，且系统中存在多种功能单元，这些功能单元需要进行数据传输，而传输的数据均需要进行缓存，以便于后续进行读取和处理，所以需要使用存储单元进行这些中间数据存储。处理缓存模块，存储单元还包括ddr内存，ddr内存全称是ddr sdram(double data rate sdram，双倍速率sdram)，其用于数据的调取和记忆，是运行本技术配准方法的基础硬件，因为其技术成熟且应用广泛，对处理效率和成本控制均有积极的意义。
27.优选的，所述系统还包括：通讯单元，用于建立所述存储单元与所述采集单元10、所述处理单元20、所述混合单元30和所述输出单元40之间的通讯连接。
28.在本发明实施例中，各功能单元需要将自己的数据与内存之间进行传输或彼此之间进行传输，则需要使用到通讯单元，优选的，该通讯单元为axi高速互联通道。axi(advanced extensible interface)是一种总线协议，是一种面向高性能、高带宽、低延迟的片内总线，它的地址/控制和数据相位是分离的，支持不对齐的数据传输，同时在突发传输中，只需要首地址，同时分离的读写数据通道、并支持outstanding传输访问和乱序访问，并更加容易进行时序收敛。所以其与本技术所需求的应用场景适配，对于图像配准的及时性具有显著的积极意义。
29.优选的，所述采集单元10、所述处理单元20、所述混合单元30、所述输出单元40、所述存储单元和所述通讯单元均基于zynq平台构建。
30.在本发明实施例中，传统的嵌入式集成电路应用级芯片常见的dsp，arm，powerpc，mips，fpga等，fpga有灵活性好，资源丰富，可反复编程和速度快的优势。而zynq平台为异构处理平台，使用zynq来实现以前的arm外挂fpga的设计架构，即降低了总成本，同时可以改善性能，降低功耗，减少体积的同时，提升可靠性。所以，本技术提出的系统是基于zynq平台构建的，分为arm部分和fpga部分。
31.图1是本发明一种实施方式提供的图像配准方法的方法流程图。如图1所示，本发明实施方式提供一种图像配准方法，所述方法包括：
32.步骤s10：获取相同场景下的至少两个不同视场的图像信息，并分别提取所有视场的图像中的orb特征点。
33.具体的，图像配准的核心目的是不同拍摄环境、不同时间或不同视角等不同条件下，对同一场景拍摄的两幅或多幅图像进行空间上的对准和叠加的过程。所以，需要获取同一场景下的至少两个图像信息，若拍摄的场景不同，则并没有配准的价值。在单兵观察瞄准装备领域中，需要配准的画面为士兵头盔夜视镜画面和红外枪瞄画面进行实时图像，所以在这种应用场景中，需要持续获取士兵头盔夜视镜视频画面和红外枪瞄画面，然后进行实时的配准。但在其他应用领域，若仅需要对固定的画面进行配准，则配置的采集单元10为图像采集器也可，并不一定需要视频采集器。仅需要满足同一场景下的图像信息，理论上均可以进行图像配准。
34.orb是一种特征提取算法，由于其快速性可以满足系统的实时性要求，得到了广泛使用。所以其在及时性要求很高的应用领域，使用十分广泛。orb特征检测的第一步是查找图像中的关键点，而关键点检测算法即使用fast算法。获得关键点后，再利用brief算法，提取出这些关键点的特征向量，每一个关键点对应一个特征向量。基于此完成特征点提取，因为对应了特征向量，所以orb特征点信息包含了特征点的位置坐标和描述子信息。这些信息将作为后续配准的基础信息。
35.步骤s20：根据预设算法进行所有视场的orb特征点的蛮力匹配，获得匹配索引表。
36.具体的，完成特征点提取后，便需要进行特征点匹配，这也是图像配准的关键步骤，即判断是否具有重叠的特征点，基于这些重叠特征点便可以判断不同视场图像的画面重合情况。优选的，实际图像配准过程中，对于待配准图像中某一特征点，在参考图像中往往存在多个距离最近或接近最近的特征点，如果仅取距离最近的一个作为匹配点，那么就容易产生误匹配。本发明采用knn(k-nearest neighbor，k最近邻)策略来提高蛮力匹配法的匹配正确率。knn具体思想是：对于待配准图像中的某一特征点，将其作为样本特征点，在
参考图像中寻找与之最近的k个特征点，然后通过比较这k个特征点与样本特征点的距离来判断最近的特征点是否是匹配点。本发明中k取2，也就是对于待配准图像中的某一特征点，在参考图像中寻找一个最近的和一个次最近的特征点。如果最近点的汉明距离和次最近点的汉明距离满足下式，那么此时最近的点就很有可能是正确的匹配点：
37.d
汉明
(最近)《r
·d汉明
(次最近)
38.其中，d
汉明
表示汉明距离，r表示系数，通常取0.70.8。knn策略可以剔除一些距离最近但不是正确匹配的特征点。knn算法是数据挖掘分类技术中最简单的方法之一。所谓k最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻近值来代表。近邻算法就是将数据集合中每一个记录进行分类的方法。其主要包括几个步骤，准备数据，对数据进行预处理；计算测试样本点(也就是待分类点)到其他每个样本点的距离；对每个距离进行排序，然后选择出距离最小的k个点；对k个点所属的类别进行比较，根据少数服从多数的原则，将测试样本点归入在k个点中占比最高的那一类。该方法的不足之处是计算量较大，因为对每一个待分类的样本都要计算它到全体已知样本的距离，才能求得它的k个最邻近点。虽然knn蛮力匹配法相对其他蛮力匹配法计算量反而更大，但是因为其将最近点和次最近点作比较，也就把许多误匹配点筛掉了，所以knn蛮力匹配出的特征点对更准确，更有利于下一步ransac。本发明将knn蛮力匹配法在fpga部分实现，利用fpga的并行计算特性，使得该部分算法又快又准，抵消了其计算量大的劣势。完成特征点匹配后，获得匹配索引表，该匹配索引表记录了特征点了匹配关系。
39.步骤s30：根据所有视场的orb特征点和所述匹配索引表进行ransac筛选，获得单应性变换矩阵。
40.具体的，经过knn蛮力匹配后得到的匹配点对中仍然包含着一些错误的匹配对，如果直接以此计算单应性矩阵则会导致图像配准的准确率降低。为了提高准确率，需要对匹配点对进行迭代筛选来剔除其中匹配度较低的点对。本技术基于ransac(random sample consensus，随机采样一致性)算法迭代计算单应性矩阵。具体的，图像的单应性变换过程如下：
[0041][0042]
其中，h矩阵就是单应性矩阵，小视场图像上一点(x1,y1)经过该单应性变换后就可以变换到大视场图像坐标空间中一点(x2,y2)。h矩阵共有8个自由度，也就是8个未知数，一对匹配点可得到2组方程，那么至少需要4对不共线的匹配点才能计算出一个h矩阵。由于在实际应用过程中，只取4对匹配点准确度和精度不够理想，所以往往取远大于4对点来计算h矩阵。
[0043]
ransac算法主要思想是通过重复随机抽取观测数据来估算模型。ransac算法有两个假设前提：一是存在一个适用于样本中所有正确数据的模型，并且该模型的参数可以通过正确数据计算得到；二是对于单个模型，错误数据不会始终参与迭代计算。ransac算法通过循环以下步骤来迭代计算出样本数据的最优模型：
[0044]
1)从原始样本中随机地选取一个子集，该子集数量为计算模型参数所需要的最少数据量，将当前子集作为假设的内点集；
[0045]
2)根据该子集(假设的内点集)计算出一个适配模型；
[0046]
3)将剩余的所有数据代入适配模型中，如果某个数据适用于该模型则将其视作内点，并加入到内点集中，否则归为外点(噪声点)；
[0047]
4)统计该模型内点集的数量。
[0048]
ransac重复上述过程，每次计算都会产生一个模型及内点集，最终使得内点数量最多的模型就是最优模型。ransac可以处理错误率超过50％的数据集，从结果来看能大幅减少错误数据，是鲁棒性较好的特征点匹配对筛选算法。对于本发明，样本数据是大小视场图像特征点匹配对，子集是4对特征点匹配对，适配模型则是单应矩阵。本技术中ransac算法流程如图2所示，其中，迭代次数可参考置信概率来设置，当置信概率为p时，每次抽取n组点(本发明中为4)，每选取一组点其为内点的概率为ε，迭代次数为n，则可列出置信概率等式：
[0049]
1-p＝(1-εn)n[0050]
其中，εn表示n组点均为内点的概率，(1-εn)n表示n次迭代中未抽取到n组点均为内点的概率。两边取对数可整理为：
[0051][0052]
步骤s40：根据所述单应性变换矩阵获得所有图像的重合位置。
[0053]
具体的，根据所述单应性变换矩阵直接获得所有待配准图像的重合位置信息，该重合位置信息为相同场景下，相同参照物的图像信息，例如图像1中出现了一个目标，图像2中相同场景下也存在该目标，两个图像基于该目标信息重合。
[0054]
步骤s50：进行存在重合位置的不同视场的图像信息混合，并输出混合图像，完成图像配准。
[0055]
具体的，待配准图像可能不止两个，但配准结果并不一定需要所有图像配准完成。例如，有三个待配准图像，其中两个图像判定重合位置符合预期，则进行这两幅图像混合，直接放弃另一张图像。即融合图像数量与待配准图像数量可能不同，但至少需要两幅配准完成的图像才能进行图像融合。
[0056]
在另一种可能的实施方式中，若根据所述单应性变换矩阵无法获取至少两个图像的重合位置时，则同时输出所有不同视场的图像信息；包括：提取其中画面更小的图像信息；并将该画面更小的图像信息居中显示。例如，士兵头盔图像与枪瞄图像未能配准，为了避免对士兵造成干扰，依旧输出所有图像信息，但将枪瞄的小画面信息居中显示，使得士兵可以根据自身经验进行判断，而不仅仅依赖于系统配准，避免士兵被干扰。
[0057]
在一种可能的实施方式中，士兵配置有本技术提出的图像配准系统，其头盔存在lvds接口，连接有大视场相机和头盔目镜。枪上有pal接口，连接小视场相机，还存在cameralink输出与头盔目镜连接。则具体的实现方式如下：一路pal接口连接小视场相机，一路lvds接口连接大视场相机，经过fpga部分的视频读入模块将两相机数据以axi-stream流的形式读入zynq平台，再通过axi vdma将两相机数据以帧缓存方式暂存到板载的ddr中，供后续处理。fpga部分的图像混合显示模块独立运行，其通过axi vdma将暂存在ddr中的图像帧数据读取出来，将两图像“画中画”叠加成一个画面，通过lvds和cameralink输出显示到头盔目镜和pc中，默认小视场图像居中，确保在装置无法配准两视场图像的情况下依然
可以同时观察到两视场的实时画面。分别提取大小视场图像的orb特征点，fpga部分的处理单元20通过axi dma将暂存在ddr中的图像帧数据取出来提取orb特征点，得到特征点的位置坐标和描述子信息，将其打包后通过axidma写回ddr中暂存。提取完orb特征点后，fpga部分的处理单元20通过axi总线读取上一步暂存在ddr中的特征点描述子信息进行knn蛮力匹配，匹配结果为一张匹配索引表，再通过axi总线将其写回ddr中。此时ddr中存放了大小视场图像中各自特征点的位置和描述子信息，以及一张特征点匹配索引表，arm处理器将两幅图像的特征点进行ransac筛选，得到单应性变换矩阵h，由此计算出小视场图像在大视场图像中的位置。arm处理器计算出小视场图像在大视场图像中的位置后，根据该位置重新配置fpga部分的混合单元30，将小视场图像混合到大视场图像中的相应位置，最终就可以在头盔目镜或者pc中观察到配准好的大小视场图像。
[0058]
本发明实施方式还提供一种计算机可读储存介质，该计算机可读存储介质上储存有指令，其在计算机上运行时使得计算机执行上述的图像配准方法。
[0059]
本领域技术人员可以理解实现上述实施方式的方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0060]
以上结合附图详细描述了本发明的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。
[0061]
此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施方式的思想，其同样应当视为本发明实施方式所公开的内容。