一种多镜头大视场图像拼接方法及智能孔探仪

1.本发明涉及无损检测技术领域，更具体的说是涉及一种多镜头大视场图像拼接方法及智能孔探仪。


背景技术：

2.无损检测以其现场性，实时性，快速性的特点，在工程中广泛应用。孔探仪是无损检测的一种方式，可以方便地检测到发动机内部、管道内部、其他无法直接观看到或具有遮挡、间隙狭小的部位，可以免去拆除工作，从而节约成本和提高工作效率。
3.航空发动机在装配、试验、试车、维护大修等过程中均需要进行大量的孔探检测工作，在现阶段，市场上大多数孔探仪镜头结构单一，小视场，无实时缺陷检测与识别系统，这些大量的孔探工作都是依靠人眼判断来完成的，不同的检测人员、甚至同一检测人员多次检测时的结果都有可能存在差异，且每次检测时可能存在主观因素影响，从而引起检测结果的差异，检测效率也比较低。
4.因此，如何提供一种多镜头大视场图像拼接方法及智能孔探仪实现大视场、高分辨率效果，并且能够进行实时缺陷检测与识别是本领域技术人员亟需解决的问题。


技术实现要素：

5.有鉴于此，本发明提供了一种多镜头大视场图像拼接方法及智能孔探仪，采用多镜头局部图像拼接与全局融合图像方法，实现大视场，高分辨率效果，结合机器学习，进行实时缺陷检测与识别，提高检测效率。
6.为了实现上述目的，本发明采用如下技术方案：一种多镜头大视场图像拼接智能孔探仪，包括：孔探头、fpga图像采集与处理系统、pc端；所述孔探头与所述fpga图像采集与处理系统以柔性电路连接，将获取到的图像信息传输到fpga图像采集与处理系统；所述pc端对所述fpga图像采集与处理系统处理后的图像进行显示；
7.所述孔探头包括cmos相机模块，用于获取部件全局图像信息与局部图像信息，并将图像信息传输给fpga图像采集与处理系统；
8.所述fpga图像采集与处理系统包括图像传感器驱动模块、写fifo模块、pll时钟模块、ddr3_sdram控制模块、ddr3_sdram片外存储器、读fifo模块、udp协议控制模块；
9.所述图像传感器驱动模块包括图像处理模块，根据图像处理模块完成对图像数据的实时拼接与融合，并将处理后的图像数据通过写fifo模块缓存进入ddr3_sdram控制模块，再存入ddr3_sdram片外存储器中；
10.所述ddr3_sdram控制模块将ddr3_sdram片外存储器中的数据传输到读fifo模块；
11.所述udp协议控制模块将读取到的数据进行转换，并传输至pc端；
12.所述pc端对处理后的图像进行实时图像显示，利用机器学习模型对处理后的实时图像进行实时缺陷检测与识别。
13.优选的，所述cmos相机模块由5路cmos图像传感器组成，其中超广角cmos图像传感
器采集部件超广角图像信息，其余4路局部cmos图像传感器采集部件局部图像信息；5路cmos图像传感器实时同步采集视频数据。
14.通过超广角cmos图像传感器采集超广角图像信息，在获取超广角图像信息的基础上，其余4路局部cmos图像传感器采集部件局部图像信息，使得各个图像传感器采集到的图像有足够的用于交叠的区域，有效避免了图像信息的丢失，实现无缝大视场覆盖，同时，超广角图像信息也可作为其余4路局部图像信息的参考，而4路局部cmos图像传感器也能够采集到不同位置的高分辨率图像信息，大大提高了检测精度；完成对各路图像信息的有效拼接与融合后，使拼接融合后的大视场图更精确。
15.优选的，所述图像传感器驱动模块还包括iic驱动模块、iic配置模块、图像采集模块；
16.所述iic驱动模块负责驱动cmos图像传感器的sccb接口总线，对cmos图像传感器的寄存器进行配置；
17.所述iic配置模块直接与iic驱动模块相连接，完成对cmos图像传感器的初始化，寄存cmos图像传感器需要的配置寄存器地址和数据，并控制初始化的开始和结束，同时输出cmos图像传感器寄存器地址和数据，控制iic驱动模块开始执行的控制信号。
18.优选的，所述图像采集模块完成摄像头在像素时钟的驱动下将cmos图像传感器输出的行、场同步信号，并将8位数据转换成16位写数据信号。
19.通过iic驱动模块对cmos图像传感器的寄存器进行配置，iic配置模块与iic驱动模块直接相连，完成对cmos图像传感器的初始化设置，并向图像采集模块发送相应指令，完成对cmos图像传感器的图像采集。
20.优选的，所述udp协议控制模块内置数据转换模块和udp收发模块；所述数据转换模块负责从ddr3_sdram中读取16位数据并转换成以太网通信的32位数据，增添图像数据的数据帧头；所述udp收发模块，负责以太网通信的数据收发；资源消耗小，数据传输速度快。通过udp协议控制模块能提供更高的吞吐量和较低的延迟，适合低延时的视频传输场合；同时，为了降低丢包对视频显示带来的影响，为每帧图像增添图像数据的数据帧头，用于标志一帧图像的开始，当上位机解析到图像帧头之后，接下来将接收到的像素数据重新放到图像显示区域的起始位置，保证了在视频传输过程中，即使出现丢包的现象，视频也能恢复到正常显示的画面。
21.优选的，所述图像处理模块包括：图像预处理、图像拼接与融合、图像输出；
22.所述图像预处理包括滤波核模块、滤波计算模块、滤波存储模块，滤波核模块是一个3x3的滑动滤波窗口；滤波计算模块负责排序计算；滤波存储模块负责存储中间位置的像素，存入fpga的ram ip核中，通过中值滤波，保留原有图像信息，有效消除环境和过程带来的随机噪声。
23.然后采用基于定标的多项式拟合校正法，通过fpga中相应的乘法器和加法器，以三级流水线模式进行校正参数和拟合系数的计算，并存入内置m9k存储器中，方便fpga的数据读取，完成对cmos图像传感器的非均匀性校正，校正后的图像像素值趋向均匀，满足实际应用需要；
24.优选的，所述pll时钟模块通过调用锁相环ip核实现，其中pll锁相环用来生成600mhz时钟供给ddr3_sdram控制模块，生成50mhz时钟供给图像传感器驱动模块，生成
100mhz时钟供给写fifo模块与读fifo模块。利用pll锁相环生成处理器需要的时钟频率，实现稳定且高频的时钟信号。
25.一种多镜头大视场图像拼接方法，具体包括以下步骤：
26.步骤一、图像传感器实时采集5路cmos图像传感器的图像视频信息；
27.步骤二、分别读取5路cmos图像传感器的图像视频信息并分别提取sift特征点；
28.步骤三、通过特征匹配查找，得到4路局部图像传感器两两相邻图像视频信息的匹配点；
29.步骤四、筛选每2路图像视频信息匹配点，计算透视变换矩阵并转换；
30.步骤五、采用加权平均融合算法对图像视频信息进行拼接，得到最优的4路局部图像视频拼接信息；
31.步骤六、提取超广角全局图像的特征，与4路局部图像进行拼接与融合；
32.步骤七、得到全局最优的5路图像的拼接和融合大视场图像视频信息。
33.通过对5路图像的实时采集与处理，完成5路图像拼接与融合，得到5路图像的拼接和融合大视场图像视频信息，实现大视场，高分辨率效果。
34.优选的，步骤二中读取5路cmos图像传感器的图像视频信息并分别提取sift特征点还包括：(1)构建dog尺度空间，检测特征点；
35.(2)删除不满足的特征点；包括删除低对比度的特征点和不稳定的边缘响应点；
36.(3)设置特征点的主方向；根据每个特征点的位置、尺度和方向信息，确定一个sift特征点区域；
37.(4)生成特征描述；生成以特征点为中心的128维向量，并进行归一化处理。
38.优选的，删除低对比度的特征点为：若候选特征点为x，则对比度为如下：
[0039][0040]
其中，t为阈值，若则保留该特征点；
[0041]
删除不稳定的边缘响应点为：通过2x2hessian矩阵系数判别候选特征点的主曲率：
[0042][0043]
其中h为2x2hessian矩阵，tr(h)为矩阵h的迹，det(h)为矩阵h的行列式，t
γ
为主曲率阈值，γ为最大特征值与最小特征值的比，若特征点的主曲率满足上式，则删除该特征点。
[0044]
优选的，通过k-d算法对4路局部图像传感器两两相邻图像视频信息进行特征点匹配；以目标图像的特征点为基准，再查找原始图像中距离此特征点最近的欧式距离l1(直线距离)和次邻近的特征点的欧式距离l2，若l1/l2《0.85则视为正确匹配的点，否则予以删除。
[0045]
优选的，所述采用加权平均融合算法对图像视频信息进行拼接包括：
[0046][0047]
α β＝1
[0048]
其中，f(x,y)为拼接后的图像在(x,y)位置的图像数据，f1(x,y)为待拼接图像1在(x,y)位置的图像数据，f2(x,y)为待拼接图像2在(x,y)位置的图像数据，α为图像1的权重参数，β为图像2的权重参数。
[0049]
优选的，利用机器学习模型对拼接和融合后的大视场图像视频信息进行实时缺陷检测与识别，包括以下步骤：
[0050]
步骤一：通过基于fpga的多镜头和大视场硬件平台获得5路图像的拼接和融合大视场图像视频信息；
[0051]
步骤二：基于mask rcnn神经网络加入残差模块并改进nms算法，形成实时缺陷检测的神经网络算法模型；
[0052]
步骤三：将实时图像视频数据与神经网络算法相嵌入，并传入到神经网络模型；
[0053]
步骤四：神经网络模型将实时图像视频数据进行实例分割，标记每个目标实例，对损伤目标的像素化进行密集分类；
[0054]
步骤五：通过实时缺陷目标分类，提取实时缺陷信息，形成实时检测数据报告。
[0055]
结合机器学习，对拼接与融合后的图像进行实时缺陷检测与识别，使缺陷检测结果更准确，提高了系统检测效率。
[0056]
经由上述的技术方案可知，与现有技术相比，本发明公开了一种多镜头大视场图像拼接方法及智能孔探仪，图像传感器实时采集5路cmos图像传感器的图像视频信息；读取5路cmos图像传感器的图像视频信息并分别提取sift特征点；通过特征匹配查找，得到4路局部图像传感器两两相邻图像视频信息的匹配点；筛选每2路图像视频信息匹配点，计算透视变换矩阵并转换；采用加权平均融合算法对图像视频信息进行拼接，得到最优的4路局部图像视频拼接信息；提取超广角全局图像的特征，与4路局部图像进行拼接与融合；得到全局最优的5路图像的拼接和融合大视场图像视频信息，然后利用机器学习模型对拼接和融合后的大视场图像视频信息进行实时缺陷检测与识别，本发明采用多镜头局部图像拼接与全局融合图像方法，实现大视场，高分辨率效果，结合机器学习，进行实时缺陷检测与识别，提高了系统检测效率。
附图说明
[0057]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0058]
图1为本发明的总体结构图；
[0059]
图2为本发明fpga图像采集系统设计结构图；
[0060]
图3为本发明图像处理流程图；
[0061]
图4为本发明图像拼接方法流程图。
具体实施方式
[0062]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0063]
如图1所示，本发明公开了一种多镜头大视场图像拼接智能孔探仪，包括：孔探头、fpga图像采集与处理系统、pc端；其中，孔探头与fpga图像采集系统以柔性电路进行连接，
[0064]
孔探头由五个图像传感器组成，其中一个为超广角短焦距图像传感器，用于获取部件全局视场图像，其余4个为局部图像传感器，用于获取局部视场图像；fpga图像采集与处理系统负责前端的同步控制采集、图像实时传输、图像拼接融合以及图像的实时上传给pc终端，pc终端实时显示拼接融合后的大视场图，并对图像进行实时缺陷检测与识别。
[0065]
如图2所示，cmos相机模块：由5个cmos图像传感器组成，其中有一个具有超广角短焦距视野，其余4个为局部视野，5个摄像头实时同步采集视频数据；cmos图像传感器像素均为500万，最高支持2624
×
1964分辨率，输出支持dvp接口，控制接口为标准的sccb接口，兼容iic通讯，支持rgb565输出格式。其特点是具有低电压，高灵敏度，低串扰，低噪声和高量子效率等特性，可提供全帧、子采样或任意缩放的8bit或10bit图像，并可灵活控制图像输出的质量、格式和帧频等。
[0066]
图像传感器驱动模块：图像传感器驱动模块包括iic驱动模块、iic配置模块、图像采集模块、图像处理模块，完成对cmos图像传感器的iic通讯协议设置、寄存器配置设置、初始化设置、图像采集、图像处理的功能。其中，iic驱动模块负责驱动cmos图像传感器sccb接口总线，可以对cmos图像传感器的寄存器进行配置；iic配置模块完成对cmos图像传感器的初始化，寄存cmos图像传感器需要的配置寄存器地址、数据以及控制初始化的开始和结束，同时该模块输出cmos图像传感器寄存器地址和数据以及控制iic驱动模块开始执行的控制信号，直接与iic驱动模块相连接，完成对cmos图像传感器的初始化；图像采集模块主要完成摄像头在像素时钟的驱动下将cmos图像传感器输出的行、场同步信号以及8位数据转换成16位写数据信号，完成对cmos图像传感器图像的采集；图像处理模块负责对采集后的图像数据进行实时拼接与融合，并将处理后的数据通过写fifo模块缓存进入ddr3_sdram控制模块，再存入外部ddr3_sdram中。
[0067]
写/读fifo模块：通过fifo模块实现异步时钟的数据缓存。
[0068]
pll时钟模块：时钟模块通过调用锁相环ip核实现，其中pll锁相环用来生成600mhz时钟供给ddr3_sdram控制模块使用，生成50mhz时钟供给摄像头驱动模块使用，生成100mhz时钟供给写fifo模块与读fifo模块。
[0069]
ddr3_sdram控制模块：ddr3_sdram控制模块负责驱动ddr3_sdram片外存储器，缓存图像传感器输出的图像数据。
[0070]
udp协议控制模块：内置数据转换模块，负责从ddr3_sdram中读取16位数据并转换成以太网通讯的32位数据，增添图像数据的数据帧头；内置udp收发模块，负责实现以太网通信的数据收发功能，通过网线与pc端相连接。
[0071]
pc：通过基于c 的上位机软件实现5路实时图像显示与图像处理后的实时图像显示并进行实时缺陷检测。
[0072]
进一步，在本发明的一个实施例中，5路cmos图像传感器实时采集外部视频图像数据，其中超广角cmos图像传感器采集超广角图像信息，其余4路局部cmos图像传感器采集局部图像信息；cmos图像传感器驱动模块进行cmos图像传感器寄存器配置设置，设置cmos图像传感器的输出图像参数设置，输出像素格式，彩条测试模式，led闪光灯，图像输出时序，iic通讯驱动和配置，完成cmos图像传感器的初始化设置，为后续图像采集做好相应准备。
[0073]
当cmos图像传感器初始化设置完成后，向图像采集模块发送相应指令，此时cmos图像传感器进入实时视频采集模式，cmos图像传感器驱动模块同时将cmos图像传感器器所采集的8bit信号转换成16bit输出数据，利用拼位方法先后存入2个8bit相机数据，组成16bit数据输出，同时将16bit数据输出传送到写fifo模块，用来缓存从相机采集的数据；写fifo模块内的5路写通道轮询模块输出的相机数据通过axi接口输入到ddr3_sram控制模块中。
[0074]
当需要显示数据时，ddr3_sdram控制模块将外部ddr3_sdram中的数据传输到5路读fifo模块，再经过udp协议控制模块，实现数据的转换与发送；再通过网线连接方式与pc端连接，pc端通过基于c 的上位机软件进行5路实时图像显示与图像处理后的实时图像显示，利用机器学习模型对图像处理后的实时图像进行实时缺陷实时检测与识别。
[0075]
此外，在本系统设计中，fpga与ddr3_sdram进行信息交互所需接口信号通过调用ddr3ip核产生，从而降低了开发难度，提升了设计系统的稳定性。
[0076]
进一步，在本发明的一个实施例中，如图3所示，实时图像处理采用fpga控制系统实时处理边缘检测，具体步骤如下：
[0077]
图像预处理：首先进行图像滤波，去除像素点的干扰信息，采用基于fpga的中值滤波算法，通过选取数组序列中的像素点，并将像素点按照像素值的大小排序，生成一个二维数列，然后取这个数列中像素点的中间位置的像素值作为当前像素点的像素值；主要由滤波核模块，滤波计算模块，滤波存储模块构成；滤波核模块是一个3x3的滑动滤波窗口，滤波计算模块负责排序计算，滤波存储模块负责存储中间位置的像素，存入fpga的ram ip核中；通过中值滤波，可以保留原有图像信息，有效消除环境和过程带来的随机噪声。采用基于定标的多项式拟合校正法，通过fpga中相应的乘法器和加法器，以三级流水线模式进行校正参数和拟合系数的计算，并存入内置m9k存储器中，方便fpga的数据读取，完成对cmos图像传感器的非均匀性校正，校正后的图像像素值趋向均匀，满足实际应用需要。
[0078]
图像拼接与图像融合：采用基于特征的图像配准方法的sift算法，并通过加权平均融合算法进行图像融合，得到5路图像的拼接和融合大视场图。
[0079]
图像输出：图像通过拼接与融合后，将图像信息缓存至ddr3_sdram中，通过udp协议控制模块，在pc上位机软件显示拼接融合后的大视场图，进行实时缺陷检测。
[0080]
在本发明的一个实施例中，一种多镜头大视场图像拼接方法，如图4所示，具体步骤如下：
[0081]
本系统中采用基于特征的图像配准方法的sift算法，主要过程为：
[0082]
步骤一、图像传感器实时采集5路cmos图像传感器的图像视频信息；
[0083]
步骤二、分别读取5路cmos图像传感器的图像视频信息并分别提取sift特征点；
[0084]
具体地，包括：1、构建dog尺度空间，检测特征点
[0085]
为了方便检测出图像在不同尺度下均存在的特征点，将原始图像与不同尺度空间
因子的高斯核函数进行卷积操作，可以生成多组图像，一组中有多张图像，将原始图像作为金字塔的最底层，再对图像进行高斯模糊下采样与低通滤波，由此构建高斯尺度空间。尺度空间越大，图像尺寸越大，图像越模糊。高斯尺度空间定义如下：
[0086]
l(x,y,σ)＝g(x,y,σ)*i(x,y)
[0087]
其中，σ为尺度空间因子，表明图像被模糊的程度，σ越大，模糊程度越大，g(x,y,σ)为高斯核函数，i(x,y)为原始图像，l(x,y,σ)代表图像的高斯尺度空间，高斯核函数g(x,y,σ)的定义式如下：
[0088][0089]
高斯金字塔构建完成后，将相邻的高斯金字塔进行相减，生成差分高斯金字塔(dog)，差分高斯金字塔(dog)定义式如下：
[0090]
d(x,y,σ)＝l(x,y,kσ)-l(x,y,σ)
[0091]
k为相邻高斯尺度空间的比例因子。
[0092]
再去掉差分高斯金字塔的最顶层和最底层，在其中的几层中去搜索dog函数空间的特征点。例如高斯金字塔有6层，通过层与层之间的相减形成5层差分高斯金字塔，再去掉最顶层和最底层，则只需要在剩下3层中检测特征点。其中中间的检测点要和其所在本层3x3邻域8个像素点，以及上下层3x3邻域18个像素点，总计26个像素点进行比较，若该点大于所有相邻点，则该点就是特征点。
[0093]
2、删除不满足的特征点
[0094]
由于dog尺度空间下的特征点是在离散空间对连续空间采样得到的点，因此需要删除不满足的特征点，主要删除低对比度和不稳定的边缘响应点。
[0095]
2.1、删除低对比度的特征点
[0096]
设候选特征点为x，对比度为则对比度定义如下：
[0097][0098]
设阈值为t，若则可保留该特征点，反之亦然。
[0099]
2.2、删除不稳定的边缘响应点
[0100]
由于候选特征点的主曲率与2x2hessian矩阵成正比，可以通过2x2hessian矩阵系数来判别候选特征点的主曲率：
[0101][0102]
其中h为2x2hessian矩阵，tr(h)为矩阵h的迹，det(h)为矩阵h的行列式，t
γ
为主曲率阈值，γ为最大特征值与最小特征值的比。若特征点的主曲率满足上式，则删除该特征点，反之亦然。
[0103]
3、设置特征点的主方向
[0104]
保持图像的旋转不变性，需要通过对特征点进行方向赋值，利用特征点邻域像素
内的梯度变化以及分布特性来确定，再利用梯度直方图统计邻域内像素点的梯度方向，其峰值代表的就是特征点的方向。
[0105]
像素点(x,y)的梯度表示：
[0106][0107]
梯度模长：
[0108][0109]
梯度方向：
[0110][0111]
梯度方向确定后，每个特征点可以得到三个信息，即位置，尺度和方向。因此，可以确定一个sift特征点区域。
[0112]
4、生成特征描述
[0113]
通过以上步骤获取了sift特征点的位置、尺度和方向信息。为了保证匹配率，提高特征点的鲁棒性，所生成的特征描述不仅包含特征点，还包括其周围有贡献的点，再利用线性插值计算特征点周围的贡献，最终生成以特征点为中心的128维向量，最后进行归一化处理，进一步去除光照影响。特征描述生成后，一幅图像的特征点也就生成。
[0114]
对5幅图像依次通过sift方法提取特征点，方便后续特征匹配。
[0115]
步骤三、通过特征匹配查找，得到除具有超广角的图像传感器外，其他4个局部传感器两两相邻图像视频信息的匹配点；
[0116]
以上步骤已经提取出5幅图像中的待匹配特征集，也进行了特征描述，以下利用k-d树算法进行除中间传感器之外的其他4个局部传感器所采集的图像特征点匹配，使4路局部传感器所采集的图像先进行两两特征匹配。
[0117]
k-d算法：以目标图像的特征点为基准，再查找原始图像中距离此特征点最近的欧式距离l1(直线距离)和次邻近的特征点的欧式距离l2，若l1/l2《0.85则可以视为正确匹配的点，否则予以删除。通过公式：
[0118][0119]
可以得到点1(x1,y1)与点2(x2,y2)的欧式距离。
[0120]
在本发明的一个具体实施例中，选取中间超广角摄像头的左侧第一个摄像头所采集的图像为原始图像，左侧第二个摄像头所采集的图像为目标图像，查找原始图像中距离目标图像的特征点最近的欧式距离l1和次邻近的特征点的欧式距离l2，若l1/l2《0.85则视为正确匹配的特征点，否则予以删除。其余局部图像特征点匹配以此类推。
[0121]
步骤四、筛选每2路图像视频信息匹配点，计算透视变换矩阵并转换；
[0122]
通过步骤三中的k-d算法实现对4路图像两两之间的特征点匹配，但在实际中两张图像中存在许多相似区域，像素越多，数据量越大，所产生的误差匹配也就越大，存在误差匹配问题，因此需要通过ransac算法消除误差匹配问题。
[0123]
ransac算法是一种具有随机性和假设性的方法，核心思想：
[0124]
1、把数据分成局内点和局外点，先随机选取一些点作为局内点，拟合一个模型，得
到模型的各项参数；
[0125]
2、用步骤1中生成的模型测试其他局外点数据，若此数据点适合于模型，则可以扩充为局内点；
[0126]
3、随着局内点的不断扩充，模型各项参数通过不断更新迭代，提高准确率。
[0127]
4路图像两两之间进行误差匹配的消除，消除误差匹配的特征点，两两之间可以实现特征点匹配。完成特征点匹配后4幅图像之间的变换关系可以通过一个3x3的透视变换矩阵来刻画，即将处于不同像素坐标系下的待配准图像进行图像变换，让4幅图像两两之间变换到统一的坐标系下，完成图像配准。图像像素点(x,y)经过矩阵透视变换矩阵h的转换公式如下：
[0128][0129]
步骤五、采用加权平均融合算法进行图像视频信息拼接，得到局部最优的4路拼接视频信息；
[0130]
加权平均融合算法是基于图像重叠区域进行的拼接，方法简单，速度快，可以提高融合图像的信噪比。加权平均融合算法公式定义如下：
[0131][0132]
f(x,y)为拼接后的图像在(x,y)位置的图像数据，f1(x,y)为待拼接图像1在(x,y)位置的图像数据，f2(x,y)为待拼接图像2在(x,y)位置的图像数据，α为图像1的权重参数，β为图像2的权重参数，设置α和β的值，α和β的值是固定不变的，并且满足α β＝1。通过加权平均融合算法即可完成4路局部图像的拼接与融合。
[0133]
步骤六、提取超广角全局图像的特征，与4路局部图像进行拼接与融合。
[0134]
超广角全局图像的特征提取采用步骤二sift的方法，特征匹配采用步骤三的k-d算法和步骤四的ransac算法消除误差匹配，与局部图像的拼接采用步骤五加权平均融合的方法。
[0135]
步骤七、得到全局最优的5路图像的拼接和融合大视场图像视频信息。
[0136]
在获取超广角图像信息的基础上，完成5路图像拼接与融合，实现大视场，高分辨率效果。
[0137]
进一步，在本发明的一个实施例中，实时缺陷检测方法采用改进型的mask rcnn神经网络算法，其具体方法和步骤如下：1、获取拼接与融合后的图像视频信息；2、基于mask rcnn神经网络加入残差模块并改进nms算法，增强对小目标损伤检测的能力，形成实时缺陷检测的神经网络算法模型；3、将实时图像视频数据与神经网络算法相嵌入，将实时图像视频数据传入到神经网络模型；4、神经网络模型将实时图像视频数据进行实例分割，标记每个目标实例，实现损伤目标的像素化密集分类；5、通过实时缺陷目标分类，提取实时缺陷信息，形成实时检测数据报告。
[0138]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他
实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0139]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。