一种观察区域可调式多相机实时拼接系统及方法

技术特征：
1.一种观察区域可调式多相机实时拼接系统，其特征在于，包括视频同步采集单元、电控相机旋转单元和视频处理与显示单元；所述视频同步采集单元包括若干视频同步采集模块实现多路相机的同步同帧率采集；所述电控相机旋转单元调节控制视频同步采集单元进行旋转；所述视频处理与显示单元接收视频同步采集单元传输的图像数据，使用cpu与gpu协同处理，输出拼接结果帧实时显示。2.根据权利要求1所述的一种观察区域可调式多相机实时拼接系统，其特征在于，所述视频同步采集模块包括四个相机、交换机以及处理计算机；所述计算机运行同步指令，定义主相机与从相机，从相机同步于主相机，设置同步采集帧率，实现四路相机的同步同帧率采集。3.根据权利要求2所述的一种观察区域可调式多相机实时拼接系统，其特征在于，所述电控相机旋转调节模块包括两个位置调节电机、两套齿轮机构和相机安装支架；所述四个相机分别安装于相机安装支架的左上、右上、左下和右下位置；所述相机安装支架的右侧与后侧同齿轮机构相连接，齿轮机构又与电机相连；所述右侧电机与齿轮机构控制相机支架绕中心做上下旋转，后侧电机与齿轮机构控制相机支架绕中心做左右旋转。4.一种观察区域可调式多相机实时拼接系统的拼接方法，其特征在于，包括以下步骤：步骤s1:初始化系统设置；步骤s2:开始同步采集，得到一组四路同步图像；步骤s3:基于改进的拼接参数计算方法对获取的图片进行拼接初始化计算，得到精确拼接参数并保存在本地拼接数据库中，作为后续正式拼接时的拼接模板参数；步骤s4:各相机开始视频同步采集步骤s5:从数据库中提取初始化阶段保存的相应最佳拼接参数，使用gpu加速的投影变换及融合算法，实现对每一帧同步图像的实时拼接与显示；步骤s6:若需改变观察区域，则设定左右与上下方向的旋转度数，电机控制相机支架旋转至相应位置,计算该观察区域的精确拼接并保存，利用该观察位置的拼接模板参数进行实时拼接；步骤s7:对于已遍历的观察区域，再次使用时无需再进行拼接初始化计算，直接调用已保存的拼接模板参数进行拼接即可。5.根据权利要求4所述的一种观察区域可调式多相机实时拼接系统的拼接方法，其特征在于，所述相机包括四个支持ptp功能的gige相机，将其中一台相机选为主时钟，其他相机作为从时钟，通过ptp协议，实现主从相机之间的精确同步，从相机均以主相机的时间为基准，并设置各相机同步采集图像的帧速率，所有相机均以该帧速率进行采图。6.根据权利要求4所述的一种观察区域可调式多相机实时拼接系统的拼接方法，其特征在于，所述改进的拼接参数计算方法，具体为：1)定义计算尺度1，对输入的四路图像进行下采样，变换到尺度1大小；2)使用opencv提供的cuda surf特征点检测与计算描述子算法，快速检测各图像特征点并进行描述子计算；3)定义左下角相机拍摄图像作为拼接基准图，利用opencv cuda库中的最邻近算法实现其他三图与基准图之间的特征点快速匹配；4)利用劳兹算法粗筛匹配点，随后分别利用ransac、lmeds算法并结合lm优化算法进一
步筛选内点，计算出其他图变换到基准图的全局单应性矩阵h1与h2，其中h1为使用ransac算法所求，h2为使用lmeds算法所求，共需求6个单应矩阵；5)利用相机自标定方法，根据上一步求得的h1与h2分别计算出相应的内参矩阵和外参矩阵：k1、r1和k2、r2，利用光束平差法细化所求参数，并将细化后的内外参作为初始值输入，进行二次光束平差法优化；6)计算细化后的k1、r1和k2、r2误差大小，对比后选取误差更小一组；7)将上一步所选相机内参数进行放大，还原至原始图尺寸对应参数，外参数不变，所选内外参数作为所需保存的拼接参数值，然后计算四路图像的投影变换图以及变换掩码图。8)定义计算尺度2，对上一步所得投影变换图以及变换掩码图进行下采样至尺度2大小，使用gpu加速的图割法计算最佳拼接缝隙，得到包含最优接缝信息的掩码图像，然后上采样至原始图尺寸并进行相应膨胀运算、与运算得到最终融合所需的模板掩码图像；8)将7)中所得相机内外参与8)中所求的模板掩码附加此刻的位置信息一同保存于本地，作为正式拼接阶段的模板参数库。7.根据权利要求4所述的一种观察区域可调式多相机实时拼接系统的拼接方法，其特征在于，所述步骤s5中利用gpu实现实时拼接具体包括：根据拼接初始化阶段得到的相机内外参矩阵，使用gpu柱面投影变换函数，将各图像投影至以相机焦距f为半径的柱面上，再经反向投影得到最终的全景图像；结合初始化阶段计算出的模板掩码图像，利用gpu实现多频段融合过程，首先分别建立各个图像的拉普拉斯金字塔，然后针对重叠区域，把它们的金字塔的相同层进行合并，最后对该合并后的金字塔进行逆拉普拉斯变换，从而得到最终的融合图像。8.根据权利要求4所述的一种观察区域可调式多相机实时拼接系统的拼接方法，其特征在于，所述步骤s6中电机控制相机支架旋转的策略具体为：设定相机支架绕中心上下和左右旋转的度数，向上和向右为正值，向下和向左为负值；设置旋转度数完毕，发送相应电机控制指令，后侧电机接收指令通过齿轮机构控制相机支架先进行左右方向的旋转，而后右侧电机接收指令通过齿轮机构控制相机支架进行上下方向的旋转，此时系统到达新的位置，获得新的观察区域。

技术总结
本发明涉及一种观察区域可调式多相机实时拼接系统，包括视频同步采集单元、电控相机旋转单元和视频处理与显示单元；所述视频同步采集模块包括若干视频同步采集模块实现多路相机的同步同帧率采集；所述电控相机旋转调节控制视频同步采集单元进行旋转；所述视频处理与显示单元接收视频同步采集单元传输的图像数据，使用CPU与GPU协同处理，输出拼接结果帧实时显示。本发明能够自动调节相机旋转实现多区域的观测，同时改进的拼接参数计算方案与多种加速手段能保证更高效的得到精确的拼接参数，在实际应用中，能够实现对某场景更全面、更迅速、更精确的实时观察监测。更精确的实时观察监测。更精确的实时观察监测。


技术研发人员：吴靖 杨铮 黄峰
受保护的技术使用者：福州大学
技术研发日：2021.12.30
技术公布日：2022/4/12