多摄像头的图像全景拼接方法、系统、设备、介质及产品与流程

本技术涉及图像拼接，具体涉及一种多摄像头的图像全景拼接方法、系统、设备、介质及产品。

背景技术：

1、多摄像头协同采集广泛应用于全景监控、赛事直播等场景。此类应用中，多台采集设备分布部署于不同位置，从不同视角采集同一场景并进行全景拼接。由于各设备彼此独立运行，需要为分布在不同位置的多台设备建立统一的时间基准，以协调各设备的采集时刻，使参与拼接的多路图像对应于同一时刻的场景内容。

2、现有方案通常采用基于网络的授时方式为各设备建立时间基准。该方式设置一时间服务器，由其通过网络周期性地向各采集设备发送携带时间信息的报文；各采集设备接收报文后，测量报文在网络中往返的传输时延，并以报文往返的上下行链路对称为前提，由报文携带的时间信息与所测时延各自推算出时间服务器的时间，据此对本地晶体振荡器驱动的系统时钟进行校正，再依据校正后的系统时钟确定各自的采集时刻。

3、随着高速运动场景对跨设备采集时刻一致性提出更高要求，上述实现方式逐渐显现出问题。报文经网络传输，其时延随网络负载与链路状态而波动，报文往返的上下行链路在交换机排队、路由不均时并不对称，各采集设备据此各自推算出的时间彼此不同且随网络状态起伏，使各设备校正后的系统时钟相对真实时间的偏差各不相同，设备之间由此残留随时间波动的时间差；相邻两次校正之间，各设备系统时钟又仅由各自晶振自由运行，晶振漂移不一使该时间差进一步扩大。当采集对象为高速运动物体时，物体在极短时间内即产生明显位移，各设备实际曝光时刻彼此错开，各路图像所记录的运动物体位置随之相互偏离，全景拼接在拼接区域表现为错位与重影。

技术实现思路

1、本技术提供了一种多摄像头的图像全景拼接方法、系统、设备、介质及产品，以解决分布部署的多台采集设备之间残留随时间波动的系统时钟差，进而在高速运动场景下全景拼接出现错位与重影的问题。

2、第一方面，本技术提供了一种多摄像头的图像全景拼接方法，用于多摄像头的图像全景拼接系统，包括：

3、根据卫星时钟模块的秒脉冲信号获取第一时钟相位，并通过网络接口的网络时间同步协议获取第二时钟相位；

4、根据第一时钟相位和第二时钟相位，对系统时钟进行相位校正，输出同步时钟；

5、根据同步时钟控制多路摄像设备同步采集多路图像，并基于同步时钟对每帧图像进行时间戳标记，得到多路带有采集时间戳的标记图像集合，其中一个摄像设备对应一路标记图像集合；

6、根据采集时间戳对不同路的标记图像进行帧对齐，将采集时间戳的差异在预设阈值内的不同路的标记图像归入同一帧图像组合；

7、对同一帧图像组合中的各路标记图像分别进行图像信号处理，获得多路预处理图像数据；

8、对多路预处理图像数据提取特征点并进行特征匹配，根据匹配得到的特征点对确定相邻摄像设备之间的配准变换参数；

9、根据配准变换参数将多路预处理图像数据投影至统一坐标系，并对投影后重叠区域进行融合，得到拼接图像，并通过硬件编码器压缩后输出。

10、可选的，根据第一时钟相位和第二时钟相位，对系统时钟进行相位校正，输出同步时钟，具体包括：

11、根据系统时钟上一周期的时钟相位偏差和时钟频率漂移率，对系统时钟当前周期的时钟相位偏差进行预测，获得系统时钟当前周期的预测相位偏差；

12、根据第一时钟相位确定第一观测相位偏差，根据第二时钟相位确定第二观测相位偏差；

13、获取第一时钟相位对应的第一观测噪声和第二时钟相位对应的第二观测噪声；根据第一观测噪声和第二观测噪声，分别确定第一观测相位偏差的第一融合权重和第二观测相位偏差的第二融合权重，其中，观测噪声越小的观测相位偏差对应的融合权重越大；

14、根据第一融合权重和第二融合权重，对第一观测相位偏差和第二观测相位偏差进行加权计算，得到融合相位偏差；

15、根据融合相位偏差与预测相位偏差，计算系统时钟当前周期的时钟频率漂移率；

16、根据融合相位偏差对系统时钟进行相位校正，根据当前周期的时钟频率漂移率对系统时钟进行频率校正，得到同步时钟。

17、可选的，获取第一时钟相位对应的第一观测噪声，具体包括：

18、以秒脉冲信号的上升沿相对于系统时钟的到达时刻为采样值，获取第一预设时间窗内的多个采样值；

19、计算第一预设时间窗内相邻两个采样值的差值，并统计多个差值的离散程度，得到秒脉冲信号的边沿抖动量；

20、将边沿抖动量映射为第一观测噪声的基础值，边沿抖动量越大则基础值越大；

21、获取卫星时钟模块当前参与定位解算的卫星数量，在卫星数量不小于预设数量时，将基础值作为第一观测噪声；在卫星数量小于预设数量时，将基础值放大预设倍数后作为第一观测噪声。

22、可选的，获取第二时钟相位对应的第二观测噪声，具体包括：

23、获取网络接口在预设时间窗内多次网络时间协议报文交互分别测得的多个链路单程延迟，统计多个链路单程延迟的离散程度，得到链路延迟波动量；

24、计算每次报文交互中上行单程延迟与下行单程延迟之差的绝对值，并对第二预设时间窗内多次报文交互对应的绝对值取平均，得到路径不对称量；

25、将链路延迟波动量和路径不对称量映射为第二观测噪声，链路延迟波动量越大则第二观测噪声越大，路径不对称量越大则第二观测噪声越大。

26、第二方面，本技术实施例提供了一种多摄像头的图像全景拼接系统，系统包括卫星时钟模块、网络接口、多路摄像设备以及处理器，处理器集成有中央处理单元、图形处理单元、图像信号处理单元和硬件编码器；

27、中央处理单元，用于根据卫星时钟模块的秒脉冲信号获取第一时钟相位，并通过网络接口的网络时间同步协议获取第二时钟相位；还用于根据第一时钟相位和第二时钟相位，对系统的系统时钟进行相位校正，输出同步时钟；

28、图像信号处理单元，用于根据同步时钟控制多路摄像设备同步采集多路图像，并基于同步时钟对每帧图像进行时间戳标记，得到多路带有采集时间戳的标记图像集合，其中一个摄像设备对应一路标记图像集合；

29、中央处理单元，还用于根据采集时间戳对不同路的标记图像进行帧对齐，将采集时间戳的差异在预设阈值内的不同路的标记图像归入同一帧图像组合；

30、图像信号处理单元，还用于对同一帧图像组合中的各路标记图像分别进行图像信号处理，获得多路预处理图像数据；

31、图形处理单元，用于对多路预处理图像数据提取特征点并进行特征匹配，根据匹配得到的特征点对确定相邻摄像设备之间的配准变换参数；还用于根据配准变换参数将多路预处理图像数据投影至统一坐标系，并对投影后重叠区域进行融合，得到拼接图像；

32、硬件编码器，用于对拼接图像压缩后输出。

33、可选的，处理器还集成有神经网络处理单元；

34、神经网络处理单元，用于对拼接图像进行运动目标检测，得到当前帧中各运动目标的目标框，并对不同帧的运动目标检测得到的目标框进行跨帧关联，为每个运动目标分配目标标识，得到多目标跟踪结果；

35、中央处理单元，还用于累积每个运动目标在历史各帧中的位置坐标，并根据位置坐标在拼接图像上叠加运动目标的运动轨迹线；

36、中央处理单元，还用于根据运动目标的位置坐标进行核密度估计，生成表征运动目标活动分布的运动热力图，并将运动热力图叠加至拼接图像。

37、可选的，处理器还集成有带宽仲裁单元；

38、带宽仲裁单元，用于为图像信号处理单元分配第一最小带宽并限定第一峰值带宽，且优先保证图像信号处理单元的带宽不低于第一最小带宽；

39、带宽仲裁单元，还用于为图形处理单元分配第二最小带宽并限定第二峰值带宽；为神经网络处理单元分配第三最小带宽并限定第三峰值带宽；为硬件编码器分配第四最小带宽并限定第四峰值带宽；为中央处理单元分配第五最小带宽，其中，中央处理单元的实时带宽为内存的剩余带宽；

40、第一最小带宽至第五最小带宽之和不超过内存的总带宽，第一最小带宽至第五最小带宽和第一峰值带宽至第四峰值带宽根据处理器各处理单元的实测需求设置；

41、带宽仲裁单元，还用于根据不同的紧急运行状态，通过带宽仲裁单元至少执行以下调度操作中的任一操作，以使各处理单元的存储带宽不低于所分配的最小带宽且不超过所限定的峰值带宽；

42、调度操作包括：根据不同的紧急运行状态，通过带宽仲裁单元至少执行以下操作中的任一操作：将神经网络处理单元和硬件编码器的部分存储带宽分配给图形处理单元；将神经网络处理单元的部分存储带宽分配给图像信号处理单元和/或图形处理单元；延迟硬件编码器的存储访问。

43、第三方面，本技术实施例提供了一种多摄像头的图像全景拼接设备，该多摄像头的图像全景拼接设备包括：一个或多个处理器和存储器；该存储器与该一个或多个处理器耦合，该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，该一个或多个处理器调用该计算机指令以使得该多摄像头的图像全景拼接设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

44、第四方面，本技术实施例提供一种包含指令的计算机程序产品，当上述计算机程序产品在多摄像头的图像全景拼接设备上运行时，使得上述多摄像头的图像全景拼接设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

45、第五方面，本技术实施例提供一种计算机可读存储介质，包括指令，当上述指令在多摄像头的图像全景拼接设备上运行时，使得上述多摄像头的图像全景拼接设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

46、综上，本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

47、1、相较于仅依赖网络报文时延测量的单一授时方式，本方案以卫星时钟模块秒脉冲信号获取的第一时钟相位与网络时间同步协议获取的第二时钟相位共同对系统时钟进行相位校正，输出的同步时钟同时利用两类时间源的相位信息，使各设备同步时钟统一到共同绝对时间基准、消除设备间时钟差、使各设备曝光时刻一致，多路摄像设备在同一同步时钟下同步采集图像并标记采集时间戳，据此将采集时间戳差异在预设阈值内的标记图像归入同一帧图像组合，使参与拼接的多路图像对应于相近的采集时刻，经配准变换与投影融合后，得到高速运动物体位置相互对应、重叠区域错位与重影减少的拼接图像。

48、2、由系统时钟上一周期的时钟相位偏差和时钟频率漂移率预测得到预测相位偏差；同时依据第一、第二观测相位偏差各自的观测噪声确定融合权重，使观测噪声较小的观测相位偏差占有较大比重，得到融合相位偏差；再由融合相位偏差与预测相位偏差计算时钟频率漂移率，分别对系统时钟进行相位校正、对系统时钟进行频率校正，使同步时钟在相位与频率上均得到修正，减小相邻校正周期之间的时钟相位波动。

49、3、以秒脉冲信号上升沿的到达时刻统计边沿抖动量，并结合参与定位解算的卫星数量确定第一观测噪声；以多次报文交互测得的链路延迟波动量和路径不对称量确定第二观测噪声。由此得到的两项观测噪声能够反映各时间源当前的授时质量，作为融合权重的依据，使加权融合更多采用当前授时质量较高的时间源所对应的观测相位偏差。

50、4、中央处理单元、图形处理单元、图像信号处理单元和硬件编码器按各自功能协同完成拼接流程；神经网络处理单元对拼接图像进行运动目标检测与跨帧关联，得到多目标跟踪结果，并叠加运动轨迹线和运动热力图，呈现运动目标的活动分布；带宽仲裁单元为各处理单元分配最小带宽并限定峰值带宽，根据不同的紧急运行状态执行调度操作，使各处理单元的存储带宽不低于所分配的最小带宽且不超过所限定的峰值带宽，减少多单元并行访问内存时的带宽争用。