面向实景融合的多路视频低延迟处理与传输方法及系统与流程

本发明涉及视频拼接与传输，特别涉及面向实景融合的多路视频低延迟处理与传输方法及系统。

背景技术：

1、随着计算机视觉和通信技术的快速发展，多路视频在实时拼接和传输领域的应用日益广泛。安防监控领域对全景高清视频的需求不断增长，以实现无盲区覆盖和精细化监控；医疗影像领域要求低延迟、高画质的视频传输，以支持远程诊断与手术指导；虚拟现实（vr）则依赖超高分辨率视频提供沉浸式体验。然而，这些应用场景均对视频传输的实时性、画质和带宽利用率提出了极高要求。当前，超高分辨率视频在实时拼接和传输过程中面临诸多挑战，例如高延迟导致画面不同步、画质受损影响观看体验，以及带宽瓶颈限制数据传输效率等问题。这些问题不仅制约了相关技术的实际应用效果，也成为学术界和工业界亟需解决的关键难题。

技术实现思路

1、为了解决现有技术问题，本发明提供了一种面向实景融合的多路视频低延迟处理与传输方法及系统。

2、一方面，提供了一种面向实景融合的多路视频低延迟处理与传输方法，所述方法包括：

3、s1：多路视频同步采集及为每一路创建硬件加速处理通道；

4、s2：获取采集的多路视频图像，存放到视频处理资源缓冲区；

5、s3：读取配置文件中的畸变校正参数和裁剪框参数，对采集到的多路视频图像进行畸变校正与无效边缘裁剪；

6、s4：对畸变校正与无效边缘裁剪后的多路视频图像进行下采样处理，生成多路低分辨率缩图；

7、s5：在低分辨率缩图上进行特征点提取与匹配，计算得到变换矩阵；

8、s6：利用变换矩阵进行全分辨率亚像素级配准与无缝融合；

9、s7：对融合后的图像数据进行传输显示。

10、进一步地，所述s1具体包括：

11、为阵列中每一路相机分别创建相互硬件隔离的独立硬件加速处理通道，并与对应相机物理接口一一绑定，为各通道配置固定大小的triple buffer环形缓冲区，分别对应采集缓冲、处理缓冲、输出缓冲；

12、实时监测相机工作状态，相机离线时自动释放对应通道的硬件加速资源并回收至系统资源池，供其他通道或视频融合模块动态复用。

13、进一步地，所述s1中采用硬件触发统一时钟同步信号，实现多路相机微秒级帧同步与视频流时间戳对齐，完成多路工业相机阵列同步高清采集与并行硬件加速处理。

14、进一步地，所述s3具体包括：

15、在系统部署前，采用棋盘格标定法对每路相机进行离线标定，通过采集多姿态棋盘格图像，利用标定工具包计算相机内参矩阵和畸变系数向量，将参数保存在文件系统的配置文件中，对采集到的相机图像利用预生成的畸变校正查找表将畸变图像坐标映射到校正图像坐标；

16、畸变校正后，通过预先设定的裁剪框进行裁剪，设定的裁剪框参数的信息保存在配置文件中。

17、进一步地，所述s4具体包括：

18、采用区域平均下采样法将视频图像划分为n×n的像素块，计算每个像素块内所有像素的算术平均值作为缩图对应像素值，生成低分辨率缩图。

19、进一步地，所述s5具体包括：

20、在低分辨率缩图上采用orb算法提取特征点，利用汉明距离进行匹配；

21、利用筛选后的匹配点集，通过svd分解求解得到适用于全分辨率图像的单应性变换矩阵，来确定两幅图像间的透视变换关系，关键的参数包含单应性变换矩阵的8个自由度参数及内点阈值。

22、进一步地，所述s6具体包括：

23、通过使用计算得到的单应性变换矩阵对全分辨率图像进行配准操作，实现亚像素级别的对齐精度，并采用多频段融合算法消除拼接缝。

24、进一步地，所述s7中融合后的图像数据直接从硬件加速通道的帧缓冲器通过pcie通道传输至显示终端，无需经过cpu内存拷贝，降低了图像的延迟。

25、另一方面，提供了一种面向实景融合的多路视频低延迟处理与传输系统，用于实现所述的面向实景融合的多路视频低延迟处理与传输方法，所述系统包括：

26、多路工业相机阵列，用于采集的多路视频图像；

27、通道创建模块，用于为每一路相机创建硬件加速处理通道；

28、视频采集模块，用于获取采集的多路视频图像，存放到视频处理资源缓冲区；

29、畸变校正模块，用于读取配置文件中的畸变校正参数和裁剪框参数，对采集到的多路视频图像进行畸变校正与无效边缘裁剪；

30、下采样处理模块，用于对畸变校正与无效边缘裁剪后的多路视频图像进行下采样处理，生成多路低分辨率缩图；

31、特征点提取与匹配模块，用于在低分辨率缩图上进行特征点提取与匹配，计算得到变换矩阵；

32、拼接融合模块，用于利用变换矩阵进行全分辨率亚像素级配准与无缝融合；

33、视频输出模块，用于对融合后的图像数据进行传输显示。

34、进一步地，所述视频输出模块为集成硬件加速通道的帧缓冲处理模块，模块内帧缓冲器的图像数据直接经由pcie通道传输至显示终端。

35、本发明实施例提供的技术方案带来的有益效果是：本发明中对将采集的视频流畸变校正和裁剪处理，然后通过"分辨率解耦处理"机制，将传统整帧处理模式拆解为缩图快速计算，利用缩图快速计算变换矩阵，再映射至全分辨率图像进行配准，既降低了计算负载，又通过多频段融合算法实现了无缝拼接。

36、另外，各路相机独立硬件通道，故障隔离；资源动态复用策略提升了硬件利用率，避免单点瓶颈，显著降低了整体处理的时间成本，从而降低了整体的视频延迟。

1.一种面向实景融合的多路视频低延迟处理与传输方法，其特征在于，所述方法包括：

2.根据权利要求1所述的面向实景融合的多路视频低延迟处理与传输方法，其特征在于，所述s1具体包括：

3.根据权利要求2所述的面向实景融合的多路视频低延迟处理与传输方法，其特征在于，所述s1中采用硬件触发统一时钟同步信号，实现多路相机微秒级帧同步与视频流时间戳对齐，完成多路工业相机阵列同步高清采集与并行硬件加速处理。

4.根据权利要求1所述的面向实景融合的多路视频低延迟处理与传输方法，其特征在于，所述s3具体包括：

5.根据权利要求1所述的面向实景融合的多路视频低延迟处理与传输方法，其特征在于，所述s4具体包括：

6.根据权利要求1所述的面向实景融合的多路视频低延迟处理与传输方法，其特征在于，所述s5具体包括：

7.根据权利要求6所述的面向实景融合的多路视频低延迟处理与传输方法，其特征在于，所述s6具体包括：

8.根据权利要求1所述的面向实景融合的多路视频低延迟处理与传输方法，其特征在于，所述s7中融合后的图像数据直接从硬件加速通道的帧缓冲器通过pcie通道传输至显示终端，无需经过cpu内存拷贝，降低了图像的延迟。

9.一种面向实景融合的多路视频低延迟处理与传输系统，其特征在于，用于实现权利要求1~8任一所述的面向实景融合的多路视频低延迟处理与传输方法，所述系统包括：

10.根据权利要求9所述的面向实景融合的多路视频低延迟处理与传输系统，其特征在于，所述视频输出模块为集成硬件加速通道的帧缓冲处理模块，模块内帧缓冲器的图像数据直接经由pcie通道传输至显示终端。