基于视频流的光电经纬仪网络图像低时延远程传输方法与流程

摘要: 本发明属于流媒体,尤其涉及一种基于视频流的光电经纬仪网络图像低时延远程传输方法。背景技术:1、随着光电探测技术的发展,经纬仪逐步向高分辨率、高帧频、多传感器集成...
基于视频流的光电经纬仪网络图像低时延远程传输方法与流程

本发明属于流媒体,尤其涉及一种基于视频流的光电经纬仪网络图像低时延远程传输方法。

背景技术:

1、随着光电探测技术的发展,经纬仪逐步向高分辨率、高帧频、多传感器集成方向演进,海量实时图像数据与多路控制信息的并行传输与处理已成为系统性能的关键瓶颈。

2、在图像传输方面,传统电滑环方案存在抗干扰能力差、带宽有限、机械磨损等固有限制。光纤传输虽具有高带宽、强抗干扰等优势,但现有方案在端到端时延控制方面仍有较大优化空间,尤其是从图像采集、背景滤波、编码压缩到网络推流的全链路低时延协同处理,尚缺乏系统性解决方案。

3、在图像处理环节,原始图像通常需经背景滤波以抑制噪声、突出目标。传统均值滤波、中值滤波等方法虽能有效降噪,但计算复杂度过高,难以兼顾50hz实时图像流的处理能力与低时延输出要求。

4、近年来已有相关专利技术提出。专利cn113824715a公开了一种实时视频流播放方法,该方法通过对解码后的视频帧打包生成媒体数据块并发送至播放器显示。然而,该方案仅能依托nodejs服务运行,且播放须基于浏览器环境,受限于内核与版本兼容性。在实际多目标监控场景中,需同时接收并显示多通道视频流,该方案在多路并行解码与渲染方面扩展能力有限。

5、专利cn113747087a提出一种远程驾驶低延时图像传输方法,在linux驱动控制下逐包发送图像编码数据。该方法在常规场景中可接受,但面对高分辨率、高帧频实时图像流时,驱动层逐包处理显著增加传输时延。同时,该方案对操作系统具有较强绑定依赖,难以灵活适配不同硬件平台与网络环境,限制了高速图像传输的实时性与系统可扩展性。

技术实现思路

1、有鉴于此,本发明创造旨在提供一种基于视频流的光电经纬仪网络图像低时延远程传输方法,以解决背景技术中存在的传输效率低、带宽占用高、编码时延大、多路并发能力弱的技术难题,通过优化编码处理流程,采用图形处理器加速编码,输出通用视频格式,结合流媒体转发实现多路并发与多设备同步显示。

2、为达到上述目的,本发明创造的技术方案是这样实现的:

3、一种基于视频流的光电经纬仪网络图像低时延远程传输方法,包括以下步骤:

4、s1:获取原始图像信息,并利用图像采集卡对原始图像信息进行实时采集,以获得反映真实场景的原始图像帧;

5、s2:对原始图像帧中的每个像素设置长度为n的整数循环缓冲区及当前累加和变量;每当从输入数据流中读取到一个新像素值时,当前累加和减去缓冲区中最老数据;新像素值覆盖该位置;新像素值加入累加和,索引指针循环前移,最终累加和除以长度n作为该像素的背景滤波输出图像帧;

6、s3:将步骤s2滤波后输出的图像帧一次性拷贝至图形处理器,在图形处理器内进行分辨率缩放处理,缩放后数据仍保留于图形处理器;将缩放后的图像帧直接传递至图形处理器(gpu)上的硬件编码器,硬件编码器重新编码输出视频流;

7、s4:通过rtsp协议并配合原始帧率控制参数以原始帧率平滑读取经背景滤波处理的输入源,将已编码视频流数据直接推送至目标地址,形成从图形处理器到网络接口的硬件加速推流链路;

8、s5:通过网络从步骤s4推送的目标地址拉取视频流,视频拉流解码显示终端基于多媒体处理库建立拉流对象,将该地址作为输入源,开始接收步骤s4所推送的实时视频流;接收到的视频流经解码后输出至视频拉流解码显示终端的显示模块。

9、进一步的,在步骤s5的拉取视频流过程中,通过动态缓冲控制和自适应延迟调整来减小视频传输的端到端时延,通过视频流中的参考时钟信息与本地系统时钟进行比较,实时判断数据是否迟到。

10、进一步的,动态缓冲控制包括:

11、通过比较经时钟漂移补偿后的本地系统时间映射值与原始码流时间戳的时钟漂移值,在进行时间戳向本地系统时间的转换过程中,直接利用时钟漂移值对转换结果进行主动补偿,从而消除由于发送端与接收端差异引起的长期时钟漂移对缓冲区排队时延的影响;

12、当检测到当前网络状态满足预设的稳定条件时,自动将该缓冲时长变量复位归零,从而在网络稳定时减少不必要的缓冲等待,降低缓冲造成的固有延迟。

13、进一步的,自适应延迟调整包括:

14、当多媒体处理库的解码器等待数据,记录延迟情况并动态增大接收缓冲区以防止丢帧;

15、当数据持续提前到达多媒体处理库,则维持或减小缓冲区深度。

16、与现有技术相比,本发明创造能够取得如下有益效果:

17、(1)本发明创造采用图形处理器硬件加速编码,将滤波后图像帧一次性拷贝至图形处理器,在图形处理器内完成分辨率缩放与硬件编码,全程无需回传至主控计算机内存,避免了传统方案中数据在中央处理器内存与图形处理器间的反复拷贝。通过对编解码方案的改进,显著提高了图像传输效率,在常规分辨率与帧率条件下,端到端传输时延可控制在30至50毫秒范围内,充分保证了图像传输的实时性与画面流畅性

18、(2)本发明创造将图像信息与通信数据均通过网络进行统一传输,无需额外铺设专用光纤线路,显著降低了系统硬件成本

19、(3)本发明创造采用虚拟局域网技术将同一物理链路在逻辑上划分为多个独立广播域,分别为图像数据和通信数据创建不同虚拟局域网,使二者无法直接通信,避免了数据拥塞与相互干扰。同时,接收端通过动态缓冲控制、时钟漂移补偿和自适应延迟调整机制,可根据网络抖动和时钟差异自适应调整缓冲区深度,在保证播放连续性的前提下将缓冲引入的固定时延降到最低,提高了图像传输的可靠性与稳定性。

20、(4)本发明创造为每个像素独立维护循环缓冲区及累加和变量,每个像素仅需一次减法、一次加法和一次指针移动即可完成滤波更新,计算复杂度恒定。

1.一种基于视频流的光电经纬仪网络图像低时延远程传输方法,其特征在于:包括以下步骤:

2.根据权利要求1所述的基于视频流的光电经纬仪网络图像低时延远程传输方法,其特征在于:在步骤s5的拉取视频流过程中,通过动态缓冲控制及自适应延迟调整以降低端到端时延;通过比对视频流中的参考时钟与本地系统时钟,判断数据是否超出预期到达时间。

3.根据权利要求2所述的基于视频流的光电经纬仪网络图像低时延远程传输方法,其特征在于,动态缓冲控制包括:

4.根据权利要求2所述的基于视频流的光电经纬仪网络图像低时延远程传输方法,其特征在于,自适应延迟包括以下步骤: