远程驾驶低延时图像传输方法、装置、计算机设备及介质与流程

1.本发明属于数据处理技术领域，具体涉及一种远程驾驶低延时图像传输方法、装置、计算机设备及介质。


背景技术：

2.在现有的图像数据传输中，图像传输大多由摄像机端接收到图像后，图像经过操作系统打包成网络包，或者无线包，经过网络或者无线传输到接收端，接收端解码后对图片进行播放。在这种情况下，因为涉及到系统内核态数据到用户态数据的转换，系统把图片信息由相机取出转换成无线包或者网络包的过程会非常耗时，为了减小这部分所耗费的时间，有必要对此处理所耗费的时间进行优化，从而减少整个视频传输链路的延时，提升远程视频可操作性性。
3.现有设备的图像传输是通过系统驱动搬运图像数据到内存，系统在通过内存映射访问对应的内存地址，从而取出所指定的数据打包发送出去，但是这个方法存在比较高的延时，不利于远程的控制以及实时性。


技术实现要素：

4.现有技术中图像传输是通过系统驱动搬运图像数据到内存，系统在通过内存映射访问对应的内存地址，从而取出所指定的数据打包发送出去，该方法存在比较高的延时，不利于远程的控制以及实时性。针对现有技术存在的上述问题，本发明提供一种远程驾驶低延时图像传输方法、装置、计算机设备及介质。本发明适应于远程驾驶场景下降低图像传输的延时，缓解远程控制延时过大带来的操作不便的情况。
5.为实现上述技术目的，本发明采用的技术方案如下：
6.远程驾驶低延时图像传输方法，包括：
7.采集的光信号经模数转换成电信号，获得原始图像；
8.提取原始图像进行压缩、编码，得到图像编码数据，并将图像编码数据存储到指定的内存地址，其中每编码完成一定帧数的原始图像后产生一个中断通知底层驱动；
9.底层驱动接收到中断后，在对应的内存地址中提取图像编码数据进行rtp分包且每一包加上rtp数据头，然后直接经网络驱动程序转发至发射缓冲区；
10.在linux驱动控制下对发送缓冲区的图像编码数据逐一发送。
11.进一步地，本发明所述原始图像时带有rgb彩色信息的原始图像。
12.进一步地，本发明中每编码完成一帧原始图像后产生一个中断通知底层驱动。
13.进一步地，本发明提供一种远程驾驶低延时图像传输装置，包括：
14.图像采集模块，用于采集光信号，并将采集的光信号经模数转换成电信号，获得原始图像；
15.图像处理模块，用于提取原始图像进行压缩、编码，得到图像编码数据，并将图像编码数据存储到指定的内存地址，其中每编码完成一定帧数的原始图像后产生一个中断通
知底层驱动；
16.数据控制模块，其底层驱动接收到中断后，在对应的内存地址内提取图像编码数据进行rtp分包且每一包加上rtp数据头，然后直接经网络驱动程序转发至发射缓冲区；
17.数据发射模块，用于在linux驱动控制下对发送缓冲区的图像编码数据逐一发送。
18.进一步地，图像处理模块为fpga图像处理模块。
19.进一步地，图像处理模块采用赛灵思的zynq7020芯片实现原始图像的压缩，使用双核armcortexa9来搭载linux系统实现数据的调度。
20.进一步地，数据控制模块采用armcortexa9处理器。
21.本发明提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：
22.采集的光信号经模数转换成电信号，获得原始图像；
23.提取原始图像进行压缩、编码，得到图像编码数据，并将图像编码数据存储到指定的内存地址，其中每编码完成一定帧数的原始图像后产生一个中断通知底层驱动；
24.底层驱动接收到中断后，在对应的内存地址中提取图像编码数据进行rtp分包且每一包加上rtp数据头，然后直接经网络驱动程序转发至发射缓冲区；
25.在linux驱动控制下对发送缓冲区的图像编码数据逐一发送。
26.本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
27.采集的光信号经模数转换成电信号，获得原始图像；
28.提取原始图像进行压缩、编码，得到图像编码数据，并将图像编码数据存储到指定的内存地址，其中每编码完成一定帧数的原始图像后产生一个中断通知底层驱动；
29.底层驱动接收到中断后，在对应的内存地址中提取图像编码数据进行rtp分包且每一包加上rtp数据头，然后直接经网络驱动程序转发至发射缓冲区；
30.在linux驱动控制下对发送缓冲区的图像编码数据逐一发送。
31.本发明能够达到的有益技术效果是：
32.本发明主要用于减少视频传输中的延时，光信号经过相机采集后，变成电模拟信号，然后再转换成rgb图像存储到内存，通过底层驱动直接承担图像数据的rtp封包以及数据发送工作，直接经网口或者无线把图像数据发出，大大节约了系统运行模式之间来回切换所花费的时间。
附图说明
33.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
34.图1是本发明一实施例的流程图；
35.图2是本发明一实施例的结构示意图；
36.图3是本发明一实施例的数据处理流程图。
37.本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
38.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
39.在远程驾驶中，实现交互顺畅的关键因素在于视频发送端到视频接收端之间的总延时时间，包括视频处理时间(光信号转电信号)；发送端填充帧缓冲的延迟；压缩时间；发送数据包引起的软件延迟；无线收发延迟；接收数据包引起的软件延迟；视频解码时间。而在传统的图像传输方案中视频发送端到视频接收端之间的延时主要集中在发送端的图像编码数据从内存到无线发送端之间的延时时间，本发明在发送端，通过减少图像编码数据从内存到无线发送端之间的延时时间，使端到端之间的延时大大减少。
40.参照图1，本发明一实施例提供一种远程驾驶低延时图像传输方法，包括：
41.s1、采集光信号，将采集的光信号经模数转换成电信号，获得具有rgb色彩信息的原始图像；
42.s2、提取原始图像进行压缩、编码，得到图像编码数据，并将图像编码数据存储到指定的内存地址，其中每编码完成一帧原始图像后产生一个中断通知底层驱动；
43.s3、底层驱动接收到中断后，在对应的内存地址中提取图像编码数据进行rtp分包且每一包加上rtp数据头，然后直接经网络驱动程序转发至发射缓冲区；
44.s4、在linux驱动控制下对发送缓冲区的图像编码数据逐一发送。
45.参照图2，本发明提供一种远程驾驶低延时图像传输装置，应用于发送端，包括：
46.图像采集模块，用于采集光信号，并将采集的光信号经模数转换成电信号，获得原始图像。原始图像存储至对应的内存地址。
47.图像处理模块，用于提取原始图像进行压缩、编码，得到图像编码数据，并将图像编码数据存储到指定的内存地址，其中每编码完成一定帧数的原始图像后产生一个中断通知底层驱动；
48.数据控制模块，其底层驱动接收到中断后，在对应的内存地址内提取图像编码数据进行rtp分包且每一包加上rtp数据头，然后直接经网络驱动程序转发至发射缓冲区；
49.数据发射模块，用于在linux驱动控制下对发送缓冲区的图像编码数据逐一发送。
50.图像采集模块中选用了现有的光电转换器模组，把光线转变成电荷，通过模数转换器芯片转换成电信号。
51.图像处理模块为fpga图像处理模块。为了有足够的逻辑阵列块处理图像编码功能，本发明采用了赛灵思的zynq7020芯片，使用双核armcortexa9来搭载linux系统实现数据的调度。其中h264编码使用了a2etechnologies公司的低延时编码器，对于1080p30视频流而言，时延不到500微秒。
52.数据控制模块即arm数据控制模块，具体为cortexa9arm处理器，由cortexa9arm处理器来负责所有组成模块的协调工作。通过修改linux内核，使底层驱动直接承担图像编码数据的rtp封包以及数据发送工作，上层系统只负责rtcp的控制信息的交互，从而大大减少了系统内核到系统大量的数据拷贝所花费的时间。
53.由于linux为非实时系统，为了最大程度上降低系统发生的延时，所以需要创建低延时自定义rtsp传输协议，其中rtcp协议部分由linux用户层软件实现，与现有标准保持一
致。rtsp的rtp数据发送部分则改由底层驱动来实现，图像编码数据存储到ddr以后，通过底层驱动在对应的内存地址内提取图像编码数据进行rtp分包且每一包加上rtp数据头，然后直接经网络驱动程序转发至发射缓冲区。数据发射模块为无线发射模块。无线发射模块在linux驱动控制下对发送缓冲区的图像编码数据按一定的发射频率进行逐一发送。本发明无需在内核和用户空间之间进行内存拷贝。从而降低软件路径上产生的数据传输延时。
54.参照图3，为本发明一实施例的数据处理流程图，首先输入光信号，将采集的光信号经模数转换成电信号，获得具有rgb色彩信息的原始图像；当完成当前一帧原始图像的采集，则提取当前一帧原始图像进行压缩、编码，得到当前一帧原始图像对应的图像编码数据，并将图像编码数据存储到指定的内存地址。其中每编码完成一帧原始图像后产生一个中断，通知底层驱动；底层驱动接收到中断后，在对应的内存地址中提取图像编码数据进行rtp分包且每一包加上rtp数据头，然后直接经网络驱动程序转发至发射缓冲区；最后在linux驱动控制下将发送缓冲区的图像编码数据逐一发射出去。
55.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
56.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。