提升编解码与传输并行的方法、装置及系统与流程

1.本发明涉及视频处理技术领域，更为具体的，涉及一种提升编解码与传输并行的方法、装置及系统。


背景技术：

2.srt是(secure reliable transport)的简称，是由haivision和wowza共同创建的srt联盟所发起的开源互联网传输协议，是近几年非常受欢迎的开源视频传输协议，具有低延迟，安全可靠的特点。
3.在目前的srt传输应用中，mpeg-ts over srt基本已作为标准流程来应用（由于srt只是单纯的一个数据传输协议，在视音频传输过程中我们还需要封装成相应的容器格式来携带例如音视频的时间戳信息，以及将视音频数据交织在一起等），整体常规传输流程我们可以简化为以下几个步骤：1)发送端将基带视音频数据通过视音频编码器编码成码流数据；2)码流数据通过相应的mpeg-ts标准封装成ts数据流；3)ts数据流通过srt进行相应的传输发送到接收端；4)接收端接收到srt数据后进行相应的mpeg-ts解封装；5)对解封装后的码流数据，进行相应的视音频解码还原得到基带视音频数据。
4.上述现有方案，仍然存在延迟的技术问题：1.编码一帧完整数据后才能开始传输，通常一帧画面的编码耗时较多；2.传输后在接收侧必须等待完整的一帧码流数据后才可以开始解码。


技术实现要素：

5.本发明的目的在于克服现有技术的不足，提供一种提升编解码与传输并行的方法、装置及系统，充分保留传输过程中srt的优势，但是又能改进目前通用方案的延迟，使得整个流程中的延迟大大降低。
6.本发明的目的是通过以下方案实现的：一种提升编码与传输并行的方法，包括步骤：预先对视频图像进行空间划分为多个图像区域并编号；多个编码器同时编码对应的图像区域数据，编码后输出原始码流包并编号，再将原始码流包和时间戳信息打包形成视频媒体流；利用srt协议中报文的边界字段和消息编号字段来传输所述视频媒体流，所述边界字段和消息编号字段包括码流编号k和视频媒体流被拆分后的ip报文编号n，且k、n在发送报文中封装。
7.进一步地，每个所述图像区域对应一个独立的编码器，按图像区域的大小设置对应编码器的幅面参数，根据传输的视频带宽设置相应的码率参数。
8.进一步地，所述利用srt协议中报文的边界字段和消息编号字段来传输所述视频
媒体流，包括步骤：每个编码数据分成多个srt报文，同一个编码数据的各个报文分配同一个消息编号和不同的报文编号，报文编号按序递增，同时报文中边界字段携带编码数据的起始/中间/结束标记。
9.进一步地，所述k通过srt报文中的消息编号字段表示；消息编号字段共26位，第1到2位表示媒体类型，第3到10位表示图像分块序号，第11到26位表示视频帧序号。
10.一种提升解码与传输并行的方法，包括步骤：接收如上所述方法传输的视频媒体流，对视频媒体流拆包后按相应的编号进行独立的解码；在独立的解码中，解码后的图像区域根据对应的时间戳和图像区域编号信息完成对图像完整帧数据的重建。
11.进一步地，所述解码后的图像区域根据对应的时间戳和图像区域编号信息完成对图像完整帧数据的重建，包括步骤：srt的报文中携带了一个完整消息块的起始/中间/结束标记，同时通过消息编号来标记一个消息块，消息块对应到一个图像区域的编码数据；每个srt报文都携带了一个编号，按序递增，接收侧按序重组报文后即能够快速恢复完整的编码数据。
12.进一步地，所述多个编码器同时编码对应的图像区域数据，包括步骤：多个编码器同时并行或者串行编码对应的图像区域数据。
13.一种提升编码与传输并行的装置，包括：图像划分单元，用于预先对视频图像进行空间划分为多个图像区域并编号；编码单元，用于多个编码器同时编码对应的图像区域数据，编码后输出原始码流包并编号，再将原始码流包和时间戳信息打包形成视频媒体流；传输单元，用于利用srt协议中报文的边界字段和消息编号字段来传输所述视频媒体流，所述边界字段和消息编号字段包括码流编号k和视频媒体流被拆分后的ip报文编号n，且k、n在发送报文中封装。
14.一种提升解码与传输并行的装置，包括：接收单元，用于接收如上所述方法传输的视频媒体流；解码单元，用于对视频媒体流拆包后按相应的编号进行独立的解码；在独立的解码中，解码后的图像区域根据对应的时间戳和图像区域编号信息完成对图像完整帧数据的重建。
15.一种提升编解码与传输并行的系统，包括如上所述的提升编码与传输并行的装置和如上所述的提升解码与传输并行的装置。
16.本发明的有益效果包括：本发明简化传输过程中的容器设计，优化流程中容器的解封包效率和延迟，同时使用帧切片编解码方式，突破常规编码流程中的硬件性能限制，相比现有方案能够实现提升编码与传输并行程度，边编码边传输，降低延迟。本发明的技术方案充分保留传输过程中srt的优势，但是又能改进目前通用方案的延迟，使得整个流程中的延迟大大降低。
17.本发明实施例技术方案还具有如下优点：1）只需要编码部分画面后就可以开始传输；2）接收侧也只需要接收到部分码流后就可以开始解码，传输和编解码同时工作；3）同时通过srt报文边界字段可以快速的恢复识别恢复一个图像区块的完整码流。
附图说明
18.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
19.图1为本发明实施例的传输流程示例图。
具体实施方式
20.本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
21.针对背景中的技术问题，本发明的发明人经过创造性的分析思考后，发现在整个过程中，延迟主要来源于以下几个方面：1）srt传输延迟，这部分完全是取决于当前的网络状态，基本属于固化参数，延迟的优化空间极小；2）编解码器延迟，这部分取决于当前的硬件平台性能；3）mpeg-ts解封装流程的延迟，在解封装流程中我们需要参照mpeg-ts标准先从ts包中解析出pes包数据，由于mpeg-ts标准的限制，导致目前我们无法准确的获取到pes长度信息（pes长度信息最大只能到65535，所以目前长度信息值基本为0），所以在解码前需要加一个帧解析流程来拆分出完整的单帧数据来进行解码，这就导致了整体的延迟提升。
22.在认识到上述技术问题之后，本发明的发明人提出了一种技术方案，简化传输过程中的容器设计，优先流程中容器的解封包效率和延迟，同时使用帧切片编解码方式，突破常规编码流程中的硬件性能限制，实现编码与传输并行，边编码边传输，降低延迟。这种技术方案充分保留传输过程中srt的优势，但是又能改进目前通用方案的延迟，使得整个流程中的延迟大大降低。
23.在具体实施过程中，我们首先需要对图像进行空间划分，划分成由上至下的k个以上的图像区块。在编码过程中，分别将每个图像区块分别送入一定数量（适配硬件性能）的编码器做独立编码，得到每个图像区块的码流数据，然后将码流数据附带相应的时间戳信息和图像区块编号信息形成视频媒体流，然后在传输过程中充分利用srt协议中报文的边界字段和消息编号字段来进行编码数据的传输，这样当每个音视频码流的最后一个数据包到达后即可立即解码，srt的报文中携带了一个完整消息块的起始/中间/结束标记，同时通过消息编号来标记一个消息块，这里的消息块可以对应到一个图像分块的编码数据。每个srt报文都携带了一个编号，按序递增，接收侧按序重组报文后即可快速恢复完整的编码数据，不需要再进行相应的拆分流程，然后最终在解码端对收到的码流数据按区域划分结构进行相应完整视频数据的还原，最终让整个编码和解码过程并行度提升，充分提高信道的利用率和延迟降低。
24.在具体的实施例方式中，如图1所示，利用本发明技术方案的具体视频处理流程如下：1）先对图像进行空间划分，每个图像区域对应一个独立的编码器，按图像区域的大小设置对应编码器的幅面参数，再根据传输的视频带宽设置相应的码率参数，其他的编
码参数如关键帧间隔，帧率等统一设置。
25.2）输入一帧视频图像数据后，k个编码器同时编码（并行或者串行编码均可）对应的图像区域数据，编码后输出原始码流包（编号为0到k-1），原始码流包和时间戳等媒体信息打包形成视频媒体流，进行相应的srt传输。
26.3）在srt传输中对网络包进行相应的划分，提高单包利用率，可达到以太网mtu满负载，同时利用srt协议中报文的边界字段和消息编号字段来进行编码数据的传输。具体而言，每个编码数据分成多个srt报文，同一个编码数据的各个报文分配同一个消息编号和不同的报文编号，报文编号按序递增，同时报文中边界字段携带编码数据的起始/中间/结束标记。
27.4）报文信息的编号定义如下：k-n, k表示对应的码流包编号，n表示媒体码流被拆分后的ip报文编号，编号在发送报文中封装，接收端解析。k通过srt报文中的消息编号字段表示。消息编号共26位，第1到2位表示媒体类型，第3到10位表示图像分块序号，第11到26位表示视频帧序号。
28.5）在接收端对媒体流拆包后按相应的编号进行独立的解码，相同编号的报文按照报文序号重组为一个码流数据进行独立解码，同时通过边界字段快速识别码流数据是否完整，解码后的区域根据对应的时间戳和图像区域编号信息完成对图像完整帧数据的重建。
29.6）输出相应的帧数据即完成了一帧的视频传输全流程。
30.音频流程采用常规的处理方式，这里不再做单独的描述说明。
31.需要说明的是，在本发明权利要求书中所限定的保护范围内，以下实施例均可以从上述具体实施方式中，例如公开的技术原理，公开的技术特征或隐含公开的技术特征等，以合乎逻辑的任何方式进行组合和/或扩展、替换。
32.实施例1一种提升编码与传输并行的方法，包括步骤：预先对视频图像进行空间划分为多个图像区域并编号；多个编码器同时编码对应的图像区域数据，编码后输出原始码流包并编号，再将原始码流包和时间戳信息打包形成视频媒体流；利用srt协议中报文的边界字段和消息编号字段来传输所述视频媒体流，所述边界字段和消息编号字段包括码流编号k和视频媒体流被拆分后的ip报文编号n，且k、n在发送报文中封装。
33.本实施例中可选的实施方式包括：每个所述图像区域对应一个独立的编码器，按图像区域的大小设置对应编码器的幅面参数，根据传输的视频带宽设置相应的码率参数。
34.所述利用srt协议中报文的边界字段和消息编号字段来传输所述视频媒体流，包括步骤：每个编码数据分成多个srt报文，同一个编码数据的各个报文分配同一个消息编号和不同的报文编号，报文编号按序递增，同时报文中边界字段携带编码数据的起始/中间/结束标记。
35.所述k通过srt报文中的消息编号字段表示；消息编号字段共26位，第1到2位表示媒体类型，第3到10位表示图像分块序号，第11到26位表示视频帧序号。
36.本实施例中可选的实施方式包括：在传输所述视频媒体流的过程中，还包括步骤：对传输的网络包进行划分，用于达到以太网mtu满负载传输。
37.本实施例中可选的实施方式包括：所述划分成多个图像区域，包括步骤：划分成由上至下的多个以上的图像区域。
38.实施例2一种提升解码与传输并行的方法，包括步骤：接收如实施例1所述方法传输的视频媒体流，对视频媒体流拆包后按相应的编号进行独立的解码；在独立的解码中，解码后的图像区域根据对应的时间戳和图像区域编号信息完成对图像完整帧数据的重建。
39.srt的报文中携带了一个完整消息块的起始/中间/结束标记，同时通过消息编号来标记一个消息块，消息块对应到一个图像区域的编码数据；每个srt报文都携带了一个编号，按序递增，接收侧按序重组报文后即能够快速恢复完整的编码数据。
40.实施例3一种提升编码与传输并行的装置，包括：图像划分单元，用于预先对视频图像进行空间划分为多个图像区域并编号；编码单元，用于多个编码器同时编码对应的图像区域数据，编码后输出原始码流包并编号，再将原始码流包和时间戳信息打包形成视频媒体流；传输单元，用于利用srt协议中报文的边界字段和消息编号字段来传输所述视频媒体流，所述边界字段和消息编号字段包括码流编号k和视频媒体流被拆分后的ip报文编号n，且k、n在发送报文中封装。
41.实施例4一种提升解码与传输并行的装置，包括：接收单元，用于接收如实施例1所述方法传输的视频媒体流；解码单元，用于对视频媒体流拆包后按相应的编号进行独立的解码；在独立的解码中，解码后的图像区域根据对应的时间戳和图像区域编号信息完成对图像完整帧数据的重建。
42.实施例5一种提升编解码与传输并行的系统，包括如实施例3所述的提升编码与传输并行的装置和如实施例4所述的提升解码与传输并行的装置。
43.描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
44.根据本发明实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。
45.作为另一方面，本发明实施例还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
46.本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。
47.上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。
48.除以上实例以外，本领域技术人员根据上述公开内容获得启示或利用相关领域的知识或技术进行改动获得其他实施例，各个实施例的特征可以互换或替换，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。