一种基于MPSOC的音视频压缩系统的制作方法

一种基于mpsoc的音视频压缩系统
技术领域
1.本发明属于机载音视频处理技术领域，具体涉及一种基于mpsoc的音视频压缩系统。


背景技术：

2.随着航空电子技术的进步，机载音视频采集、压缩和记录功能的应用场景越来越广泛，如单个\多个传感器视频压缩用于辅助飞行的场景，多个摄像头视频压缩用于机舱内监视的场景，机舱内音频采集和压缩用于空地通信的场景，多种光电传感器视频压缩用于侦察的场景等。现有的的机载音视频压缩系统不易扩展、集成度低，进而应用场景受限。


技术实现要素：

3.有鉴于此，本发明提供一种基于mpsoc的音视频压缩系统，包括音频采集模块、视频压缩模块和音视频处理软件；音视频处理软件用于音频采集模块中音频缓存数据的压缩和发动以及视频压缩模块的配置及调动，本发明易于扩展、可提供更高的集成度；支持多种视频分辨率，接口通用、应用场景广泛，可以更好地满足机载音视频记录的应用场景。
4.为了实现上诉技术目的，本发明所采用的具体技术方案为：
5.一种基于mpsoc的音视频压缩系统，包括音频采集模块、视频压缩模块和音视频处理软件；
6.所述音频采集模块用于音频数据的采集、封装和缓存；
7.所述视频压缩模块用于多路视频的采集、封装、缓存和压缩；
8.所述音视频处理软件用于音频采集模块中音频缓存数据的压缩和发动以及视频压缩模块的配置及调动。
9.进一步的，所述音视频处理软件集成在mpsoc apu中；音频采集模块和视频压缩模块集成在mpsoc pl中。
10.进一步的，所述音频采集模块包括i2s时序转换单元、音频缓冲控制单元和音频数据双口ram；所述i2s时序转换单元接收i2s音频数据并写入fifo；音频缓冲控制单元读取fifo中的音频数据并写入音频数据双口ram。
11.进一步的，所述视频压缩模块包括视频时序转换单元、视频缓冲控制单元和视频编解码硬核；
12.所述视频时序转换单元接收多路arinc818视频和dvi视频并转换为axis接口；视频缓冲控制单元将axis视频数据转换为axi4接口并写入ddr；视频编解码硬核接收所述音视频处理软件的指令，读取ddr中的原始视频并压缩，完成压缩后将压缩码流写入ddr。
13.进一步的，所述音视频处理软件包括音频压缩软件、视频压缩控制软件和传输控制软件；
14.所述音频压缩软件从音频数据双口ram中读取音频数据并进行压缩；视频压缩控制软件完成视频编解码硬核的视频压缩控制；传输控制软件将压缩音频和压缩码流通过
pcie和ethernet接口发送。
附图说明
15.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
16.图1为本发明具体实施方式中基于mpsoc的音视频压缩系统的电路图；
17.图2为本发明具体实施方式中基于mpsoc的音视频压缩系统音频数据缓冲控制状态机工作示意图；
18.图3为本发明具体实施方式中基于mpsoc的音视频压缩系统音频数据采集和打包过程中音频数据格式示意图。
具体实施方式
19.下面结合附图对本公开实施例进行详细描述。
20.以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
21.要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
22.还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图示中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
23.另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
24.在本发明的一个实施例中，提出一种基于mpsoc的音视频压缩系统，包括音频采集模块、视频压缩模块和音视频处理软件；
25.所述音频采集模块用于音频数据的采集、封装和缓存；
26.所述视频压缩模块用于多路视频的采集、封装、缓存和压缩；
27.所述音视频处理软件用于音频采集模块中音频缓存数据的压缩和发动以及视频
压缩模块的配置及调动。
28.在本实施例中，所述音视频处理软件集成在mpsoc apu中；音频采集模块和视频压缩模块集成在mpsoc pl中。
29.在本实施例中，所述音频采集模块包括i2s时序转换单元、音频缓冲控制单元和音频数据双口ram；所述i2s时序转换单元接收i2s音频数据并写入fifo；音频缓冲控制单元读取fifo中的音频数据并写入音频数据双口ram。
30.在本实施例中，所述视频压缩模块包括视频时序转换单元、视频缓冲控制单元和视频编解码硬核；
31.所述视频时序转换单元接收多路arinc818视频和dvi视频并转换为axis接口；视频缓冲控制单元将axis视频数据转换为axi4接口并写入ddr；视频编解码硬核接收所述音视频处理软件的指令，读取ddr中的原始视频并压缩，完成压缩后将压缩码流写入ddr。
32.在本实施例中，所述音视频处理软件包括音频压缩软件、视频压缩控制软件和传输控制软件；
33.所述音频压缩软件从音频数据双口ram中读取音频数据并进行压缩；视频压缩控制软件完成视频编解码硬核的视频压缩控制；传输控制软件将压缩音频和压缩码流通过pcie和ethernet接口发送。
34.zynqultrascale mpsoc是集成多核嵌入式处理器(多核arm处理器，简称apu)和可编程逻辑(programlogic，简称pl)的新一代soc芯片，充分发挥arm在嵌入式处理器及其生态系统中的领先地位优势。zynqultrascale mpsoc包含h.265/h.264视频编解码硬核，可提供多路视频压缩功能。zynqultrascale mpsoc集成arm处理器的软件可编程性和fpga的硬件可编程性，不仅可灵活实现软件功能，还可以各种算法的硬件加速。本实施例基于zynqultrascale mpsoc的音视频压缩系统实现多路音视频压缩功能，可以在不同zynqultrascale mpsoc芯片上移植，包括mpsoc apu和mpsoc pl两部分，电路图如图1所示。
35.mpsoc pl部分，包括i2s时序转换单元、音频缓冲控制单元、音频数据双口ram、视频时序转换单元、视频缓冲控制单元和视频编解码硬核。i2s时序转换单元接收i2s音频数据并写入fifo；音频缓冲控制单元读取fifo中的音频数据并写入音频数据双口ram；视频时序转换单元接收多路arinc818视频和dvi视频并转换为axis接口；视频缓冲控制单元将axis视频数据转换为axi4接口并写入ddr；视频编解码硬核接收mpsoc apu的指令，读取ddr中的原始视频，完成压缩后将压缩码流写入ddr。
36.mpsoc apu部分，包括音频压缩软件、视频压缩控制软件和传输控制软件。音频压缩软件从音频数据双口ram中读取音频数据并进行压缩；视频压缩控制软件完成视频编解码硬核的视频压缩控制；传输控制软件将压缩音频和压缩码流通过pcie和ethernet接口向外发送。
37.本实施例的音频压缩具体工作流程如下。
38.1、模拟音频经过音频解析芯片后，转换为i2s时序，进入mpsoc pl部分。
39.2、i2s时序转换单元，接收i2s时序音频数据，将16位左声道数据、16位右声道数据拼接为32位数据后，写入fifo(以下称原始fifo)中。
40.3、音频缓冲控制单元，从原始fifo中读取32-bit音频数据，并进行打包，包格式为24字节包头(包括包头标识、包计数、时间、包有效长度等)和8168字节音频数据组成的8192
字节包，将打包后的数据写入另一个fifo(以下称打包fifo)中；采用有限状态机控制，将打包后的音频数据从打包fifo中读出，并按照乒乓操作写入双口ram中，并在双口ram中更新写入状态。有限状态机的状态跳转图如附图2所示，状态机上电初始化进入idle状态，待上电初始化结束后进入idle0状态；在idle0状态下，等待打包fifo中有一包数据(可根据打包fifo的pempty信号判断)，进入wr_ram0状态；在wr_ram0状态下，从打包fifo中读取打包后的音频数据，读取时进行计数(每读一个字节加1，以下称wr_cnt0)，并将打包后音频数据写入双口ram中，其中写入地址为偏移地址0x0和读取计数wr_cnt0的和，完成一包数据读取后，进入done0状态，在done0状态下，向双口ram偏移地址0x4000写入包计数值，然后进入done0_1状态；在done0_1状态下，向双口ram偏移地址0x4004写入完成标志(0x1)，进入idle1状态；在idle1状态下，等待打包fifo中有一包数据，进入wr_ram1状态；在wr_ram1状态下，从打包fifo中读取打包后的音频数据，读取时进行计数(每读一个字节加1，以下称wr_cnt1)，并将打包后音频数据写入双口ram中，其中写入地址为偏移地址0x2000和读取计数wr_cnt1的和，完成一包数据读取后，进入done0状态，在done1状态下，向双口ram偏移地址0x4008写入包计数值，然后进入done1_1状态；在done1_1状态下，向双口ram偏移地址0x400c写入完成标志(0x1)，进入idle状态。上述音频数据采集和打包过程中音频数据格式如附图3所示。
41.4、mpsoc apu的音频压缩软件，从双口ram中读取音频数据并进行压缩，经压缩后的音频写入ddr。
42.6、mpsoc apu的传输控制软件，从ddr中读取压缩音频，通过pcie或ethernet向外发送。
43.本实施例的视频压缩具体工作流程如下。
44.1、视频时序转换单元接收arinc818和dvi时序视频，转换为axis时序视频。
45.2、转换后的axis视频，在视频缓冲控制单元的控制下写入ddr进行缓存。
46.3、视频编解码硬核在mpsoc apu的指令控制下，从ddr中读取视频并进行h.264或h.265压缩，完成压缩后将压缩码流写入ddr内存。
47.4、mpsoc apu的传输控制软件，从ddr中读取压缩码流，在每一帧压缩视频前增加辅助增强信息(sei)，然后通过pcie或ethernet向外发送。以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。