一种用于超高清摄像机高帧率压缩编码的实现系统及方法与流程

本发明涉及超高清图像处理技术领域，特别是涉及一种用于小型8K超高清摄像机高帧率压缩编码的实现系统及方法。

背景技术

超高清图像处理的核心技术就是数字图像处理，通过计算机对图像进行去除噪声、增强、复原、分割、提取特征等处理。图像处理是视频采集、生产、传输分发到终端播放最重要的一环，只有优质的视频数据输入，才能在后端制作域输出优质的内容，以满足终端应用需求。目前数字图像处理技术在国内外发展十分迅速，应用也非常广泛，如多媒体通信、会议电视、生物观测分析、气象云图观测分析、远程医疗诊断、机器视觉处理等等。

对于超高清图像处理技术，在技术路线选择上，目前业界主要采用的是CPU、SOC、FPGA三种架构，在国内外专注于超高清视频前端设备的公司中，多数公司采用FPGA架构或SOC架构，如ARRI，RED等厂商均采用FPGA架构开发产品，SONY、Panasonic、Canon则部分产品采用SOC架构，部分产品采用FPGA，相比之下，这三种架构均或多或少存在一些缺点，如下表1所示：

表1

对于8K高帧率超高清摄像机而言，如果以无压缩或低压缩比传输数据，那么8K超高清内容物就存在局限性，因为其需要更高的制作成本，更大的存储容量，更高的传输带宽。在现有的网络体系下，制作成本高，推广困难，普及周期久的问题，对产业发展和需求端升级产生消极影响。

如果采用单一芯片来实现，目前还没有如此高性能的芯片发布，且功耗会十分大，散热问题很难解决，如果采用高效散热系统，则势必产品体积会非常大。

可见，目前市场上还没有可以实现8K高帧率，如60帧以上的高压缩编码输出的技术方案，因此，实有必要提出一种技术手段，以解决上述问题。

技术实现要素：

为克服上述现有技术存在的不足，本发明之目的在于提供一种用于超高清摄像机高帧率压缩编码的实现系统及方法，以解决8K高帧率下的高压缩比编码问题，以提高数据的压缩比例，降低存储空间需求、存储成本、网络带宽开销以及降低传输成本，为行业应用提供实际的经济效益。

为达上述目的，本发明提出一种用于超高清摄像机高帧率压缩编码的实现系统，包括：

前端FPGA模块，用于获取8K高帧率源数据，将获得的8K高帧率源数据进行均分，将均分后的数据分别送给SOC模块的各SOC；

SOC模块，包括一个主SOC以及若干从SOC，采用帧同步和ISP参数同步，各SOC分别接收前端FPGA模块发送的均分后的源数据并对其进行编码，各从SOC分别将各自的编码数据发送给主SOC进行合成，最终合成为一路编码流输出。

优选地，所述主SOC和从SOC之间建立接口，当主SOC在处理数据时，在画面消隐时间间隔内，将帧数据和ISP参数发送给各从SOC进行同步，以使各从SOC的参数与主SOC的参数始终保持一致。

优选地，在主SOC计算出下一帧图像的图像处理参数后，将计算获得的图像处理参数进一步映射为sensor曝光时间、sensor增益、ISP增益等控制参数发送到各从SOC上。

优选地，各从SOC在接收到主SOC发送的参数后立即设置，且设置在传感器的垂直消隐窗口内生效。

优选地，于主SOC设计一组缓冲寄存器，需同步生效的参数写入缓冲寄存器。

优选地，在传感器开始捕捉新的一帧图像之前，主SOC自动把缓冲寄存器的内容同步到传感器实际要生效的寄存器，从而将几个毫秒的时间窗口扩展成一帧时间。

为达到上述目的，本发明一种用于超高清摄像机高帧率压缩编码的实现方法，包括如下步骤：

步骤S1，利用前端FPGA模块获取8K高帧率源数据，并将获得的8K高帧率源数据进行均分，将均分后的数据分别送给各SOC；

步骤S2，采用帧同步和ISP参数同步，利用SOC模块上的各从SOC和主SOC分别接收前端FPGA模块发送的均分后的源数据并对其进行编码，各从SOC分别将各自的编码数据发送给主SOC进行合成，最终合成为一路编码流输出。

优选地，于步骤S2中，所述主SOC和从SOC之间建立接口，当主SOC在处理数据时，在画面消隐时间间隔内，将帧数据和ISP参数发送给各从SOC进行同步，以使各从SOC的参数与主SOC的参数始终保持一致。

优选地，在主SOC计算出下一帧图像的图像处理参数后，将计算获得的图像处理参数进一步映射为sensor曝光时间、sensor增益、ISP增益等控制参数发送到各从SOC上。

优选地，各从SOC在接收到主SOC发送的参数后立即设置，且设置在传感器的垂直消隐窗口内生效。

与现有技术相比，本发明一种用于超高清摄像机高帧率压缩编码的实现系统及方法，通过采用FPGA和SOC结合的方式，由前端FPGA来接收8K高帧率源数据，然后将8K源数据均分后分别发送给各SOC，由各SOC对均分后的数据进行并行编码，再由各从SOC分别将各自的编码数据发给主SOC进行合成，最终合成为一路编码流输出，从而解决8K高帧率下的高压缩比编码问题，以提高数据的压缩比例，降低存储空间需求、存储成本、网络带宽开销、降低传输成本。

附图说明

图1为本发明一种用于超高清摄像机高帧率压缩编码的实现系统的系统架构图；

图2为本发明一种用于超高清摄像机高帧率压缩编码的实现方法的步骤流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种用于超高清摄像机高帧率压缩编码的实现系统的系统架构图。如图1所示，本发明一种用于超高清摄像机高帧率压缩编码的实现系统，包括：

前端FPGA模块10，用于获取8K高帧率源数据，并将获得的8K高帧率源数据进行均分，将均分后的数据分别送给各SOC。

本发明为实现小型化8K超高清摄像机内实现高帧率高压缩比编码的目的，采用FPGA和SOC结合的方式，即由前端FPGA模块10接收8K高帧率源数据(例如来自超高摄像机的8K60帧图像传感器sensor采集的8K高帧率源数据)，将8K源数据均分，均分为SOC可以处理的数据规格，分割的方式可以理解为一帧画面拆分为两份，如从中间切开，分为上下部分或者分成左右部分，也可以拆分为奇偶帧，本发明不以此为限，将均分后的数据分别送给各SOC。

SOC模块20，包括一个主SOC以及一个或多个从SOC，各SOC分别接收前端FPGA模块10发送的均分后的源数据并对其进行编码，各从SOC分别将各自的编码数据发送给主SOC进行合成，最终合成为一路编码流输出。

在本发明中，SOC模块20包括主SOC以及一个或多个从SOC，各SOC通过硬件链路和SOC内部软件通信协议来决定主从关系，上电后主SOC通过通信接口与从SOC建立连接并对SOC做一些初始配置。

在本发明中，由于是将源数据切分后由不同SOC并行处理，那么就存在数据同步问题，因此，对于本发明来说，则需要解决切分后的图像源数据如何保持同步，既能够切分并行处理，又不会导致因各自延迟而产生合成画面的抖动或闪烁问题。在本发明具体实施例中，采用帧同步和ISP参数同步的办法来解决该问题，即，在主SOC和从SOC之间建立接口，当主SOC在处理数据时，在画面消隐时间间隔内，将ISP参数发送给从SOC进行同步，以使从SOC的参数与主SOC的参数始终保持一致，以达到合成画面稳定的目的，所述ISP参数包括但不限于图像传感器(sensor)曝光时间、图像传感器(sensor)增益和内部ISP增益等参数，但ISP参数不以此为限。

具体地，当主SOC计算出下一帧图像的图像处理参数后(主SOC中的ISP单元会一直计算图像参数，其根据实时图像计算入射光量，以此来计算当前的照射环境变量，然后再根据计算出的环境参数跟预设参数做对比，当对比存在差异时，则会调整参数接近预设目标值，该预设目标值，是在实验室里各种不同照度的标准光照环境下测试出来的，该ISP单元所要计算的参数包括非常多，如曝光时间，曝光增益，光圈，白平衡属性，室内外状态，饱和度，颜色信息等等，由于ISP单元对参数的计算不是本发明所要保护的范围，在此不予赘述)，需要遵循一定的规则，将计算获得的图像处理参数进一步映射为ISP参数，如sensor曝光时间、sensor增益、ISP增益等控制参数，例如在图像整体亮度由暗变亮的过程中，主SOC会优先增加sensor曝光时间，当sensor曝光时间达到最大，然后增加sensor增益、ISP增益，同时锐度、饱和度、降噪等参数会随着系统增益的改变来调整，从而使图像质量动态调整到理想状态，本发明中由于一帧画面被拆成了多个分画面，因此，在处理上必须要将该些ISP参数从主SOC发送至各从SOC上，以达到光学参数的一致性；各从SOC在接收到参数后则会立即设置，且设置需要在一个特定时间窗口内生效，即前一帧图像已经结束，新一帧图像尚未开始的这段时间，也就是传感器的垂直消隐(vertical blanking)窗口，因为如果配置sensor增益时错过了这个窗口，新一帧图像已经开始，则画面的亮度就会在一帧中间发生变化，上半部分使用旧的参数，下半部分使用新的参数，这种情况也是闪烁的一种，是需要避免的。也就是说，此处主SOC和从SOC之间同步的目的是为了让主从SOC最终输出的图像效果一致，其中，主SOC将ISP参数同步到从SOC的发送时间可以覆盖当前帧的起始时间 消隐时间里，即发送和生效的时间窗口被包含在当前帧的起始时间 消隐时间中。

优选地，由于光照环境改变或者使用者想主动调整光学参数时，主SOC会根据需求配置图像传感器sensor的参数，为缓解配置参数时间窗口过短的压力，于主SOC设计一组缓冲寄存器，需要同步生效的参数可以在任何时间点写入缓冲寄存器(一般主SOC计算完图像处理参数就写入主SOC的缓冲寄存器)，当图像传感器sensor开始捕捉新的一帧图像之前，主SOC会自动把缓冲寄存器的内容同步到图像传感器sensor实际要生效的寄存器，这样就可将几个毫秒的时间窗口扩展成一帧时间，极大地缓解了写入速度的压力。

图2为本发明一种用于超高清摄像机高帧率压缩编码的实现方法的步骤流程图。如图2所示，本发明一种用于超高清摄像机高帧率压缩编码的实现方法，包括如下步骤：

步骤S1，利用前端FPGA模块获取8K高帧率源数据，并将获得的8K高帧率源数据进行均分，将均分后的数据分别送给各SOC。

本发明为实现小型化8K超高清摄像机内实现高帧率高压缩比编码的目的，采用FPGA和SOC结合的方式，即由前端FPGA模块接收8K高帧率源数据(例如来自超高摄像机的8K60帧图像传感器采集的8K高帧率源数据)，将8K源数据均分，均分为SOC可以处理的数据规格，分割的方式可以理解为一帧画面拆分为两份，如从中间切开，分为上下部分或者分成左右部分，也可以拆分为奇偶帧，本发明不以此为限，将均分后的数据分别送给各SOC。

步骤S2，采用帧同步和ISP参数同步，利用SOC模块上的各从SOC和主SOC分别接收前端FPGA模块发送的均分后的源数据并对其进行编码，各从SOC分别将各自的编码数据发送给主SOC进行合成，最终合成为一路编码流输出。

在本发明中，SOC模块包括主SOC以及一个或多个从SOC，各SOC通过硬件链路和SOC内部软件通信协议来决定主从关系，上电后主SOC通过通信接口与从SOC建立连接并对SOC做一些初始配置。

在本发明中，由于是将源数据切分后由不同SOC并行处理，那么就存在数据同步问题，因此，对于本发明来说，则需要解决切分后的图像源数据如何保持同步，既能够切分并行处理，又不会导致因各自延迟而产生合成画面的抖动或闪烁问题。在本发明具体实施例中，采用帧同步和ISP参数同步的办法来解决该问题，即，在主SOC和从SOC之间建立接口，当主SOC在处理数据时，在画面消隐时间间隔内，将ISP参数发送给从SOC进行同步，以使从SOC的参数与主SOC的参数始终保持一致，以达到合成画面稳定的目的，所述ISP参数包括sensor曝光时间、sensor增益、ISP增益等参数。

具体地，当主SOC计算出下一帧图像的图像处理参数后(主SOC中的ISP单元会一直计算图像参数，其根据实时图像计算入射光量，以此来计算当前的照射环境变量，然后再根据计算出的环境参数跟预设参数做对比，当对比存在差异时，则会调整参数接近预设目标值，该预设目标值，是在实验室里各种不同照度的标准光照环境下测试出来的，该ISP单元所要计算的参数包括非常多，如曝光时间，曝光增益，光圈，白平衡属性，室内外状态，饱和度，颜色信息等等，由于ISP单元对参数的计算不是本发明所要保护的范围，在此不予赘述)，需要遵循一定的规则，把计算获得的图像处理参数进一步映射为ISP参数，如sensor曝光时间、sensor增益、ISP增益等控制参数，例如在图像整体亮度由暗变亮的过程中，主SOC会优先增加sensor曝光时间，当sensor曝光时间达到最大，然后增加sensor增益、ISP增益，同时锐度、饱和度、降噪等参数会随着系统增益的改变来调整，从而使图像质量动态调整到理想状态，本发明中由于一帧画面被拆成了多个分画面，因此，在处理上必须要将这些参数从主SOC发送至各从SOC上，以达到光学参数的一致性；各从SOC在接收到参数后则会立即设置，且设置需要在一个特定时间窗口内生效，即前一帧图像已经结束，新一帧图像尚未开始的这段时间，也就是传感器的垂直消隐(vertical blanking)窗口，因为如果配置sensor增益时错过了这个窗口，新一帧图像已经开始，则画面的亮度就会在一帧中间发生变化，上半部分使用旧的参数，下半部分使用新的参数，这种情况也是闪烁的一种，是需要避免的。

优选地，由于光照环境改变或者使用者想主动调整光学参数时，主SOC会根据需求配置图像传感器sensor的参数，为缓解配置参数时间窗口过短的压力，于主SOC设计一组缓冲寄存器，需要同步生效的参数可以在任何时间点写入缓冲寄存器(一般主SOC计算完图像处理参数就写入主SOC的缓冲寄存器)，当sensor开始捕捉新的一帧图像之前，系统会自动把缓冲寄存器的内容同步到sensor实际要生效的寄存器，这样就可将几个毫秒的时间窗口扩展成一帧时间，极大地缓解了写入速度的压力。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。