一种转码卡使用方法、系统、存储介质及设备与流程

1.本发明涉及编码解码技术领域，尤其涉及一种转码卡使用方法、系统、存储介质及设备。


背景技术：

2.随着短视频、视频直播行业的快速发展以及全民视频时代的到来，企业对视频处理能力的要求也越来越高。因为视频的大数据量特点，为节省带宽、满足不同用户和终端、以及云端视频分析的需求，大都需要对用户传输的视频流或视频文件进行解码分析或解码再编码以改变分辨率、降低带宽，因此对视频数据的解码和编码能力已称为一种最基础的视频处理能力。
3.之前的视频编解码是由cpu（中央处理器）来进行的，但因为cpu的编解码效率较低，催生了以高效编码、解码、转码为目标的视频转码卡的诞生，同时为了让用户更加方便的使用转码卡，都在ffmpeg（一种多媒体视频处理工具）上实现了编码器插件和解码器插件，这样就可以以标准的ffmpeg命令或者ffmpeg api接口来控制转码卡进行解码与编码工作。在实际生产中，为了进一步提高编解码效率，服务器上通常安装多块转码卡，但是在使用中我们发现当以ffmpeg命令（或api方式）调用转码卡时，只能指定某一个特定的转码卡，而ffmpeg本身并不知道转码卡的使用情况，所以就存在资源使用不当，无法把当前编解码任务分配给资源最多的转码卡，为了减轻这种影响，现在的使用都是以轮换的方式进行，即按照顺序使用第1
‑
n个转码卡，但即使这样也会因为每次视频文件的时间不同、分辨率和编码格式各异而导致资源分配不当、并使得任务完成需要较多的时间。


技术实现要素：

4.有鉴于此，本发明的目的在于提出一种转码卡使用方法、系统、存储介质及设备，用以解决现有技术中ffmpeg在使用转码卡时资源分配不当的问题。
5.基于上述目的，本发明提供了一种转码卡使用方法，包括以下步骤：在设备驱动层构建用于管理若干转码卡的资源管理模块，并通过资源管理模块分别统计每个转码卡的编码模块和解码模块的使用率，以得到各转码卡的统计结果；由资源管理模块基于各转码卡的统计结果得到待执行的编码任务、解码任务以及转码任务分别所需的最优转码卡；通过ffmpeg基于当前待执行任务的类型选择相应的最优转码卡，并使用相应的最优转码卡执行当前待执行任务。
6.在一些实施例中，通过资源管理模块分别统计每个转码卡的编码模块和解码模块的使用率，以得到各转码卡的统计结果包括：响应于每个转码卡分别具有一个编码模块和一个解码模块，分别统计预设时间段内每个编码模块和每个解码模块的使用率；将每个转码卡的编码模块的使用率作为其编码使用率，且将每个转码卡的解码模
块的使用率作为其解码使用率，并在每个转码卡的编码使用率和解码使用率中选择数值大的使用率作为其转码使用率。
7.在一些实施例中，通过资源管理模块分别统计每个转码卡的编码模块和解码模块的使用率，以得到各转码卡的统计结果还包括：响应于每个转码卡分别具有多个编码模块和多个解码模块，分别统计预设时间段内每个编码模块和每个解码模块的使用率；将每个转码卡的多个编码模块的使用率之和作为其编码使用率，且将每个转码卡的多个解码模块的使用率之和作为其解码使用率，并在每个转码卡的编码使用率和解码使用率中选择数值大的使用率作为其转码使用率。
8.在一些实施例中，分别统计预设时间段内每个编码模块和每个解码模块的使用率包括：对每个编码模块统计其在预设时间段内的使用时间，并计算使用时间和预设时间段的比值以得到其使用率；对每个解码模块统计其在预设时间段内的使用时间，并计算使用时间和预设时间段的比值以得到其使用率。
9.在一些实施例中，由资源管理模块基于各转码卡的统计结果得到待执行的编码任务、解码任务以及转码任务分别所需的最优转码卡包括：由资源管理模块选择各编码使用率中数值最小的使用率所对应的转码卡作为待执行的编码任务的最优转码卡，且选择各解码使用率中数值最小的使用率所对应的转码卡作为待执行的解码任务的最优转码卡，并选择各转码使用率中数值最小的使用率所对应的转码卡作为待执行的转码任务的最优转码卡。
10.在一些实施例中，通过ffmpeg基于当前待执行任务的类型选择相应的最优转码卡包括：响应于当前待执行任务为编码任务，通过ffmpeg基于编码任务选择对应的最优转码卡；响应于当前待执行任务为解码任务，通过ffmpeg基于解码任务选择对应的最优转码卡；响应于当前待执行任务为转码任务，通过ffmpeg基于转码任务选择对应的最优转码卡。
11.在一些实施例中，通过ffmpeg基于当前待执行任务的类型选择相应的最优转码卡，并使用相应的最优转码卡执行当前待执行任务包括：由ffmpeg接收用户输入的当前待执行任务的类型且将其发送至sdk软件，并由sdk软件调用设备驱动层的接口以获取当前待执行任务的类型对应的最优转码卡，且由sdk软件使用对应的最优转码卡执行当前待执行任务。
12.本发明的另一方面，还提供了一种转码卡使用系统，包括：统计模块，配置用于在设备驱动层构建用于管理若干转码卡的资源管理模块，并通过资源管理模块分别统计每个转码卡的编码模块和解码模块的使用率，以得到各转码卡的统计结果；最优解码卡获得模块，配置用于由资源管理模块基于各转码卡的统计结果得到待
执行的编码任务、解码任务以及转码任务分别所需的最优转码卡；以及转码卡使用模块，配置用于通过ffmpeg基于当前待执行任务的类型选择相应的最优转码卡，并使用相应的最优转码卡执行当前待执行任务。
13.本发明的又一方面，还提供了一种计算机可读存储介质，存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述方法。
14.本发明的再一方面，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该计算机程序被处理器执行时执行上述方法。
15.本发明至少具有以下有益技术效果：本发明通过在设备驱动层构建转码卡资源管理模块，实时统计每个转码卡的编码模块和解码模块这些核心资源的使用率，可以让上层感知每一个转码卡的资源使用情况；通过维护在编码、解码、转码这三种情况下的最优转码卡，使得在使用ffmpeg时可以找到最优的转码卡来执行本次任务，提高了任务的执行效率。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
17.图1为根据本发明实施例提供的转码卡使用方法的示意图；图2为根据本发明实施例提供的转码卡使用架构的示意图；图3为根据本发明实施例提供的转码卡使用系统的示意图；图4为根据本发明实施例提供的实现转码卡使用方法的计算机可读存储介质的示意图；图5为根据本发明实施例提供的执行转码卡使用方法的计算机设备的硬件结构示意图。
具体实施方式
18.为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
19.需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。
20.基于上述目的，本发明实施例的第一个方面，提出了一种转码卡使用方法的实施例。图1示出的是本发明提供的转码卡使用方法的实施例的示意图。如图1所示，本发明实施例包括如下步骤：步骤s10、在设备驱动层构建用于管理若干转码卡的资源管理模块，并通过资源管理模块分别统计每个转码卡的编码模块和解码模块的使用率，以得到各转码卡的统计结
果；步骤s20、由资源管理模块基于各转码卡的统计结果得到待执行的编码任务、解码任务以及转码任务分别所需的最优转码卡；步骤s30、通过ffmpeg基于当前待执行任务的类型选择相应的最优转码卡，并使用相应的最优转码卡执行当前待执行任务。
21.ffmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。它提供了录制、转换以及流化音视频的完整解决方案，包含了非常先进的音频/视频编解码库libavcodec。其作为一种多媒体视频处理工具，具有非常强大的功能包括视频采集功能、视频格式转换、视频抓图、给视频加水印等。ffmpeg在linux平台下开发，但它同样也可以在其它操作系统环境中编译运行，包括windows、mac os x等。这个项目的名称来自mpeg视频编码标准，前面的"ff"代表"fast forward"。 ffmpeg编码库可以使用gpu加速。
22.本发明实施例针对的是ffmpeg使用视频转码卡的方式，该方式也可以用于其他框架使用视频转码卡中。
23.本发明实施例通过在设备驱动层构建转码卡资源管理模块，实时统计每个转码卡的编码模块和解码模块这些核心资源的使用率，可以让上层感知每一个转码卡的资源使用情况；通过维护在编码、解码、转码这三种情况下的最优转码卡，使得在使用ffmpeg时可以找到最优的转码卡来执行本次任务，提高了任务的执行效率。
24.在一些实施例中，通过资源管理模块分别统计每个转码卡的编码模块和解码模块的使用率，以得到各转码卡的统计结果包括：响应于每个转码卡分别具有一个编码模块和一个解码模块，分别统计预设时间段内每个编码模块和每个解码模块的使用率；将每个转码卡的编码模块的使用率作为其编码使用率，且将每个转码卡的解码模块的使用率作为其解码使用率，并在每个转码卡的编码使用率和解码使用率中选择数值大的使用率作为其转码使用率。
25.在一些实施例中，通过资源管理模块分别统计每个转码卡的编码模块和解码模块的使用率，以得到各转码卡的统计结果还包括：响应于每个转码卡分别具有多个编码模块和多个解码模块，分别统计预设时间段内每个编码模块和每个解码模块的使用率；将每个转码卡的多个编码模块的使用率之和作为其编码使用率，且将每个转码卡的多个解码模块的使用率之和作为其解码使用率，并在每个转码卡的编码使用率和解码使用率中选择数值大的使用率作为其转码使用率。
26.在一些实施例中，分别统计预设时间段内每个编码模块和每个解码模块的使用率包括：对每个编码模块统计其在预设时间段内的使用时间，并计算使用时间和预设时间段的比值以得到其使用率；对每个解码模块统计其在预设时间段内的使用时间，并计算使用时间和预设时间段的比值以得到其使用率。
27.在一些实施例中，由资源管理模块基于各转码卡的统计结果得到待执行的编码任务、解码任务以及转码任务分别所需的最优转码卡包括：由资源管理模块选择各编码使用率中数值最小的使用率所对应的转码卡作为待执行的编码任务的最优转码卡，且选择各解码使用率中数值最小的使用率所对应的转码卡作为待执行的解码任务的最优转码卡，并选择各转码使用率中数值最小的使用率所对应的转码卡作为待执行的转码任务的最优转码卡。
28.在一些实施例中，通过ffmpeg基于当前待执行任务的类型选择相应的最优转码卡包括：响应于当前待执行任务为编码任务，通过ffmpeg基于编码任务选择对应的最优转码卡；响应于当前待执行任务为解码任务，通过ffmpeg基于解码任务选择对应的最优转码卡；响应于当前待执行任务为转码任务，通过ffmpeg基于转码任务选择对应的最优转码卡。
29.在一些实施例中，通过ffmpeg基于当前待执行任务的类型选择相应的最优转码卡，并使用相应的最优转码卡执行当前待执行任务包括：由ffmpeg接收用户输入的当前待执行任务的类型且将其发送至sdk软件，并由sdk软件调用设备驱动层的接口以获取当前待执行任务的类型对应的最优转码卡，且由sdk软件使用对应的最优转码卡执行当前待执行任务。
30.sdk（software development kit）软件表示软件开发工具包。sdk是一个覆盖面比较广泛的名词，辅助开发某一类软件的相关文档、范例和工具的集合都可以叫做sdk。一般都是软件工程师为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合。
31.图2示出了转码卡使用架构的示意图。如图2所示，本发明实施例在现有的结构中增加了资源管理模块并向上层提供接口，实时统计核心资源的使用情况且针对编码、解码、转码场景进行区分。
32.当sdk软件收到ffmpeg设备插件的“打开转码卡”接口调用前，会先调用设备驱动提供的“获取最优转码卡”接口，之后再打开指定的转码卡来进行具体的编码/解码/转码以保证每一个任务的执行都是最优的。
33.因为编码/解码是个复杂的操作，除了对指定数据的编码/解码需要在硬件上进行外，还需要软件sdk层来进行其他部分，比如视频数据的分离、非数据片的解析、以及接口的封装，而ffmpeg上的编码插件、解码插件、设备插件就是通过调用这些接口来实现的；另外，驱动是转码卡设备与内核的接口，对于任何设备的接入驱动都是不可少的。在使用ffmpeg转码卡进行编码、解码、转码时，对于每一次的ffmpeg调用，一旦选择了某一个转码卡，则以后的编码和解码相关的硬件操作都会在该转码卡上进行，而上层ffmpeg对于转码卡的资源使用是无法感知的，能感知的只有设备驱动，所以我们在设备驱动上创建了资源管理模块来维护当前资源最多也就是最优的转码卡，这样在打开转码卡之前，sdk软件可以通过“获取最优转码卡”接口获取当前最优转码卡，然后打开这个转码卡来执行编码/解码/转码任务，因此重点就是资源管理模块如何维护最优转码卡。
34.每一张转码卡上有很多资源，但最核心的资源是里面的解码ip（即解码模块）和编码ip（即编码模块），这两部分分别是执行具体的解码运算和编码运算的，就像计算机中的cpu（中央处理器）一样。对于解码ip和编码ip，其越忙碌，则用于新任务上的时间越少，因此我们定义了使用率用来表示每一个ip的忙碌情况：编码ip使用率pd = 编码ip在预设时间段被使用时间/预设时间段解码ip使用率pe = 解码ip在预设时间段被使用时间/预设时间段其中每一个ip被使用的过程是固定的，即依次调用设备驱动提供的：1）获取ip访问权；2）写寄存器；3）使能ip；4）等待ip工作完毕，因此可以统计出每一个ip在一段时间内的使用率，对于每一个转码卡可以每秒钟都进行一次这样的计算，就可以得到一个实时的转码卡ip使用率。按照上面的计算，可以计算得到如下表所示的转码卡的ip使用率（其中的
数据是假设的），需要注意的是解码ip使用率和编码ip使用率必须单独计算，因为对于不同的任务其使用的ip是不一样的：编码任务仅使用编码ip，解码任务仅使用解码ip，而转码任务同时使用编码ip和解码ip，所以转码使用率使用两者中的较大值。
35.表1 转码卡的使用率转码卡序号解码使用率pd编码使用率pe转码使用率=max(pd,pe)121252522322233252025有了上面的数据，就得到了当前的最优转码卡：对于编码任务来说最优的是转码卡3，其编码使用率最小；对于解码任务来说最优的是转码卡1，其解码使用率最小；对于转码任务来说其最优的是转码卡2，其转码使用率最小。
36.那么sdk软件是否可以知道当前任务是编码、解码还是转码，因为ffmpeg的调用者肯定知道当前任务类型，所以我们可以将ffmpeg需要传入的指定解码卡更改为当前任务类型就可以了，即将下面（1）描述的命令更改为（2）、（3）、（4）描述的命令即可：（1）指定转码卡路径：ffmpeg
‑
init_hw_device insvid = dev0:/dev/transcoder0（2）为编码自动选择转码卡：ffmpeg
‑
init_hw_device insvid = dev0:auto_encode（3）为解码自动选择转码卡：ffmpeg
‑
init_hw_device insvid = dev0:auto_decode（4）ffmpeg
ꢀ‑
init_hw_device insvid=dev0:auto_transcode以上通过对在驱动层构建资源管理模块并实时统计核心资源使用率的方法以及区分维护编码、解码、转码不同场景下的最优转码卡的策略，实现了ffmpeg使用下多转码卡的自动分配。
37.本发明实施例的第二个方面，还提供了一种转码卡使用系统。图3示出的是本发明提供的转码卡使用系统的实施例的示意图。如图3所示，一种转码卡使用系统包括：统计模块10，配置用于在设备驱动层构建用于管理若干转码卡的资源管理模块，并通过资源管理模块分别统计每个转码卡的编码模块和解码模块的使用率，以得到各转码卡的统计结果；最优解码卡获得模块20，配置用于由资源管理模块基于各转码卡的统计结果得到待执行的编码任务、解码任务以及转码任务分别所需的最优转码卡；以及转码卡使用模块30，配置用于通过ffmpeg基于当前待执行任务的类型选择相应的最优转码卡，并使用相应的最优转码卡执行当前待执行任务。
38.本发明实施例的第三个方面，还提供了一种计算机可读存储介质，图4示出了根据本发明实施例提供的实现转码卡使用方法的计算机可读存储介质的示意图。如图4所示，计算机可读存储介质3存储有计算机程序指令31。该计算机程序指令31被处理器执行时实现上述任意一项实施例的方法。
39.应当理解，在相互不冲突的情况下，以上针对根据本发明的转码卡使用方法阐述的所有实施方式、特征和优势同样地适用于根据本发明的转码卡使用系统和存储介质。
40.本发明实施例的第四个方面，还提供了一种计算机设备，包括如图5所示的存储器
402和处理器401，该存储器402中存储有计算机程序，该计算机程序被该处理器401执行时实现上述任意一项实施例的方法。
41.如图5所示，为本发明提供的执行转码卡使用方法的计算机设备的一个实施例的硬件结构示意图。以如图5所示的计算机设备为例，在该计算机设备中包括一个处理器401以及一个存储器402，并还可以包括：输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图5中以通过总线连接为例。输入装置403可接收输入的数字或字符信息，以及产生与转码卡使用系统的用户设置以及功能控制有关的键信号输入。输出装置404可包括显示屏等显示设备。
42.存储器402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本技术实施例中的转码卡使用方法对应的程序指令/模块。存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储转码卡使用方法的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
43.处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的转码卡使用方法。
44.最后需要说明的是，本文的计算机可读存储介质（例如，存储器）可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦写可编程rom（eeprom）或快闪存储器。易失性存储器可以包括随机存取存储器（ram），该ram可以充当外部高速缓存存储器。作为例子而非限制性的，ram 可以以多种形式获得，比如同步ram（dram）、动态ram（dram）、同步dram（sdram）、双数据速率sdram（ddr sdram）、增强sdram（esdram）、同步链路dram（sldram）、以及直接rambus ram（drram）。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
45.本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
46.以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
47.应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一
个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
48.所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围（包括权利要求）被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。