一种软硬结合且高效传输的视频解码方法与流程

1.本发明属于linux系统下视频解码技术，特别是一种软硬结合且高效传输的视频解码方法。


背景技术：

2.hi3559av100是专业的8k ultra hd mobile camera soc，它提供了8k30/4k120广播级图像质量的数字视频录制，支持多路sensor输入，支持h.265编码输出或影视级的raw数据输出，并集成高性能isp处理，同时采用先进低功耗工艺和低功耗架构设计，为用户提供了卓越的图像处理能力。
3.hi3559av100支持业界领先的多路4k sensor输入，多路isp图像处理，支持hdr10高动态范围技术标准，并支持多路全景硬件拼接。在支持8k30/4k120视频录制下，hi3559av100提供硬化的6
‑
dof数字防抖，减少了对机械云台的依赖。
4.pci
‑
express(peripheral component interconnect express)是一种高速串行计算机扩展总线标准，它原来的名称为"3gio"，是由英特尔在2001年提出的，旨在替代旧的pci，pci
‑
x和agp总线标准。pcie属于高速串行点对点双通道高带宽传输，所连接的设备分配独享通道带宽，不共享总线带宽，主要支持主动电源管理，错误报告，端对端的可靠性传输，热插拔以及服务质量(qos)等功能。pcie交由pci
‑
sig(pci特殊兴趣组织)认证发布后才改名为"pci
‑
express"，简称"pci
‑
e"。它的主要优势就是数据传输速率高，而且还有相当大的发展潜力。
5.但是hi3559av100属于硬解码范畴，在协议帧不完全符合解码协议，或者错误帧比较多的情况下，解码效率比较低下或者不能解码。另外，硬解码模块无法返回带有参数帧的解码图像帧。同时，在图像数据比较大的情况下，网络传输时延比较大，无法满足性能需求。


技术实现要素：

6.本发明解决的技术问题是：克服现有技术的不足，提供了一种软硬结合且高效传输的视频解码方法，使用芯片的硬解码模块完成解码过程，有效减少解码时间，采用pcie通道传输解码前后的图像，极大地减少了数据传输时延。
7.本发明的技术解决方案是：
8.第一方面，一种软硬结合且高效传输的视频解码方法，包括如下步骤：
9.1)配置ffmpeg的编译属性和参数，将ffmpeg动态库移植到海思平台；
10.2)配置pcie设备；
11.将海思平台的pcie配置成从设备，主机的pcie设备配置成主设备；同时，制定主设备和从设备的传输规则；
12.3)创建pcie读数据线程，启动pcie读任务获取主机传输的原始图像数据；
13.4)创建ffmpeg获取数据包线程，使用ffmpeg动态库获取压缩图像的完整数据包
14.5)使用海思平台的硬解码模块对压缩图像的数据包进行解码，获得解码后的图像
数据；
15.6)使用pcie通道回传解码后的图像数据给主机。
16.可选地，步骤2)所述主设备和从设备传输规则如下：
17.主设备上电后写入握手的规定内容，从设备在上电后检测到相应内容并握手成功；
18.主设备和从设备为每个通道分配读写的pcie地址，不同的读写地址互不冲突；
19.主设备握手成功后在规定的pcie地址段写入每个通道接收数据的地址内容；
20.主设备通过查询固定地址段的内容长度是否大于0作为判断是否有数据的标准，并在完成数据读取后将内容长度清零；
21.从设备在传输数据之前先通过固定地址段长度，判断主设备是否已读走上次数据，如果是则写入解码后的图像数据并将长度写入，如果不是则放弃本次写数据任务，等待接收到下一次解码后的图像数据再传输。
22.可选地，步骤3)所述创建pcie读数据线程，具体如下：
23.31)申请pcie通道的读写互斥锁，对每个pcie通道的读写操作进行保护，不允许同时有多个pcie通道进行读写操作；
24.32)查看主设备是否有新的图像数据可供读取，即在固定地址内的读数据长度是否不为零，同时主机的读地址也不为零；
25.33)根据协议规则在指定的读地址段读取数据，具体操作：设置pcie读任务的目的地址为从设备的pcie读地址；设置源地址为主设备的pcie写地址；
26.34)通过ioctl函数对从设备发送读数据任务命令；判断读数据任务的返回值是否成功，如读数据任务成功则读长度清零，以供主设备进行下次传输数据；
27.35)解锁pcie通道的读写互斥锁，释放资源。
28.可选地，步骤6)所述使用pcie通道回传解码后的图像数据给主机的方法，具体为：
29.61)获取pcie通道的读写互斥锁；
30.62)拷贝解码后的图像参数数据到dma虚拟地址空间；
31.63)判断海思平台芯片内的写长度是否被主机清零，如果不为0则报错退出，终止图像发送任务，待接收到新的解码后的图像参数数据后返回步骤61)；反之则进入步骤64)；
32.64)获取给主设备发送数据的目的物理地址，如果目的物理地址为零则报错退出，终止图像发送任务，待接收到新的解码后的图像参数数据后返回步骤61)；反之则进入步骤65)；将海思的pcie配置成从设备，主机的pcie设备为主设备；
33.65)获取dma传输的物理首地址和协议规定的偏移地址，将两者的和值作为dma传输任务的源地址，将主机pcie的物理地址vxworks_phy_addr作为任务的目的地址；
34.66)设置本次任务的传输长度为参数帧数据的长度sei_len；
35.67)判断当前pcie的操作句柄是否大于零，如果是则使用系统函数ioctl下达pcie写任务并进入下一步，如果不是则报错退出本次过程，终止图像发送任务，待接收到新的解码后的图像参数数据后返回步骤61)；
36.68)判断当前pcie写任务的任务状态是否为完成，如果是则进入下一步，如果不是则报错退出本过程；待接收到新的解码后的图像参数数据后返回步骤61)；
37.69)设置第二次dma传输任务的源地址为图像帧数组数据，将主机物理地址
vxworks_phy_addr偏移参数帧字节个数sei_len的地址作为任务的目的地址，设置图像帧长度frame_len为第二次任务的传输长度；
38.610)重复第67)和68)，进入下一步；
39.611)将发送的图像帧长度frame_len写入到协议规定的内存地址，提示主机可以读取数据；
40.612)使用主机读取图像帧数据和参数帧数据，完成回传工作；
41.613)解锁pcie通道的互斥锁，释放pcie通道资源，待接收到新的解码后的图像参数数据后返回步骤步骤61)。
42.可选地，步骤1)所述将ffmpeg动态库移植到海思平台，具体为：
43.11)首先，配置ffmpeg编译属性，根据平台类型、cpu类型、编码解码器属性、格式转换属性、交叉编译属性配置参数；
44.12)修改acodec.h文件，增加参数帧长度sei_len和数组sei_buf，根据应用层需求确定其参数帧大小sei_buf_size；
45.13)在hevc_sei.c文件中的decode_nal_sei_prefix函数中添加获取参数帧功能；
46.14)执行configure命令，在配置文件夹的子文件夹lib下将生成的解码库libavcodec、libavformat、libavutil、libswscale；
47.15)最后，将动态库拷贝到解码板卡的/usr/lib路径下。
48.可选地，步骤4)创建ffmpeg获取数据包线程，具体为：
49.421)获取从pcie通道读取的图像数据数组首地址指针bufptr和长度buflen；
50.422)判断当前的数据长度buflen是否大于0，如果是则继续下一步，如果不是，则退出本次数据的解码过程，等待下次pcie通道传送的图像数据数据；
51.423)传送数据数组首地址指针bufptr和长度buflen给软解码模块，使用库函数av_parser_parse2对图像数据按帧进行分割，如果从数组能成功获得一个完整的图像帧数据包则记录继续下一步，如果不是则退出本次解码过程；等待pcie通道传送的图像数据数组；
52.424)保存本次数据数组中图像帧分割的数据包长度ret，从数据数组总长度buflen剔除本次分割的图像帧数据包长度ret，并向前移动首地址指针bufptr，移动次数为ret；
53.425)将本次分割的图像完整数据包放到待解码队列中。
54.可选地，步骤5)所述压缩图像的数据包进行解码的方法，具体为：
55.51)根据图像参数和解码类型初始化硬解码模块，配置硬解码模块中视频数据缓冲区大小，启动解码模块；
56.52)动态申请视频图像帧数据包的缓冲区大小buf；
57.53)循环判断是否为解码结束，如果是则退出处理流程进行步骤57)，否则进行下一步；
58.54)设置当前待解码帧的参数：流结束标志符、帧头标志，帧尾标志；
59.55)将图像帧数据放入buf；
60.56)调用动态库函数发送buf数据到硬解码模块；
61.57)实时监控硬解码模块的解码状态，如果解码错误则软重启硬解码模块并重置
参数，如果解码正常则调用库函数获取解码后的图像；
62.58)调用库函数停止发送视频流给硬解码模块，关闭解码通道，解绑模块间的绑定关系，清除资源。
63.第二方面，一种处理装置，包括：
64.存储器，用于存储计算机程序；
65.处理器，用于从所述存储器调用并运行所述计算机程序，以执行第一方面所述方法。
66.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序或指令，当所述计算机程序或指令被执行时，实现第一方面所述的方法。
67.一种计算机程序产品，所述计算机程序产品包括指令，当所述计算机程序产品在计算机上运行时，使得计算机执行第一方面所述的方法。
68.本发明与现有技术相比的优点在于：
69.本发明采用ffmpeg解码库获取原始帧中参数帧信息和数据帧信息，组合一个完整数据包给硬解码模块，减少解码时延，完成解码功能。同时，采用pcie通道传输图像大数据，极大地减少了传输时延。
70.本发明为系统为linux下，以海思hi3559av100芯片作为硬解码模块，使用ffmpeg解码库获取完整数据包，有效获取压缩帧参数信息和图像帧信息，减少解码时间，同时启动pcie通道对图像数据进行高效传输，极大地减少数据传输时延。
附图说明
71.图1为本发明一种软硬结合的高效传输的视频解码方案流程图。
具体实施方式
72.下面结合附图和具体实施方式对本发明做进一步详细的描述。
73.结合图1，为了解决linux系统下视频解码问题，我们采用基于ffmpeg软解码和海思芯片模块硬解码结合，同时利用pcie通道对图像数据进行传输。下面我们对本发明的内容作进一步描述。
74.pcie(peripheral components interconnect express)是一种高速串行计算机拓展总线标准。pcie属于高速串行点对点双通道高带宽传输，所连接的设备分配独享通道带宽，不共享总线带宽。pcie设备通过称为互联或链路的逻辑连接进行通信。链路是两个pci express端口之间的点对点通信通道，允许它们发送和接收普通pci请求和中断。pcie使用共享并行总线架构，其中pci主机和所有设备共享一组通用的地址，数据和控制线。
75.1、移植ffmpeg到海思平台
76.11)首先，配置ffmpeg编译属性，根据平台类型、cpu类型、编码解码器属性、格式转换属性、交叉编译属性配置参数。
77.12)修改acodec.h文件，增加参数帧长度sei_len和数组sei_buf，根据应用层需求确定其参数帧大小sei_buf_size；
78.13)在hevc_sei.c文件中的decode_nal_sei_prefix函数中添加获取参数帧功能：获取函数中的参数size，将size赋值给sei_len，判断size是否小于等于sei_buf_size，如
果满足条件则拷贝上下文参数数组gb内数据到sei_buf，拷贝的长度为size，拷贝的sei_buf的数组下标i为gb数组的索引index除以8，即sei_buf[i]＝gb_buf[index/8]；
[0079]
14)然后，执行configure命令，在配置文件夹的子文件夹lib下将生成的解码库libavcodec、libavformat、libavutil、libswscale。
[0080]
15)最后，将动态库拷贝到解码板卡的/usr/lib路径下；
[0081]
2、配置pcie设备
[0082]
首先，根据传输需求，将海思的pcie配置成从设备，主机的pcie设备为主设备。
[0083]
然后，配置pcie的驱动文件。在海思板卡的系统路径/etc/profile里面自动加载3559驱动文件：hi35xx_dev_slv.ko、irq_map_slv.ko、mcc_drv_slv.ko、mcc_usrdev_slv.ko、pcit_dma_slv.ko。
[0084]
最后，制定主设备和从设备传输规则，规则如下：
[0085]
主设备上电后写入握手的规定内容，从设备在上电后检测到相应内容并握手成功；
[0086]
主设备和从设备为每个通道分配读写的pcie地址，不同的读写地址互不冲突；
[0087]
主设备握手成功后在规定的pcie地址段写入每个通道接收数据的地址内容；
[0088]
主设备通过查询固定地址段的内容长度是否大于0作为判断是否有数据的标准，并在完成数据读取后将内容长度清零；
[0089]
从设备在传输数据之前先通过固定地址段长度，判断主设备是否已读走上次数据(即固定地址段长度为0)，如果是则写入解码后的图像数据并将长度写入，如果不是则放弃本次写数据任务，等待接收到下一次解码后的图像数据再传输；
[0090]
3、获取主机通过pcie传输的数据
[0091]
创建pcie读数据线程，线程具体操作为：
[0092]
31)申请pcie通道的读写互斥锁，对每个pcie通道的读写操作进行保护，不允许同时有多个pcie通道进行读写操作；
[0093]
32)查看主设备是否有新的图像数据可供读取，即在固定地址内的读数据长度是否不为零，同时主机的读地址也不为零；
[0094]
33)根据协议规则在指定的读地址段读取数据，具体操作：设置pcie读任务的目的地址为从设备的pcie读地址；设置源地址为主设备的pcie写地址；
[0095]
34)通过ioctl函数对从设备发送读数据任务命令；判断读数据任务的返回值是否成功，如读数据任务成功则读长度清零，以供主设备进行下次传输数据。
[0096]
35)解锁pcie通道的读写互斥锁，释放资源。
[0097]
4、使用ffmpeg动态库获取压缩图像完整数据包
[0098]
为ffmpeg创建使用环境，并指定启动要求的软解码器，可针对原始数据进行协议分析。同时，从网络接收的数据区循环获取原始数据，调用库函数获取可组合成完整图像帧的数据包的长度，从网络接收数据区剔除该长度并循环反复进行直到数据区没有任何数据。具体如下：
[0099]
41)初始化解码库使用环境
[0100]
首先，设置解码器类型，采用hevc(h265)类型的解码器。然后，初始化解码器上下文环境，根据每帧图像数据的大小，动态申请图像帧存储空间。最后，根据参数打开解码器。
[0101]
42)创建ffmpeg获取数据包线程，线程具体流程如下：
[0102]
421)获取从pcie通道读取的图像数据数组首地址指针bufptr和长度buflen；
[0103]
422)判断当前的数据长度buflen是否大于0，如果是则继续下一步，如果不是，则退出本次数据的解码过程，等待下次pcie通道传送的图像数据数据。
[0104]
423)传送数据数组首地址指针bufptr和长度buflen给软解码模块，使用库函数av_parser_parse2对图像数据按帧进行分割，如果从数组能成功获得一个完整的图像帧数据包则记录继续下一步，如果不是则退出本次解码过程；等待pcie通道传送的图像数据数组。
[0105]
424)保存本次数据数组中图像帧分割的数据包长度ret，从数据数组总长度buflen剔除本次分割的图像帧数据包长度ret，并向前移动首地址指针bufptr，移动次数为ret。
[0106]
425)将本次分割的图像完整数据包放到待解码队列中。
[0107]
5、将待解码的完整数据包发送给硬解码模块。
[0108]
启动芯片的硬解码模块，根据需解码图像大小动态申请图像缓冲区的大小，将图像原始数据拷入缓存，并针对其配置信息进行硬解码。同时，针对错误帧导致解码模块无法工作的情况启动实时监控线程，分析其解码状态并实施软复位措施使得解码模块能持续进行解码工作。
[0109]
51)根据图像参数和解码类型初始化硬解码模块，配置其视频数据缓冲区大小，启动解码模块；
[0110]
52)动态申请视频图像帧数据包的缓冲区大小buf；
[0111]
53)循环判断是否为解码结束，如果是则退出处理流程进行步骤57)，否则进行下一步；
[0112]
54)设置当前待解码帧的参数：流结束标志符、帧头标志，帧尾标志；
[0113]
55)将图像帧数据放入buf；
[0114]
56)调用动态库函数发送buf数据到硬解码模块；
[0115]
57)实时监控硬解码模块解码状态，如果解码错误则软重启硬解码模块并重置参数，如果解码正常则调用库函数获取解码后的图像；
[0116]
58)调用库函数停止发送视频流给硬解码模块，关闭解码通道，解绑各模块绑定关系，清除资源。
[0117]
6、将解码后的图像通过pcie发送给主机
[0118]
获取硬解码后的目标图像后，将图像数据拷贝到dma传输的内存空间，并启动dma传输任务将图像数据发送到主机端的pcie通道，并将发送长度写入协议规定的地址段通知主机读取数据。具体步骤如下：
[0119]
61)获取pcie通道的读写互斥锁；
[0120]
62)拷贝解码后的图像参数数据到dma虚拟地址空间；
[0121]
63)判断海思平台芯片内的写长度是否被主机清零(即上一帧图像数据已被主设备取走)，如果不为0则报错退出，终止图像发送任务，待接收到新的解码后的图像参数数据后返回步骤61)；反之则进入步骤64)；
[0122]
64)获取给主设备发送数据的目的物理地址，如果目的物理地址为零则报错退出，
终止图像发送任务，待接收到新的解码后的图像参数数据后返回步骤61)；反之则进入步骤65)；将海思平台的pcie配置成从设备，主机的pcie设备为主设备；
[0123]
65)获取dma传输的物理首地址和协议规定的偏移地址，将两者的和值作为dma传输任务的源地址，将主机pcie的物理地址vxworks_phy_addr作为任务的目的地址；
[0124]
66)设置本次任务的传输长度为参数帧数据的长度sei_len；
[0125]
67)判断当前pcie的操作句柄是否大于零，如果是则使用系统函数ioctl下达pcie写任务并进入下一步，如果不是则报错退出本次过程，终止图像发送任务，待接收到新的解码后的图像参数数据后返回步骤61)；
[0126]
68)判断当前pcie写任务的任务状态是否为完成，如果是则进入下一步，如果不是则报错退出本过程；待接收到新的解码后的图像参数数据后返回步骤61)；
[0127]
69)设置第二次dma传输任务的源地址为图像帧数组数据，将主机物理地址vxworks_phy_addr偏移参数帧字节个数sei_len的地址作为任务的目的地址，设置图像帧长度frame_len为第二次任务的传输长度；
[0128]
610)重复第67)和68)，进入下一步；
[0129]
611)将发送的图像帧长度frame_len写入到协议规定的内存地址，提示主机可以读取数据；
[0130]
612)使用主机读取图像帧数据和参数帧数据，完成回传工作；
[0131]
613)解锁pcie通道的互斥锁，释放pcie通道资源，待接收到新的解码后的图像参数数据后返回步骤步骤61)。
[0132]
本发明步骤2)、3)和6)启动了pcie通道对数据进行传输，有效的减少了传输时延。
[0133]
本发明属于linux系统下视频解码技术，在系统为linux的应用场景下，针对海思hi3559av100芯片特点，并结合pcie设备属性，设计实现了一种linux系统下基于软解码和硬解码结合的视频解码方案设计方法。
[0134]
利用上述技术方案，采用上述操作步骤，本发明可以实现linux系统下视频解码和传输问题，该方法已经经过了算法验证，并进行了实验检验。结果标明，该方案可以为解决图像解码问题，采用软解码方法，动态过滤错帧，并获取完整数据包，使用芯片的硬解码模块完成解码过程，有效减少解码时间，采用pcie通道传输解码前后的图像，极大地减少了数据传输时延。
[0135]
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。