一种支持移动设备的多视频流卸载方法及系统与流程

1.本发明涉及多媒体与视频分析技术领域，具体来说，涉及一种支持移动设备的多视频流卸载方法及系统。


背景技术：

2.随着芯片技术和移动设备制造业的快速发展，在移动设备上配备具有不同功能的多个摄像头并实现深度视觉分析的需求变得越来越迫切。在移动设备上启用多流分析可以同时处理多个摄像头，以改善对复杂场景的感知。此外，当前先进的移动设备交互需要高效的多视频流处理能力。一个典型的场景是移动增强现实眼镜，它使用多个摄像头来感知真实世界的环境，同时识别用户的手势以提供更好的交互。另一个例子是无人机，它通常配备四个以上的摄像头，以获取复杂任务分析的多角度视频流。然而，以简单的多线程方式实现多流处理具有挑战性，这是因为本机执行中密集计算与有限资源之间的矛盾，同时，卸载方案中的高传输能耗、严重带宽和云资源依赖性。本发明方法的特点和创新就是设计了一个新的移动深度视觉分析框架，支持移动设备上的多流分析。该系统通过将各种流混合到一个混合处理管道中，利用了高效和统一的调度，并将带宽、帧内容等关键上下文应用到在线视频帧卸载调度中，优化协作设备上的多视频流分析计算问题。


技术实现要素：

3.针对相关技术中的上述技术问题，本发明提出一种支持移动设备的多视频流卸载方法及系统，能够克服现有技术方法的上述不足。
4.为实现上述技术目的，本发明的技术方案是这样实现的：
5.一种支持移动设备的多视频流卸载方法，包括以下步骤：
6.s1:首先视频提供商在离线阶段提供一个平台感知的轻量化多视频流分析模型，并根据用户端使用的设备的计算能力对进行视频分析的深度学习模型提供相匹配的轻量化压缩模型；
7.s2:然后根据时间戳和视频流的标志对多个视频流进行融合和初步分析，并将分析结果作为后续实时帧卸载调度时的输入；
8.s3:当终端设备完成多个视频流的初步分析与融合后，进行实时帧卸载调度，根据当前的上下文信息，对融合后的视频帧进行决策；
9.s4:然后，对视频帧的运行进行分析，根据实时帧卸载调度的结果，在响应的终端设备上包括协作的边缘服务器和边缘设备上运行响应的深度学习分析模型；
10.s5:完成视频帧的运行分析后，实时以单线程方式运行在用户的终端设备上进行异常检测和异常恢复，提供对实时的网络状态和协作设备的连接状态、以及其他协作计算的异常进行检测监控，并及时反馈异常。
11.进一步地，步骤s1中，轻量化多视频流深度分析模型是基于教师网络和学生网络，不同的视频流分析任务通过教师网络中学习特征表示，提升适配终端大小的学生网络的进
度，从而生成供在线阶段部署推理的分析模型。
12.进一步地，所述轻量化多视频流深度分析模型采用vgg16
‑
ssd的高精度目标检测网络做作为教师网络，从中提取特征并将其传递到轻量化的学生网络中；所述学生网络采用轻量化mobilenet
‑
ssd网络，通过控制网络层的数量来提供面向不同算力的终端设备相匹配的深度学习视觉处理模型。
13.进一步地，步骤s2中，对多视频流进行初步分析时，首先实时计算融合后的多流视频帧t时刻的一维图片熵信息，并将t时刻一维信息熵和t
‑
1时刻的二维信息熵共同作为输入提供至实时卸载调度计算t时刻的二维信息熵，并对缓存的t
‑
1时刻二维信息熵进行更新。
14.进一步地，步骤s4中，进行实时卸载调度，首先需要建立并离线训练用于在线调度的随机森林决策算法，将终端设备和协作计算设备之间的带宽、设备的实时可用资源利用率、时间、设备的位置信息和视频帧的信息熵这些上下文信息作为关键特征训练决策。
15.进一步地，视频帧运行分析主要是运行在不同的计算设备上根据实时卸载调度的计算结果从任务发起设备上接收到需要实时处理的视频帧，并根据当前设备的计算能力和状态加载预部署的深度学习分析模型进行推理计算。
16.进一步地，若当前视频帧被调度到任务发起设备本地或计算力较弱的协作终端设备上则以单线程批处理的方式加速推理；若当前视频帧是被调度到计算力充足的边缘服务器上，则以多线程批处理的方式对视频帧的计算进行加速。
17.进一步地，步骤s5中，异常检测监控主要是通过一个实时运行在终端设备上的监测线程并维护一张实时状态表来注册、监测终端设备和协作设备的实时资源状态以及网络带宽信息，当终端设备监测到异常现象时，则通过唤醒恢复线程来处理当前任务并及时更新状态表。
18.根据本发明的另一方面，提供了支持移动设备的多视频流卸载系统，包括轻量化视频分析深度学习模型生成模块、在线阶段的多流视频帧预分析模块、实时帧卸载调度模块、视频帧运行分析模块、异常检测和恢复模块，其中，
19.所述轻量化视频分析深度学习模型生成模块，运行在配备gpu计算资源的云资源上，是根据用户端使用的设备的计算能力对视频进行分析的深度学习模型而提供的相匹配的轻量化压缩模型；
20.所述在线阶段的多流视频帧预分析模块，为对多个视频流内容进行初步实时分析，即时间戳和视频流的标志对多个流进行融合，作为实时帧卸载调度模块的输入；
21.所述实时帧卸载调度模块，是根据当前的上下文信息对融合后的视频帧进行决策，决策的结果是对当前视频帧在本地终端上还是协作的终端设备上进行帧内容分析；
22.所述视频帧运行分析模块，主要是根据实时帧卸载调度的结果在响应的设备上包括协作的边缘服务器和边缘设备上运行响应的深度学习分析模型，在终端设备和低算力的协作设备上使用单线程批处理技术进行推理，而在强算力的边缘服务器上采用多线程技术进行加速；
23.所述异常检测和恢复模块，主要实时以单线程方式运行在用户的终端设备上，提供对实时网络状态和协作设备的连接状态以及其他协作计算的异常并进行监控，及时将异常反馈到决策模块，此外，会对于异常状态中重新恢复的模块提供协作计算的恢复。
24.本发明的有益效果：通过在不同的计算设备上根据不同的可用资源状态实现加速推理计算，提高了多视频流的实时分析效率，有效支持在移动设备上同时实现多视频流的深度视觉分析服务，为移动设备的高质量多媒体视频流分析服务提供了一套可行的解决方案；并且支持在普适移动设备上实现基于帧融合技术的实时多流卸载机制，实现高质量的多视频流分析服务、有效降低系统的通信与计算开销。
附图说明
25.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
26.图1是根据本发明实施例所述的支持移动设备的多视频流卸载方法及系统的多视频流卸载分析系统示意图。
27.图2是根据本发明实施例所述的支持移动设备的多视频流卸载方法及系统的轻量化视频流分析深度学习模型压缩示意图。
28.图3是根据本发明实施例所述的支持移动设备的多视频流卸载方法及系统的视频帧预分析模块示意图。
29.图4是根据本发明实施例所述的支持移动设备的多视频流卸载方法及系统的实时视频帧卸载调度模块示意图。
30.图5是根据本发明实施例所述的支持移动设备的多视频流卸载方法及系统的异常状况检测与恢复模块示意图。
具体实施方式
31.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围，为了方便理解本发明的上述技术方案，以下通过具体使用方式上对本发明的上述技术方案进行详细说明。
32.如图1所示，根据本发明实施例所述的支持移动设备的多视频流卸载方法及系统，包括离线的轻量化视频分析深度学习模型生成模块、在线阶段的多流视频帧预分析模块、实时帧卸载调度模块、视频帧运行分析模块以及异常检测和恢复模块。
33.视频服务提供商在离线阶段提供一个平台感知的轻量化多视频流分析模型生成模块，该模块在配备gpu计算资源的云资源上运行，根据用户端使用的设备的计算能力对进行视频分析的深度学习模型提供相匹配的轻量化压缩模型。
34.如图2所示，离线模型生成模块是基于知识蒸馏技术提供一种普适视频流目标检测的轻量化深度学习模型压缩方法，采用vgg16
‑
ssd的高精度目标检测网络做作为教师知道网络，从中提取特征表示，并将其传递到轻量化的学生网络中；学生网络采用的是轻量化mobilenet
‑
ssd网络，该骨干网络模型的参数少、推理速度快，学生网络通过控制网络层的数量来提供面向不同算力的终端设备相匹配的深度学习视觉处理模型。压缩训练过程所使
用的关键损失函数包括了训练学生网络的损失、回归的损失以及hint约束函数使得学生网络更容易地收敛至最小值；基于前述步骤定义的教师网络和学生网络，不同的视频流分析任务通过教师网络中学习特征表示，提升适配终端大小的学生网络的精度，从而生成供在线阶段部署、推理的多个视频流分析的轻量化深度视觉分析模型。
35.用户在移动设备上打开涉及多视频流处理的应用时(例如终端设备需要检测、识别摄像头获取的视频流中的各种物体)，还需要识别出视频流中的出现的手势动作，就涉及到多个视频流任务的实时分析；因此，启动在线阶段的多流视频帧预分析来对多视频流的内容进行初步分析，即根据时间戳和视频流的标志对多个流进行融合，并将分析结果作为实时帧卸载调度模块的输入。
36.如图3所示，所述视频帧预分析模块首先实时计算融合后的多流视频帧t时刻的一维图片熵信息，并将t时刻一维信息熵和t
‑
1时刻的二维信息熵共同作为输入提供至实时卸载调度模块；接着，该模块计算t时刻的二维信息熵，并对缓存的t
‑
1时刻二维信息熵进行更新，在线阶段的多流视频帧预分析模块中所使用的视频帧一维熵计算公式如下：
[0037][0038]
同时，计算视频帧二维熵值的计算方式如下：
[0039][0040]
当终端设备完成多视频流的初步分析与融合后，实时帧卸载调度模块根据当前的上下文信息(网络带宽、时间、位置和帧包含的内容信息)对融合后的视频帧进行决策。决策的结果是当前视频帧在本地终端上，还是协作的终端设备上进行帧内容的分析，从而获得最小的时延和移动能耗体验，并且能够满足视频分析在精度上的要求。
[0041]
如图4所示，实时卸载调度模块首先建立并离线训练了用于在线调度的随机森林决策算法，具体过程包括将终端设备和协作计算设备之间的带宽、设备的实时可用资源利用率、时间、设备的位置信息和视频帧的信息熵等上下文信息作为关键特征训练决策模块。
[0042]
为了训练视频帧卸载调度模块，定义设局样本表示上述特征，分别将当前视频帧卸载本地设备、协作设备和边缘服务器中完成协作计算。所训练使用的算法是基于决策树的分类融合算法，通过抽样建立多个决策树进行训练预测，并将预测的平均结果作为最终的结果。在训练的过程中定义如下计算方式所示的度量标准来衡量决策分类的优度：
[0043][0044]
在线运行阶段，运行在终端设备上的实时卸载模块根据视频帧当前的输入执行已训练好的随机森林决策算法，并根据结果将当前视频调度至相应的计算设备中。
[0045]
所述视频帧运行分析模块主要是根据实时帧卸载调度的结果在响应的设备上包括协作的边缘服务器和边缘设备上运行响应的深度学习分析模型；此外，在终端设备和低算力的协作设备上使用单线程批处理技术进行推理，而在算力强的边缘服务器上采用多线程技术进行加速。
[0046]
所述在线视频帧运行分析模块主要是运行在不同的计算设备上，其根据实时卸载调度模块的计算结果从任务发起设备上接收到需要实时处理的视频帧，根据当前设备的计算能力和状态加载预部署的深度学习分析模型进行推理计算。如果当前视频帧被调度到任
务发起设备本地或计算力较弱的协作终端设备上，则以单线程批处理的方式加速推理，这是避免大量占用其他服务进程的计算资源。若当前视频帧是被调度到计算力充足的边缘服务器上，则以多线程批处理的方式对视频帧的分析计算进行加速。
[0047]
批处理的加速子流程主要包括视频帧获取、预分析、实时决策调度、模型推理分析、帧编码、传输和结果渲染。特别是在边缘服务器算力充足情况下，可以使用多个线程以批处理的方式对这些子任务进行加速，不同线程之间并行执行。
[0048]
如图5所示，异常检测和恢复模块主要实时以单线程方式运行在用户的终端设备上，该模块的主要功能室提供对实时的网络状态和协作设备的连接状态、以及其他协作计算的异常进行监控，并及时的将异常反馈至决策模块；此外，对于异常状态中重新恢复的模块提供协作计算的恢复，从而保证多流视频分析协作计算的稳定与可靠。异常监测模块主要是通过一个实时运行在终端设备上的监测线程并维护一张实时状态表来注册、监测终端设备和协作设备的实时资源状态以及网络带宽等信息，一旦监测到异常现象发生，则通过唤醒恢复线程来处理当前任务并及时地更新状态表。
[0049]
综上所述，借助于本发明的上述技术方案，通过在不同的计算设备上根据不同的可用资源状态实现加速推理计算，提高了多视频流的实时分析效率，有效支持在移动设备上同时实现多视频流的深度视觉分析服务，为移动设备的高质量多媒体视频流分析服务提供了一套可行的解决方案；并且支持在普适移动设备上实现基于帧融合技术的实时多流卸载机制，实现高质量的多视频流分析服务、有效降低系统的通信与计算开销。
[0050]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。