用于车载边缘网络的视频配置方法

1.本发明属于自动驾驶技术领域，更进一步涉及一种视频配置方法，可用于自动驾驶车辆，维护道路安全。


背景技术：

2.目前，自动驾驶汽车和先进的驾驶员辅助系统严重依赖于机载传感器来识别和评估潜在的危险并采取必要的行动，这对传感数据分析的精度和实时性提出了挑战，无线网络的发展为其提供了一种方法。随着现代通信技术的发展，联网汽车比以往任何时候都更接近成为现实。蜂窝车辆无线通信和专用短程通信，由于在带宽、延迟和可靠性方面的显著改进，促进了大规模的车辆通信。此外，新的法规为公共道路上的车辆提供了有益的法律背景，其为增强自动驾驶车辆和辅助驾驶车辆的信息感知铺平了道路，从而提高道路安全。
3.同时随着机器学习的发展，可使得部署在道路附近的强大服务器能够运行计算机密集型神经网络，为车辆用户的视频分析进行实时推断提供了方便，特别是，基于深度学习的视频分析是未来服务的关键。然而这种视频分析的实现系统需要较低的端到端延迟和准确的推理。视频配置参数的选取将对其性能指标有重要的影响。
4.视频配置参数选取的研究已经受到了较多的关注和研究。如：xukan ran等人在“deepdecision:a mobile deep learning framework for edge video analytics”中开发了一个用于边缘视频分析的移动深度学习框架，它根据待分析视频的精度需求、帧率需求、能耗成本和网络状态等数据来建立优化问题，其选择视频的帧率、视频编码率和深度学习模型参数，以优化视频分析的精度和可实现的帧率。但是该方法由于在模型中假设可用的深度学习模型和无线链路的准确性和延迟是预先已知，具有一定的数据或平台依赖性，因而仅适用于一个固定的环境。再如：中山大学在其申请号为：202011638574.3的专利文献中公开了一种“基于边缘计算的低时延实时视频分析方法”，该方法首先对设备到边缘服务器延迟数据采集进行分析，然后动态地根据视频内容配置视频流上传的参数以兼顾准确率、资源消耗和时延的平衡进行动态的配置，同时，进行动态profiling执行决策：通过动态计算profiling判断是否需要在每个时隙重新做profiling，最后通过profiling生成的结果和图片差异比对共同决定是否将图片上传服务器。但该方法中由于配置选择对视频分析的影响以理论最优的黄金配置来衡量，成本昂贵，且随着网络状况的时变，黄金配置对应的视频分析的性能未必是最优的，从而影响视频分析精度与时延性能，进而对道路安全造成威胁。


技术实现要素：

5.本发明的目的在于针对上述视频配置方法的不足，提出一种用于车载边缘网络的视频配置选择方法，以降低视频配置成本，维护道路安全，提高出行效率，并扩大适用环境。
6.为实现上述目的，本发明的技术方案包括如下：
7.1)构建车载边缘网络：
8.将安装有车载传感器的自动驾驶汽车或者辅助驾驶汽车作为客户端车辆户，将部署在基站附近的服务器作为边缘计算节点，将神经网络模型部署在边缘计算节点处；
9.用m个客户端车辆用户组成客户端车辆用户集合：v＝{v1,v2,...,vj,...,vm}，其中vj代表第j个客户端车辆用户，j为从1到m，m≥2；
10.用客户端车辆用户集合v和一个边缘计算节点组成车载边缘网络，在车载边缘网络中，客户端车辆用户vj均通过c-v2x无线接口建立车与车、车与基站的通信；
11.2)客户端车辆用户通过车载摄像头采集视频数据，以生成待分析的视频；
12.3)客户端车辆用户与计算节点建立通信链路；
13.4)对待分析的视频进行视频配置：
14.4a)根据用户需求确定客户端车辆用户的期望帧率λ
*
；
15.4b)从所有可选的配置中随机选取初始配置x
t
＝(n
t
,q
t
)，其中n
t
表示神经网络模型输入大小，q
t
代表每个时隙视频帧传输所选择的压缩百分比；
16.4c)客户端车辆用户根据所选择的配置x
t
对视频进行压缩处理，并通过其与计算节点建立的通信链路，将压缩处理后的视频上传至边缘计算节点进行视频分析，得到视频在选定配置下的观测精度c(x
t
)和视频上传至边缘计算节点的传输时延、视频分析时延；
17.4d)对所得到传输时延、视频分析时延进行模型处理得到观测帧率λ(x
t
)，并通过该λ(x
t
)和c(x
t
)这两个参数生成第t时隙观测奖励信息y
t
；
18.4e)将已选视频配置x
t
添加进已选视频配置集合，将观测奖励信息y
t
添加进观测奖励集合；
19.4f)根据已选视频配置x
t
与观测奖励y
t
计算高斯模型的均值u
t
(x)和方差k
t
(x,x)，并根据这两个参数，计算所有可选视频配置对应的置信区间上界算法函数值；
20.4g)取所有可选视频配置对应的置信区间上界算法函数值中最大值对应的视频配置作为有潜力的视频配置，并将其添加进有潜力的视频配置集合；
21.4h)统计有潜力的视频配置集合中各视频配置出现的频次；
22.4i)根据高斯模型的均值和各配置在有潜力的视频配置集合中出现的频次选取下一时隙的最优视频配置：
[0023][0024]
其中为所有可选视频配置的集合，u
t
(x)为高斯模型的均值，fre(x')为配置x在有潜力的视频配置集合中出现的频次，γ为配置历史频次的权重因子；
[0025]
4j)重复4c)-4i)，直至达到设定的迭代次数，得到最优的视频配置；
[0026]
5)根据视频内容的变化定期重复4)，得到新的最优视频配置。
[0027]
本发明与现有技术相比，具有以下优点：
[0028]
第一，扩大了使用环境。
[0029]
现有车载视频配置方法大多是对所用的深度学习模型和通信链路作出假设，由于该假设深度学习模型的准确性、处理时延和通信链路传输时延均为已知，因而仅仅适用于一个固定的环境。本发明应用贝叶斯在线学习的方法，首先学习在当前环境下的不同视频配置的时延与精度，然后应用高斯模型衡量当前配置与这些通过学习获得时延与精度的配置间的相似性，并以此来选择最优配置，而不限于一个固定的环境，即扩大了使用环境。
[0030]
第二，降低视频配置成本，提高视频分析精度与时延。
[0031]
在实际情况中，由于网络条件时变，影响视频分析精度的因素，如目标大小，角度，移动速度等时变，因此配置奖励间的关系难以准确描述并且时变，黄金配置对应的视频分析性能不一定是最优的，而现有车载视频配置方法多以黄金配置对应的视频分析性能作为衡量视频分析的精度高低与时延大小的标准，这将导致所选配置不是最优的配置，从而影响视频分析的精度与时延；同时黄金配置所带来的视频配置成本较高。由于本发明应用贝叶斯在线学习的方法迭代选择出最优配置，而不依赖于配置奖励间的建模关系和黄金配置，因而可降低视频配置成本，提高视频分析精度与时延，进而维护道路的安全。
附图说明
[0032]
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可根据这些附图获得其他的附图。
[0033]
图1为本发明的实现流程图；
[0034]
图2为本发明中进行视频配置的子流程图；
[0035]
图3为本发明的仿真图。
具体实施方式
[0036]
本实例主要针对车载边缘网络的视频分析精度和时延问题，提出了一种视频配置方法。该方法克服了现有车载视频配置方法仅适用于一个固定的环境，具有数据或者平台依赖性问题，应用高斯过程建模配置间的潜在相关性，并结合贝叶斯在线学习迭代选择出最优配置，实现视频分析时延约束下的精度最大化，维护道路安全。
[0037]
参照图1，本实例的视频配置方法实现步骤如下：
[0038]
步骤1.构建车载边缘网络。
[0039]
将安装有车载传感器的自动驾驶汽车或者辅助驾驶汽车作为客户端车辆用户，将部署在基站附近的服务器作为边缘计算节点，将神经网络模型部署在边缘计算节点处，用于对视频进行分析；
[0040]
用m个客户端车辆用户组成客户端车辆用户集合：v＝{v1,v2,...,vj,...,vm}，其中vj代表第j个客户端车辆用户，j为从1到m，m≥2；
[0041]
用客户端车辆用户集合v和一个边缘计算节点组成车载边缘网络，在车载边缘网络中，客户端车辆用户vj均通过c-v2x无线接口建立车与车、车与基站的通信。
[0042]
步骤2.生成待分析的视频。
[0043]
客户端车辆用户通过车载摄像头感知道路拥堵情况和道路上其他车辆的分布信息，并形成视频数据，用于后续对视频的分析使得客户端车辆用户了解道路状况和其他车辆的分布信息，并做出正确的驾驶决策，维护道路安全。
[0044]
步骤3.客户端车辆用户与计算节点建立通信链路。
[0045]
在车载边缘网络中，由客户端车辆用户间建立k条v2v链路，客户端车辆用户与边缘计算节点间建立m条v2i链路，k条v2v链路与m条v2i链路共享具有固定传输功率的正交频谱子带，并假设信道衰落在一个频谱子带内近似相同，在不同的频谱子带上的信道衰落是
独立的，第m条v2i链路信道的信噪比如下：
[0046][0047]
其中m为从1到m，k表示第k条v2v链路，其取值为从1到k，为第m条v2i链路的发射功率，表示第k条v2v链路对第m条v2i链路的干扰链路的发射功率，g
m,b
[m]为第m条v2i链路的信道增益，g
k,b
[m]为第k条v2v链路对第m条v2i链路产生的干扰链路的信道增益，σ为第m条v2i链路的信道噪声功率，ρk[m]为1代表第k条v2v链路对第m条v2i链路的干扰存在，ρk[m]为0代表v2v链路对第m条v2i链路未产生干扰。
[0048]
步骤4.对待分析的视频进行视频配置。
[0049]
参照图2，本步骤的具体实现如下：
[0050]
4.1)根据用户需求确定客户端车辆用户的期望帧率λ
*
；
[0051]
4.2)从所有可选的配置中随机选取初始配置x
t
＝(n
t
,q
t
)，其中n
t
表示每个时隙神经网络模型输入大小，q
t
代表每个时隙视频帧传输所选择的压缩百分比；
[0052]
本实施例初始配置的神经网络模型输入大小n
t
从{128,192,256,320,384,448,512,576}集合中随机选取，视频帧传输所选择的压缩百分比q
t
从{25,50,75,100}集合中随机选取；
[0053]
4.3)客户端车辆用户根据所选择的配置x
t
对视频进行压缩处理，并通过其与计算节点建立的通信链路，将压缩处理后的视频上传至边缘计算节点进行视频分析，得到视频在选定配置下的观测精度c(x
t
)和视频上传至边缘计算节点的传输时延t
trans
(x
t
)、视频分析时延t
edge
(x
t
)；
[0054]
4.4)对所得到传输时延t
trans
(x
t
)、视频分析时延t
edge
(x
t
)之和t
offload
(x
t
)进行模型处理得到观测帧率λ(x
t
)，并通过该λ(x
t
)和c(x
t
)这两个参数生成第t时隙观测奖励信息y
t
：
[0055][0056]yt
＝c
t
(x
t
)-α|λ
t
(x
t
)-λ
*
|＝f(x
t
) ε
t
[0057]
其中，c为时延干预因子，用来惩罚让客户端车辆用户越来越不满意的时延，t
offload
(x
t
)＝t
trans
(x
t
) t
edge
(x
t
)，ε
t
为奖励的观测噪声，其服从均值为0的高斯分布；α表示帧率的权重因子，f(x
t
)为配置x
t
得到的不带噪声的奖励信息；λ
*
表示客户端车辆用户的期望帧率，在观测奖励信息y
t
中引入λ
*
可以避免选择过分牺牲分析精度而换取高帧率的视频配置；
[0058]
4.5)将已选视频配置x
t
添加进已选视频配置集合，将观测奖励信息y
t
添加进观测奖励集合；
[0059]
4.6)根据已选视频配置x
t
与观测奖励y
t
计算高斯模型的均值u
t
(x)和方差k
t
(x,x)：
[0060]ut
(x)＝k
t
(x)
t
(k
t
σ2i)-1yt
[0061]kt
(x,x)＝r(x,x)-k
t
(x)
t
(k
t
σ2i)-1kt
(x)
[0062]
其中，k
t
(x)＝[r(x1,x),...,r(x
t
,x)]表示待评估的视频配置x与已选择配置
x1,...,x
t
的高斯核函数值组成的1*t的向量，r(x
t
,x)表示已选配置x
t
与待评估配置x间的高斯核函数值，其大小代表已选配置x
t
和待评估配置x的相似程度大小；
[0063]kt
＝[r(xm,xn)]，r(xm,xn)表示第m个时隙的配置与第n个时隙的配置的高斯核函数值，m,n＝1,2,...,t；
[0064]
i表示m*n的单位矩阵，σ表示单位矩阵i的权重因子，y
t
表示奖励y
t
集合；
[0065]
4.7)根据高斯模型的均值u
t
(x)和方差k
t
(x,x)，计算所有可选视频配置对应的置信区间上界算法函数g(x)的值：
[0066][0067]
其中，β
t
为探索高奖励行为与选择历史已知奖励最高的配置的权衡因子，其取值将影响寻找最优配置的时间，本实施例取但不限于β
t
＝log((55*π*t)/6)；
[0068]
4.8)取所有可选视频配置对应的置信区间上界算法函数值中最大值对应的视频配置作为有潜力的视频配置，并将其添加进有潜力的视频配置集合；
[0069]
4.9)统计有潜力的视频配置集合中各视频配置出现的频次，并根据该频次选取下一时隙的最优视频配置：
[0070][0071]
其中为所有可选视频配置的集合，u
t
(x)为高斯模型的均值，fre(x')为配置x在有潜力的视频配置集合中出现的频次，γ为配置历史频次的权重因子；
[0072]
4.10)重复4.3)-4.9)，直至达到设定的迭代次数，得到最优的视频配置。
[0073]
步骤5.根据视频内容的变化定期重复步骤4，得到新的最优视频配置。
[0074]
由于网络条件时变，影响视频分析精度的因素，如目标大小，角度，移动速度等时变，因此需要定期进行视频配置，得到新的最优视频配置。
[0075]
以下结合仿真对本发明的效果作进一步说明：
[0076]
一、仿真环境
[0077]
本发明仿真实验的硬件平台为：处理器为intel(r)core(tm)i7-9700cpu，主频为3.00ghz，内存16.0gb。
[0078]
本发明仿真实验的软件平台为：windows10操作系统和pycharm2020。
[0079]
仿真实验的具体参数如表1所示：
[0080]
表1：仿真实验参数表
[0081]
[0082]
二、仿真实验内容及结果分析：
[0083]
在上述仿真环境下，分别用本发明和现有两个方法gp-ucb、rx-max，在预先给定的配置集合中选取最优的配置，结果如图3。其中，纵坐标总体regret表示t次迭代的累积regret，其含义为t次迭代所选配置的累积奖励与t次迭代最优配置的累积奖励之差，具体表示为：r
t
表示为总体regret，f(x
*
)表示最优配置对应的奖励信息，f(x
t
)表示每个时隙所选配置的奖励信息；横坐标为迭代次数。
[0084]
现有的gp-ucb方法是apostolos galanopoulos等人在“bayesian online learning for mec object recognition systems.globecom 2020-2020ieee global communications conference,2020”中提出的视频配置方法
[0085]
现有的rx-max方法是一个随机选取视频配置的方法。
[0086]
从图3可以看出，本发明曲线最先收敛，且收敛后的总体regret最小，表明的本发明能最先找到最优的配置，可降低配置成本。
[0087]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。