一种视联网数据传输链路质量损耗监测方法、装置及系统与流程

1.本发明涉及视联网技术领域，尤其涉及一种视联网数据传输链路质量损耗监测方法、装置及系统。


背景技术：

2.视联网在大规模组网中的链路节点及分布区域众多，在各链路节点间的视频流数据传输过程中，均会由于网络、传输距离等传输介质的原因，使得所传输的视频流数据具有一定的损耗。
3.目前视频流数据传输链路的检测主要以检测各链路节点之间的网络连通性为主，对于传输的数据流的质量检测则缺少了检测手段，只能检测网络连通性，而无法确认视频流数据在传输过程中的损耗值。


技术实现要素：

4.本发明提供了一种视联网数据传输链路质量损耗监测方法、装置及系统，解决了如何监测视联网的数据传输链路质量损耗的技术问题。
5.所述方法包括：
6.根据监测任务配置信息生成对应的检测指令，将所述检测指令发送至对应待测的视联网终端；
7.接收所述视联网终端根据所述检测指令生成的测试用视频文件；所述视联网终端的测试用视频文件包括根据所述检测指令采集的视频流数据和通过在所述检测指令中附加所述视联网终端的标识得到的更新指令；
8.接收所述视联网终端所对应数据传输链路的各链路节点发送的测试用视频文件；所述链路节点发送的测试用视频文件在所述链路节点接收到前一节点发送的带有检测指令的视频流数据时生成，所述链路节点发送的测试用视频文件包括通过在所接收检测指令中附加当前链路节点的标识得到的更新指令和所接收的视频流数据；
9.根据接收的测试用视频文件计算对应链路节点视频中每一帧图像的质量度量值，根据得到的质量度量值计算对应链路节点的视频质量综合测评分值；
10.计算链路节点间的视频质量综合测评分值的差值并作为对应链路节点间的传输损耗值。
11.根据本发明第一方面的一种能够实现的方式，所述根据接收的测试用视频文件计算对应链路节点视频中每一帧图像的质量度量值，包括：
12.计算对应链路节点视频中每一帧图像的峰值信噪比和多尺度结构相似性；
13.根据计算得到的峰值信噪比和多尺度结构相似性的值进行加权得到对应帧图像的质量度量值。
14.根据本发明第一方面的一种能够实现的方式，所述根据得到的质量度量值计算对应链路节点的视频质量综合测评分值，包括：
15.对链路节点视频中各帧图像的质量度量值进行平均得到对应链路节点的视频质量综合测评分值。
16.本发明第二方面提供一种视联网数据传输链路质量损耗监测装置，所述装置包括：
17.发送模块，用于根据监测任务配置信息生成对应的检测指令，将所述检测指令发送至对应待测的视联网终端；
18.第一接收模块，用于接收所述视联网终端根据所述检测指令生成的测试用视频文件；所述视联网终端的测试用视频文件包括根据所述检测指令采集的视频流数据和通过在所述检测指令中附加所述视联网终端的标识得到的更新指令；
19.第二接收模块，用于接收所述视联网终端所对应数据传输链路的各链路节点发送的测试用视频文件；所述链路节点发送的测试用视频文件在所述链路节点接收到前一节点发送的带有检测指令的视频流数据时生成，所述链路节点发送的测试用视频文件包括通过在所接收检测指令中附加当前链路节点的标识得到的更新指令和所接收的视频流数据；
20.第一计算模块，用于根据接收的测试用视频文件计算对应链路节点视频中每一帧图像的质量度量值，根据得到的质量度量值计算对应链路节点的视频质量综合测评分值；
21.第二计算模块，用于计算链路节点间的视频质量综合测评分值的差值并作为对应链路节点间的传输损耗值。
22.根据本发明第二方面的一种能够实现的方式，所述第一计算模块包括：
23.第一计算单元，用于计算对应链路节点视频中每一帧图像的峰值信噪比和多尺度结构相似性；
24.第二计算单元，用于根据计算得到的峰值信噪比和多尺度结构相似性的值进行加权得到对应帧图像的质量度量值。
25.根据本发明第二方面的一种能够实现的方式，所述第二计算模块包括：
26.第三计算单元，用于对链路节点视频中各帧图像的质量度量值进行平均得到对应链路节点的视频质量综合测评分值。
27.本发明第三方面提供一种视联网数据传输链路质量损耗监测系统，包括监测平台、视联网终端和所述视联网终端所对应数据传输链路的各链路节点；
28.所述监测平台用于根据监测任务配置信息生成对应的检测指令，将所述检测指令发送至对应待测的视联网终端；
29.所述视联网终端用于在接收到所述检测指令时，根据所述检测指令采集对应的视频流数据，在所述检测指令中附加自身标识以更新检测指令，根据当前检测指令和所采集的视频流数据生成测试用视频文件并反馈至所述监测平台；以及，将所采集的视频流数据附带当前检测指令发送至下一链路节点；
30.所述链路节点用于监控到附带检测指令的视频流数据时，在所接收的检测指令中附加自身标识以更新检测指令，根据当前检测指令和所接收的视频流数据生成测试用视频文件并反馈至所述监测平台；以及，当前链路节点不为链路终点时，还用于将所接收的视频流数据附带当前检测指令发送至下一链路节点；
31.所述监测平台还用于根据接收的测试用视频文件计算对应链路节点视频中每一帧图像的质量度量值，根据得到的质量度量值计算对应链路节点的视频质量综合测评分
值；计算链路节点间的视频质量综合测评分值的差值并作为对应链路节点间的传输损耗值。
32.根据本发明第三方面的一种能够实现的方式，所述监测平台具体用于：
33.计算对应链路节点视频中每一帧图像的峰值信噪比和多尺度结构相似性；
34.根据计算得到的峰值信噪比和多尺度结构相似性的值进行加权得到对应帧图像的质量度量值。
35.根据本发明第三方面的一种能够实现的方式，所述监测平台还具体用于：
36.对链路节点视频中各帧图像的质量度量值进行平均得到对应链路节点的视频质量综合测评分值。
37.本发明第四方面提供了一种检测装置，包括：
38.存储器，用于存储指令；其中，所述指令用于实现如上任意一项能够实现的方式所述的视联网数据传输链路质量损耗监测方法；
39.处理器，用于执行所述存储器中的指令。
40.本发明第五方面一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任意一项能够实现的方式所述的视联网数据传输链路质量损耗监测方法。
41.从以上技术方案可以看出，本发明具有以下优点：
42.本发明通过监测端发送检测指令至待测的视联网终端，由监测端接收视联网终端及视联网终端所对应数据传输链路的各链路节点反馈的测试用视频文件，并根据接收的测试用视频文件计算对应链路节点视频中每一帧图像的质量度量值，根据得到的质量度量值计算对应链路节点的视频质量综合测评分值，进而以链路节点间的视频质量综合测评分值的差值作为对应链路节点间的传输损耗值，其中，测试用视频文件根据节点所得到的视频流数据和附加有当前节点标识的检测指令得到；本发明依据客观的视频质量测评分值判断各节点的传输损耗结果，实现了对视联网的数据传输链路质量损耗的监测，测评的结果更贴合于实际用户的感官感受；通过本发明的方案，可实时追踪各地域的视联网终端设备在不同链路下的传输效率和数据损耗情况，可为视联网链路的性能优化提供可靠的、直观的参考依据。
附图说明
43.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
44.图1为本发明一个可选实施例提供的一种视联网数据传输链路质量损耗监测方法的流程图；
45.图2为本发明一个可选实施例提供的一种视联网数据传输链路质量损耗监测装置的结构连接示意图；
46.图3为本发明一个可选实施例提供的一种视联网数据传输链路质量损耗监测系统的结构示意图。
47.附图标记：
48.图2中，1-发送模块；2-第一接收模块；3-第二接收模块；4-第一计算模块；5-第二计算模块；
49.图3中，10-监测平台；20-视联网终端；30-链路节点；100-监测任务模块；200-指令调度模块；300-视频质量测评模块；400-数据采集模块；500-指令处理模块。
具体实施方式
50.本发明实施例提供了一种视联网数据传输链路质量损耗监测方法、装置及系统，用于解决如何监测视联网的数据传输链路质量损耗的技术问题。
51.为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
52.本发明提供了一种视联网数据传输链路质量损耗监测方法。
53.请参阅图1，图1示出了本发明实施例提供的一种视联网数据传输链路质量损耗监测方法的流程图。
54.本发明实施例提供的一种视联网数据传输链路质量损耗监测方法，包括步骤s1-s5。
55.步骤s1，根据监测任务配置信息生成对应的检测指令，将所述检测指令发送至对应待测的视联网终端。
56.其中，该监测任务配置信息可以是预先存储的信息，从而可以根据预置的时间点进行检测指令的生成；该监测任务配置信息也可以是由预置终端发送的信息，可以在接收到该监测任务配置信息时进行检测指令的生成。该监测任务配置信息可以包括所需采集的视频流数据的大小阈值及待测的视联网终端的标识。
57.步骤s2，接收所述视联网终端根据所述检测指令生成的测试用视频文件；所述视联网终端的测试用视频文件包括根据所述检测指令采集的视频流数据和通过在所述检测指令中附加所述视联网终端的标识得到的更新指令。
58.其中，视联网终端在收到所述检测指令后，将自身的标识附加到该检测指令中，从而得到更新指令。具体地，视联网终端在收到检测指令后，将视联网终端标识附加到检测指令的链路节点信息字段中。
59.作为一种能够实现的方式，所述检测指令包括所需采集的视频流数据的大小阈值，从而视联网终端根据该检测指令采集与该大小阈值一致的视频流数据。
60.生成测试用视频文件时，具体地，视联网终端可以将接收的视频流数据复制两份，将一份视频流数据和更新后的检测指令打包为该测试用视频文件，用于视频质量测评，将另一份视频流数据附带更新后的检测指令发送至数据传输的下一链路节点。
61.步骤s3，接收所述视联网终端所对应数据传输链路的各链路节点发送的测试用视频文件；所述链路节点发送的测试用视频文件在所述链路节点接收到前一节点发送的带有检测指令的视频流数据时生成，所述链路节点发送的测试用视频文件包括通过在所接收检
测指令中附加当前链路节点的标识得到的更新指令和所接收的视频流数据。
62.其中，各链路节点处在监控到带有检测指令的视频流数据时，将更新检测指令，附加当前节点唯一标识于链路节点信息中，并与视频流数据一起打包成测试用视频文件。
63.其中，若当前的链路节点不是链路的终点，在生成测试用视频文件时，具体地，当前链路节点可以将监控到的视频流数据复制两份，将一份视频流数据和更新后的检测指令打包为该测试用视频文件，用于视频质量测评，将另一份视频流数据附带更新后的检测指令发送至数据传输的下一链路节点；若当前的链路节点为链路的终点，则当前链路节点则不再发送附带检测指令的视频流数据。
64.其中，可以通过当前节点的唯一标识来判断节点是否为链路的终点。
65.通过步骤s3，可以获取到所述视联网终端所对应数据传输链路的所有链路节点发送的测试用视频文件，以便于后续对链路间质量损耗的分析。
66.步骤s4，根据接收的测试用视频文件计算对应链路节点视频中每一帧图像的质量度量值，根据得到的质量度量值计算对应链路节点的视频质量综合测评分值。
67.可以通过选用梯度相似度(gsim)、带有颜色信息的特征相似度(fsimc)，梯度幅值相似度偏差(gmsd)，梯度相似性度量(igm)、视觉信息保真度(vif)、峰值信噪比(psnr)和多尺度结构相似性(ms-ssim)的一种或多种作为图像的质量度量。
68.作为一种能够实现的方式，根据图像的峰值信噪比和多尺度结构相似性进行质量度量值的计算。具体地，在计算质量度量值时，首先计算对应链路节点视频中每一帧图像的峰值信噪比和多尺度结构相似性；进而根据计算得到的峰值信噪比和多尺度结构相似性的值进行加权得到对应帧图像的质量度量值。
69.作为一种具体的实施方式，质量度量值的计算公式为：
[0070][0071]
式中，sn表示第n帧图像的质量度量值，pn代表第n帧图像的psnr指标分值，mn代表第n帧图像的ms-ssim指标分值，a、b分别代表psnr和ms-ssim指标占的权重比，a b＝1。
[0072]
psnr和ms-ssim指标占的权重比的具体值可根据实际需要进行调配。
[0073]
其中，psnr指标分值的具体计算公式为：
[0074][0075]
式中，n为每像素的比特数，mse表示当前图像x和参考图像y的均方误差，h、w分别为图像的高度和宽度，x(i,j)为当前图像像素点(i,j)的像素值，y(i,j)为参考图像像素点(i,j)的像素值。
[0076]
ms-ssim指标分值公式的计算公式为：
[0077][0078]
式中，m表示不同的尺度，μ
p
和μg分别表示预测图像和ground truth(真实图像)的均值，σ
p
和σg分别表示预测图像和ground truth的标准差，σ
pg
表示预测值和ground truth
之间的协方差，βm和γm分别表示均值两项之间、标准差两项之间的相对重要性，c1和c2则为常数项。
[0079]
psnr是最普遍、应用最广泛的图像客观评价指标，其是基于对相应像素点之间的误差，即误差敏感的图像质量评价。由于没有考虑人眼视觉特性(人眼对空间频率低的对比度差异的灵敏度高、人眼对亮度的对比度差异的灵敏度比彩度高、人眼对一个区域的感知结果受到其周围附近区域的影响等)，因此评价结果与人眼看到的视觉品质不完全一致。而ms-ssim融入了图像细节，适用于不同分辨率下的应用。本实施例中，通过结合psnr和ms-ssim两个指标来计算图像的质量度量值，可以使得所计算的质量度量值趋近于人眼主观质量分数。
[0080]
根据得到的质量度量值计算对应链路节点的视频质量综合测评分值时，作为一种实施方式，可以以汇总各帧图像的质量度量值得到的综合值作为对应链路节点的视频质量综合测评分值。
[0081]
作为另一种实施方式，对链路节点视频中各帧图像的质量度量值进行平均得到对应链路节点的视频质量综合测评分值。具体地，该视频质量综合测评分值的计算公式为：
[0082][0083]
式中，s表示对应链路节点的视频质量综合测评分值，sn表示第n帧图像的质量度量值，m为对应链路节点的视频的图像总帧数。
[0084]
步骤s5，计算链路节点间的视频质量综合测评分值的差值并作为对应链路节点间的传输损耗值。
[0085]
此步骤中，各链路节点之间的传输损耗值为各节点的视频质量综合测评分值的差值，即链路节点之间的传输损耗值的计算公式为：
[0086]dαβ
＝|s
α-s
β
|
[0087]
式中，d
αβ
表示链路节点α和β之间的传输损耗值，s
α
表示链路节点α的视频质量综合测评分值，s
β
表示链路节点β的视频质量综合测评分值。
[0088]
本实施例中，将链路节点间的视频质量综合测评分值的差值作为对应链路节点间的传输损耗值，计算方式简单便捷，所计算的结果可以很好地体现链路节点间的传输损耗。
[0089]
进一步地，所述方法还可以包括：
[0090]
根据得到的各链路节点间的传输损耗值，生成可视化链路图。
[0091]
本实施例中，通过可视化链路图表示各链路节点间的传输损耗，可以直观地呈现出视频数据传输链路的损耗情况。
[0092]
进一步地，所述方法还可以包括：
[0093]
若链路节点间的传输损耗值超过预设的传输损耗阈值时，发出相应的预警信息。
[0094]
本实施例中，可以实现基于监测结果的自动预警。
[0095]
对应于上述实施例介绍的视联网数据传输链路质量损耗监测方法，本发明还提供了一种视联网数据传输链路质量损耗监测装置，该装置用以实现上述实施例。
[0096]
请参阅图2，图2示出了本发明实施例提供的一种视联网数据传输链路质量损耗监测装置的结构连接框图。
[0097]
本发明实施例提供的一种视联网数据传输链路质量损耗监测装置，包括：
[0098]
发送模块1，用于根据监测任务配置信息生成对应的检测指令，将所述检测指令发送至对应待测的视联网终端；
[0099]
第一接收模块2，用于接收所述视联网终端根据所述检测指令生成的测试用视频文件；所述视联网终端的测试用视频文件包括根据所述检测指令采集的视频流数据和通过在所述检测指令中附加所述视联网终端的标识得到的更新指令；
[0100]
第二接收模块3，用于接收所述视联网终端所对应数据传输链路的各链路节点发送的测试用视频文件；所述链路节点发送的测试用视频文件在所述链路节点接收到前一节点发送的带有检测指令的视频流数据时生成，所述链路节点发送的测试用视频文件包括通过在所接收检测指令中附加当前链路节点的标识得到的更新指令和所接收的视频流数据；
[0101]
第一计算模块4，用于根据接收的测试用视频文件计算对应链路节点视频中每一帧图像的质量度量值，根据得到的质量度量值计算对应链路节点的视频质量综合测评分值；
[0102]
第二计算模块5，用于计算链路节点间的视频质量综合测评分值的差值并作为对应链路节点间的传输损耗值。
[0103]
在一种能够实现的方式中，所述第一计算模块4包括：
[0104]
第一计算单元，用于计算对应链路节点视频中每一帧图像的峰值信噪比和多尺度结构相似性；
[0105]
第二计算单元，用于根据计算得到的峰值信噪比和多尺度结构相似性的值进行加权得到对应帧图像的质量度量值。
[0106]
在一种能够实现的方式中，所述第二计算模块5包括：
[0107]
第三计算单元，用于对链路节点视频中各帧图像的质量度量值进行平均得到对应链路节点的视频质量综合测评分值。
[0108]
对于上述装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见图1所示方法实施例的部分说明即可。
[0109]
本发明还提供一种视联网数据传输链路质量损耗监测系统。
[0110]
请参阅图3，图3示出了本发明实施例提供的一种视联网数据传输链路质量损耗监测系统的结构示意图。
[0111]
如图3所示，本发明实施例的系统包括监测平台10、视联网终端20和所述视联网终端20所对应数据传输链路的各链路节点30；
[0112]
所述监测平台10用于根据监测任务配置信息生成对应的检测指令，将所述检测指令发送至对应待测的视联网终端20；
[0113]
所述视联网终端20用于在接收到所述检测指令时，根据所述检测指令采集对应的视频流数据，在所述检测指令中附加自身标识以更新检测指令，根据当前检测指令和所采集的视频流数据生成测试用视频文件并反馈至所述监测平台10；以及，将所采集的视频流数据附带当前检测指令发送至下一链路节点30；
[0114]
所述链路节点30用于监控到附带检测指令的视频流数据时，在所接收的检测指令中附加自身标识以更新检测指令，根据当前检测指令和所接收的视频流数据生成测试用视频文件并反馈至所述监测平台10；以及，当前链路节点30不为链路终点时，还用于将所接收的视频流数据附带当前检测指令发送至下一链路节点30；
[0115]
所述监测平台10还用于根据接收的测试用视频文件计算对应链路节点30视频中每一帧图像的质量度量值，根据得到的质量度量值计算对应链路节点30的视频质量综合测评分值；计算链路节点30间的视频质量综合测评分值的差值并作为对应链路节点30间的传输损耗值。
[0116]
在一种能够实现的方式中，所述监测平台10具体用于：
[0117]
计算对应链路节点30视频中每一帧图像的峰值信噪比和多尺度结构相似性；
[0118]
根据计算得到的峰值信噪比和多尺度结构相似性的值进行加权得到对应帧图像的质量度量值。
[0119]
在一种能够实现的方式中，所述监测平台10还具体用于：
[0120]
对链路节点30视频中各帧图像的质量度量值进行平均得到对应链路节点30的视频质量综合测评分值。
[0121]
为实现上述实施例所述的系统，如图3所示，可以相应设置监测任务模块100、指令调度模块200、视频质量测评模块300、数据采集模块400和指令处理模块500。
[0122]
其中，可以在监测平台10内配置监测任务模块100、指令调度模块200和视频质量测评模块300。监测任务模块100用以负责监测任务的管理，其存储有该监测任务配置信息。指令调度模块200用于根据监测任务配置信息生成所述检测指令，并将检测指令下方至所有符合条件的待测的视联网终端20；视频质量测评模块300用于接收并解析测试用视频文件，得出检测指令和视频流数据，并计算出各链路节点30的视频质量综合测评分值。
[0123]
可以在视联网终端20部署数据采集模块400和指令处理模块500，在所述视联网终端20所对应数据传输链路的各链路节点30部署指令处理模块500。其中数据采集模块400用于负责采集特定时长大小的视频流数据。指令处理模块500用于负责检测指令的执行和更新。在指令经过当前链路节点30时，指令处理模块500将更新检测指令的链路信息，在原有链路信息中附加当前链路节点30的标识以及时间，并打包视频流数据和检测指令，以发送至监测平台10。
[0124]
需要说明的是，上述参数、流程等的意义如图1中的相关解释的意义一致。
[0125]
本发明还提供了一种视联网数据传输链路质量损耗监测装置，包括：
[0126]
存储器，用于存储指令；其中，所述指令用于实现如上任意一项实施例所述的视联网数据传输链路质量损耗监测方法；
[0127]
处理器，用于执行所述存储器中的指令。
[0128]
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任意一项实施例所述的视联网数据传输链路质量损耗监测方法。
[0129]
本发明上述实施例，依据客观的视频质量测评分值判断各节点的传输损耗结果，实现了对视联网的数据传输链路质量损耗的监测，测评的结果更贴合于实际用户的感官感受；通过本发明的方案，可实时追踪各地域的视联网终端设备在不同链路下的传输效率和数据损耗情况，可为视联网链路的性能优化提供可靠的、直观的参考依据。
[0130]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件
可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
[0131]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0132]
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
[0133]
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0134]
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。