一种网络性能瓶颈值的确定方法、装置及存储介质与流程

一种网络性能瓶颈值的确定方法、装置及存储介质
1.本技术是向中国国家知识产权局提交的申请日为2018年11月22日、申请号为201811400631.7、发明名称为“一种网络性能瓶颈值的确定方法及装置”的申请的分案申请。
技术领域
2.本技术涉及网络信息技术领域，尤其涉及一种网络性能瓶颈值的确定方法、装置及存储介质。


背景技术：

3.随着网络业务的发展，对网络质量的要求越来越高，比如高速的下载速度、视频播放的流畅程度和视频质量切换次数等等。网络质量提高与网络性能指标息息相关。
4.网络性能指标是衡量网络质量的一个重要参数，对网络性能指标进行合理的设计可以有效提高网络质量，满足用户的高网络质量要求。但是，由于网络资源限制，可能导致网络性能指标出现瓶颈值，使得随网络性能指标的变化网络质量的提升不再显著。
5.对于网络性能瓶颈值的确定通常依靠经验确定，由于在不同应用场景中，依靠经验确定的网络性能瓶颈值不够准确，使用该网络性能瓶颈值可能出现对网络质量的误判。


技术实现要素：

6.本技术实施例提供了一种网络性能瓶颈值的确定方法，用于智能识别影响用户体验质量的网络性能瓶颈值，以通过用户体验提升网络性能瓶颈值的准确度。
7.为了达到上述技术目的，本技术实施例提供了以下技术方案：
8.第一方面，本技术实施例提供了一种网络性能瓶颈值的确定方法，包括：获取目标网络设备在同一时间段中不同时刻对应的用户体验质量参考指标的指标值和网络性能指标的指标值，其中，用户体验质量指标用于表征用户体验质量，网络性能指标用于表征网络质量，网络质量也可以称之为网络性能，用户体验质量参考指标可以理解为用户质量参考数据，具体来说用户体验质量参考指标可以是时间序列，同样，网络性能指标也可以理解为网络性能数据，具体来说网络性能数据也可以是时间序列；根据在上述同一时间段内获取得到的用户体验质量参考指标的指标值和网络性能指标的指标值确定网络性能瓶颈值，该网络性能瓶颈值用于与网络设备的网络性能指标的指标值进行比较以确定其网络质量。
9.从以上技术方案中可以看出，本技术实施例具有以下优点：基于目标网络设备在同一时间段中不同时刻对应的用户体验质量参考指标的指标值，以及在上述同一时间段中不同时刻对应的网络性能指标的指标值得到网络性能瓶颈值，在上述网络性能瓶颈值的确定方法中在考虑网络性能指标的基础上还参考了用户体验质量参考指标，用户体验质量参考指标表征的是用户体验质量，网络性能指标表征的是网络质量，换言之，在上述网络性能瓶颈值的确定方法中考虑了用户体验质量和网络质量两者之间的关系，因此，通过上述方法确定网络性能瓶颈值可以提升网络性能瓶颈值的准确性。
10.可选的，结合上述第一方面，在本技术实施例第一方面的第一种可能的实现方式中，上述根据获取到的用户体验质量参考指标的指标值和网络性能指标的指标值确定网络性能瓶颈值具体可以包括：针对目标网络设备在同一时间段中不同时刻获取到的用户体验质量参考指标的指标值和网络性能指标的指标值进行分析得到性能评估指标的指标值，其中，性能评估指标是用于评估用户体验质量和网络质量之间的关联关系的指标；进而，根据分析得到的性能评估指标的指标值确定网络性能瓶颈值。
11.从上述第一方面的第一种可能的实现方式中可以看出：上述分析方法中采用了大量的指标数据是一种大数据分析方法，大数据分析具有准确度高的特性，因此，通过大数据分析方法获取网络性能瓶颈值可以增加该瓶颈值的准确性。
12.可选的，结合上述第一方面或第一方面的第一种可能的实现方式，在本技术实施例第一方面的第二种可能的实现方式中，上述目标网络设备具体可以为用户体验质量参考指标对应的统计值所表征的用户体验质量低于第一阈值所表征的用户体验质量的网络设备。用户体验质量参考指标对应的统计值具体可以是在某一时间段内用户体验质量参考指标的平均值、中值等，第一阈值可以是预先设置的用于衡量用户体验质量高低的指标值，当户体验质量参考指标对应的统计值低于第一阈值时，表征用户体验质量差，否则用户体验质量良好。进一步的，目标网络设备可以是由人工指定的，也可以是通过用户体验质量参考指标对应的统计值(如平均值)进行自动筛选得到的。
13.从上述第一方面的第二种实现方式中可以看出：针对上述目标网络设备获取得到的用户体验质量参考指标和网络性能指标对应的数据准确性更高，可以提高用户体验质量参考指标和网络性能指标的数据准确性，从而使得最终分析得到的网络性能瓶颈值的准确性也得以进一步提高。
14.可选的，结合上述第一方面的第一种可能的实现方式，在本技术实施例第一方面的第三种可能的实现方式中，上述性能评估指标具体可以是第一评估指标，其中，该第一评估指标是用于评价网络质量高低对用户体验质量高低的影响；此种情况下，根据上述性能评估指标确定网络性能瓶颈值具体可以是：将第一评估指标的指标值大于第二阈值时所对应的网络性能指标的指标值确定为网络性能的瓶颈值，其中，第二阈值是预先设置的。
15.可选的，结合上述第一方面的第三种可能的实现方式，在本技术实施例第一方面的第四种可能的实现方式中，上述性能评估指标包括第一评估指标的同时，上述性能评估指标还可以包括第二评估指标，其中，该第二评估指标用于评估用户体验质量和网络质量高低一致时的时刻数目在上述同一时间段中的所有时刻数目中的占比；在此种情况下，根据上述性能评估指标确定网络性能瓶颈值具体可以是：将第一评估指标的指标值大于第二阈值时网络性能指标的指标值作为候选网络性能瓶颈值，通过第二评估指标的指标值大于第三阈值作为筛选条件从该候选网络性能瓶颈值中确定最终的网络性能瓶颈值，同样，第二阈值和第三阈值都可以是预先设置的。
16.从上述第一方面的第三种和第四种可能的实现方式中，同时考虑第一评估指标和第二评估指标的情况下，其得到的网络性能瓶颈值的准确度更高；只考虑第一评估指标的情况下，其得到网络性能瓶颈值的方式更加简便，因此，对于上述第二种和第三种可能的实现方式可以根据不同的应用场景进行选择。
17.可选的，结合上述第一方面的第二种可能的实现方式，在本技术实施例第一方面
的第五种可能的实现方式中，在上述获取目标网络设备在同一时间段中不同时刻对应的用户体验质量参考指标的指标值和网络性能指标的指标值之前，该方法还包括：根据网络拓扑按照网络设备汇聚用户体验指标；进而，根据汇聚得到的用户体验指标计算各个网络设备的用户体验质量参考指标对应的统计值；最终，将各个网络设备中其用户体验质量参考指标对应的统计值低于上述第一阈值的网络设备确定为目标网络设备。
18.此第一方面的第五种可能的实现方式的有益效果与上述第一方面的第二种可能的实现方式的有益效果类似，对此此处不再赘述。
19.可选的，结合上述第一方面，第一方面的第一种至第四种可能的实现方式，在本技术实施例第一方面的第六种可能的实现方式中，本技术实施例中的用户体验质量参考指标包括：质差率指标或用户体验指标中至少一项；本技术实施例中的网络性能指标包括：网络带宽占用率、丢包率或时延中的至少一项。其中，质差率指标具体用于指示网络设备下所有用户总体的用户体验质量。
20.可选的，结合上述第一方面的第六种可能的实现方式，在本技术实施例第一方面的第七种可能的实现方式中，本技术实施例中的用户体验指标包括：视频平均意见打分、卡顿时长、卡顿占比、卡顿频次、花屏时长占比、花屏次数、花屏面积占比、视频质量切换次数或视频质量质差占比中的至少一项。
21.第二方面，本技术实施例提供了一种网络性能分析装置，该网络优化分析装置具有实现上述第一方面或第一方面任意一种可能实现方式的方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
22.第三方面，本技术实施例提供了一种网络优化分析装置，包括：处理器和存储器；该存储器用于存储计算机执行指令，当该网络优化分析装置运行时，该处理器执行该存储器存储的该计算机执行指令，以使该网络优化分析装置执行如上述第一方面或第一方面任意一种可能实现方式的网络性能瓶颈值的确定方法。
23.第四方面，本技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机操作指令，当其在计算机上运行时，使得计算机可以执行上述第一方面或第一方面任意一种可能实现方式的网络性能瓶颈值的确定方法。
24.第五方面，本技术实施例提供了一种计算机程序产品，该计算机程序产品包括计算机操作指令，当其在计算机上运行时，使得计算机可以执行上述第一方面或第一方面任意一种可能实现方式的网络性能瓶颈值的确定方法。
25.其中，上述第二方面至第五方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果，此处不再赘述。
附图说明
26.图1为本技术实施例提供的一个系统架构示意图；
27.图2为本技术实施例提供的网络性能瓶颈值的确定方法的一个实施例示意图；
28.图3为本技术实施例提供的网络拓扑的一个示意图；
29.图4为本技术实施例提供的光线路终端的一个连接结构示意图；
30.图5为本技术实施例提供的用户体验指标和网络性能指标的一个实施例示意图；
terminal，ont)107、业务终端108。
43.其中，业务服务器101具体可以是网络协议电视(internet protocol television，iptv)服务器，业务终端108具体可以是机顶盒(set top box，stb)。
44.其中，拓扑资管采集系统13分别与cr103、bras104、lsw105和olt106连接，并且用于采集网络拓扑数据，以及包括用户与网络设备连接关系的资管数据。用户体验指标采集系统12与stb108连接，并且用于采集网络中的用户体验指标。此外，如图1中虚线箭头所示，用户指标采集系统12还可以设置于cr103和bras104之间，具体来说，在cr103和bras104之间被设置有用户指标采集系统12对应的探针，进一步，用户指标采集系统12使用该探针采集用户体验指标。
45.网络优化分析系统11用于获取目标网络设备在同一时间段中不同时刻对应的用户体验质量参考指标的指标值和网络性能指标的指标值，其中，用户体验质量参考指标用于表征用户体验质量，网络性能指标用于表征网络质量；进而，根据在上述同一时间段内获取得到的用户体验质量参考指标的指标值和网络性能指标的指标值确定网络性能瓶颈值，该网络性能瓶颈值用于与网络设备的网络性能指标的指标值进行比较以确定其网络质量。
46.可选的，在一种实现方式中，网络优化分析系统11具体可以用于：针对目标网络设备在同一时间段中不同时刻获取到的用户体验质量参考指标的指标值和网络性能指标的指标值进行分析得到性能评估指标的指标值，其中，性能评估指标是用于评估用户体验质量和网络质量之间的关联关系的指标；进而，根据分析得到的性能评估指标的指标值确定网络性能瓶颈值。
47.可选的，在一种可能的实现方式中，上述性能评估指标具体可以是第一评估指标，其中，该第一评估指标是用于评价网络质量高低对用户体验质量高低的影响；此种情况下，网络优化分析系统11具体用于：将第一评估指标的指标值大于第二阈值时所对应的网络性能指标的指标值确定为网络性能的瓶颈值。
48.可选地，在一种可能的实现方式中，上述性能评估指标包括第一评估指标的同时，上述性能评估指标还可以包括第二评估指标，其中，该第二评估指标用于评估用户体验质量和网络质量高低一致时的时刻数目在上述同一时间段中的所有时刻数目中的占比；此种情况下，网络优化分析系统11具体用于：将第一评估指标的指标值大于第二阈值时所对应的网络性能指标的指标值作为候选网络性能瓶颈值，通过第二评估指标的指标值大于第三阈值作为筛选条件从该候选网络性能瓶颈值中确定最终的网络性能瓶颈值。
49.可选的，在一种实现方式中，上述目标网络设备具体可以为其用户体验质量参考指标对应的统计值低于第一阈值的网络设备。其中，用户体验质量参考指标对应的统计值具体可以是在某一时间段内用户体验质量参考指标的平均值、中值等，第一阈值可以是预先设置的用于衡量网络质量高低的指标值，当户体验质量参考指标对应的统计值低于第一阈值时，表征网络质量差，否则网络质量良好。进一步的，目标网络设备可以是由人工指定的，也可以是通过用户体验质量参考指标对应的统计值进行自动筛选得到的。
50.可选的，在一种可能的实现方式中，网络优化分析系统11还可以用于：在上述获取目标网络设备在同一时间段中不同时刻对应的用户体验质量参考指标的指标值和网络性能指标的指标值之前，根据网络拓扑按照网络设备汇聚用户体验指标；进而，根据汇聚得到的用户体验指标计算各个网络设备的用户体验质量参考指标对应的统计值；最终，将各个
网络设备中其用户体验质量参考指标对应的统计值(如平均值)低于上述第一阈值的网络设备确定为目标网络设备。
51.可选的，在一种可能的实现方式中，上述网络性能指标包括：网络带宽占用率、丢包率或时延中的至少一项。
52.用户体验质量参考指标表征总体用户体验质量水平，具体来说，目标网络设备的用户体验质量参考指标可以用于表征该目标网络设备所服务的所有用户总体的用户体验质量水平。该用户体验质量参考指标包括：质差率指标或用户体验指标中至少一项。其中，目标网络设备的质差率指标指的是该目标网络设备所服务的所有用户中质差用户的数量占比，用户体验指标包括但不限于：视频平均意见打分(video mean opinion score，vmos)、卡顿时长、卡顿占比、卡顿频次、花屏时长占比、花屏次数、花屏面积占比、视频质量切换次数或视频质量质差占比中的至少一项。当目标网络设备的用户体验质量参考指标为用户体验指标时，具体可以将该目标网络设备所服务的所有用户的用户体验指标的指标值的统计值(如平均值)作为该目标网络设备的用户体验指标的指标值，如，将该目标网络设所服务的所有用户的vmos值的平均值作为该目标网络设备的vmos值。
53.需要说明的是，在具体实现中，本技术实施例中的网络优化分析系统11、用户体验指标采集系统12和拓扑资管采集系统13既可以部署于同一个服务器中，也可以部署在不同的服务器中，对此本技术不做任何限制。
54.为了更加便于理解本技术实施例提供的网络性能瓶颈值的确定方法，下面结合具体的实施例进行详细说明，具体如下：
55.图2为本技术实施例提供的网络性能瓶颈值的确定方法的一个实施例示意图。
56.如图2所示，本技术实施例中网络性能瓶颈值的确定方法包括：
57.可选的，201、网络优化分析装置根据网络拓扑确定目标网络设备。
58.其中，目标网络设备是指用户体验质量较差的网络设备，其目标网络设备的确定方式可以是人工指定的，也可以是依据网络设备的用户体验质量参考指标自动筛选得到的。第一阈值是预先设置的用于区别网络设备用户体验质量高低的标准，当网络设备用户体验质量参考指标的指标值低于第一阈值时，网络设备为用户体验质量较差的目标网络设备。
59.可选的，网络优化分析装置根据网络拓扑确定目标网络设备具体可以包括：网络优化分析装置根据网络拓扑按照网络设备汇聚用户体验指标，进而，网络优化分析装置根据汇聚的用户体验指标计算网络中各个网络设备的用户体验质量参考指标对应的统计值，最终，网络优化分析装置将各个网络设备中其用户体验质量参考指标对应的统计值低于上述第一阈值的网络设备确定为目标网络设备。其中，用户体验质量参考指标包括但不限于质差率指标或者用户体验指标中至少一项。质差率指标是指用于指示网络设备下所有用户总体的用户体验质量水平的指标。用户体验指标可以包括但不限于：vmos、卡顿时长、卡顿占比、卡顿频次、花屏时长占比、花屏次数、花屏面积占比、视频质量切换次数或视频质量质差占比中的至少一项。其中，vmos的分值越高表示用户体验质量越好，卡顿时长、卡顿占比、卡顿频次、花屏时长占比、花屏次数、花屏面积占比、视频质量切换次数或视频质量质差占比对应的值越大表示用户体验质量越差。
60.为了便于理解上述所述的目标网络设备的确定方式，下面举例进行说明：
61.比如，图3为本技术实施例提供的一个网络拓扑示意图。如图3所示的网络拓扑中包括：bras、lsw、olt和ont，如图3中箭头所示，ont为olt的下游设备，olt为bras的下游设备，lsw用于连接bras和olt。基于上述图3所示的网络拓扑，计算图3中各个网络设备对应的用户体验质量参考指标。其中，以计算olt对应的质差率为例进行说明，olt对应的质差率即olt下所有用户的总体用户体验质量水平，olt下所有用户的总体用户体验质量水平具体可以是：olt下质差用户在所用用户中的数量占比。
62.图4为本技术实施例提供的光线路终端olt的一个连接结构示意图。如图4所示，olt的下游用户一共有10个用户(u1至u10)，其中，质差用户设备的数量为4个，质差与否置为1的用户设备为质差用户设备，质差与否置为0的用户设备为非质差用户设备，因此，容易知道图4中olt对应的质差率为0.4。第一阈值是可以根据经验预先设置的，如根据以往的网络性能分析经验将第一阈值设为0.1，此种情况下，图4中所示的olt被确定为目标网络设备。
63.其中，用户质差与否除通过质差率指标进行判断之外，还可以通过上述用户体验指标中的至少一项确定，例如以vmos对用户设备质差与否进行判断，具体可以是，若vmos分值最大为5分，最小为0分，当vmos评分低于2.5分时，用户设备为质差设备，否则，用户设备为非质差设备。此外，用户质差与否还可以通过上述任意一种用户体验指标进行判断，还是以vmos为例，在图4中，还可以通过计算olt下所有用户的平均vmos评分，若该平均vmos评分低于2.5分，则确定该olt为质差设备，否则，确定该olt为非质差设备。
64.需要说明的是，本技术实施例中所述的网络优化分析装置的功能具体可以实现上述网络优化分析系统11的功能，也可以实现网络优化分析系统11、用户体验指标采集系统12和拓扑资管采集系统13三者的功能。
65.202、网络优化分析装置获取目标网络设备在同一时间段中不同时刻对应的用户体验质量参考指标的指标值和网络性能指标的指标值。
66.目标网络设备在同一时间段中不同时刻对应的用户体验质量参考指标的指标值和网络性能指标的指标值具体是指：目标网络设备在同一时间段中不同时刻对应的用户体验质量参考指标的指标值，以及在上述同一时间段中不同时刻对应的网络性能指标的指标值。换言之，上述用户体验质量参考指标的指标值和网络性能指标的指标值可以是在同一时间段上用户体验质量参考指标和网络性能指标分别对应的时间序列。用户体验质量参考指标用于表征用户体验质量，用户体验质量参考指标也可以称之为关键质量指标(key quality indicator，kqi)，其具体可以包括如上述步骤201中所述的质差率和用户体验指标。网络性能指标用于表征网络质量，网络性能指标也可以称之为关键性能指标(key performance indicator，kpi)。具体来说，kpi可以包括但不限于网络带宽占用率、丢包率或时延，网络带宽占用率越高、丢包率越大以及时延越大其表征的网络质量越差。需要说明的是，kpi还是通过上述网络带宽占用率、丢包率或时延转换得到的其他用于表征相同含义的网络性能指标，例如由时延转换得到的网络传输速率等。
67.203、网络优化分析装置根据获取到的用户体验质量参考指标的指标值和网络性能指标的指标值确定网络性能瓶颈值。
68.该网络性能瓶颈值可以是根据在同一时间段获取到的用户体验质量参考指标对应的时间序列(如kqi时间序列)和网络性能指标对应的时间序列(如kpi时间序列)确定的。
该网络性能瓶颈值用于与网络设备的网络性能指标的指标值进行比较以确定网络设备的网络质量高低，也可以理解为该网络性能瓶颈值是用于判定网络设备的网络性能指标是否达到瓶颈。
69.可选的，网络优化分析装置根据获取到的用户体验质量参考指标的指标值和网络性能指标的指标值确定网络性能瓶颈值的一种可能的实现方式可以是：对在同一时间段上获取到的目标网络设备对应的用户体验质量参考指标的时间序列和网络性能指标的时间序列进行数据分析得到性能评估指标的指标值，其中，该性能评估指标用于评估用户体验质量和网络质量之间的关联关系；进一步，根据该性能评估指标的指标值确定网络性能瓶颈值。
70.可选的，在上述实现方式中的性能评估指标具体可以是第一评估指标，其中，该第一评估指标是用于评估网络质量高低对用户体验质量高低的影响；此种情况下，根据上述性能评估指标确定网络性能瓶颈值具体可以是：将第一评估指标的指标值大于第二阈值时所对应的网络性能指标的指标值确定为网络性能瓶颈值，其中，第二阈值是预先设置的。
71.可选的，在上述实现方式中的性能评估指标包括第一评估指标的同时，上述性能评估指标还可以包括第二评估指标，其中，该第二评估指标用于指示用户体验质量和网络质量高低一致时的时刻数目在所述同一时间段的所有时刻数目中的占比，换言之，第二评估指标用于评估在上述同一时间段中用户体验质量高时网络质量也高的时刻数目以及用户体验质量低时网络质量也低的时刻数目的总和相对于该同一时间段中所有时刻数目的比例；在此种情况下，根据上述性能评估指标确定网络性能瓶颈值具体可以是：将第一评估指标的指标值大于第二阈值时对应的网络性能指标的指标值作为候选的网络性能瓶颈值，在从该候选的网络性能瓶颈值中将第二评估指标的指标大于第三阈值的网络性能瓶颈值确定为最终的网络性能瓶颈值，同样，第二阈值和第三阈值都可以是预先设置的。
72.具体来说，上述第一评估指标具体可以是f-score指标，其中，该f-score指标用于对查准率precsion指标和查全率recall指标进行综合评估，其中，precsion指标用于指示网络质量低且用户体验质量也低的时刻数目在网络质量低的所有时刻数目中的占比，recall指标用于指示网络质量低且用户体验质量也低的时刻数目在用户体验质量低的所有时刻数目中的占比，上述第二评估指标具体可以包括但不限于准确性accuracy指标，其中，accuracy指标用于指示在同一时间段中用户体验质量高时网络质量也高的时刻数目以及用户体验质量低时网络质量也低的时刻数目的总和相对于该同一时间段中所有时刻数目的比例。
73.为便于理解上述步骤203中所述的性能评估指标的获取方式，下面以olt为目标网络设备为例对该确定方式进行详细说明，具体执行如下步骤1至步骤3：
74.步骤1：获取olt在同一时间段中各个时刻的用户体验质量参考指标的指标值，以及在该同一时间段中各个时刻的网络性能指标的指标值。
75.例如，以图4中的olt为目标网络设备，olt的网络带宽占用率为网络性能指标，质差率为用户体验质量参考指标。网络优化分析装置对同一时间段内的网络带宽占用率和质差率进行实时采集，以得到在同一时间段内olt的网络带宽占用率的指标值，以及olt的质差率的指标值。实时采集到的指标值可以采用如图5所示的时间走势图表示，如图5所示，在某日(如2月6日)00：00至24:00这段时间段内采集到的olt的端口带宽占用率的指标值如图
5中曲线1所示，其曲线1的取值范围为[0，60]表示对应的带宽占用率为0％至60％，在上述某日(如2月6日)00：00至24:00这段时间段内olt的质差率的指标值如图5中曲线2所示，其曲线2的取值范围为[0，1]，其取值越高，表示质差率越大，对应的用户体验质量越低。
[0076]
步骤2：根据获取到的网络性能指标的最大指标值和最小指标值，按照一定间隔得到网络性能指标对应的数值序列。
[0077]
例如，图5中所示的网络带宽占用率的最大值和最小值分别为60％和0％，用数值60代表网络带宽占用率的最大值60％，用数值0代表网络带宽占用率的最小值0％，按照间隔0.1取值得到网络带宽占用率对应的数值序列，表示为[0,0.1,0.2,0.3,
…
60]，其中，用i表示上述数值序列中的任意一个数值，th_i表示数值i对应的网络带宽占用率，如当i＝0.5时，对应的th_i为0.5％。th_i具体可以是上述曲线1所示的olt的网络带宽占用率的指标值。
[0078]
步骤3：将上述数值序列中每一个网络性能指标的指标值假设为网络性能瓶颈值，并根据假设的网络性能瓶颈值、获取到的用户体验质量参考指标的指标值以及网络性能指标的指标值计算上述数值序列中每一个网络性能指标的指标值对应的性能评估指标的指标值。
[0079]
例如，对于质差率设定一个质差阈值，记为kqi_th，例如kqi_th＝0.1即当质差率超过0.1则认为用户体验质量差。对于上述数值序列中的每个数值i，假设其可能的网络带宽占用率瓶颈值为th_i，针对每一个瓶颈值th_i分别确定在上述曲线1和曲线2的所有时刻中存在同一时刻对应的质差率大于质差阈值kqi_th且网络带宽占用率大于瓶颈值th_i的时刻数目(tp)、存在同一时刻对应的质差率不大于质差阈值kqi_th且网络带宽占用率大于瓶颈值th_i的时刻数目(fp)、存在同一时刻对应的质差率大于质差阈值kqi_th且网络带宽占用率不大于瓶颈值th_i的时刻数目(fn)和存在同一时刻对应的质差率不大于质差阈值kqi_th且网络带宽占用率不大于瓶颈值th_i的时刻数目(tn)。进而，针对每一个瓶颈值th_i根据公式一、公式二和公式三计算得到每一个瓶颈值th_i对应的f-score指标的指标值。其中，公式一、公式二和公式三分别如下：
[0080]
公式一：precsion＝tp/(tp fp)；
[0081]
公式二：recall＝tp/(tp fn)；
[0082]
公式三：f-score＝(1 β)2*((precsion*recall)/(β2*precsion recall))；
[0083]
其中，如上面所述的上述三个公式中的tp为同一时刻对应的质差率大于质差阈值kqi_th且网络带宽占用率大于瓶颈值th_i的时刻数目、fp为同一时刻对应的质差率不大于质差阈值kqi_th且网络带宽占用率大于瓶颈值th_i的时刻数目、fn为同一时刻对应的质差率大于质差阈值kqi_th且网络带宽占用率不大于瓶颈值th_i的时刻数目、tn为同一时刻对应的质差率不大于质差阈值kqi_th且网络带宽占用率不大于瓶颈值th_i的时刻数目以及β为权重参数，其取值范围为[0，1]。从上述公式一中可以看出，precsion表示在网络带宽占用率大于其瓶颈值th_i的时刻数目中其对应的质差率大于质差阈值kqi_th的时刻数目的占比，换言之，precsion用于指示在网络质量较差时用户体验质量也确实差部分的占比。从上述公式二种可以看出，recall表示在质差率大于质差阈值kqi_th的时刻数目中其对应的网络带宽占用率大于其瓶颈值th_i的时刻数目的占比，换言之，recall用于指示在用户体验质量较差时网络质量也确实差部分的占比。
[0084]
进一步的，将上述β预设为0.5，根据上述公式一至公式三遍历上述数值序列[0,0.1,0.2,0.3,
…
60]中的每一个数值i，i属于[0,0.1,0.2,0.3,
…
60]，计算出每一个瓶颈值th_i对应的f-score指标的指标值，最终，用如图6表示f-score指标与th_i之间的对应关系，其中，在图6中曲线3表示f-score指标曲线，此外，图6右侧a所指示的部分从下至上的颜色深浅变化表示accuracy指标由小变大，需要说明的是，上述accuracy指标是采用后续公式四计算得到的，后面将进行详细介绍，此处不再赘述。
[0085]
基于上述图6所述的f-score指标曲线，上述将第一评估指标的指标值大于第二阈值对应的网络性能指标的指标值确定为网络性能的瓶颈值具体可以是：根据上述图6中得到的f-score指标曲线利用回归算法跟踪拟合，识别f-score指标曲线拐点处对应的网络带宽占用率，容易理解，在拐点处的网络带宽占用率附近时，f-score指标变化较大，换言之，网络带宽占用率在拐点处附近用户体验质量受网络带宽占用率的影响较大。具体来说，如图7所示，识别出的三个拐点对应的网络带宽占用率分别为21.017％，46.193％和55.866％。关于第二阈值可以是结合f-score指标曲线中的最大f-score指标值的百分比确定的，假设，上述第二阈值为设置为f-score指标曲线中的最大f-score指标值的80％，则在上述图6中所识别出的三个拐点中，只有网络带宽占用率为46.193％和55.866％对应的f-score指标值大于上述f-score指标曲线中的最大f-score指标值的80％，因此，网络优化分析装置可以将网络带宽占用率55.866％或者46.193％确定为网络带宽占用率瓶颈值。对于上述网络带宽占用率瓶颈值的具体确定方式，既可以采用人工筛选方式，也可以采用自动筛选方式得到，本技术对此不作任何限制。
[0086]
进一步的，除单独采用f-score指标确定网络性能瓶颈值之外，还可以同时采用f-score指标和accuracy指标确定网络性能瓶颈值，具体来说，在计算出上述图6中f-score指标曲线并识别出拐点为21.017％，46.193％和55.866％的基础上，还可以结合accuracy指标作为第二评估指标来选择网络带宽占用率的瓶颈值，具体实现方式可以是：基于公式四：accuracy＝(tp tn)/(tp tn fp fn)，采用公式四遍历上述数值序列[0,0.1,0.2,0.3,
…
60]中的每一个数值i，计算得到每一个瓶颈值th_i对应的accuracy指标的指标值。最终根据计算得到的accuracy指标的每一个指标值绘制得到图8中曲线4所示的accuracy指标曲线。
[0087]
基于上述图7中所述的f-score指标曲线以及图8中所述的accuracy指标曲线，上述将第一评估指标的指标值大于第二阈值时对应的网络性能指标的指标值作为候选的网络性能瓶颈指标，在从该候选的网络性能瓶颈指标中将第二评估指标的指标值大于第三阈值时对应的网络性能指标的指标确定为最终的网络性能瓶颈值。具体来说，假设第二阈值还是设置为f-score指标曲线中的最大f-score指标值的75％，同样，第三阈值设置为accuracy指标曲线中最大值的80％，则根据图7中所述的f-score指标曲线将网络带宽占用率为46.193％和55.866％确定为候选的网络带宽占用率瓶颈值，进而，根据图8中所述的accuracy指标曲线从确定46.193％和55.866％中筛选出最终的网络带宽占用率瓶颈值可以是候选的网络带宽占用率瓶颈值46.193％和55.866％中的任意一个。基于上述筛选结果，可以将46.193％和55.866％中任一个网络带宽占用率作为最终的网络带宽占用率瓶颈值。可选的，还可以再增加筛选条件，例如节约成本为目的，则最终将55.866％确定为最终的网络带宽利用率瓶颈值。
[0088]
需要说明的是，本技术实施例中所述的网络带宽占用率即为网络带宽利用率，两者之间仅仅是表述上的区别而已。
[0089]
还需要说明的是，如上述增加节约成本为目的作为附加条件对网络带宽占用率进行筛选，在网络性能瓶颈值的选择条件方面，除本技术中所述的性能评估指标作为筛选条件之外，还可以将网络性能指标对应的其他合理条件作为筛选条件，以筛选出更准确的网络性能瓶颈值，对此本技术不做任何限制。
[0090]
本技术实施例中，基于在同一时间段上目标网络设备对应的用户体验质量参考指标的时间序列和网络性能指标的时间序列进行分析得到网络性能指标对应的瓶颈值即网络性能瓶颈值，容易理解，网络性能差容易导致用户体验质量不佳，因此，结合用户体验确定的网络性能瓶颈值中考虑了用户体验质量和网络性能两者之间的关系，可以提升网络性能瓶颈值的准确性。
[0091]
可选的，204、当监测到的网络性能指标的指标值表征的网络质量低于网络性能瓶颈值表征的网络质量时，网络优化分析装置进行网络优化以提升网络质量。
[0092]
在根据同一时间段上目标网络设备对应的用户体验质量参考指标的指标值和网络性能指标的指标值确定网络性能瓶颈值之后，网络优化分析装置使用网络性能瓶颈值对网络设备的网络性能指标进行监测，当监测到的网络性能指标的指标值表征的网络质量低于网络性能瓶颈值表征的网络质量时，网络优化分析装置进行网络优化以提升网络质量。
[0093]
可选的，在一种可能的网络优化方式中，当网络优化分析装置监测到某一个网络设备的网络质量低于该网络性能瓶颈值对应的网络质量时，网络优化分析装置对该网络设备进行单独网络优化，以提高该单个网络设备的网络性能。
[0094]
可选的，在另一种可能的网络优化方式中，当网络优化分析装置监控到网络中网络设备的网络质量低于网络性能瓶颈值表征的网络质量的网络设备占网络设备总数的比例达到预定比例时，网络优化分析装置进行全网优化，以提高整网的网络质量。
[0095]
其中，上述监测到的网络质量低于网络性能瓶颈值表征的网络质量可以包括以下两种情况：一、网络性能指标的指标值低于对应的网络性能瓶颈值，当网络性能指标的指标值越高对应的网络质量越好时，此种情况下，若监测到的网络性能指标的指标值低于网络性能瓶颈值，则监测到的网络质量低于网络性能指标瓶颈值对应的网络质量，例如，网络带宽占用率越大，网络质量越差；丢包率越大，网络质量越差；时延越大，网络质量越差；二、网络性能指标的指标值高于对应的网络性能瓶颈值，当网络性能指标越高对应的网络质量越差时，此种情况下，若监测到的网络性能指标的指标值高于网络性能瓶颈值，则监测到的网络质量低于网络性能指标瓶颈值对应的网络质量，例如，网络传输速率越高，网络质量越好。
[0096]
本技术实施例中，通过结合用户体验确定的网络性能瓶颈值对网络质量好坏进行判断，由于此种方式得到的网络性能瓶颈值的准确率较高，可以及时对网络质量变差的网络进行优化，以提高网络质量以及提升用户体验。进一步地，本技术实施例中网络优化还可以针对网络中的任何一个设备，无需整网优化，可以降低网络优化成本。
[0097]
需要说明的是，本技术下述实施例中的消息名字或消息中各参数的名字只是一个示例，具体实现中也可以是其他的名字，比如网络质量还可以称之为网络性能，网络带宽占用率可以称之为网络带宽利用率，在此进行统一说明，本技术实施例对此不作具体限定。
[0098]
上述主要从网络优化分析装置的角度对本技术实施例提供的方案进行了介绍。可以理解的是，上述网络优化分析装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，本技术能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0099]
从硬件结构上来描述，网络优化分析装置可以由一个实体设备实现，也可以由多个实体设备共同实现，还可以是一个实体设备内的一个逻辑功能模块，本技术实施例对此不作具体限定。
[0100]
例如，网络优化分析装置可以通过图9所示的网络设备来实现。图9为本技术实施例提供的一个网络设备的硬件结构示意图。
[0101]
如图9所示，网络设备400包括至少一个处理器401，通信线路402，存储器403以及至少一个通信接口404。
[0102]
处理器401可以是一个通用中央处理器(central processing unit，cpu)，微处理器，特定应用集成电路(application-specific integrated circuit，服务器ic)，或一个或多个用于控制本技术方案程序执行的集成电路。
[0103]
通信线路402可包括一通路，在上述组件之间传送信息。
[0104]
通信接口404，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(radio access network，ran)，无线局域网(wireless local area networks，wlan)等。
[0105]
存储器403可以是只读存储器(read-only memory，rom)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，ram)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路402与处理器相连接。存储器也可以和处理器集成在一起。
[0106]
其中，存储器403用于存储执行本技术方案的计算机执行指令，并由处理器401来控制执行。处理器401用于执行存储器403中存储的计算机执行指令，从而实现本技术下述实施例提供的网络性能瓶颈值的确定方法。
[0107]
可选的，本技术实施例中的计算机执行指令也可以称之为应用程序代码，本技术实施例对此不作具体限定。在具体实现中，作为一种实施例，处理器401可以包括一个或多个cpu，例如图9中的cpu0和cpu1。
[0108]
在具体实现中，作为一种实施例，网络设备400可以包括多个处理器，例如图9中的处理器401和处理器408。这些处理器中的每一个可以是一个单核(single-cpu)处理器，也可以是一个多核(multi-cpu)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
[0109]
在具体实现中，作为一种实施例，网络设备400还可以包括输出设备405和输入设备406。输出设备405和处理器401通信，可以以多种方式来显示信息。例如，输出设备405可以是液晶显示器(liquid crystal display，lcd)，发光二级管(light emitting diode，led)显示设备，阴极射线管(cathode ray tube，crt)显示设备，或投影仪(projector)等。输入设备406和处理器401通信，可以以多种方式接收用户的输入。例如，输入设备406可以是鼠标、键盘、触摸屏设备或传感设备等。
[0110]
上述的网络设备400可以是一个通用设备或者是一个专用设备。在具体实现中，网络设备400可以是台式机、便携式电脑、网络服务器、掌上电脑(personal digital assistant，pda)、移动手机、平板电脑、无线终端设备、嵌入式设备或有图9中类似结构的设备。本技术实施例不限定网络设备400的类型。
[0111]
本技术实施例可以根据上述方法示例对网络优化分析装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本技术实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0112]
比如，以采用集成的方式划分各个功能模块的情况下，图10示出了一种网络优化分析装置的结构示意图。
[0113]
如图10所示，本技术实施例提供的网络优化分析装置100包括：获取模块1001和第一确定模块1002；
[0114]
其中，获取模块1001用于：获取目标网络设备在同一时间段中不同时刻对应的用户体验质量参考指标的指标值和网络性能指标的指标值，其中，用户体验质量指标用于表征用户体验质量，网络性能指标用于表征网络质量，网络质量也可以称之为网络性能，用户体验质量参考指标可以理解为用户质量参考数据，具体来说用户体验质量参考指标可以是时间序列，同样，网络性能指标也可以理解为网络性能数据，具体来说网络性能数据也可以是时间序列；
[0115]
第一确定模块1002，用于根据在上述同一时间段内获取得到的用户体验质量参考指标的指标值和网络性能指标的指标值确定网络性能瓶颈值，该网络性能瓶颈值用于与网络设备的网络性能指标的指标值进行比较以确定其网络质量。
[0116]
可选的，在一种实现方式中，第一确定模块1002具体用于：针对目标网络设备在同一时间段中不同时刻获取到的用户体验质量参考指标的指标值和网络性能指标的指标值进行分析得到性能评估指标的指标值，其中，性能评估指标是用于评估用户体验质量和网络质量之间的关联关系的指标；进而，根据分析得到的性能评估指标的指标值确定网络性能瓶颈值。
[0117]
可选的，在一种实现方式中，上述性能评估指标具体可以是第一评估指标，其中，该第一评估指标是用于评价网络质量高低对用户体验质量高低的影响；此种情况下，第一确定模块1002具体用于：将第一评估指标的指标值大于第二阈值时所对应的网络性能指标的指标值确定为网络性能的瓶颈值，其中，第二阈值是预先设置的。
[0118]
可选的，在一种实现方式中，上述性能评估指标包括第一评估指标的同时，上述性能评估指标还可以包括第二评估指标，其中，该第二评估指标用于评估用户体验质量和网
络质量高低一致时的时刻数目在上述同一时间段中的所有时刻数目中的占比；在此种情况下，第一确定模块1002具体用于：将第一评估指标的指标值大于第二阈值时所对应的网络性能指标的指标值作为候选网络性能瓶颈值，通过第二评估指标的指标值大于第三阈值作为筛选条件从该候选网络性能瓶颈值中确定最终的网络性能瓶颈值，同样，第二阈值和第三阈值都可以是预先设置的。
[0119]
可选的，在一种实现方式中，上述目标网络设备具体可以为其用户体验质量参考指标对应的统计值低于第一阈值的网络设备。
[0120]
可选的，在一种实现方式中，网络优化分析装置100还包括：计算模块1003和第二确定模块1004，计算模块1003用于：根据网络拓扑按照网络设备汇聚用户体验指标；进而，根据汇聚得到的用户体验指标计算各个网络设备的用户体验质量参考指标对应的统计值；第二确定模块1004用于：将各个网络设备中其用户体验质量参考指标对应的统计值低于上述第一阈值的网络设备确定为目标网络设备。
[0121]
可选的，在一种实现方式中，本技术实施例中的用户体验质量参考指标包括：质差率指标或用户体验指标中至少一项；本技术实施例中的网络性能指标包括：网络带宽占用率、丢包率或时延中的至少一项。其中，质差率指标具体可以用于指示网络设备下所有用户总体的用户体验质量。
[0122]
可选的，在一种实现方式中，本技术实施例中的用户体验指标包括：视频平均意见打分、卡顿时长、卡顿占比、卡顿频次、花屏时长占比、花屏次数、花屏面积占比、视频质量切换次数或视频质量质差占比中的至少一项。
[0123]
其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
[0124]
在本实施例中，该网络优化分析装置100以采用集成的方式划分各个功能模块的形式来呈现。这里的“模块”可以指特定应用集成电路(application-specific integrated circuit，asic)，电路，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。在一个简单的实施例中，本领域的技术人员可以想到网络优化分析装置100可以采用图9所示的形式。
[0125]
比如，图9中的处理器401可以通过调用存储器403中存储的计算机执行指令，使得网络优化分析装置100执行上述方法实施例中的实现切换过程中网络性能瓶颈指标的确定方法。
[0126]
具体的，图10中的处理模块1001、第一确定模块1002和计算模块1003的的功能/实现过程可以通过图9中的处理器401调用存储器403中存储的计算机执行指令来实现。
[0127]
由于本技术实施例提供的网络优化分析装置可用于执行上述策略控制的方法，因此其所能获得的技术效果可参考上述方法实施例，在此不再赘述。
[0128]
上述实施例中，网络优化分析装置100以采用集成的方式划分各个功能模块的形式来呈现。当然，本技术实施例也可以对应各个功能划分网络优化分析装置的各个功能模块，本技术实施例对此不作具体限定。
[0129]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
[0130]
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计
算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0131]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：rom、ram、磁盘或光盘等。
[0132]
以上对本技术实施例所提供的网络性能瓶颈值的确定方法及网络优化分析装置进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。