一种互联网质量指标评估方法以及质量优化方法及系统与流程

1.本发明涉及互联网技术领域，具体涉及一种互联网质量指标评估方法以及质量优化方法及系统。


背景技术：

2.互联网业务质量从根本上决定了用户体验水平。互联网业务质量主要包括用户使用各类终端时访问视频业务的下载速率、浏览业务的网页加载速率、即时通信业务的成功率、游戏业务的成功率等，不同质量指标对不同业务产生的影响不完全相同。目前影响互联网业务质量指标的因素主要分布在用户侧、资源侧、链路侧等。
3.现有技术中，通过xdr话单综合分析定位用户访问各资源的质量情况，主要通过对数据进行整合，输出体系化的质量指标来判定各用户访问各资源的质量情况。
4.通过xdr话单按照一定算法输出的互联网业务质量指标只能从单方面的一定程度上反应业务质量情况，用户上网感知无法得到综合量化的评估，优化工作也只能围绕各质差质标单独进行，存在很多难以解决的问题：一个是网络指标与用户感知不对应，进行网络优化后优化效果提升不显著；此外，网内用户访问资源时延指标优秀，但用户实际上网感知网速慢；还有，业务质量劣化无法预警，日常维护优化工作主要围绕单指标的质差有针对性的进行处理，有时优化效果不显著事倍功半。因此，需要有完备的解决方案，通过对各指标的综合分析进行网络质量判定。


技术实现要素：

5.有鉴于此，本发明提供一种互联网质量指标评估方法以及质量优化方法及系统，以解决现有技术中存在的问题。
6.为解决上述技术问题，本发明采用的技术方案是：一种互联网质量指标评估方法，该方法包括：
7.s10：获取基础样本数据；
8.s20：定位基础样本数据中各质量指标对其综合质量得分的权重值，获得各质量指标对其综合质量得分的影响程度；
9.s30：根据不同维度分组中各质量指标对其综合质量得分的权重值获取其综合质量得分。
10.优选地，按照不同维度对用户话单进行分类，对同一维度的话单进行分组，以获得基础样本数据。
11.优选地，步骤s20包括：
12.s201：获取不同维度下质量指标的数据矩阵；
13.s202：将质量指标进行分类并标准化输出，获得不同维度下标准化质量指标数据矩阵；
14.s203：基于熵值法定位各标准化质量指标权重值。
15.优选地，步骤s202中将质量指标分为正向指标以及逆向指标。
16.优选地，正向指标的标准化过程包括：
17.s2021a：获取某一正向指标在不同维度的指标集合，并提取最大值以及最小值；
18.s2022a：通过以下公式对该正向指标在不同维度的指标集合中各值进行标准化处理：
[0019][0020]
其中，x表示该正向指标，x(max)为最大值，x(min)为最小值。
[0021]
优选地，逆向指标的标准化过程包括：
[0022]
s2021b：获取某一逆向指标在不同维度的指标集合，并提取最大值以及最小值；
[0023]
s2022b：通过以下公式对该逆向指标在不同维度的指标集合中各值进行标准化处理：
[0024][0025]
其中，x表示该正向指标，x(max)为最大值，x(min)为最小值。
[0026]
优选地，步骤s203包括：
[0027]
s2031：获得每个指标的信息熵，并根据信息熵获取差异系数；
[0028]
s2032：根据以下公式计算各质量指标的权重：
[0029][0030]
其中，d
j
为差异系数，w
j
为各质量指标权重，m为维度数。
[0031]
优选地，综合质量得分的计算过程为：
[0032][0033]
value
k
代表各标准化指标取值，w
k
为各标准化指标的权重，v
n
代表第n条记录的综合指标得分值。
[0034]
一种互联网质量优化方法，包括：
[0035]
根据互联网质量指标评估方法获得综合质量得分；
[0036]
与预设阈值进行对比，得到质差集合。
[0037]
优选地，还包括对于质差集合进行不同维度的分析。
[0038]
一种互联网质量优化系统，包括数据处理模块，用于对基础样本数据的获取；
[0039]
还包括处理器，所述处理器包括：
[0040]
评估单元，所述评估单元用于互联网质量指标评估方法中的获得综合质量得分；
[0041]
优化单元，所述优化单元用于基于综合质量得分以及互联网质量优化方法中的预设阈值进行对比，得到质差集合；以及根据质差集合进行不同维度的分析。
[0042]
本发明具有的优点和积极效果是：本发明通过调用网络质量指标综合得分模型定
位基础样本数据中各质量指标对其综合质量得分的影响程度，按照统计输出的权重值进行综合质量指标得分算法制定，按照不同维度统计输出综合质量得分，为进分析定位质量原因，优化方案提供参考依据。
附图说明
[0043]
图1是本发明的互联网质量优化方法的结构示意图。
具体实施方式
[0044]
为了更好的理解本发明，下面结合具体实施例和附图对本发明进行进一步的描述。
[0045]
本发明提供一种互联网质量指标评估方法，该方法包括：
[0046]
s10：获取基础样本数据；
[0047]
s20：定位基础样本数据中各质量指标对其综合质量得分的权重值，获得各质量指标对其综合质量得分的影响程度；
[0048]
s30：根据不同维度分组中各质量指标对其综合质量得分的权重值获取其综合质量得分。
[0049]
本发明通过调用网络质量指标综合得分模型定位基础样本数据中各质量指标对其综合质量得分的权重值，获得各质量指标对其综合质量得分的影响程度，按照统计输出的权重值进行综合质量指标得分算法制定，按照不同维度统计输出综合质量得分，为进分析定位质量原因，优化方案提供参考依据。
[0050]
在本发明中，基础样本数据为用户话单数据，按照不同维度对用户话单进行分类，对同一维度的话单进行分组，以获得基础样本数据；具体地，通过dpi探针采集报文，并将dpi探针采集到的报文合成符合运营商统一规范的xdr话单(即用户上网行为记录)，包含dpi识别到的大小类业务标签，用户访问网站的域名等信息。然后将合成的xdr话单通过不同维度对数据进行分类，将归属于同一维度的话单进行分组。
[0051]
dpi是一种基于应用层的流量监测和控制技术，当ip数据包，tcp或udp数据流通过基于dpi数据的带宽管理系统时，通过深入读取ip包载的内容来对osi七层协议中的应用层信息进行重组，从而得到整个应用程序的内容，然后按照系统定义的管理策略对流量进行整形操作，根据事先定义的策略对检测流量进行过滤控制，完成对所在链路的业务精细化识别、业务流量流向分析、业务流量占比统计、各会话记录上行字节数和下行字节数、服务端时延、客户端时延等指标的统计工作；基于dpi技术，通过xdr话单综合分析定位用户访问各资源的质量情况，主要通过相关算法对数据进行整合，输出体系化的质量指标来判定各用户访问各资源的质量情况，可以有效的定位复杂网络中存在的各种问题，为网络优化提供一定的解决路径，进而提高用户访问网络质量和用户体验。
[0052]
在一个具体的实施例中，不同维度例如包括用户维度、资源维度、链路维度等，将归属于同一维度的话单进行分组，如用户维度的用户群、用户ip、用户onu等，资源维度的资源icp、资源域名、资源uri等，链路维度的链路组、链路等，构成基础样本数据。
[0053]
进一步地，进入步骤s20：定位基础样本数据中各质量指标对其综合质量得分的权重值，获得各质量指标对其综合质量得分的影响程度，具体各质量指标对其综合质量得分
的影响程度通过其权重值来表示，且在一个具体的实施例中，通过熵值法定位各质量指标对其综合质量得分的影响程度。
[0054]
具体地，步骤s20包括：
[0055]
s201：获取不同维度下质量指标的数据矩阵；
[0056]
s202：将质量指标进行分类并标准化输出，获得不同维度下标准化质量指标数据矩阵；
[0057]
s203：基于熵值法定位各标准化质量指标权重值。
[0058]
其中，步骤s201包括：
[0059]
s2011：构建常规质量指标体系；
[0060]
s2012：提取基础样本数据中涉及质量指标的相关话单字段；
[0061]
s2013：计算取不同维度下质量指标的数据矩阵。
[0062]
具体地，基于目前常用的质量指标，构建常规质量指标体系：
[0063]
x＝{x1、x2、x3
…
xn}
[0064]
其中，n表示该质量指标体系中的指标个数，然后提取基础样本数据中涉及质量指标计算的相关话单字段，计算每个维度下的基础质量指标，最终形成该维度下的质量指标矩阵。
[0065]
在一个具体的实施例中，常规质量指标体系例如为目前常用的xdr话单生成的质量指标体系—十项质量指标体系；然后提取基础样本数据中涉及十项质量指标计算的相关话单字段，如上/下行字节数、客户端时延、服务端时延、响应时延、上/下行重传报文数、http响应码、上/下行流持续时间及相关资管信息。运用十项质量指标算法计算分组维度为a(分组维度a可为用户维度，用户所在小区维度，icp等维度中的一种)的基础质量指标，形成数据矩阵a
‘
，具体a
‘
表示为：
[0066]
a
‘
＝{(m1，suc1，fail1，delay1，clientdelay1，serverdelay1，requestdelay1，upertransrate1，dnretransrate1，uploadspeed1，downloadspeed1)，(m2，suc2，fail2，delay2，clientdelay2，serverdelay2，requestdelay2，upertransrate2，dnretransrate2，uploadspeed2，downloadspeed2)，(m3，suc3，fail3，delay3，clientdelay3，serverdelay3，requestdelay3，upertransrate3，dnretransrate3，uploadspeed3，downloadspeed3)，(m4，suc4，fail4，delay4，clientdelay4，serverdelay4，requestdelay4，upertransrate4，dnretransrate4，uploadspeed4，downloadspeed4)
…
(mn，sucn，failn，delayn，clientdelayn，serverdelayn，requestdelayn，upertransraten，dnretransraten，uploadspeedn，downloadspeedn)}
[0067]
其中m为样本数据分组维度字段，suc为应答成功率，fail为访问失败率，delay为访问超时率，clientdelay为服务器时延，serverdelay为客户端时延，requestdelay为应答时延迟，upertransrate为上行重传率，dnretransrate为下行重传率，uploadspeed为上传速率，downloadspeed为下载速率，n为样本数据按照条件m进行分组后包含元素个数
[0068]
在上述实施例中，十项质量指标样本数据中，有些指标值越大表明用户实际访问质量越好，如应答成功率指标，上传速率指标和下载速率指标，这类指标为正向指标。另一类指标为逆向指标，即指标值越大表明用户实际访问质量越差，如访问失败率指标，访问超时率指标，服务器时延指标，客户端时延指标，应答时延指标，上行重传率指标和下行重传
率指标。通过对不同维度十项指标指标取值大小与访问质量好坏的定性分析可以更加清楚掌握各指标对用户访问质量的影响情况。为了统计的方便，需要对正指标，逆指标进行统一化操作处理，使指标取值越大表示用户访问质量越好。
[0069]
首先，对各正向指标进行标准化处理，将各指标取值控制在[0，1]之间，正向指标的标准化过程包括：
[0070]
s2021a：获取某一正向指标在不同维度的指标集合，并提取最大值以及最小值；
[0071]
s2022a：通过以下公式对该正向指标在不同维度的指标集合中各值进行标准化处理：
[0072][0073]
其中，x表示该正向指标，x(max)为最大值，x(min)为最小值。
[0074]
以下将以正向指标suc为例，对各正向指标进行标准化处理的过程进行说明：提取suc质量指标在集合a
‘
中各取值情况，组成新集合：
[0075]
aswsuc＝{suc1，suc2，suc3，suc4，
…
sucn}
[0076]
其中n为集合包含元素个数，分析统计集合suc取值情况，提取最大对应值suc(max)和最小对应值suc(min)，通过上述公式对集合中每个取值进行计算：
[0077][0078]
对集合suc中各值进行标准化处理形成新的数据集合：
[0079]
suc_new＝{suc_new1，suc_new2，suc_new3，suc_new4
…
suc_newn}
[0080]
其中n为集合包含元素个数，经过上述处理，新集合suc_new中各元素取值均控制在[0，1]范围内。
[0081]
按照同样的方式对正指标上传速率，下载速率运用此公式进行同样的操作，形成标准化集合：
[0082]
uploadspeed_new＝{uploadspeed_new1，uploadspeed_new2，uploadspeed_new3，uploadspeed_new4
…
uploadspeed_newn}
[0083]
downloadspeed_new＝{downloadspeed_new1，downloadspeed_new2，downloadspeed_new3，downloadspeed_new4
…
downloadspeed_new n}
[0084]
其中n为集合包含元素个数。
[0085]
接下来对对各逆向指标进行标准化处理，将各指标取值控制在[0，1]之间，逆向指标的标准化过程包括：
[0086]
s2021b：获取某一逆向指标在不同维度的指标集合，并提取最大值以及最小值；
[0087]
s2022b：通过以下公式对该逆向指标在不同维度的指标集合中各值进行标准化处理：
[0088][0089]
其中，x表示该正向指标，x(max)为最大值，x(min)为最小值。
[0090]
以下将以逆向指标fail为例，对各逆向指标进行标准化处理的过程进行说明：提
取fail质量指标在集合a
‘
中各取值情况，组成新集合：
[0091]
fail＝{fail1，fail2，fail3，fail4，
…
failn}
[0092]
其中n为集合包含元素个数，分析汇总集合aswfail中各元素取值情况，提取最大值aswfail(max)和最小值aswfail(min)，通过上述公式对集合中每个取值进行计算：
[0093][0094]
对集合aswfail中各值进行标准化处理形成新的集合：
[0095]
fail_new＝{fail_new1，fail_new2，fail_new3，fail_new4
…
fail_newn}
[0096]
其中n为集合包含元素个数，经过上述过程处理，新集合fail_new中各元素取值均控制在[0，1]范围内。
[0097]
按照同样的方式对逆指标访问超时率，服务器时延，客户端时延，应答时延，上行重传率，下行重传率等指标运用此公式形成标准化集合：
[0098]
aswdelay_new＝{delay_new1，delay_new2，delay_new3，delay_new4
…
delay_newn}
[0099]
clientdelay_new＝{clientdelay_new1，clientdelay_new2，clientdelay_new 3，clientdelay_new4
…
clientdelay_newn}，
[0100]
…
；
[0101]
其中n为集合包含元素个数。
[0102]
通过以上各步骤的操作处理，对各指标标准化处理构成集合和样本数据分组条件进行汇聚，形成各标准化取值的十项质量指标数据集合：
[0103]
a”＝{(m1，suc_new1，fail_new1，delay_new1，clientdelay_new1，
[0104]
serverdelay_new1，requestdelay_new1，upertransrate_new1，dnretransrate_new 1，uploadspeed_new 1，downloadspeed_new 1)，
[0105]
(m2，suc_new 2，fail_new 2，delay_new 2，clientdelay_new 2，serverdelay_new2，requestdelay_new2，upertransrate_new2，dnretransrate_new2，uploadspeed_new2，downloadspeed_new2)
…
[0106]
(mn，suc_newn，fail_newn，delay_newn，clientdelay_newn，
[0107]
serverdelay_newn，requestdelay_newn，upertransrate_newn，dnretransrate_newn，uploadspeed_newn，downloadspeed_newn)}
[0108]
通过对正指标以及逆指标进行统一化操作处理，使指标取值均控制在[0，1]之间，且指标取值越大表示用户访问质量越好。
[0109]
进一步地，进入步骤s203：基于熵值法定位各标准化质量指标权重值，具体包括：
[0110]
s2031：获得每个指标的信息熵，并根据信息熵获取差异系数；
[0111]
s2032：根据以下公式计算各质量指标的权重：
[0112][0113]
其中，d
j
为差异系数，w
j
为各质量指标权重，m为维度数。
[0114]
熵值法是一种客观赋权值法，其根据各项指标值(例如，上述实施例中的十项评价
指标)所提供的信息的大小来确定指标权重；在信息论中，熵是对不确定性的一种度量；信息量越大，不确定性越小，熵也就越小；信息量越小，不确定性就越大，熵也越大；根据熵的特性，我么可以通过计算熵值来判断某个质量指标的离散程度，指标的离散程度越大，该指标对综合评价的影响越大，进而确定该指标在综合质量指标得分算法中占的权重较大，为综合质量指标算法制定提供依据。
[0115]
具体地，针对上述实施例中的十项评价指标，形成原始指标值矩阵：
[0116]
x＝(x
ij
)
m*10
[0117]
其中m为数据矩阵a’中记录条数；
[0118]
对于某个质量指标m，指标值所组成的集合为：
[0119]
q＝{m
1j
，m
2j
，m
3j
，m
4j
…
m
mj
}
[0120]
其中m为多维度十项质量指标之一；
[0121]
指标值集合中各值差距越大，变化越大，说明该指标在综合质量指标得分中所起的作用越大；如果某项指标q的指标值全部相等，则该指标在综合质量指标得分中不起影响作用。
[0122]
通过近似嫡对质量指标标准化处理后的数据集合a“进行操作，针对多维度十项基本质量指标进行权值计算，各质量指标权重wj计算公式如下：
[0123][0124]
其中，d
j
为差异系数，j的取值范围为：(1，2，3
……
10)；
[0125]
其中x
j
的差异系数为：
[0126]
d
j
＝1
‑
e
j
[0127]
其中，e
j
为相似熵；
[0128]
x
j
的相似熵为：
[0129][0130]
其中，b
ij
为集合a”中第i条记录的第j个指标标准化处理后的值；
[0131]
针对本次采样数据(包含十项质量指标)为例，计算权重值：
[0132]
因本次获取样本数据中全部记录数位n，
[0133]
因此第一个质量指标的信息熵为：
[0134]
e1＝
‑
ln(n)
‑
1(suc_new1lnsuc_new1 suc_new2lnsuc_new2 suc_new3lnsuc_n ew3
…
suc_newnlnsuc_newn)
[0135]
差异系数为：
[0136]
d1＝1
‑
e1＝1 ln(n)
‑
1(suc_new1lnsuc_new1 suc_new2lnsuc_new2 suc_new3lnsuc_new3
…
suc_newnlnsuc_newn)
[0137]
同样的方式可求得
[0138]
d2＝1
‑
e1＝1 ln(n)
‑
1(fail_new1lnfail_new1 fail_new2lnfail_new2 fail_new3lnfail_new3
…
fail_newnlnfail_newn)
[0139]
d3＝1
‑
e1＝1 ln(n)
‑
1(delay_new1lndelay_new1 delay_new2lndelay_new2 delay_new3lndelay_new3
…
delay_newnlndelay_newn)
[0140]
…
[0141]
以次求得d1，d2，d3到d10的值，计d1 d2 d3
…
d10＝dd
[0142]
则第一个指标的权重值：
[0143][0144]
同理，第二个指标权重为：
[0145][0145][0146]
依此类推，求得多维度十项质量指标各指标权重。
[0147]
进一步地，进入步骤s30：根据不同维度分组中各质量指标对其综合质量得分的权重值获取其综合质量得分。
[0148]
综合质量得分的计算过程为：
[0149][0150]
value
k
代表各标准化指标取值，w
k
为各标准化指标的权重，v
n
代表第n条记录的综合指标得分值。
[0151]
通过以上的流程处理，可确定本次样本采集数据中各质量指标对用户上网感知好坏的影响程度，进而可以确定各质量指标在综合质量得分中所占的百分比(即权重值)，因此可以根据综合质量得分的计算公式得到各记录综合质量指标得分。
[0152]
对集合a”中每条记录进行综合质量得分，将全部记录综合质量得分结果进行汇总形成用户综合质量得分集合：
[0153]
v
‘
＝{(m1，v1)，(m2，v2)，(m3，v3)，(m4，v4)
…
(mn，vn)}
[0154]
其中m为本次样本数据分组条件，v为该分组条件下某一分类的综合得分情况，n为集合v’中包含的记录总条数。
[0155]
通过上述过程，得到了用户综合质量得分，以实现不同维度统计用户质量情况。
[0156]
如图1所示，本发明的第二方面提供一种互联网质量优化方法，包括：
[0157]
根据互联网质量指标评估方法获得综合质量得分；
[0158]
与预设阈值进行对比，得到质差集合。
[0159]
具体地，将集合v’中各记录取值与阈值p进行对比，将集合v’中取值小于阈值p的记录进行汇总，形成质差集合：
[0160]
vp＝{(mi，vi)，(mq，vq)
…
(mf，vf)}
[0161]
其中i，q，f均小于n，且集合vp中包含元素个数小于等于集合v’中包含的元素个数，对于质差集合vp进行不同维度下钻分析，综合比较定位造成综合质量得分低于阈值的
根本原因并制定优化解决方案，通过优化解决方案的事实提升网络质量，提升用户访问互联网资源的综合得分情况。
[0162]
具体地，本发明的第三方面提供一种互联网质量优化系统，包括数据处理模块，用于对基础样本数据的获取；
[0163]
还包括处理器，所述处理器包括：
[0164]
评估单元，所述评估单元用于互联网质量指标评估方法中的获得综合质量得分；
[0165]
优化单元，所述优化单元用于基于综合质量得分以及互联网质量优化方法中的预设阈值进行对比，得到质差集合；以及根据质差集合进行不同维度的分析。
[0166]
下面针对不同维度下的质量指标进行举例说明。
[0167]
情形一：
[0168]
分组条件m为资管信息——小区编码，需对综合质量得分低于阈值e的记录进行汇聚，形成集合：
[0169]
vp＝{(n1，k1)，(n2，k2),(n3，k3)
…
(nn，kn)}
[0170]
其中n为分组条件小区编码，k为各小区的综合质量得分，n为样本数据包含的小区个数，查看综合质量得分低于阈值的小区是否集中在一个或几个区域范围内，若是，需对该区域范围内存在的基站等硬件设备进行全面排查，定位引起综合得分低于阈值的原因是否是由设备质差造成。
[0171]
情形二：
[0172]
分组条件m为互联网资源提供商——icp，需对综合得分低于阈值w的记录进行汇聚，形成集合：
[0173]
vv＝{(v1，k1)，(v2，k2)，(v3,k3)，(v4，k4)
…
(vn，kn)}
[0174]
其中v为本次样本数据中全部用户访问的不同icp名称，k为样本数据中全部用户访问各icp的综合质量得分，n为样本数据包含icp的个数，查看引起综合质量得分低于阈值的icp名称是否集中于某几个icp名称上，若是，需对这部分icp进行下钻分析，获取本省用户访问这几个icp的域名信息，与本省idc机房引入资源进行对比，针对本省未引入资源提出引入建议，针对本省已引入但用户出省出网访问资源进行路由策略更改，通过以上方式进行网络优化，提升用户访问互联网资源质量情况。
[0175]
情形三：
[0176]
分组条件m为本省网络链路——link，需对综合得分低于阈值q的记录进行汇聚，形成集合：
[0177]
vv＝{(l1，k1)，(l2，k2),(l3,k3)，(l4，k4)
…
(ln,kn)}
[0178]
其中l为本省现网环境中链路名称，k为样本数据中全部用户通过各链路访问互联网资源的综合质量得分，n为本省链路条数，查看引起质差是否集中在某几条链路上，若是，需对这几条链路进行下钻分析，判定引起质差是因为硬件设施还是由于路由策略引起，根据不同情况指定不同优化方案进行链路质量优化。
[0179]
本发明通过对各指标在各维度中对用户感知影响的强弱进行权重配比，按照科学算法进行综合质量得分计算，通过全量指标的综合分析判定用户访问资源质量情况。进而为判定用户访问质量，网络质量情况提供参考依据。通过对dpi采集的流量数据按照不同维度(用户维度、资源维度、链路维度)进行归属划分，针对不同大类业务数据进行流量质量分
析，通过熵值法构建业务质量指标综合得分模块，按照不同维度下各质量指标对用户上网感知影响程度的强弱，进行权值配比，通过制定相关综合质量得分算法计算各种维度数据中，不同用户访问不同资源的质量情况，根据以往经验设置综合质量得分阈值，对于低于阈值的数据进行问题定位，进而优化网络及资源，提升本省用户访问感知，保障网络质量的健康发展。
[0180]
以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明范围所作的均等变化与改进等，均应仍归属于本专利涵盖范围之内。