网络流量数据属性重要度排序方法、装置、设备及介质与流程

1.本发明属于网络信息技术领域，具体涉及一种网络流量数据属性重要度排序方法、装置、设备及介质。


背景技术：

2.网络流量数据的一个特点是数据量大且属性的个数很多，这会导致在对网络流量数据进行建模分析时，计算速度较慢且易产生过拟合，从而影响模型的质量。在建模时通过对属性的重要程度进行分析，选择相对重要的属性参与建模，从而提高训练速度降低过拟合的风险；但是如何更加准确的分析出网络流量数据属性的重要度是本领域有待解决的一个技术问题。


技术实现要素：

3.本发明的目的在于提供一种网络流量数据属性重要度排序方法、装置、设备及介质，以能够准确的分析出网络流量数据属性。本发明首先使用弱序关系(weak order relation)对所有属性按照其重要程度进行排序；然后，以三层计算模型为框架使用特征向量法对三层计算模型中的数据属性由上至下计算出基于用户的属性重要度权重。最后分别对以上两个排序结果计算其评估状态值(esvs，evaluation status value)，汇总分析后得到最终的综合属性重要度排序。
4.为了达到上述目的，本发明采用如下技术方案：
5.第一方面，本发明提供一种网络流量数据属性重要度排序方法，包括：
6.获取待处理网络流量数据属性集at；at＝{at1,at2,......,atn}，其中，n为属性的总数；
7.采用弱序关系对网络流量数据属性集at中的属性进行排序，获得定性属性重要度排序；
8.采用特征向量法对网络流量数据属性集at进行处理，获得定量属性重要度排序；
9.对于网络流量数据属性集at，分别计算属性ati在定性属性重要度排序和定量属性重要度计算中的评估状态值v(ati)；将两个评估状态值求和后作为属性ati的综合属性重要度，最终对网络流量数据属性集at的所有属性按照综合属性重要度进行排序，获得网络流量数据属性重要度排序结果；
10.输出所述网络流量数据属性重要度排序结果。
11.本发明进一步的改进在于：所述采用弱序关系对网络流量数据属性集at中的属性进行排序，获得定性属性重要度排序的步骤，满足以下两个条件，则一个二元关系被称作弱序关系：
12.不对称：
13.负传递：
14.其中，x、y、z为网络流量数据属性集中的不同属性；
15.通过使用弱序关系对所有网络流量数据属性根据重要程度，由高到低进行排序，获得定性属性重要度排序。
16.本发明进一步的改进在于：所述采用特征向量法对网络流量数据属性集at进行处理，获得定量属性重要度排序的步骤，具体包括：
17.构建三层计算模型，所述三层计算模型由下至为属性层、过渡层、目标层；然后使用特征向量法从下至上计算出定量属性重要度向量wu；
18.其中，属性集的所有属性构成属性层；过渡层由基于不同属性的语义，将属性集划分成的多个子集构成；基于用户的属性重要度权重作为目标层。
19.本发明进一步的改进在于：所述采用特征向量法对网络流量数据属性集at进行处理，获得定量属性重要度排序的步骤，具体包括：
20.根据对属性集{at1,at2,......,atn}构建两两比较矩阵，并对矩阵的元素赋值：
21.对{at1,at2,......,atn}构建两两比较矩阵m，m中的元素为两个属性子集的相对重要度比较：
[0022][0023]
m满足以下条件：
[0024]
1)m是秩为n的方阵
[0025]
2)m是正互反矩阵：
[0026][0027][0028]
采用saaty9值表完成对两两比较矩阵m中元素的赋值；
[0029]
矩阵的一致性检测：
[0030]
特征向量的计算原理如下所示，
[0031][0032]
矩阵m乘特征向量w，其结果为nw；使用最大特征根λ
max
计算不一致性；一致率c.r.计算如下：
[0033][0034]
其中，r.i.为随机一致性指标；
[0035]
基于用户的属性权重生成：
[0036]
如果一致率c.r.＜x％，特征向量w能够被用作权重，否则重新执行构建两两比较矩阵，并对矩阵的元素赋值，以及矩阵的一致性检测步骤，直到一致率c.r.＜x％；
[0037]
从上至下使用特征向量法计算出所有的定量属性重要度权重，并对所有定量属性重要度权重由大到小排序，获得定量属性重要度向量wu。
[0038]
本发明进一步的改进在于：所述一致率c.r.＜x％中，所述x＝10。
[0039]
本发明进一步的改进在于：评估状态值v(ati)的计算公式为：
[0040][0041]
符号＞表示符号前的属性重要于符号后的属性。
[0042]
第二方面，本发明提供一种网络流量数据属性重要度排序装置，包括：
[0043]
采集模块，用于获取待处理网络流量数据属性集at；at＝{at1,at2,......,atn}，其中，n为属性的总数；
[0044]
第一计算模块，用于采用弱序关系对网络流量数据属性集at中的属性进行排序，获得定性属性重要度排序；
[0045]
第二计算模块，用于采用特征向量法对网络流量数据属性集at进行处理，获得定量属性重要度排序；
[0046]
综合计算模块，用于对于网络流量数据属性集at，分别计算属性ati在定性属性重要度排序和定量属性重要度计算中的评估状态值v(ati)；将两个评估状态值求和后作为属性ati的综合属性重要度，最终对网络流量数据属性集at的所有属性按照综合属性重要度进行排序，获得网络流量数据属性重要度排序结果；
[0047]
输出模块，用于输出所述网络流量数据属性重要度排序结果。
[0048]
本发明进一步的改进在于：评估状态值v(ati)的计算公式为：
[0049][0050]
符号＞表示符号前的属性重要于符号后的属性。
[0051]
第三方面，本发明提供一种电子设备，包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现所述的网络流量数据属性重要度排序方法。
[0052]
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现所述的网络流量数据属性重要度排序方法。
[0053]
相对于现有技术，本发明具备如下优点：
[0054]
1)本发明在定性属性重要度排序时使用弱序关系，相较于其他关系，如全序关系(total order relation)，有在属性重要度排序中更强的实用价值。
[0055]
2)本发明同时使用了定性与定量结合的网络流量数据属性重要度排序方法，输出的结果有更高的准确度；
[0056]
3)在数据分析、建模决策时可以通过计算所得的权重进行属性约简，实现简化模型并提升模型的泛化能力。
附图说明
[0057]
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0058]
图1为本发明一种网络流量数据属性重要度排序方法的流程示意图；
[0059]
图2为本发明一种网络流量数据属性重要度排序方法的又一流程示意图；
[0060]
图3为三层计算模型的结构示意图；
[0061]
图4为本发明一种网络流量数据属性重要度排序装置的结构示意图；
[0062]
图5为本发明一种电子设备的结构框图。
具体实施方式
[0063]
下面将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0064]
以下详细说明均是示例性的说明，旨在对本发明提供进一步的详细说明。除非另有指明，本发明所采用的所有技术术语与本发明所属领域的一般技术人员的通常理解的含义相同。本发明所使用的术语仅是为了描述具体实施方式，而并非意图限制根据本发明的示例性实施方式。
[0065]
实施例1
[0066]
请参阅图1所示，本发明提供一种网络流量数据属性重要度排序方法，包括：
[0067]
获取待处理网络流量数据属性集at；at＝{at1，at2，......，atn}，其中，n为属性的总数；
[0068]
采用弱序关系对网络流量数据属性集at中的属性进行排序，获得定性属性重要度排序；
[0069]
采用特征向量法对网络流量数据属性集at进行处理，获得定量属性重要度排序；
[0070]
对于网络流量数据属性集at，分别计算属性ati在定性属性重要度排序和定量属性重要度计算中的评估状态值v(ati)；将两个评估状态值求和后作为属性ati的综合属性重要度，最终对网络流量数据属性集at的所有属性按照综合属性重要度进行排序，获得网络流量数据属性重要度排序结果；
[0071]
输出所述网络流量数据属性重要度排序结果。
[0072]
在一具体实施方式中，所述采用弱序关系对网络流量数据属性集at中的属性进行排序，获得定性属性重要度排序的步骤，满足以下两个条件，则一个二元关系被称作弱序关系：
[0073]
不对称：
[0074]
负传递：
[0075]
其中，x、y、z为网络流量数据属性集中的不同属性；
[0076]
通过使用弱序关系对所有网络流量数据属性根据重要程度，由高到低进行排序，获得定性属性重要度排序。
[0077]
在一具体实施方式中，所述采用特征向量法对网络流量数据属性集at进行处理，获得定量属性重要度排序的步骤，具体包括：
[0078]
构建三层计算模型，所述三层计算模型由下至为属性层、过渡层、目标层；然后使用特征向量法从下至上计算出定量属性重要度向量wu；
[0079]
其中，属性集的所有属性构成属性层；过渡层由基于不同属性的语义，将属性集划分成的多个子集构成；基于用户的属性重要度权重作为目标层。
[0080]
在一具体实施方式中，所述采用特征向量法对网络流量数据属性集at进行处理，获得定量属性重要度排序的步骤，具体包括：
[0081]
根据对属性集{at1，at2，......，atn}构建两两比较矩阵，并对矩阵的元素赋值：
[0082]
对{at1，at2，......，atn}构建两两比较矩阵m，m中的元素为两个属性子集的相对重要度比较：
[0083][0084]
m满足以下条件：
[0085]
1)m是秩为n的方阵
[0086]
2)m是正互反矩阵：
[0087][0088][0089]
采用saaty9值表完成对两两比较矩阵m中元素的赋值；
[0090]
矩阵的一致性检测：
[0091]
特征向量的计算原理如下所示，
[0092][0093]
矩阵m乘特征向量w，其结果为nw；使用最大特征根λ
max
计算不一致性；一致率c.r.计算如下：
[0094][0095]
其中，r.i.为随机一致性指标；
[0096]
基于用户的属性权重生成：
[0097]
如果一致率c.r.＜x％，特征向量w能够被用作权重，否则重新执行构建两两比较矩阵，并对矩阵的元素赋值，以及矩阵的一致性检测步骤，直到一致率c.r.＜x％；
[0098]
从上至下使用特征向量法计算出所有的定量属性重要度权重，并对所有定量属性重要度权重由大到小排序，获得定量属性重要度向量wu。
[0099]
在一具体实施方式中，所述一致率c.r.＜x％中，所述x＝10。
[0100]
在一具体实施方式中，评估状态值v(ati)的计算公式为：
[0101][0102]
符号＞表示符号前的属性重要于符号后的属性。
[0103]
实施例2
[0104]
如图2所示，本发明提出一种网络流量数据属性重要度排序方法，包括如下步骤：
[0105]
s1，定性属性重要度排序
[0106]
在对网络流量数据属性定性属性重要度排序中，使用弱序关系。弱序关系(weak order relation)是一种二元关系，在排序领域有广泛应用。如果满足以下两个条件，则一个二元关系被称作弱序关系：
[0107]
不对称：
[0108]
负传递：
[0109]
其中，x、y、z为网络流量数据属性集中的不同属性；通过使用弱序关系(weak order relation)，可以对所有网络流量数据属性根据其重要程度，由高到低进行排序。
[0110]
s2，定量属性重要度排序
[0111]
s2.1构建三层计算模型
[0112]
如图3所示，由上至下构建目标层、过渡层和属性层，因为目标是计算基于用户的属性重要度权重，将此作为目标层；过渡层由基于不同属性的语义，将属性集划分成的多个子集构成；属性集的所有属性构成属性层。需要注意的是，因为后续要参与计算的特征向量法对参与计算的个数限制，总的子集数和每个子集下属性的个数均不能超过9。
[0113]
如果参与的总属性的个数不超过9，那么可以将其看作是过渡层中属性子集的个数取1的特殊情况。如果遇到划分后的过渡层的属性子集的个数大于9的情况，可以将该层的属性子集根据语义进行一次聚合，即在过渡层中形成一个两层的结构，并保证这两层的属性子集个数都不超过9。
[0114]
s2.2使用特征向量法计算权重
[0115]
特征向量法被广泛应用于权重的计算，在此对其过程和原理进行简单的描述，主要包括构建两两比较矩阵，进行矩阵的一致性检测，以及权重生成。
[0116]
以图3中的过渡层的属性子集的集合{at1，at2，......，atn}为例，计算过程如下：
[0117]
s2.2.1构建两两比较矩阵，并对矩阵的元素赋值
[0118]
对{at1，at2，......，atn}构建两两比较矩阵m，m中的元素为两个属性子集的相对重要度比较，
[0119][0120]
m需要满足以下条件：
[0121]
1)m是秩为n的方阵
[0122]
2)m是正互反矩阵：
[0123][0124][0125]
因为权重的计算是基于用户的，为便于用户比较保证计算的精确度，对于矩阵m中元素的赋值推荐使用saaty的9值表，见下表1：
[0126]
表1
[0127]
评估尺度定义说明1同等重要两属性的贡献程度具同等重要性3稍微重要经验与判断稍微偏好某一属性5颇为重要经验与判断强烈偏好某一属性7极为重要实际显示非常强烈偏好某一属性9绝对重要有足够证据肯定绝对偏好某一属性2，4，6，8相邻尺度之中间值介于两种判断之间
[0128]
通过使用saaty9值表完成对两两比较矩阵m中元素的赋值。
[0129]
s2.2.2矩阵的一致性检测
[0130]
特征向量的计算原理如下所示，
[0131][0132]
矩阵m乘特征向量w，其结果为nw。若m的最大特征根λ
max
满足λ
max
＝n，那么矩阵m是绝对一致的。然而，现实中m的取值是基于用户偏好给定的，并非完全等于客观意义上的权重比值，因此m中存在不一致是不可避免的。通常使用λ
max
来计算不一致性。一致率c.r.计算如下：
[0133]
[0134]
其中对于不同的n，平均随机一致性指标r.i.的取值如下表2所示：
[0135]
表2
[0136][0137]
s2.2.3基于用户的属性权重生成
[0138]
如果一致率c.r.＜10％，特征向量w可以被用作权重，否则重新执行s2.2.1，s2.2.2直到满足要求(一致率c.r.＜10％)。
[0139]
下表3为四个属性子集使用特征向量法计算器权重的例子。因为一致率c.r.＜10％，故特征向量(0.281，0.554，0.091，0.073)可以被用作这四个属性子集at1,at2,at3,at4的权重。
[0140]
表3
[0141][0142]
s2.3从上至下使用特征向量法完成属性权重的计算
[0143]
对图2中的三层计算模型结构在完成过渡层的计算后，继续对每个属性子集下的属性使用特征向量法，直到计算出所有的属性重要度权重，记作向量wu。
[0144]
s3，综合属性权重计算
[0145]
对于属性集at，其中一个属性ati的评估状态值(esvs，evaluation status value)的计算如下所示：
[0146][0147]
符号＞表示符号前的属性重要于符号后的属性。
[0148]
分别计算每个属性在定性属性重要度排序和定量属性重要度计算中的评估状态值。将两个评估状态值求和后作为该属性的重要度，最终对所有属性按照重要度的取值进行排序。
[0149]
实施例3
[0150]
请参阅图4所示，本发明提供一种网络流量数据属性重要度排序装置，包括：
[0151]
采集模块，用于获取待处理网络流量数据属性集at；at＝{at1,at2,......,atn}，其中，n为属性的总数；
[0152]
第一计算模块，用于采用弱序关系对网络流量数据属性集at中的属性进行排序，获得定性属性重要度排序；
[0153]
第二计算模块，用于采用特征向量法对网络流量数据属性集at进行处理，获得定量属性重要度排序；
[0154]
综合计算模块，用于对于网络流量数据属性集at，分别计算属性ati在定性属性重要度排序和定量属性重要度计算中的评估状态值v(ati)；将两个评估状态值求和后作为属性ati的综合属性重要度，最终对网络流量数据属性集at的所有属性按照综合属性重要度进行排序，获得网络流量数据属性重要度排序结果；
[0155]
输出模块，用于输出所述网络流量数据属性重要度排序结果。
[0156]
各模块的执行步骤详见实施例1和2。
[0157]
实施例4
[0158]
请参阅图5所示，本发明还提供一种实现网络流量数据属性重要度排序方法的电子设备100；所述电子设备100包括存储器101、至少一个处理器102、存储在所述存储器101中并可在所述至少一个处理器102上运行的计算机程序103及至少一条通讯总线104。
[0159]
存储器101可用于存储所述计算机程序103，所述处理器102通过运行或执行存储在所述存储器101内的计算机程序，以及调用存储在存储器101内的数据，实现实施例1或2所述的网络流量数据属性重要度排序方法步骤。所述存储器101可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备100的使用所创建的数据(比如音频数据)等。此外，存储器101可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
[0160]
所述至少一个处理器102可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器102可以是微处理器或者该处理器102也可以是任何常规的处理器等，所述处理器102是所述电子设备100的控制中心，利用各种接口和线路连接整个电子设备100的各个部分。
[0161]
所述电子设备100中的所述存储器101存储多个指令以实现一种网络流量数据属性重要度排序方法，所述处理器102可执行所述多个指令从而实现：
[0162]
获取待处理网络流量数据属性集at；at＝{at1，at2，......，atn}，其中，n为属性的总数；
[0163]
采用弱序关系对网络流量数据属性集at中的属性进行排序，获得定性属性重要度排序；
[0164]
采用特征向量法对网络流量数据属性集at进行处理，获得定量属性重要度排序；
[0165]
对于网络流量数据属性集at，分别计算属性ati在定性属性重要度排序和定量属性重要度计算中的评估状态值v(ati)；将两个评估状态值求和后作为属性ati的综合属性重要度，最终对网络流量数据属性集at的所有属性按照综合属性重要度进行排序，获得网络
流量数据属性重要度排序结果；
[0166]
输出所述网络流量数据属性重要度排序结果。
[0167]
具体地，所述处理器102对上述指令的具体实现方法可参考实施例1或2中相关步骤的描述，在此不赘述。
[0168]
实施例5
[0169]
所述电子设备100集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器及只读存储器(rom，read-only memory)。
[0170]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0171]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0172]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0173]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0174]
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。