一种基于信息熵赋权的数据传输动态配置方法和系统与流程

1.本发明属于数字信息传输技术领域，具体涉及一种基于信息熵赋权的数据传输动态配置方法和系统。


背景技术：

2.随着计算机技术与日俱增的发展趋势以及互联网 的社会背景的环绕，学界和产业界对于数据的样本容量和内在价值挖掘与处理上有了更高追求，大数据的地位提升到了空前的地位。数据容量通常以pb或者eb或者更高为单位，有时甚至达到更高量级的单位容量，其数据量已成规模化效应，它的复杂程度已超出了常见或常用的软件技术的控制和管理范围且曾得到广泛应用。大数据的思想和相关技术被广泛应用于统计数据、互联网与物联网、医疗等行业以及企业等。然而在这海量数据采集、处理与分析中，原始数据具有数据增长快、样本部分重叠冗余、高频访问数据易丢失等自身属性和环境特征。在面临上述问题的情况下，区分并设计合理的存储分配机制，对于数据接入与数据质量治理至关重要。然而高质量的分类实时数据和高效的数据存储迁移与传输是实现数据链路监测及数据分析与处理的一个难点，为了解决这一海量数据质量提高且满足重要数据时效性是两级数据中台监测及分析的重要研究内容。
3.随着两级数据中台深化建设，支撑应用越来越多。目前同期线损、环保监测等应用系统正在基于数据中台进行深化应用及推广，存在对于电能量采集系统量测数据的使用需求，特别是在复工复产率计算、同期线损率计算、用电行为分析等应用需要对量测数据进行统计、分析，需要省侧根据应用需求将量测数据上传到总部中台。两级数据中台数据接入、数据上传、数据下发、数据更新、数据质量、数据应用情况等信息需实时或准实时监测，以便于对两级数据中台的链路情况、数据量情况、数据内容进行分析。
4.现有的数据中台在数据共享汇聚方面，对结构化数据、量测数据接入上传及下发的高时效性支撑能力不足，暂时无法满足应用秒级响应的需要，所以急需对中台数据及关键数据指标进行深入分析挖掘。
5.当前量测数据实时接入贯通传输主要存在数据分类粗糙、传输时效性较差的问题。
6.(1)数据分类粗糙
7.符合生产需求的数据分类规则是影响数据传输的关键因素，当前数据中台的分类规则仅支持手动地将数据粗犷地分成“t 1”及“t n”两种，链路易产生传输堵塞、负载不均衡等问题。
8.(2)数据传输时效性较差
9.目前各区域量测数据接入数据中台的方式主要有从源端数据库抽取的方式进行接入，由于源端数据库与生产数据库的同步基本采用“t n”的方式，因此数据时效性被大大降低。


技术实现要素：

10.为克服上述现有技术的不足，本发明提出一种基于信息熵赋权的数据传输动态配置方法，包括：
11.获取待传输的量测数据；
12.计算所述量测数据在预先构建的量测数据优先级评价指标体系中各指标的值，并计算各指标的信息熵；
13.基于所述信息熵和各指标的值，对所述量测数据进行分类，并根据分类结果对所述量测数据进行传输。
14.优选的，所述基于所述信息熵和各指标的值，对所述量测数据进行分类，包括：
15.根据所述信息熵，计算对应量测数据的客观权重；
16.对所述量测数据对应的各指标的值和客观权重进行相乘再求和，得到所述量测数据的客观优先级评价得分；
17.基于所述客观优先级评价得分，对所述量测数据进行分类。
18.优选的，所述基于所述客观优先级评价得分，对所述量测数据进行分类，包括：
19.根据所述客观优先级评价得分，对所述量测数据进行排序，得到优先级序列；
20.根据所述量测数据在所述优先级序列中的位置，对所述量测数据进行分类。
21.优选的，所述客观权重的计算式如下：
[0022][0023]
式中，wi为第i项量测数据的客观权重，m为量测数据的个数，ei为第i项量测数据对应各指标的信息熵。
[0024]
优选的，所述信息熵的计算式如下：
[0025][0026]
式中，ei为第i项量测数据对应各指标的信息熵，n为量测数据优先级评价指标体系中指标的个数，p
ij
为第i项量测数据的第j项指标的发生概率；
[0027]
所述第i项量测数据的第j项指标的发生概率p
ij
的计算式如下：
[0028][0029]
式中，x
ij
为第i项量测数据的第j项指标的值。
[0030]
优选的，所述根据分类结果对所述量测数据进行传输，包括：
[0031]
根据分类结果，将所述量测数据分别分配到不同优先级传输队列；
[0032]
结合各优先级传输队列和传输链路的负载情况，对所述量测数据传输的先后顺序进行动态配置，并根据配置结果对所述量测数据进行传输。
[0033]
优选的，所述量测数据优先级评价指标体系中的指标包括：
[0034]
数据访问频率、引用频率、最近访问时间和数据紧急程度。
[0035]
优选的，所述计算所述量测数据在预先构建的量测数据优先级评价指标体系中各指标的值，且计算各指标的信息熵之前，还包括：
[0036]
对各指标的值进行标准化。
[0037]
基于同一发明构思，本发明还提供了一种基于信息熵赋权的数据传输动态配置系统，包括：数据采集模块、信息熵模块和传输模块；
[0038]
所述数据采集模块，用于获取待传输的量测数据；
[0039]
所述信息熵模块，用于计算所述量测数据在预先构建的量测数据优先级评价指标体系中各指标的值，并计算各指标的信息熵；
[0040]
所述传输模块，用于基于所述信息熵和各指标的值，对所述量测数据进行分类，并根据分类结果对所述量测数据进行传输。
[0041]
优选的，所述基于所述信息熵和各指标的值，对所述量测数据进行分类，包括：
[0042]
根据所述信息熵，计算对应量测数据的客观权重；
[0043]
对所述量测数据对应的各指标的值和客观权重进行相乘再求和，得到所述量测数据的客观优先级评价得分；
[0044]
基于所述客观优先级评价得分，对所述量测数据进行分类。
[0045]
优选的，所述基于所述客观优先级评价得分，对所述量测数据进行分类，包括：
[0046]
根据所述客观优先级评价得分，对所述量测数据进行排序，得到优先级序列；
[0047]
根据所述量测数据在所述优先级序列中的位置，对所述量测数据进行分类。
[0048]
优选的，所述根据分类结果对所述量测数据进行传输，包括：
[0049]
根据分类结果，将所述量测数据分别分配到不同优先级传输队列；
[0050]
结合各优先级传输队列和传输链路的负载情况，对所述量测数据传输的先后顺序进行动态配置，并根据配置结果对所述量测数据进行传输。
[0051]
与最接近的现有技术相比，本发明具有的有益效果如下：
[0052]
本发明提供了一种基于信息熵赋权的数据传输动态配置方法和系统，包括：获取待传输的量测数据；计算量测数据在预先构建的量测数据优先级评价指标体系中各指标的值，并计算各指标的信息熵；基于信息熵和各指标的值，对量测数据进行分类，并根据分类结果对量测数据进行传输；本发明选取了适当的指标体系作为对量测数据进行分类的依据，使用信息熵对量测数据进行分类，并根据分类结果对量测数据进行传输，使得链路不易产生传输堵塞、负载不均衡等问题。
[0053]
本发明还使用信息熵赋权的方法求出了量测数据的优先级这种更高效客观的优先级调整方法，基于信息熵赋权的对数据传输进行动态配置，基于量测数据的优先级在传输过程中对数据传输进行动态配置，从而可以有效的降低待传输数据的平均等待时间，提高数据传输的速度，从而保证数据传输过程中的实时性。
附图说明
[0054]
图1为本发明提供的一种基于信息熵赋权的数据传输动态配置方法流程示意图；
[0055]
图2为本发明提供的一个基于信息熵赋权的数据传输动态配置方法具体示例的流程示意图；
[0056]
图3为本发明提供的基于数据优先级的量测数据实时传输动态配置模型架构示意图；
[0057]
图4为本发明提供的基于数据优先级的量测数据实时传输动态配置队列结构示意
图；
[0058]
图5为本发明提供的一种基于信息熵赋权的数据传输动态配置系统结构示意图。
具体实施方式
[0059]
下面结合附图对本发明的具体实施方式做进一步的详细说明。
[0060]
实施例1：
[0061]
本发明提供的一种基于信息熵赋权的数据传输动态配置方法流程示意图如图1所示，包括：
[0062]
步骤1：获取待传输的量测数据；
[0063]
步骤2：计算量测数据在预先构建的量测数据优先级评价指标体系中各指标的值，并计算各指标的信息熵；
[0064]
步骤3：基于信息熵和各指标的值，对量测数据进行分类，并根据分类结果对量测数据进行传输。
[0065]
一个基于信息熵赋权的数据传输动态配置方法具体示例的流程如图2所示。
[0066]
具体的，在步骤1之前，需要根据对数据优先级的调查研究，并根据其指标的实际意义和方法的需求，选取适当的指标建立量测数据传输优先级评价的指标体系。该指标体系中共4个指标，下面对各指标进行具体的描述。
[0067]
量测数据优先级评价指标体系的名称及其各自数据统计规则如下：
[0068]
c1.访问频率(量)是指在一段特定时间内，某类数据被用户访问的频数。访问频率较高的数据，代表这类数据的重要程度较高，可设置较高的优先级；访问频率较低的数据可设置较低的优先级。按时间间隔划分为60分钟级，1天级、7天级、30天级四种。
[0069]
c2.引用频率(量)是指在一段特定时间内，某类数据被用户访问并引用的频数。同样，引用频率较高的数据，可设置较高的优先级；反之设置较低的优先级。
[0070]
c3.数据最近访问时间是指根据数据的历史访问记录来进行数据的分级，核心思想是“如果数据最近被访问过，那么将来被访问的概率会更高，也意味着更为重要”。最近最久未被用户访问过的数据将被设置为较低的优先级。按时间间隔划分为四个等级：3天级，7天级，30天级，半年级。
[0071]
c4.数据紧急度指不同类型的数据对于用户的紧急程度也是不一样的，如预警信息关系着整个系统能否正常运行，如果出现报警信息，需要人们立刻去排查并解决故障，以保证系统的稳定。
[0072]
步骤2中，计算量测数据在预先构建的量测数据优先级评价指标体系中各指标的值之后，且计算各指标的信息熵之前，还包括：对量测数据进行优先级评价指标体系中的指标进行标准化处理，具体包括：
[0073]
将每类指标进行线性变化，其变换后的结果在[0,1]区间之内，转换公式如下：
[0074][0075]
式中，xa为指标a的原始值，max{xb}为原始数据(即指标a所在指标类别的原始值)的最小值，min{xb}为原始数据的最小值。ya为标准化后的指标a的数据。ya无量纲且位于[0,1]区间内，q为该类指标的数值个数。
[0076]
步骤2中，计算信息熵的过程如下：
[0077]“信息熵”的概念是香农借用热力学中熵的含义提出的，用它来描述信源的不确定度。信息熵是随机变量不确定度的度量，信息熵越大则不确定度越大，反之不确定越小，可以用下式表示：
[0078][0079]
式中，h(p1,p2,
…
,pk)表示信息熵，p
l
表示第l个事件的发生概率。
[0080]
根据信息熵的定义，对于某项指标，可以用熵值来判断某个指标的离散程度，其熵值越小，指标的离散程度越大，该指标对综合评价的影响(即权重)就越大，如果某项指标的值全部相等，则该指标在综合评价中不起作用。
[0081]
按照信息论基本原理的解释，信息是系统有序程度的一个度量，熵是系统无序程度的一个度量；如果指标的信息熵越小，该指标提供的信息量越大，在综合评价中所起作用理当越大，权重就应该越高。因此，可利用信息熵这个工具，计算出各个指标的权重，为多指标综合评价提供依据。
[0082]
给定n条指标值构成向量的m个标准化处理后的指标值x1,x2,
…
,xm(本实施例中，n即为量测数据传输优先级评价的指标体系中的指标个数4，指标向量即为一个量测数据的4个指标值构成的向量，m即为量测数据的个数)，其中：
[0083]
xi＝x
i1
,x
i2
,
…
,x
in
[0084]
xi为量测数据i对应的指标向量，其分量x
ij
为量测数据i的第j项指标的值，量测数据i的对应各指标的信息熵ei计算公式如下：
[0085][0086]
式中，x
ij
的发生概率p
ij
的计算公式如下:
[0087][0088]
如果求得p
ij
＝0，则定义：
[0089][0090]
步骤3中，先根据各项指标的信息熵计算各指标的权重(即各项量测数据对应的各指标的客观权重)wi，wi的计算公式如下所示：
[0091][0092]
这样就得到了标准化后的各个指标的客观权重，然后将各个标准化后的指标同其对应的客观权重相乘再求和，可以得到量测数据的客观优先级评价得分。然后根据评价得分赋予各量测数据的优先级，即对量测数据进行分类，每个优先级对应一个类别。
[0093]
优先级调整规则如下表：
[0094][0095]
使用基于信息熵赋权的量测数据传输优先级动态调整后，采用基于数据优先级的量测数据实时传输动态配置方法，在数据传输的过程中对不同优先级数据分配到不同优先级传输队列进行传输。
[0096]
基于数据优先级的量测数据实时传输动态配置模型，模型总体架构如图3所示。首先模型将量测数据进行优先级动态调整，即认为当前量测数据按照5种优先级进行次序传输。根据量测数据的不同优先级，建立不同优先级缓冲队列，加入动态控制策略，实现多优先级队列空间的动态管理。
[0097]
在本模型起始阶段，采用多优先级队列动态控制方法动态控制缓冲队列空间，在传统的架构基础上，提出一种队列服务结构，设计并增加了数据分析模块进行优先级分类，能够根据优先级调整策略分析调整输入数据的优先级，并且能够监测数据链路的空闲状态，为动态调整队列结构提供可靠保证，多队列服务结构图如图4所示。
[0098]
在图4中，该队列服务结构包含p1、p2和p3 3类队列管理器，其中p1代表数据分类与分析器，根据优先级动态调整策略对各类型数据包进行优先级调整配置，保证优先级队列长度动态调整的准确性。
[0099]
p2代表分组队列管理器，以p1提供的数据分析以及当前各分组缓冲队列占用比为基础，动态调整各队列长度，提高各优先级队列对突发性数据流的处理能力，避免洪峰效应造成的网络拥塞，减少实时数据传输的网络延迟，同时在数据量减小情况下可缩短队列长度，节省服务器内存开销。
[0100]
p3为队列调度器，采用感知带宽占用的数据传输方法，将5组队列内的缓冲数据按优先级不同，分配到不同优先级传输队列进行传输。
[0101]
通过以上模型及结构，基于数据优先级的量测数据实时传输动态配置方法可以有效的降低任务的平均等待时间，提高数据传输的速度，从而保证数据传输过程中的实时性。
[0102]
实施例2：
[0103]
基于同一发明构思，本发明还提供了一种基于信息熵赋权的数据传输动态配置系统，该系统结构如图5所示，包括：数据采集模块、信息熵模块和传输模块；
[0104]
其中，数据采集模块，用于获取待传输的量测数据；
[0105]
信息熵模块，用于计算量测数据在预先构建的量测数据优先级评价指标体系中各
指标的值，并计算各指标的信息熵；
[0106]
传输模块，用于基于信息熵和各指标的值，对量测数据进行分类，并根据分类结果对量测数据进行传输。
[0107]
其中，基于信息熵和各指标的值，对量测数据进行分类，包括：
[0108]
根据信息熵，计算对应量测数据的客观权重；
[0109]
对量测数据对应的各指标的值和客观权重进行相乘再求和，得到量测数据的客观优先级评价得分；
[0110]
基于客观优先级评价得分，对量测数据进行分类。
[0111]
其中，基于客观优先级评价得分，对量测数据进行分类，包括：
[0112]
根据客观优先级评价得分，对量测数据进行排序，得到优先级序列；
[0113]
根据量测数据在优先级序列中的位置，对量测数据进行分类。
[0114]
其中，信息熵的计算式如下：
[0115][0116]
式中，ei为第i项量测数据对应各指标的信息熵，n为量测数据优先级评价指标体系中指标的个数，p
ij
为第i项量测数据的第j项指标的发生概率；
[0117]
第i项量测数据的第j项指标的发生概率p
ij
的计算式如下：
[0118][0119]
式中，x
ij
为第i项量测数据的第j项指标的值。
[0120]
其中，信息熵的计算式如下：
[0121][0122]
式中，ei为第i项量测数据对应各指标的信息熵，n为量测数据优先级评价指标体系中指标的个数，p
ij
为第i项量测数据的第j项指标的发生概率；
[0123]
第i项量测数据的第j项指标的发生概率p
ij
的计算式如下：
[0124][0125]
式中，x
ij
为第i项量测数据的第j项指标的值。
[0126]
其中，根据分类结果对量测数据进行传输，包括：
[0127]
根据分类结果，将量测数据分别分配到不同优先级传输队列；
[0128]
结合各优先级传输队列和传输链路的负载情况，对量测数据传输的先后顺序进行动态配置，并根据配置结果对量测数据进行传输。
[0129]
其中，量测数据优先级评价指标体系中的指标包括：
[0130]
数据访问频率、引用频率、最近访问时间和数据紧急程度。
[0131]
该系统还包括标准化模块，用于对各指标的值进行标准化。
[0132]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实
施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0133]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0134]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0135]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0136]
最后应当说明的是:以上实施例仅用于说明本发明的技术方案而非对其保护范围的限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:本领域技术人员阅读本发明后依然可对申请的具体实施方式进行种种变更、修改或者等同替换，但这些变更、修改或者等同替换，均在申请待批的权利要求保护范围之内。