一种物联网设备数据智能传输方法及系统与流程

1.本发明涉及深度学习技术领域，具体涉及一种物联网设备数据智能传输方法及系统。


背景技术：

2.随着大数据时代的到来以及物联网的快速发展，生活中的所有物体都会实时地产生海量的各种各样的数据，但是现有的网络带宽不足以支持这些数据的传输，所以如何实现数据快速高效地传输成为一个待解决的问题。
3.现有数据传输技术是将待传输的原始数据进行压缩，将压缩的数据直接进行数据传输，但是这种数据传输的方法不仅容易造成数据传输的延迟，而且不能满足厂家不同的数据传输要求，比如，有远程控制需求的厂家，数据在传输的过程中所需要的时间远大于计算机处理数据所需要的时间，所以要求数据在传输过程中的速度要快；有实时处理数据需求的厂家，数据在传输的过程中的时间主要花费在处理数据中，所以数据传输的接受端在处理数据时，若数据存储量小，接收端的数据读取速度就会快。


技术实现要素：

4.为了解决现有技术中数据传输方式不能够满足客户的不同需求的技术问题，本发明提供了一种物联网设备数据智能传输方法及系统，所采用的技术方案具体如下：本发明提供了一种物联网设备数据智能传输方法，包括以下步骤：发送端发送步骤：获取待传输的原始数据、待传输的原始数据对应的压缩数据的维数m以及预先构建和训练好的自编码网络；根据待传输的原始数据和自编码网络，获得各个中间层压缩数据，进而根据压缩数据的维数m，从各个中间层压缩数据中筛选出各个目标中间层压缩数据；根据各个目标中间层压缩数据和自编码网络，计算各个目标中间层压缩数据对应的所占字节数和相对数据计算量，并根据各个目标中间层压缩数据对应的所占字节数和相对数据计算量，计算各个目标中间层压缩数据对应的传送性价比；根据传送性价比从各个目标中间层压缩数据中确定最优的传输数据，并确定该最优的传输数据对应的中间层数，将最优的传输数据以及该最优的传输数据对应的中间层数发送给接收端；接收端接收步骤：接收最优的传输数据和该最优的传输数据对应的中间层数，并获取预先构建和训练好的自编码网络；根据最优的传输数据、该最优的传输数据对应的中间层数以及预先构建和训练好的自编码网络，确定原始数据。
5.进一步的，各个目标中间层压缩数据是指上一层的各个输出值，自编码网络包括
每一层的权重矩阵和偏置数矩阵。
6.进一步的，根据各个目标中间层压缩数据和自编码网络，计算各个目标中间层压缩数据对应的所占字节数和相对数据计算量的步骤包括：根据各个目标中间层压缩数据和自编码网络，确定各个目标中间层压缩数据的本层的各个输出值，进而分别确定各个目标中间层压缩数据对应的所占字节数；根据上一层的各个输出值的数据类型以及自编码网络中的本层的权重矩阵中的各个数值的数据类型、偏置数矩阵中的各个数值的数据类型，分别计算各个目标中间层压缩数据对应的子数据计算量；根据每一个目标中间层压缩数据对应的子数据计算量及其后面所有目标中间层压缩数据对应的子数据计算量，计算该目标中间层压缩数据对应的相对数据计算量。
7.进一步的，根据上一层的各个输出值的数据类型以及自编码网络中的本层的权重矩阵中的各个数值的数据类型、偏置数矩阵中的各个数值的数据类型，分别计算各个目标中间层压缩数据对应的子数据计算量对应的计算公式为：其中，为第w层的目标中间层压缩数据对应的子数据计算量，为本层的权重矩阵中的第i行第j列的数值与上一层的第j个输出值相乘的运算次数，为本层的权重矩阵中的第i行对应的各个乘积值进行第t次相加的运算次数，为本层的权重矩阵中的第k行对应的各个乘积值的累加和与偏置数矩阵中的第k个数值相加的运算次数，为本层的权重矩阵的维数。
8.进一步的，根据每一个目标中间层压缩数据对应的子数据计算量及其后面所有目标中间层压缩数据对应的子数据计算量，计算该目标中间层压缩数据对应的相对数据计算量对应的计算公式为：其中，为第w层的目标中间层压缩数据对应的相对数据计算量，为第i层的目标中间层压缩数据对应的子数据计算量，n为所有的目标中间层压缩数据的总层数。
9.进一步的，计算各个目标中间层压缩数据对应的传送性价比对应的计算公式为：其中，为数据传输速度的倾向权重，为数据处理速度的倾向权重，为第w层的目标中间层压缩数据对应的相对数据计算量，为第w层的目标中间层压缩数据对应的所占字节数。
10.进一步的，根据传送性价比从各个目标中间层压缩数据中确定最优的传输数据的步骤包括：根据各个目标中间层压缩数据对应的传送性价比，确定最大的传送性价比所对应的目标中间层压缩数据，并将该最大的传送性价比所对应的目标中间层压缩数据中的本层
的各个输出值作为最优的传输数据本发明还提供了一种物联网设备数据智能传输系统，包括处理器和存储器，所述处理器用于处理存储在所述存储器中的指令，以实现上述的物联网设备数据智能传输方法。本发明具有如下有益效果：本发明的数据传输是基于自编码技术实现的，利用自编码网络将待传输的原始数据压缩为所需要的m维数据，并在数据传输过程中对所产生的各组压缩数据增加一个选择机制，即依据各组压缩数据的数据存储量的大小以及生成过程中的相对计算量的多少，对压缩后的各组数据进行一个合理的选择，获得最优的传送数据。本发明可以根据用户的不同需要，加快了数据传输过程中数据的传输速度或数据接收端读取的速度，达到了数据传输过程中的快速传输或快速读取的目的，能够满足用户不同的数据传输要求，具备较好的适用性。
附图说明
11.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
12.图1为本发明一种物联网设备数据智能传输方法的流程图；图2为本发明各组压缩数据相对计算量的示意图。
具体实施方式
13.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一个实施例。此外，一个或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
14.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
15.该方法的应用场景：在大数据时代，传感器、照相机等物联网设备会采集大量的各式各样的数据，导致数据传输量大，数据传输延迟等情况，极大降低了数据的传输效率。本发明使用自编码技术对输入数据进行压缩后，根据不同厂家的数据传输要求，对各组压缩数据进行选择，选取出最优的传输数据作为待传输的原始数据发送给接收端，接收端接收到数据后对其进行解码，还原数据。
16.下面结合附图，具体说明本发明所提供的一种基于物联网数据智能传输方法，结合图1，说明该方法的步骤如下：步骤s1：发送端发送的步骤包括：步骤s11：获取待传输的原始数据、待传输的原始数据对应的压缩数据的维数m以及预先构建和训练好的自编码网络。
17.其中，在对原始数据进行传输之前，首先需要构建和训练的自编码网络，自编码网
络的原理：自编码网络是非监督学习领域中的一种，可以自动从无标注的数据中学习数据特征，可以给出比原始数据更好的特征描述，具有较强的特征学习能力，在深度学习中常用自编码网络生成的数据特征代替原始数据进行数据传输，以取得更好的传输效果。
18.自编码网络的构建和训练过程如下所示：自编码网络是由负责降维压缩的编码器和负责升维还原的解码器两个部分组成。首先通过编码层，将高维空间的向量，压缩成低维的向量，然后通过解码层将低维向量解压、重构出原本样本，并结合bp算法更新网络参数，自编码网络的训练过程中所使用的损失函数均为均方差损失函数。
19.自编码网络的构建和训练可以实现输入数据的降维以及数据特征的提取，在此过程中所获得的中间层为输入原始数据的另一种表示，即中间层的数据经过解码后都可以尽可能地还原出待传输的原始数据。自编码网络的构建和训练过程为现有技术，不在本发明保护范围内，此处不再作详细阐述。
20.在构建和训练好自编码网络之后，可以得到自编码网络中的每一层的权重矩阵和偏置数矩阵。当需要对原始数据进行传输时，则获取待传输的原始数据以及待传输的原始数据对应的压缩数据的维数m。其中，需要说明的是，压缩数据的维数是用户根据实际情况而设定，在本实施例中，将压缩数据的维数设置为m维。
21.步骤s12：根据待传输的原始数据和自编码网络，获得各个中间层压缩数据，进而根据压缩数据的维数m，从各个中间层压缩数据中筛选出各个目标中间层压缩数据，具体步骤如下所示：将待传输的原始数据输入到构建并训练好的自编码网络中，从而得到各个中间层压缩数据。由于自编码网络是将输入数据逐层压缩为m维数据，但各组压缩数据并不都是m维的，因此为了从各个中间层压缩数据中选取最优传输数据，需要从各个中间层压缩数据中筛选出各个目标中间层压缩数据，这里的各个目标压缩层数据是指维数为m的各个中间层压缩数据。在本实施例中，通过筛选，可以从各个中间层压缩数据中筛选出n个目标中间层压缩数据。
22.步骤s13：根据各个目标中间层压缩数据和自编码网络，计算各个目标中间层压缩数据对应的所占字节数和相对数据计算量，并根据各个目标中间层压缩数据对应的所占字节数和相对数据计算量，计算各个目标中间层压缩数据对应的传送性价比，详细步骤如下所示：首先，需要说明的是，各个目标中间层压缩数据是指上一层的各个输出值，自编码网络包括每一层的权重矩阵和偏置数矩阵。在本实施例中，由于从各个中间层压缩数据中筛选出n个目标中间层压缩数据，则每一个目标中间层压缩数据所对应的自编码网络的权重矩阵为，每一个目标中间层压缩数据所对应的自编码网络的偏置数矩阵为。
23.（1）根据各个目标中间层压缩数据和自编码网络，确定各个目标中间层压缩数据的本层的各个输出值，进而分别确定各个目标中间层压缩数据对应的所占字节数，详细步骤如下：遍历各个目标中间层压缩数据和自编码网络，确定各个目标中间层压缩数据中的本层的各个输出值，进而分别确定各个目标中间层压缩数据对应的所占字节数，在本实施
例中，n个目标中间层压缩数据对应的所占字节数为。
24.（2）根据上一层的各个输出值的数据类型以及自编码网络中的本层的权重矩阵中的各个数值的数据类型、偏置数矩阵中的各个数值的数据类型，分别计算各个目标中间层压缩数据对应的子数据计算量，详细步骤如下所示：首先，需要说明的是，各个目标中间层压缩数据对应的子数据计算量是指本层的目标中间层压缩数据相对于下一层在解码过程中的需要多做的计算量。另外，计算机中的各种运算都是由cpu来完成的，而cpu在算术运算上只能实现加法，移位和取反运算，在逻辑上运算只有与、或、非、异或。在进行加法计算时，运算过程表现为补码相加；在进行乘法计算时，运算过程表现为移位累加；不同数据类型的数据（如整型、浮点型）进行加法与乘法运算时消耗也是不同，所以传输不同的数据，在解码时所需要的计算量不同，进一步导致接收端对数据的读取速度不同。
25.各个中间层压缩数据涉及到的变换可以表示如下：可以表示如下：其中，为当前中间层压缩数据的层数，为上一个中间层压缩数据的层数，为第l层中间层压缩数据所对应的权重矩阵，为第l层中间层压缩数据所对应的偏置数，为第l层中间层压缩数据所对应的输出值，为第l
‑
1层中间层压缩数据所对应的输出值，为第l层中间层压缩数据所对应的中间量，为处理函数。
26.计算各个目标中间层压缩数据对应的子数据计算量的步骤如下：当参与计算量运算的两个数据的数据类型为整型与浮点型，整型数据就要强制转换为浮点型数据，所以参与运算的数据类型有两种，分别为：整型数据与整型数据，浮点型数据与浮点型数据。
27.在本实施例中，将目标中间层压缩数据中的各个数据的数据类型标记为m，当数据类型为整型时，；当数据类型为浮点型时，。判断参与运算的两个数据的数据类型，将两者的数据类型相与，所得结果为s，即。当时，表明数据运算进行的是整型运算；当s时，表明数据运算进行的是浮点型运算。
28.若，即参与运算的两个数据的数据类型均为整型，则这两个数据的运算次数的计算公式如下所示：相乘时： 相加时：其中，为目标中间层压缩数据中的数据类型为整型的两个数据相乘时的计算量，分别为目标中间层压缩数据中的数据类型为整型的两个数据的比特位数，且，为目标中间层压缩数据中的数据类型为整型的两个数据在相乘时每次相加所需
要的计算量，为目标中间层压缩数据中的数据类型为整型的两个数据相加时的计算量。
29.需要说明的是，因为，所以目标中间层压缩数据中的数据类型为整型的两个数据相加时的计算量为，即两个参与运算的二进制数据所对应的比特位数相与所得。
30.若，即参与运算的两个数据中至少有一个数据的数据类型为浮点型，则这两个数据的运算次数的计算公式如下所示：相乘时：相加时：其中，为目标中间层压缩数据中的数据类型为浮点型的两个数据相乘时的计算量，为分别为目标中间层压缩数据中的数据类型为浮点型的两个数据的比特位数，，分别为目标中间层压缩数据中的数据类型为浮点型的两个数据的尾码的比特位数且。为目标中间层压缩数据中的数据类型为浮点型的两个数据相加时的计算量，为目标中间层压缩数据中的数据类型为浮点型的数据的尾码相加的运算次数。阶码对齐时，两个浮点型数据做差，为阶码对齐时数据类型为浮点型的两个数据的两阶码做差的运算次数，为两个浮点型数据阶码的比特位数的最小值，为阶码的移位距离。
31.实际上，无论是何种数据类型进行乘法运算，最终都需要转化为移位或者加法运算，因此目标中间层压缩数据之间计算量可以转化为目标中间层压缩数据、权重矩阵和偏置数矩阵之间进行的与、或运算。
32.获取目标中间层压缩数据对应的子数据计算量，也就是每一层权重矩阵（矩阵）所需计算量以及加偏置数过程中所需要的计算量之和，计算公式如下所示：其中，为第w层的目标中间层压缩数据对应的子数据计算量，为本层的权重矩阵中的第i行第j列的数值与上一层的第j个输出值相乘的运算次数，为本层的权重矩阵中的第i行对应的各个乘积值进行第t次相加的运算次数，为本层的权重矩阵中的第k行对应的各个乘积值的累加和与偏置数矩阵中的第k个数值相加的运算次数，为本层的权重矩阵的维数。
33.（3）根据每一个目标中间层压缩数据对应的子数据计算量及其后面所有目标中间层压缩数据对应的子数据计算量，计算该目标中间层压缩数据对应的相对数据计算量，目标中间层压缩数据对应的相对数据计算量是指计算各组压缩数据相对于最后一组压缩数
据的相对计算，即每一个中间层的计算量等于本层的计算量加上相对应的各个中间层的相对计算量，计算公式如下所示：其中，为第w层的目标中间层压缩数据对应的相对数据计算量，为第i层的目标中间层压缩数据对应的子数据计算量，n为所有的目标中间层压缩数据的总层数。
34.需要说明的是，m维的压缩数据在自编码网络中的位置不同，若最优传输数据在自编码网络中的位置靠前，它所需要计算量越大，即需要计算最优传输数据后方的各组压缩数据的相对计算量。如图2所示，为了确定传输数据的相对计算量，将原始数据发送到构建并训练好的自编码网络中，从而得到各个中间压缩数据，各个中间层压缩数据分别为1、2、3、4、5
…
,通过计算各个中间层压缩数据的数据存储量和相对计算量，这里的数据存储量是指本身所占的字节数，选取出一个传输数据，在本实施例中，选取中间层3为传输数据。由于选取中间层3为传输数据，将传输数据输入到中间层4中，通过计算本层的子数据计算量以及中间层4和5的子数据的计算量，确定中间层3的最终的相对计算量。
35.（4）根据各个目标中间层压缩数据对应的所占字节数和相对数据计算量，计算各个目标中间层压缩数据对应的传送性价比。
36.首先，需要说明的是，计算压缩数据的传输性价比要考虑两个情况：m维的各组压缩数据是输入原始数据传输的另一种表示形式，每一组m维的压缩数据本身所占的字节数并不完全相同，选取所占字节数越小的压缩数据，则该数据传输在线路上的传输时间就越少；m维的各组压缩数据在自编码网络中的位置不同，压缩数据在自编码网络中的越靠近解码器，则该数据进行解码所需要的计算量就越少，即接收端读取速度就越快。
37.综合上述两种情况，计算各个目标中间层压缩数据对应的传送性价比，进而可以选择出有不同需求的厂家对应的最优的传送数据，计算各个目标中间层压缩数据对应的传送性价比的计算公式如下所示：其中，为数据传输速度的倾向权重，为数据处理速度的倾向权重，为第w层的目标中间层压缩数据对应的相对数据计算量，为第w层的目标中间层压缩数据对应的所占字节数。在本实施例中，，根据厂家的数据传输要求自行设定与，比如数据传送速度快的厂家可将的数值设置的较大，数据处理速度快的厂家可将的数值设置的较大，初始值使。
38.需要说明的是，压缩数据本身所占的字节数越少越好，也就是压缩数据的存储计算量越小越好，相对计算量越小越好，则可以认为最终的传输性价比与压缩数据所占的字节数成反比，与压缩数据的相对计算量也成反比。
39.步骤s14：根据传送性价比从各个目标中间层压缩数据中确定最优的传输数据，并确定该最优的传输数据对应的中间层数，将最优的传输数据以及该最优的传输数据对应的中间层数发送给接收端。
40.根据各个目标中间层压缩数据对应的传送性价比，将各个目标中间层压缩数据对
应的传送性价比进行排序，确定最大的传送性价比所对应的目标中间层压缩数据，并将该最大的传送性价比所对应的目标中间层压缩数据中的本层的各个输出值作为最优的传输数据。当然，在其他实施例中筛选最大的传输性价比的方法还有很多种，在本实施例中，从各个目标中间层压缩数据的传输性价中选取一个最大值作为最优的传输数据，计算公式如下所示：其中，为m维的各组压缩数据的传输性价比，为传输性价比最大的最优传输数据。
41.步骤s2：接收端接收步骤包括：步骤s21：接收最优的传输数据、该最优的传输数据对应的中间层数，并获取预先构建和训练好的自编码网络。
42.步骤s22：根据最优的传输数据、该最优的传输数据对应的中间层数以及预先构建和训练好的自编码网络，确定原始数据。
43.需要说明的是，对于任何形式的通信，只有发送方和接受方都理解该传输数据的编码机制的时候，压缩数据的通信才能够正常工作，所以在接收端也有与发送端相应的训练好的自编码网络，可以直接对接收到数据进行解码，即接收端接收到最优传输数据后，根据该最优的传输数据对应的中间层数，将该最优传输数据输入到自编码网络对应的中间层数，利用预先构建和训练好的自编码器对最优传输数据进行解码，还原数据，输出数据与发送端发送的待传输的原始数据基本上保持一致，说明数据传输完成。
44.本实施例还提供了一种物联网设备数据智能传输系统，包括处理器和存储器，处理器用于处理存储在存储器中的指令，以实现上述的物联网设备数据智能传输方法，由于该传输方法已经在上述内容中进行了详细介绍，这里不再作详细阐述。
45.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
46.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。