技术特征:
1.一种数据传输方法,其特征在于,包括:
获取待传输数据,所述待传输数据包括由数据原始值组成的N个数据序列,其中,N为大于1的正整数;
获取误差数据;所述误差数据为所述待传输数据中N-P个数据序列的数据原始值与数据估计值的差值;所述数据估计值是由网络模型根据所述待传输数据中P个数据序列得到的,其中,P为小于N的正整数;
传输所述P个数据序列、所述误差数据以及所述网络模型的模型参数。
2.根据权利要求1所述的数据传输方法,其特征在于,所述获取误差数据包括:
将所述P个数据序列输入所述网络模型;
获得所述网络模型输出的其余N-P个数据序列的数据估计值;
根据其余N-P个所述数据序列中每个数据估计值与每个数据原始值之差,生成所述误差数据。
3.根据权利要求1或2所述的数据传输方法,其特征在于,所述方法还包括:
获取训练数据,所述训练数据中包括多个由训练数据值组成的数据序列;
将所述训练数据输入所述网络模型,获得训练误差;
以最小训练误差为模型训练准则,通过线性拟合或浅层神经网络拟合,得到所述网络模型的模型参数。
4.根据权利要求3所述的数据传输方法,其特征在于,所述获得训练误差包括:
依次将所述训练数据的其中P个数据序列x[1],……,x[P]、其中P 1个数据序列x[1],……,x[P 1]、……、以及其中N-1个数据序列x[1],……,x[N]输入所述网络模型;
获取所述网络模型输出的其余N-P个估计值序列
分别计算其余N-P个数据序列的原始值与估计值序列中对应元素之差,得到训练误差序列
5.根据权利要求3所述的数据传输方法,其特征在于,所述模型参数包括数据序列权值,所述计算模型参数按照下式拟合:
其中,n=P 1,P 2,……,N;i=1,2,……,P;ai为数据序列权值;N和P为正整数。
6.根据权利要求3所述的数据传输方法,其特征在于,所述计算模型参数按照下式拟合:
其中,θ为模型参数;n=P 1,P 2,……,N;H[n]为待传输数据原始值矩阵;为待传输数据估计值矩阵。
7.根据权利要求1所述的数据传输方法,其特征在于,如果所述待传输数据通过多路传输,所述方法还包括:
将多路所述待传输数据按照预设输入方式输入所述网络模型;以及,
传输所述预设输入方式信息。
8.根据权利要求7所述的数据传输方法,其特征在于,将多路所述待传输数据按照预设输入方式输入所述网络模型包括:
将多路所述待传输数据并行输入所述网络模型;或者,
将多路所述待传输数据串行输入所述网络模型;或者,
将多路所述待传输数据执行串行处理,并对串行处理后的数据执行shuffle处理后,输入所述网络模型。
9.根据权利要求1-8任一项所述的数据传输方法,其特征在于,传输所述P个数据序列、所述误差数据以及所述网络模型的模型参数包括:
提取所述网络模型的模型参数、所述误差数据以及所述P个数据序列;
对所述误差数据、所述P个数据序列以及所述模型参数执行量化,获得量化数据;
对所述量化数据执行熵编码,并传输熵编码后的量化数据。
10.根据权利要求1-8任一项所述的数据传输方法,其特征在于,所述方法还包括:
获取误差基准,所述误差基准为所有所述误差数据中的最小值或最大值或中间值或平均值;
计算所述误差基准与所述误差数据的差值;
传输所述误差基准以及所述误差基准与所述误差数据的差值。
11.根据权利要求1-8任一项所述的数据传输方法,其特征在于,所述方法还包括:
获取待传输数据的流量值;
根据所述待传输数据的流量值调节P值、单位比特数以及模型参数数量中的一种或多种,以改变压缩率;
传输调节后的所述P值、单位比特数以及模型参数数量中的一种或多种。
12.根据权利要求11所述的数据传输方法,其特征在于,所述根据所述待传输数据的流量值调节P值、单位比特数以及模型参数数量中的一种或多种,以改变压缩率包括:
如果所述待传输数据的流量值增大,则减小P值、单位比特数以及模型参数数量中的一个或多个;或者,
如果所述待传输数据的流量值减小,则增大P值、单位比特数以及模型参数数量中的一个或多个。
13.根据权利要求11或12所述的数据传输方法,其特征在于,所述方法还包括:
如果所述待传输数据的流量值小于或等于第一阈值,且大于或等于第二阈值,则设定P值等于预设初始值,所述第一阈值小于N值,所述第一阈值大于所述第二阈值;或者,
如果所述待传输数据的流量值大于所述第一阈值,则设定P值等于所述第一值,所述第一值小于所述初始值;或者,
如果所述待传输数据的流量值小于第二阈值,则设定P值等于所述第二值,所述第二值大于所述初始值。
14.一种数据传输方法,其特征在于,包括:
接收传输数据;所述传输数据包括P个数据序列、误差数据以及网络模型的模型参数;
解析N-P个数据序列的数据原始值,所述数据原始值为数据估计值与误差数据之和;所述数据估计值是由所述网络模型根据所述模型参数以及P个数据序列得到的;其中,N为大于1的正整数,P为小于N的正整数。
15.根据权利要求14所述的数据传输方法,其特征在于,所述解析N-P个数据序列的数据原始值包括:
根据所述模型参数构建所述网络模型;
将所述P个数据序列输入所述网络模型,获得所述网络模型输出的其余N-P个数据序列的数据估计值;
计算N-P个数据序列的所述数据估计值与所述误差数据的和,生成N-P个数据序列的所述数据原始值。
16.根据权利要求14所述的数据传输方法,其特征在于,所述传输数据还包括P值、单位比特数以及模型参数数量中的一种或多种,所述方法还包括:
获取所述P值、单位比特数以及模型参数数量中的一种或多种;
按照所述P值、单位比特数以及模型参数数量中的一种或多种,解析N-P个数据序列的数据原始值。
17.根据权利要求14所述的数据传输方法,其特征在于,所述误差数据包括误差基准以及所述误差基准与其余误差数据的差值,所述误差基准为所有所述误差数据中的最小值或最大值或中间值或平均值,所述方法还包括:
根据所述误差基准以及所述误差基准与其余误差数据的差值还原误差数据,获得N-P个数据序列的误差值。
18.一种数据传输装置,其特征在于,包括:
数据获取模块,用于获取待传输数据,所述待传输数据包括由数据原始值组成的N个数据序列,其中,N为大于1的正整数;
误差计算模块,用于获取误差数据;所述误差数据为所述待传输数据中N-P个数据序列的数据原始值与数据估计值的差值;所述数据估计值是由网络模型根据所述待传输数据中P个数据序列得到的,其中,P为小于N的正整数;
传输模块,用于传输所述P个数据序列、所述误差数据以及所述网络模型的模型参数。
19.根据权利要求18所述的数据传输装置,其特征在于,
所述误差计算模块,具体用于将所述P个数据序列输入所述网络模型;
获得所述网络模型输出的其余N-P个数据序列的数据估计值;
根据其余N-P个所述数据序列中每个数据估计值与每个数据原始值之差,生成所述误差数据。
20.根据权利要求18或19所述的数据传输装置,其特征在于,
还包括模型训练模块,用于:
获取训练数据,所述训练数据中包括多个由训练数据值组成的数据序列;
将所述训练数据输入所述网络模型,获得训练误差;
以最小训练误差为模型训练准则,通过线性拟合或浅层神经网络拟合,得到所述网络模型的模型参数。
21.根据权利要求20所述的数据传输装置,其特征在于,
所述模型训练模块,具体用于依次将所述训练数据的其中P个数据序列x[1],……,x[P]、其中P 1个数据序列x[1],……,x[P 1]、……、以及其中N-1个数据序列x[1],……,x[N]输入所述网络模型;
获取所述网络模型输出的其余N-P个估计值序列
分别计算其余N-P个数据序列的原始值与估计值序列中对应元素之差,得到所述训练误差序列
22.根据权利要求20所述的数据传输装置,其特征在于,
所述模型参数包括数据序列权值,所述模型训练模块计算模型参数时按照下式拟合:
其中,n=P 1,P 2,……,N;i=1,2,……,P;ai为数据序列权值;N和P为正整数。
23.根据权利要求20所述的数据传输装置,其特征在于,
所述模型训练模块计算模型参数按照下式拟合:
其中,θ为模型参数;n=P 1,P 2,……,N;H[n]为待传输数据原始值矩阵;为待传输数据估计值矩阵。
24.根据权利要求18所述的数据传输装置,其特征在于,
如果所述待传输数据通过多路传输,还包括数据输入模块,用于将多路所述待传输数据按照预设输入方式输入所述网络模型;以及,
所述传输模块,具体用于传输所述预设输入方式信息。
25.根据权利要求24所述的数据传输装置,其特征在于,
所述数据输入模块,具体用于将多路所述待传输数据并行输入所述网络模型;或者,
将多路所述待传输数据串行输入所述网络模型;或者,
将多路所述待传输数据执行串行处理,并对串行处理后的数据执行shuffle处理后,输入所述网络模型。
26.根据权利要求18-25任一项所述的数据传输装置,其特征在于,
所述传输模块具体用于提取所述网络模型的模型参数、所述误差数据以及所述P个所述数据序列;
对所述误差数据、所述P个数据序列以及所述模型参数执行量化,获得量化数据;
对所述量化数据执行熵编码,并传输熵编码后的量化数据。
27.根据权利要求18-25任一项所述的数据传输装置,其特征在于,
所述误差计算模块,具体用于获取误差基准,所述误差基准为所有所述误差数据中的最小值或最大值或中间值或平均值;
计算所述误差基准与所述误差数据的差值;
传输所述误差基准以及所述误差基准与所述误差数据的差值。
28.根据权利要求18-25任一项所述的数据传输装置,其特征在于,
还包括调节模块,用于获取待传输数据的流量值;
根据所述待传输数据的流量值调节P值、单位比特数以及模型参数数量中的一种或多种,以改变压缩率;
传输调节后的所述P值、单位比特数以及模型参数数量中的一种或多种。
29.根据权利要求28所述的数据传输装置,其特征在于,
所述调节模块,具体用于如果所述待传输数据的流量值增大,则减小P值、单位比特数以及模型参数数量中的一个或多个;或者,
如果所述待传输数据的流量值减小,则增大P值、单位比特数以及模型参数数量中的一个或多个。
30.根据权利要求28或29所述的数据传输装置,其特征在于,
所述调节模块,具体用于如果所述待传输数据的流量值小于或等于第一阈值,且大于或等于第二阈值,则设定P值等于预设初始值,所述第一阈值小于N值,所述第一阈值大于所述第二阈值;或者,
如果所述待传输数据的流量值大于所述第一阈值,则设定P值等于所述第一值,所述第一值小于所述初始值;或者,
如果所述待传输数据的流量值小于第二阈值,则设定P值等于所述第二值,所述第二值大于所述初始值。
31.一种数据传输装置,其特征在于,包括:
数据接收模块,用于接收传输数据;所述传输数据包括P个数据序列、误差数据以及网络模型的模型参数;
数据解析模块,用于解析N-P个数据序列的数据原始值,所述数据原始值为数据估计值与误差数据之和;所述数据估计值是由所述网络模型根据所述模型参数以及P个数据序列得到的;其中,N为大于1的正整数,P为小于N的正整数。
32.根据权利要求31所述的数据传输装置,其特征在于,
所述数据解析模块,具体用于根据所述模型参数构建所述网络模型;
将所述P个数据序列输入所述网络模型,获得所述网络模型输出的N-P个数据序列的数据估计值;
计算N-P个数据序列的所述数据估计值与所述误差数据的和,生成N-P个数据序列的所述数据原始值。
33.根据权利要求31所述的数据传输装置,其特征在于,
所述传输数据还包括P值、单位比特数以及模型参数数量中的一种或多种,所述数据解析模块,具体用于获取所述P值、单位比特数以及模型参数数量中的一种或多种;
按照所述P值、单位比特数以及模型参数数量中的一种或多种,解析N-P个数据序列的数据原始值。
34.根据权利要求31所述的数据传输装置,其特征在于,
所述误差数据包括误差基准以及所述误差基准与其余误差数据的差值,所述误差基准为所有所述误差数据中的最小值或最大值或中间值或平均值;
所述数据解析模块,具体用于根据所述误差基准以及所述误差基准与其余误差数据的差值还原误差数据,获得N-P个数据序列的误差值。
35.一种通信装置,其特征在于,包括:至少一个处理器和存储器;
所述存储器用于存储计算机可读指令或者计算机程序,所述处理器用于读取所述计算机可读指令以实现如权利要求1-13任意一项所述的方法。
36.一种通信装置,其特征在于,包括:至少一个处理器和存储器;
所述存储器用于存储计算机可读指令或者计算机程序,所述处理器用于读取所述计算机可读指令以实现如权利要求14-17任意一项所述的方法。
37.一种通信装置,其特征在于,包括:逻辑电路和输入输出接口;
所述输入输出接口用于获取待传输数据,所述逻辑电路用于执行如权利要求1-13中任一项所述的方法。
38.一种通信装置,其特征在于,包括:逻辑电路和输入输出接口;
所述输入输出接口用于获取传输数据,所述逻辑电路用于执行如权利要求14-17中任一项所述的方法。
39.一种计算机可读存储介质,其特征在于,包括计算机程序指令,当其在计算机上运行时,使得所述计算机执行如权利要求1-13或14-17中任意一项所述的方法。
技术总结
本申请实施例提供一种数据传输方法及装置,所述方法中,发送端在获取待发送数据后,可以将待发送数据中的部分数据序列输入到网络模型,获得网络模型输出的其余数据序列对应的数据估计值,从而根据数据估计值与数据原始值计算误差数据,并将部分数据序列、误差数据以及模型参数执行量化、熵编码后,发送给接收端。接收端在接收到传输数据后,执行发送端数据处理的逆处理过程,将传输数据进行解析,从而获得全部数据。所述数据传输方法可以通过误差数据代替部分数据序列的数据原始值,从而利用误差数据较小的量化比特数需求,降低数据传输量。并且通过发送端和接收端的网络模型,使解析后的数据更接近于原始数据,降低信息损耗。
技术研发人员:孔垂丽;王坚;李榕;
受保护的技术使用者:华为技术有限公司;
技术研发日:2020.08.17
技术公布日:2022.03.08
本文用于企业家、创业者技术爱好者查询,结果仅供参考。