一种基于语义通信系统的去噪方法

1.本发明涉及语义通信技术领域，特别涉及一种基于语义通信系统的去噪方法。


背景技术：

2.根据香农和韦弗所提出的信息伦，能够将通信分为三个层次。第一个层次为传输问题，它主要研究的通信的符号如何准确的传输，第二层次为语义问题，它研究的主要是如何准确传达通信符号中的语义，第三层次为效用问题，它主要解决收到的语义如何按照期望方式有效影响行为的问题。受时代限制，在香农建立信息论以来的七十多年里，广大学者对于如何逼近香农极限做出了大量的尝试，但是这些工作主要还是集中在通信的第一层次即如何准确传输通信符号。近年来，人工智能以及自然语言处理等相关技术的发展为探索语义通信的第二层次提供了可能，语义通信也将逐渐成为通信领域中的一大研究趋势。
3.现有的语义通信系统在关于如何去噪方面，主要依靠的还是利用神经网络自身的强大计算能力，去噪的效果虽然相较于传统方式有一定的提升，但是这并没有充分发挥神经网络的计算能力，在给现有语义通信系统的基础上，给它们添加一些简单的去噪模块，能让神经网络的性能优势充分发挥出来。
4.在通信的过程，无可避免的会遇上噪声问题，但是现有的语义通信系统针对噪声，并没有提出相应的去噪模块来改变信号的输入模式，使之更好的适应信道的传输，当下采取的方式普遍是利用神经网络的强大计算能力，来进行暴力破解，无法充分发挥神经网络的去噪能力。


技术实现要素：

5.本发明的目的在于提供一种基于语义通信系统的去噪方法，以克服现有技术中的不足。
6.为实现上述目的，本发明提供如下技术方案：
7.本技术公开了一种基于语义通信系统的去噪方法，具体包括如下步骤：
8.s1、根据接收双方的共有知识，将双方传输过程中所有可能会用的单词进行编号，创建一个词典；
9.s2、利用输入语句嵌入模块对输入语句进行词嵌入，并添加位置向量；利用目标语句词嵌入模块对目标语句进行词嵌入，并添加位置向量；得到输入语句对应的带有位置向量的词向量和目标语句对应的带有位置向量的词向量；
10.s3、语义编码：输入语句对应的带有位置向量的词向量经过语义编码层，通过transformrer的encoder层完成语义编码，得到语义编码向量；
11.s4、噪声预处理：根据语义编码向量的传输信道的信息，将完成语义编码之后的语义编码向量及传输信道的信息，一并输入信噪比适应去噪模块，所述信噪比适应去噪模块根据语义编码向量的语义信息以及所要传输信道的信噪比情况，调整语义编码向量的表征形式；
12.s5、将完成语义编码以及噪声预处理的语义编码向量，通过信道；
13.s6、噪声处理：解码端接收到通过无线信道的语义编码向量，送入信噪比适应去噪模块，所述信噪比适应去噪模块会根据所接收到语义编码向量的语义信息，并结合所通过信道的信噪比情况，消除语义编码向量中经过无线信道所附加的噪声；
14.s7、自适应去噪：将经过步骤s6噪声处理后的语义编码向量输入到自适应去噪模块，所述自适应去噪模块由多头自注意力机制所构成，利用多头自注意力机制，对语义编码向量根据语义信息，进行自我观察，自我调整，实现去噪；
15.s8、语义解码：将完成s7自适应去噪的语义编码向量，通用transformer的解码层，进行语义解码，将完成解码的语句文本通过概率逻辑回归处理后输出。
16.作为优选，所述步骤s1中的具体步骤如下：
17.s11、读入整个用于传输的文本文件；
18.s12、对整个文本进行分词处理，统计文本中每个单词的使用次数，给每个单词进行编号，移除那些使用次数过低的单词；
19.s13、在整个字典中添加开始或终止的字符；
20.s14、输出词典。
21.作为优选，所述步骤s2中的具体步骤如下：
22.s21、创建一个嵌入层，将需要传输的语句送入嵌入层，将其转化成为相映维度的词向量；
23.s22、计算并添加位置向量；
24.s23、将词向量与位置向量相加，得到拥有位置信息的词向量。
25.作为优选，所述步骤s3中的具体步骤如下：
26.s31、定义三个矩阵，根据三个矩阵，对输入语句对应的带有位置向量的词向量进行三次线性变化，得到查询向量、键向量和值向量；
27.s32、对查询向量、键向量和值向量进行自注意力self-attention的计算，得到注意力向量；
28.s33、进行残差连接，将注意力向量与输入语句对应的带有位置向量的词向量相加，并将得到的结果进行层归一化操作得到残差向量；
29.s34、将得到的残差向量进行前馈传输操作，通过两层线性映射并用激活函数relu进行激活得到向量语义编码向量。
30.作为优选，所述信噪比适应去噪模块的操作过程具体包括如下子步骤：
31.s41、建立一个输出维度为1的全连接层，将文本作为输入，整合文本中的语义信息，得到l*1的向量，其中l表示文本的长度；
32.s42、将无线信道的信噪比作为输入，与步骤s41中得到的l*1的向量进行一个拼接，得到维度为(l 1)*1的向量；
33.s43、将步骤s42中得到的(l 1)*1维度的向量，分别通过两个输出维度为l的全连接层，分别得到两个维度为l*1的系数；
34.s44、将s43中得到的两个维度为l*1的系数与输入文本向量进行向量乘与向量加的操作，作为信噪比适应去噪模块的输出。
35.作为优选，所述自适应去噪模块的操作过程具体包括如下子步骤：
36.s51、构建一个由多头注意力层构成的残差网络；
37.s52、将输入的文本分为两路传输，其中一路不做任何变化，另一路通过一个多头自注意层之后，进行一个前馈传输；
38.s53、将步骤s52中，得到的两路向量相加，作为自适应去噪模块的输出。
39.作为优选，所述步骤s8的具体操作如下：
40.s81、将步骤s2的得到的目标语句对应的带有位置向量的词向量输入多头自注意层进行解码；
41.s82、将通过无线信道接收的编码信息和上一步中多头自注意层的输出信息输入多头注意层进行解码；
42.s83、在目标语句通过多头自注意层与多头注意层之后通过前馈传输层，得到语义解码向量；
43.s84、通过softmax函数进行概率逻辑回归，输出语句。
44.本发明的有益效果：
45.1、提出了一种根据传输信道的信噪比情况，在传输前对语义信息进行预去噪，在传输后对语义信息进行去噪的信噪比适应去噪网络。在假设接收双方已知信道情况的前提下，能够利用信道信息实现去噪操作，从而提高文本传输的准确率；
46.2、提出了一种自适应的多头自注意力去噪模块，能够在语义信息经过无线信道后，通过多头自注意力模块，根据传输文本的语义信息，实现自我调整，根据语义信息，实现自去噪操作，从而提高文本传输的准确率；
47.3、利用ai技术来进行文本的传输，考虑到了文本的语义信息，相较于传统的编码方式，根据文本的语义进行编码，在低信噪比的情况下，文本传输的准确度有了不小的提升。
48.本发明的特征及优点将通过实施例结合附图进行详细说明。
附图说明
49.图1是本发明一种基于语义通信系统的去噪方法的框架示意图；
50.图2是本发明一种基于语义通信系统的去噪方法的流程示意图；
51.图3是本发明信噪比适应去噪模块的结构示意图；
52.图4是本发明自适应去噪模块的结构示意图；
53.图5是本发明信噪比适应去噪模块和自适应去噪模块的去噪效果图。
具体实施方式
54.为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
55.参阅图1和图2，本发明实施例提供本方案的具体步骤为：
56.步骤一、根据接收双方的共有知识，将双方传输过程中所有可能会用的单词进行编号，创建一个词典；
57.具体地，第1步、读入整个用于传输的文本文件；
58.第2步、对整个文本进行分词处理，统计文本中每个单词的使用次数，给每个单词进行编号，移除那些使用次数过低的单词；
59.第3步、在整个字典中添加开始或终止等有特殊意义的字符；
60.第4步、输出词典。
61.步骤二、利用输入语句嵌入模块对输入语句进行词嵌入，并添加位置向量；利用目标语句词嵌入模块对目标语句进行词嵌入，并添加位置向量；得到输入语句对应的带有位置向量的词向量和目标语句对应的带有位置向量的词向量；
62.具体地，第1步、创建一个嵌入层embedding，将需要传输的语句送入嵌入层embedding，将其转化成为相映维度的词向量；
63.第2步、添加位置向量，公式如下：
[0064][0065][0066]
其中，pos指的是一句话中某个字的位置，取值范围是[0,l)，l为句子的长度，i指的是子向量的维度序号，取值范围是[0,embedding_dimension/2)，embedding_dimension是嵌入的维度，d
model
指的是embedding层的嵌入维度embedding_dimension的值；
[0067]
第3步、在获得每个单词的词向量及其相应的位置向量之后，将两者相加，得到拥有位置信息的词向量x
embedding
；
[0068]
步骤三、语义编码，传输的语句经过语义编码层后，通过transformrer的encoder层，根据句子的语义信息，完成语义编码；
[0069]
具体地，第1步、定义三个矩阵wq,wk,wv,根据这三个矩阵，对上一步中得到的词向量x
embedding
进行三次线性变化，得到查询向量q,键向量k,值向量v；
[0070]
第2步、对上述得到的三个向量进行一个自注意力self-attention的计算；
[0071][0072]
得到向量x
attention
,其中dk表示向量的维度；
[0073]
第3步、进行残差连接，将刚才得到x
attention
与第二步中得到的x
embedding
相加，并将得到的结果进行层归一化操作得到残差向量x'
attention
，其中x'
attention
＝layernorm(x x
attention
)；
[0074]
第4步、将得到的残差向量x'
attention
进行前馈传输操作，通过两层线性映射并用激活函数relu进行激活得到向量x
hidden
[0075]
x
hidden
＝linear(relu(linear(x
attention
)))；
[0076]
步骤四、噪声预处理，根据所要传输信道的信息，将完成语义编码之后的句子及信道信息，一并输入信噪比适应的预去噪模块，信噪比适应的预去噪模块会根据所需传输句子的语义信息以及所需传输信道的信噪比情况，调整句子的表征形式使之能够更好适应信道的传输；
[0077]
具体地，将上一步中得到的语义编码向量x
hidden
，送入噪声预处理模块，噪声预处理模块，会根据语义编码向量x
hidden
的语义信息，以及所要传输信道的信噪比情况进行一个联合考虑，调整语义编码向量x
hidden
的表征形式，使之变得更加适合在改信道中传输，从而
实现噪声预处理。
[0078]
步骤五、将完成语义编码以及噪声预处理的句子，通过信道；
[0079]
步骤六、噪声处理，解码端接收到通过无线信道的句子，解码端的信噪比适应的去噪模块，会根据所接收到句子在噪声干扰后的语义信息，并结合所通过信道的信噪比情况，对接收到的句子进行相应的去噪操作，减少句子中，影响语义信息表征的噪声；
[0080]
具体地，接收到通过无线信道的语义编码向量x'
hidden
，送入噪声处理模块，噪声处理模块，会根据语义编码向量x'
hidden
的语义信息，以及所通过的传输信道的信噪比情况进行一个联合考虑，消除语义编码向量x'
hidden
中经过无线信道所附加的噪声，使之变得更加更好的被解码器解码，从而实现噪声处理；
[0081]
步骤七、自适应去噪，在完成根据信道的信噪比情况对句子的去噪处理操作后，将其输入到一个利用多头自注意层搭建的自适应去噪模块，利用多头自注意力机制，对完成去噪处理的句子根据语义信息，进行一个自我观察自我调整，从而实现去噪；
[0082]
具体地，将上一步骤中得到的语义向量，送入自适应去噪模块，自适应去噪模块由多头注意力机制所构成，能够根据传输文本的语义信息，自我观察，自我调整，从而实现自去噪操作；
[0083]
步骤八、语义解码，将完成两种去噪方式的语句文本，通用transformer的解码层，进行一个语义解码，将完成解码的语句文本通过概率逻辑回归处理后输出。
[0084]
具体地，第1步、将步骤二的得到的目标语句的词嵌入向量输入多头自注意层进行解码；
[0085]
第2步、将通过无线信道接收的编码信息和上一步中多头自注意层的输出信息输入多头注意层进行解码；
[0086]
第3步、在目标语句通过多头自注意层与多头注意层之后通过前馈传输层，得到语义解码向量；
[0087]
第4步、通过softmax函数进行概率逻辑回归，输出语句
[0088]
其中，信噪比适应去噪模块，其结构如图3，其具体过程为：
[0089]
第1步、建立一个输出维度为1的全连接层，将用于传输的文本作为输入，整合文本中的语义信息，得到l*1的向量，其中l表示文本的长度，n表示用n个向量来表征一个单词。
[0090]
第2步、将无线信道的信噪比作为输入，与上一步中得到的l*1的向量进行一个拼接，得到维度为(l 1)*1的向量；
[0091]
第3步、将上一步中得到的(l 1)*1维度的向量，分别通过两个输出维度为l的全连接层，分别得到两个维度为l*1的系数，h，n；
[0092]
第4步、将上一步中得到的两个系数h，n与输入文本向量进行一个向量乘与向量加的操作，使之能够更好的适应信道传输，或者消除向量中在信道中所添加的噪声。
[0093]
自适应去噪模块，其结构如图4，其具体过程为：
[0094]
第一步、构建一个由多头注意力层构成的残差网络；
[0095]
第二步、将输入的文本分为两路传输，其中一路不做任何变化，另一路通过一个多头自注意层之后，进行一个前馈传输；
[0096]
第三步、将上一步中，得到两路向量相加，作为自适应去噪模块的输出。
[0097]
参阅图5，是本发明信噪比适应去噪模块和自适应去噪模块的去噪效果图。
[0098]
图5中，base表示的是原有的语义通信系统，而self曲线表示的是添加了自适应去噪模块后，语义通信系统的性能曲线，snr曲线表示的添加了信噪比适应去噪模块后，语义通信系统的性能曲线，snr self表示两种去噪模块同时添加后，语义通信系统的性能曲线。
[0099]
从图中可以看出，在添加去噪模块后，语义通信系统的整体性能相较于原base系统，性能均有所改善。自适应去噪模块相较于信噪比适应去噪模块的去噪性能略有不足，但是相较于信噪比适应去噪模块需要准确知道传输信道的信噪信息而言，自适应去噪模块的使用更为便捷，限制更少，而在综合使用这两种去噪模块后，系统的性能表现相较于原系统改善幅度最大。
[0100]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。