用于消除无源互调制干扰的方法及装置与流程

1.本公开涉及通信领域，并且更具体地，涉及一种用于消除无源互调制干扰的方法及装置。


背景技术：

2.在频分双工(frequency division duplexing，fdd)多载波无线通信系统中，基站发射链路和接收链路同时工作。在无源器件(双工器、连接器、天线以及连接线等)中发射信号或者其高次谐波如果落入接收信号频带内，则会对接收信号产生干扰，这种干扰称为无源互调制干扰(passive intermodulation，pim)。pim会降低基站的接收灵敏度，从而影响基站的上行吞吐率。而且无源器件的老化，震动，连接器接触不良等都会加剧这种干扰。为解决上述问题，需要对接收信号进行处理，消除其中的pim。


技术实现要素：

3.本公开的各方面要解决至少上述问题和/或缺点，并且提供至少下述优点。因此，本公开的各方面提供了一种基于神经网络的pim消除方法，使用反向传导神经网络(back propagation neural network，bpnn)重构pim信号，不再基于传统的多项式模型，并且在此基础上改进了神经网络输入端的结构，将pim信号分为非线性部分和线性部分。其中，线性部分为记忆效应，使用线性的有限脉冲响应滤波器(finite impulse response filter，fir)实现记忆效应，降低了神经网络的输入信号的个数，从而降低了神经网络所需要的系统资源，并且能根据温度和发射功率自适应的调整滤波器系数。此消除方法中包含的神经网络训练模块能在线进行训练学习，实时更新神经网络的参数。当基站的发射频段和接收频段发生变化时，不需要更改神经网络结构，只需要重新训练一遍神经网络的参数，可以适应多种变化，从而提高了系统的灵活性。
4.根据本公开的一方面，一种用于消除无源互调制干扰(pim)的方法，所述方法包括：由pim重构模块获取一路或多路发射信号；以及由所述pim重构模块采用神经网络对获取的一路或多路发射信号进行重构，以用于执行针对接收信号的pim消除。
5.根据本公开的一方面，还包括：根据执行pim消除之后的误码率，基于一路或多路发射信号和一路或多路接收信号，更新所述神经网络的处理参数。
6.根据本公开的一方面，根据执行pim消除之后的误码率，基于一路或多路发射信号和一路或多路接收信号，更新所述神经网络的处理参数，包括：若执行pim消除之后的误码率不小于设定阈值，则基于一路或多路发射信号和一路或多路接收信号，更新所述神经网络的处理参数。
7.根据本公开的一方面，由所述pim重构模块采用神经网络对获取的一路或多路发射信号进行重构包括：由所述pim重构模块针对所述一路或多路发射信号中的每路发射信号分别采用相应的滤波器进行滤波处理，以针对所述一路或多路发射信号中的每路发射信号获得相对应的一个输出信号；基于获得的一个或多个输出信号，采用神经网络对一路或
多路发射信号进行重构。
8.根据本公开的一方面，所述滤波器为有限脉冲响应滤波器。
9.根据本公开的一方面，还包括：基于设备参数和/或发射接收参数，更新至少一路发射信号对应的滤波器的滤波参数。
10.根据本公开的一方面，所述设备参数包括：设备温度；以及所述发射参数包括：发射信号功率。
11.根据本公开的一方面，由所述pim重构模块采用神经网络对获取的一路或多路发射信号进行重构包括：由所述pim重构模块针对所述一路或多路发射信号中的每路发射信号分别按照设定数量进行延迟处理，以针对所述一路或多路发射信号中的每路发射信号获得设定数量的输出信号；基于所述一路或多路发射信号以及获得的输出信号，采用神经网络对一路或多路发射信号进行重构。
12.根据本公开的另一方面，一种用于消除无源互调制干扰(pim)的pim消除装置，所述pim消除装置包括：pim重构模块，被配置为：获取一路或多路发射信号；以及采用神经网络对获取的一路或多路发射信号进行重构，以用于执行针对接收信号的pim消除。
13.根据本公开的另一方面，所述pim重构模块还被配置为：根据执行pim消除之后的误码率，基于一路或多路发射信号和一路或多路接收信号，更新所述神经网络的处理参数。
14.根据本公开的另一方面，根据执行pim消除之后的误码率，基于一路或多路发射信号和一路或多路接收信号，更新所述神经网络的处理参数，包括：若执行pim消除之后的误码率不小于设定阈值，则基于一路或多路发射信号和一路或多路接收信号，更新所述神经网络的处理参数。
15.根据本公开的另一方面，还包括用于一路或多路发射信号中的每路发射信号的相应的滤波器，被配置为：针对所述一路或多路发射信号中的每路发射信号进行滤波处理，以获得相对应的一个输出信号作为神经网络的输入。
16.根据本公开的另一方面，所述滤波器为有限脉冲响应滤波器。
17.根据本公开的另一方面，基于设备参数和/或发射接收参数，更新至少一路发射信号对应的滤波器的滤波参数。
18.根据本公开的另一方面，所述设备参数包括：设备温度；所述发射参数包括：发射信号功率。
19.根据本公开的另一方面，还包括用于一路或多路发射信号中的每路发射信号的相应的延迟模块，被配置为：针对所述一路或多路发射信号中的每路发射信号分别按照设定数量进行延迟处理，以针对所述一路或多路发射信号中的每路发射信号获得设定数量的输出信号作为神经网络的输入。
附图说明
20.通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
21.图1示出了根据本公开的实施例的pim消除装置；
22.图2示出了根据本公开的实施例的pim重构模块；
23.图3示出了根据本公开的实施例的基于神经网络的pim消除装置；
24.图4示出了根据本公开的实施例的基于神经网络的pim重构模块；
25.图5示出了根据本公开的实施例的以适应滤波模块结构；
26.图6是示出了根据本公开的实施例的在线训练神经网络的流程图；以及
27.图7示出了根据本公开的另一实施例的基于神经网络的pim重构模块。
具体实施方式
28.以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
29.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本公开的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。此外，这里使用的术语“第一”和“第二”可以描述各种组成元件，但是它们不应该限制相对应的组成元件。
30.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本公开所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
31.本文使用的术语“基站”(bs)或“网络设备”可以根据所使用的技术和术语指代enb、enodeb、nodeb或基站收发器(bts)或gnb等。
32.本文使用的术语“用户设备”或“ue”可以指代具有无线通信能力的任何终端，包括但不限于移动电话、蜂窝电话、智能电话或个人数字助理(pda)、便携式计算机、图像捕获设备诸如数码相机、游戏设备、音乐存储和回放设备、以及具有无线通信能力的任何便携式单元或终端，或允许无线互联网访问和浏览等的互联网设施。
33.本文使用的术语“存储器”可以是适合于本文技术环境的任何类型，并且可以使用任何合适的数据存储技术来实现，包括而非限制基于半导体的存储器件、磁存储器件和系统、光学存储器件和系统、固定存储器和可移动存储器。
34.本文使用的术语“处理器”可以是适合于本文技术环境的任何类型，包括而非限制以下一个或多个：通用计算机、专用计算机、微处理器、数字信号处理器dsp和基于多核处理器架构的处理器。
35.现有的技术是利用基站的发射信号重构出pim信号，接收信号减去这个重构出的信号，完成消除操作。重构pim信号时，普遍选取多项式模型作为pim的数学模型，如下所示：
[0036][0037]
其中，y为pim信号，q为多项式的个数，x(n)为发射信号，f
j
()为发射信号的多项式(高阶次项)，aj为多项式的系数。为了便于工程实现，根据基站的发射信号频率和接收信号频率，一般选取发射信号的3阶项或者5阶项，更高阶信号能量分量小，对接收信号的影响相对较小。由于射频链路中存在功率放大器等器件，其会产生记忆效应，即本时刻的pim干扰会残存前面时刻的干扰，为了进一步提高重构的pim信号精度，还会在pim模型里考虑记忆效应，则以上等式(1)变为：
[0038][0039]
其中，m是延迟时间，l是记忆深度。
[0040]
图1示出了根据本公开的实施例的pim消除装置。
[0041]
以下将参考图1描述在pim消除装置中执行的一般pim消除方法。
[0042]
首先参数估计模块根据发射信号x(n)和接收信号y(n) w(n)估算出多项式系数a
j
，然后传输给pim重构模块。pim重构模块利用发射信号x(n)和多项式系数a
j
生成消除信号y
′
(n)，然后传输给干扰消除模块，接收信号减去重构的pim信号得到消除干扰的接收信号e(n) w(n)。其中pim重构模块如图2所示，发射信号经过不同时延后输出给多项式生成模块，由此生成发射和其延迟信号的多项式基底f
j
()，例如x(n)*x(n)*conj(x(n))，然后和多项式系数a
j
相乘后求和得到消除信号y
′
(n)。
[0043]
现有技术是通过多项式去重构pim信号的，对于不同的基站，发射频带和接收频带有可能不同，对于不同的接收频率和发射频率有可能需要选用不同的多项式。例如b13和b5的双频基站，第一发射频带x1(n)为746～756mhz，第二发射频带x2(n)为869～894mhz，第一接收频带w1(n)为777～787m，第二接收频带w2(n)为824～849m。
[0044]
对于第一接收频带，发射频率为756mhz，869mhz和894mhz时，其三阶混频信号频率为：756mhz-869mhz 894mhz＝781mhz，其会落入第一接收频带范围，产生pim干扰，则多项式选择x1(n)*x2(n)*conj(x2(n))。
[0045]
对于第二接收频带，发射频率为869mhz和894mhz时，其三阶混频信号频率为：869mhz 869mhz-894mhz＝844mhz，其会落入第二接收频带范围，则多项式选择x2(n)*x2(n)*conj(x2(n))。
[0046]
而对于b2和b66的双频基站，第一发射频带x1(n)为1930～1990mhz，第二发射频带x2(n)为2110～2180mhz，第一接收频带w1(n)为1850～1910m，第二接收频带w2(n)为1710～1780m。
[0047]
对于第一接收频带，发射频率为1930mhz和1990mhz时，其三阶混频信号频率为：1930mhz 1930mhz-1990mhz＝1870mhz，其会落入第一接收频带范围，则多项式选择x1(n)*x1(n)*conj(x1(n))。
[0048]
当发射频率为1990mhz和2110mhz时，其三阶混频信号频率为：1990mhz 1990mhz-2110mhz＝1870mhz，其同样会落入第一接收频带范围，则多项式选择x1(n)*x1(n)*conj(x2(n))。
[0049]
对于第二接收频带，发射频率为869mhz和894mhz时，其三阶混频信号频率为：
869mhz 869mhz 894mhz＝844mhz，其会落入第二接收频带范围，则多项式选择x2(n)*x2(n)*conj(x2(n))。
[0050]
由上面的例子可知，当基站的发射频带和接收频带变化时，重构pim信号所用的多项式有可能变化，则需要重新设计硬件代码，灵活性差。
[0051]
图2示出了根据本公开的实施例的pim重构模块。
[0052]
对于多输入多输出(multi input multi output，mimo)系统，同时有多个发射通道和接收通道传输信号，由于多天线之间存在互耦干扰，这就导致多个发射通道中的发射信号的pim干扰会叠加到接收通道，每个接收信号都会受到多个发射信号的pim干扰，那么pim模型就变为：
[0053][0054]
其中，y
k
是第k个接收通道的pim信号，p是发射通道个数，a
j，c
是第c个发射通道的发射信号的第j个多项式系数，每个接收通道都要对多项式系数进行单独估计，而且当发射功率和温度等外部条件变化时，都需要重新估计参数，因此参数估计模块处于工作状态的时间较长，影响系统功耗。
[0055]
图3示出了根据本公开的实施例的基于神经网络的pim消除装置。通过图3所示的基于神经网络的pim消除装置来执行基于神经网络算法的pim消除方法。所述方法使用神经网络代替了传统的多项式模型去重构pim信号，即通过对神经网络训练，使其输出信号拟合pim信号，而不是由传统的多项式方式构造pim信号。
[0056]
如图3所示，基于神经网络的pim消除装置包括：pim重构模块，神经网络训练模块和干扰消除模块。
[0057]
pim重构模块，在fpga或者asic中实现，但不限于此，其中包括发射数据采集模块，发射数据滤波模块和神经网络模块，用于实时生成重构的pim信号。
[0058]
神经网络训练模块，在软件中实现，但不限于此，根据发射信号和接收到的pim信号训练神经网络，实现在线更新神经网络的参数。
[0059]
干扰消除模块，在fpga或者asic中实现，但不限于此，由多个减法器组成，和pim重构模块，模数转换模块相连，将接收信号和重构的pim信号进行减法操作，从而消除接收信号中的pim干扰。
[0060]
由上述基于神经网络的pim消除装置执行的处理包括：神经网络训练模块通过发射信号和接收到的pim信号训练神经网络，并将训练后的参数传给pim重构模块。更新过参数的pim重构模块采集到发射信号，然后通过处理得到重构的pim信号，传输给干扰消除模块。干扰消除模块中，将接收信号减去重构的pim信号，从而得到消除pim干扰的接收信号。
[0061]
具体地，如图3所示，在具有n个发射信号和n个接收信号的mimo系统中：x1为第一路发射信号，x2为第二路发射信号，以此类推，x
n
为第n路发射信号；y1 w1为第一路接收信号，其中y1为pim信号，w1为终端发射过来的没有受干扰的信号，y2 w2为第二路接收信号，以此类推，y
n
w
n
为第n路接收信号；y
′1为第一路重构的pim信号，y
′2为第二路重构的pim信号，以此类推，y
′
n
为第n路重构的pim信号；u
′1为第一路消除pim干扰的接收信号，u
′2为第二路消除pim干扰的接收信号，以此类推，u
′
n
为第n路消除pim干扰的接收信号。
[0062]
神经网络训练模块和pim重构模块相互独立工作，没有先后顺序，干扰消除模块则
需要在pim重构模块输出结果后开始工作。
[0063]
当消除pim干扰后的接收信号的误码率(bit error rate，ber)不满足需求时，就需要神经网络训练模块对神经网络重新进行训练。其采集和存储工作在接收间隙的n路发射信号和n路接收信号，此时接收信号只有pim干扰，用于神经网络训练。模块输出为神经网络参数。误码率作为通讯系统的灵敏度指标，一般在4g通讯中要求低于2*10-4
，典型值在2*10-6
左右，可根绝实际业务，选择阈值，可以选在2*10-4
附近。
[0064]
pim重构模块中会预存一组离线训练好的参数，包括滤波器的参数和神经网络的参数，其中滤波器的参数会根据温度和发射信号功率实时改变，神经网络的参数则由神经网络训练模块进行更新。pim重构模块会将
n
路发射信号采集并存储，然后通过处理生成n路重构的pim信号，传输给干扰消除模块。
[0065]
干扰消除模块接收到n路发射信号和n路重构的pim信号，第一路的接收信号减去第一路的重构的pim信号就得到第一路消除pim干扰的接收信号，第二路的接收信号减去第二路的重构的pim信号就得到第二路消除pim干扰的接收信号，以此类推，第n路的接收信号减去第n路的重构的pim信号就得到第n路消除pim干扰的接收信号，从而完成消除操作。
[0066]
图4示出了根据本公开的实施例的基于神经网络的pim重构模块。
[0067]
如图4所示，基于神经网络的pim重构模块包括滤波器参数选择模块，滤波器模块，神经网络模块，其具体结构和连接关系如图4所示，其中x1到x
n
为n路发射信号，作为本模块的输入，m1到m
n
为n路滤波器输出信号，其中滤波器为线性处理，经过滤波器的处理，发射信号引入了记忆效应，滤波器参数选择模块和滤波器模块组成自适应滤波模块。以下将参考图5来具体描述上述自适应滤波模块。
[0068]
图5示出了根据本公开的实施例的以适应滤波模块结构。
[0069]
如图5所示，其中发射信号为滤波器的输入，每路发射信号输入一个滤波器内，因此n路信号需要n个滤波器，滤波器参数选择模块内部存储了每个滤波器的多组系数，这些系数是线下在不同温度不同发射功率下测试得到的，通过温度和发射信号功率选择对应的滤波器系数，然后传输给各个滤波器，各个滤波器的系数是独立的。发射信号x经过不同的时延得到不同时刻的发射信号x(n-i*m)，其中m是延迟时间，i是发射信号的第i路延迟，滤波器阶数即为记忆效应深度，其输出为：
[0070][0071]
其中h
j，c
为滤波器系数，m
k
为第k路的滤波器的输出。n个滤波器的输出m1到m
n
作为神经网络的输入，神经网络的输出为n路重构的pim信号。本实例中使用了反向传导神经网络(back propagation neural network，bpnn)，其是经典的神经网络结构。本实例使用了多层神经网络结果，包括输入层，隐藏层和输出层，隐藏层可以包括多层，每层包括多个神经元。
[0072]
由图4可知，上一次的神经元的输出要传输给下一层的每一个神经元做运算。神经网络中神经元的输出为上一层所有神经元的输出的函数，如下式所示：
[0073][0074]
其中x
(i-1)q
为第i-1层的第q个神经元的输出，w
iq
为第i层的第q个输入的权值，f()
为激活函数，b
ij
为第i层的第j个神经元的偏置值，y
ij
为第i层的第j个神经元的输出。神经网络训练模块输出的参数就是权值w
iq
和偏置值b
ij
。本实例中选用tansig作为隐藏层的激活函数，purelin作为输出层的激活函数。
[0075]
根据本公开的实施例，神经网络的结构以及神经元的结构可以有多种，不局限于本实施例中使用的反向传导神经网络和tansig激活函数，神经网络结构可以使用循环神经网络(recurrent neural network，rnn)和卷积神经网络(convolutional neural network，cnn)，神经元可以使用long-short term memory(lstm)，gated recurrent unit(gru)等神经元结构。
[0076]
n路发送信号经过pim重构模块的处理得到n路重构的pim信号，对应n路接收信号，传输给干扰消除模块。
[0077]
在干扰消除模块中，将接收信号y
i
w
i
减去重构的pim信号y
′
i
得到消除干扰的接收信号u
′
i
，如下式所示：
[0078]
u
′
i
＝y
i
w
i-y
′
i
ꢀꢀꢀ
等式(6)
[0079]
即将第一路接收信号y1 w1减去第一路重构的pim信号y
′1，得到第一路消除干扰的接收信号u
′1，第二路接收信号y2 w2减去第二路重构的pim信号y
′2，得到第二路消除干扰的接收信号u
′2，以此类推，第n路接收信号y
n
w
n
减去第n路重构的pim信号y
′
n
，得到第n路消除干扰的接收信号u
′
n
。
[0080]
实现了pim干扰消除。
[0081]
本公开提供了一种在线的神经网络训练模块，其在软件中实现，但不限于此，采集n路发送信号和n路接收信号为作为样本信号，其中n路发送信号作为输入样本，n路接收信号作为目标样本。本实例选用自适应动态估计算法(adaptive moment estimation algorithm，adam)算法进行训练，此处不限定训练方法，也可以采用梯度下降法，lm法等算法。本公开的方法可以相比随机梯度下降法(sgd)或均方根传播(rmsprop)更快速地收敛。
[0082]
此外，不同于传统的方法，在根据本公开的方法中，因为滤波器可以补偿温度和发射功率的改变，所以不需要随着温度和发射功率的变化来训练神经网络。因此，可以较不频繁地训练神经网络。
[0083]
图6是示出了根据本公开的实施例的在线训练神经网络的流程图。
[0084]
本公开提供了一种在线神经网络训练模块的工作流程。如图6所示，软件中预存一组离线训练好的参数，即神经元的权值和偏置值，步骤一上电设置pim重构模块的神经网络的初始参数，步骤二检测信号误码率，步骤三当误码率满足要求时，跳回步骤二，当误码率不满足要求时，需要重新训练参数，步骤四采集发射信号和接收信号，根据接收和发射时隙选取只有pim的接收信号片段作为训练样本，步骤五用adam算法进行训练，步骤六将训练好的参数更新给pim消除模块。神经网络训练是在软件中独立进行的，不影响硬件中pim的消除操作。
[0085]
对于现有技术问题中提到的灵活性问题，当双频基站的频带由b13和b5变为b2和b66时，基于三阶多项式的传统方法需要将第一频带的多项式由x1(n)*x2(n)*conj(x2(n))变为x1(n)*x1(n)*conj(x1(n))和x1(n)*x1(n)*conj(x2(n))，第二频带的多项式由x2(n)*x2(n)*conj(x2(n))变为x2(n)*x2(n)*conj(x2(n))，而根据本公开的实施例，只需要在神经网络训练模块中重新训练一组参数，即完成图6中的流程。
[0086]
图7示出了根据本公开的另一实施例的基于神经网络的pim重构模块。
[0087]
根据本公开的实施例，针对pim的记忆效应，对神经网络进行了优化，将线性的记忆效应由fir实现，比起未经优化的神经网络，计算复杂度和训练时间要减少很多。
[0088]
在图7所示的神经网络结构的pim重构模块中，z
1l
是第1路发射信号的第l路延迟信号，z
2l
是第2路发射信号的第l路延迟信号，z
nl
是第n路发射信号的第l路延迟信号，则神经网络的输入个数为n*l个，使用fir优化后，由fir实现记忆效应，则的经网络的输入个数为n个，减少了n*(l-1)个输入，也就是少了n*(l-1)参数需要估计，提高了训练时间，假设第一层隐藏层有q个神经元，不经过优化的算法需要第一层隐藏层需要进行n*l*q次乘法，而经过优化的算法第一层隐藏层需要n*q次乘法，fir滤波器需要n*l次乘法，则经过优化后总共需要n*(l q)次乘法，当l＞2且q＞2时，n*(l q)小于n*l*q，则此时优化后的算法计算复杂度更低。
[0089]
且未经优化的方法不能自适应温度和发射功率的变化，当温度和发射功率变化时，需要重新训练神经网络参数，增加了训练时间。
[0090]
对于一个通道数为4，记忆深度为4，且神经网络第一层隐藏层为16的pim重构模块，未经优化的神经网络的输入个数为4*4＝16，第一层需要的乘法器个数为16*16＝256个，而优化后的神经网络输入为4个，第一层需要的乘法器个数为4*16＝64个，滤波器中乘法器个数为4*4＝16个，因此优化后所需乘法器个数为80个，为改进前的32％。
[0091]
根据本公开的实施例，当发射和接收频率变化时，只需要通过神经网络训练模块训练一组样本，更新一组pim重构模块中神经网络的参数即能实现pim消除系统，不需要更改硬件设计。
[0092]
根据本公开的实施例，记忆效应由自适应滤波器实现，乘法器资源减少，以下面为例说明。对于一个通道数为4，记忆深度为4的pim消除系统，传统多项式法选取3阶和5阶多项式，则pim重构所需要的乘法器为384个。对于神经网络第一层为4，第二层为16的pim重构模块，所需要的乘法器个数为96个，为传统多项式法的25％。
[0093]
因为神经网络是去拟合实际的pim信号，精度不再受选定的pim模型影响，经过matlab仿真，对于信噪比(signal to noise rate，snr)为30db，带宽为20mhz，4通道的系统中，传统多项式法的pim的均方差为0.0514，基于神经网络的pim的均方差为0.0315，精度提高。
[0094]
上述模块的至少一个可以通过ai模型来实现。与ai相关的功能可以通过非易失性存储器、易失性存储器和处理器来执行。
[0095]
处理器可以包括一个或多个处理器。此时，一个或多个处理器可以是通用处理器，例如中央处理单元(cpu)、应用处理器(ap)、或类似的纯图形处理单元，如图形处理单元(gpu)、视觉处理单元(vpu)、和/或人工智能专用处理器，如神经处理单元(npu)。
[0096]
一个或多个处理器根据存储在非易失性存储器和易失性存储器中的预定义操作规则或人工智能(ai)模型来控制对输入数据的处理。该预定义的操作规则或人工智能模型是通过训练或学习提供的。
[0097]
这里，通过学习提供是指，通过将学习算法应用到多个学习数据中，做出预定义的操作规则或人工智能模型的期望特征。该学习可以在根据实施例的ai模型在其中执行的设备上执行，并且可以通过单独的服务器/系统实现。
[0098]
ai模型可以包括多个神经网络层。每个层具有多个权重值，并通过计算前一个层和多个权重的操作来执行层操作。神经网络的例子包括但不限于卷积神经网络(cnn)、深度神经网络(dnn)、递归神经网络(rnnn)、限制性波尔兹曼机器(rbm)、深度相信网络(dbn)、双向递归深度神经网络(brdnn)、生成对抗性网络(gan)和深度q网络。
[0099]
学习算法是一种使用复数学习数据训练预定的目标设备(例如，机器人)的方法，以引起、允许或控制目标设备做出判断或预测。学习算法的例子包括但不限于监督学习、无监督学习、半监督学习、半监督学习或强化学习。
[0100]
以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。
[0101]
本技术领域技术人员可以理解，本公开包括涉及用于执行本公开中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、cd-rom、和磁光盘)、rom(read-only memory，只读存储器)、ram(random access memory，随即存储器)、eprom(erasable programmable read-only memory，可擦写可编程只读存储器)、eeprom(electrically erasable programmable read-only memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
[0102]
本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本公开公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
[0103]
本技术领域技术人员可以理解，本公开中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本公开中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本公开中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
[0104]
以上所述仅是本公开的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本公开原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本公开的保护范围。