编码方法、解码方法和编码装置、解码装置与流程

编码方法、解码方法和编码装置、解码装置
1.版权申明
2.本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
技术领域
3.本技术涉及图像处理领域，并且更为具体地，涉及一种编码方法、解码方法和编码装置、解码装置。


背景技术：

4.目前，基于神经网络的编解码技术的研究逐渐引起关注，对于基于神经网络模型的模型参数的管理和传输，一种方式是将神经网络模型的模型参数固定，并将其作为编码器和解码器都可得的一个公共库文件，但是这种方式一旦编码器的某些编码工具发生变化，其效果会降低。
5.另一种方式是将神经网络模型的模型参数通过码流传送到解码端，这样可以根据编码器的需求对模型参数进行灵活的调整，但是对于层度教深的深度学习神经网络模型来说参数量一般比较大，如果直接放到码流中进行传输增加了比特消耗，降低了视频压缩率。此外，基于神经网络的编码技术进行的编码由于有模型参数的管理和传输需求对图传场景的低延时传输带来了更大的挑战。


技术实现要素：

6.本技术提供一种编码方法、解码方法和编码装置、解码装置，可以很好地解决神经网络模型的模型参数的管理和传输问题；而且缓解了码流的比特消耗；此外，还可以降低由于有模型参数的管理和传输需求对低时延传输的挑战。
7.第一方面，提供一种编码方法，包括：利用基于神经网络的编码技术对待编码图像进行编码，以获得所述待编码图像的码流；通过第一通信链路传输所述待编码图像的码流；通过第二通信链路传输所述基于神经网络的编码技术所包含的神经网络模型的模型参数。
8.第二方面，提供一种解码方法，包括：通过第一通信链路接收待解码图像的码流；通过第二通信链路接收神经网络模型的模型参数；利用所述神经网络模型的模型参数对所述码流进行解码，获得解码后的图像。
9.第三方面，提供一种编码装置，包括：处理器，用于利用基于神经网络的编码技术对待编码图像进行编码，以获得所述待编码图像的码流；通过第一通信链路传输所述待编码图像的码流；通过第二通信链路传输所述基于神经网络的编码技术所包含的神经网络模型的模型参数。
10.第四方面，提供一种解码装置，包括用于通过第一通信链路接收待解码图像的码流；通过第二通信链路接收神经网络模型的模型参数；利用所述神经网络模型的模型参数
对所述码流进行解码，获得解码后的图像。
11.第五方面，提供了一种编码装置，包括处理器和存储器。该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，执行上述第一方面或其各实现方式中的方法。
12.第六方面，提供一种解码装置，包括处理器和存储器。该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，执行上述第二方面或其各实现方式中的方法。
13.第七方面，提供一种芯片，用于实现上述第一方面或其各实现方式中的方法。
14.具体地，该芯片包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有该芯片的设备执行如上述第一方面或其各实现方式中的方法。
15.第八方面，提供一种芯片，用于实现上述第二方面或其各实现方式中的方法。
16.具体地，该芯片包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有该芯片的设备执行如上述第二方面或其各实现方式中的方法。
17.第九方面，提供了一种计算机可读存储介质，用于存储计算机程序，该计算机程序包括用于执行第一方面或第一方面的任意可能的实现方式中的方法的指令。
18.第十方面，提供了一种计算机可读存储介质，用于存储计算机程序，该计算机程序包括用于执行第二方面或第二方面的任意可能的实现方式中的方法的指令。
19.第十一方面，提供了一种计算机程序产品，包括计算机程序指令，该计算机程序指令使得计算机执行上述第一方面或第一方面的各实现方式中的方法。
20.第十二方面，提供了一种计算机程序产品，包括计算机程序指令，该计算机程序指令使得计算机执行上述第二方面或第二方面的各实现方式中的方法。
21.本技术提供的方案，编码端分别通过第一通信链路和第二通信链路传输待编码图像的码流和神经网络模型的模型参数，解码端分别通过上述两个通信链路对应接收码流和神经网络模型的模型参数，可以很好地解决神经网络模型的模型参数的管理和传输问题；由于神经网络模型的模型参数通过第二通信链路传输，缓解了码流的比特消耗；此外，还可以降低由于有模型参数的管理和传输需求对低时延传输的挑战。
附图说明
22.图1是应用本技术实施例的技术方案的架构图；
23.图2是根据本技术实施例的视频编码框架2示意图；
24.图3是本技术一实施例提供的编码方法的示意性流程图；
25.图4是本技术一实施例提供的解码方法的示意性流程图；
26.图5是本技术实施例提供的智能编码技术的图传传输的示意图；
27.图6是本技术实施例提供的一种编码框架2的示意图；
28.图7是本技术实施例提供的一种训练神经网络模型的流程示意图；
29.图8a是本技术实施例提供的一种视频编码器应用智能编码技术的流程示意图；
30.图8b是本技术实施例提供的一种视频解码器应用智能编码技术的流程示意图；
31.图9是本技术一实施例提供的编码装置的示意性图；
32.图10是本技术一实施例提供的解码装置的示意性图；
33.图11是本技术另一实施例提供的编码装置的示意性图；
34.图12是本技术另一实施例提供的解码装置的示意性图；
35.图13是本技术实施例提供的芯片的示意性结构图。
具体实施方式
36.下面对本技术实施例中的技术方案进行描述。
37.除非另有说明，本技术实施例所使用的所有技术和科学术语与本技术的技术领域的技术人员通常理解的含义相同。本技术中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本技术的范围。
38.图1是应用本技术实施例的技术方案的架构图。
39.如图1所示，系统100可以接收待处理数据102，对待处理数据102进行处理，产生处理后的数据108。例如，系统100可以接收待编码数据，对待编码数据进行编码以产生编码后的数据，或者，系统100可以接收待解码数据，对待解码数据进行解码以产生解码后的数据。在一些实施例中，系统100中的部件可以由一个或多个处理器实现，该处理器可以是计算设备中的处理器，也可以是移动设备(例如无人机)中的处理器。该处理器可以为任意种类的处理器，本发明实施例对此不做限定。在一些可能的设计中，该处理器可以包括编码器、解码器或编解码器等。系统100中还可以包括一个或多个存储器。该存储器可用于存储指令和数据，例如，实现本发明实施例的技术方案的计算机可执行指令、待处理数据102、处理后的数据108等。该存储器可以为任意种类的存储器，本发明实施例对此也不做限定。
40.待编码数据可以包括文本、图像、图形对象、动画序列、音频、视频、或者任何需要编码的其他数据。在一些情况下，待编码数据可以包括来自传感器的传感数据，该传感器可以为视觉传感器(例如，相机、红外传感器)，麦克风、近场传感器(例如，超声波传感器、雷达)、位置传感器、温度传感器、触摸传感器等。在一些情况下，待编码数据可以包括来自用户的信息，例如，生物信息，该生物信息可以包括面部特征、指纹扫描、视网膜扫描、嗓音记录、dna采样等。
41.图2是根据本技术实施例的视频编码框架2示意图。如图2所示，在接收待编码视频后，从待编码视频的第一帧开始，依次对待编码视频中的每一帧进行编码。其中，当前编码帧主要经过：预测(prediction)、变换(transform)、量化(quantization)和熵编码(entropy coding)等处理，最终输出当前编码帧的码流。对应的，解码过程通常是按照上述过程的逆过程对接收到的码流进行解码，以恢复出解码前的视频帧信息。
42.具体地，如图2所示，所述视频编码框架2中包括一个编码控制模块201，用于进行编码过程中的决策控制动作，以及参数的选择。例如，如图2所示，编码控制模块201控制变换、量化、反量化、反变换的中用到的参数，控制进行帧内模式或者帧间模式的选择，以及运动估计和滤波的参数控制，且编码控制模块201的控制参数也将输入至熵编码模块中，进行编码形成编码码流中的一部分。
43.对当前编码帧开始编码时，对编码帧进行划分202处理，具体地，首先对其进行条带(slice)划分，再进行块划分。可选地，在一个示例中，编码帧划分为多个互不重叠的最大的编码树单元(coding tree unit，ctu)，各ctu还可以分别按四叉树、或二叉树、或三叉树的方式迭代划分为一系列更小的编码单元(coding unit，cu)，一些示例中，cu还可以包含
network，ann)，具有与生物神经网络共同的某些性能特征的信息处理系统。神经网络系统由许多简单且高度互连的处理组件组成，通过对外部输入的动态状态响应来处理信息。处理组件可以被认为是人脑中的神经元，其中每个感知器接受多个输入并计算输入的加权和。在神经网络领域，感知器被认为是生物神经元的数学模型。此外，这些互连的处理组件通常以层的形式组织。对于识别应用，外部输入可以对应于呈现给网络的模式，该模式与一个或多个中间层通信，也称为“隐藏层”，其中实际处理是通过加权“连接”系统完成的。
61.ann可以使用不同的架构来指定网络中涉及哪些变量及其拓扑关系。例如，神经网络中涉及的变量可能是神经元之间连接的权重，以及神经元的活动。大多数人工神经网络都包含某种形式的“学习规则”，它根据所呈现的输入模式修改连接的权重。从某种意义上说，人工神经网络就像他们的生物学对像一样通过实例来学习。
62.深度神经网络(deep neural network，dnn)或深度多层神经网络对应于具有多级互连节点的神经网络，其允许它们紧凑地表示高度非线性和高度变化的函数。然而，dnn的计算复杂度随着与大量层相关联的节点数量的增加而迅速增长。
63.目前，对于基于神经网络的编码技术包含的神经网络模型的模型参数的管理和传输，一种方式是将神经网络模型的模型参数固定于编码器和解码器都可得的一个公共库文件中，编码器和解码器在进行编码或解码时可以从该公共库文件中获取神经网络模型的模型参数，但是这种方式一旦编码器的某些编码工具发生变化，其效果会降低。
64.另一种方式是将神经网络模型的模型参数通过码流传送到解码端，这样可以根据编码器的需求对模型参数进行灵活的调整，但是对于层度教深的深度学习神经网络模型来说参数量一般比较大，如果直接放到码流中进行传输增加了比特消耗，降低了视频压缩率。此外，基于神经网络的编码技术进行的编码由于有模型参数的管理和传输需求对图传场景的低延时传输带来了更大的挑战。
65.本技术提供一种编码方法、解码方法和编码装置、解码装置，可以很好地解决神经网络模型的模型参数的管理和传输问题，而且也缓解了码流的比特消耗，此外，还可以降低由于有模型参数的管理和传输需求对低时延传输的挑战。
66.下面将结合图3详细描述本技术实施例提供的编码方法300。
67.如图3所示为本技术一实施例提供的编码方法300的示意图，该方法300可以包括步骤310-330。
68.310，利用基于神经网络的编码技术对待编码图像进行编码，以获得所述待编码图像的码流。
69.本技术实施例中，利用基于神经网络的编码技术(也可以称为“智能编码技术”)对待编码图像进行编码可以理解为：利用基于神经网络模型的编码模块替换或补充编解码框架中的部分编码模块对待编码图像进行编码，或者，利用基于神经网络模型的编码框架替换原始的编码框架对待编码图像进行编码。
70.基于神经网络的编码技术主要包括三个方面：混合式神经网络视频编码(即将神经网络的编码模块代替传统编码模块嵌入到传统的视频编码框架中)、神经网络率失真优化编码以及端到端的神经网络视频编码。
71.可选地，在一些实施例中，对于编码过程中的预测、变换、量化、熵编码、滤波中的至少一种，可以利用基于神经网络模型的编码模块替换编码框架中的部分编码模块对待编
码图像进行编码。
72.需要特别说明的是，对于编码过程中的滤波，也可以在现有的滤波模块中增加一个基于神经网络模型的滤波模块对重建图像进行滤波。
73.示例性地，对于编码过程中的帧内预测，采用基于神经网络的帧内预测方法与原有的帧内预测方法进行比较决策出最优的帧内预测方法进行预测；对于编码过程中的帧间预测，可以采用基于神经网络的图像超分辨率技术进行预测，可以提升运动估计性能，进而提高帧间预测的效率。
74.对于编码过程中的熵编码，可以采用基于神经网络技术的上下文概率估计方法替换传统的基于规则的上下文概率预测模型，应用于系数编码或者其它一些语法元素的熵编码过程中。对于编码过程中的滤波，可以在去方块滤波之后，增加基于神经网络的滤波(neural network filter，nnf)技术。
75.端到端的神经网络视频编码则是完全抛开传统的混合视频编码框架的方式，直接输入视频图像以及相关信息，采用基于神经网络的预测方式进行预测和压缩编码。
76.320，通过第一通信链路传输所述待编码图像的码流。
77.330，通过第二通信链路传输所述基于神经网络的编码技术所包含的神经网络模型的模型参数。
78.可选地，本技术实施例中的神经网络模型可以包括离线训练的神经网络模型或在线训练的神经网络模型，不予限制。
79.本技术实施例中的神经网络模型可以包括dnn、卷积神经网络(convolutional neural network，cnn)、递归神经网络(recurrent neural network，rnn)或其他神经网络变体等，本技术对此不作具体限制。
80.本技术实施例中的神经网络模型的模型参数包括但不限于神经网络的层数、神经元的个数、神经元之间连接的权重等。
81.相应地，对于解码端，可以基于接收到的神经网络模型的模型参数对码流进行解码。如图4所示为本技术一实施例提供的解码方法400的示意图，该方法400可以包括步骤410-430。
82.410，通过第一通信链路接收待解码图像的码流。
83.420，通过第二通信链路接收神经网络模型的模型参数。
84.430，利用所述神经网络模型的模型参数对所述码流进行解码，获得解码后的图像。
85.可选地，在一些实施例中，对于解码过程中的熵解码、反量化、反变换、预测重建或滤波中的至少一种，可以利用基于神经网络模型的解码模块替换解码框架中的部分解码模块对待解码图像进行解码。
86.需要特别说明的是，对于解码过程中的滤波，也可以在现有的滤波模块中增加一个基于神经网络模型的滤波模块对预测重建图像进行滤波。
87.本技术提供的方案，编码端分别通过第一通信链路和第二通信链路传输待编码图像的码流和神经网络模型的模型参数，解码端分别通过上述两个通信链路对应接收码流和神经网络模型的模型参数，可以很好地解决神经网络模型的模型参数的管理和传输问题；由于神经网络模型的模型参数通过第二通信链路传输，缓解了码流的比特消耗；此外，还可
以降低由于有模型参数的管理和传输需求对低时延传输的挑战。
88.可选地，在一些实施例中，所述第一通信链路和所述第二通信链路具有不同的物理特性。
89.本技术实施例中的物理特性可以由具体的应用需求决定，示例性地，可以包括传输时延和/或传输带宽。但应理解，该物理特性还可以为其它特性，不应对本技术造成特别限定。
90.可选地，在一些实施例中，所述第一通信链路的传输时延低于所述第二通信链路，和/或，所述第二通信链路的传输带宽高于所述第一通信链路。
91.本技术实施例中，第一通信链路与第二通信链路相比，其传输时延较低，或，传输带宽较低，或，传输时延和传输带宽均较低；换句话说，第二通信连路的传输时延和/或传输带宽高于第一通信链路。
92.需要说明的是，编码端在对待编码图像进行编码的过程中，可能会实时传输编码码流，以便于解码端可以及时对其进行解码。因此，可以考虑时延较低的第一通信链路传输待编码图像的码流。
93.还需要说明的是，编码端利用神经网络模型对待编码图像进行编码的过程中，可以通过第二通信链路传输神经网络模型的模型参数，由于神经网络模型的模型参数较多，特别是对于层数较多的神经网络模型的模型参数更复杂，因此，可以考虑利用带宽较高的第二通信链路传输神经网络模型的模型参数。
94.本技术提供的方案，通过传输时延较低的第一通信链路传输待编码图像的码流，通过传输带宽较高的第二通信链路传输神经网络模型的模型参数，可以很好地解决神经网络模型的模型参数的管理和传输问题，同时可以进一步减少由于有神经网络模型的模型参数的管理和传输需求对于低时延传输的挑战。
95.可选地，在一些实施例中，所述第一通信链路包括时延小于或等于第一阈值的链路，所述第二通信链路包括带宽大于或等于第二阈值的链路。
96.本技术实施例中的第一阈值和/或第二阈值可以通过协议规定，也可以通过服务器配置；第一阈值和/或第二阈值可以是固定值，也可以是不断调整的变化的值；不予限制。
97.可选地，在一些实施例中，所述第一通信链路包括基于私有图传协议或无线局域网协议的链路，所述第二通信链路包括基于移动通信协议的链路。
98.可选地，在一些实施例中，所述私有图传协议包括软件无线电(software defination radio，sdr)协议，所述无线局域网协议包括无线保真(wireless fidelity，wifi)协议，所述移动通信协议包括4g或5g协议。
99.需要说明的是，本技术实施例中，私有图传协议示出了sdr协议，私有图传协议还可以包括其它协议，如开放式网络视频接口论坛(open network video interface forum，onvif)协议等，不予限制。
100.本技术实施例中的无线局域网协议除了上述所示出的wifi协议外，还可以包括其它协议，如蓝牙(bluetooth)、紫蜂(zigbee)等，不予限制。
101.此外，本技术实施例中的移动通信协议除了上述所示出的4g或5g协议之外，还可以包括其它协议，如未来的6g协议等。
102.当然，在一些实施例中，第一通信链路也可以为基于sdr协议的链路，第二通信链
路为基于wifi协议的链路。
103.可选地，在一些实施例中，所述第一通信链路包括私有图传链路，所述第二通信链路包括公网传输链路。
104.如图5所示，为本技术实施例提供的智能编码技术的图传传输的示意图。采集端(也可以理解为编码端)采集到视频后，经过编码器和神经网络计算平台的压缩编码后得到码流和对应的神经网络模型的模型参数，然后经过无线图传系统将码流和神经网络模型的模型参数传输到显示端。显示端(也可以理解为解码端)在接收到码流和对应的神经网络模型的模型参数后，通过显示端的解码器和神经网络计算平台进行解码得到重建视频，并通过显示端的显示器显示该重建视频。
105.其中，上述无线图传系统可以是无线视频传输系统，可以包括私有图传链路和公网传输链路，用于分别传输码流和神经网络模型的模型参数。
106.本技术实施例中的私有图传链路可以包括基于sdr协议的链路或基于wifi协议的链路或基于onvif协议的链路；本技术实施例中的公网传输链路可以包括基于4g或5g或6g协议的链路。
107.本技术提供的方案，通过私有图传链路传输待编码图像的码流，通过公网传输链路传输神经网络模型的模型参数，可以很好地解决神经网络模型的模型参数的管理和传输问题。
108.可选地，在一些实施例中，所述第一通信链路和/或所述第二通信链路是从以下一种或多种链路中选择的：
109.基于无线局域网协议的链路、基于移动通信协议的链路、基于以太网协议的链路。
110.本技术实施例中，编码端传输待编码图像的码流和神经网络模型的模型参数时，也可以从一种或多种链路中灵活选择，从而可以提高灵活性。
111.上文指出，神经网络模型包括离线训练的神经网络模型或在线训练的神经网络模型，下文将以这两种神经网络模型为例，分别介绍利用基于神经网络的编码技术对待编码图像进行编码的相关内容。
112.情况一：利用基于在线训练的神经网络的编码技术对待编码图像进行编码方式一：
113.可选地，在一些实施例中，所述神经网络模型为在线训练的神经网络模型，所述利用基于神经网络的编码技术对待编码图像进行编码，包括：
114.对于第n个目标图像，利用对第n-m个目标图像进行训练获得的神经网络模型对所述第n个目标图像进行编码，所述目标图像为对所述待编码图像按照视频序列级、图像组级、图像级中的任意一种进行划分后的图像；所述n为大于等于1的整数，所述m为大于等于1的整数。
115.本技术实施例中的目标图像可以为对待编码图像按照视频序列级、图像组(group of picture，gop)级、图像级(或称帧级)中的任意一种进行划分后的图像。其中，gop的长度可以自主定义，一般可以将视频序列中从当前i帧到下一个i帧之前的图像作为一个gop。
116.为了便于理解本技术的方案，先对gop进行简单介绍。gop包括一组连续的画面，由一张i帧和数张b帧和/或p帧组成，是视频图像编码器和解码器存取的基本单位。i帧(也可以称为关键帧)即帧内编码图像帧，可以理解为这一帧画面的完整保留；b帧即双向参考帧
或双向差别帧，可以理解为b帧记录的是本帧与前后帧的差别，解码时要取得之前的缓存图像和解码之后的图像，通过前后图像的数据与本帧数据的叠加取得最终的图像；p帧即前向参考帧或前向预测帧，可以理解为本帧跟前一帧的差别，解码时需要用之前缓存的图像叠加上本帧定义的差别，生成最终图像。
117.此外，本技术实施例中的目标图像根据对待编码图像划分的级别不同存在差异。
118.若目标图像是按照视频序列级对待编码图像进行划分得到的，则利用第n-m个目标图像进行训练获得的神经网络模型对第n个目标图像进行编码可以理解为：将视频所包含的全部待编码图像作为1个目标图像，基于预先训练好的神经网络模型对其进行编码。
119.若目标图像是按照图像组级对待编码图像进行划分得到的，则利用第n-m个目标图像进行训练获得的神经网络模型对第n个目标图像进行编码可以理解为：利用第n-m个gop进行训练获得的神经网络模型对第n个gop中包括的各个图像进行编码，此处的gop包括一个i帧和数张b帧和/或p帧。
120.若目标图像是按照图像级对待编码图像进行划分得到的，则利用第n-m个目标图像进行训练获得的神经网络模型对第n个目标图像进行编码可以理解为：利用第n-m个图像进行训练获得的神经网络模型对第n个图像进行编码，此处的图像可以理解为图像帧，如上文中的i帧、b帧或p帧。
121.需要说明的是，本技术实施例中，m《n，即可以利用第n个目标图像之前的任一目标图像对其进行编码。
122.示例性地，对于第3个目标图像，可以利用第2个目标图像进行训练获得的神经网络模型对其进行编码，同时将第2个目标图像进行训练获得的神经网络模型的模型参数传输至解码端，便于解码端的解码；对于第3个目标图像，可以利用第1个目标图像进行训练获得的神经网络模型对其进行编码，由于对第2个目标图像进行编码会传输第1个目标图像进行训练获得的神经网络模型的模型参数，因此，在这种情况下，可以不再另外传输第3个目标图像所采用的神经网络模型的模型参数，只需通知解码端所采用的神经网络模型的模型参数即可，特别是对于层数较多的复杂的神经网络模型，该方式不仅可以满足由于模型参数较多而无法满足时延传输的要求，同时也可以进一步节省带宽。
123.本技术提供的方案，通过利用对第n-m个目标图像进行训练获得的神经网络模型对所述第n个目标图像进行编码，可以提高编码的灵活性，能够适应于多种场景，而且针对各种场景训练的神经网络模型，基于神经网络模型的预测效果更佳。此外，对于采用间隔的目标图像进行训练获得的神经网络模型的模型参数进行的编码，不仅可以满足由于模型参数较多而无法满足时延传输的要求，同时也可以进一步节省带宽。
124.如上所述，基于神经网络的编码技术可以应用于编码过程中的任意阶段，下文以基于神经网络的滤波技术为例进行说明。
125.可选地，在一些实施例中，所述利用对第n-m个目标图像进行训练获得的神经网络模型对所述第n个目标图像进行编码，包括：
126.利用对所述第n-m个目标图像进行训练获得的神经网络模型对所述第n个目标图像进行滤波，所述第n-m个目标图像为第n-m个编码图像未经过神经网络模型进行滤波的图像，所述第n个目标图像为第n个编码图像未经过神经网络模型进行滤波的图像。
127.如图6所示，为本技术实施例提供的一种编码框架2的示意图。
128.其中，编码端在利用反量化206和反变换207得到重建像素后，可以对该重建像素进行滤波211。在进行滤波的过程中，可以通过对重建像素进行去方块滤波(deblocking filter，df)、nnf、样点自适应补偿(sample adaptive offset，sao)或自适应环路滤波(adaptive loop fitler，alf)中的任意一种或多种，输出滤波后的重建图像。
129.以目标图像为gop为例，在编码当前待编码图像的第1个gop时，将第1个gop的图像作为训练集，进行基于神经网络的滤波技术的模型训练过程。整个训练过程可以参考如下过程：在编码过程中可以将当前待编码图像送入到图6所示的框架中进行编码训练，例如，第1个gop经过反量化和反变换后得到重建图像，对该重建图像进行df、nnf、sao以及alf。待第1个gop内所有图像编码完成后，则得到第1个gop内所有图像编码后的码流以及基于第1个gop内有所有图像经过神经网络框架训练得到的神经网络模型。
130.在编码当前待编码图像的第2个gop时，用第1个gop训练得到的神经网络模型进行基于神经网络的滤波技术。具体的滤波过程可以参考如下过程：在编码第2个gop内的图像时，该第2个gop经过反量化和反变换后得到重建图像，然后将该重建图像送入到部署了用第1个gop训练得到的神经网络模型的滤波模块得到滤波后的重建图像，其中，此处的滤波模块包括df模块、nnf模块、sao模块以及alf模块，且该nnf模块中包括用第1个gop训练得到的神经网络模型。
131.以此类推，对于第n个gop，在编码第n个gop时，用第n-m个gop训练得到的神经网络模型进行基于神经网络的滤波技术。具体的滤波过程可以参考如下过程：在编码第n个gop内的图像时，该第n个gop经过反量化和反变换后得到重建图像，然后将该重建图像送入到部署了用第n-m个gop训练得到的神经网络模型的滤波模块得到滤波后的重建图像，类似地，此处的滤波模块包括df模块、nnf模块、sao模块以及alf模块，且该nnf模块中包括用第n-m个gop训练得到的神经网络模型。
132.可以理解的是，图6中所示的滤波顺序仅为示例说明，还可以为其它顺序，例如，df、sao、nnf以及alf，不应对本技术造成特别限定。
133.需要说明的是，m可以为小于n的任意正整数。示例性地，对于第3个gop，可以利用第2个gop训练得到的神经网络模型对其进行编码，也可以利用第1个gop训练得到的神经网络模型对其进行编码，不予限制。
134.本技术提供的方案，通过利用对第n-m个目标图像进行训练获得的神经网络模型对所述第n个目标图像进行滤波，可以提高滤波的灵活性。
135.可选地，在一些实施中，m为编码前固化到或预设在编码端的参数；或，m为编码过程中形成的参数。
136.本技术实施例中，m可以为编码过程中形成的参数，例如，m＝2，则对于第3个gop，可以利用第1个gop训练得到的神经网络模型对其进行编码；对于第4个gop，可以利用第2个gop训练得到的神经网络模型对其进行编码；对于第5个gop，可以利用第3个gop训练得到的神经网络模型对其进行编码；不予限制。则前面的第1个和第2个gop中的图像可以利用预设的神经网络模型对其进行编码。
137.应理解，上述数值仅为举例说明，还可以为其它数值，不应对本技术造成特别限定。
138.方式二：
139.可选地，在一些实施例中，所述神经网络模型为在线训练的神经网络模型，所述利用基于神经网络的编码技术对待编码图像进行编码，包括：
140.对于待编码的第一目标图像，利用对已编码的第二目标图像进行训练获得的神经网络模型对所述第一目标图像进行编码，所述第一目标图像和所述第二目标图像为对所述待编码图像按照视频序列级、图像组级、图像级中的任意一种进行划分后的图像；
141.所述通过第二通信链路传输所述基于神经网络的编码技术所包含的模型参数，包括：通过所述第二通信链路传输对所述第二目标图像进行训练获得的神经网络模型的模型参数。
142.可选地，在一些实施例中，所述第一目标图像和所述第二目标图像的图像间隔q个目标图像，所述q为大于或等于0的正整数。
143.类似地，本技术实施例中的第一目标图像和第二目标图像可以为对待编码图像按照视频序列级、gop级、图像级中的任意一种进行划分后的图像。
144.本技术实施例中，在对第一目标图像进行编码时，可以利用对已编码的第二目标图像进行训练获得的神经网络模型对其进行编码。假设第一目标图像为当前待编码图像的第2个gop，可以利用已编码的第1个gop进行训练获得的神经网络模型对其进行编码；假设第一目标图像为第3个gop，可以利用已编码的第2个gop进行训练获得的神经网络模型对其进行编码；本技术对此不作具体限定。
145.本技术实施例中的q可以为大于或等于0的正整数，以目标图像为gop为例，若q为0，则第二目标图像为与第一目标图像相邻的前一个gop；若q为1，则第二目标图像为与第一目标图像间隔一个gop的前一个gop；若q为2，则第二目标图像为与第一目标图像间隔两个gop的前一个gop。
146.可选地，在一些实施例中，所述q为编码前固化到或预设在编码端的参数。
147.本技术提供的方案，编码端利用对已编码的第二目标图像进行训练获得的神经网络模型对待编码的第一目标图像进行编码，可以提高编码的灵活性，能够适应于多种场景，而且针对各种场景训练的神经网络模型，基于神经网络模型的预测效果更佳。
148.相应地，对于解码端，利用接收到的对第二目标图像进行训练获得的神经网络模型的模型参数对第一目标图像的码流进行解码，以获得所述第一目标图像。
149.可选地，在一些实施例中，所述第一目标图像和所述第二目标图像的图像间隔q个目标图像，所述q为大于或等于0的正整数。
150.可选地，在一些实施例中，所述q为解码前固化到或预设在解码端的参数。
151.本技术实施例中，解码端可以利用接收到的对第二目标图像进行训练获得的神经网络模型的模型参数对第一目标图像的码流进行解码。解码端在进行解码的过程中，可以根据固化到或预设在解码端的参数q确定第二目标图像进行训练获得的神经网络模型的模型参数对应的待解码目标图像。
152.示例性地，以目标图像为gop为例，若q为0，则解码端在解码第一目标图像时，可以利用与之相邻的前一个gop进行训练获得的神经网络模型的模型参数对第一目标图像的码流进行解码；若q为1，则解码端在解码第一目标图像时，可以利用与之间隔一个gop的前一个gop进行训练获得的神经网络模型的模型参数对第一目标图像的码流进行解码；若q为2，则解码端在解码第一目标图像时，可以利用与之间隔两个gop的前一个gop进行训练获得的
神经网络模型的模型参数对第一目标图像的码流进行解码。
153.本技术提供的方案，解码端利用接收到的对第二目标图像进行训练获得的神经网络模型的模型参数对第一目标图像的码流进行解码，可以提高灵活性，能够适应于多种场景，而且针对各种场景训练的神经网络模型，基于神经网络模型的预测重建效果更佳。
154.情况二：利用基于离线训练的神经网络的编码技术对待编码图像进行编码
155.可选地，在一些实施例中，所述神经网络模型为离线训练的神经网络模型，所述利用基于神经网络的编码技术对待编码图像进行编码，包括：
156.对于第p个目标图像，利用所述离线训练的神经网络模型对所述第p个目标图像进行编码，所述目标图像为对所述待编码图像按照视频序列级、图像组级、图像级中的任意一种进行划分后的图像，所述p为大于或等于0的整数。
157.本技术实施例中，利用离线训练的神经网络模型对所述第p个目标图像进行编码可以包括：利用离线训练的神经网络模型对第p个目标图像进行预测、变换、量化、熵编码、滤波中的至少一种。
158.下文以基于神经网络的滤波技术为例进行说明，假设上述目标图像为对待编码图像按照gop级进行划分后的图像，首先可以基于一个能够覆盖大多数视频场景的训练集进行基于神经网络的滤波技术的神经网络模型的训练，得到训练好的神经网络模型。采集端将训练好的神经网络模型部署到神经网络计算平台并结合编码器对第p个gop进行编码得到码流，然后将该码流和神经网络模型的模型参数通过无线图传系统(采用双通信链路的方式进行传输)传送到显示端。显示端在接收到神经网络模型的模型参数和码流后，将基于该模型参数的神经网络模型部署到显示端的神经网络计算平台，结合解码器进行解码得到重建视频再进行显示。
159.本技术提供的方案，编码端利用离线训练的神经网络模型对第p个目标图像进行编码，并分别通过第一通信链路和第二通信链路传输码流和神经网络模型的模型参数，可以很好地解决神经网络模型的模型参数的管理和传输问题。
160.如上所述，利用基于神经网络的编码技术对待编码图像进行编码后，可以通过第二通信链路传输基于神经网络的编码技术包含的神经网络模型的模型参数。对于在线训练的神经网络模型，由于神经网络模型的模型参数随着编码的不断进行持续更新，因此会向解码端传输多个神经网络模型的模型参数，解码端需要确定待解码的码流所对应的神经网络模型的模型参数；对于离线训练的神经网络模型，编码端在训练神经网络模型的时候有可能训练出多个神经网络模型，编码端可能会用不同的神经网络模型对不同的目标图像进行编码，因此也会向解码端传输多个神经网络模型的模型参数，解码端同样也需要确定待解码的码流所对应的神经网络模型的模型参数。下文将介绍解码端确定待解码的码流所对应的神经网络模型的模型参数的相关内容。
161.可选地，在一些实施例中，所述待编码图像的码流中还包括第一指示信息，所述第一指示信息用于指示在对所述待编码图像进行编码时采用的神经网络模型的模型参数的标识。
162.情况一：利用在线训练的神经网络模型进行的编码
163.上文指出，对于第n个gop，在编码第n个gop时，用第n-m个gop训练得到的神经网络模型进行基于神经网络的滤波技术。具体的滤波过程可以参考如下过程：在编码第n个gop
内的图像时，将第n-m个gop内的图像送入到hm平台中进行编码得到重建图像，然后将该重建图像送入到部署了用第n-m个gop训练得到的神经网络模型的滤波模块得到滤波后的重建图像，再将该重建图像进行后续的sao、alf过程得到最终的重建图像。
164.本技术实施例中，编码端在编码第1个gop时，其对应的码流中可以包括第一指示信息，指示在编码该第1个gop时采用的神经网络模型的模型参数的标识；编码端在编码第2个gop时，其对应的码流中可以包括第一指示信息，指示在编码该第2个gop时采用的神经网络模型的模型参数的标识；以此类推，编码端在编码第n个gop时，其对应的码流中可以包括第一指示信息，指示在编码该第n个gop时采用的神经网络模型的模型参数的标识。
165.解码端在接收到码流和神经网络模型的模型参数后，可以根据码流中的第一指示信息识别待解码图像的码流所对应的神经网络模型的模型参数的标识，基于该标识，可以确定待解码图像的码流在编码时所采用的神经网络模型的模型参数，并根据该神经网络模型的模型参数对码流进行解码，从而得到最终的重建图像。
166.情况二：利用离线训练的神经网络模型进行的编码
167.本技术实施例中，编码端在训练基于神经网络的滤波技术的神经网络模型时，有可能训练出多个神经网络模型，例如，编码端在对待编码图像中的不同目标图像进行滤波时，可以采用不同的神经网络模型进行滤波。
168.示例性地，假设编码端训练出3个神经网络模型，分别为神经网络模型1、神经网络模型2、神经网络模型3；在编码第1个gop时，采用神经网络模型1对其进行滤波，其对应的码流中可以包括第一指示信息，指示在编码第1个gop时采用的神经网络模型的模型参数的标识；在编码第2个gop时，采用神经网络模型2对其进行编码，其对应的码流中可以包括第一指示信息，指示在编码第2个gop时采用的神经网络模型的模型参数的标识；在编码第3个gop时，采用神经网络模型3对其进行滤波，其对应的码流中可以包括第一指示信息，指示在编码第3个gop时采用的神经网络模型的模型参数的标识。
169.相应地，解码端在接收到码流和神经网络模型的模型参数后，可以根据码流中的第一指示信息识别待解码图像的码流所对应的神经网络模型的模型参数的标识，基于该标识，可以确定待解码图像的码流在编码时所采用的神经网络模型的模型参数，并根据该神经网络模型的模型参数对码流进行解码，从而得到最终的重建图像。
170.需要说明的是，编码端在对目标图像进行滤波的过程中，可以采用训练好的任意神经网络模型对其进行滤波。例如，在编码第1个gop和第2个gop时，均可以采用神经网络模型1对其进行滤波；在编码第3个gop时，可以采用神经网络模型3对其进行滤波；不予限制。
171.本技术提供的方案，通过在码流中增加第一指示信息，指示编码端在对待编码图像进行编码时采用的神经网络模型的模型参数的标识，便于解码端在解码时确定待解码图像对应的模型参数，可以提高解码的准确率。
172.可选地，在一些实施例中，若所述待编码图像为关键帧，则所述待编码图像的码流中还包括第一指示信息，所述第一指示信息用于指示在对所述待编码图像进行编码时采用的神经网络模型的模型参数的标识。若所述待编码图像为非关键帧，则码流中可以不包括第一指示信息。
173.可选地，在一些实施例中，所述第一指示信息还用于指示在对当前关键帧至下一个关键帧之间的其它帧进行编码时采用的神经网络模型的模型参数的标识。
174.本技术实施例中的关键帧即为上文中的i帧，可以理解的是，若当前待编码帧为i帧，则编码端在对当前i帧进行编码后的码流中可以包括第一指示信息，指示在对当前i帧进行编码时采用的神经网络模型的模型参数的标识，便于解码端的正确解码。
175.此外，若当前待编码帧为i帧，其后续待编码帧为b帧和/或p帧，则上述第一指示信息除了指示在对当前i帧进行编码时采用的神经网络模型的模型参数的标识外，还可以指示在对当前i帧至下一个i帧之间的其它帧(如b帧和/或p帧)进行编码时采用的神经网络模型的模型参数的标识。
176.换句话说，编码端在对当前i帧编码的过程中，通过在当前i帧的编码码流中增加第一指示信息，该第一指示信息可以用于指示当前i帧以及当前i帧至下一个i帧之间的其它帧(如b帧和/或p帧)进行编码时采用的神经网络模型的模型参数的标识。
177.对于解码端，解码端在解码到一个i帧时，若该i帧之后相邻的帧为b帧和/或p帧，则可以继续采用该i帧进行解码时的模型参数对该i帧之后相邻的b帧和/或p帧进行解码，直到解码出下一个i帧。
178.本技术提供的方案，码流中包括的第一指示信息指示当前i帧以及当前i帧至下一个i帧之间的其它帧进行编码时采用的神经网络模型的模型参数的标识，便于解码端在解码时确定待解码图像对应的模型参数，可以提高解码的准确率，此外，可以仅在i帧中携带第一指示信息，而在b帧或p帧中不携带第一指示信息，还可以进一步减少比特消耗。
179.可选地，在一些实施例中，所述通过第二通信链路传输所述基于神经网络的编码技术所包含的神经网络模型的模型参数，包括：
180.通过所述第二通信链路传输所述神经网络模型的模型参数以及所述神经网络模型的模型参数对应的标识。
181.相应地，对于解码端，通过所述第二通信链路接收所述神经网络模型的模型参数和所述神经网络模型模型参数对应的标识。
182.本技术实施例中，编码端也可以通过第二通信链路传输神经网络模型的模型参数和该神经网络模型的模型参数所对应的标识，解码端则通过第二通信链路接收神经网络模型的模型参数和该神经网络模型的模型参数所对应的标识，并通过该标识确定解码码流时对应的神经网络模型的模型参数，基于确定的神经网络模型的模型参数对码流进行解码。
183.在一些实施例中，针对基于神经网络的编码技术，可以基于已有的视频场景训练集离线训练得到一个可用的神经网络模型，作为编码端实现的一个基本的神经网络模型。
184.在实际应用过程中，可以基于不同应用场景重新训练神经网络模型，编码端在编码的过程中，可以选择使用重新训练的神经网络模型或已有的基本的神经网络模型进行编码，并将是否使用重新训练的神经网络模型的语法元素进行编码写入到码流中。
185.当编码端选择重新训练的神经网络模型进行编码时，则可以将重新训练的神经网络模型的模型参数通过第二通信链路传输，同时将使用重新训练的神经网络模型的语法元素进行编码写入到码流中；当编码端选择已有的基本的神经网络模型进行编码时，则不需将重新训练的神经网络模型的模型参数通过第二通信链路传输至解码端，进一步地，也可以将没有使用重新训练的神经网络模型的语法元素进行编码写入到码流中。
186.解码端则从接收到的码流中解码出是否使用重新训练的神经网络模型的标识采用已有的基本的神经网络模型进行解码或采用通过第二通信链路传输过来的重新训练的
神经网络模型进行解码。
187.在一种实现方式中，假设编码端通过已有的视频场景训练集离线训练得到一个可用的神经网络模型1。编码端在编码待编码图像的第1个gop时，确定神经网络模型1不能用于编码该第1个gop，则可以将第1个gop作为训练集，进行基于神经网络的编码技术的神经网络模型的训练过程，获得第1个gop内所有图像编码后的码流以及基于第1个gop内所有图像经过神经网络框架训练得到的神经网络模型。此外，可以将该神经网络模型的模型参数通过第二通信链路传输至解码端，并在码流中写入使用重新训练的神经网络模型的语法元素。对于待编码图像的其他gop，也可以采用类似的方法进行编码，再在此不再赘述。
188.在另一种实现方式中，假设编码端通过已有的视频场景训练集离线训练得到一个可用的神经网络模型1。编码端在编码待编码图像的第1个gop时，确定神经网络模型1可以用于编码该第1个gop，则可以用神经网络模型1编码该第1个gop，获得第1个gop内所有图像编码后的码流，并在码流中写入未使用重新训练的神经网络模型的语法元素。神经网络模型1的模型参数可以预设在解码端，也可以通过第二通信链路传输至解码端，不予限制。对于待编码图像的其他gop，也可以采用类似的方法进行编码，再在此不再赘述。
189.本技术提供的方案，编码端可以选择使用已有的基本的神经网络模型进行编码，也可以选择使用重新训练的神经网络模型进行编码，可以提高编码的灵活性。
190.可选地，在一些实施例中，所述码流中还包括第二指示信息，所述第二指示信息用于指示所述神经网络模型是基于图像组、帧、或序列中的一种进行训练的。
191.本技术实施例中，通过第一通信链路传输的码流中可以包括第二指示信息，指示神经网络模型是基于图像组、帧、或序列中的一种进行训练的。
192.解码端在接收到编码端传输的码流后，可以通过码流中的第二指示信息确定神经网络模型的训练方式，并结合神经网络模型的训练方式和接收到的神经网络模型的模型参数确定神经网络模型，以及基于该神经网络模型对码流进行解码。
193.上文指出，编码端通过第二通信链路传输神经网络模型的模型参数，在一些实现方式中，可以对该神经网络模型的模型参数进行处理，并将处理后的模型参数传输至解码端，具体请参见下文。
194.可选地，在一些实施例中，所述方法300还包括：
195.将所述神经网络模型的模型参数转换为目标格式；
196.对所述目标格式的模型参数进行压缩，得到压缩后的模型参数；
197.所述通过第二通信链路传输所述基于神经网络的编码技术所包含的神经网络模型的模型参数，包括：通过所述第二通信链路传输所述压缩后的模型参数。
198.相应地，对于解码端，上述步骤420中通过第二通信链路接收神经网络模型的模型参数，包括：通过所述第二通信链路接收压缩后的模型参数；
199.上述步骤430中利用所述神经网络模型的模型参数对所述码流进行解码，包括：对所述压缩后的模型参数进行解压缩，以获得目标格式；对所述目标格式进行转换；利用转换后的格式的模型参数对所述码流进行解码。
200.本技术实施例中，编码端在利用神经网络模型对待编码图像进行编码后，可以对该神经网络模型的模型参数进行格式转换，以获得可以进行压缩处理的目标格式，通过对该目标格式进行压缩处理得到压缩后的模型参数，并将压缩后的模型参数通过第二通信链
路传输至解码端。解码端在接收到压缩后的模型参数后，可以先对其进行解压缩，得到目标格式，然后再对该目标格式进行转换，获得码流所对应的神经网络模型的模型参数，并利用该神经网络模型的模型参数对码流进行解码。
201.可选地，在一些实施例中，所述目标格式包括神经网络变换格式(neural network exchange format，nnef)或开放神经网络变换(open neural network exchange)onnx格式。
202.本技术实施例中的nnef和onnx格式是两种相近的开放格式，用于表示和交换深度学习框架和推理引擎之间的神经网络。两种格式的核心都是基于一组常用操作，可以从这些操作中构建网络。
203.nnef通过支持多种设备和平台上的应用程序使用丰富的神经网络训练工具和推理引擎的组合，减少了机器学习部署的分散性，主要目标是能够从深度学习框架中导出网络并将其导入到硬件供应商的推理引擎中。
204.onnx定义了一组通用的运算符-机器学习和深度学习模型的构建块以及一种通用的文件格式，以使人工智能(artificial intelligence，ai)开发人员可以将模型与各种框架、工具，运行时和编码器以及译码器一起使用。
205.这两种格式均可以存储常用的深度学习框架生成的神经网络模型，其目的是可以实现神经网络模型在不同深度学习框架之间的交互和通用。
206.本技术提供的方案，通过将神经网络模型的模型参数转换为目标格式，可以实现神经网络模型在不同深度学习框架之间的交互和通用；此外，对转换后得到的目标格式进行压缩并传输压缩后的模型参数，可以进一步节省带宽。
207.可选地，在一些实施例中，所述对所述目标格式的模型参数进行压缩，包括：利用动态图像专家组(moving pictures experts group，mpeg)的神神经网络表达(neural network representation，nnr)压缩方法对所述目标格式的模型参数进行压缩，以获得nnr的码流；
208.所述通过所述第二通信链路传输所述压缩后的模型参数，包括：通过所述第二通信链路传输所述nnr的码流。
209.相应地，对于解码端，通过所述第二通信链路接收所述nnr的码流；并对所述nnr的码流进行解压缩。
210.本技术实施例中，nnr是一种采用类似于视频压缩编码的方式对神经网络模型进行表示和压缩的方法。通过采用权重稀疏化、网络参数剪枝、量化、低秩近似、预测编码、熵编码等方式将神经网络模型参数压缩成由多个nnr单元组成的nnr比特流(bitstream)。
211.本技术实施例中，对于神经网络模型的训练可以通过以下方式进行训练。
212.如图7所示，为本技术实施例提供的一种训练神经网络模型的流程示意图。参考图7，通过编码器和神经网络计算平台对待编码图像进行压缩编码得到神经网络模型，该神经网络模型的模型参数经过nnef或onnx格式的格式转换后，通过mpeg的nnr压缩方法对转换后获得的nnef或onnx格式的模型参数进行压缩，以获得nnr的码流。
213.编码端利用基于神经网络的编码技术对待编码图像进行编码时，可以基于图8a所示的过程进行编码。
214.如图8a所示，为本技术实施例提供的一种视频编码器应用智能编码技术的流程示
意图。参考图8a，在获得nnr的码流后，可以通过解压缩获得mpeg的nnr，该mpeg的nnr经过nnef或onnx格式的格式逆转换后得到神经网络模型的模型参数，并将得到的神经网络模型的模型参数部署于神经网络计算平台，编码器在对图像或视频进行编码时，可以结合部署了神经网络模型的模型参数的神经网络计算平台对其进行编码，生成编码码流。
215.在具体实现中，可以通过对传统的编码器进行修改实现基于神经网络的编码技术进行的编码。示例性地，可以在编码头信息语法元素时在目前已有的头信息语法参数集中添加智能编码相关语法元素的编码，例如，可以在序列参数集(sequence parameter set，sps)、图像参数集(picture parameter set，pps)、条带头(slice header)中增加一个语法元素用来标识控制基于神经网络的编码技术打开或者关闭的开关，可以直接将该语法元素添加到上述语法元素参数集中，也可以选择将该语法元素添加到上述语法元素参数集的用户扩展数据(user extension data)中。
216.对于解码端，可以基于图8b所示的过程进行解码。
217.如图8b所示，为本技术实施例提供的一种视频解码器应用智能编码技术的流程示意图。参考图8b，在接收到nnr的码流后，可以通过解压缩获得mpeg的nnr，该mpeg的nnr经过nnef或onnx格式的格式逆转换后得到神经网络模型的模型参数，并将得到的神经网络模型的模型参数部署于神经网络计算平台，解码器在对待解码的图像或视频的码流进行解码时，可以结合部署了神经网络模型的模型参数的神经网络计算平台对其进行解码，获得待解码的图像或视频。
218.可选地，在一些实施例中，所述对所述目标格式的模型参数进行压缩，包括：利用人工智能产业技术创新战略联盟(artificial intelligence industry technology innovation strategic alliance，aitisa)的压缩方法对所述目标格式的模型参数进行压缩，以获得压缩数据；
219.所述通过所述第二通信链路传输所述压缩后的模型参数，包括：通过所述第二通信链路传输所述压缩数据。
220.相应地，对于解码端，通过所述第二通信链路接收所述压缩数据；并对所述压缩数据进行解压缩。
221.本技术实施例中，编码端利用aitisa的压缩方法对目标格式的模型参数进行压缩，并将压缩后获得的压缩数据通过第二通信链路传输；解码端接收到该压缩数据，对其进行解压缩。具体实现过程与上述利用mpeg的nnr的压缩编码以及解码的过程类似，在此不再赘述。
222.本技术实施例中的压缩数据也可以为称为压缩码流，不予限制。
223.可选地，在一些实施例中，所述码流中还包括第三指示信息，所述第三指示信息用于指示是否开启了利用神经网络的编码技术进行编码。
224.本技术实施例中，通过第一通信链路传输的码流中还可以包括第三指示信息，指示编码端在编码时是否开启了利用神经网络的编码技术进行编码。解码端在接收到码流后，可以根据该码流中的第三指示信息确定是否利用神经网络的解码技术进行解码。
225.若该第三指示信息指示开启了利用神经网络的编码技术编码，则解码端利用神经网络的解码技术进行解码；若该第三指示信息指示未开启利用神经网络的编码技术编码，则解码端不利用神经网络的解码技术进行解码。
226.示例性地，假设分别以“1”和“0”表示利用神经网络的编码技术进行编码的开启和关闭，若码流中的第三指示信息指示“1”，则解码端在接收到该指示信息后，则确定利用神经网络的解码技术进行解码；若码流中的第三指示信息指示“0”，则解码端在接收到该指示信息后，则确定不利用神经网络的解码技术进行解码。
227.应理解，上述以“1”和“0”表示利用神经网络的编码技术进行编码的开启和关闭仅为示例性说明，还可以用其他标识(如“a”、“b”等)表示利用神经网络的编码技术进行编码的开启和关闭，不应对本技术造成特别限定。
228.本技术提供的方案，通过在码流中增加第三指示信息，指示是否开启了利用神经网络的编码技术进行编码，解码端在接收到该码流后，根据该码流中的第三指示信息确定是否利用神经网络的解码技术进行解码，可以进一步提高解码的准确率。
229.可选地，在一些实施例中，所述通过第二通信链路传输所述基于神经网络的编码技术所包含的神经网络模型的模型参数，包括：
230.通过所述第二通信链路传输所述神经网络模型的部分模型参数或全部模型参数。
231.相应地，对于解码端，通过所述第二通信链路接收所述神经网络模型的部分模型参数或全部模型参数。
232.本技术实施例中，通过第二通信链路传输的神经网络模型的模型参数可以为该神经网络模型的模型参数的部分模型参数或全部模型参数。其中该部分模型参数可以包括但不限于该神经网络的层数、神经元的个数，其它模型参数(包括但不限制于神经元之间连接的权重等)可以预设在编码端和解码端。
233.解码端通过第二通信链路接收到神经网络模型的模型参数的部分模型参数后，可以结合预设在解码端的其它模型参数对待解码图像的码流进行解码；或者，通过第二通信链路接收到神经网络模型的模型参数的全部模型参数对待解码图像的码流进行解码。
234.本技术提供的方案，编码端通过第二通信链路传输神经网络模型的模型参数的部分模型参数，其它模型参数预设在编码端和解码端，可以节省传输带宽，解码端在对码流进行解码时可以保证解码的准确性；编码端通过第二信链路传输神经网络模型的模型参数的全部模型参数，解码端在对码流进行解码时可以保证解码的准确性。
235.上文结合图1-图8b，详细描述了本技术的方法实施例，下面结合图9-图13，描述本技术的装置实施例，装置实施例与方法实施例相互对应，因此未详细描述的部分可参见前面各部分方法实施例。
236.图9为本技术一实施例提供的一种编码装置900，该编码装置900可以包括处理器910。
237.处理器910，用于利用基于神经网络的编码技术对待编码图像进行编码，以获得所述待编码图像的码流；
238.通过第一通信链路传输所述待编码图像的码流；
239.通过第二通信链路传输所述基于神经网络的编码技术所包含的神经网络模型的模型参数。
240.第一通信链路可以是第一通信模块提供的，第二通信链路可以是第二图像模块提供的。例如，第一通信模块为sdr模块/wifi模块，第二通信模块为4g/5g模块。
241.可选地，在一些实施例中，所述第一通信链路和所述第二通信链路具有不同的物
理特性。
242.可选地，在一些实施例中，所述第一通信链路的传输时延低于所述第二通信链路，和/或，所述第二通信链路的传输带宽高于所述第一通信链路。
243.可选地，在一些实施例中，所述第一通信链路包括时延小于或等于第一阈值的链路，所述第二通信链路包括带宽大于或等于第二阈值的链路。
244.可选地，在一些实施例中，所述第一通信链路包括基于私有图传协议或无线局域网协议的链路，所述第二通信链路包括基于移动通信协议的链路。
245.可选地，在一些实施例中，所述私有图传协议包括软件无线电sdr协议，所述无线局域网协议包括无线保真wifi协议，所述移动通信协议包括4g或5g协议。
246.可选地，在一些实施例中，所述第一通信链路包括私有图传链路，所述第二通信链路包括公网传输链路。
247.可选地，在一些实施例中，所述神经网络模型包括离线训练的神经网络模型或在线训练的神经网络模型。
248.可选地，在一些实施例中，所述神经网络模型为在线训练的神经网络模型，所述处理器910进一步用于：
249.对于第n个目标图像，利用对第n-m个目标图像进行训练获得的神经网络模型对所述第n个目标图像进行编码，所述目标图像为对所述待编码图像按照视频序列级、图像组级、图像级中的任意一种进行划分后的图像；所述n为大于等于1的整数，所述m为大于等于1的整数。
250.可选地，在一些实施例中，所述处理器910进一步用于：
251.利用对所述第n-m个目标图像进行训练获得的神经网络模型对所述第n个目标图像进行滤波，所述第n-m个目标图像为第n-m个编码图像未经过神经网络模型进行滤波的图像，所述第n个目标图像为第n个编码图像未经过神经网络模型进行滤波的图像。
252.可选地，在一些实施例中，所述m为编码前固化到或预设在编码端的参数；或，所述m为编码过程中形成的参数。
253.可选地，在一些实施例中，所述神经网络模型为在线训练的神经网络模型，所述处理器910进一步用于：
254.对于待编码的第一目标图像，利用对已编码的第二目标图像进行训练获得的神经网络模型对所述第一目标图像进行编码，所述第一目标图像和所述第二目标图像为对所述待编码图像按照视频序列级、图像组级、图像级中的任意一种进行划分后的图像；
255.通过所述第二通信链路传输对所述第二目标图像进行训练获得的神经网络模型的模型参数。
256.可选地，在一些实施例中，所述第一目标图像和所述第二目标图像的图像间隔q个目标图像，所述q为大于或等于0的正整数。
257.可选地，在一些实施例中，所述q为编码前固化到或预设在编码端的参数。
258.可选地，在一些实施例中，所述神经网络模型为离线训练的神经网络模型，所述处理器910进一步用于：
259.对于第p个目标图像，利用所述离线训练的神经网络模型对所述第p个目标图像进行编码，所述目标图像为对所述待编码图像按照视频序列级、图像组级、图像级中的任意一
种进行划分后的图像，所述p为大于或等于0的整数。
260.可选地，在一些实施例中，所述待编码图像的码流中还包括第一指示信息，所述第一指示信息用于指示在对所述待编码图像进行编码时采用的神经网络模型的模型参数的标识。
261.可选地，在一些实施例中，若所述待编码图像为关键帧，则所述待编码图像的码流中还包括第一指示信息，所述第一指示信息用于指示在对所述待编码图像进行编码时采用的神经网络模型的模型参数的标识。
262.可选地，在一些实施例中，所述第一指示信息还用于指示在对当前关键帧至下一个关键帧之间的其它帧进行编码时采用的神经网络模型的模型参数的标识。
263.可选地，在一些实施例中，所述处理器910进一步用于：
264.通过所述第二通信链路传输所述神经网络模型的模型参数以及所述神经网络模型的模型参数对应的标识。
265.可选地，在一些实施例中，所述待编码图像的码流中还包括第二指示信息，所述第二指示信息用于指示所述神经网络模型是基于图像组、帧、或序列中的一种进行训练的。
266.可选地，在一些实施例中，所述处理器910进一步用于：
267.将所述神经网络模型的模型参数转换为目标格式；
268.对所述目标格式的模型参数进行压缩，得到压缩后的模型参数；
269.通过所述第二通信链路传输所述压缩后的模型参数。
270.可选地，在一些实施例中，所述目标格式包括神经网络变换格式nnef或开放神经网络变换onnx格式。
271.可选地，在一些实施例中，所述处理器910进一步用于：
272.利用动态图像专家组mpeg的神经网络表达nnr压缩方法对所述目标格式的模型参数进行压缩，以获得nnr的码流；
273.通过所述第二通信链路传输所述nnr的码流。
274.可选地，在一些实施例中，所述处理器910进一步用于：
275.利用人工智能产业技术创新战略联盟aitisa的压缩方法对所述目标格式的模型参数进行压缩，以获得压缩数据；
276.通过所述第二通信链路传输所述压缩数据。
277.可选地，在一些实施例中，所述处理器910进一步用于：
278.利用所述基于神经网络的编码技术对所述待编码图像进行预测、变换、量化、熵编码或滤波中的至少一种。
279.可选地，在一些实施例中，所述待编码图像的码流中还包括第三指示信息，所述第三指示信息用于指示是否开启了利用神经网络的编码技术进行编码。
280.可选地，在一些实施例中，所述处理器910进一步用于：
281.通过所述第二通信链路传输所述神经网络模型的部分模型参数或全部模型参数。
282.可选地，在一些实施例中，所述第一通信链路和/或所述第二通信链路是从以下一种或多种链路中选择的：
283.基于无线局域网协议的链路、基于移动通信协议的链路、基于以太网协议的链路。
284.图10为本技术一实施例提供的一种解码装置1000，该解码装置1000可以包括处理
器1010。
285.处理器1010，用于通过第一通信链路接收待解码图像的码流；
286.通过第二通信链路接收神经网络模型的模型参数；
287.利用所述神经网络模型的模型参数对所述码流进行解码，获得解码后的图像。
288.可选地，在一些实施例中，所述第一通信链路和所述第二通信链路具有不同的物理特性。
289.可选地，在一些实施例中，所述第一通信链路的传输时延低于所述第二通信链路，和/或，所述第二通信链路的传输带宽高于所述第一通信链路。
290.可选地，在一些实施例中，所述第一通信链路包括时延小于或等于第一阈值的链路，所述第二通信链路包括带宽大于或等于第二阈值的链路。
291.可选地，在一些实施例中，所述第一通信链路包括基于私有图传协议或无线局域网协议的链路，所述第二通信链路包括基于移动通信协议的链路。
292.可选地，在一些实施例中，所述私有图传协议包括软件无线电sdr协议，所述无线局域网协议包括无线保真wifi协议，所述移动通信协议包括4g或5g协议。
293.可选地，在一些实施例中，所述第一通信链路包括私有图传链路，所述第二通信链路包括公网传输链路。
294.可选地，在一些实施例中，所述神经网络模型包括离线训练的神经网络模型或在线训练的神经网络模型。
295.可选地，在一些实施例中，所述码流中还包括第一指示信息，所述第一指示信息用于指示编码端在对待编码图像进行编码时采用的神经网络模型的模型参数的标识；
296.所述处理器1010进一步用于：
297.利用所述模型参数的标识对应的神经网络模型的模型参数对所述码流进行解码。
298.可选地，在一些实施例中，若所述码流中待解码图像为关键帧，则所述码流中还包括第一指示信息，所述第一指示信息用于指示编码端在对待编码图像进行编码时采用的神经网络模型的模型参数的标识；
299.所述处理器1010进一步用于：
300.利用所述神经网络模型的模型参数和所述模型参数的标识对所述码流进行解码。
301.可选地，在一些实施例中，所述第一指示信息还用于指示在对当前关键帧至下一个关键帧之间的其它帧进行解码时采用的神经网络模型的模型参数的标识。
302.可选地，在一些实施例中，所述神经网络模型为在线训练的神经网络模型，所述处理器1010进一步用于：
303.利用接收到的对第二目标图像进行训练获得的神经网络模型的模型参数对第一目标图像的码流进行解码，以获得所述第一目标图像，所述第一目标图像和所述第二目标图像为待解码图像按照视频序列级、图像组级、图像级中的任意一种进行划分后的图像。
304.可选地，在一些实施例中，所述第一目标图像和所述第二目标图像的图像间隔q个目标图像，所述q为大于或等于0的正整数。
305.可选地，在一些实施例中，所述q为解码前固化到或预设在解码端的参数。
306.可选地，在一些实施例中，所述处理器1010进一步用于：
307.通过所述第二通信链路接收所述神经网络模型的模型参数和所述神经网络模型
模型参数对应的标识。
308.可选地，在一些实施例中，所述码流中还包括第二指示信息，所述第二指示信息用于指示所述神经网络模型是基于图像组、帧、或序列中的一种进行训练的。
309.可选地，在一些实施例中，所述处理器1010进一步用于：
310.通过所述第二通信链路接收压缩后的模型参数；
311.对所述压缩后的模型参数进行解压缩，以获得目标格式；
312.对所述目标格式进行转换；
313.利用转换后的格式的模型参数对所述码流进行解码。
314.可选地，在一些实施例中，所述目标格式包括神经网络变换格式nnef或开放神经网络变换onnx格式。
315.可选地，在一些实施例中，所述处理器1010进一步用于：
316.通过所述第二通信链路接收神经网络表达nnr的码流；
317.对所述nnr的码流进行解压缩。
318.可选地，在一些实施例中，所述处理器1010进一步用于：
319.通过所述第二通信链路接收压缩数据；
320.对所述压缩数据进行解压缩。
321.可选地，在一些实施例中，所述处理器1010进一步用于：
322.利用所述神经网络的模型参数对所述码流进行熵解码、反量化、反变换、预测重建或滤波中的至少一种。
323.可选地，在一些实施例中，所述码流中还包括第三指示信息，所述第三指示信息用于指示是否开启了利用神经网络的编码技术进行编码。
324.可选地，在一些实施例中，所述处理器1010进一步用于：
325.通过所述第二通信链路接收所述神经网络模型的部分模型参数或全部模型参数。
326.可选地，在一些实施例中，所述第一通信链路和/或所述第二通信链路是从以下一种或多种链路中选择的：
327.基于无线局域网协议的链路、基于移动通信协议的链路、基于以太网协议的链路。
328.图11是本技术再一实施例提供的编码装置的示意性结构图。图11所示的编码装置1100包括处理器1110，处理器1110可以从存储器中调用并运行计算机程序，以实现本技术实施例中所述的编码方法。
329.可选地，如图11所示，编码装置1100还可以包括存储器1120。其中，处理器1110可以从存储器1120中调用并运行计算机程序，以实现本技术实施例中的编码方法。
330.其中，存储器1120可以是独立于处理器1110的一个单独的器件，也可以集成在处理器1110中。
331.可选地，如图11所示，编码装置1100还可以包括收发器1130，处理器1110可以控制该收发器1130与其他装置进行通信，具体地，可以向其他装置发送信息或数据，或接收其他装置发送的信息或数据。
332.可选地，该编码装置例如可以是编码器、终端(包括但不限于手机、相机、无人机等)，并且该编码装置可以实现本技术实施例的各个编码方法中的相应流程，为了简洁，在此不再赘述。
333.图12是本技术再一实施例提供的解码装置的示意性结构图。图12所示的解码装置1200包括处理器1210，处理器1210可以从存储器中调用并运行计算机程序，以实现本技术实施例中所述的解码方法。
334.可选地，如图12所示，解码装置1200还可以包括存储器1220。其中，处理器1210可以从存储器1220中调用并运行计算机程序，以实现本技术实施例中的解码方法。
335.其中，存储器1220可以是独立于处理器1210的一个单独的器件，也可以集成在处理器1210中。
336.可选地，如图12所示，解码装置1200还可以包括收发器1230，处理器1210可以控制该收发器1230与其他装置进行通信，具体地，可以向其他装置发送信息或数据，或接收其他装置发送的信息或数据。
337.可选地，该解码装置例如可以是解码器、终端(包括但不限于手机、相机、无人机等)，并且该解码装置可以实现本技术实施例的各个解码方法中的相应流程，为了简洁，在此不再赘述。
338.图13是本技术实施例的芯片的示意性结构图。图13所示的芯片1300包括处理器1310，处理器1310可以从存储器中调用并运行计算机程序，以实现本技术实施例中的编码方法或解码方法。
339.可选地，如图13所示，芯片1300还可以包括存储器1320。其中，处理器1310可以从存储器1320中调用并运行计算机程序，以实现本技术实施例中的编码方法或解码方法。
340.其中，存储器1320可以是独立于处理器1310的一个单独的器件，也可以集成在处理器1310中。
341.可选地，该芯片1300还可以包括输入接口1330。其中，处理器1310可以控制该输入接口1330与其他装置或芯片进行通信，具体地，可以获取其他装置或芯片发送的信息或数据。
342.可选地，该芯片1300还可以包括输出接口1340。其中，处理器1310可以控制该输出接口1340与其他装置或芯片进行通信，具体地，可以向其他装置或芯片输出信息或数据。
343.应理解，本技术实施例提到的芯片还可以称为系统级芯片，系统芯片，芯片系统或片上系统芯片等。
344.应理解，本技术实施例的处理器可能是一种集成电路图像处理系统，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
345.可以理解，本技术实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlink dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，dr ram)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
346.本技术实施例中的存储器可以向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。该处理器可以用于执行存储器中存储的指令，并且该处理器执行该指令时，该处理器可以执行上述方法实施例中与终端设备对应的各个步骤。
347.在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本技术实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器执行存储器中的指令，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
348.还应理解，在本技术实施例中，图像中的像素点可以位于不同的行和/或列，其中，a的长度可以对应于a包括的位于同一行的像素点个数，a的高度可以对应于a包括的位于同一列的像素点个数。此外，a的长度和高度也可以分别称为a的宽度和深度，本技术实施例对此不做限定。
349.还应理解，在本技术实施例中，“与a的边界间隔分布”可以指与a的边界间隔至少一个像素点，也可以称为“不与a的边界相邻”或者“不位于a的边界”，本技术实施例对此不做限定，其中，a可以是图像、矩形区域或子图像，等等。
350.还应理解，上文对本技术实施例的描述着重于强调各个实施例之间的不同之处，未提到的相同或相似之处可以互相参考，为了简洁，这里不再赘述。
351.本技术实施例还提供了一种计算机可读存储介质，用于存储计算机程序。
352.可选的，该计算机可读存储介质可应用于本技术实施例中的编码装置或解码装置，并且该计算机程序使得计算机执行本技术实施例的各个方法中由编码装置或解码装置实现的相应流程，为了简洁，在此不再赘述。
353.本技术实施例还提供了一种计算机程序产品，包括计算机程序指令。
354.可选的，该计算机程序产品可应用于本技术实施例中的编码装置或解码装置，并且该计算机程序指令使得计算机执行本技术实施例的各个方法中由编码装置或解码装置实现的相应流程，为了简洁，在此不再赘述。
355.本技术实施例还提供了一种计算机程序。
356.可选的，该计算机程序可应用于本技术实施例中的编码装置或解码装置，当该计算机程序在计算机上运行时，使得计算机执行本技术实施例的各个方法中由编码装置或解码装置实现的相应流程，为了简洁，在此不再赘述。
357.应理解，在本技术实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
358.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
359.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
360.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
361.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本技术实施例方案的目的。
362.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
363.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
364.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。