用于解码神经网络的权重参数的解码器、编码器、方法和使用概率估计参数的编码表示与流程

根据本发明的实施例包括用于编码神经网络的权重参数的编码器、解码器、方法和使用概率估计参数的编码表示。发明背景在下面将提供背景信息，以便更好地了解本发明。然而，需要注意的是，背景信息中描述的特征、功能和细节可以选择性地与本发明的任何实施例组合使用（单独使用和组合使用）。例如，在最基本的形式中，神经网络构成了仿射变换后面跟着元件级非线性函数的链。例如，它们可被表示为有向无环图，如图1所示。图1示出了前馈神经网络的图形表示的示例。具体来说，此2层的神经网络是将4维输入向量映射到实线的非线性函数。例如，每个节点涉及特定值，该值被向前传播到下一个节点，例如，通过与边的相应权重值相乘。例如，然后，所有的传入值被简单地合计。例如，在数学上，图1的神经网络将以以下方式计算输出：其中并且其中，例如是层的仿射变换，并且其中例如，是层的某个非线性函数。的简单示例是与层相关联的权重参数（边权）与输入的矩阵乘法：运算符应表示矩阵乘法。例如，所谓的卷积层也可以通过将它们转换为矩阵-矩阵乘积来使用，例如，在“cudnn：深度学习的高效原语”（sharan chetlur等; arxiv: 1410.0759, 2014）中描述的。从现在起，我们将从给定输入计算输出的过程称为推理。此外，我们将中间结果称为隐藏层或隐藏激活值，这构成了线性变换+元素级非线性，例如诸如上面的第一点积的计算+非线性。在下文中，讨论神经网络的偏差和批归一化。神经网络层的仿射变换的更复杂的变体包括所谓的偏差和批归一化运算，例如：式1：其中表示偏差，并且其中为批归一化参数。是权重矩阵，例如，维数为，以及是输入矩阵，例如，维数为。例如，偏差和批归一化参数是长度为的转置向量。算子表示矩阵乘法。请注意，例如，对具有向量的矩阵的所有其他运算（求和、乘法、除法）是对矩阵的列的元素级运算。例如，意味着的每一列与元素级相乘。举例来说，是需要（或有用的）的小的标量（如0.001）以避免被0整除。然而，它也可能是0。在的情况下，方程1表示批归一化层。相比之下，如果以及和的所有向量元素都被设置为0，并且和的所有元素都被设置为1，则解决了没有批归一化（只有偏差）的层。例如，神经网络通常包含数百万个参数，并且因此可能需要数百mbyte用于它们的表示。因此，它们需要大量的计算资源才能执行，因为它们的推理过程涉及例如在大型矩阵之间的许多点积运算的计算。因此，降低执行这些点积的复杂度是非常重要的。作为另一个结果，神经网络参数的编码和/或解码是具有挑战性的。例如，为了传输神经网络的数百万个参数，可能需要大的传输速率。因此，需要用于编码和/或解码神经网络参数的改进概念，在压缩、复杂度和计算成本之间提供良好的折衷。这通过本技术的独立权利要求的主题来实现。根据本发明的进一步实施例由本技术的从属权利要求的主题限定。

背景技术：

技术实现思路

1、根据本发明的实施例包括用于解码神经网络的权重参数的解码器，其中解码器被配置为基于编码位流获取神经网络的多个神经网络参数，例如，矩阵w的条目和/或中的至少一个。此外，解码器被配置为使用上下文相关的算术解码，例如，使用上下文自适应二进制算术解码（cabac），解码神经网络的神经网络参数，例如，矩阵w的条目，例如神经网络参数的量化版本。可选地，可以针对不同的上下文确定二进制位值的概率，其中，例如，每个二进制位与上下文相关联。此外，解码器被配置为使用一个或多个概率估计参数，例如，概率估计器参数，例如，获取概率估计，例如,，其可以，例如，与上下文相关联，用于神经网络参数的数字表示的二进制位的例如算术解码，例如基于一个或多个先前解码的神经网络参数或其二进制位。此外，解码器被配置为使用不同的概率估计参数值用于不同的神经网络参数的解码和/或使用不同的概率估计参数值用于与不同上下文模型（例如）相关联的二进制位的解码。

2、根据本发明的进一步实施例包括用于解码神经网络的权重参数的解码器，其中解码器被配置为基于编码位流获取神经网络的多个神经网络参数，例如，矩阵w的条目和/或中的至少一个。此外，解码器被配置为使用上下文相关的算术解码，例如，使用上下文自适应二进制算术解码（cabac），解码神经网络的神经网络参数，例如，矩阵w的条目，例如，神经网络参数的量化版本。可选地，可以针对不同的上下文确定二进制位值的概率，其中，例如，每个二进制位与上下文相关联。此外，解码器被配置为使用一个或多个概率估计参数，例如，概率估计器参数，例如，获取概率估计，例如，其可以，例如，与上下文相关联，用于例如算术解码神经网络参数的数字表示的二进制位，例如基于一个或多个先前解码的神经网络参数或其二进制位。此外，解码器被配置为使用不同的概率估计参数值用于解码与神经网络的不同层相关联的神经网络参数。

3、根据本发明的实施例包括用于编码神经网络的权重参数的编码器，其中编码器被配置为获取神经网络的多个神经网络参数，例如，矩阵w的条目和/或中的至少一个。此外，编码器被配置为使用上下文相关的算术编码，例如，使用上下文自适应二进制算术编码（cabac），对神经网络的神经网络参数进行编码，例如，矩阵w的条目，例如，神经网络参数的量化版本。可选地，可以针对不同的上下文确定二进制位值的概率，其中，例如，每个二进制位与上下文相关联。此外，编码器被配置为使用一个或多个概率估计参数，例如，概率估计器参数，例如获取概率估计，例如，其可以，例如，与上下文相关联，用于可选地算术编码神经网络参数的数字表示的二进制位，例如基于一个或多个先前编码的神经网络参数或其二进制位。此外，编码器被配置为使用不同的概率估计参数值来编码不同的神经网络参数和/或使用不同的概率估计参数值来编码与不同上下文模型（例如）相关联的二进制位。

4、根据本发明的进一步实施例包括用于编码神经网络的权重参数的编码器，其中编码器被配置为获取神经网络的多个神经网络参数，例如矩阵w的条目和/或。此外，编码器被配置为使用上下文相关的算术编码，例如，使用上下文自适应二进制算术编码（cabac），对神经网络的神经网络参数进行编码，例如，矩阵w的条目，例如神经网络参数的量化版本。可选地，可以针对不同的上下文确定二进制位值的概率，其中，例如，每个二进制位与上下文相关联。此外，编码器被配置为使用一个或多个概率估计参数，例如，概率估计器参数，例如获取概率估计，例如，其可以，例如，与上下文相关联，用于可选地算术编码神经网络参数的数字表示的二进制位，例如基于一个或多个先前编码的神经网络参数或其二进制位。此外，编码器被配置为使用不同的概率估计参数值来编码与神经网络的不同层相关联的神经网络参数。

5、根据本发明的实施例包括用于解码神经网络的权重参数的方法，其中方法包括基于编码位流获取神经网络的多个神经网络参数，例如矩阵w的条目和/或中的至少一个，其中方法包括使用上下文相关的算术解码，例如，使用上下文自适应二进制算术解码（cabac），解码神经网络的神经网络参数，例如，矩阵w的条目，例如，神经网络参数的量化版本。可选地，针对不同的上下文确定二进制位值的概率，其中，例如，每个二进制位可以与上下文相关联。此外，该方法包括使用一个或多个概率估计参数，例如，概率估计器参数，例如获取概率估计，例如，其可以，例如，与上下文相关联，用于例如算术解码神经网络参数的数字表示的二进制位，例如基于一个或多个先前解码的神经网络参数或其二进制位。此外，该方法包括使用不同的概率估计参数值来解码不同的神经网络参数和/或使用不同的概率估计参数值来解码与不同上下文模型（例如）相关联的二进制位。

6、根据本发明的进一步实施例包括用于解码神经网络的权重参数的方法，其中方法包括基于编码位流获取神经网络的多个神经网络参数，例如矩阵w的条目和/或中的至少一个。此外，方法包括使用上下文相关的算术解码，例如，使用上下文自适应二进制算术解码（cabac），解码神经网络的神经网络参数，例如，矩阵w的条目，例如，神经网络参数的量化版本。可选地，可以针对不同的上下文确定二进制位值的概率，其中，例如，每个二进制位与上下文相关联。此外，方法包括使用一个或多个概率估计参数，例如，概率估计器参数，如获取概率估计，例如，其可以，例如，与上下文相关联，用于例如算术解码神经网络参数的数字表示的二进制位，例如基于一个或多个先前解码的神经网络参数或其二进制位。此外，方法包括使用不同的概率估计参数值来解码与神经网络的不同层相关联的神经网络参数。

7、根据本发明的实施例包括用于编码神经网络的权重参数的方法，其中方法包括获取神经网络的多个神经网络参数，例如，矩阵w的条目和/或中的至少一个。此外，方法包括使用上下文相关的算术编码，例如，使用上下文自适应二进制算术编码（cabac），对神经网络的神经网络参数进行编码，例如，矩阵w的条目，例如，神经网络参数的量化版本。可选地，可以针对不同的上下文确定二进制位值的概率，其中，例如，每个二进制位可以与上下文相关联。此外，该方法包括使用一个或多个概率估计参数，例如，概率估计器参数，例如获取概率估计，例如，其可以，例如，与上下文相关联，用于例如算术编码神经网络参数的数字表示的二进制位，例如基于一个或多个先前编码的神经网络参数或其二进制位。此外，该方法包括使用不同的概率估计参数值对不同的神经网络参数进行编码和/或使用不同的概率估计参数值对与不同上下文模型（例如）相关联的二进制位进行编码。

8、根据本发明的进一步实施例包括用于编码神经网络的权重参数的方法，其中方法包括获取神经网络的多个神经网络参数，例如，矩阵w的条目和/或中的至少一个。此外，方法包括使用上下文相关的算术编码，例如，使用上下文自适应二进制算术编码（cabac），对神经网络的神经网络参数进行编码，例如，矩阵w的条目，例如，神经网络参数的量化版本。可选地，可以针对不同的上下文确定二进制位值的概率，其中，例如，每个二进制位可以与上下文相关联。此外，该方法包括使用一个或多个概率估计参数，例如，概率估计器参数，例如获取概率估计，例如，其可以，例如，与上下文相关联，用于例如算术编码神经网络参数的数字表示的二进制位，例如基于一个或多个之前的编码的神经网络参数或其二进制位。此外，该方法包括使用不同的概率估计参数值来编码与神经网络的不同层相关联的神经网络参数。

9、根据本发明的实施例包括计算机程序，当计算机程序在计算机上运行时，用于执行根据本发明的方法。

10、根据本发明的实施例包括神经网络的权重参数的编码表示，包括神经网络的多个编码的权重参数和一个或多个概率估计参数的编码表示，该一个或多个概率估计参数确定用于编码的权重参数的算术解码的上下文的自适应的概率估计的特征。

11、为了更好地理解本发明的实施例的主要思想，在下面公开了根据本发明的神经网络参数编码和分别解码的进一步可选方面。首先，除其他外，公开了根据实施例的参数的有效表示。下面解释的细节是可选的。

12、参数可被统称为层的参数或层参数。如上所述，这些参数中的一个或多个可以是神经网络参数的示例。通常需要在位流中（例如，如果神经网络用于视频解码器，则在编码的视频表示中）信令它们。例如，它们可以表示为32位浮点数，或者可被量化为整数表示，也表示为量化指标。注意，通常在位流中不信令。

13、例如，用于编码此类参数的特别有效的方法使用均匀重构量化器（urq），例如，其中每个值被表示为所谓量化步长值的整数倍。例如，可以通过将整数与量化步长相乘来重构相应的浮点数，量化步长通常（但不一定）是单个浮点数。然而，例如，神经网络推理的有效实现（即针对输入计算神经网络的输出）尽可能使用整数运算。因此，要求将参数重构为浮点表示可能是不可取的。

14、在另一种用于编码参数的有效方法中，应用量化器的集合，其中每个值例如被表示为量化步长值的整数倍。例如，通常，集合中的每个量化器使用量化步长参数的整数倍的不相交集作为适用的重构值，但两个或更多个量化器可以共享一个或多个重构值。所应用的量化器依赖于，例如，以编码顺序的先前量化指标的值。例如，可以通过将整数与量化步长相乘来重构相应的浮点数，例如，量化步长通常是取决于所选量化器的浮点数。这种量化器设计的示例是网格编码量化（tcq），也表示为相关量化（dq）。

15、在优选实施例中，使用一组两个量化器。例如，第一量化器使用量化步长的所有偶倍数，包括零；以及第二量化器使用量化步长的所有偶倍数，包括零。

16、其次，除其它外，公开了根据实施例的熵编码和概率估计。下面解释的细节是可选的，并且特别地可以与上面解释的特征组合，涉及参数的有效表示。

17、例如，如上所述，通过量化方法输出的量化指标然后可以使用合适的熵编码方法而被熵编码。

18、用于编码这种量化指标的特别合适的熵编码方法是基于上下文的自适应二进制算术编码，也称为cabac。为此，每个量化指标，例如，被分解为二进制决策（所谓的二进制位（bin））的序列。例如，通常，每个二进制位都与概率模型（也称为上下文模型）相关联，概率模型对相关联的二进制位的统计数据进行建模，例如，使用概率估计方法。

19、概率估计器是装置，它对二进制位等于的概率进行建模，其中，例如，基于与概率估计器相关联的已经编码的二进制位。可以作为概率估计的示例。

20、接下来，举例说明了典型的估计器设计。估计器设计的细节是根据本发明的实施例的可选特征，并且特别地可与包括以上解释的特征的实施例组合。

21、首先，描述了应用于神经网络压缩的典型估计器设计。

22、例如，对于每个上下文模型，保持一个或多个状态变量，其中。例如，每个状态变量都被实现为有符号整数值，并表示例如概率值。上下文模型的概率估计应被定义为，例如，上下文模型的所有状态变量的概率值的加权和。

23、状态变量最好但不一定具有以下性质：

24、1. 如果，那么。

25、2. 的值越大，对应越大的。

26、3. 。

27、因此，负状态变量可以例如对应于。一般来说，可以为每个上下文模型的每个状态变量指定不同的函数。

28、接下来，将解释将状态变量与概率值相关联的示例配置。状态关联的细节是根据本发明的实施例的可选特征，并且特别地可与包括以上解释的特征的实施例组合。

29、存在许多有用方法将状态变量与概率值相关联，即实现。例如，在神经网络压缩中使用的状态表示可以通过下式实现：

30、

31、是加权因子。

32、是参数，其中。

33、例如，为了实现与用于多媒体内容描述和分析的神经网络的压缩的mpeg-7第17部分标准的当前草案中所使用配置相当的配置，该标准使用两个状态)，设置0.99894079，以及对于所有。

34、此示例配置将提供一些关于如何限定状态变量的见解。一般来说，没有必要限定，因为它没有被直接使用，如下可看出的。相反，它通常来自各个部分的实际实现。

35、接下来，将解释状态变量的初始化。初始化的细节是根据本发明的实施例的可选特征，并且特别地可与包括以上解释的特征的实施例组合。

36、在使用上下文模型对第一符号进行编码或解码之前，可选地利用相同值对所有的状态变量进行初始化，记为，例如，这些值可以针对压缩应用进行优化。

37、接下来，将解释从状态变量得出概率估计。得出的细节是根据本发明的实施例的可选特征，并且特别地可与包括以上解释的特征的实施例组合。

38、为了符号的编码或解码，从上下文模型的状态变量得出概率估计。下面给出了三种可替代方法作为示例。方法1的结果比方法2和方法3更准确，但计算复杂度也更高。

39、方法一（示例）

40、此方法包括两个步骤。首先，将上下文模型的每个状态变量转换为概率值。其次，得出概率估计作为概率值的加权和。

41、步骤1：

42、使用查找表将状态变量转换为相应的概率值，例如根据下式（1）。

43、                  (1)

44、·是包含概率值的查找表。是加权因子，使适应的大小。

45、步骤2：

46、概率估计从概率值得出，例如根据：

47、                  (2)

48、是加权因子，它控制各个状态变量的影响。

49、方法二（示例）

50、下面给出从状态变量得出概率估计的另一种替代方法。它产生的结果不太准确，并且计算复杂度也较低。首先，得出状态变量的加权和，例如根据：

51、            (3)

52、是加权因子，它控制每个状态变量的影响。

53、其次，概率估计从状态变量的加权和得出，例如根据：

54、                   (4)

55、是包含概率估计的查找表。是加权因子，使适应的大小。

56、方法3（示例）

57、下面给出从状态变量得出概率估计的进一步替代方法。首先，得出状态变量的加权和，如方法2中那样。其次，概率估计从状态变量的加权和得出，例如根据：

58、                   (5)

59、是包含概率估计的查找表。

60、方法4（示例）

61、进一步的方法使用状态值和概率之间的线性关系。概率估计的得出，例如，使用式（2）的方法。方法4的示例是通用视频编码（vvc）的当前草案中使用的概率估计方案。

62、例如，为了实现用于多媒体内容描述和分析的神经网络压缩的mpeg-7第17部分标准的当前草案中所使用的配置，使用方法3的方法，例如，对于所有。包含概率估计的查找表为，例如：

63、

64、接下来，将解释状态变量的更新。更新的细节是根据本发明的实施例的可选特征，并且特别地可与包含以上解释的特征的实施例组合。

65、在对符号进行编码或解码之后，可以更新上下文模型的一个或多个状态变量，以跟踪符号序列的统计行为。

66、例如，更新执行如下：

67、               (6)

68、a是查找表，例如，存储整数值。和是控制更新“敏捷性”的加权因子。可以例如根据，其中也表示为适应参数。是偏移量，它确保例如只利用非负值访问查找表a。

69、例如，可以选择查找表a中的值，以便保持在特定的给定区间内。通常，查找a的值近似于，例如，更新函数。可替代地，也可以简单地使用相关的更新函数进行状态更新。

70、例如，遵循方法4的vvc的估计方法，对状态更新应用更新函数，并使用位移位，例如，位移位决定更新的“敏捷性”。例如，这对应于上面描述的适应参数。本发明的实施例（见下文，例如根据实施例的主要思想所解释的）可以以相同的方式应用于它们。

71、例如，为了实现用于多媒体内容描述和分析的神经网络压缩的mpeg-7第17部分标准的当前草案中所使用的配置，参数被选择，例如，使得对于所有。例如，查找表a是：

72、。

73、在对符号进行编码之前，应该例如用区间中的值初始化，并且应该例如用区间中的值初始化。因此，可以例如用8位有符号整数值来实现，并且可以例如用12位有符号整数来实现。

74、正如上面的示例所解释的，概率估计器具有若干个参数，表示为概率估计器参数或估计器参数（或也称为概率估计参数），它们影响概率估计，例如适应率。通常，这些估计器参数是根据应用场景（例如，神经网络参数的编码）全局地选择的。因此，例如，在神经网络编码中，每个神经网络参数应用估计器参数的相同集合。但是，发明者发现可以通过为当前神经网络参数选择优化的估计器参数来提高压缩效率。因此，根据一个方面，基本思想是从一组参数中选择合适的估计器参数，然后这些参数被信令至解码器。

75、换句话说，根据本发明的实施例（例如，如独立权利要求所限定的）基于如下想法：使用不同的概率估计参数值来解码和分别编码神经网络参数或实体，例如与相关联于神经网络参数的不同上下文相关联的二进制位。代替使用概率估计参数或概率参数估计值的基本集中的一个固定实例，可以执行概率估计参数值的适应的或例如甚至最优的个别选择。概率估计值的选择可以基于任何合适的准则执行，合适的准则例如为，某些神经网络参数的先验已知特征，某些神经网络参数的上下文模型的随机特征，或神经网络参数的二进制位各自的随机特征。例如，已经认识到不同的神经网络参数可以包括不同的相关特征，并且概率估计参数对这些不同的相关特征的适应可能导致提高的编码效率。例如，根据神经网络实现的功能，神经网络的相邻分支或边（神经网络参数）之间的相关强度可以不同。此外，神经网络的边（或分支）之间的相关性的扩展可以改变。根据本发明的一个方面，概率估计参数值可被适应于神经网络的相关特征（相关强度/相关性的扩展）（例如，以动态的方式，例如，甚至在单个神经网络的不同神经网络参数的编码之间），从而导致特别有效的编码。作为另一个示例，已经认识到，与神经网络的不同层相关联的神经网络参数的相关特征在某些情况下存在很大差异。例如，如果神经网络的不同层反映不同大小（或宽度）的卷积，则可以通过使用不同的概率估计参数值对不同神经网络层的神经网络参数进行编码或解码来实现，从而导致提高的编码效率。

76、综上所述，已经发现，当编码或解码不同的神经网络参数时，或者当编码或解码与不同上下文模型相关联的二进制位时，使用不同的概率估计参数在编码效率、复杂度和资源使用之间提供更好的权衡。例如，已经认识到，实际使用的概率估计参数值的信令（或者甚至动态信令）可能需要的开销可能会因编码效率的提高而被过度补偿。

77、根据本发明的实施例的第二方面是，概率估计参数的编码和/或解码可以包括与神经网络参数的编码和/或解码类似或甚至相同的步骤。

78、发明人认识到，如果自适应地选择概率估计参数，例如与概率估计器和/或上下文模型相关的所有参数，则可以改进编码/解码性能。像神经网络参数那样，概率估计器参数可以使用类似步骤进行编码/解码。例如，类似于神经网络参数，概率估计参数或表示概率参数的整数索引q可以使用二进制位的序列（例如二进制位greaterthan_0, greaterthan_1, ...）以及上下文模型进行编码/解码

79、换句话说，对于解码器，反之亦然，根据本发明的实施例的解码器可以获取编码位流，该位流包括神经网络参数。神经网络参数可以在位流中编码为二进制位的序列。这些二进制位可以使用上下文相关的算术解码（例如，用于将表示神经网络参数的二进制位编码到位流的同一上下文相关算术编码方法）而被解码。因此，解码器被配置为使用包括一个或多个概率估计参数（例如，前面提到的概率估计器参数中的至少一个，例如中的至少一个）的概率估计器来获取概率估计。然后，解码器可以使用不同的概率估计参数值来解码不同的神经网络参数和/或使用不同的概率估计参数值来解码与不同上下文模型（例如ck）相关联的二进制位。此外，解码器可以使用不同的概率估计参数值来解码与神经网络的不同层相关联的神经网络参数。通过根据神经网络参数的特定特征，例如其二进制位的层或上下文模型调适概率估计参数值，可以提高解码和编码效率。

80、换句话说，根据一个方面，参数，即和/或与概率估计器相关的任何其他参数，例如上下文模型，可被统称为概率估计器参数或估计器参数（或概率估计参数）。

81、通常，例如，对于每个估计器参数，为整个网络选择概率估计器参数基本集中的一个固定实例。根据应用状态的数量，基本集的值也可以是估计器参数的元组。根据本发明的方面，例如，如果为层的每个参数或参数子集（即）和/或上下文模型分别地选择参数，则可以改进概率估计以及因此的压缩效率。

82、例如，待被使用的估计器参数是在一组参数的参数中确定的，例如，该组参数可以是基本集或基本集的任何子集。例如，该组中的每个参数可以与整数索引相关联。例如，该组中的一个参数可被表示为默认参数。例如，通常默认参数与等于零的整数索引相关联。然后，例如，将与所选估计器参数相关联的索引信令至解码器。

83、根据本发明的实施例，解码器被配置为从基本集中或从基本集的真子集中选择一个或多个概率估计参数。可选地，基本集可以包括与一个或多个概率估计参数相关联的多个可用参数值，或者其中基本集可以包括与多个概率估计参数相关联的可用参数值的多个元组，例如可用对的列表。

84、通过提供概率估计参数的子集或甚至真子集，可以提供例如关于一个或多个标准易于选择的可允许概率估计参数的对、元组和/或集合。例如，根据神经网络的某一层，可以以较低的计算工作量选择子集，例如，通过仅比较层id与先验定义的列表，以选择提供提高的解码效率的概率估计参数。此外，可以根据某种量化类型执行子集的这种选择。通过提供子集，可以提供有利的概率估计参数，而不需要大量的分配工作量。代替对多个条件进行检查，例如对每个概率估计参数检查一个条件，可以执行一次检查，例如前面提到的将层id或神经网络参数的二进制位的上下文模型与预定义列表或准则进行比较，并在此基础上选择概率估计参数或概率估计参数值的整个集合。此外，通过提供基本集，减少信令工作量，因为例如，信令基本集索引而不是实际的参数值就已足够。

85、根据本发明的实施例，解码器被配置为根据量化模式，从可用参数值或参数值的可用元组的不同集合中选择一个或多个概率估计参数，或者其中解码器被配置为根据量化模式使用不同的映射规则，例如，不同的映射表，不同的映射规则将表示一个或多个概率估计参数的编码值，例如，编码的索引值q映射到一个或多个概率估计参数，例如。

86、可选地，解码器可以从可用参数值或参数值的可用元组的第一集合中选择一个或多个概率估计参数，用于使用第一量化模式（例如均匀量化urq）的情况，以及解码器可以从可用参数值的第二集合中选择一个或多个概率估计参数，用于使用第二量化模式（例如相关量化dq）的情况。

87、可选地，可用参数的集合可以例如限定包含在编码位流中的索引值与相关联概率估计参数或概率估计参数的相关联元组之间的不同关联，其中，例如，可用参数的第一集合限定给定索引值到概率估计参数的第一元组的映射，以及其中，例如，可用参数的第二集合限定给定索引值到与第一元组不同的概率估计参数的第二元组的映射。

88、已经认识到，不同的量化模式可能会导致神经网络参数的不同随机性质（例如相关性），以及因此通过根据量化方法调适概率估计参数的选择可以实现改进的概率估计（以及因此的提高的编码效率）。

89、根据本发明的实施例，解码器被配置为在使用一个或多个概率估计参数的均匀量化，例如均匀重构量化（urq）或时不变量化的情况下，选择性地从可用参数值的第一集合或参数值的可用元组的第一集合中选择一个或多个概率估计参数，以及解码器被配置为在使用一个或多个概率估计参数的可变量化，例如网格编码量化（tcq）或相关量化（dq）的情况下，选择性地从可用参数值的第二集合或参数值的可用元组的第二集合中选择一个或多个概率估计参数，其中，例如，可变量化，如dq，可以使用比均匀量化更多的上下文模型，从而在可变量化的情况下，对于每个上下文模型待被解码的二进制位可能更少。

90、可替代地，解码器被配置为在使用一个或多个概率估计参数的均匀量化，例如，均匀重建量化（urq）或时不变量化的情况下，使用第一映射规则，例如，第一映射表，第一映射规则将表示一个或多个概率估计参数的编码值，例如，编码的索引值q映射到一个或多个概率估计参数，例如，。

91、此外，解码器可以被配置为在使用一个或多个概率估计参数的可变量化，例如，网格编码量化（tcq）或相关量化（dq）的情况下，使用第二映射规则，例如，第二映射表，第二映射规则将表示一个或多个概率估计参数的编码值，例如，编码的索引值q映射到一个或多个概率估计参数。可选地，可变量化，如dq，可以使用比均匀量化更多的上下文模型，从而在可变量化的情况下，对于每个上下文模型待被解码的二进制位可能更少。

92、此外，可用参数值的第一集合不同于可用参数值的第二集合，并且参数值的可用元组的第一集合不同于参数值的可用元组的第二集合，和/或第二映射规则不同于第一映射规则。

93、因此，根据本发明的概念可被应用于任何形式的量化，并且不限于某种类型的量化。此外，根据神经网络参数的特征，可以调适量化类型和使用集合和/或概率估计参数的映射。因此，除了提供高度的灵活性之外，可以提高编码效率。

94、根据本发明的进一步实施例，平均而言，可用参数值的第二集合的可用参数值或例如第二映射规则的可用参数值比可用参数值的第一集合的可用参数值或例如第一映射规则的可用参数值允许概率估计的更快适应，例如对二进制位值频率的变化的更快适应。可替代地，平均而言，参数值的可用元组的第二集合的参数值的可用元组或例如第二映射规则的参数值的可用元组比参数值的可用元组的第一集合的参数值的可用元组或例如第一映射规则的参数值的可用元组允许概率估计的更快适应，例如，对二进制位值频率的变化的更快适应。

95、本实施例基于这样的发现，即这样的概念导致提高的编码效率。

96、根据本发明的进一步实施例，可用参数值的第二集合，或例如第二映射规则，包括可用参数值，该可用参数值比可用参数值的第一集合或例如第一映射规则的可用参数值或例如甚至所有可用参数值允许概率估计的更快适应，例如，对二进制位值频率的变化的更快适应。可替代地，参数值的可用元组的第二集合包括参数值的可用元组，该参数值的可用元组比参数值的可用元组的第一集合的参数值的可用元组或例如甚至所有可用元组允许概率估计的更快适应，例如，对二进制位值频率的变化的更快适应。

97、本实施例基于这样的发现，即这样的概念导致提高的编码效率。

98、根据本发明的进一步实施例，解码器被配置为根据神经网络的层的参数的数量、或根据待被使用所选的一个或多个概率估计参数解码的神经网络参数的数量、或根据层参数的元素的数量，例如矩阵w的条目的数量、或（转置）向量b的元素的数量等等，从可用（例如可允许）参数值或参数值的可用（例如可允许）元祖的不同集合中选择一个或多个概率估计参数。

99、可替代地，解码器被配置为根据神经网络的层的参数的数量、或根据待被使用所选的一个或多个概率估计参数解码的神经网络参数的数量、或根据层参数的元素的数量，例如矩阵w的条目的数量、或（转置）向量b的元素的数量等等，使用不同的映射规则，例如不同的映射表，不同的映射规则将表示一个或多个概率估计参数的编码值，例如，编码的索引值q映射到一个或多个概率估计参数，例如，。

100、已经发现，对于具有特定值的位的概率的评估，使用上下文模型，可以根据待被解码的神经网络参数的数量选择概率估计器的适应参数。例如，已解码的二进制位的数量越高，这种二进制位的概率的越好的随机估计可被确定。因此，可以提高编码效率。

101、根据本发明的进一步实施例，解码器被配置为如果神经网络的层的参数的数量低于阈值，例如x=1000、或者待被使用所选的一个或多个概率估计参数解码的神经网络参数的数量低于阈值、或者如果层参数的元素的数量，例如矩阵w的条目的数量、或（转置）向量b的元素的数量等低于阈值，选择性地从可用参数值的第一集合中或从参数值的可用元组的第一集合中选择一个或多个概率估计参数。

102、此外，解码器被配置为如果神经网络的层的参数的数量高于阈值，例如x=1000、或者待被使用所选的一个或多个概率估计参数解码的神经网络参数的数量高于阈值、或者如果层参数的元素的数量，例如矩阵w的条目的数量、或（转置）向量b的元素的数量等高于阈值，选择性地从可用参数值的第二集合中或从参数值的可用元组的第二集合中选择一个或多个概率估计参数。

103、可替代地，解码器被配置为如果神经网络的层的参数的数量低于阈值，例如x=1000、或者待被使用所选的一个或多个概率估计参数解码的神经网络参数的数量低于阈值、或者如果层参数的元素的数量，例如矩阵w的条目的数量或（转置）向量b的元素的数量等低于阈值，选择性地使用第一映射规则，例如第一映射表，第一映射规则将表示一个或多个概率估计参数的编码值，例如，编码的索引值q映射到一个或多个概率估计参数，例如，。

104、此外，解码器被配置为如果神经网络的层的参数的数量高于阈值，例如 x=1000、或者待被使用所选的一个或多个概率估计参数解码的神经网络参数的数量高于阈值、或者层参数的元素的数量，例如矩阵w的条目的数量或（转置）向量b的元素的数量等高于阈值，选择性地使用第二映射规则，例如第二映射表，第二映射规则将表示一个或多个概率估计参数的编码值，例如编码的索引值q映射到一个或多个概率估计参数，例如。

105、此外，可用参数值的第二集合比可用参数值的第一集合包括更多可用参数值，并且参数值的可用元组的第二集合比参数值的可用元组的第一集合包括更多可用元组，和/或第二映射规则与第一映射规则不同。

106、已经发现，根据特定阈值选择概率估计参数可以提供一种计算上廉价的可能性来调适概率估计参数。如前所述，如果大数量的参数被解码，以及因此概率估计参数可以根据该数量进行调整，例如可以更好地执行例如上下文模型的统计适应。此外，信令开销（例如，编码概率估计参数或概率估计参数的集合的索引所需的位数）可能会减少，因为信令受限于很好地适合当前考虑的神经网络的概率估计参数（或概率估计参数的集合）。

107、根据本发明的进一步实施例，解码器被配置为如果待被使用所选的一个或多个概率估计参数解码的神经网络参数的数量大于或等于阈值，例如x=1000，则选择性地从增加的选择中选择一个或多个概率估计参数。

108、已经发现，随着待被解码的神经网络参数的数量的增加，可以呈现关于神经网络参数的随机特征（例如它们的相关性）的更多自由度。因此，随着神经网络参数的数量的增加，可以考虑增加数量的概率估计参数或概率估计参数值，以提高编码效率。因此，对于小型神经网络，信令开销减少。

109、根据本发明的进一步实施例，解码器被配置为评估信令，信令可以例如被包括在编码位流中，例如以专用标志的形式，从例如可用参数值的多个集合（可以是基本集的不同的且可能重叠的子集）中的可用参数值的哪一集合（例如小集合或大集合）中或从参数值的可用元组的多个集合（可以是基本集的不同的且可能重叠的子集）中的参数值的可用元组的哪一集合（例如小集合或大集合）中选择出一个或多个概率估计参数，例如，使用一个或多个已解码的标志，例如使用标志“usesecondsubset”。

110、可替代地，解码器被配置为评估信令，信令例如可以以专用标志的形式包括在编码位流中，指示应使用多个映射规则（例如映射表）中的哪一个映射规则将表示一个或多个概率估计参数的编码值，例如，编码的索引值q映射到一个或多个概率估计参数，例如，shik。

111、利用关于相应集合或概率估计参数的元组的集合的信息，可以以低计算代价执行概率估计参数的选择。此外，通过传输这样的信令，可以减少在解码器中而不是在编码器中使用不同的概率估计参数的错误概率。类似地，有益的映射规则，例如用于对编码位流进行编码的编码器中使用的映射规则，可以经由这样的信令而被传送。

112、例如，通过提供这样的信令，编码可以适应神经网络的特征。例如，可以为第一类型的神经网络选择参数值的可用元组的第一集合（例如，因为可用参数值的第一集合更好的适合第一类型的神经网络的统计数据），并且可以为第二类型的神经网络选择参数值的可用元组的第二集合。例如，对于神经网络，对参数值的可用元组的选择信令仅一次就已足够（或者至少比参数值的单独集合的实际选择更少）。因此，可以提高编码效率。

113、根据本发明的进一步实施例，解码器被配置为解码一个或多个索引值，例如通常为整数值，例如索引q或多个索引，描述概率估计参数值，或描述多个概率估计参数值，或描述概率估计参数值的元组，例如索引q。

114、通过使用索引值，概率估计参数可以以易于压缩的方式表示。类似于神经网络参数，可以对概率估计参数进行编码以及因此解码，提供提高的编码/解码效率。

115、根据本发明的进一步实施例，解码器被配置为使用一个或多个上下文模型解码一个或多个索引值，例如，上下文模型可以确定用于解码索引值的一个或多个二进制位的二进制位值的概率。

116、贯彻本发明的一个主要思想，神经网络参数的编码/解码的序列可以类似地应用于概率估计参数。因此，概率估计参数或表示概率估计参数的二进制位，或表示概率估计参数的索引值可以与上下文模型相关联。上下文相关的编码的好处可被利用两次，其中概率估计参数的编码/解码用于对神经网络参数进行上下文相关的编码/解码。

117、根据本发明的进一步实施例，解码器被配置为解码第一二进制位，例如usenotdefault二进制位，其描述当前考虑的索引值是否采用默认值，并且解码器被配置为如果当前考虑的索引值不采用默认值，则选择性地解码以二进制表示来表示当前考虑的索引值或由此得出的值（例如q-1）的一个或多个附加二进制位。

118、可选地，使用上下文解码指示当前考虑的索引值是否采用默认值的第一二进制位，例如考虑概率估计，而以每二进制位1位的固定长度对一个或多个附加二进制位进行解码。

119、解码这样的第一二进制位可以提高编码效率，因为如果神经网络参数被识别（例如在第一二进制位解码步骤中）为默认值，可能不需要进一步的解码。由于第一二进制位可能总是存在，例如，更复杂的上下文相关的编码可以提供提高的编码效率。对于可能不总是存在的附加二进制位，可以实现不太复杂的编码，例如具有固定概率的编码。

120、根据本发明的进一步实施例，解码器被配置为使用一元码解码、或使用截断的一元码解码、或使用变长码解码来解码一个或多个索引值，其中可选地根据不同索引值出现的概率选择码长度。使用一元码可以允许无前缀且自同步码。此外，使用变长码，具有高出现概率的索引值可以具有短的码长度，从而允许提高的效率，因为对于经常出现的索引，使用短的码长度可以节省符号和时间。

121、根据本发明的进一步实施例，解码器被配置为根据用于量化一个或多个概率估计参数的量化模式改变二进制位的数量或二进制位的最大数量，例如，在一元码或霍夫曼码的情况下，二进制位用于解码一个或多个概率估计参数，例如，指定所选概率估计参数或概率估计参数的所选元组的整数索引q，例如，以适应可用参数值的所选集合或参数值的可用元组的所选集合。

122、给定特定的量化方法，可以达到概率估计参数的特定准确度或精度。因此，如果可以关于量化或预期量化误差选择二进制位的数量或二进制位的最大数量，则可以提高编码效率。

123、根据本发明的进一步实施例，解码器被配置为根据神经网络的层的参数的数量、或根据待被使用一个或多个概率估计参数解码的神经网络参数的数量、或根据层参数的元素的数量，例如矩阵w的条目的数量、或（转置）向量b的元素的数量等，改变二进制位的数量或二进制位的最大数量，例如，在一元码或霍夫曼码的情况下，二进制位用于解码一个或多个概率估计参数，例如，指定所选概率估计参数或概率估计参数的所选元组的整数索引q，以例如适应可用参数值的所选集合或参数值的可用元组的所选集合。

124、可以通过关于待被解码的神经网络参数的数量改变用于解码概率估计参数的二进制位的数量来提高编码效率。可以在准确度、计算成本和时间工作量之间实现良好的权衡。此外，可以根据神经网络参数的数量确定二进制位的随机特征，例如，利用依赖于所述上下文模型的增大的数量的神经网络参数，更准确地适应上下文模型。

125、根据本发明的进一步实施例，解码器被配置为在与一个或多个概率估计参数相关联的可用参数值的不同集合之间切换，或在与多个概率估计参数相关联的可用参数值的元组的不同集合之间切换，或在用于映射表示一个或多个概率估计参数的编码值（例如，编码的索引值q）到一个或多个概率估计参数（例如 ）的不同映射规则之间切换。例如，可以在切换到待被解码的另一层的神经网络参数之后执行这种切换。此灵活性可以允许解码对提高的编码效率的更复杂的适应。

126、根据本发明的进一步实施例，解码器被配置为根据在与一个或多个概率估计参数相关联的可用参数值的不同集合之间的切换、或在与多个概率估计参数相关联的可用参数值的元组的不同集合之间的切换、或在不同映射规则之间的切换，改变二进制位的数量或二进制位的最大数量，例如，在一元码或霍夫曼码的情况下，二进制位用于解码一个或多个概率估计参数，例如指定所选概率估计参数或概率估计参数的所选元组的整数索引q。

127、为了更好地理解，下面将在包括编码过程的实施例的上下文中解释上述实施例的关于概率估计参数的二进制位表示的方面。因此，下面公开了具有可选细节的编码方案。

128、例如，待被编码的索引被分解成二进制位的序列，然后对二进制位的序列进行编码。例如，可以使用上下文模型或使用固定概率对每个二进制位进行编码。

129、例如，编码过程可以按照下列方案之一进行：

130、1. 第一二进制位，例如usenotdefault，表示待被选择的估计器参数是与默认参数不同（例如usenotdefault=1）还是相同（例如usenotdefault=0）。如果，例如usenotdefault=0，则选择默认参数，并且不再编码其他二进制位。

131、例如，每当usenotdefault=1时，一系列的二进制位，例如附加二进制位被编码，它们表示，例如，所选参数的索引减一()，indexminusone。例如，为索引编码的二进制位的数量等于，其中表示集合的元素的数量。

132、2. 对于第二过程，使用一元码。第一二进制位，例如greaterthan_0 表示与概率参数相关联的索引 是大于0（例如，greaterthan_0 = 1）还是不大于0（例如，greaterthan_0 = 0）。如果，例如，greaterthan_0 = 0，则不再编码其他二进制位。如果，例如，greaterthan_0 = 1，另一个，例如，附加二进制位被编码（例如，greaterthan_1），其表示索引大于1（例如，greaterthan_1 = 1）还是不大于1（greaterthan_1 = 0）。如果，例如，greaterthan_1 = 0，则不再编码其他二进制位。例如，如果greaterthan_1 = 0，则其他二进制位（greaterthan_x）将以相同的方式被编码，直到标志greaterthan_等于0。

133、3. 此过程应用截断的一元码，例如，它与编码方法2中使用的一元码相同，除了编码的索引等于的情况。例如，在这种情况下，在对二进制位greaterthan_

134、进行编码后，不再对其他二进制位进行编码。例如，在解码器侧，如果greaterthan_等于1，则的值被推断为。

135、4. 此过程使用变长码，其中码长度是根据符号出现的概率来选择的，例如霍夫曼码。

136、需要注意的是，这些方案中的任何一个可以用于本发明的任何实施例中。对于本领域技术人员来说显而易见的是，用于编码的方案可用于解码，反之亦然。

137、根据本发明的进一步实施例，解码器被配置为使用一个或多个状态变量，例如使用式（1）和（2）或使用式（3）和（4）或使用式（3）和（5）或使用一个或多个状态变量与概率估计之间的线性关系，例如p(x,i,k)，确定一个或多个状态变量，例如或，并得出概率估计，例如。

138、状态变量提供了一种有效手段用于评估概率模型，例如，描述神经网络参数或其二进制位的随机的上下文模型。如前所述，状态变量也可用于概率估计参数的编码。概率估计参数可以使用上下文模型进行解码，并使用状态变量进行评估，例如，可以基于已经解码或例如最近解码的概率估计参数更新状态变量。使用查找表，如式（1）中所示，还可以降低计算成本。

139、根据本发明的进一步实施例，解码器被配置为根据以下从两个状态变量得出概率估计

140、

141、以及

142、，

143、其中可选地lut2可以如本文中所述，并且其中，例如，n=2, 例如，对于所有，其中k为上下文模型索引。

144、根据本发明的实施例，解码器被配置为根据以下更新状态变量

145、,

146、其中和为加权因子，并且可选地构成概率估计参数，其中例如可等于2-3，并且其中可等于 2-7。此外，a是查找表，例如，存储整数值，例如，其可以如本文所述限定。此外，z是偏移值，例如，预定值，它可以等于16。可选地，可以被初始化，例如，如本文中所述。

147、根据本发明的进一步实施例，解码器被配置为改变加权因子，以便使用不同的概率估计参数值，例如，的不同值，用于解码不同的神经网络参数和/或使用不同的概率估计参数值来解码与不同上下文模型相关联的二进制位和/或使用不同的概率估计参数值来解码与神经网络的不同层相关联的神经网络参数。

148、根据本发明的进一步实施例，根据限定加权因子与适应参数之间的关系。

149、根据本发明的进一步实施例，解码器被配置为解码描述适应参数的信息，例如，描述适应参数的元组的索引q，其中可选地解码的索引值q的含义例如可以如下表2或表3或表4或表5或表6或表7中所提供的那样限定。这些表是映射规则或映射表的示例。

150、在优选实施例中，例如如上所述的实施例中，估计器应用例如适应参数的基本集，其为适应参数的元组。然后选择基本集的子集。子集中的一个参数可以被信令。

151、例如，在特别优选的实施例中，配置等于先前优选的实施例，但使用了估计器，其被配置为与用于多媒体内容描述和分析的神经网络压缩的mpeg-7第17部分标准的当前草案中使用的估计器相同，并且基本集包含以下28对用于：

152、表1：适应参数的优选基本集

153、

0

(0,0)

14

(2,3)

1

(0,1)

15

(2,4)

2

(0,2)

16

(2,5)

3

(0,3)

17

(2,6)

4

(0,4)

18

(3,3)

5

(0,5)

19

(3,4)

6

(0,6)

20

(3,5)

7

(1,1)

21

(3,6)

8

(1,2)

22

(4,4)

9

(1,3)

23

(4,5)

10

(1,4)

24

(4,6)

11

(1,5)

25

(5,5)

12

(1,6)

26

(5,6)

13

(2,2)

27

(6,6)

154、例如，大小为3的子集被限定和排序，使得根据表2的索引分配，例如，在用dq量化层的所有参数的情况下。例如，索引 的参数被表示为默认参数：

155、表2：集合大小为3的适应参数的优选子集

156、

适应参数对

0

(1,4)

1

(0,1)

2

(2,6)

157、例如，子集中的一个参数被信令，例如，通过根据编码方案1对进行编码，其中，例如，二进制位usenotdefault使用上下文模型进行编码，而所有其他二进制位以每二进制位1位的固定长度进行编码。一般而言，根据本发明的实施例，上下文相关的编码和/或其他编码（例如，变长或固定长度编码）的任意混合可应用于概率估计参数和/或神经网络参数的任何二进制位。

158、在另一个优选实施例（示例）中，除了分配的适应参数对和等于5的所选子集（表3）的大小之外，配置与先前优选实施例相同。

159、表3：集合大小为5的适应参数的优选子集

160、

适应参数对

0

(1,4)

1

(0,0)

2

(0,6)

3

(1,1)

4

(2,6)

161、在另一个优选实施例（示例）中，除分配的适应参数对（表4）之外，配置与先前优选实施例相同：

162、表4：集合大小为5的适应参数的第二优选子集

163、

适应参数对

0

(1,2)

1

(0,0)

2

(0,5)

3

(2,5)

4

(3,4)

164、在另一个优选实施例（示例）中，除了分配的适应参数对和等于9的所选子集（表5）的大小之外，配置与先前优选实施例相同。

165、表5：集合大小为9的适应参数的优选子集

166、

适应参数对

0

(1,4)

1

(0,0)

2

(0,5)

3

(1,1)

4

(1,2)

5

(2,4)

6

(2,6)

7

(3,4)

8

(3,5)

167、在另一个优选实施例（示例）中，除了分配的适应参数对（表6）外，配置与先前优选实施例相同。

168、表6：集合大小为9的适应参数的第二优选子集

169、

适应参数对

0

(1,3)

1

(0,0)

2

(0,5)

3

(1,1)

4

(1,6)

5

(2,4)

6

(2,6)

7

(3,5)

8

(4,4)

170、在另一个优选实施例（示例）中，除了分配的适应参数对（表7）、所选子集的大小（5）和使用的量化方法（使用urq）外，配置与先前优选实施例相同：

171、表7：集合大小为5和urq的适应参数的优选子集

172、

适应参数对

0

(1,4)

1

(0,6)

2

(1,1)

3

(2,6)

4

(3,4)

173、在另一个优选实施例（示例）中，使用估计器，其被配置为与用于多媒体内容描述和分析的神经网络压缩的mpeg-7第17部分标准的当前草案中使用的估计器相同，并且使用表1的基本集。这被表示为基本配置。

174、每当层参数用dq量化时，可以应用表5中的参数对的子集（大小为9）。如果层参数用urq量化，则可以使用表8中的子集。

175、表8：集合大小为9的适应参数的优选子集

176、

适应参数对

0

(1,4)

1

(0,1)

2

(0,6)

3

(1,2)

4

(1,6)

5

(2,5)

6

(2,6)

7

(3,4)

8

(3,5)

177、在另一个优选实施例（示例）中，可以应用先前优选实施例的基本配置。

178、每当层参数的元素的数量低于阈值时，例如可以设置 ，则可以使用例如表2中的参数对的大小为3的子集，表示为第一子集。否则，如果层参数的元素的数量大于或等于阈值，则可以使用例如表5中的大小为9的子集，表示为第二子集。

179、在另一个优选实施例（示例）中，配置与先前优选实施例相同，但是代替使用阈值，对标志（例如usesecondsubset）进行编码，它决定了，例如，待被使用的子集。例如，如果标志等于零，则可以使用第一子集。如果标志等于1，则可以使用第二子集。

180、根据本发明的进一步实施例，编码器被配置为从基本集中或从基本集的真子集中选择一个或多个概率估计参数。

181、可选地，基本集可以包括与一个或多个概率估计参数相关联的多个可用参数值，或者基本集可以包括与多个概率估计参数相关联的可用参数值的多个元组，例如可用对(, )的列表。

182、根据本发明的进一步实施例，编码器被配置为根据量化模式从可用参数值集的不同集合中或参数值的可用元组的不同集合中选择一个或多个概率估计参数，例如，使得编码器从可用参数值的第一集合中或参数值的可用元组的第一集合中选择一个或多个概率估计参数，用于使用第一量化模式（例如均匀量化urq）的情况，并且例如，使得编码器从可用参数值的第二集合中选择一个或多个概率估计参数，用于使用第二量化模式（例如相关量化dq）的情况。

183、根据本发明的进一步实施例，编码器被配置为在使用一个或多个概率估计参数的均匀量化，例如均匀重构量化（urq）或时不变量化的情况下，选择性地从可用参数值的第一集合中或参数值的可用元组的第一集合中选择一个或多个概率估计参数，以及编码器被配置为在使用一个或多个概率估计参数的可变量化，例如网格编码量化（tcq）或相关量化（dq）的情况下，选择性地从可用参数值的第二集合中或从参数值的可用元组的第二集合中选择一个或多个概率估计参数。可选地，可变量化，如dq可以使用比均匀量化更多的上下文模型，从而在可变量化的情况下，对于每个上下文模型待被编码的二进制位可能更少。

184、此外，可用参数值的第一集合与可用参数值的第二集合不同，并且参数值的可用元组的第一集合与参数值的可用元组的第二集合不同。

185、根据本发明的进一步实施例，平均而言，可用参数值的第二集合的可用参数值比可用参数值的第一集合的可用参数值允许概率估计的更快适应，例如对二进制位值频率的变化的更快适应。可替代地，平均而言，参数值的可用元组的第二集合的参数值的可用元组比参数值的可用元组的第一集合的参数值的可用元组允许概率估计的更快适应，例如，对二进制位值频率的变化的更快适应。

186、根据本发明的进一步实施例，可用参数值的第二集合包括可用参数值，该可用参数值比可用参数值的第一集合的可用参数值或例如甚至所有可用参数值允许概率估计的更快适应，例如，对二进制位值频率的变化的更快适应。可替代地，参数值的可用元组的第二集合包括参数值的可用元组，其比参数值的可用元组的第一集合的参数值的可用元组或者例如甚至所有可用元组允许概率估计的更快适应，例如，对二进制位值频率的变化的更快适应。

187、根据本发明的进一步实施例，编码器被配置为根据神经网络的层的参数的数量、或根据待被使用所选的一个或多个概率估计参数编码的神经网络参数的数量、或根据层参数的元素的数量，例如矩阵w的条目的数量或（转置）向量b的元素的数量等等，从可用（例如可允许）参数值或参数值的可用（例如可允许）元组的不同集合中选择一个或多个概率估计参数。

188、根据本发明的进一步的示例，编码器被配置为如果神经网络的层的参数的数量低于阈值，例如x=1000、或者待被使用所选的一个或多个概率估计参数编码的神经网络参数的数量低于阈值、或者如果层参数的元素的数量，例如矩阵w的条目的数量或（转置）向量b的元素的数量等低于阈值，选择性地从可用参数值的第一集合中或从参数值的可用元组的第一集合中选择一个或多个概率估计参数。

189、此外，编码器被配置为如果神经网络的层的参数的数量高于阈值，例如x=1000、或者待被使用所选的一个或多个概率估计参数编码的神经网络参数的数量高于阈值、或者如果层参数的元素的数量，例如矩阵w的条目数量或（转置）向量b的元素的数量等高于阈值，则选择性地从可用参数值的第二集合中或从参数值的可用元组的第二集合中选择一个或多个概率估计参数。

190、此外，可用参数值的第二集合比可用参数值的第一集合包括更多可用参数值，并且其中参数值的可用元组的第二集合比参数值的可用元组的第一集合包括更多可用元组。

191、根据本发明的进一步实施例，编码器被配置为如果待被使用所选的一个或多个概率估计参数编码的神经网络参数的数量大于或等于阈值，例如x=1000，则选择性地从增加的选择中选择一个或多个概率估计参数。

192、根据本发明的进一步实施例，编码器被配置为信令从例如可用参数值的多个集合（可以是基本集的不同的且可能重叠的子集）中的可用参数值的哪一集合（例如小集合或大集合）中或者从参数值的可用元组的多个集合（可以是基本集的不同的且可能重叠的子集）中的参数值的可用元组的哪一集合（例如小集合或大集合）中选择出一个或多个概率估计参数，例如使用一个或多个已编码的标志，例如使用标志“usesecondsubset”。

193、根据本发明的进一步实施例，编码器被配置为编码一个或多个索引值，例如通常为整数值，例如索引q或多个索引，描述概率估计参数值，或描述多个概率估计参数值，或描述概率估计参数值的元组，例如索引q。

194、根据本发明的进一步实施例，编码器被配置为使用一个或多个上下文模型编码一个或多个索引值，例如，上下文模型可以确定用于编码索引值的一个或多个二进制位的二进制位值的概率。

195、根据本发明的进一步实施例，编码器被配置为如果当前考虑的索引值采用默认值，使用描述当前考虑的索引值采用默认值的第一二进制位，或者例如仅使用第一二进制位，编码当前考虑的索引值。

196、此外，编码器被配置为如果当前考虑的索引值不采用默认值，使用描述当前考虑的索引值不采用默认值的第一二进制位以及使用以二进制表示来表示当前考虑的索引值或由此得出的值（例如q-1）的一个或多个附加二进制位，对当前考虑的索引值进行编码。

197、可选地，指示当前考虑的索引值是否采用默认值的第一二进制位使用上下文进行编码，例如考虑概率估计，而一个或多个附加二进制位以每个二进制位1位的固定长度进行编码。

198、根据本发明的进一步实施例，编码器被配置为使用一元码或使用截断的一元码或使用变长码对一个或多个索引值进行编码，其中可选地根据不同索引值出现的概率选择码长度。

199、根据本发明的进一步实施例，编码器被配置为根据用于量化一个或多个概率估计参数的量化模式改变二进制位的数量或二进制位的最大数量，例如，在一元码或霍夫曼码的情况下，二进制位用于编码一个或多个概率估计参数，例如，指定所选概率估计参数或概率估计参数的所选元组的整数索引q，例如，以适应可用参数值的所选集合或参数值的可用元组的所选集合。

200、根据本发明的进一步实施例，编码器被配置为根据神经网络的层的参数的数量、或根据待被使用一个或多个概率估计参数编码的神经网络参数的数量、或根据层参数的元素的数量，例如矩阵w的条目的数量，或（转置）向量b的元素的数量等，改变二进制位的数量或二进制位的最大数量，例如，在一元码或霍夫曼码的情况下，二进制位用于编码一个或多个概率估计参数，例如，指定所选概率估计参数或概率估计参数的所选元组的整数索引q，例如，以适应可用参数值的所选集合或参数值的可用元组的所选集合。

201、根据本发明的进一步实施例，编码器被配置为在与一个或多个概率估计参数相关联的可用参数值的不同集合之间切换、或在与多个概率估计参数相关联的可用参数值的元组的不同集合之间切换。

202、根据本发明的进一步实施例，编码器被配置为根据在与一个或多个概率估计参数相关联的可用参数值的不同集合之间的切换、或在与多个概率估计参数相关联的可用参数值的元组的不同集合之间的切换，改变二进制位的数量或二进制位的最大数量，例如，在一元码或霍夫曼码的情况下，二进制位用于编码一个或多个概率估计参数，例如，指定所选概率估计参数或概率估计参数的所选元组的整数索引q。

203、根据本发明的进一步实施例，编码器被配置为使用一个或多个状态变量，例如使用式（1）和（2）或使用式（3）和（4）或使用式（3）和（5）或使用一个或多个状态变量与概率估计之间的线性关系，例如，确定一个或多个状态变量，例如 或 ，并得出概率估计，例如。

204、根据本发明的进一步实施例，编码器被配置为根据以下从两个状态变量得出概率估计

205、

206、以及

207、。

208、可选地，lut2可以如本文中所述，以及例如，n=2, 例如，对于所有，其中k是上下文模型索引。

209、根据本发明的进一步实施例，编码器被配置为根据以下更新状态变量

210、

211、其中和为加权因子，并且例如构成概率估计参数，其中例如可等于 2-3，并且其中可等于 2-7。

212、此外，a是查找表，例如，存储整数值，例如，其可以如本文中所述限定，并且 z是偏移值，例如，预定值，例如，可以等于16。可选地，可以被初始化，例如，如本文中所述。

213、根据本发明的进一步实施例，编码器被配置为改变加权因子，以便使用不同的概率估计参数值，例如的不同值，用于不同的神经网络参数的编码和/或使用不同的概率估计参数值用于与不同上下文模型相关联的二进制位的编码和/或使用不同的概率估计参数值用于与神经网络的不同层相关联的神经网络参数的编码。

214、根据本发明的进一步实施例，根据限定加权因子与适应参数之间的关系。

215、根据本发明的进一步实施例，编码器被配置为编码描述适应参数的信息，例如，描述适应参数的元组的索引q，其中，例如，编码的索引值q的含义可以如表2或表3或表4或表5或表6或表7中所提供的那样限定。

216、在解码器的上下文中，上述解释的所有特征以及将在下文中解释的所有特征根据本发明的实施例分别被理解为编码器的特征。反之亦然，在编码器上下文中解释的特征分别被理解为解码器的特征。对于本领域技术人员显而易见的是，根据实施例的解码器的特征或解码的方法可以以相同或类似的方式适用于相应的编码器，反之亦然。在此上下文中，解码器可以对应于编码器，解码神经网络可以对应于编码神经网络参数，先前解码的神经网络参数或其二进制位可以对应于先前编码的神经网络参数或其二进制位，不同神经网络参数的解码和与不同上下文模型相关联的二进制位的解码可以对应于不同神经网络参数的编码和与不同上下文模型相关联的二进制位的编码，以及与神经网络的不同层相关联的神经网络参数的解码可以对应于与神经网络的不同层相关联的神经网络参数的编码。然而，这些只是对应的示例，对于本领域技术人员显而易见的是，根据本发明的实施例的解码器的特征和优点与根据本发明的实施例的编码器的特征和优点是可互换的。同样适用于实施例的详细描述中的关于编码/解码方法的说明和图。

217、根据本发明的进一步实施例，编码表示包括与不同神经网络参数相关联的单独概率估计参数和/或与不同上下文模型相关联的单独概率估计参数和/或与神经网络的不同层相关联的单独概率估计参数的单独编码表示。

218、利用单独编码表示，可以执行概率估计参数的自适应选择，以提高解码效率。

219、根据本发明的进一步实施例，编码表示包括将使用多个映射规则中的哪个映射规则将表示一个或多个概率估计参数的编码值，例如编码的索引值q映射到一个或多个概率估计参数（例如，）的标志指示。