特征量化方法和装置、编码器、通信系统与流程

1.本公开涉及编码领域，特别涉及一种特征量化方法和装置、编码器、通信系统。


背景技术：

2.传统的视频压缩编码面向人类视觉，多用于娱乐用途，注重信号保真度、高帧率等，无法匹配面向智能分析任务的机器视觉对于高准确性、低延迟和抽象语义的应用需求。面向人类视觉和面向机器视觉的视频压缩编码在应用场景、评估机制、信息处理和信息使用上存在较大差异。2019年7月，瑞典哥德堡第128次mpeg会议期间成立了vcm(video coding for machines，机器视觉编码)标准组，旨在研究适合机器视觉和人机混合视觉场景以智能应用为目标的压缩编码技术。
3.例如，典型应用场景为：利用特征抽取网络提取输入图像的特征后，需要对特征进行压缩/解压缩处理，并将处理后的特征输入任务网络进行处理，以得到输出结果。


技术实现要素：

4.发明人注意到，在相关技术中，为了降低特征数据的传输量，需要对特征抽取网络所抽取的特征进行压缩/解压缩，但该操作容易导致后续任务网络的性能损失。
5.为此，本公开提供一种特征量化方案，能够有效减小性能损失。
6.根据本公开实施例的第一方面，提供一种特征量化方法，由特征量化装置执行，包括：从特征提取网络模型获取第一浮点特征，其中特征提取网络模型从输入图像中提取出第一浮点特征；将第一浮点特征进行特征量化处理，以得到具有预设比特长度的第二特征；将第二特征发送给编码装置，以便编码装置对第二特征进行编码以得到比特流。
7.在一些实施例中，将第一浮点特征进行特征量化处理包括：将第一浮点特征转换为整形特征b
m
；根据整形特征b
m
计算对应的直方图h，其中h
i
是整形特征b
m
的第i个通道b
m，i
的直方图，i为通道号，1≤i≤c，c为通道总数；根据直方图h倒求累计直方图p，其中p
i，j
＝p
i，i 1
h
i，j
，h
i，j
是直方图h的第i个通道中的第j个子项，p
i，j
是累计直方图p的第i个通道中的第j个子项；根据累计直方图p进行截断处理，其中若p
i，j
大于预设门限，则更新第一浮点特征在第i个通道中的最大值f
max，i
；根据预设参数和第一浮点特征在第i个通道中的最大值f
max，i
对第一浮点特征在第i个通道中的特征值f
32_1，i
进行量化处理，以得到第二特征。
8.在一些实施例中，利用公式
[0009][0010]
将第一浮点特征f
32_1
转换为整形特征b
m
，其中a为预设参数，int为整形转换函数，round为四舍五入函数，f
max_1
为第一浮点特征的最大值。
[0011]
在一些实施例中，利用公式
[0012][0013]
更新第一浮点特征在第i个通道中的最大值f
max，i
，其中b为预设参数，float为浮点数转换函数。
[0014]
在一些实施例中，利用公式
[0015][0016]
计算第二特征在第i个通道中的特征值f
8_1，i
，其中c为预设参数，max为取最大值函数，f
32_1，i
为第一浮点特征在第i个通道中的特征值。
[0017]
在一些实施例中，将所述第一浮点特征进行特征量化处理包括：将所述第一浮点特征转换为整形特征b
m
；根据所述整形特征b
m
计算对应的直方图h；根据所述直方图h倒求累计直方图p，其中p
j
＝p
j 1
h
j
，h
j
是直方图h的第j个子项，p
j
是累计直方图p的第j个子项；根据累计直方图p进行截断处理，其中若p
j
大于预设门限，则更新第一浮点特征的最大值f
max
；根据预设参数和第一浮点特征的最大值f
max
对所述第一浮点特征的特征值f
32_1
进行量化处理，以得到所述第二特征。
[0018]
在一些实施例中，利用公式
[0019][0020]
将所述第一浮点特征f
32_1
转换为整形特征b
m
，其中a为预设参数，int为整形转换函数，round为四舍五入函数，f
max_1
为第一浮点特征的最大值。
[0021]
在一些实施例中，利用公式
[0022][0023]
更新第一浮点特征的最大值f
max
，其中b为预设参数，float为浮点数转换函数。
[0024]
在一些实施例中，利用公式
[0025][0026]
计算所述第二特征的特征值f
8_1
，其中c为预设参数，max为取最大值函数，f
32_1
为第一浮点特征的特征值。
[0027]
在一些实施例中，参数a为1023，参数b为1023，参数c为255。
[0028]
在一些实施例中，预设比特长度为8。
[0029]
根据本公开实施例的第二方面，提供一种特征量化装置，包括：存储器，被配置为存储指令；处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如上述任一实施例所述的方法。
[0030]
根据本公开实施例的第三方面，提供一种编码器，包括：如上述任一实施例涉及的
特征量化装置；特征提取网络模型，被配置为从输入图像中提取出第一浮点特征，并将第一浮点特征发送给特征量化装置；编码装置，被配置为对特征量化装置发送的第二特征进行编码以得到比特流。
[0031]
根据本公开实施例的第四方面，提供一种通信系统，包括：如上述任一实施例涉及的编码器；解码器，包括：解码装置，被配置为将编码器发送的比特流进行解码以得到具有预设比特长度的第三特征；特征反量化装置，被配置为对第三特征进行特征反量化处理，以获得第二浮点特征；任务网络模型模块，被配置为对第二浮点特征进行处理，以得到解码结果。
[0032]
在一些实施例中，特征反量化装置利用公式
[0033][0034]
计算第二浮点特征在第i个通道的特征值f
32_2，i
，其中f
8_2，i
为第三特征在第i个通道的特征值，f
max，i
为第三特征在第i个通道中的最大值，d为预设参数，i为通道号，1≤i≤c，c为通道总数。
[0035]
在一些实施例中，特征反量化装置利用公式
[0036][0037]
计算第二浮点特征的特征值f
32_2
，其中f
8_2
为第三特征的特征值，f
max
为第三特征的最大值，d为预设参数。
[0038]
在一些实施例中，参数d为255。
[0039]
根据本公开实施例的第五方面，提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上述任一实施例涉及的方法。
[0040]
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
[0041]
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0042]
图1为本公开一个实施例的特征量化方法的流程示意图；
[0043]
图2为本公开另一个实施例的特征量化方法的流程示意图；
[0044]
图3为本公开又一个实施例的特征量化方法的流程示意图；
[0045]
图4为本公开一个实施例的特征量化装置的结构示意图；
[0046]
图5为本公开一个实施例的编码器的结构示意图；
[0047]
图6为本公开一个实施例的通信系统的结构示意图。
具体实施方式
[0048]
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0049]
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
[0050]
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
[0051]
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
[0052]
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
[0053]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0054]
图1为本公开一个实施例的特征量化方法的流程示意图。在一些实施例中，下列的特征量化方法由特征量化装置执行。
[0055]
在步骤101，从特征提取网络模型获取第一浮点特征。
[0056]
特征提取网络模型从输入图像中提取出第一浮点特征。
[0057]
在步骤102，将第一浮点特征进行特征量化处理，以得到具有预设比特长度的第二特征。
[0058]
例如，预设比特长度为8。
[0059]
在一些实施例中，将第一浮点特征进行特征量化处理如图2所示。
[0060]
在步骤201，将第一浮点特征f
32_1
转换为整形特征b
m
。
[0061]
例如，将第一浮点特征f
32_1
定标，并映射到m个区间bin以得到整形特征b
m
。例如m为1024。
[0062]
在一些实施例中，利用公式(1)将第一浮点特征f
32_1
转换为整形特征b
m
。
[0063][0064]
其中，a为预设参数，例如a为1023。f
max_1
为第一浮点特征的最大值，即f
max_1
＝max(f
32_1
)。int为整形转换函数，round为四舍五入函数。
[0065]
在步骤202，根据整形特征b
m
计算对应的直方图h。
[0066]
在一些实施例中，利用公式(2)计算直方图h。
[0067]
h
i
＝hist(b
m，i
)
ꢀꢀꢀ
(2)
[0068]
其中，h
i
是整形特征bm的第i个通道b
m，i
的直方图，i为通道号，1≤i≤c，c为通道总数。
[0069]
在步骤203，根据直方图h倒求累计直方图p。
[0070]
在一些实施例中，利用公式(3)计算累计直方图p。
[0071]
p
i，j
＝p
i，j 1
h
i，j
ꢀꢀꢀ
(3)
[0072]
其中，h
i，j
是直方图h的第i个通道中的第j个子项，p
i，j
是累计直方图p的第i个通道中的第j个子项。
[0073]
在步骤204，根据累计直方图p进行截断处理。
[0074]
若p
i，j
大于预设门限，则更新第一浮点特征在第i个通道中的最大值f
max，i
。
[0075]
在一些实施例中，利用公式(4)更新第一浮点特征在第i个通道中的最大值f
max，i
。
[0076][0077]
其中，b为预设参数，例如b为1023。float为浮点数转换函数。
[0078]
在步骤205，根据预设参数和第一浮点特征在第i个通道中的最大值f
max，i
对第一浮点特征在第i个通道中的特征值f
32_1，i
进行量化处理，以得到第二特征。
[0079]
在一些实施例中，利用公式(5)计算第二特征在第i个通道中的特征值f
8_1，i
。
[0080][0081]
其中，c为预设参数，例如c为255。max为取最大值函数，f
32_1，i
为第一浮点特征在第i个通道中的特征值。
[0082]
在另一些实施例中，将第一浮点特征进行特征量化处理如图3所示。
[0083]
在步骤301，将第一浮点特征转换为整形特征b
m
。
[0084]
在一些实施例中，利用公式(6)将第一浮点特征f
32_1
转换为整形特征b
m
。
[0085][0086]
其中，a为预设参数，例如a为1023。int为整形转换函数，round为四舍五入函数，f
max_1
为第一浮点特征的最大值。
[0087]
在步骤302，根据整形特征b
m
计算对应的直方图h。
[0088]
在一些实施例中，利用公式(7)计算直方图h。
[0089]
h＝hist(b
m
)
ꢀꢀꢀ
(7)
[0090]
在步骤303，根据直方图h倒求累计直方图p。
[0091]
在一些实施例中，利用公式(7)计算累计直方图p。
[0092]
p
j
＝p
j 1
h
j
ꢀꢀꢀ
(8)
[0093]
h
j
是直方图h的第j个子项，p
j
是累计直方图p的第j个子项。
[0094]
在步骤304，根据累计直方图p进行截断处理。
[0095]
若p
j
大于预设门限，则更新第一浮点特征的最大值f
max
。
[0096]
在一些实施例中，利用公式(9)更新第一浮点特征的最大值f
max，i
。
[0097][0098]
其中，b为预设参数，例如b为1023。float为浮点数转换函数。
[0099]
在步骤305，根据预设参数和第一浮点特征的最大值f
max
对所述第一浮点特征的特
征值f
32_1
进行量化处理，以得到所述第二特征。
[0100]
在一些实施例中，利用公式(10)计算第二特征的特征值f
8_1
。
[0101][0102]
其中，c为预设参数，，例如c为255。max为取最大值函数，f
32_1
为第一浮点特征的特征值。
[0103]
返回图1。在步骤103，将第二特征发送给编码装置，以便编码装置对第二特征进行编码以得到比特流。
[0104]
这里需要说明的是，现有的量化方案未考虑异常的特征响应值对精度的影响。若采取完全均匀量化的方式，异常的特征响应值会导致数据范围过大，量化精度差，从而会对后续处理的性能影响较大。此外，现有的量化方案未考虑特征数据的分布范围，假设数据分布从负无穷到正无穷，若采用完全均匀量化的方式，则会造成没有整数的特征值反量化回去对应浮点的特征值0.0，对后续处理的性能影响较大。
[0105]
为解决这一问题，本公开对特征提取网络提取的特征进行无符号量化，确保整数特征值0对应浮点特征值0.0，消除了对后续处理的性能影响。此外分通道截断特征的最大相应值，使得每个通道的有效数据范围尽可能小，使得量化精度误差最小。此外仅通过直方图和阈值进行简单计算，更适合编解码场景。
[0106]
图4为本公开一个实施例的特征量化装置的结构示意图。如图4所示，特征量化装置包括存储器41和处理器42。
[0107]
存储器41用于存储指令，处理器42耦合到存储器41，处理器42被配置为基于存储器存储的指令执行实现如图1
‑
图3中任一实施例涉及的方法。
[0108]
如图4所示，该特征量化装置还包括通信接口43，用于与其它设备进行信息交互。同时，该特征量化装置还包括总线44，处理器42、通信接口43、以及存储器41通过总线44完成相互间的通信。
[0109]
存储器41可以包含高速ram存储器，也可还包括非易失性存储器(non
‑
volatile memory)，例如至少一个磁盘存储器。存储器41也可以是存储器阵列。存储器41还可能被分块，并且块可按一定的规则组合成虚拟卷。
[0110]
此外处理器42可以是一个中央处理器cpu，或者可以是专用集成电路asic，或是被配置成实施本公开实施例的一个或多个集成电路。
[0111]
本公开同时还涉及一种计算机可读存储介质，其中计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如图1
‑
图3中任一实施例涉及的方法。
[0112]
图5为本公开一个实施例的编码器的结构示意图。如图5所示，编码器包括特征提取网络模型51、特征量化装置52和编码装置53。特征量化装置52为图4中任一实施例涉及的特征量化装置。
[0113]
特征提取网络模型51被配置为从输入图像中提取出第一浮点特征，并将第一浮点特征发送给特征量化装置52。
[0114]
编码装置53被配置为对特征量化装置52发送的第二特征进行编码以得到比特流，以便将比特流发送给解码器。
[0115]
图6为本公开一个实施例的通信系统的结构示意图。如图6所示，通信系统包括编码器61和解码器62。编码器61中包括图5中所示的特征提取网络模型51、特征量化装置52和编码装置53。解码器62包括解码装置621、特征反量化装置622和任务网络模型模块623。
[0116]
解码装置621被配置为将编码器发送的比特流进行解码以得到具有预设比特长度的第三特征f
8_2
。
[0117]
在一些实施例中，预设比特长度为8。
[0118]
特征反量化装置622被配置为对第三特征f
8_2
进行特征反量化处理，以获得第二浮点特征f
32_2
。
[0119]
在一些实施例中，特征反量化装置622利用公式(11)计算第二浮点特征在第i个通道的特征值f
32_2，i
。
[0120][0121]
其中，f
8_2，i
为第三特征在第i个通道的特征值，f
max，i
为第三特征在第i个通道中的最大值。d为预设参数，例如d为255。i为通道号，1≤i≤c，c为通道总数。
[0122]
在另一实施例中，特征反量化装置622利用公式(12)计算第二浮点特征的特征值f
32_2
。
[0123][0124]
其中f
8_2
为第三特征的特征值，f
max
为第三特征的最大值，d为预设参数，例如d为255。
[0125]
任务网络模型模块623被配置为对第二浮点特征进行处理，以得到解码结果。
[0126]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0127]
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。