适配不同编解码器的语义结构化图像编解码方法及系统

1.本发明涉及图像压缩编码，尤其涉及一种适配不同编解码器的语义结构化图像编解码方法及系统。


背景技术：

2.为了更加高效地支持人机混合智能应用，已有方法提出了图像语义结构化码流的概念，例如：授权公告号为cn110225341b的中国发明专利《一种任务驱动的码流结构化图像编码方法》，其中引入目标检测的区域决策网络和对齐模块，基于压缩特征提取对象存在区域的边界框，依据边界框对特征进行空间层面的分割。被分割后的特征将按顺序分别进行熵编码形成结构化码流。
3.然而，上述方法根据提取对象存在区域的边界框对基于学习的图像编解码器的中间特征进行分割以及结构化，该方案还没有考虑适配于传统混合编码器如h.264、h.265和h.266，而传统编码器是目前广泛应用于工业界的编码标准，在未来很长一段时间里仍会保持高市场占用率。同样的，该方案也难以支持不同的基于学习的编解码器，限制了其功能性和适用性。


技术实现要素：

4.本发明的目的是提供一种适配不同编解码器的语义结构化图像编解码方法及系统，能够同时适配不同类型的编解码器，从而拥有更好的兼容性和可拓展性。
5.本发明的目的是通过以下技术方案实现的：
6.一种适配不同编解码器的语义结构化图像编解码方法，包括：
7.编码部分：对输入图像进行目标检测，确定前景目标检测结果；根据给定的是否对所有目标采用同一编解码器的标识符，确定对所有目标是否采用同一编解码器进行编解码，以及获取相应编解码器的索引，所述所有目标包含所有前景目标与背景目标；头信息编码时，对输入图像的尺寸信息、是否对所有目标采用同一编解码器的标识符，以及前景目标检测结果分别进行编码，再进行拼接形成头信息；纹理编码时，利用相应编码器，并结合目标检测结果对各个目标对应的图像分别进行纹理编码，综合所有目标编码得到的纹理信息形成总的纹理信息；其中，若对所有目标采用同一编解码器进行编解码，则在头信息编码时对编解码器的索引进行编码并放入头信息中，若对所有目标并非采用同一编解码器进行编解码，则在纹理编码时，对相应编解码器的索引进行编码并放入相应目标对应的纹理信息中；所述头信息与总的纹理信息构成语义结构化码流；
8.解码部分：对所述头信息进行解码，获得输入图像的尺寸信息、是否对所有目标采用同一编解码器的标识符，以及前景目标检测结果；根据解码出的是否对所有目标采用同一编解码器的标识符，确定对所有目标是否采用同一编解码器进行编解码；若对所有目标采用同一编解码器进行编解码，则头信息解码时还获得相应编解码器的索引，通过调用相应解码器对纹理信息进行解码；若对所有目标并非采用同一编解码器进行编解码，则对于
各个目标对应的纹理信息，先解码出相应的编解码器索引，再调用相应解码器解码出各个目标对应的图像；按照解码出的输入图像的尺寸信息、以及前景目标检测结果中各个前景目标的位置将所有前景目标与背景目标对应的图像拼接，获得重建图像。
9.一种适配不同编解码器的语义结构化图像编解码系统，包括：
10.编码单元，用于执行编码部分，所述编码部分包括：对输入图像进行目标检测，确定前景目标检测结果；根据给定的是否对所有目标采用同一编解码器的标识符，确定对所有目标是否采用同一编解码器进行编解码，以及获取相应编解码器的索引，所述所有目标包含所有前景目标与背景目标；头信息编码时，对输入图像的尺寸信息、是否对所有目标采用同一编解码器的标识符，以及前景目标检测结果分别进行编码，再进行拼接形成头信息；纹理编码时，利用相应编码器，并结合目标检测结果对各个目标对应的图像分别进行纹理编码，综合所有目标编码得到的纹理信息形成总的纹理信息；其中，若对所有目标采用同一编解码器进行编解码，则在头信息编码时对编解码器的索引进行编码并放入头信息中，若对所有目标并非采用同一编解码器进行编解码，则在纹理编码时，对相应编解码器的索引进行编码并放入相应目标对应的纹理信息中；所述头信息与总的纹理信息构成语义结构化码流；
11.解码单元，用于执行解码部分，所述解码部分包括：对所述头信息进行解码，获得输入图像的尺寸信息、是否对所有目标采用同一编解码器的标识符，以及前景目标检测结果；根据解码出的是否对所有目标采用同一编解码器的标识符，确定对所有目标是否采用同一编解码器进行编解码；若对所有目标采用同一编解码器进行编解码，则头信息解码时还获得相应编解码器的索引，通过调用相应解码器对纹理信息进行解码；若对所有目标并非采用同一编解码器进行编解码，则对于各个目标对应的纹理信息，先解码出相应的编解码器索引，再调用相应解码器解码出各个目标对应的图像；按照解码出的输入图像的尺寸信息、以及前景目标检测结果中各个前景目标的位置将所有前景目标与背景目标对应的图像拼接，获得重建图像。
12.一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
13.其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
14.一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
15.由上述本发明提供的技术方案可以看出，可以适配传统混合编解码器，令其拥有了更好的泛用性和拓展性，同时能够更好地适配于目前的市场需求。同时，实现了对图像各个目标以及背景采用同样的编解码器和分别使用不同编解码器的可选项，在保证编码效率的同时增加了方案的灵活性。
附图说明
16.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
17.图1为本发明实施例提供的一种适配不同编解码器的语义结构化图像编解码方法的流程图；
18.图2为本发明实施例提供的使用同一编解码器作用于各个目标的编解码流程图；
19.图3为本发明实施例提供的使用多个编解码器作用于各个目标的编解码流程图；
20.图4为本发明实施例提供的一种适配不同编解码器的语义结构化图像编解码系统的示意图；
21.图5为本发明实施例提供的一种处理设备的示意图。
具体实施方式
22.下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
23.首先对本文中可能使用的术语进行如下说明：
24.术语“和/或”是表示两者任一或两者同时均可实现，例如，x和/或y表示既包括“x”或“y”的情况也包括“x和y”的三种情况。
25.术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素(如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等)，应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
26.术语“由
……
组成”表示排除任何未明确列出的技术特征要素。若将该术语用于权利要求中，则该术语将使权利要求成为封闭式，使其不包含除明确列出的技术特征要素以外的技术特征要素，但与其相关的常规杂质除外。如果该术语只是出现在权利要求的某子句中，那么其仅限定在该子句中明确列出的要素，其他子句中所记载的要素并不被排除在整体权利要求之外。
27.下面对本发明所提供的适配不同编解码器的语义结构化图像编解码方案进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。本发明实施例中所用试剂或仪器未注明生产厂商者，均为可以通过市售购买获得的常规产品。
28.实施例一
29.本发明实施例提供一种适配不同编解码器的语义结构化图像编解码方法，针对现有的语义结构化图像编码技术进行了改进，从而能够适配各种编解码器，如不同的传统混合编码器，以及不同的基于学习的编解码器等。如图1所示，其主要包括编码与解码两个部分。
30.一、编码部分。
31.1、对输入图像进行目标检测，确定目标检测结果。
32.本发明实施例中，通过目标检测模型对所述输入图像进行前景目标检测，获得所有前景目标检测结果，每一前景目标的检测结果包括前景目标的位置以及类别，第k个前景
目标的位置及类别表示为：{ak,bk,hk,wk,clsk}，ak,bk,hk,wk,clsk分别代表第k个前景目标的左上角坐标的横轴位置、左上角坐标的纵轴位置、高度、宽度以及类别。
33.本发明实施例中，所述输入图像中去除所有前景目标位置后的部分即为背景目标部分，输入图像中的所有前景目标与背景目标构成了所述所有目标。
34.本发明实施例中，目标检测模型可以通过现有网络模型实现，故不做赘述。
35.2、头信息编码。
36.本发明实施例中，根据给定的是否对所有目标采用同一编解码器的标识符，确定对所有目标是否采用同一编解码器进行编解码，以及获取相应编解码器的索引；头信息编码时，对输入图像的尺寸信息、是否对所有目标采用同一编解码器的标识符，以及前景目标检测结果分别进行编码，再进行拼接形成头信息；其中，若对所有目标采用同一编解码器进行编解码，则在头信息编码时对编解码器的索引进行编码并放入头信息中。
37.本发明实施例中，头信息编码时可以根据需要选择现有编码方式实现，例如，可以选择定长编码方式实现。
38.3、纹理编码。
39.本发明实施例中，纹理编码时，利用相应编码器，并结合目标检测结果对各个目标对应的图像分别进行纹理编码，综合所有目标编码得到的纹理信息形成总的纹理信息。若对所有目标并非采用同一编解码器进行编解码，则在纹理编码时，对相应编解码器的索引进行编码并放入相应目标对应的纹理信息中。
40.本发明实施例中，前景目标检测结果包含了各个前景目标的位置，因此，可以从输入图像中获得各个前景目标对应的图像，而去除所有前景目标对应的图像后，剩余图像即为背景目标对应的图像，确定各个目标对应图像后再进行纹理编码。
41.本发明实施例中，若对所有目标采用同一编解码器进行编解码，则头信息的结构包括：输入图像的尺寸信息、是否对所有目标采用同一编码器的标识符、编解码器的索引、前景目标数目、每一前景目标的位置与类别；目标对应纹理信息的结构包括：目标纹理信息对应码流的长度；若对所有目标并非采用同一编解码器进行编解码，则头信息的结构包括：输入图像的尺寸信息、是否对所有目标采用同一编码器的标识符、前景目标数目、每一前景目标的位置与类别；目标对应纹理信息的结构包括：目标对应的编解码器的索引，以及目标纹理信息对应码流的长度。
42.本发明实施例中，所述头信息与总的纹理信息构成语义结构化码流。
43.本发明实施例中，是否对所有目标采用同一编解码器的标识符的内容可以由用户进行设定。对目标进行编解码是指对目标的图像进行编解码，采用同一编码器时，所有目标的图像使用同一个编解码器分别进行编解码，所述同一个编解码器是可以变动的，根据情况，可以选择传统混合编码器或者基于学习的编解码器中的任一编解码器。对所有目标并非采用同一编解码器进行编解码是指使用的编解码器的数目至少为两个，至多等于目标数目，即大于2小于等于k 1，k表示前景目标的数目，1表示背景目标的数目，编解码器的数目等于k 1时，表示每一个前景目标和背景目标的图像都使用不同编解码器进行编解码，编解码器的数目大于2小于k 1时，表示某些目标的图像使用了相同的编解码器，编解码器的类型同样可以选择传统混合编码器或者基于学习的编解码器。
44.二、解码部分。
45.1、头信息解码。
46.对所述头信息进行解码，获得输入图像的尺寸信息、是否对所有目标采用同一编解码器的标识符，以及前景目标检测结果。
47.2、纹理信息解码。
48.根据解码出的是否对所有目标采用同一编解码器的标识符，确定对所有目标是否采用同一编解码器进行编解码；若对所有目标采用同一编解码器进行编解码，则头信息解码时还获得相应编解码器的索引，通过调用相应解码器对纹理信息进行解码；若对所有目标并非采用同一编解码器进行编解码，则对于各个目标对应的纹理信息，先解码出相应的编解码器索引，再调用相应解码器解码出各个目标对应的图像；按照解码出的输入图像的尺寸信息、以及前景目标检测结果中各个前景目标的位置将所有前景目标与背景目标对应的图像拼接，获得重建图像。
49.为了便于理解，下面针对对所有目标采用同一编解码器进行编解码、对所有目标并非采用同一编解码器进行编解码这两种情况下的方案分别进行详细的说明。
50.方案一、对所有目标采用同一编解码器进行编解码的方案。
51.如图2所示，展示了整体编解码流程，图2中间的全局编解码器索引表示所有目标使用的同一个编解码器的索引。编解码流程主要如下：
52.1、编码流程。
53.步骤a1：目标检测。对于输入图像x，其大小为h
×w×
c，h和w分别代表图像的高和宽，c为通道数目，先经过目标检测模型得到前景目标检测结果。
54.步骤a2：头信息编码。将图像的高h、宽w、是否对所有目标采用同一编解码器的标识符(对于方案一，该标识符为1)和所选编解码器的索引进行编码。编解码器索引示例如表1所示。
55.表1：编解码器索引示例
56.编解码器索引编解码器0h.2641h.2652h.2663neural-14neural-2
…………
255扩充准备
57.再将图像中前景目标的数目以及每个前景目标的位置和类别信息进行编码。将上述所有内容对应码流拼接起来形成语义结构化码流的头信息，其语法结构如表2所示。
58.表2：码流的头信息的语法结构
[0059][0060]
其中，image_height_minus1表示图像的高h；image_width_minus1表示图像的宽w；single_texture_codec_enabled_flag表示是否对所有目标采用同一编码器的标识符；texture_codec_idx表示所选编解码器索引；bounding_boxes_numbers表示图像中前景目标数目；bounding_box_x、bounding_box_y、bounding_box_h、bounding_box_w、bounding_box_category依次表示当前前景目标左上角的横坐标、左上角的纵坐标、高度、宽度、类别信息，此处仅提供了单个前景目标的示例，多个前景目标的以上5个信息为一组，按照顺序依次排列；u表示无符号的数据类型，以u(32)为例，它表示码流段对应的长度是32个bit。
[0061]
本发明实施例中，码流长度用于后续解码，其原理为：在实际熵编码时，无法得知数据被编码之后的长度，而解码时需要先读取出对应长度的码流才能进行解码，因此，需要在存储完成熵编码的码流之前，加上相应码流长度，从而使解码端能正确解码出数据。
[0062]
步骤a3：纹理信息编码。根据编解码器索引选择对应的编解码器，利用该编解码器和之前目标检测结果对图像中各个目标进行纹理编码，并按照用户自定义的顺序填入码流，最终形成纹理信息。
[0063]
2、解码流程。
[0064]
步骤a4：头信息解码。
[0065]
解码获得图像的尺寸信息(高度h与宽度w)、是否对所有目标采用同一编解码器的标识符和所选编解码器的索引，以及前景目标的位置信息、类别信息。
[0066]
步骤a5：纹理信息解码。
[0067]
利用所选编解码器索引调用对应解码器。利用相应解码器对各个目标的纹理部分进行解码，再按照位置将目标对应的图像拼接成完整的重建图像。
[0068]
方案二、对所有目标并非采用同一编解码器进行编解码。
[0069]
1、编码流程。
[0070]
步骤b1：目标检测。该部分与方案一中的步骤a1相同。
[0071]
步骤b2：头信息编码压缩。
[0072]
将图像的高h、宽w、是否对所有目标采用同一编解码器的标识符(对于方案二，该标识符为0)进行编码。最后，编码图像中前景目标的位置信息、类别信息。将上述所有内容
对应码流拼接起来形成语义结构化码流的头信息。头信息的内容可参见前述表2，区别主要在于此时没有texture_codec_idx表示所选编解码器索引这一部分。
[0073]
步骤b3：纹理编码。
[0074]
对于各个目标，编码目标所使用的编解码器的索引，再根据对应的编解码器索引选取对应编码器对目标对应的图像进行纹理编码，并将编码结果按用户自定义的顺序放入码流，形成纹理信息，其语法结构如表3所示。
[0075]
表3：目标对应纹理信息语法结构
[0076][0077]
其中，texture_codec_idx表示单个目标纹理部分对应的编解码器索引，object_texture_length_minus1表示目标纹理部分对应码流的长度。前述方案一的步骤a3获得的纹理信息与表3主要区别在于没有texture_codec_idx这个部分。
[0078]
2、解码流程。
[0079]
步骤b4：头信息解码。该部分与方案一的步骤a4相同。
[0080]
步骤b5：纹理信息解码。
[0081]
对每个目标对应的码流(纹理信息)，都重复以下过程：首先，解码目标所选编解码器的索引，然后根据索引调用对应的解码器，利用解码器解码出目标对应的图像，按照各个位置将目标对应的图像拼接成完整的重建图像。
[0082]
本发明实施例上述方案，主要具有如下优点：
[0083]
(1)在语义结构化图像编码的基础上对传统编解码器进行了适配，令其拥有了更好的泛用性和拓展性，同时能够更好地适配于目前的市场需求。
[0084]
(2)实现了对图像各目标以及背景采用同样的编解码器和分别使用不同编解码器的可选项，在保证编码效率的同时增加了方案的灵活性。
[0085]
实施例二
[0086]
本发明还提供一种适配不同编解码器的语义结构化图像编解码系统，其主要基于前述实施例提供的方法实现，如图4所示，该系统主要包括：
[0087]
编码单元，用于执行编码部分，所述编码部分包括：对输入图像进行目标检测，确定前景目标检测结果；根据给定的是否对所有目标采用同一编解码器的标识符，确定对所有目标是否采用同一编解码器进行编解码，以及获取相应编解码器的索引，所述所有目标包含所有前景目标与背景目标；头信息编码时，对输入图像的尺寸信息、是否对所有目标采用同一编解码器的标识符，以及前景目标检测结果分别进行编码，再进行拼接形成头信息；纹理编码时，利用相应编码器，并结合目标检测结果对各个目标对应的图像分别进行纹理编码，综合所有目标编码得到的纹理信息形成总的纹理信息；其中，若对所有目标采用同一编解码器进行编解码，则在头信息编码时对编解码器的索引进行编码并放入头信息中，若
对所有目标并非采用同一编解码器进行编解码，则在纹理编码时，对相应编解码器的索引进行编码并放入相应目标对应的纹理信息中；所述头信息与总的纹理信息构成语义结构化码流；
[0088]
解码单元，用于执行解码部分，所述解码部分包括：对所述头信息进行解码，获得输入图像的尺寸信息、是否对所有目标采用同一编解码器的标识符，以及前景目标检测结果；根据解码出的是否对所有目标采用同一编解码器的标识符，确定对所有目标是否采用同一编解码器进行编解码；若对所有目标采用同一编解码器进行编解码，则头信息解码时还获得相应编解码器的索引，通过调用相应解码器对纹理信息进行解码；若对所有目标并非采用同一编解码器进行编解码，则对于各个目标对应的纹理信息，先解码出相应的编解码器索引，再调用相应解码器解码出各个目标对应的图像；按照解码出的输入图像的尺寸信息、以及前景目标检测结果中各个前景目标的位置将所有前景目标与背景目标对应的图像拼接，获得重建图像。
[0089]
本发明实施例中，所述对输入图像进行目标检测，确定前景目标检测结果包括：
[0090]
通过目标检测模型对所述输入图像进行目标检测，获得所有前景目标检测结果，每一前景目标的检测结果包括前景目标的位置以及类别，第k个前景目标的位置及类别表示为：{ak,bk,hk,wk,clsk}，ak,bk,hk,wk,clsk分别代表第k个前景目标的左上角坐标的横轴位置、左上角坐标的纵轴位置、高度、宽度以及类别。
[0091]
本发明实施例中，若对所有目标采用同一编解码器进行编解码，则头信息的结构包括：输入图像的尺寸信息、是否对所有目标采用同一编码器的标识符、编解码器的索引、前景目标数目、每一前景目标的位置与类别；目标对应纹理信息的结构包括：目标纹理信息对应码流的长度；若对所有目标并非采用同一编解码器进行编解码，则头信息的结构包括：输入图像的尺寸信息、是否对所有目标采用同一编码器的标识符、前景目标数目、每一前景目标的位置与类别；目标对应纹理信息的结构包括：目标对应的编解码器的索引，以及目标纹理信息对应码流的长度。
[0092]
本发明实施例中，所述编解码器包括：基于学习的编解码器，以及传统混合编解码器。
[0093]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
[0094]
实施例三
[0095]
本发明还提供一种处理设备，如图5所示，其主要包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述实施例提供的方法。
[0096]
进一步的，所述处理设备还包括至少一个输入设备与至少一个输出设备；在所述处理设备中，处理器、存储器、输入设备、输出设备之间通过总线连接。
[0097]
本发明实施例中，所述存储器、输入设备与输出设备的具体类型不做限定；例如：
[0098]
输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等；
[0099]
输出设备可以为显示终端；
[0100]
存储器可以为随机存取存储器(random access memory，ram)，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。
[0101]
实施例四
[0102]
本发明还提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述实施例提供的方法。
[0103]
本发明实施例中可读存储介质作为计算机可读存储介质，可以设置于前述处理设备中，例如，作为处理设备中的存储器。此外，所述可读存储介质也可以是u盘、移动硬盘、只读存储器(read-only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。
[0104]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。