适配不同编解码器的语义结构化图像编解码方法及系统

技术特征：
1.一种适配不同编解码器的语义结构化图像编解码方法，其特征在于，包括：编码部分：对输入图像进行目标检测，确定前景目标检测结果；根据给定的是否对所有目标采用同一编解码器的标识符，确定对所有目标是否采用同一编解码器进行编解码，以及获取相应编解码器的索引，所述所有目标包含所有前景目标与背景目标；头信息编码时，对输入图像的尺寸信息、是否对所有目标采用同一编解码器的标识符，以及前景目标检测结果分别进行编码，再进行拼接形成头信息；纹理编码时，利用相应编码器，并结合目标检测结果对各个目标对应的图像分别进行纹理编码，综合所有目标编码得到的纹理信息形成总的纹理信息；其中，若对所有目标采用同一编解码器进行编解码，则在头信息编码时对编解码器的索引进行编码并放入头信息中，若对所有目标并非采用同一编解码器进行编解码，则在纹理编码时，对相应编解码器的索引进行编码并放入相应目标对应的纹理信息中；所述头信息与总的纹理信息构成语义结构化码流；解码部分：对所述头信息进行解码，获得输入图像的尺寸信息、是否对所有目标采用同一编解码器的标识符，以及前景目标检测结果；根据解码出的是否对所有目标采用同一编解码器的标识符，确定对所有目标是否采用同一编解码器进行编解码；若对所有目标采用同一编解码器进行编解码，则头信息解码时还获得相应编解码器的索引，通过调用相应解码器对纹理信息进行解码；若对所有目标并非采用同一编解码器进行编解码，则对于各个目标对应的纹理信息，先解码出相应的编解码器索引，再调用相应解码器解码出各个目标对应的图像；按照解码出的输入图像的尺寸信息、以及前景目标检测结果中各个前景目标的位置将所有前景目标与背景目标对应的图像拼接，获得重建图像。2.根据权利要求1所述的一种适配不同编解码器的语义结构化图像编解码方法，其特征在于，所述对输入图像进行目标检测，确定前景目标检测结果包括：通过目标检测模型对所述输入图像进行前景目标检测，获得所有前景目标检测结果，每一前景目标的检测结果包括前景目标的位置以及类别，第k个前景目标的位置及类别表示为：{a
k
,b
k
,h
k
,w
k
,cls
k
}，a
k
,b
k
,h
k
,w
k
,cls
k
分别代表第k个前景目标的左上角坐标的横轴位置、左上角坐标的纵轴位置、高度、宽度以及类别。3.根据权利要求2所述的一种适配不同编解码器的语义结构化图像编解码方法，其特征在于，若对所有目标采用同一编解码器进行编解码，则头信息的结构包括：输入图像的尺寸信息、是否对所有目标采用同一编码器的标识符、编解码器的索引、前景目标数目、每一前景目标的位置与类别；目标对应纹理信息的结构包括：目标纹理信息对应码流的长度；若对所有目标并非采用同一编解码器进行编解码，则头信息的结构包括：输入图像的尺寸信息、是否对所有目标采用同一编码器的标识符、前景目标数目、每一前景目标的位置与类别；目标对应纹理信息的结构包括：目标对应的编解码器的索引，以及目标纹理信息对应码流的长度。4.根据权利要求1所述的一种适配不同编解码器的语义结构化图像编解码方法，其特征在于，所述编解码器包括：基于学习的编解码器，以及传统混合编解码器。5.一种适配不同编解码器的语义结构化图像编解码系统，其特征在于，包括：编码单元，用于执行编码部分，所述编码部分包括：对输入图像进行目标检测，确定前景目标检测结果；根据给定的是否对所有目标采用同一编解码器的标识符，确定对所有目
标是否采用同一编解码器进行编解码，以及获取相应编解码器的索引，所述所有目标包含所有前景目标与背景目标；头信息编码时，对输入图像的尺寸信息、是否对所有目标采用同一编解码器的标识符，以及前景目标检测结果分别进行编码，再进行拼接形成头信息；纹理编码时，利用相应编码器，并结合目标检测结果对各个目标对应的图像分别进行纹理编码，综合所有目标编码得到的纹理信息形成总的纹理信息；其中，若对所有目标采用同一编解码器进行编解码，则在头信息编码时对编解码器的索引进行编码并放入头信息中，若对所有目标并非采用同一编解码器进行编解码，则在纹理编码时，对相应编解码器的索引进行编码并放入相应目标对应的纹理信息中；所述头信息与总的纹理信息构成语义结构化码流；解码单元，用于执行解码部分，所述解码部分包括：对所述头信息进行解码，获得输入图像的尺寸信息、是否对所有目标采用同一编解码器的标识符，以及前景目标检测结果；根据解码出的是否对所有目标采用同一编解码器的标识符，确定对所有目标是否采用同一编解码器进行编解码；若对所有目标采用同一编解码器进行编解码，则头信息解码时还获得相应编解码器的索引，通过调用相应解码器对纹理信息进行解码；若对所有目标并非采用同一编解码器进行编解码，则对于各个目标对应的纹理信息，先解码出相应的编解码器索引，再调用相应解码器解码出各个目标对应的图像；按照解码出的输入图像的尺寸信息、以及前景目标检测结果中各个前景目标的位置将所有前景目标与背景目标对应的图像拼接，获得重建图像。6.根据权利要求5所述的一种适配不同编解码器的语义结构化图像编解码系统，其特征在于，所述对输入图像进行目标检测，确定前景目标检测结果包括：通过目标检测模型对所述输入图像进行目标检测，获得所有前景目标检测结果，每一前景目标的检测结果包括前景目标的位置以及类别，第k个前景目标的位置及类别表示为：{a
k
,b
k
,h
k
,w
k
,cls
k
}，a
k
,b
k
,h
k
,w
k
,cls
k
分别代表第k个前景目标的左上角坐标的横轴位置、左上角坐标的纵轴位置、高度、宽度以及类别。7.根据权利要求6所述的一种适配不同编解码器的语义结构化图像编解码系统，其特征在于，若对所有目标采用同一编解码器进行编解码，则头信息的结构包括：输入图像的尺寸信息、是否对所有目标采用同一编码器的标识符、编解码器的索引、前景目标数目、每一前景目标的位置与类别；目标对应纹理信息的结构包括：目标纹理信息对应码流的长度；若对所有目标并非采用同一编解码器进行编解码，则头信息的结构包括：输入图像的尺寸信息、是否对所有目标采用同一编码器的标识符、前景目标数目、每一前景目标的位置与类别；目标对应纹理信息的结构包括：目标对应的编解码器的索引，以及目标纹理信息对应码流的长度。8.根据权利要求5所述的一种适配不同编解码器的语义结构化图像编解码方法，其特征在于，所述编解码器包括：基于学习的编解码器，以及传统混合编解码器。9.一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1～4任一项所述的方法。
10.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1～4任一项所述的方法。

技术总结
本发明公开了一种适配不同编解码器的语义结构化图像编解码方法及系统，可以适配传统编解码器，令其拥有了更好的泛用性和拓展性，同时能够更好地适配于目前的市场需求。同时，实现了对图像各个目标以及背景采用同样的编解码器和分别使用不同编解码器的可选项，在保证编码效率的同时增加了方案的灵活性。证编码效率的同时增加了方案的灵活性。证编码效率的同时增加了方案的灵活性。


技术研发人员：陈志波 冯若愚 金鑫 孙思萌
受保护的技术使用者：中国科学技术大学
技术研发日：2022.09.30
技术公布日：2023/1/13