特征图编码装置、特征图编码方法、特征图解码装置、特征图解码方法与流程

摘要: 涉及神经网络中的特征图的编码/解码。背景技术:1、作为用于图像中各种尺度的对象检测、每个对象的区域分割、或对象跟踪等图像识别的神经网络技术,已知非专利文献1的f...
特征图编码装置、特征图编码方法、特征图解码装置、特征图解码方法与流程

涉及神经网络中的特征图的编码/解码。

背景技术:

1、作为用于图像中各种尺度的对象检测、每个对象的区域分割、或对象跟踪等图像识别的神经网络技术,已知非专利文献1的fpn(feature pyramid network:特征金字塔网络)。在fpn中,从待处理图像生成各种尺度的多个特征图,并使用特征图执行各种图像识别。

2、用于图像识别的fpn从图像生成多个特征图,其结构利用cnn(convolutionalneural network:卷积神经网络)。cnn读取图像,包含卷积和池化,可以分为生成特征图的特征量提取部(主干网络);以及由分层的全连接层构成、生成适于物体检测、实例分割、对象跟踪等任务的输出的识别部(头部)。fpn利用cnn的主干网络。

3、fpn的特征量提取部将图3所示的卷积处理部301、激活处理部302和池化处理部303作为一个基本单元构成,典型结构是重复该基本单元的分层结构。

4、图4示出fpn的结构。fpn由以下部分构成:使用cnn的主干网络生成由分层的多个层构成的多尺度特征图的自底向上处理部322;以及使用cnn的主干网络的相反结构将特征量从深层特征图聚合到浅层特征图的自顶向下处理部324。自底向上处理部322在重复作为基本单元的图3的卷积处理部301、激活处理部302和池化处理部303的同时,将特征图的分辨率逐次缩小1/2,生成多层特征图的金字塔。另一方面,自顶向下处理部324在与自底向上处理部322对应分辨率的特征图进行相加的同时,将特征图的分辨率放大到与输入图像相同的分辨率,生成特征图的金字塔。即,fpn针对每个层从特征量提取处理对象的图像326生成多个特征图。

5、卷积处理部301使用多种预定滤波器(核)对处理对象数据(图像或特征图)进行卷积处理。在卷积处理部301的卷积处理中,以预定间隔滑动的同时对处理对象的数据整体进行预定的滤波。此时,将滑动的间隔称为步长。卷积处理部301可以基于处理对象的数据数量来决定步长。卷积处理部301例如可以在处理对象的数据数量小于预定值时决定步长为1,在预定值以上时决定步长为2。在每个层准备多个预定滤波器,通过在各滤波器分别生成一个特征图,从而生成多个特征图。将特征图的单元作为通道。若将预定滤波器的数量(种类)设为n个(n种),则生成n个(n通道)特征图。

6、激活处理部302执行将从卷积处理部301输出的特征图变换为非线性的激活处理。这里,将激活处理中使用的函数称为激活函数。激活处理部302使用relu(rectifiedlinear unit:修正线性单元)函数或sigmoid函数等作为激活函数。

7、池化处理部303是将从激活处理部302输出的特征图的局部值替换为代表值来对特征图进行下采样的处理。

8、另一方面,神经网络在进行识别时具备使用各层的多个通道的特征图来执行任务的功能。

9、在图像识别中,对各层的多个通道的特征图,按基于特征图尺度的预定大小进行特征图的卷积处理,按每个像素计算对象类别的概率。

10、在先技术文献

11、非专利文献

12、非专利文献1:tsung-yi lin, piotr dollar, ross girshick, kaiming he,bharath hariharan, and serge belongie. feature pyramid networks for objectdetection. in cvpr, 2017。

技术实现思路

1、特征图的信息量庞大,不适合传输和存储。本实施方式鉴于上述课题,其目的在于提供一种对特征图进行编码和解码的技术。

2、为了解决上述课题,本实施方式的一种方式的特征图编码装置是一种对多尺度特征图进行编码的特征图编码装置,包括:量化部,将多个通道的浮点型特征图的元素从浮点型变换为整数型,生成多个通道的整数型特征图;打包部,将多个通道的整数型特征图进行打包,生成一个整数型打包特征帧;以及特征图内部编码部,对所述整数型打包特征帧进行编码,生成比特流。所述量化部设定两个以上的量化模式,为每个量化模式设定浮点型的最小值和最大值,基于所述量化模式中任一个所对应的浮点型的最小值和最大值来进行量化处理。

3、本实施方式的另一种方式是特征图解码装置。该装置是对多尺度特征图被编码后的比特流进行解码的特征图解码装置,包括:特征图内部解码部,对所述比特流进行解码,生成整数型打包特征帧;解包部,将整数型打包特征帧解包,生成多个通道的整数型特征图;以及逆量化部,将多个通道的整数型特征图的元素从整数型变换为浮点型,生成多个通道的浮点型特征图,所述逆量化部对两个以上的量化模式解码,针对每个量化模式解码浮点型的最小值和最大值,基于所述量化模式中任一个所对应的浮点型最小值和最大值进行逆量化处理。

4、本实施方式的又一种方式是特征图编码装置。该装置是对多尺度特征图进行编码的特征图编码装置,包括:量化部,将多个通道的浮点型特征图的元素从浮点型变换为整数型,生成多个通道的整数型特征图;打包部,将多个通道的整数型特征图进行打包,生成一个整数型打包特征帧;以及特征图内部编码部,对所述整数型打包特征帧进行编码,生成比特流。所述量化部设定并编码两个以上的量化模式,针对每个量化模式设定并编码线性变换或非线性变换参数,基于所述量化模式中任一个所对应的线性变换或非线性变换进行量化处理。

5、本实施方式的又一种方式是特征图解码装置。该装置是对多尺度特征图被编码后的比特流进行解码的特征图解码装置,包括:特征图内部解码部,对所述比特流进行解码,生成整数型打包特征帧;解包部,将整数型打包特征帧解包,生成多个通道的整数型特征图;以及逆量化部,将多个通道的整数型特征图的元素从整数型变换为浮点型,生成多个通道的浮点型特征图,所述逆量化部对两个以上的量化模式进行解码,针对每个量化模式解码线性变换或非线性变换参数,基于所述量化模式中任一个所对应的线性变换或非线性变换进行逆量化处理。

6、本实施方式的又一种方式是特征图编码装置。该装置是对多尺度特征图进行编码的特征图编码装置,包括:量化部,将多个通道的浮点型特征图的元素从浮点型变换为整数型,生成多个通道的整数型特征图;打包部,将多个通道的整数型特征图进行打包,生成一个整数型打包特征帧;以及特征图内部编码部,对所述整数型打包特征帧进行编码,生成比特流。所述量化部设定并编码线性变换或非线性变换参数,基于所述参数所示的线性变换或非线性变换进行量化处理。

7、本实施方式的又一种方式是特征图解码装置。该装置是对多尺度特征图被编码后的比特流进行解码的特征图解码装置,包括:特征图内部解码部,对所述比特流进行解码,生成整数型打包特征帧;解包部,将整数型打包特征帧解包,生成多个通道的整数型特征图;以及逆量化部,将多个通道的整数型特征图的元素从整数型变换为浮点型,生成多个通道的浮点型特征图;所述逆量化部解码线性变换或非线性变换参数,根据所述参数所示的线性变换或非线性变换进行逆量化处理。

8、本实施方式的又一种方式是特征图编码装置。该装置是对多尺度特征图进行编码的特征图编码装置,包括:量化部,将多个通道的浮点型特征图的元素从浮点型变换为整数型,生成多个通道的整数型特征图;打包部,将多个通道的整数型特征图进行打包,生成一个整数型打包特征帧;以及特征图内部编码部,对所述整数型打包特征帧进行编码,生成比特流。所述量化部针对每个通道设定浮点型的最小值和最大值,基于每个所述通道的浮点型最小值和最大值进行量化处理。

9、本实施方式的又一种方式是特征图解码装置。该装置是对多尺度特征图被编码后的比特流进行解码的特征图解码装置,包括:特征图内部解码部,对所述比特流进行解码,生成整数型打包特征帧;解包部,将整数型打包特征帧解包,生成多个通道的整数型特征图;以及逆量化部,将多个通道的整数型特征图的元素从整数型变换为浮点型,生成多个通道的浮点型特征图,所述逆量化部为每个通道解码浮点型的最小值和最大值,基于所述每个通道的浮点型最小值和最大值进行逆量化处理。

10、本实施方式的又一种方式是特征图编码装置。该装置是对多尺度特征图进行编码的特征图编码装置,包括:量化部,将多个通道的浮点型特征图的元素从浮点型变换为整数型,生成多个通道的整数型特征图;打包部,将多个通道的整数型特征图进行打包,生成一个整数型打包特征帧;以及特征图内部编码部,对所述整数型打包特征帧进行编码,生成比特流。所述逆量化部为每个通道设定缩放系数和偏移系数,基于每个所述通道的浮点型缩放系数和偏移系数进行量化处理。

11、本实施方式的又一种方式是特征图解码装置。该装置是对多尺度特征图被编码后的比特流进行解码的特征图解码装置,包括:特征图内部解码部,对所述比特流进行解码,生成整数型打包特征帧;解包部,将整数型打包特征帧解包,生成多个通道的整数型特征图;以及逆量化部,将多个通道的整数型特征图的元素从整数型变换为浮点型,生成多个通道的浮点型特征图;所述逆量化部针对每个通道解码缩放系数和偏移系数,基于每个所述通道的缩放系数和偏移系数进行逆量化处理。

12、根据本实施方式,能够以较少的处理量高效地对特征图进行编码和解码。