图像处理方法、设备及存储介质与流程

1.本技术实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、设备及存储介质。


背景技术：

2.视频压缩处理技术主要包括帧内预测、帧间预测、变换量化、熵编码以及消块滤波处理等。其中，在帧内预测技术中，当前图像块的预测信息来自于同一图像内已经编码重建过的图像块。
3.现有视频编码标准中的帧内预测技术都是为传统2d平面图像设计的，为了能够压缩360度全景图像，需要将360度全景图像投影转换为二维平面。等距矩形投影(equi-rectangular projection，erp)格式是其中一种最常用的投影格式。然而，erp格式的投影转换使图像内容出现失真。如图1所示，右侧所示的图像块110和图像块120分别是360度全景图像的两个图像块，这两个图像块在球面上是面积不等的图像块，左侧所示的图像块130和图像块140分别是360度全景图像经过erp格式转换后，图像块110和图像块120对应的2d图像，如图1所示，图像块110和图像块120被拉伸成erp格式上面积相等的图像块。这种失真是由于在进行投影转换时，对球体纬线和经线的采样率不一致导致的。这种失真对帧内预测的性能存在负面影响。
4.具体地，在高效视频编码(high efficiency video coding，hevc)标准的帧内预测中，设计了33种角度预测模式，如图2所示，也被称为方向预测模式，这33中角度预测模式均是用于2d图像中纹理结构的预测。然而，与2d图像不同，360度全景图像的原始表示为一个球体。由于上述失真情况的存在，当把这些角度预测模式映射到球面，可以观察到这些预测方向在球面的分布并不均匀。具体来说，索引大于18的角度预测模式的分布变得更密集，而其他角度预测模式的分布变得更稀疏。在这种情况下，如何进行图像编解码是本技术亟待的技术问题。


技术实现要素：

5.本技术提供一种图像处理方法、设备及存储介质，从而可以实现360度全景图像的编码过程。
6.第一方面，本技术提供一种图像处理方法，包括：获取第一图像块中的目标像素的第一坐标和第二坐标，第一图像块是360度全景图像中的待编码图像块对应的等距矩形投影erp格式图像块；第一坐标与360度全景图像的经度对应，第二坐标与360度全景图像的纬度对应；若第二坐标小于第一阈值或者第二坐标大于第二阈值，则从当前帧内预测模式集合中删除部分角度预测模式，得到第一帧内预测模式集合；根据第一帧内预测模式集合，确定一个目标帧内预测模式；通过目标帧内预测模式对第一图像块进行帧内预测，得到第一图像块的预测信息；根据预测信息对第一图像块进行编码，以得到码流。
7.第二方面，本技术提供一种图像处理方法，包括：解析码流，以得到编码中的指示
信息，其中，指示信息包括：目标帧内预测模式的索引；获取第一图像块中的目标像素的第一坐标和第二坐标，第一图像块是360度全景图像中的待重建图像块对应的erp格式图像块；第一坐标与360度全景图像的经度对应，第二坐标与360度全景图像的纬度对应；若第二坐标小于第一阈值或者第二坐标大于第二阈值，则从当前帧内预测模式集合中删除部分角度预测模式，得到第一帧内预测模式集合；根据第一帧内预测模式集合和目标帧内预测模式的索引，确定目标帧内预测模式；通过目标帧内预测模式对第一图像块进行帧内预测，得到第一图像块的预测信息；根据预测信息对第一图像块进行重建。
8.第三方面，提供了一种图像处理设备，该图像处理设备用于执行如第一方面的方法。
9.第四方面，提供了一种图像处理设备，该图像处理设备用于执行如第二方面的方法。
10.第五方面，提供了一种计算机可读存储介质，用于存储计算机程序，该计算机程序使得计算机执行第一方面的方法。
11.第六方面，提供了一种计算机可读存储介质，用于存储计算机程序，该计算机程序使得计算机执行第一方面的方法。
12.在本技术中，针对360度全景图像中的待编码图像块对应的erp格式图像块进行的，其中，在这种erp格式图像块失真的情况下，对于360度全景图像的高纬度处其具有更强的横向相关性，即同一纬度处的各个图像块的纹理更接近，因此编码端可以从当前帧内预测模式集合中删除部分角度预测模式，以进行图像编码。当然，对于球面上更靠近顶端或者顶端位置的图像块，由于水平类角度预测模式在该图像块上的分布更加密集，因此，可以删除部分水平类角度预测模式，或者，可以删除部分竖直类角度预测模式和部分水平类角度预测模式。总之，这种删除角度预测模式的方式相当于删除了上述待编码图像块中角度预测模式分布比较密集的部分角度预测模式，这种密集分布对于上述待编码图像块或者erp格式图像块必要性不大，因此通过本技术技术方案在不影响图像编码效果的情况下，可以提高图像编码效率。
13.进一步地，对于360度全景图像的高纬度处其虽然具有更强的横向相关性，即同一纬度处的各个图像块的纹理更接近，但是对于360度全景图像位于高纬度，但是非两极位置图像块而言，其并不具有更强的纵向相关性因此在本技术中，即同一经度处的各个图像块的纹理并不接近，甚至存在更大的差异，因此，编码端还可以增加至少一个水平类角度预测模式，这些增加的角度预测模式更能适应于不同的图像纹理，从而使得帧内预测更加准确，进而可以提高图像编码效果。
14.对应解码端而言，通过本技术技术方案也可以提高图像解码效率以及图像解码效果。
附图说明
15.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.图1为本技术实施例提供的360度全景图像和对应的erp格式图像的示意图；
17.图2是本技术实施例提供的帧内预测模式示意图；
18.图3为本技术实施例提供的编码框架的示意图；
19.图4为本技术实施例提供的解码框架的示意图；
20.图5是hevc标准中的一个块划分结构示意图；
21.图6是本技术实施例提供的二叉树划分和三叉树划分示意图；
22.图7a是本技术实施例提供的球面坐标转换系示意图；
23.图7b是本技术实施例提供的平面坐标转换系示意图；
24.图8为本技术实施例提供的一种图像处理方法的流程图；
25.图9是本技术实施例提供的第一帧内编码模式集合的示意图；
26.图10是本技术实施例提供的第二帧内编码模式集合的示意图；
27.图11为本技术实施例提供的另一种图像处理方法的流程图；
28.图12为本技术实施例提供的一种图像处理设备的示意图；
29.图13为本技术实施例提供的另一种图像处理设备的示意图。
具体实施方式
30.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
31.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
32.在介绍本技术技术方案之前，下面先对图像或者视频编码框架和解码框架、图像块划分方式、最可能模式(most probable modes,mpms)以及erp格式进行说明：
33.一、图像或者视频编码框架和解码框架
34.示例性地，图3为本技术实施例提供的编码框架的示意图。如图3所示，该编码框架包括：预测单元31、残差产生单元32、变换单元33、量化单元34、逆量化单元35、逆变换单元36、重建单元37、滤波单元38及熵编码单元39。预测单元31包含帧间预测单元311及帧内预测单元312。帧间预测单元311包含运动估计单元3111及运动补偿单元3112。
35.其中，编码端接收到视频之后，对于构成视频的每帧图像，将该图像划分成多个待编码图像块。对于当前待编码图像块，预测单元31首先通过参考重建图像块对当前待编码图像块进行预测，得到当前待编码图像块的预测信息。其中，编码端可以采用帧间预测或者帧内预测技术得到预测信息。
36.具体地，帧间预测单元311中的运动估计单元3111可搜索参考图片的列表中的参
考图片以查找待编码图像块的参考块。运动估计单元3111可产生指示该价参考块的索引，及指示待编码图像块与该参考块之间的空间位移的运动向量。运动估计单元3111可将参考块的索引及该运动向量作为该待编码图像块的运动信息而输出。运动补偿单元3112可基于该待编码图像块的运动信息得到该待编码图像块的预测信息。
37.帧内预测单元312可以采用帧内预测模式对当前待编码图像块产生预测信息。目前存在35种帧内预测模式，包括planar模式、dc模式以及33种角度预测模式。所有预测模式都使用相同的参考像素模板。如图2所示，33种角度预测模式分为水平类模式(索引分别为2～17)和竖直类模式(索引分别为18～34)。其中v0(索引26)和h0(索引10)分别表示竖直和水平方向，其余角度预测模式的预测方向都可以看作是在竖直或水平方向上做一个角度偏移。这里以竖直方向v0(索引26)为例说明角度预测过程，竖直方向预测是使用当前待编码图像块上方相邻的一行参考像素来预测当前待编码图像块，即当前待编码图像块内每个像素的预测信息等于该像素所在列对应的参考像素的像素值。对于其他角度预测模式，会与水平或竖直方向有一个角度偏移，根据这个角度偏移可以计算参考像素的位置。该参考像素的位置可能是两个相邻参考像素之间的位置，若是这种情况，则需要在两个参考像素之间根据计算出来的位置插值得到一个参考像素。通过得到的参考像素生成预测信息。
38.残差产生单元32用于对当前待编码图像块的原始信号减去预测信息，得到残差信号。经过预测后，残差信号的幅值远小于原始信号。变换单元33和量化单元34用于对残差信号进行变换和量化操作。经过变换量化后，得到变换量化系数。熵编码单元39用于通过熵编码技术编码量化系数以及编码中的其他指示信息，得到码流。
39.进一步地，编码端还需要重建当前待编码图像块，以实现对后续待编码图像块的编码提供参考像素。具体地，在得到当前待编码图像块的变换量化系数之后，逆量化单元35和逆变换单元36对当前待编码图像块的变换量化系数进行反量化和反变换，得到重建的残差信号，重建单元37将重建的残差信号与当前待编码图像块对应的预测信息相加，得到当前待编码图像块的重建信号，根据该重建信号得到重建图像块。更进一步地，滤波单元38可以对重建图像块可以进行滤波，其中可以采用去块效应滤波、自适应样点补偿(sample adaptive offset，sao)或者自适应环路滤波(adaptive loop filter，alf)等。其中，该重建图像块可以对后续待编码图像块进行预测。
40.示例性地，图4为本技术实施例提供的解码框架的示意图。如图4所示，该解码框架包括：熵解码单元41、预测单元42、逆量化单元43、逆变换单元44、重建单元45、滤波单元46。预测单元42包括：运动补偿单元421及帧内预测单元422。
41.具体地，解码端获取到码流之后，首先熵解码单元41对码流进行熵解码，得到当前待重建图像块的变换量化系数，然后逆量化单元43和逆变换单元44对变换量化系数进行反量化和反变换，得到当前待重建图像块的重建的残差信号。预测单元42对当前待重建图像块进行预测，得到当前待重建图像块的预测信息。如果预测单元42采用帧间预测，则运动补偿单元421可根据从码流解析的语法元素来构造第一参考图片列表(列表0)及第二参考图片列表(列表1)。此外，则熵解码单元41可解析待重建图像块的运动信息。运动补偿单元421可根据该运动信息来确定待重建图像块的一个或多个参考块。运动补偿单元421可根据一个或多个参考块来产生待重建图像块的预测信息。如果预测单元42采用帧内预测，则熵解码单元41可解析使用的帧内预测模式的索引，帧内预测单元422可以根据该索引，采用该帧
内预测模式进行帧内预测，得到待重建图像块的预测信息。
42.进一步地，重建单元45用于将预测信息和上述重建的残差信号相加，得到当前待重建图像块的重建信号，然后根据该重建信号得到当前待重建图像块对应的当前重建图像块，其中，该当前重建图像块可以对后续其他待重建图像块进行预测。类似于上述编码端的情况，可选地，在解码端滤波单元46可以对当前重建图像块进行滤波。
43.二、图像块划分方式
44.在基于块划分的混合编码框架中，图像被划分成若干个不重叠的处理单元进行视频压缩处理，这个处理单元被称作编码树单元(coding tree unit，ctu)。ctu还可以继续往下进行更加精细的划分，得到一个或多个基本编码的单元，称之为编码单元(coding unit,cu)。每个cu是一个编码环节中最基本的元素，每个cu可以选择不同的编码模式。
45.图5是hevc标准中的一个块划分结构示意图，一个ctu可以按照4叉树的方式进行向下划分。在通用视频编码(versatile video coding，vvc)/h.266编码中，在ctu的划分结构中引入了更多的划分方式，除了使用四叉树划分以外，还可以使用二叉树，三叉树的划分方式，如图6所示，前两幅图采用的二叉树的划分方式，后两幅图采用的是三叉树的划分方式。
46.需要说明的是，在本技术中，只要是2d图像中的图像块可以是上述ctu、cu、预测单元(prediction unit,pu)或者变换单元(transform unit，tu)，它们可以是基于四叉树、三叉树或者二叉树划分的图像块等，本技术对此不做限制。
47.三、mpms
48.为了提升帧内预测模式的编码效率，hevc根据当前待编码图像块或者待重建图像块的相邻图像块的帧内预测模式，导出当前待编码图像块或者待重建图像块的3个最可能模式(most probable modes,简称mpms)。表1总结了mpms的导出方法，其中a和b分别表示当前待编码图像块或者待重建图像块左侧的相邻图像块和上方的相邻图像块的帧内预测模式，a-和a

的值根据下式计算：
49.a-＝2 ((a 29)mod32)
50.a

＝2 ((a-1)mod32)
51.如果当前待编码图像块的帧内预测模式为mpms中之一，则编码该帧内预测模式在mpms中的索引；否则，编码该帧内预测模式在其余33个预测预测模式中的索引。
52.表1
[0053][0054][0055]
四、erp格式
[0056]
目前主流的视频编码标准都是为2d平面视频设计的，为了能够使用这些主流的视频编码标准对360度全景图像进行压缩，需要将360度全景图像投影转换到2d平面。其中，erp格式是一种最常用的投影格式。如图7a和图7b所示，erp提供了一种3d球面到2d平面的简单映射。
[0057]
设球面上有一点p，在球面坐标系中该点的坐标表示为在3d直角坐标系中该点的坐标表示为(x,y,z)。前一种坐标系可按照下式转变为后一种坐标系：
[0058][0059]
y＝rsin(θ)
[0060][0061]
图7b中定义了两个2维平面坐标系，其中m-n坐标系为图像采样点的坐标系，m和n是采样位置的列和行坐标；u-v坐标系为投影后的平面坐标系。图7b显示了在uv平面中为erp投影定义的采样坐标。圆圈是采样点。在360度全景图像中，为了在两个方向上对称地排列所有采样点，在u-v坐标系的原点和m-n坐标系的原点之间偏移了0.5像素，u-v坐标系和m-n坐标系的转换关系如下：
[0062]
u＝(m 0.5)/w,0≤m《w
[0063]
v＝(n 0.5)/h,0≤n《h
[0064]
根据erp的投影方式，3d球体上的纬线和经线，分别被映射为2d图像的行和列。对于2d平面坐标(u,v)，通过下式计算其对应的球面坐标：
[0065][0066]
θ＝(0.5-v)*π
[0067]
如上所述，与2d图像不同，360度全景图像的原始表示为一个球体。由于360度全景图像的erp格式变换造成的失真，使得当把这些角度预测模式映射到球面，可以观察到这些预测方向在球面的分布并不均匀。具体来说，索引大于18的角度预测模式的分布变得更密集，而其他角度预测模式的分布变得更稀疏。尤其对于位于纬度大于π/3的图像块，其上方相邻像素的横向采样率将为左方像素的纵向采样率的2倍。这种角度预测模式分布不均的情况更加明显。在这种情况下，如何进行图像编解码是本技术亟待的技术问题。
[0068]
为了解决上述技术问题，本技术可以基于360度全景图像的特性，自适应的调整帧内预测模式的分布。
[0069]
下面将对本技术技术方案进行详细阐述：
[0070]
图8为本技术实施例提供的一种图像处理方法的流程图，其中该方法的执行主体可以是如下设备，但不限于此：编码器、或者用于进行视频或者图像编码的设备，如台式计算机、移动计算装置、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、智能电话等手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机，或其类似者等。如图8所示，该方法包括如下步骤：
[0071]
s810：获取第一图像块中的目标像素的第一坐标和第二坐标。
[0072]
s820：若第二坐标小于第一阈值或者第二坐标大于第二阈值，则从当前帧内预测模式集合中删除部分角度预测模式，得到第一帧内预测模式集合。
[0073]
s830：根据第一帧内预测模式集合，确定一个目标帧内预测模式。
[0074]
s840：通过目标帧内预测模式对第一图像块进行帧内预测，得到第一图像块的预测信息。
[0075]
s850：根据预测信息对第一图像块进行编码，以得到码流。
[0076]
应理解的是，第一图像块是360度全景图像中的待编码图像块对应的erp格式图像块。第一坐标与360度全景图像的经度对应，第二坐标与360度全景图像的纬度对应。例如：第一坐标是第一图像块的目标像素在如图7b所示的u-v坐标系中u轴上的坐标。第二坐标是第一图像块的目标像素在如图7b所示的u-v坐标系中v轴上的坐标。或者，第一坐标是该待编码图像块在如图7b所示的m-n坐标系中m轴上的坐标。第二坐标是该待编码图像块在如图7b所示的m-n坐标系中n轴上的坐标。
[0077]
应理解的是，上述360度全景图像中的待编码图像块是3d图像块。而第一图像块是2d图像块。该第一图像块可以是如上所述的ctu、cu、pu或者tu等，但不限于此。
[0078]
需要说明的是，色度抽样是主流的压缩编码方式，具体地，在电视系统中多数采用的是亮度-色度-色度(yuv)颜色编码，它是欧洲电视系统广泛采用的标准。yuv颜色空间中包括一个亮度信号y和两个色差信号u和v，三个分量彼此独立。yuv颜色模式彼此分开的表示方式更加灵活，传输占用带宽少，比传统的红绿蓝(rgb)色彩模型更具优势。例如，yuv 4:2:0形式表示两色度分量u和v在水平方向和垂直方向上都只有亮度y分量的一半，即4个采样像素点中存在4个亮度分量y，而色度分量u和v则只有一个。因此，上述第一图像块可以是亮度块或者是色度块，即本技术技术方案可以应用于色度块或者亮度块，当然也可以同时应用于色度块或者亮度块，本技术对此不做限制。
[0079]
可选地，目标像素可以是第一图像块中的任一像素，例如：可以为以下任一项，但不限于此：第一图像块中的左上角像素、中心像素、右上角像素、左下角像素、右下角像素。
[0080]
可选地，上述第一阈值和第二阈值可以是预先规定的，或者可以动态设置，本技术对此不做限制。
[0081]
可选地，结合图7a和图7b对上述第一阈值和第二阈值进行说明，该第一阈值可以是纬度大于或等于π/3的任一纬度对应的v坐标轴上的数值。该第二阈值可以是纬度小于或等于-π/3的任一纬度对应的v坐标轴上的数值。映射到球面来看，表示对于球面接近顶端或者接近底端的图像块，需要从当前帧内预测模式集合中删除部分角度预测模式。
[0082]
应理解的是，如上所述，由于360度全景图像的erp格式变换造成的失真，使得当把这些角度预测模式映射到球面，可以观察到这些预测方向在球面的分布并不均匀。具体来说，在hevc标准中，索引大于18的角度预测模式的分布变得更密集，而其他角度预测模式的分布变得更稀疏。因此，可以删除部分索引大于18的角度预测模式的分布，即删除部分竖直类角度预测模式，当然，对于球面上更靠近顶端或者顶端位置的图像块，可以删除部分水平类角度预测模式，或者，可以删除部分竖直类角度预测模式和部分水平类角度预测模式。如图9所示，数字1所在的线条表示删除的角度预测模式，其在如图9所示的v坐标轴上，即第二坐标对应的坐标轴，从而降低索引大于18的角度预测模式的分布的密集度。此外，对于360度全景图像的高纬度处其具有更强的横向相关性，即同一纬度处的各个图像块的纹理更接近，因此删除部分或者全部索引大于18的角度预测模式的分布(即删除竖直类角度预测模式)，对图像编码性能几乎没有影响。对于球面上更靠近顶端或者顶端位置的图像块，由于图像在纬度方向上非常狭窄，因此，这种删除部分水平类角度预测模式，或者，删除部分竖
直类角度预测模式和部分水平类角度预测模式，对于编码性能几乎也没有影响。而由于第一图像块的帧内预测模式减少了，从而可以提高图像编码效率。
[0083]
可选地，在本技术中，可以对当前帧内预测模式集合中的帧内预测模式采用如下删除方式，但不限于此：针对当前帧内预测模式集合，可以删除索引为奇数或者偶数的角度预测模式，也可以删除前n个角度预测模式，或者删除后n个角度预测模式，在hevc中n为小于或等于17的正整数。
[0084]
应理解的是，当前帧内预测模式集合指的是在当前编码过程中，调整帧内预测模式之前的帧内预测模式集合。该当前帧内预测模式集合可以是现有技术中提供的35种帧内预测模式构成的集合。
[0085]
可选地，对于编码端而言，可以在第一帧内预测模式集合中选择一个帧内预测模式，作为上述目标帧内预测模式。或者，在对第一帧内预测模式集合增加至少一个角度预测模式，得到第二帧内预测模式集合。
[0086]
可选地，编码端在对第一帧内预测模式集合增加至少一个水平类角度预测模式，得到第二帧内预测模式集合，但不限于此。例如：如图10所示，数字2所在的线条表示增加的角度预测模式，增加的这些角度预测模式都是水平类角度预测模式，如图10所显示的所有角度预测模式构成的集合即为第二帧内预测模式集合。进一步地，编码端可以在第二帧内预测模式集合中选择一个帧内预测模式，作为目标帧内预测模式。
[0087]
可选地，编码端增加的角度预测模式的个数与删除的角度预测模式的个数相同或者不同。
[0088]
应理解的是，编码端在确定了目标帧内预测模式之后，可以采用目标帧内预测模式进行帧内预测，得到第一图像块的预测信息，进一步地，编码端可以根据第一图像块的原始信号和预测信息，得到该第一图像块的残差信号；对该残差信号进行变换和量化，得到变换量化系数；对该变换量化系数和编码中的指示信息进行熵编码，得到码流。
[0089]
可选地，编码端可以对残差信号可以经过如下变换操作，将残差信号转换到变换域中，但不限于此：离散傅里叶变换(discrete fouier transform，dft)，离散余弦变换(discrete cosine transform,dct)等变换操作。在变换域中的信号，进一步的进行有损的量化操作，丢失掉一定的信息，使得量化后的信号有利于压缩表达。在一些视频编码标准中，可能有多于一种变换方式可以选择，因此，编码端也需要为第一图像块选择其中的一种变换，并通过上述指示信息指示给解码端。量化的精细程度通常由量化参数(qp)来决定，qp取值越大，表示更大取值范围的系数将被量化为同一个输出，因此通常会带来更大的失真，及较低的码率；相反，qp取值越小，表示较小取值范围的系数将被量化为同一个输出，因此通常会带来较小的失真，同时对应较高的码率。
[0090]
可选地，量化后的变换域信号，将根据各个值出现的频率，进行统计压缩编码，最后输出二值化(0或者1)的压缩码流。同时，编码产生其他信息，例如选择的帧内预测模式，运动矢量等，也需要进行熵编码以降低码率。其中，熵编码也被称为统计编码，它是一种无损编码方式，可以有效的降低表达同样的信号所需要的码率。常见的统计编码方式有变长编码(variable length coding，vlc)，如截断一元码，k阶指数哥伦布码等。或者基于上下文的二值化算术编码(content adaptive binary arithmetic coding，cabac)。
[0091]
综上，本技术技术方案是针对360度全景图像中的待编码图像块对应的erp格式图
像块进行的，其中，在这种erp格式图像块失真的情况下，对于360度全景图像的高纬度处其具有更强的横向相关性，即同一纬度处的各个图像块的纹理更接近，因此编码端可以从当前帧内预测模式集合中删除部分角度预测模式，例如在hevc标准中可以删除部分索引大于18的角度预测模式的分布，以进行图像编码。当然，对于球面上更靠近顶端或者顶端位置的图像块，由于水平类角度预测模式在该图像块上的分布更加密集，因此，可以删除部分水平类角度预测模式，或者，可以删除部分竖直类角度预测模式和部分水平类角度预测模式。总之，这种删除角度预测模式的方式相当于删除了上述待编码图像块中角度预测模式分布比较密集的部分角度预测模式，这种密集分布对于上述待编码图像块或者erp格式图像块必要性不大，因此通过本技术技术方案在不影响图像编码效果的情况下，可以提高图像编码效率。
[0092]
进一步地，对于360度全景图像的高纬度处其虽然具有更强的横向相关性，即同一纬度处的各个图像块的纹理更接近，但是对于360度全景图像位于高纬度，但是非两极位置图像块而言，其并不具有更强的纵向相关性，即对于360度全景图像位于高纬度，但是非两极位置图像块而言，同一经度处的各个图像块的纹理并不接近，甚至存在更大的差异，因此，编码端还可以增加至少一个水平类角度预测模式，这些增加的角度预测模式更能适应于不同的图像纹理，从而使得帧内预测更加准确，进而可以提高图像编码效果。
[0093]
如上所述，对于编码端而言，可以在第一帧内预测模式集合中选择一个帧内预测模式，作为上述目标帧内预测模式。或者，在对第一帧内预测模式集合增加至少一个角度预测模式，得到第二帧内预测模式集合，进一步地，编码端可以在第二帧内预测模式集合中选择一个帧内预测模式，作为目标帧内预测模式。下面将针对这两种情况，分别如何进行图像编码进行阐述：
[0094]
假设编码端在第一帧内预测模式集合中选择一个帧内预测模式，作为上述目标帧内预测模式。第一，在编码端进行熵编码的过程中，可以将目标帧内预测模式在第一帧内预测模式集合中的索引携带在熵编码过程中的指示信息中，通过该索引，解码端可以确定出当前采用的帧内预测模式，使得解码端也采用这种帧内预测模式进行帧内预测。第二，如上所述，为了提升帧内预测模式的编码效率，编码端可以导出第一图像块的3个mpms，基于此，在进行熵编码时，如果目标帧内预测模式在mpms中时，熵编码过程中的指示信息要携带用于指示该目标帧内预测模式在mpms的信息，如“1”表示该目标帧内预测模式在mpms中。进一步地，还携带该目标帧内预测模式在mpms的索引。相反的，如果目标帧内预测模式没在mpms中时，熵编码过程中的指示信息要携带用于指示该目标帧内预测模式没在mpms的信息，如“0”表示该目标帧内预测模式没在mpms中。这种情况下，进一步地，上述指示信息需要携带该目标帧内预测模式在第一帧内预测模式集合中除mpms之外的集合中的索引。
[0095]
应理解的是，如上述实施例所述的，编码端从当前帧内预测模式集合中删除部分角度预测模式，得到第一帧内预测模式集合，即帧内预测模式集合发生了变化，因此，对于mpms中的各个模式也相应的需要调整，可选地，可以通过如下任一方式调整mpms，但不限于此：
[0096]
(1)将原始mpms中的竖直方向上的预测模式更新为水平方向上的预测模式。
[0097]
(2)将原始mpms中与第二图像块的帧内预测模式相邻的两个帧内预测模式，更新为第一帧内预测模式集合中与第二图像块的帧内预测模式相邻的两个帧内预测模式，得到
更新后的mpms。
[0098]
(3)将原始mpms中的竖直方向上的预测模式更新为水平方向上的预测模式，并且将原始mpms中与第二图像块的帧内预测模式相邻的两个帧内预测模式，更新为第一帧内预测模式集合中与第二图像块的帧内预测模式相邻的两个帧内预测模式，得到更新后的mpms。
[0099]
应理解的是，原始mpms是上述当前帧内预测模式集合对于的mpms，例如：当前帧内预测模式集合是由现有技术中的上述35种帧内预测模式构成的集合时，该原始mpms是表1所示的mpms。
[0100]
应理解的是，原始mpms中的竖直方向上的预测模式即为v0角度预测模式，也被称为索引为26的角度预测模式，原始mpms中的水平方向上的预测模式即为h0角度预测模式，也被称为索引为10的角度预测模式。这种将原始mpms中的竖直方向上的预测模式更新为水平方向上的预测模式的方式，相当于删除了mpms中竖直方向上的预测模式，而如上所述，对应高纬度图像块而言，这种删除竖直方向上的预测模式对图像编码性能影响不大。而进一步的，将原始mpms中的竖直方向上的预测模式更新为水平方向上的预测模式的方向，相当于增加了水平方向上的预测模式，而对于高纬度图像块，而非两极处的图像块而言，纵向方向上图像块之间的纹理差异较大，因此，增加水平方向上的预测模式，可以提高图像编码效果。
[0101]
应理解的是，原始mpms中的a-和a

实际上是模式a的相邻模式，例如：如图2所示，对应索引为26的角度预测模式，通过如下公式计算a-和a

：
[0102]
a-＝2 ((a 29)mod32)
[0103]a
＝2 ((a-1)mod32)
[0104]
通过上面的公式得到a-＝25，a

＝27，如图2所示，25和27索引的角度预测模式与索引为26的角度预测模式相邻。
[0105]
基于此，由于本技术对当前帧内预测模式进行了调整，因此模式a的相邻模式可能也发生了变化，因此，在本技术中，编码端可以对mpms中的a-和a

进行调整：
[0106]
应理解的是，上述第二图像块是第一图像块左侧或者上方的相邻图像块，即模式a或者b所对应的图像块。由于调整后的帧内预测模式集合是第一帧内预测模式集合，因此，对于编码端而言，实际上是将原始mpms中与第二图像块的帧内预测模式相邻的两个帧内预测模式，更新为第一帧内预测模式集合中与第二图像块的帧内预测模式相邻的两个帧内预测模式。
[0107]
假设编码端在第二帧内预测模式集合中选择一个帧内预测模式，作为上述目标帧内预测模式。第一，在编码端进行熵编码的过程中，可以将目标帧内预测模式在第二帧内预测模式集合中的索引携带在熵编码过程中的指示信息中，通过该索引，解码端可以确定出当前采用的帧内预测模式，使得解码端也采用这种帧内预测模式进行帧内预测。第二，如上所述，为了提升帧内预测模式的编码效率，编码端可以导出第一图像块的3个mpms，基于此，在进行熵编码时，如果目标帧内预测模式在mpms中时，熵编码过程中的指示信息要携带用于指示该目标帧内预测模式在mpms的信息，如“1”表示该目标帧内预测模式在mpms中。进一步地，还携带该目标帧内预测模式在mpms的索引。相反的，如果目标帧内预测模式没在mpms中时，熵编码过程中的指示信息要携带用于指示该目标帧内预测模式没在mpms的信息，如“0”表示该目标帧内预测模式没在mpms中。这种情况下，进一步地，上述指示信息需要携带该目标帧内预测模式在第二帧内预测模式集合中除mpms以外的集合中的索引。
[0108]
应理解的是，如上述实施例所述的，编码端从当前帧内预测模式集合中删除部分角度预测模式，得到第一帧内预测模式集合，进一步地，在对第一帧内预测模式集合增加至少一个角度预测模式，得到第二帧内预测模式集合，即帧内预测模式集合发生了变化，因此，对于mpms中的各个模式也相应的需要调整，可选地，可以通过如下任一方式调整mpms，但不限于此：
[0109]
(1)将原始mpms中的竖直方向上的预测模式更新为水平方向上的预测模式。
[0110]
(2)将原始mpms中与第二图像块的帧内预测模式相邻的两个帧内预测模式，更新为第二帧内预测模式集合中与第二图像块的帧内预测模式相邻的两个帧内预测模式，得到更新后的mpms。
[0111]
(3)将原始mpms中的竖直方向上的预测模式更新为水平方向上的预测模式，并且将原始mpms中与第二图像块的帧内预测模式相邻的两个帧内预测模式，更新为第二帧内预测模式集合中与第二图像块的帧内预测模式相邻的两个帧内预测模式，得到更新后的mpms。
[0112]
需要说明的是，关于原始mpms以及将原始mpms中的竖直方向上的预测模式更新为水平方向上的预测模式可以参考上文，本技术实施例对此不再赘述。
[0113]
应理解的是，原始mpms中的a-和a

实际上是模式a的相邻模式，例如：如图2所示，对应索引为26的角度预测模式，通过如下公式计算a-和a

：
[0114]
a-＝2 ((a 29)mod32)
[0115]a
＝2 ((a-1)mod32)
[0116]
通过上面的公式得到a-＝25，a

＝27，如图2所示，25和27索引的角度预测模式与索引为26的角度预测模式相邻。
[0117]
基于此，由于本技术对当前帧内预测模式进行了调整，因此模式a的相邻模式可能也发生了变化，因此，在本技术中，编码端可以对mpms中的a-和a

进行调整：
[0118]
应理解的是，上述第二图像块是第一图像块左侧或者上方的相邻图像块，即模式a或者b所对应的图像块。由于调整后的帧内预测模式集合是第二帧内预测模式集合，因此，对于编码端而言，实际上是将原始mpms中与第二图像块的帧内预测模式相邻的两个帧内预测模式，更新为第二帧内预测模式集合中与第二图像块的帧内预测模式相邻的两个帧内预测模式。
[0119]
示例性地，假设图10当前所示的帧内预测模式构成的集合即为上述第二帧内预测模式集合，那么更新后的mpms中的a-和a

如表2和表3所示：
[0120]
表2
[0121][0122]
表3
[0123][0124]
例如：以索引26对应的帧内预测模式为例，如表3所示，它的相邻帧内预测模式的索引分别为24和28，其与图10所示的情况相符。
[0125]
综上，在本技术中，编码端可以根据调整后的帧内预测模式集合适应性地进行编码，此外，如果编码过程中采用了mpms，该mpms也可以做适应性地更新，以保证图像编码的准确性。
[0126]
图11为本技术实施例提供的另一种图像处理方法的流程图，其中该方法的执行主体可以是如下设备，但不限于此：解码器、或者用于进行视频或者图像解码的设备，如台式计算机、移动计算装置、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、智能电话等手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机，或其类似者等。如图11所示，该方法包括如下步骤：
[0127]
s1110：解析码流，以得到编码中的指示信息，其中，指示信息包括：目标帧内预测模式的索引。
[0128]
s1120：获取第一图像块中的目标像素的第一坐标和第二坐标，第一图像块是360度全景图像中的待重建图像块对应的erp格式图像块。第一坐标与360度全景图像的经度对应，第二坐标与360度全景图像的纬度对应。
[0129]
s1130：若第二坐标小于第一阈值或者第二坐标大于第二阈值，则从当前帧内预测模式集合中删除部分角度预测模式，得到第一帧内预测模式集合。
[0130]
s1140：根据第一帧内预测模式集合和目标帧内预测模式的索引，确定目标帧内预测模式。
[0131]
s1150：通过目标帧内预测模式对第一图像块进行帧内预测，得到第一图像块的预测信息。
[0132]
s1160：根据预测信息对第一图像块进行重建。
[0133]
应理解的是，解码端和编码端对应，因此关于解码端确定第一帧内预测模式集合的过程可参考编码端的内容，本技术对此不再赘述。
[0134]
可选地，解码端也可以对第一帧内预测模式集合增加至少一个角度预测模式，得到第二帧内预测模式集合。其中关于确定第二帧内预测模式集合的过程也可以参考编码端的内容，本技术对此不再赘述。
[0135]
应理解的是，解码端可以对得到的码流进行解析，首先对码流进行熵解码，得到第一图像块的变换量化系数，然后对变换量化系数进行反量化和反变换，得到第一图像块的重建的残差信号。其中，这里采用的反量化方式和编码端采用的量化方式相对应，反变换方式和编码端采用的变换方式相对应。进一步地，解码端可以根据确定的目标帧内预测模式对第一图像块进行预测，得到第一图像块的预测信息。解码端对预测信息和上述重建的残差信号相加，得到第一图像块的重建信号，然后根据该重建信号得到第一图像块对应的重建图像块。
[0136]
综上，本技术技术方案是针对360度全景图像中的待重建图像块对应的erp格式图像块进行的，其中，在这种erp格式图像块失真的情况下，对于360度全景图像的高纬度处其具有更强的横向相关性，即同一纬度处的各个图像块的纹理更接近，因此解码端可以从当前帧内预测模式集合中删除部分角度预测模式，例如在hevc标准中可以删除部分索引大于18的角度预测模式的分布，以进行图像重建。当然，对于球面上更靠近顶端或者顶端位置的图像块，由于水平类角度预测模式在该图像块上的分布更加密集，因此，可以删除部分水平类角度预测模式，或者，可以删除部分竖直类角度预测模式和部分水平类角度预测模式。总之，这种删除角度预测模式的方式相当于删除了上述待重建图像块中角度预测模式分布比较密集的部分角度预测模式，这种密集分布对于上述待重建图像块或者erp格式图像块必要性不大，因此通过本技术技术方案在不影响图像解码效果的情况下，可以提高图像解码效率。
[0137]
进一步地，对于360度全景图像的高纬度处其虽然具有更强的横向相关性，即同一纬度处的各个图像块的纹理更接近，但是对于360度全景图像位于高纬度，但是非两极位置图像块而言，其并不具有更强的纵向相关性，即对于360度全景图像位于高纬度，但是非两极位置图像块而言，同一经度处的各个图像块的纹理并不接近，甚至存在更大的差异，因此，解码端还可以在增加至少一个水平类角度预测模式，这些增加的角度预测模式更能适应于不同的图像纹理，从而使得帧内预测更加准确，进而可以提高图像解码效果。
[0138]
与编码端相对应，对于解码端而言，解码端解码得到的目标帧内预测模式的索引可以是该目标帧内预测模式在第一帧内预测模式集合中的索引。或者，解码端解析到指示该目标帧内预测模式在mpms的信息，那么解码端解码得到的目标帧内预测模式的索引可以是该目标帧内预测模式在mpms中的索引。或者，解码端解析到指示该目标帧内预测模式没在mpms的信息，那么解码端解码得到的目标帧内预测模式的索引可以是该目标帧内预测模式在第一帧内预测模式集合中除mpms的集合中的索引。或者，解码端解码得到的目标帧内预测模式的索引可以是该目标帧内预测模式在第二帧内预测模式集合中的索引。或者，解码端解析到指示该目标帧内预测模式在mpms的信息，那么解码端解码得到的目标帧内预测模式的索引可以是该目标帧内预测模式在mpms中的索引。或者，解码端解析到指示该目标帧内预测模式没在mpms的信息，那么解码端解码得到的目标帧内预测模式的索引可以是该目标帧内预测模式在第二帧内预测模式集合中除mpms的集合中的索引。
[0139]
应理解的是，对于解码端而言，其也可以更新原始mpms，具体如何更新原始mpms可参考编码端的相应内容，本技术对此不再赘述。
[0140]
综上，在本技术中，解码端可以根据调整后的帧内预测模式集合适应性地进行解码，此外，如果解码过程中采用了mpms，该mpms也可以做适应性地更新，以保证图像解码的准确性。
[0141]
图12为本技术实施例提供的一种图像处理设备的示意图，如图12所示，该设备包括：
[0142]
获取模块1210，用于获取第一图像块中的目标像素的第一坐标和第二坐标，第一图像块是360度全景图像中的待编码图像块对应的erp格式图像块。第一坐标与360度全景图像的经度对应，第二坐标与360度全景图像的纬度对应。
[0143]
删除模块1220，用于若第二坐标小于第一阈值或者第二坐标大于第二阈值，则从
当前帧内预测模式集合中删除部分角度预测模式，得到第一帧内预测模式集合。
[0144]
确定模块1230，用于根据第一帧内预测模式集合，确定一个目标帧内预测模式。
[0145]
帧内预测模块1240，用于通过目标帧内预测模式对第一图像块进行帧内预测，得到第一图像块的预测信息。
[0146]
编码模块1250，用于根据预测信息对第一图像块进行编码，以得到码流。
[0147]
可选地，确定模块1230具体用于：在第一帧内预测模式集合中选择一个帧内预测模式，作为目标帧内预测模式。
[0148]
可选地，编码模块1250具体用于：根据第一图像块的原始信号和预测信息，得到残差信号。对残差信号进行变换和量化，得到变换量化系数。对变换量化系数和编码中的指示信息进行熵编码，得到码流。其中，指示信息包括：目标帧内预测模式在第一帧内预测模式集合的索引。
[0149]
可选地，还包括：第一更新模块1260，用于更新当前帧内预测模式集合对应的原始最可能模式mpms，得到更新后的mpms。
[0150]
可选地，编码模块1250具体用于：根据第一图像块的原始信号和预测信息，得到残差信号。对残差信号进行变换和量化，得到变换量化系数。对变换量化系数和编码中的指示信息进行熵编码，得到码流。其中，指示信息包括：用于指示目标帧内预测模式在更新后的mpms的信息、目标帧内预测模式在更新后的mpms中的索引。或者，指示信息包括：用于指示目标帧内预测模式未在更新后的mpms的信息，目标帧内预测模式在第一帧内预测模式集合中除所述mpms以外的集合中的索引。
[0151]
可选地，第一更新模块1260具体用于：将原始mpms中的竖直方向上的预测模式更新为水平方向上的预测模式；或者，将原始mpms中与第二图像块的帧内预测模式相邻的两个帧内预测模式，更新为第一帧内预测模式集合中与第二图像块的帧内预测模式相邻的两个帧内预测模式，得到更新后的mpms。或者，将原始mpms中的竖直方向上的预测模式更新为水平方向上的预测模式，并且将原始mpms中与第二图像块的帧内预测模式相邻的两个帧内预测模式，更新为第一帧内预测模式集合中与第二图像块的帧内预测模式相邻的两个帧内预测模式，得到更新后的mpms。其中，第二图像块是第一图像块左侧或者上方的相邻图像块。
[0152]
可选地，确定模块1230具体用于：对第一帧内预测模式集合增加至少一个角度预测模式，得到第二帧内预测模式集合。在第二帧内预测模式集合中选择一个帧内预测模式，作为目标帧内预测模式。
[0153]
可选地，确定模块1230具体用于：对第一帧内预测模式集合增加至少一个水平类角度预测模式，得到第二帧内预测模式集合。
[0154]
可选地，编码模块1250具体用于：根据第一图像块的原始信号和预测信息，得到残差信号。对残差信号进行变换和量化，得到变换量化系数。对变换量化系数和编码中的指示信息进行熵编码，得到码流。其中，指示信息包括：目标帧内预测模式在第二帧内预测模式集合的索引。
[0155]
可选地，还包括：第二更新模块1270，用于更新当前帧内预测模式集合对应的原始mpms，得到更新后的mpms。
[0156]
可选地，编码模块1250具体用于：根据第一图像块的原始信号和预测信息，得到残
差信号。对残差信号进行变换和量化，得到变换量化系数。对变换量化系数和编码中的指示信息进行熵编码，得到码流。其中，指示信息包括：用于指示目标帧内预测模式在更新后的mpms的信息、目标帧内预测模式在更新后的mpms中的索引。或者，指示信息包括：用于指示目标帧内预测模式未在更新后的mpms的信息，目标帧内预测模式在第二帧内预测模式集合中除mpms以外的集合中的索引。
[0157]
可选地，第二更新模块1270具体用于：将原始mpms中的竖直方向上的预测模式更新为水平方向上的预测模式；或者，将原始mpms中与第二图像块的帧内预测模式相邻的两个帧内预测模式，更新为第二帧内预测模式集合中与第二图像块的帧内预测模式相邻的两个帧内预测模式，得到更新后的mpms。或者，将原始mpms中的竖直方向上的预测模式更新为水平方向上的预测模式，并且将原始mpms中与第二图像块的帧内预测模式相邻的两个帧内预测模式，更新为第二帧内预测模式集合中与第二图像块的帧内预测模式相邻的两个帧内预测模式，得到更新后的mpms。其中，第二图像块是第一图像块左侧或者上方的相邻图像块。
[0158]
可选地，删除模块1220具体用于：从当前帧内预测模式集合中删除部分竖直类角度预测模式，得到第一帧内预测模式集合；或者，从当前帧内预测模式集合中删除部分水平类角度预测模式，得到第一帧内预测模式集合；或者，从当前帧内预测模式集合中删除部分水平类角度预测模式和部分竖直类角度预测模式，得到第一帧内预测模式集合。
[0159]
可选地，目标像素为以下任一项：第一图像块中的左上角像素、中心像素、右上角像素、左下角像素、右下角像素。
[0160]
应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图12所示的图像处理设备可以执行图8对应的方法实施例，并且图像处理设备中的各个模块的前述和其它操作和/或功能分别为了实现图8中的各个方法中的相应流程，为了简洁，在此不再赘述。
[0161]
上文中结合附图从功能模块的角度描述了本技术实施例的图像处理设备。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本技术实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本技术实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。
[0162]
图13为本技术实施例提供的另一种图像处理设备的示意图，如图13所示，该设备包括：
[0163]
解析模块1310，用于解析码流，以得到编码中的指示信息，其中，指示信息包括：目标帧内预测模式的索引。
[0164]
获取模块1320，用于获取第一图像块中的目标像素的第一坐标和第二坐标，第一图像块是360度全景图像中的待重建图像块对应的erp格式图像块。第一坐标与360度全景图像的经度对应，第二坐标与360度全景图像的纬度对应。
[0165]
删除模块1330，用于若第二坐标小于第一阈值或者第二坐标大于第二阈值，则从
当前帧内预测模式集合中删除部分角度预测模式，得到第一帧内预测模式集合。
[0166]
确定模块1340，用于根据第一帧内预测模式集合和目标帧内预测模式的索引，确定目标帧内预测模式。
[0167]
帧内预测模块1350，用于通过目标帧内预测模式对第一图像块进行帧内预测，得到第一图像块的预测信息。
[0168]
重建模块1360，用于根据预测信息对第一图像块进行重建。
[0169]
可选地，目标帧内预测模式的索引是目标帧内预测模式在第一帧内预测模式集合中的索引。
[0170]
可选地，还包括：第一更新模块1370，用于更新当前帧内预测模式集合对应的原始mpms，得到更新后的mpms。
[0171]
可选地，指示信息还包括：用于指示目标帧内预测模式在更新后的mpms的信息。相应的，目标帧内预测模式的索引是目标帧内预测模式在更新后的mpms中的索引。或者，指示信息还包括：用于指示目标帧内预测模式未在更新后的mpms的信息。相应的，目标帧内预测模式的索引是在第一帧内预测模式集合中除mpms以外的集合中的索引。
[0172]
可选地，第一更新模块1370具体用于：将原始mpms中的竖直方向上的预测模式更新为水平方向上的预测模式；或者，将原始mpms中与第二图像块的帧内预测模式相邻的两个帧内预测模式，更新为第一帧内预测模式集合中与第二图像块的帧内预测模式相邻的两个帧内预测模式，得到更新后的mpms。或者，将原始mpms中的竖直方向上的预测模式更新为水平方向上的预测模式，并且将原始mpms中与第二图像块的帧内预测模式相邻的两个帧内预测模式，更新为第一帧内预测模式集合中与第二图像块的帧内预测模式相邻的两个帧内预测模式，得到更新后的mpms。其中，第二图像块是第一图像块左侧或者上方的相邻图像块。
[0173]
可选地，确定模块1340具体用于：对第一帧内预测模式集合增加第二坐标对应坐标轴上的至少一个角度预测模式，得到第二帧内预测模式集合。根据第二帧内预测模式集合和目标帧内预测模式的索引，确定目标帧内预测模式。
[0174]
可选地，目标帧内预测模式的索引是目标帧内预测模式在第二帧内预测模式集合中的索引。
[0175]
可选地，还包括：第二更新模块1380，用于更新当前帧内预测模式集合对应的原始mpms，得到更新后的mpms。
[0176]
可选地，指示信息还包括：用于指示目标帧内预测模式在更新后的mpms的信息。相应的，目标帧内预测模式的索引是目标帧内预测模式在更新后的mpms中的索引。或者，指示信息还包括：用于指示目标帧内预测模式未在更新后的mpms的信息。相应的，目标帧内预测模式的索引是在第二帧内预测模式集合中除mpms以外的集合中的索引。
[0177]
可选地，第二更新模块1380具体用于：将原始mpms中的竖直方向上的预测模式更新为水平方向上的预测模式；或者，将原始mpms中与第二图像块的帧内预测模式相邻的两个帧内预测模式，更新为第二帧内预测模式集合中与第二图像块的帧内预测模式相邻的两个帧内预测模式，得到更新后的mpms。或者，将原始mpms中的竖直方向上的预测模式更新为水平方向上的预测模式，并且将原始mpms中与第二图像块的帧内预测模式相邻的两个帧内预测模式，更新为第二帧内预测模式集合中与第二图像块的帧内预测模式相邻的两个帧内
预测模式，得到更新后的mpms。其中，第二图像块是第一图像块左侧或者上方的相邻图像块。
[0178]
可选地，删除模块1330具体用于：从当前帧内预测模式集合中删除部分竖直类角度预测模式，得到第一帧内预测模式集合；或者，从当前帧内预测模式集合中删除部分水平类角度预测模式，得到第一帧内预测模式集合；或者，从当前帧内预测模式集合中删除部分水平类角度预测模式和部分竖直类角度预测模式，得到第一帧内预测模式集合。
[0179]
可选地，目标像素为以下任一项：第一图像块中的左上角像素、中心像素、右上角像素、左下角像素、右下角像素。
[0180]
应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图13所示的图像处理设备可以执行图11对应的方法实施例，并且图像处理设备中的各个模块的前述和其它操作和/或功能分别为了实现图11中的各个方法中的相应流程，为了简洁，在此不再赘述。
[0181]
上文中结合附图从功能模块的角度描述了本技术实施例的图像处理设备。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本技术实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本技术实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。
[0182]
本技术还提供一种图像处理设备，该设备可以用于执行图8对应的方法实施例，其中该设备可以是编码器、或者用于进行视频或者图像编码的设备，如台式计算机、移动计算装置、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、智能电话等手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机，或其类似者等其他图像处理设备。若是其他图像处理设备，该设备可以包括编码器、显示器以及存储器等，该编码器主要用于执行图8对应的方法实施例。
[0183]
本技术还提供一种图像处理设备，该设备可以用于执行图11对应的方法实施例，其中该设备可以是解码器、或者用于进行视频或者图像编码的设备，如台式计算机、移动计算装置、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、智能电话等手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机，或其类似者等其他图像处理设备。若是其他图像处理设备，该设备可以包括解码器、显示器以及存储器等，该解码器主要用于执行图11对应的方法实施例。
[0184]
在本技术的一些实施例中，该存储器包括但不限于：
[0185]
易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取
存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synch link dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，dr ram)。
[0186]
在本技术的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器中，并由该处理器执行，以完成本技术提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在图像处理设备中的执行过程。
[0187]
本技术还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本技术实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。
[0188]
当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本技术实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，dvd))、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
[0189]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0190]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0191]
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本技术各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模
块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
[0192]
以上该，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以该权利要求的保护范围为准。