具有缩放比约束的视频编码或解码方法和装置与流程

具有缩放比约束的视频编码或解码方法和装置
1.交叉引用
2.本发明要求分别于2019年12月11日提交的序号为62/946,540、名称为“method of scaling ratio constraint”、2019年12月18日提交的序号为62/949,506、名称为“method of scaling window constraint”的美国临时专利申请的优先权。所述美国临时专利申请在此通过引用将其全文并入。
技术领域
3.本发明关于在视频编码和解码系统中的视频处理方法与装置。尤其，本发明关于用于参考图像再取样(reference picture resampling)的缩放比例约束。


背景技术：

4.多功能视频编解码(vvc)标准是即将出现的新兴视频编解码标准，其通过强化现有编解码工具并且在编解码器的多种构建块中引入多种新的编解码工具，并基于先前的高效率视频编码(hevc)标准而逐渐发展。vvc标准改善了压缩性能以及传输和储存的效率，并支援如高动态范围(high dynamic range)和全方位360视频(omni-directional 360 video)等新格式。vvc标准使得移动网络中的视频传输更加有效，由于它允许数据速率较差的系统或位置能更快地接收较大的档案。vvc支援层级编解码(layer coding)、空间或信号杂讯比(snr)的时间缩放性(scalability)。
5.参考图像再取样(reference picture resampling，rpr)在vvc标准中，用于自适性串流服务的快速呈现切换是令人期待的，以在同一时间传递相同视频内容的多种呈现，每一种呈现具有不同的特性。不同的特性涉及不同的空间解析度或不同的样本比特深度。在即时视频通信中，通过允许在不插入i-图像的情况下改变在编解码视频序列中的解析度，不仅视频数据可以无缝地适应动态频道条件与使用者偏好，而且由于i-图像所引起的跳动效果(beating effect)也可以被去除。参考图像再取样(rpr)允许具有不同解析度的图像可以在帧间预测彼此参考。图1绘示出应用参考图像再取样的一例子来编码或解码一当前图像，其中当前图像的帧间编解码块是从具有相同或不同尺寸大小的参考图像加以预测。空间缩放性在串流应用中是有益的。当支援空间缩放性时，参考图像的图像尺寸大小可以与当前图像不同。vvc标准中采用了rpr，以支援即时产生(on-the-fly)的上取样和下取样运动补偿。
6.表格1显示了在序列参数集(sequence parameter set，sps)中发信rpr致能旗标以及最大图像尺寸大小的例子。在序列参数集(sps)中所发信的rpr致能旗标sps_ref_pic_resampling_enabled_flag被用来指示出rpr是否被致能于参考该sps的图像中。当此rpr致能旗标等于1时，参考该sps的当前图像可能具有切片，这些切片参考了在参考图像层的当前条目(active entry)中的参考图像，而该参考图像层具有和该当前图像不同的以下七个参数中的一或多个参数。该七个参数包括与下列相关联的语法元素：图像宽度pps_pic_width_in_luma_samples、图像高度pps_pic_height_in_luma_samples、左方缩放窗口偏移
量pps_scaling_win_left_offset、右方缩放窗口偏移量pps_scaling_win_right_offset、上方缩放窗口偏移量pps_scaling_win_top_offset、下方缩放窗口偏移量pps_scaling_win_bottom_offset，次图像数目sps_num_subpics_minus1。对参考参考图像(该参考图像具有和当前图像不同的七个参数中的一或多个)的当前图像，该参考图像可以属于与包含该当前图像的层为相同的层或不同层。语法元素sps_res_change_in_clvs_allowed_flag等于1指明图像空间解析度可能在参考sps的编解码层视频序列(coded layer video sequence，clvs)之内有改变，而且此语法元素等于0指明图像空间解析度在参考sps的任何clvs之内没有改变。最大图像尺寸大小是通过语法元素sps_pic_width_max_in_luma_samples和sps_pic_height_max_in_luma_samples在sps中加以发信，并且最大图像尺寸大小不可大于在相对应视频参数集(video parameter set，vps)中所发信的输出层集(output layer set，ols)解码后图像缓冲(decoded picture buffer，dpb)的图像尺寸大小。
7.表格1
[0008][0009]
当使用rpr来预测一当前图像时，一图像尺寸大小比例是从参考图像宽度或高度以及当前图像宽度或高度来加以推导出。图像尺寸大小比例被约束在1/8和2之间的一范围之内。例如，在亮度样本中所测量的图像宽度与高度是通过在一图像参数集(picture parameter set，pps)中所发信的语法元素pic_width_in_luma_samples和pic_height_in_luma_samples来加以推导出。语法元素pic_width_in_luma_samples指明参考pps的每一解码后图像的宽度(以亮度样本为单位)。此语法元素不可等于0而且应该为max(8，mincbsizey)的一整数倍数，而且被约束为小于或等于pic_width_max_in_luma_samples。当一次图像存在旗标subpics_present_flag等于1或当rpr致能旗标ref_pic_resampling_enabled_flag等于0时，此语法元素pic_width_in_luma_samples的数值应该等于pic_width_max_in_luma_samples。语法元素pic_height_in_luma_samples指明参考pps的每一解码后图像的高度(以亮度样本为单位)。此语法元素不可等于0而且应该为max(8，mincbsizey)的一整数倍数，而且应该小于或等于pic_height_max_in_luma_samples。当一次图像存在旗标subpics_present_flag等于1或当rpr致能旗标ref_pic_resampling_enabled_flag等于0时，此语法元素pic_height_in_luma_samples的数值被设定等于pic_height_max_in_luma_samples。
[0010]
在vvc草案6中的rpr当前设计，当一当前图像与参考图像的图像尺寸大小被指明时，以下约束必须满足。此约束限制该参考图像与当前图像的图像尺寸大小比例在[1/8，2]
的范围之内。假设变数refpicwidthinlumasamples与refpicheightinlumasamples为被一当前图像所加以参考的一参考图像的图像宽度与图像高度。比特流规约要求以下所有条件都被满足：该当前图像的图像宽度pic_width_in_luma_samples乘以二应该大于或等于该参考图像的图像宽度refpicwidthinlumasamples，该当前图像的图像高度pic_height_in_luma_samples乘以二应该大于或等于该参考图像的图像高度refpicheightinlumasamples，该当前图像的图像宽度pic_width_in_luma_samples应该小于或等于该参考图像的图像宽度refpicwidthinlumasample乘以八，以及该当前图像的图像高度pic_height_in_luma_samples应该小于或等于该参考图像的图像高度refpicheightinlumasamples乘以八。
[0011]
一参考图像和一当前图像之间的图像尺寸大小缩放比例是从与参考图像相关联的一pps中所发信的语法元素pic_width_in_luma_samples与pic_height_in_luma_samples，以及与当前图像相关联的一pps中所发信的语法元素pic_width_in_luma_samples与pic_height_in_luma_samples加以推导出。用于rpr的缩放窗口偏移量也从pps中所发信的语法元素中加以推导出。表格2中显示了发信于pps中的这些语法元素以及相对应的语义。
[0012]
表格2
[0013][0014]
语法元素scaling_window_flag等于1指明在pps中存在有缩放窗口偏移量参数，
并且scaling_window_flag等于0指明在pps中不存在缩放窗口偏移量参数。当一rpr致能旗标ref_pic_resampling_enabled_flag等于0时，此语法元素scaling_window_flag的数值应该等于0。语法元素scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset、和scaling_win_bottom_offset指明缩放偏移量(以亮度样本为单位)。这些缩放偏移量被应用于图像尺寸大小以进行缩放比例计算。缩放偏移量可以是负数。当一缩放窗口旗标scaling_window_flag等于0时，这四个缩放偏移量语法元素scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset、与scaling_win_bottom_offset的数值被推论等于0。
[0015]
左方与右方偏移量scaling_win_left_offset与scaling_win_right_offset的一总和的数值应该小于图像宽度pic_width_in_luma_samples，而且上方与下方偏移量scaling_win_top_offset与scaling_win_bottom_offset的一总和的数值应该小于图像高度pic_height_in_luma_samples。表示一缩放窗口宽度的变数picoutputwidthl是通过从该图像宽度中减去该左方与右方偏移量来加以推导出。picoutputwidthl＝pic_width_in_luma_samples-(scaling_win_right_offset scaling_win_left_offset)。表示一缩放窗口高度的变数picou中utheightl是通过从该图像高度中减去该上方与下方偏移量来加以推导出。picoutputheightl＝pic_height_in_luma_samples-(scaling_win_bottom_offset scaling_win_top_offset)。
[0016]
一变数frefwidth被设定等于一参考图像refpiclist[i][j]中亮度样本的picoutputwidthl，而且一变数frefhight被设定等于该参考图像refpiclist[i][j]中亮度样本的picoutputheightl。用于水平方向refpicscale[i][j][0]的一推导后参考图像缩放比例是通过((frefwidth＜＜14) (picoutputwidthl＞＞1))/picoutputwidthl加以计算，而且用于垂直方向refpicscale[i][j][1]的一推导后参考图像缩放比例是通过((frefheight＜＜14) (picoutputheightl＞＞1))/picoutputheightl加以计算。因此，推导后的参考图像缩放比例为refpicisscaled[i][j]＝(refpicscale[i][j][0]！＝(1＜＜14))||(refpicscale[i][j][1]！＝(1＜＜14)。。
[0017]
在vvc标准的一最新提案中，缩放窗口偏移量是在色度样本中加以测量的，而且当这些缩放窗口偏移量语法元素不存在于pps中时，这四个缩放偏移量语法元素的数值scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset、与scale_win_bottom_offset被推论分别等于conf_win_left_offset、conf_win_right_offset、conf_win_top_offset、与conf_win_bottom_offset。指示出缩放窗口宽度的一变数currpicscalwinwidthl是通过该图像宽度、subwidthc、左方缩放偏移量、与右方缩放偏移量加以推导出，而且指示出缩放窗口高度的一变数currpicscalwinheightl是通过该图像高度、subheightc、上方缩放偏移量、与下方缩放偏移量加以推导出，如下所示。currpicscalwinwidthl＝pic_width_in_luma_samples-subwidthc*(scaling_win_right_offset scaling_win_left_offset)；以及currpicscalwinheightl＝pic_height_in_luma_samples-subheightc*(scaling_win_bottom_offset scaling_win_top_offset)。


技术实现要素：

[0018]
在视频处理方法用来处理一当前图像中的一当前块的示例性实施例中，实作施行
该视频处理方法的一视频编码或解码系统：接收与该当前块相关联的输入视频数据；决定该当前图像的一缩放窗口宽度、高度、或尺寸大小；决定一参考图像的一缩放窗口宽度、高度、或尺寸大小；通过该当前图像的该缩放窗口宽度、高度、或尺寸大小以及该参考图像的该缩放窗口宽度、高度、或尺寸大小之间的一比例，来产生一参考块；使用该参考块来进行用于该当前块的运动补偿；以及编码或解码该当前图像中的该当前块。该当前图像的该缩放窗口宽度、高度、或尺寸大小以及该参考图像的该缩放窗口宽度、高度、或尺寸大小之间的一比例是被约束在一比例约束之内。
[0019]
在一些示例性实施例中，该比例约束在1/m与n之间，其中m与n为正整数。为使该当前图像的缩放窗口宽度与该参考块的缩放窗口宽度的比例在该比例约束之间，该当前图像的该缩放窗口宽度的n倍是大于或等于该参考图像的该缩放窗口宽度，而且该当前图像的该缩放窗口宽度是小于或等于该参考图像的该缩放窗口宽度的m倍。为使该当前图像的缩放窗口高度与该参考图像的缩放窗口高度的比例在该比例约束之间，该当前图像的该缩放窗口高度的n倍是大于或等于该参考图像的该缩放窗口高度，而且该当前图像的该缩放窗口高度是小于或等于该参考图像的该缩放窗口高度的m倍。在一实施例中，该缩放窗口尺寸大小包括缩放窗口宽度与缩放窗口高度。为使该当前图像的缩放窗口尺寸大小与该参考图像的缩放窗口尺寸大小的比例在该比例约束之间，该当前图像的该缩放窗口宽度的n倍是大于或等于该参考图像的该缩放窗口宽度，该当前图像的该缩放窗口高度的n倍是大于或等于该参考图像的该缩放窗口高度，该当前图像的该缩放窗口宽度是小于或等于该参考图像的该缩放窗口高度的m倍，而且该当前图像的该缩放窗口高度是小于或等于该参考图像的该缩放窗口高度的m倍。例如，该比例约束在1/8与2之间。当该当前图像的该缩放窗口尺寸大小小于该参考图像的该缩放窗口尺寸大小的情况下，该当前图像的该缩放窗口宽度的二倍是大于或等于该参考图像的该缩放窗口宽度，而且该当前图像的该缩放窗口高度的二倍是大于或等于该参考图像的该缩放窗口高度。当该当前图像的该缩放窗口尺寸大小大于该参考图像的该缩放窗口尺寸大小的情况下，该当前图像的该缩放窗口宽度是小于或等于该参考图像的该缩放窗口宽度的八倍，而且该当前图像的该缩放窗口高度是小于或等于该参考图像的该缩放窗口高度的八倍。
[0020]
在有些实施例中，该当前图像的该缩放窗口宽度是通过该当前图像的一图像宽度，一左方缩放窗口偏移量与一右方缩放窗口偏移量来加以推导，而且该当前图像的该缩放窗口高度是通过该当前图像的一图像高度，一上方缩放窗口偏移量与一下方缩放窗口偏移量来加以推导。该当前图像的该图像宽度、左方缩放窗口偏移量、右方缩放窗口偏移量、图像高度、上方缩放窗口偏移量、以及该下方缩放窗口偏移量，被发信于与该当前图像相关联的一pps中。
[0021]
在一实施例中，缩放窗口偏移量是以亮度样本加以测量，该当前图像的该缩放窗口宽度是通过将该左方缩放窗口偏移量与该右方缩放窗口偏移量从该当前图像的该图像宽度减去来加以推导；以及该当前图像的该缩放窗口高度是通过将该上方缩放窗口偏移量与该下方缩放窗口偏移量从该当前图像的该图像高度减去来加以推导。在另一实施例中，缩放窗口偏移量是以色度样本加以测量，该当前图像的该缩放窗口宽度是通过该图像宽度、左方与右方缩放窗口偏移量、以及一变数subwidthc来加以推导，而且该当前图像的该缩放窗口高度是通过该图像高度，上方与下方缩放窗口偏移量、以及一变数subheightc来
加以推导。这些变数subwidthc与subheightc指示出与水平与垂直维度中的色度比特平面相关联的下取样比例。该当前图像的该缩放窗口宽度是通过下列加以推导：将该变数subwidthc乘以该左方缩放窗口偏移量与该右方缩放窗口偏移量的一总和，然后从该当前图像的该图像宽度加以减去；以及该当前图像的该缩放窗口高度是通过下列加以推导：将该变数subheightc乘以该上方缩放窗口偏移量与该下方缩放窗口偏移量的一总和，然后从该当前图像的该图像高度加以减去。
[0022]
在一实施例中，用于运动补偿的一参考图像缩放比例是由以下加以推导：该当前图像的该缩放窗口宽度、高度、或尺寸大小，以及该参考图像的该缩放窗口宽度、高度、或尺寸大小；而且该参考图像缩放比例是约束在[2048，32768]的一范围之间。
[0023]
在一实施例中，对在一编码器侧产生相对应于一视频序列的编码数据的一比特流，或是在一解码器侧接收相对应于一视频序列的编码数据的一比特流，以下为一比特流规约规定：该当前图像的该缩放窗口宽度的二倍是大于或等于该参考图像的该缩放窗口宽度，该当前图像的该缩放窗口高度的二倍是大于或等于该参考图像的该缩放窗口高度，该当前图像的该缩放窗口宽度是小于或等于该参考图像的该缩放窗口宽度的八倍，以及该当前图像的该缩放窗口高度是小于或等于该参考图像的该缩放窗口高度的八倍。
[0024]
本揭示的面向进一步提供一种于一视频编码或解码系统中的视频处理装置，该装置包括一或多个电子电路配置用来：接收一当前图像中的一当前块的输入视频数据；决定该当前图像的一缩放窗口宽度、高度、或尺寸大小；决定一参考图像的一缩放窗口宽度、高度、或尺寸大小；从该参考图像产生一参考块；使用该参考块来进行用于该当前块的运动补偿；以及编码或解码该当前图像中的该当前块。该当前图像的该缩放窗口宽度、高度、或尺寸大小以及该参考图像的该缩放窗口宽度、高度、或尺寸大小之间的一比例是在一比例约束之内。
[0025]
本揭示的面向进一步提供一种用来储存程式指令的非暂时性电脑可读取媒介，该程式指令使得一装置的一处理电路进行一视频处理方法以编码或解码一当前图像中的一当前块。该视频处理方法决定该当前图像的一缩放窗口宽度、高度、或尺寸大小；决定一参考图像的一缩放窗口宽度、高度、或尺寸大小；从该参考图像产生一参考块；依据该参考块来编码或解码该当前块。该当前图像的该缩放窗口宽度、高度、或尺寸大小以及该参考图像的该缩放窗口宽度、高度、或尺寸大小之间的一比例被约束在一比例约束之内。透过对具体实施方式的以下描述，本发明的其他方面和特征对于本领域通常知识者将变得明显。
附图说明
[0026]
在本揭示被提出当例子的各种实施例将会参照下列图式被更详细地解说，而且其中：
[0027]
图1绘示出致能参考图像再取样的一假设性例子。
[0028]
图2显示在考虑每一图像的缩放窗口尺寸大小而致能参考图像再取样的一例子。
[0029]
图3依据本发明一实施例绘示出一视频编码或解码系统一示例性流程图，来检查在一当前图像与一参考图像之间的一缩放窗口比例。
[0030]
图4为一流程图显示出一视频处理方法的一实施例，以通过致能在一视频编码或解码系统中的参考图像再取样来编码或解码一当前块。
[0031]
图5为依据本发明实施例绘示一示例性的系统方块图，以用于体现视频处理方法的一视频编码系统。
[0032]
图6为依据本发明实施例绘示一示例性的系统方块图，以用于体现视频处理方法的一视频解码系统。
具体实施方式
[0033]
容易理解的是，如本文附图中一般描述和说明的本发明的组件可以以各种不同的配置来布置和设计。因此，如附图所示，本发明的系统和方法的实施例的以下更详细的描述并非旨在限制所要求保护的本发明的范围，而仅仅代表本发明的所选实施例。
[0034]
对参考图像缩放比例加以约束 在vvc草案6中，一个比特流规约要求被应用来将一参考图像与一当前图像的一图像尺寸大小比例限制在[1/8，2]之内。该图像尺寸大小比例是从一参考图像的宽度/高度/尺寸大小与一当前图像的宽度/高度/尺寸大小加以推导出。该图像尺寸大小比例约束被指明在[1/8，2]之内，因为内插滤波器仅支援1/8和2之间的缩放比例。本发明的一些实施例将[1/8，2]比例约束应用于一当前缩放窗口宽度、高度、或尺寸大小与一参考缩放窗口宽度，高度或尺寸大小之间的一缩放比率。该缩放比例是通过缩放窗口的宽度、高度、或尺寸大小(而不是图像的宽度、高度、或尺寸大小)来加以计算。图2绘示出通过参考具有不同图像尺寸大小与不同缩放窗口尺寸大小的二个参考图像来进行运动补偿的一例子。如图2所示的一当前图像20具有一缩放窗口202，而且尽管一第一参考图像22小于当前图像20，该第一参考图像22的一缩放窗口222大于该当前图像的缩放窗口202，这表示小于1的一缩放比例被应用在把要被当前图像所参考的缩放窗口222加以缩小(downscale)。一第二参考图像24大于当前图像20，然而，第二参考图像24的一缩放窗口242小于当前图像的缩放窗口202，因此大于1的一缩放比例被应用在把要被当前图像所参考的缩放窗口242加以放大(upscale)。
[0035]
在一实施例中，一当前图像的一缩放窗口宽度picoutputwidthl是通过在与该当前图像相关联的pps中所发信的一图像宽度pic_width_in_luma_samples、一左方缩放窗口偏移量scaling_win_left_offset、与一右方缩放窗口偏移量scaling_win_right_offset来加以推导出，即picoutputwidthl＝pic_width_in_luma_samples-(scaling_win_right_offset scaling_win_left_offset)；以及该当前图像的一缩放窗口高度picoutputheightl是通过一图像高度pic_height_in_luma_samples、一上方缩放窗口偏移量scaling_win_top_offset、与一下方缩放窗口偏移量scaling_win_bottom_offset来加以推导出，即picoutputheightl＝pic_height_in_luma_samples-(scaling_win_bottom_offset scaling_win_top_offset)。当scaling_window_flag等于1时，假设refpicoutputwidthl与refpicoutputhiehgtl分别为一参考图像的一缩放窗口宽度与该参考图像的一缩放窗口高度。该参考图像中的一参考块被决定由该当前图像的一当前块加以参考。例如，一视频编码系统通过运动估计(motion estimation)来决定该参考块，而且一视频解码系统通过剖析在视频比特流中所发信的当前块的运动信息来决定该参考块。当该当前图像的该缩放窗口尺寸大小以及该参考图像的该缩放窗口尺寸大小之间的比例是在比例约束[1/8，2]之内时，比特流规约(bitstream conformance)要求以下所有四个条件都被满足。该当前图像的该缩放窗口宽度的二倍是大于或等于该参考图像的该缩放窗口宽
度，该当前图像的该缩放窗口高度的二倍是大于或等于该参考图像的该缩放窗口高度，该当前图像的该缩放窗口宽度是小于或等于该参考图像的该缩放窗口宽度的八倍，以及该当前图像的该缩放窗口高度是小于或等于该参考图像的该缩放窗口高度的八倍。也就是说，picoutputwidthl*2≥refpicoutputwidthl，picoutputheightl*2≥refpicoutputheightl，picoutputwidthl≤refpicoutputwidthl*8，and picoutputheightl≤refpicoutputheightl*8。
[0036]
对上述实施例加以一般化而基于该参考图像的该缩放窗口宽度与缩放窗口高度来约束该当前图像的该缩放窗口宽度与缩放窗口高度，比特流规约要求以下所有条件都被满足。该当前图像的该缩放窗口宽度的n倍是大于或等于该参考图像的该缩放窗口宽度，该当前图像的该缩放窗口高度的n倍是大于或等于该参考图像的该缩放窗口高度，该当前图像的该缩放窗口宽度是小于或等于该参考图像的该缩放窗口宽度的m倍，以及该当前图像的该缩放窗口高度是小于或等于该参考图像的该缩放窗口高度的m倍。该当前图像的该缩放窗口尺寸大小以及该参考图像的该缩放窗口尺寸大小之间的该比例是在一比例约束[1/m，n]之内，其中n与m为正整数。例如，在之前实施例中n为2以及m为8。picoutputwidthl*n≥refpicoutputwidthl、picoutputheight*n≥refpicoutputheight、picoutputwidthl≤refpicoutputwidthl*m、以及picoutputheightl≤refpicoutputheightl*m。
[0037]
在一个实施例中，一比例约束[1/m，n]被决定，来编码或解码一当前图像，一编码器或解码器通过决定该当前图像的一缩放窗口宽度、高度、或尺寸大小以及该参考图像的一缩放窗口宽度、高度、或尺寸大小，来检查一或多个参考图像是否满足该比例约束。只有具有满足该比例约束的一缩放窗口宽度、高度、或尺寸大小的参考图像才可以被当前图像加以参考。图3是绘示出此实施例的一例子的流程图。
[0038]
在一些其他实施例中，一比例约束[1/m，n]被决定，并且一编码器或解码器依据一参考图像的一缩放窗口宽度、高度、或尺寸大小来决定一当前图像的一缩放窗口宽度、高度、或尺寸大小，以便于满足该比例约束。在一实施例中，相同的比例约束可以约束缩放窗口比例和图像尺寸大小比例二者，并且编码器或解码器也依据参考图像的一图像尺寸大小来决定当前图像的一图像尺寸大小，以便于遵循该比例约束。
[0039]
在另一实施例中，在pps中所发信的缩放窗口偏移量是在色度样本中加以测量，一当前图像的一缩放窗口宽度picoutputwidthl是通过发信于pps中的一图像宽度pic_width_in_luma_samples、一左方缩放窗口偏移量scaling_win_left_offset、与一右方缩放窗口偏移量scaling_win_right_offset，以及一变数subwidthc加以推导出。依据视频数据的颜色取样格式来定义变数subwidthc的数值；例如当颜色取样格式为4:2:0时，subwidthc等于2。picoutputwidthl＝pic_width_in_luma_samples-subwidthc*(scaling_win_right_offset scaling_win_left_offset)。类似地，当前图像的一缩放窗口高度picoutputheightl是通过一图像高度pic_height_in_luma_samples、一上方缩放窗口偏移量scalilng_win_top_offset、与一下方缩放窗口偏移量scaling_win_bottom_offset，以及一变数subheightc加以推导出。依据视频数据的颜色取样格式来定义变数subheightc的数值；例如当颜色取样格式为4∶2∶0时，subheightc等于2。picoutputheightl＝pic_height_in_luma_samples-subheightc*(scaling_win_bottom_offset scaling_win_top_offset)。变数subwidthc与subheightc分别指示出水平和垂直方向上与色度位平面关联的
下采样率。变数subwidthc与subheightc分别指示出水平与垂直维度中的色度比特平面相关联的下取样比例。
[0040]
假设refpicoutputwidthl与refpicoutputheightl为当前图像的一当前块所加以参考的一参考图像的一缩放窗口宽度与一缩放窗口高度，其中refpicoutputwidthl与refpicoutputheightl是通过图像宽度与高度、缩放窗口偏移量、以及变数subwidthc与subheightc来加以推导出。比特流规约(bitstream conformance)要求以下所有四个条件被满足：该当前图像的该缩放窗口宽度的二倍是大于或等于该参考图像的该缩放窗口宽度，该当前图像的该缩放窗口高度的二倍是大于或等于该参考图像的该缩放窗口高度，该当前图像的该缩放窗口宽度是小于或等于该参考图像的该缩放窗口宽度的八倍，以及该当前图像的该缩放窗口高度是小于或等于该参考图像的该缩放窗口高度的八倍。picoutputwidthl*2≥refpicoutputwidthl，picoutputheightl*2≥refpicoutputheightl，picoutputwidthl≤refpicoutputwidthl*8，picoutputheightl≤refpicoutputheightl*8。
[0041]
一参考图像缩放比例refpicscale[i][j][0]、refpicscale[i][j][1]是从pps中所指明的缩放窗口尺寸大小、宽度、或高度来加以推导以用于运动补偿。此参考图像缩放比例会影响在运动补偿阶段中哪些滤波器要被使用，而且还会影响用于运动补偿阶段的记忆体频宽。除了约束图像尺寸大小比例之外，本发明的实施例还约束参考图像缩放比例。例如，参考图像缩放比例refpicscale[i][j][0]与refpicscale[i][j][1]应被约束在[2048，32768]的范围之内，相当于一缩放比例为[1/8，2]。比特流规约要求以下所有条件被满足：refpicscale[i][j][0]应该大于或等于2048，而且应该小于或等于32768，而且refpicscale[i][j][1]应当大于或等于2048，而且应小于或等于32768。
[0042]
例如，取决于该缩放比例，在运动补偿中可以选择三个不同的内插滤波器组。一第一内插滤波器组(组0)包括一8-抽头(tap)dct-if滤波器、一仿射6-抽头dct-if滤波器、与一6-抽头半像素if滤波器，以及一第二内插滤波器组(组1)包括一8-抽头rpr滤波器、与相应的6-抽头仿射滤波器(比例为1.5倍)，以及一第三内插滤波器组(组2)包括一8-抽头rpr滤波器和相应的6-抽头仿射滤波器(比例为2.0倍)。为了处理与一缩放比例在1/8和1.25之间相关联的一当前块，在集合0中的滤波器被选择，为了处理与一缩放比例在1.25和1.75之间相关联的一当前块，在集合1中的滤波器被选择，以及为了处理与一缩放比例在1.75到2之间相关联的一当前块，在集合2中的滤波器被选择。
[0043]
示例性流程图 图3依据本发明一实施例绘示出一视频编码或解码系统一示例性流程图，来检查在一当前图像与一参考图像之间的一缩放窗口比例。在步骤s302，视频编码或解码系统接收与一当前图像相关联的输入视频数据，并且在步骤s304，决定当前图像的缩放窗口宽度、高度、或尺寸大小。例如，该缩放窗口尺寸大小包括缩放窗口宽度与缩放窗口高度二者。在此实施例中，该当前图像的该缩放窗口宽度是通过该当前图像的一图像宽度，一左方缩放窗口偏移量与一右方缩放窗口偏移量来加以推导，以及该当前图像的该缩放窗口高度是通过该当前图像的一图像高度，一上方缩放窗口偏移量与一下方缩放窗口偏移量来加以推导。与这些缩放窗口偏移量以及图像宽度与高度相关联的语法元素被发信于相对应当前图像的一pps中。在步骤s306，一参考图像的一缩放窗口宽度、高度、或尺寸大小被决定。类似地，该参考图像的该缩放窗口宽度是通过该参考图像的一图像宽度，一左方缩
放窗口偏移量与一右方缩放窗口偏移量来加以推导，以及该参考图像的该缩放窗口高度是通过该参考图像的一图像高度，一上方缩放窗口偏移量与一下方缩放窗口偏移量来加以推导。与参考图像的这些缩放窗口偏移量以及图像宽度与高度相关联的语法元素被发信于相对应参考图像的一pps中。在步骤s308，视频编码或解码系统检查该当前图像的该缩放窗口宽度、高度、或尺寸大小以及该参考图像的该缩放窗口宽度、高度、或尺寸大小之间的一比例是否在一比例约束[1/m，n]之内。例如，比例约束为[1/8，2]表示当该当前图像的该缩放窗口宽/高度的二倍是大于或等于该参考图像的该缩放窗口宽/高度，以及当该当前图像的该缩放窗口宽/高度是小于或等于该参考图像的该缩放窗口宽/高度的八倍。当比例在比例约束之内时，在步骤s310，参考图像被包括在当前图像中的一或多个块的一参考图像列表中，使得参考图像可以通过当前图像中的块来加以参考。在步骤s312中，当比例不在比例约束之内的情况下，由于参考图像不能被当前图像中的任何块加以参考，因此参考图像被排除在一参考图像列表之外。在步骤s314，视频编码或解码系统进一步编码或解码该当前图像。
[0044]
图4依据本发明的一实施例绘示一视频编码或解码系统的一示例性流程图，以通过致能参考图像再取样来编码或解码一当前块。在步骤s402，视频编码或解码系统接收一当前图像中的一当前块的输入视频数据。在步骤s404，在一参考图像的一参考区块被决定用于该当前块的预测或运动补偿。该当前图像的一缩放窗口宽度、高度、或尺寸大小以及该参考图像的一缩放窗口宽度、高度、或尺寸大小之间的一比例是在一比例约束[1/m，n]之内。在步骤s406，视频编码或解码系统依据该比例来从该参考图像中的参考区域产生一参考块；以及在步骤s408，使用该参考块来编码或解码该当前块。
[0045]
视频编码器与解码器的实作 前述所提议用于参考图像再取样的视频处理方法可以在视频编码器或解码器中来施行实作。例如：所提出的视频处理方法可以在编码器的帧间预测模组与/或解码器的帧间预测模组上来实施实作。备选地，任何所提议的方法可以在解码器的一个或一组合的帧间预测模组与/或一个或一组合的帧间预测模组上所耦合的一电路来实施实作，以提供帧间预测模组所需的信息。图5示出了实作本发明多种实施例的视频编码器500的一示例性系统方块图。帧内预测模组510基于一当前图像的重构后视频数据来提供帧内预测子。帧间预测模组512实施运动估计(motion estimation，me)和运动补偿(mc)，以基于来自其他一或多个图像的视频数据而提供帧间预测子。依据本发明的一些实施例，为了对一当前图像中的一当前块进行编码，在一有效参考图像中的一参考区域被决定，而且当前图像与任何有效参考图像之间的一缩放比例是在一比例约束[1/m，n]之间。该参考块是从该参考区域所产生，并且被用于该当前块的运动补偿。该比例约束是依据用于运动补偿的内插滤波器(interpolation filter)加以定义，例如，该比例约束是在1/8和2之间。在另一实施例中，帧内预测模组510是依据该比例约束和当前图像的一或多个参考图像的缩放窗口宽度、高度、或尺寸大小，来决定该当前图像的一缩放窗口宽度、高度、或尺寸大小。一开关541选择帧内预测模组510或是帧间预测模组512之一来将所选择的预测子提供给加法模组516以形成预测误差，也称为预测残差。当前块的预测残差通过转换模组(t)518进一步处理，接着是量化模组(q)520处理。然后，转换后和量化后的残差信号由熵编码器532编码以形成一视频比特流。视频比特流然后与边信息(side information)一起打包。然后，当前块的转换后和量化后的残差信号由逆量化模组(iq)522和逆转换模组(it)524处
理以还原预测残差。如图5所示，通过在重构模组(rec)526处加回所选择的预测子来还原预测残差，以产生重构后的视频数据。重构后的视频数据可以被储存在一参考图像缓冲器(ref.pict.buffer)530中，并用于其它图像的预测。从rec模组526所还原的重构后的视频数据可能由于编码处理而受到各种损害，因此，在储存于参考图像缓冲器530之前，环内滤波器(in-loop processing filter)528被应用于重构后的视频数据，以进一步提高图像品质。
[0046]
用来解码从图5的视频编码器500所产生的视频比特流的一相对应视频解码器600如图6所示。视频比特流是视频解码器600的输入，并通过熵解码器610解码以剖析和还原已变换后和已量化后的残差讯号和其他系统信息。除了解码器600仅需要一帧间预测模组614中的运动补偿预测之外，解码器600的解码流程类似于编码器500处的重构环路。每一块是通过帧内预测模组612或帧间预测模组614来加以解码。依据本发明的有些实施例来决定一当前图像中的一当前块，帧间预测模组614决定一参考图像中的一参考区域。该当前图像的一缩放窗口宽度、高度、或尺寸大小以及该参考图像的一缩放窗口宽度、高度、或尺寸大小之间的一比例是在一比例约束[1/m，n]之内。然后一参考块基于该比例来从该参考区域加以产生，而且该参考块被用来于帧间预测模组614进行该当前块的运动补偿。依据已解码的模式信息，一开关616自帧内预测模组612选择一帧内预测子或自帧间预测模组614选择一帧间预测子。与每一块相关联的已转换后和已量化后的残差讯号是通过逆量化(inverse quantization，iq)模组620和逆转换(inverse transformation，it)模组622来加以还原。通过在一重构rec模组618中加回预测子来重构已还原后的残差信号，来产生已重构后的视频。已重构后的视频由一环内滤波器624进一步处理来产生最终已解码的视频。如果当前已解码的图像是用于解码顺序中的后续图像的一参考图像时，当前已解码后图像的已重构后视频也被储存在一参考图像缓冲器(ref.pict.buffer)626中。
[0047]
图5和图6中的视频编码器500和视频解码器600的各种组件可以由硬体组件，一个或复数个处理器被配置为执行存储在存储器中的程式指令，或硬体和处理器的组合来实现。例如，一处理器执行程式指令以控制接收与一当前图像相关联的输入数据。处理器配备有单个或复数个处理核心。在一些例子中，处理器执行程式指令以在编码器500和解码器600中的一些组件中执行功能，并且与处理器电耦合的存储器用于存储程式指令，对应于块的重构后影像的信息和/或编码或解码过程中的中间数据。在一些实施例中的存储器包括非暂时性计算机可读介质，诸如半导体或固态存储器，随机存取存储器(ram)，只读存储器(rom)，硬碟，光碟或其他合适的存储介质。存储器还可以是上面列出的两个或更复数个非暂时性计算机可读介质的组合。如图5和图6所示，编码器500和解码器600可以在相同的电子设备中实现，因此如果在相同的电子设备中施行实作，则编码器500和解码器600的各种功能组件可以被共用或再利用。
[0048]
于一视频编解码系统进行处理方法的实施例，可以在集成于视频压缩晶片的电路来实施，或集成于视频压缩软体中执行以上描述的处理的程式代码来实施。例如，决定一当前图像中的一当前块，可以实现于一计算机处理器上执行的程式代码，数位讯号处理器(dsp)，微处理器或现场可程式闸阵列(field programmable gate array，fpga)上。可以透过执行定义本发明所体现的特定方法的机器可读软体代码或韧体代码，来将这些处理器配置成执行依据本发明的特定任务。
[0049]
本说明书中对“实施例”，“一些实施例”或类似语言的引用意味着结合实施例描述的具体特征、结构或特性可以包括在本发明的至少一实施例中。因此，贯穿本说明书在各个地方出现的短语“在实施例中”或“在一些实施例中”不一定都指代相同的实施例，这些实施例可单独地实现或者与一个或多个其他实施例结合实现。此外，所描述的特征，结构或特性可在一个或多个实施例中以任何合适的方式组合。然而，相关领域的习知技艺者将认识到，可在没有一个或多个具体细节的情况下或者利用其他方法，组件等来实践本发明。在其他情况下，未示出或详细描述公知的结构或操作，以避免模糊本发明的各方面。
[0050]
在不脱离本发明的精神或基本特征的情况下，本发明可以以其他具体形式实施。所描述的例子仅在所有方面被认为是说明性的而不是限制性的。因此，本发明的范围由所附申请专利范围而不是前面的描述来指示。属于申请专利范围的等同物的含义和范围内的所有变化将被包括在其范围内。
[0051]
本发明可以以不脱离其精神或本质特征的其他具体形式来实施。所描述的例子在所有方面仅是说明性的，而非限制性的。因此，本发明的范围由附加的权利要求来表示，而不是前述的描述来表示。权利要求的含义以及相同范围内的所有变化都应纳入其范围内。