对来自分开的摄像机的图像进行编码的制作方法
本公开总体上涉及视频摄像机系统以及对由这种摄像机捕获的图像生成的视频流进行编码的领域。具体地,本公开涉及如何作为生成一个或多个编码视频流的一部分,对由分开的视频摄像机捕获的图像进行编码的解决方案。
背景技术:
1、为了从不同角度覆盖同一场景和/或捕获同一场景的不同部分,当代视频摄像机系统通常包括布置在不同位置的多个视频摄像机或至少被配置使得它们具有不同的视场(fov)。对于许多摄像机,并且尤其是许多高分辨率摄像机,来自摄像机的视频流的编码和传输可能是具有挑战性的,因为随着分辨率的升高,更大的压力被放置在计算硬件上并且通常需要更高的比特率。
技术实现思路
1、为了至少部分克服当代技术的上述挑战中的一些,本公开提供如在所附独立权利要求中限定且由所附独立权利要求限定的用于对由分开的视频摄像机捕获的图像进行编码的方法、用于对由视频摄像机捕获的图像进行编码的方法、视频摄像机系统、视频摄像机以及对应的计算机程序和计算机程序产品。这些实体的实施例被限定在所附的从属权利要求中且由所附的从属权利要求限定。
2、根据第一方面,提供用于对由分开的视频摄像机捕获的(例如由两台或更多台分开的视频摄像机捕获的)图像进行编码的计算机实现的方法。该方法包括从两台分开的视频摄像机中的每一个接收相应的图像。该方法包括根据至少一个条件确定图像中的一个的区域具有与其他图像的区域相似的图像纹理。该方法进一步包括:将图像编码为一个或多个编码视频流的一部分,其中,对图像的第一图像的该区域的编码包括使用图像中的其他的第二图像的区域作为参考(即,参考其他图像的该区域对一幅图像的该区域进行编码)。
3、设想的解决方案改进了当代技术,因为其考虑了系统范围视角,其中,可以考虑并使用由分开的摄像机捕获的图像之间的纹理相似性,以提高编码效率。这与传统解决方案形成对比,在传统解决方案中,来自每台摄像机的图像通常被分离地编码。应注意,为了使设想的解决方案起作用,即提供编码效率的至少一些改进(例如编码两幅图像所需的比特数减少和/或传输作为一个或多个编码视频流的一部分的两幅图像所需的比特率减少),不需要具有区域与它们各自的图像纹理之间的完美的匹配。就例如图像纹理而言,即使相当粗略的匹配也仍然可以是有益的,因为由于具有至少有些相似的图像纹理的区域,可能有至少一些在图像之间共享的冗余信息。
4、在该方法的一个或多个实施例中,使用第二图像的该区域作为参考对第一图像的该区域进行编码可以响应于确定这两个区域具有相似的图像纹理(例如,通过在尝试对第一图像的该区域进行编码之前确认确实如此)而被执行。在其它实施例中,确认这些区域的纹理相似性可以仅被执行一次或者例如仅偶尔执行一次,并且在这些区域仍然是纹理相似的假设下,可以参考第二图像对第一图像的该区域进行编码。
5、在该方法的一个或多个实施例中,确定两个区域具有相似的图像纹理可以包括对图像中的每一个执行图像分割,并且至少一个条件可以包括图像分割表明两个区域属于同一类别。图像分割可以使用诸如基于机器学习的方法的传统方法来执行,并且可以在假设例如同一类别的对象(例如,树木、道路、沥青、草地、泥土、鹅卵石等)由于其纹理相似性而可能信息冗余的情况下,确定两个区域具有纹理相似性。
6、在该方法的一个或多个实施例中,该方法可以进一步包括获取两台摄像机之间的空间关系和视野(fov)关系。该至少一个条件可以包括空间关系和fov关系表明两个区域与由两台摄像机捕获的场景的同一部分相对应。基于摄像机如何对准以及摄像机可能捕获什么,假设两个区域在纹理上相似,可以例如消除或补充对例如图像分割等的需要。
7、在该方法的一个或多个实施例中,该方法可以进一步包括:获得(例如,确定)透视变换,该透视变换在被应用于第二图像时,改善第二图像的该区域与第一图像的该区域的空间对准和定向中的至少一个。该参考可以是对通过透视变换变换的第二图像的。改善该区域之间的空间对准和定向可以例如有助于减少在第二图像中执行运动矢量搜索以便找到例如与第一图像的该区域的宏块相似的宏块所需的工作量。还应当注意,在一些实施例中,应用这样的透视变换可以不是必需的,至少对于一些区域,并且尤其是对于诸如描绘例如普通的天空、沥青、树叶和其他更空间同质的纹理的、包含具有很少或没有空间对准/定向的图像纹理的区域,不是必需的。
8、在该方法的一个或多个实施例中,该方法可以进一步包括经由诸如客户端、接收器和解码器中的至少一种的、一个或多个编码视频流的接收器可访问的接口提供指示透视变换的数据。因此,第二图像不需要在其变换状态下被编码,但是接收解码器可以(在已经对其进行解码之后)对第二图像应用变换,并且然后使用变换版本以然后使用例如旨在指向第二图像的变换版本的部分的运动矢量解码第一图像。
9、在该方法的一个或多个实施例中,该方法可以进一步包括从图像中选择第一图像作为在其区域中具有更高像素密度的图像并且选择第二图像作为在其区域中具有更低像素密度的图像。这可能具有较低分辨率在网络上发送并且在另一台摄像机处解码可能“更便宜”的优点。另外,可以提高适合例如可缩放视频编码的质量,因为否则可能需要首先将较高分辨率图像缩减到较低分辨率图像以下,以便使用当时较新的较低分辨率图像作为对当时较新的较高分辨率图像进行编码的参考。
10、在该方法的一个或多个实施例中,该方法可以进一步包括将两幅图像(即,第一图像和第二图像两者)编码为同一多层视频流的一部分。如果使用例如诸如低复杂度增强视频编码(lcevc)的较新标准,这可能例如在编码效率方面特别有用,从而允许用高效、低复杂度的增强层信息补充硬件编码的基础层信息。
11、在该方法的一个或多个实施例中,该方法可以进一步包括在视频流的基础层中对第二图像进行编码并且在视频流的增强层中对第一图像进行编码。例如,基础层中的图像可以是在其区域中具有更低像素密度的图像,而增强层中的图像可以是在其区域中具有更高像素密度的图像。
12、在该方法的一个或多个实施例中,两台摄像机的fov可能不重叠。这可能是有利的,因为即使fov不重叠,一台摄像机也可以捕获具有与由其他摄像机捕获的对象相似的图像纹理的例如同一类别的对象。因此,设想的解决方案仍然能够识别两幅图像中的纹理相似的区域,并且利用这一点来取得优势以便改善编码效率和例如传输两幅图像的比特率要求。例如,可以布置两台摄像机来记录足球比赛等。即使摄像机的fov不重叠,两台摄像机也可能捕获至少一些包含例如草地(或者在其上形成运动场的任何材料)的区域,并且因此可以通过参考一个区域对其他区域进行编码来改善编码效率和比特率要求,而不是在没有系统视角的情况下分离地对每幅图像进行编码。
13、根据第二方面,提供对由视频摄像机捕获的图像进行编码的计算机实现的方法。该方法在视频摄像机中/由视频摄像机执行(例如,由视频摄像机的处理电路执行),并且包括从视频摄像机和其他(视频)摄像机获得相应的图像。该方法包括根据至少一个条件确定图像中的一个的区域具有与其他图像的区域相似的图像纹理。该方法进一步包括:将图像编码为一个或多个编码视频流的一部分,其中,对图像中的第一图像的该区域的编码包括使用图像中的其他的第二图像的该区域作为参考。在一些示例中,对第一图像的该区域进行编码可以响应于该确定而执行,其中,该确定可以重复执行(对于由视频摄像机捕获的每幅新图像)或者至少执行一次(例如,在视频摄像机的安装和/或设置之后)。
14、根据第三方面,提供视频摄像机系统。视频摄像机系统包括两台分开的视频摄像机和处理电路,该处理电路被配置为执行第一方面的(或如本文中描述的其任何示例实施例的)方法(的操作)。
15、根据第四方面,提供视频摄像机。该视频摄像机包括用于捕获图像的至少一个图像传感器。该视频摄像机包括用于从其他(视频)摄像机接收其他图像的接口。该视频摄像机进一步包括处理电路,该处理电路被配置为执行第二方面的(或如本文中描述的其任何示例实施例的)方法(的操作)。
16、根据第五方面,提供包括指令的计算机程序,当由包括两台分开的摄像机的视频摄像机系统(例如,第三方面的系统)的处理电路执行时,该指令使视频摄像机系统执行第一方面的(或如本文中描述的其任何示例实施例的)方法(的操作)。
17、根据第六方面,提供包括指令的计算机程序,当由视频摄像机(例如,第四方面的视频摄像机系统)的处理电路执行时,该指令使视频摄像机执行第二方面的方法(的操作)。
18、根据第七方面,提供计算机程序产品,其包括存储第五方面和第六方面中的至少一个方面的计算机程序的计算机可读存储介质。
19、如本文中使用的,计算机可读存储介质可以例如是非暂时性的,并且可以被提供为(或是)例如硬盘驱动器(hdd)、固态驱动器(sdd)、usb闪存驱动器、sd卡、cd/dvd和/或能够非暂时性存储数据的任何其他存储介质。在其它实施例中,计算机可读存储介质可以是暂时的,并且可以例如与存在于例如通信链路、导线或类似的信号传输装置上的(电的、光学的或机械的等)信号相对应,在这种情况下,计算机可读存储介质当然更多地是数据载体而不是数据存储实体。
20、根据以下详细描述、附图和权利要求书,本公开的其他目的和优点将显而易见。在本公开和所附权利要求书的范围内,设想了参考例如第一方面的方法描述的所有特征和优点与第二方面的方法、第三方面的视频摄像机系统、第四方面的视频摄像机、第五方面和第六方面中的每一个的计算机程序以及第七方面的计算机程序产品相关、适用其并且还可以与其结合使用,反之亦然。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com