增强编码改进和集成的制作方法

背景技术：

1、视频编码技术的最新改进已经包括分层视频编码的概念。示例包括vc-6（在smpte标准化为st 2117）和lcevc（在mpeg标准化为mpeg-5 part ii）。通常，这些分层编码方案使用多个分辨率级别以及与每个分辨率级别相关联的编码器（或编码模块）。

2、2021年11月发布的iso/iec 23094-2第1版low complexity enhancement videocoding的文本中提供了lcevc的标准规范，并且在专利公开wo 2020/188273和wo 2020/188229中描述了lcevc的许多可能的实施细节。这些早期文件中的每一者都通过引用并入本文。

3、在这些新的编码方案中，寻求效率和优化以减少数据大小和/或处理要求，同时提高最终重建图像的图片质量。

4、从广义上讲，lcevc在使用现有编解码器进行编码和解码之后，提高了解码视频的再现保真度。这是通过将基础层与增强层组合来实现的，其中基础层含有使用现有编解码器编码的视频，并且增强层指示原始视频与通过使用现有编解码器对基础层进行解码所产生的预期解码视频之间的残差。增强层可以与解码的基础层相结合，以更准确地再现原始视频。

5、其是灵活、可调适、高效且计算量小的编码技术和格式，其将视频编码格式、基础编解码器（例如，avc、hevc或任何其他当前或未来编解码器）与使用不同技术编码的增强层级的编码数据组合起来。所述技术使用经下采样的源信号，其使用基础编解码器编码以形成基础流。使用例如通过提高分辨率或通过提高帧率校正或增强基础流的残差的经编码集合来形成增强流。阶层式结构中可存在多个增强层级数据。

6、寻求机会和改进以将这些技术集成到实时场景中。例如，这些技术允许在当代视频流的使用中进行实际的改进。

技术实现思路

1、下面列出了将增强编码器集成到现有生态系统（例如安全摄像机和其他类似基础设施）中的示例。在许多视频场景中，例如那些不面向媒体的视频场景（例如安全摄像机），大部分视频馈送并不重要，只有一小部分是重要的。然而，在那个重要的区域，细节都很重要，甚至是必不可少的。示例包括检测面部以进行识别、检测车辆号牌以进行车辆识别和跟踪，或者需要记录或监控活动但背景不太相关的基于证据场景中的细节。

2、根据本发明的第一方面，可以提供一种片上系统soc，其包括多个增强编码器和被配置为服务于多个增强编码器的基础编解码器，其中：soc被配置为接收处于第一分辨率的多个输入视频流；基础编解码器被配置为对多个输入视频流进行编码以提供处于第二分辨率的多个基础编码流，第二分辨率低于第一分辨率；并且，多个增强编码器中的每一个增强编码器被配置为对多个基础编码流中的相应的一个基础编码流进行编码，以提供与多个输入视频流相对应的多个增强编码流，增强编码流处于第一分辨率。

3、以这种方式，增强编码器可以被配置为向基础编码视频添加增强，以创建与输入视频流处于相同分辨率的经编码输出视频流，而基础编解码器可以在相对较低的分辨率下维持较高的比特率（即，吞吐量），而不牺牲输出流的所得到的质量。在本公开的实施方式中，相对于本领域的soc，这提供了对芯片的每单位面积的编码/处理能力的改进。换言之，通过根据本公开配置基础编解码器以服务于多个增强编码器，针对给定芯片面积，编码/解码硬件可以处理更多输入流和更高分辨率/帧速率流。在本公开的实施方式中，这还提供了更大的编码流水线重用的机会，因为编码/解码资源（即，流水线的部分）可以针对不同的任务而被重用，以便优化数据压缩工作流流水线中的效率。

4、在第一方面的示例中，soc包括缓冲器，该缓冲器被配置为至少在基础编解码器对多个输入视频流中的一个输入视频流进行编码期间存储一个或多个待编码输入视频流。以此方式，通过缓冲与一个或多个尚未编码的输入流相对应的原始数据，可以控制基础编解码器以一定速率在对不同流进行编码之间切换，在该速率下基础编解码器可以以比在缓冲器中存储信息更快的速率进行编码。

5、在第一方面的示例中，基础编解码器是av1编解码器或avc编解码器或hevc编解码器，并且多个增强编码器是lcevc编码器。在另一示例中，基础层和增强层可以布置在分层结构中。在另一示例中，例如除了增强编码流以外，soc可以被进一步配置为提供基础编码流。以这种方式，可以采用增强编码来提供增强压缩以降低比特率，这在高运动或其他具有挑战性的场景中（例如，在可穿戴摄像机中）是有利的。

6、在第一方面的示例中，多个增强编码器包括三个增强编码器或四个增强编码器，并且多个输入视频流包括四个输入视频流。在另一示例中，多个增强编码器包括三个增强编码器，并且多个输入视频流包括三个输入视频流。在另一示例中，增强编码器的数量至少等于输入流的数量。以这种方式，与单独使用基础编码器或几个这样的基础编码器相比，在soc中实现的增强编码可以提供高性能增益密度，特别是当存在多个输入流时，因为基础可以以更低的分辨率操作。

7、在第一方面的示例中，soc被配置为在摄像机、安全摄像机、汽车摄像机和身体佩戴式摄像机中的一者或多者中使用。在一些示例中，soc被配置为从相应的多个这样的摄像机接收多个输入流。在另一示例中，soc可以被配置为在边缘装置中使用，其中边缘装置被配置为处理或以其他方式接收来自多个本地摄像机中的每个相应摄像机的多个输入流中的每个输入流。在另一示例中，soc可以被配置为从由多视图摄像机捕获的相应多个视图接收多个输入流。可选地，不同的视图可以具有不同的镜头角度（例如，第一视图可以由广角镜头提供，第二视图可以由超广角镜头提供，第三视图可以由鱼眼镜头提供，第四视图可以由窄角镜头提供，等等）。以这种方式，（视频编码器）soc内的增强编码器可以集成到涉及摄像机的具有挑战性的实际应用中，诸如在安全场景中。

8、在第一方面的示例中，基础编解码器被配置为向多个增强编码器中的至少一个增强编码器提供与感兴趣区域roi相对应的一组坐标；并且，roi可用于由多个增强编码器中的至少一个增强编码器修改对多个基础编码流中的相应的一个基础编码流的编码，以优先基础编码流在roi处的增强。在另一示例中，该组坐标可能已经被接收，或者由api或ai对象分析模型以其他方式提供至基础编解码器。在另一示例中，基础编解码器、api或ai对象分析模型可以将该组坐标插入到基础编码流中，使得可以由增强编码器中的一个或多个增强编码器提取该组。相应地，该组坐标可以是可由增强编码操作提取的。以此方式，可以调整基础编码流以允许soc中的一个或多个增强编码器进行roi增强编码，这进而可以提供特定感兴趣区域的残差，而不需要传输整个场景的残差。

9、在第一方面的示例中，soc包括感兴趣区域roi识别模块，该roi识别模块被配置为向基础编解码器和/或多个增强编码器中的至少一个增强编码器提供与roi相对应的一组坐标；并且，roi可用于由多个增强编码器中的至少一个增强编码器修改对多个基础编码流中的相应的一个基础编码流的编码，以优先基础编码流在roi处的增强。在另一示例中，roi识别模块可以是与增强编码器和/或基础编解码器分开的模块。在另一示例中，roi识别模块可以是基础编解码器、api、ai对象分析模型、或另一处理装置或cpu模块。在另一示例中，roi识别模块可以将该组坐标插入到基础编码流中，使得该组可以由增强编码器中的一个或多个增强编码器提取。相应地，该组坐标可以是可由增强编码操作提取的。以此方式，可以由roi识别模块向一个或多个增强编码器提供与roi相对应的区域的指示，以便一个或多个增强编码器可以在指定区域中提供编码残差，并因此在roi处提供更高分辨率。

10、在第一方面的示例中，多个增强编码器中的至少一个增强编码器被配置为基于基础编解码器的残差量化过程的一个或多个设置来确定与感兴趣区域roi相对应的一组坐标；并且，roi可用于由多个增强编码器中的至少一个增强编码器修改对多个基础编码流中的相应的一个基础编码流的编码，以优先基础编码流在roi处的增强。在另一示例中，基础编解码器的残差量化过程的设置可以包括一个或多个量化步长，其中基础层的具有相对较低量化步长的区域/部分可以对应于基础编码流的与roi相对应的部分，和/或基础层的具有相对较高量化步长的区域/部分可以对应于基础编码流的与roi不对应的部分。在另一示例中，可以修改在编码过程期间应用的步长（例如，通过残差选择块或通过在残差量化过程期间应用优先级图）以选择性地对与roi相对应的残差值进行编码。以此方式，一个或多个增强编码器可以被配置为在由坐标提供的区域中提供（更多）残差，并且因此为输入视频的特别期望的部分提供更高分辨率。

11、在另一示例中，roi可用于修改增强编码操作，以通过根据roi覆盖默认增强编码操作来优先基础编码流在roi处的增强，从而优先基础视频信号在roi处的增强。在一些示例中，默认增强编码操作可以包括被配置为在不参考roi和/或不参考优先级图的情况下对输入视频的残差进行编码的增强编码操作。在一些示例中，默认增强编码操作可以包括在输入视频流中没有检测到感兴趣对象的场景中应用的增强编码操作。在一些示例中，覆盖默认增强编码操作可以包括改变、变更或更新所述操作的默认编码参数以优先对所识别的roi进行残差编码。在一些示例中，覆盖默认增强编码操作可以包括根据所确定的roi来覆盖默认增强编码操作，以相对于不在roi处的基础编码流，优先增强在roi处的基础编码流。

12、在一些示例中，对增强编码操作进行修改以优先基础视频信号在roi处的增强可以由被配置为进行增强编码操作的增强编解码器来实现。换句话说，根据本公开的用于修改增强过程的装置可以作为（例如独立的）增强编解码器的一部分被包括在内。以此方式，增强修改可以独立于任何给定的基础编解码器，并且可以在不参考基础编解码器或不需要基础编解码器的情况下实现。

13、根据本发明的另一方面，可以提供一种包括第一方面的soc的摄像机系统，其中该摄像机系统包括多个摄像机，并且多个摄像机中的每个摄像机被配置为：捕获多个输入视频流中的一个输入视频流，以及将多个输入视频流中的经捕获的一个输入视频流发送到soc。 在示例中，摄像机系统可以包括一个或多个下采样器模块，该一个或多个下采样器模块被配置为在多个输入视频流被传递到基础编解码器之前对多个输入视频流中的（相应的）一个或多个输入视频流进行下采样。在另一示例中，摄像机系统可以包括一个或多个上采样器模块，该一个或多个上采样器模块被配置为对基础编解码器的输出进行上采样，以生成基础编解码器的输出的经上采样的呈现，该经上采样的呈现将被输入到增强编码器中的一个或多个增强编码器。在一些示例中，基础编解码器的输出是基础编码信号的经解码的呈现，其中通常基础编解码器的输出处于与输入视频信号相比更低的分辨率。

14、根据本发明的第二方面，可以提供一种多分辨率摄像机，该多分辨率摄像机包括第一方面及其任何示例的soc，其中摄像机被配置为在使用中向soc提供多个输入视频流。在另一示例中，摄像机可以被配置为输出与多个输入视频流相对应的多个增强编码流，增强编码流处于第一分辨率。在另一示例中，摄像机可以被配置为输出两个视频流，其可解码以导出处于相应三个不同分辨率的三个视频流，其中两个视频流可以包括第一流和第二流，第一流可以包括处于高分辨率的增强编码流和处于中分辨率的基础编码流，并且第二流可以包括处于低分辨率的流。

15、在安全摄像机环境中利用增强编码的具体示例中，可以提供一种摄像机系统，该摄像机系统被配置为输出两个视频流。 每个输出流可以处于不同的质量级别，并且每个输出可以被编码。例如，第一质量可以是（高清）hd，并且第二质量可以是uhd（超高清）。

16、在第一示例中，基础编解码器可以对hd进行编码，然后lcevc编码器可以被配置为对uhd进行编码。在该uhd输出中，可以被配置为包括两个流：hd基础和hd+lcevc增强。替代性地，基础可以对标清(sd)进行编码，而lcevc对hd和uhd进行编码。

17、在另一替代方案中，可以使用相同的基础流，其中两个输出流分别由被配置为输出hd和uhd的相应lcevc编码器来提供。在这种场景下，可以以sd输出基础，以与来自一个编码步骤的hd和来自另一编码步骤的lcevc组合。当然，可以使用相同的lcevc编码器来与相同的基础编码器分开地对hd和uhd增强中的每一者进行编码。

18、在最后的替代方案中，可以从hd基础（即hd基础+uhd增强）提供uhd输出，并且可以从sd基础（即sd基础+hd增强）提供hd。

19、根据本发明的第三方面，可以提供一种用于操作片上系统soc的方法，该soc包括多个增强编码器和被配置为服务于多个增强编码器的基础编解码器，并且该方法包括：由soc接收处于第一分辨率的多个输入视频流；由基础编解码器对多个输入视频流进行编码，以提供处于第二分辨率的多个基础编码流，第二分辨率低于第一分辨率；以及，由多个增强编码器中的每一个增强编码器对多个基础编码流中的相应的一个基础编码流进行编码，以提供与多个输入视频流相对应的多个增强编码流，该增强编码流处于第一分辨率。以这种方式，增强编码器可以被操作以便向基础编码视频添加增强，以创建与输入视频流处于相同分辨率的经编码输出视频流，而基础编解码器可以更快地并且以相对较低的分辨率操作，而不牺牲输出分辨率。

20、在第三方面的示例中，soc包括缓冲器，并且该方法进一步包括：至少在基础编解码器对多个输入视频流中的一个输入视频流进行编码期间，由缓冲器存储一个或多个待编码输入视频流。以此方式，可以（例如，由cpu或其模块、由单独的控制模块等）控制基础编解码器在对不同流进行编码之间切换，使得由基础编解码器进行的编码的速率高于将数据存储到缓冲器中的速率。

21、在第三方面的示例中，基础编解码器是av1编解码器或avc编解码器或hevc编解码器，并且多个增强编码器是lcevc编码器。在另一示例中，基础层和增强层可以布置在分层结构中。在另一示例中，可选地除了增强编码流之外，该方法可以进一步包括提供基础编码流。以此方式，可以采用lcevc编码（其可以不使用帧间预测）通过在高运动情况下（例如，来自可穿戴摄像机的视频镜头片段）降低比特率来提供增强压缩。

22、在第三方面的示例中，多个增强编码器包括三个增强编码器或四个增强编码器，并且多个输入视频流包括四个输入视频流。在另一示例中，多个增强编码器包括三个增强编码器，并且多个输入视频流包括三个输入视频流。在另一示例中，增强编码器的数量至少等于输入流的数量。以这种方式，相对于单独使用基础编码器，增强编码操作可以提供高性能增益密度。

23、在第三方面的示例中，多个输入视频流在使用中是由摄像机、安全摄像机、汽车摄像机和身体佩戴式摄像机中的一者或多者提供的。在一些示例中，soc被配置为从相应的多个这样的摄像机接收多个输入流。在另一示例中，soc可以被配置为在边缘装置中使用，其中边缘装置被配置为处理或以其他方式接收来自多个本地摄像机中的每个相应摄像机的多个输入流中的每个输入流。在另一示例中，soc可以被配置为从由多视图摄像机捕获的相应多个视图接收多个输入流。可选地，不同的视图可以具有不同的镜头角度（例如，第一视图可以由广角镜头提供，第二视图可以由超广角镜头提供，第三视图可以由鱼眼镜头提供，第四视图可以由窄角镜头提供，等等）。以这种方式，视频编码器soc内的增强编码器可以集成到涉及摄像机的具有挑战性的实际应用中。

24、根据本发明的第四方面，可以提供一种片上系统soc，其被配置为在使用中根据第三方面及其任何示例的方法来操作。

25、根据本发明的第五方面，可以提供一种用于提供经编码视频信号的方法，该方法包括：确定输入视频信号中的感兴趣区域roi；修改增强编码操作以优先基础视频信号在roi处的增强；以及，使用经修改的增强编码操作对输入视频信号进行编码以生成经编码视频信号。以这种方式，roi增强编码可以将残差集中（并由此优先增强）在感兴趣区域上，以便以可行的比特率进行高质量重建。

26、在第五方面的示例中，确定输入视频信号中的感兴趣区域roi包括：分析输入视频信号以识别roi。在另一示例中，roi可以对应于图像或视频的帧的要被分配残差的一个区域或多个区域和/或对应于图像或视频的帧的已被定位特定类别的对象的一个区域或多个区域。以此方式，与不同类别的对象相对应的残差可以被以不同方式修改或者根本不修改。

27、在第五方面的示例中，分析输入视频信号以识别roi包括：将机器学习(ml)模型和/或计算机视觉(cv)模型应用于输入视频信号。在另一示例中，ml和/或cv模型可以是人工智能ai识别模型的一部分。以此方式，可以以适当的质量级别实现不同的ai检测/识别搜索，从而获得更高的效率和准确性。

28、在另一示例中，可以以基础视频信号分辨率实现对象检测，和/或可以以全输入视频分辨率实现对象识别，和/或可以仅在识别的roi上实现解码（即，部分解码）。在另一示例中，可以以第一质量级别对图像或视频的第一版本进行第一对象分析任务，并且可以以第二质量级别对图像或视频的第二版本进行第二对象分析任务，第二质量级别高于第一质量级别，其中第一对象分析任务可以是对象检测任务并且第二对象分析任务可以是对象识别任务。在另一示例中，对象分析任务的结果可以包括给定对象被或已经被检测和/或被辨识的一个或多个置信度级别。

29、在第五方面的示例中，确定输入视频中的感兴趣区域roi包括：接收与roi相对应的一组坐标。在另一示例中，该组坐标可以由增强编码操作从api或从ai对象分析模型接收或以其他方式提供给增强编码操作。在另一示例中，该组坐标可以可选地由api、ai对象分析模型或由基础编解码器插入到基础视频信号中，使得该组可以由增强编码操作来提取。在另一示例中，该方法可以进一步包括：将ai检测到的roi坐标提供给增强编码操作，以根据roi坐标（可选地以每帧为基础）调整视频的焦点。以这种方式，基于接收到的roi坐标对roi增强进行编码允许对已知高优先级区域的残差进行优先，并且允许优化视频质量、焦点和改进压缩效率。

30、在第五方面的示例中，确定输入视频中的感兴趣区域roi包括：分析被配置为提供基础视频信号的基础编解码器的残差量化设置。在另一示例中，基础编解码器的残差量化过程的设置可以包括一个或多个量化步长，其中基础视频信号的具有相对较低量化步长的区域/部分可以对应于基础视频信号的与roi相对应的部分，和/或基础视频信号的具有相对较高量化步长的区域/部分可以对应于基础视频信号的与roi不对应的部分。

31、在第五方面的示例中，修改增强编码操作以优先基础视频信号在roi处的增强包括：调整优先级图，该优先级图包括与一个或多个残差相对应的一个或多个权重，其中该一个或多个权重指示优先对与roi相对应的残差进行编码。以这种方式，优先级图可以指导关于帧、场景或视频的哪个区域或哪些区域应该被分配残差的决策，以提供增强并由此提供更高的分辨率。

32、在第五方面的示例中，该方法进一步包括：根据优先级图对一个或多个残差进行筛选。在另一示例中，对残差进行筛选可以包括选择用于编码的残差，其中该残差至少部分对应于roi，或者将残差量化为零，其中该残差与场景、帧或片段的不在roi中的区域相对应。

33、在第五方面的示例中，修改增强编码操作以优先基础视频信号在roi处的增强包括：使用基础编解码器对输入视频信号进行编码以提供基础视频信号；以及修改基础编解码器的残差量化过程以选择性地对与roi相对应的残差进行编码。在另一示例中，图像/视频的非roi部分可以保持在基础层分辨率。

34、在第五方面的示例中，修改增强编码操作的残差量化过程以选择性地对与roi相对应的残差进行编码包括以下中的一者或多者：针对与roi相对应的残差和/或针对与roi不对应的残差，调整残差量化操作的步长；将与roi不对应的残差量化为零。以这种方式，可以修改在编码过程期间应用的步长以选择性地对与roi相对应的残差值进行编码。

35、在第五方面的示例中，修改增强编码操作以优先基础视频信号在roi处的增强包括：基于roi和接收到的roi的值的指示来修改增强编码操作。

36、在一些示例中，修改增强编码操作以优先基础视频信号在roi处的增强可以由被配置为进行增强编码操作的增强编解码器来实现。换句话说，根据本公开的用于修改增强过程的装置可以作为（例如独立的）增强编解码器的一部分被包括在内。以此方式，增强修改可以独立于任何给定的基础编解码器，并且可以在不参考基础编解码器或不需要基础编解码器的情况下实现。

37、在第五方面的示例中，修改增强编码操作以优先基础视频信号在roi处的增强包括：覆盖默认增强编码操作以优先基础视频信号在roi处的增强。在一些示例中，默认增强编码操作可以包括被配置为在不参考roi和/或不参考优先级图的情况下对输入视频的残差进行编码的增强编码操作。在一些示例中，默认增强编码操作可以包括在输入视频流中没有检测到感兴趣对象的场景中应用的增强编码操作。在一些示例中，覆盖默认增强编码操作可以包括改变、变更或更新所述操作的默认编码参数以优先对所识别的roi进行残差编码。在一些示例中，覆盖默认增强编码操作可以包括根据所确定的roi覆盖默认增强编码操作，以相对于不在roi处的基础视频信号来优先基础视频信号在roi处的增强。

38、在第五方面的示例中，该方法进一步包括：从应用程序编程接口api分别接收与roi相对应的一组坐标和/或roi的值的指示，或者通过增强编码操作分别从基础视频信号中提取与roi相对应的一组坐标和/或roi的值的指示。

39、在第五方面的示例中，在确定输入视频信号中的感兴趣区域roi之前，该方法包括：从摄像机、安全摄像机、汽车摄像机或身体佩戴式摄像机接收输入视频信号。以此方式，与本领域已知的方法（其中在采用典型压缩技术时此类摄像机的运动由于帧间预测的流行而无效）相比，lcevc不使用帧间预测并且因此不会遭受此类问题。

40、在第五方面的示例中，roi与输入视频信号中已检测到或辨识出对象的区域相对应，或者roi与基础视频信号中已检测到或辨识出对象的区域相对应。在另一示例中，该方法可以进一步包括：将roi确定为输入视频信号的一个或多个帧中与已检测或辨识到对象的区域相对应的区域，其中该对象可选地属于特定类别。

41、在第五方面的示例中，该方法进一步包括：传输或以其他方式输出经编码视频信号。

42、根据本发明的第六方面，可以提供一种片上系统soc，其被配置为在使用中进行第五方面及其任何示例的方法。

43、根据本发明的第七方面，可以提供一种用于提供待编码输入视频信号中的感兴趣区域roi的方法，该方法包括：分析输入视频信号以识别感兴趣区域roi，其中roi可用于修改增强编码操作以优先输入视频信号在roi处的增强；以及，传输或以其他方式输出与roi相对应的一组坐标。以这种方式，可以通过基于roi坐标对roi增强进行编码并优先已知高优先级区域中的残差来优化视频质量。

44、根据本发明的第八方面，可以提供一种处理装置，其被配置为在使用中进行第七方面及其任何示例的方法。

45、在第八方面的示例中，处理装置是roi识别模块，并且可选地，处理装置是被配置为在第一、第四和第六方面及其任何示例的片上系统soc中使用的roi识别模块。在另一示例中，roi识别模块可以是与增强编码操作（或其编码器/解码器/其他模块）分离的模块。在另一示例中，roi识别模块可以将该组坐标插入到基础编码流中，使得该组可以由增强编码操作来提取。以这种方式，可以允许增强编码操作在由roi识别模块指示的区域中提供更多残差，并且因此针对场景的特别期望的区域提供更高分辨率。

46、根据本发明的第九方面，可以提供一种被配置为佩戴在身体上的摄像机系统，该摄像机系统包括摄像机、处理器以及第一、第四和第六方面及其任何示例的soc。在一些示例中，可以提供一种摄像机系统，其包括第二方面及其任何示例的多分辨率摄像机。

47、根据本发明的第十方面，可以提供一种用于提供经编码视频信号的方法，该方法包括：分析接收到的输入视频信号以识别感兴趣区域；修改增强编码操作以优先基础视频信号在感兴趣区域处的增强；以及，使用增强编码操作对接收到的输入信号进行编码以生成经编码视频信号。

48、在第十方面的示例中，该方法进一步包括：接收感兴趣区域的值的指示，以及基于感兴趣区域和值的指示来修改增强编码操作。值的指示可以由api接收，或者被插入到基础流中以由增强编码操作从基础流中提取。

49、在第十方面的示例中，修改可以包括调整优先级图，优先级图是与残差或残差组相对应的一组残差权重（或残差掩码）。权重可以指示编码器根据权重优先对残差进行编码。在另一示例中，可以根据权重来对残差进行筛选。在另一示例中，可以根据残差的权重来以不同方式量化残差。在另一示例中，可以修改在编码过程期间应用的步长以选择性地对与感兴趣区域相对应的残差值进行编码。

50、在第十方面的示例中，分析接收到的输入视频信号以识别感兴趣区域包括：将机器学习和/或计算机视觉模型应用于输入视频信号。

51、在第十方面的示例中，分析和/或修改由增强解码器提供或者可以从远程或外部装置或系统接收。

52、在第十方面的示例中，该方法进一步包括：输出和/或传输经编码视频信号。

53、根据本发明的第十一方面，可以提供一种用于提供经编码视频信号的方法，该方法包括：分析接收到的输入视频信号以识别感兴趣区域；以及，输出与感兴趣区域相对应的一组坐标，该感兴趣区域用于对该区域中的增强数据进行编码。

54、在第十一方面的示例中，分析接收到的输入视频信号以识别感兴趣区域包括：将机器学习和/或计算机视觉模型应用于输入视频信号。在另一示例中，分析可以由增强解码器提供或者可以从远程或外部装置或系统接收。

55、根据本发明的第十二方面，可以提供一种用于提供经编码视频信号的方法，该方法包括：接收与感兴趣区域相对应的一组坐标；修改增强编码操作以优先基础视频信号在感兴趣区域处的增强；以及，使用增强编码操作对接收到的输入信号进行编码以生成经编码视频信号。

56、在第十二方面的示例中，该方法进一步包括：接收感兴趣区域的值的指示，以及基于感兴趣区域（例如，接收到的其坐标）和值的指示来修改增强编码操作。在另一示例中，该组坐标和/或值的指示可以由api接收，或者被插入到基础流中以通过增强编码操作从基础流中提取。

57、在第十二方面的示例中，修改包括调整优先级图，优先级图是与残差或残差组相对应的一组残差权重（或残差掩码）。权重可以指示编码器根据权重优先对残差进行编码。在另一示例中，可以根据权重来对残差进行筛选。在另一示例中，可以根据残差的权重来以不同方式量化残差。在另一示例中，可以修改在编码过程期间应用的步长以选择性地对与感兴趣区域相对应的残差值进行编码。在另一示例中，修改可以由增强解码器提供或者可以从远程或外部装置或系统接收。

58、在第十二方面的示例中，该方法进一步包括：输出和/或传输经编码视频信号。

59、根据本发明的第十三方面，可以提供一种多分辨率摄像机，其被配置为输出两个视频流，这两个视频流是可解码的以导出处于三种不同分辨率的三个视频流，其中该多分辨率摄像机被配置为输出包括处于高分辨率的增强流和处于中分辨率的基础流的第一编码增强流以及处于低分辨率的第二流。

60、根据本发明的第十四方面，可以提供一种用于摄像机的soc，该soc被配置为接收多个输入视频流，并输出优选地处于相同的分辨率的多个经编码输出视频流。soc可以包括用于对多个输入流进行编码的基础编码器以及被配置为提供多个经编码输出视频流的多个增强编码器。

61、在第十四方面的示例中，soc可以包括（例如，单个）基础编码器，该基础编码器被配置为对处于第一分辨率（例如，分辨率x）的多个（例如，两个、三个、四个等）（例如，不同的）视频流进行编码，可选地其中多个等于n。soc可以包括多个（例如，单独的）增强编码器。每个增强编码器可以被配置为对（例如，单个）视频流进行编码。soc可以包括n个增强编码器。换句话说，soc可以包括多个增强编码器，使得增强编码器的数量等于基础编码器被配置为处理（例如编码）的视频流的数量。每个增强编码器处理的视频流可以对应于基础编码器处理的多个视频流中的一个视频流的呈现（例如，被输入到基础编码器中或者由基础编码器输出）。换句话说，soc可以包括（例如，单个）基础编码器，该基础编码器被配置为处理多个视频流，并且进一步被配置为服务于（例如，分发数据给、连接到等等）多个增强编码器。

62、根据本发明的第十五方面，可以提供包括相应的指令的计算机程序，这些指令当由相应的计算机执行时，使计算机分别进行第三、第五、第七、第十、第十一和第十二方面及其任何示例的方法。第十五方面的计算机程序可以作为相应的指令存储在相应的非暂时性计算机可读介质上或相应的信号传输中。

63、在一些示例中，基础编解码器可以被理解为包括基础编码器和基础解码器，它们可以或可以不彼此独立。这里，基础编解码器可以替代地被称为基础编码块。在一些示例中，基础编解码器可以被提供作为通用低复杂度编码器的一部分，其可以被配置为控制独立的基础编码器和解码器（例如，封装为基础编解码器）。以此方式，基础编码器和解码器可作为低复杂度编码器的一部分供应。在一些情况下，低复杂度编码器可被视为基础编解码器的一种形式的封装器(wrapper)，其中基础编解码器的功能性可以对实现低复杂度编码器的实体隐藏。在一些示例中，基础编解码器可以是任何其他（例如，非增强型）编解码器，例如av1、avc、hevc，其通常以与输入信号相比更低的分辨率操作，并且基础编解码器可以与如本文所述的一个或多个增强编解码器一起提供。

64、这里，输入信号可以从诸如摄像机、安全摄像机、汽车摄像机、身体佩戴式摄像机、可佩戴摄像机、多分辨率摄像机、摄像机soc、摄录机、传感器之类的装置接收或以其他方式源自这样的装置。这里，任何方法可以进一步包括输出由该方法产生的、由该方法提供的或根据该方法以其他方式获得的信号的步骤。这里，任何方法可以至少在摄像机处、由soc、和/或由摄像机soc进行；并且任何方法可以被应用以至少操作摄像机、soc和/或摄像机soc。

65、尽管每个方面的描述都有其自己的侧重点，但是对于关于一个方面未描述的任何示例、特征或优点，可以参考任何其他方面的相关描述。以此方式，本文描述的示例在其实现方面不限于一个特定方面，并且可以在其他方面实现。