用于以高分辨率对图像序列中的包含感兴趣元素的区域进行编码的系统和方法与流程

用于以高分辨率对图像序列中的包含感兴趣元素的区域进行编码的系统和方法
1.相关申请本技术要求2020年5月4日提交的第16/865,612号美国申请的优先权，其内容通过引用并入本文中。
技术领域
2.本发明总体上涉及视频监视系统。更特别地，本发明涉及用于以高分辨率对图像序列中的包含感兴趣元素的区域进行编码的系统和方法。


背景技术：

3.已知的视频监视系统可以以比不包含感兴趣元素的区域更高的分辨率对图像序列中的包含感兴趣元素的区域进行编码。然而，已知的系统在其中感兴趣元素出现的图像序列中的每一个中都以较高分辨率对感兴趣元素进行编码，即使并不是图像序列中的每一个都可能包含关于该感兴趣元素的附加相关信息。因此，已知的系统可能以较高分辨率来编码比所必要的更多的图像序列，这可能导致大的且不必要的存储成本。
4.鉴于以上内容，存在针对改进的系统和方法的需要和机会。
附图说明
5.图1是根据所公开的实施例的系统的框图；图2是根据所公开的实施例的由检测处理器处理的图像序列中的一个的框图；图3是根据所公开的实施例的由检测处理器处理的图像序列中的一个的框图；图4是根据所公开的实施例的由检测处理器处理的图像序列中的一个的框图；图5是根据所公开的实施例的方法的流程图；图6是根据所公开的实施例的图像序列的框图；以及图7是根据所公开的实施例的图像序列的框图。
具体实施方式
6.虽然本发明容许有以多种不同形式的实施例，但是在理解了本公开应被视为本发明原理的例证的情况下，本文中将详细描述其特定实施例。不意图将本发明限制于特定的所图示的实施例。
7.所要求保护的发明的实施例可以包括以高分辨率对被监视区域的图像序列中的感兴趣元素进行编码的视频监视系统。在一些实施例中，该视频监视系统可以包括相机、检测处理器和编码器，并且在一些实施例中，相机、检测处理器和编码器可以被集成到单个设备中，诸如门铃设备。替代地，在一些实施例中，检测处理器和编码器中的至少一个可以被容纳在远离被监视区域的云服务器中或该云服务器上，和/或相机、检测处理器和编码器中的至少一个可以被容纳在位于被监视区域内部或附近的控制面板中或该控制面板上。
8.在一些实施例中，相机可以捕获被监视区域的图像序列，并且将该图像序列传输到检测处理器。检测处理器可以从相机接收该图像序列，并且标识该图像序列内的包含第一感兴趣元素的第一区域，并且编码器可以从相机或检测处理器接收该图像序列，并且从检测处理器接收第一区域的指示。然后，编码器可以以第一分辨率对该图像序列的第一子集内的第一区域进行编码，并且可以以小于第一分辨率的第二分辨率对该图像序列的第一子集内的在第一区域之外的第二区域进行编码。在一些实施例中，第一分辨率可以是编码器的最大分辨率，并且第二分辨率可以是编码器的最小分辨率。附加地或替代地，在一些实施例中，第一分辨率和第二分辨率中的一个或两者可以基于由该视频监视系统接收到的用户输入来确定。
9.在一些实施例中，编码器可以使用h.265标准以多个分辨率对单个文件中的任何或所有图像序列进行编码，并且在一些实施例中，在编码了任何或所有图像序列之后，编码器可以将该图像序列输出到多个目的设备中的一个或多个，包括但不限于与被监视区域相关联的远程用户设备、与被监视区域相关联的本地存储设备、与云服务器相关联的远程存储设备、中央监视站等。
10.在一些实施例中，该图像序列的第一子集中的多个图像序列可以少于该图像序列的全部，并且在一些实施例中，该图像序列的第一子集中的多个图像序列可以基于预定义参数。可设想用于预定义参数的各种实施例，包括时间值和图像编号值。例如，在其中预定义参数包括时间值的实施例中，该图像序列的第一子集可以包括由相机在时间窗口期间捕获的该图像序列中的任何，该时间窗口在当检测处理器标识了第一区域或第一感兴趣元素时的第一时间处开始，并且在等于第一时间加上该时间值的第二时间处结束。附加地或替代地，在其中预定义参数包括时间值的实施例中，该图像序列的第一子集可以包括该图像序列中的由相机以等于该时间值的周期性时间捕获的周期性图像。然而，在其中预定义参数包括图像编号值的实施例中，该图像序列的第一子集可以包括由相机捕获的该图像序列的顺序编号（sequential number），该顺序编号从其中检测器处理器标识了第一区域或第一感兴趣元素的所捕获的图像序列中的第一个开始，其中该顺序编号等于该图像编号值。附加地或替代地，在其中预定义参数包括图像编号值的实施例中，该图像序列的第一子集可以包括该图像序列中的由相机以等于该图像编号值的周期捕获的周期性图像。
11.在一些实施例中，编码器可以与该图像序列的第一子集不同地对该图像序列的第二子集进行编码。例如，在一些实施例中，编码器可以以第二分辨率对该图像序列的第二子集内的所有区域进行编码。替代地，在一些实施例中，编码器可以以第三分辨率对该图像序列的第二子集内的第一区域进行编码，并且可以以第二分辨率对该图像序列的第二子集内的第二区域进行编码。在这些实施例中，第三分辨率可以小于第一分辨率且大于第二分辨率。
12.在一些实施例中，该图像序列的第二子集可以包括该图像序列的第一子集之外的所有图像序列。然而，在一些实施例中，该图像序列的第二子集中的多个图像序列可以少于该图像序列的全部，并且在一些实施例中，该图像序列的第二子集中的多个图像序列可以基于预定义参数来确定。
13.在一些实施例中，检测处理器和/或编码器可以标识该图像序列的第一子集或该图像序列的第二子集内的第三区域，并且编码器可以以第三分辨率对该图像序列的第一子
集或该图像序列的第二集合内的第三区域进行编码。在这些实施例中，该图像序列的第一子集或该图像序列的第二子集内的第三区域可以包含第二感兴趣元素，并且第二感兴趣元素可以是与第一感兴趣元素不同的、不太重要的类型。例如，在一些实施例中，第一感兴趣元素可以包括被监视区域中的第一人的面部，并且第二区域可以包括第一人的身体和/或第一人的直接周围环境。附加地或替代地，在一些实施例中，第一感兴趣元素可以包括被监视区域中的第一移动对象，并且第二感兴趣元素可以包括第一移动对象的直接周围环境。
14.然而，在一些实施例中，编码器可以以第一分辨率对该图像序列的第一子集或该图像序列的第二子集内的第三区域进行编码。在这些实施例中，该图像序列的第一子集或该图像序列的第二子集内的第三区域可以包含第二感兴趣元素，但是第二感兴趣元素可以是与第一感兴趣元素相同类型的新的感兴趣元素。例如，在一些实施例中，第二感兴趣元素可以包括被监视区域中的第二人的面部或被监视区域中的第二移动对象。
15.在一些实施例中，编码器和/或检测处理器可以根据第一区域的指示以及至少一个关系参数来标识第三区域。例如，在一些实施例中，该至少一个关系参数可以包括缩放参数，该缩放参数可以关于第一区域的大小来定义第三区域的大小。附加地或替代地，在一些实施例中，该至少一个关系参数可以包括偏移参数，该偏移参数可以相对于第一区域的位置来定义第三区域的位置。例如，在其中第一感兴趣元素包括第一人的面部的实施例中，该至少一个关系参数可以包括一般身体相对于一般面部的平均位置。
16.图1是根据所公开的实施例的视频监视系统20的框图。如图1中所看到的，在一些实施例中，视频监视系统20可以包括能够捕获图像序列24的相机22、能够从相机22接收图像序列24的检测处理器26、以及能够从相机22或检测处理器26接收图像序列24并且能够从检测处理器26接收在该图像序列的情况下的一个或多个区域的指示的编码器28。
17.图2和图3是根据所公开的实施例的由检测处理器26处理的图像序列24中的第一图像24-1的框图。如图2中所看到的，第一图像24-1可以包括第一感兴趣元素30，例如第一人的面部。因此，检测处理器26可以标识第一图像24-1内的包含第一感兴趣元素30的区域32和第一图像24-1内的区域32之外的区域33a。如图3中所看到的，在一些实施例中，检测处理器26还可以标识第一图像24-1内的区域34，使得区域34与第一人的另一个特征相关联，例如第一人的身体。在这些实施例中，检测处理器26可以标识第一图像24-1内的区域32和区域34两者之外的区域33b。
18.图4是根据所公开的实施例的由检测处理器26处理的图像序列24中的第二图像24-2的框图。第二图像24-2可以在第一图像24-1之后被捕获，并且如所看到的，可以包括第一感兴趣元素30和第二感兴趣元素35（例如，第二人的面部）。因此，检测处理器26可以标识第二图像24-2内的包含第一感兴趣元素30的区域32、第二图像24-2内的包含第二感兴趣元素35的区域36、以及第二图像24-2内的区域32和区域36两者之外的区域37。在一些实施例中，检测处理器还可以标识类似于区域34但是与区域36而不是区域32相关联的区域38（例如，第二人的身体）。在这些实施例中，检测处理器26可以将区域37标识为处于第二图像24-2内的所有区域32、区域36和区域38（以及区域34，如果被标识的话）之外。
19.在操作中，检测处理器26可以将区域32、区域33a、区域33b、区域34、区域36和/或区域37的指示传输到编码器28。然后，编码器28可以以如下分辨率对第一图像24-1和/或第二图像24-2中的区域32、区域33a、区域33b、区域34、区域36和/或区域37中的一个或多个进
行编码：该分辨率可以根据预定义参数的值以及第一感兴趣元素30和/或第二感兴趣元素35是新标识的感兴趣元素还是先前标识的感兴趣元素来确定，如下面更详细地描述的。然而，在一些实施例中，检测处理器26不需要标识和传输区域33a、区域33b和/或区域37的指示，并且在这些实施例中，编码器28可以在必要时从区域32、第三区域34和/或区域36的指示来直接标识区域33a、区域33b和/或区域37。
20.图5是根据所公开的实施例的方法100的流程图。方法100可以包括：相机22捕获被监视区域的新图像（例如，如图2中的图像序列24中的第一图像24-1，或者如图4中的图像序列中的第二图像24-2），如在102中。然后，方法100可以包括：确定新图像是否包含新的感兴趣元素（例如，第一感兴趣元素30或第二感兴趣元素35），如在104中。
21.当新图像包含新的感兴趣元素时，方法100可以包括：确定另外的感兴趣元素是否先前已经在被监视区域的先前图像中被标识，如在106中。当另外的感兴趣元素先前尚未被标识时，方法100可以包括：编码器28以第一分辨率对新图像内的包含新的感兴趣元素的区域进行编码，并且以小于第一分辨率的第二分辨率对新图像内的在包含新的感兴趣元素的该区域之外的所有区域进行编码，如在108中。例如，当第一感兴趣元素30在图2的第一图像24-1中被首次标识时，方法100可以包括编码器28以第一分辨率对第一图像24-1中的区域32进行编码，并且以第二分辨率对第一图像24-1中的区域33a进行编码。
22.然而，当另外的感兴趣元素先前已经被标识时，方法100可以包括：确定预定义参数（诸如例如时间值和图像编号值）是否指示针对新图像中的另外的感兴趣元素的增强编码，如在110中。如果是，则方法100可以包括：编码器28以第一分辨率对新图像内的包含新的感兴趣元素和另外的感兴趣元素两者的区域进行编码，并且以第二分辨率对新图像内的在包含新的感兴趣元素和另外的感兴趣元素的所述区域之外的所有区域进行编码，如在112中。例如，当第二图像24-2在第一图像24-1之后被捕获，并且预定义参数指示针对第二图像24-2内的区域32的增强编码时，方法100可以包括编码器28以第一分辨率对第二图像24-2内的区域32和区域36进行编码，并且以第二分辨率对第二图像24-2内的区域37进行编码。
23.然而，当预定义参数没有指示针对新图像中的另外的感兴趣元素的增强编码时，方法100可以包括：编码器28以第一分辨率仅对新图像内的包含新的感兴趣元素的区域进行编码，并且以第二分辨率对新图像内的在包含新的感兴趣元素的该区域之外的所有区域进行编码，如在108中。例如，当第二图像24-2在第一图像24-1之后被捕获，但是预定义参数没有指示针对第二图像24-2内的区域32的增强编码时，方法100可以包括编码器28以第一分辨率对第二图像24-2内的区域36进行编码，并且以第二分辨率对第二图像24-2内的区域32和区域37进行编码。然而，在一些实施例中，当预定义参数没有指示针对第二图像24-2内的区域32的增强编码时，方法100可以包括编码器28以小于第一分辨率且大于第二分辨率的第三分辨率对第二图像24-2内的区域32进行编码。
24.当新图像未能包含新的感兴趣元素时，方法100可以包括：确定另外的感兴趣元素是否先前已经在先前图像中被标识，如在114中。当另外的感兴趣元素先前尚未被标识时，方法100可以包括：编码器28以第二分辨率对新图像内的所有区域进行编码，如在116中。
25.然而，当另外的感兴趣元素先前已经被标识时，方法100可以包括：确定预定义参数是否指示针对新图像中的另外的感兴趣元素的增强编码，如在118中。如果否，则方法100
可以包括：编码器28以第二分辨率对新图像内的所有区域进行编码，如在116中。
26.然而，当预定义参数指示针对新图像中的另外的感兴趣元素的增强编码时，方法100可以包括：编码器28以第一分辨率对新图像内的包含另外的感兴趣元素的区域进行编码，并且以第二分辨率对新图像内的在包含另外的感兴趣元素的该区域之外的所有区域进行编码，如在120中。例如，当第一感兴趣元素30先前在被捕获于第一图像24-1之前的先前图像中被标识，并且预定义参数指示针对第一图像24-1中的第一感兴趣元素30的增强编码时，方法100可以包括编码器28以第一分辨率对第一图像24-1内的区域32进行编码，并且以第二分辨率对第一图像24-1内的区域33a进行编码。
27.图6和图7是根据所公开的实施例的图像序列24的框图。如图6和图7中所看到的，在一些实施例中，图像序列24可以包括从图像序列24中的第一图像24-1到最后图像24-(n 1)的图像的有限或无限分组。当图像序列24中的每一个如图5中那样被处理时，编码器可以编码如预定义参数（诸如例如时间值和图像编号值）所指示的图像序列24的第一子集25a、25b和/或图像序列24的第二子集27a、27b中的区域。
28.例如，如图6中所看到的，该时间值或图像编号值可以定义该图像序列的连续时间窗口或顺序编号。在这些实施例中，连续时间窗口可以在当用于编码的对象或区域被捕获或标识时的第一时间处开始，并且在等于第一时间加上该时间值的第二时间处结束。类似地，图像序列24的顺序编号可以在用于编码的对象或区域被捕获或标识时开始，其中该顺序编号等于该图像编号值。替代地，如图7中所看到的，该时间值或图像编号值可以定义图像序列24中的周期性图像。在这些实施例中，周期性时间可以等于该时间值或图像编号值，并且图像序列24中的以该周期性时间捕获的周期性图像可以被编码（例如，图像序列24中的每三个图像）。
29.尽管上面已经详细描述了几个实施例，但是其他修改是可能的。例如，上面描述的逻辑流程不需要所描述的特定次序或顺序次序来实现合期望的结果。可以提供其他步骤，可以从所描述的流程中消除步骤，并且可以将其他组件添加到所描述的系统或从所描述的系统中移除其他组件。其他实施例也可以在本发明的范围内。
30.根据前述内容，将观察到的是，在不脱离本发明的精神和范围的情况下，可以实现多种变型和修改。要理解的是，不意图或不应当推断出关于本文中描述的特定系统或方法的限制。当然，意图覆盖落入本发明的精神和范围内的所有这种修改。