更新数字图像中的注释点的制作方法

1.本文呈现的实施例涉及用于由于摄像机移动而更新数字图像中的注释点的坐标的方法、图像处理装置、计算机程序和计算机程序产品。


背景技术：

2.一般而言，监控摄像机是用于观察区域的视频摄像机。监控摄像机通常连接到记录装置或网络(诸如，互联网协议(ip)网络)。在一些示例中，由保安或执法人员对由监控摄像机记录的图像进行实时监视。摄像机和其他类型的记录装备过去相对昂贵并且需要人工来监视摄像机录像(footage)，但是已经开发了自动化软件，以用于根据被数字图像摄像机捕获的数字图像对录像进行分析。这样的自动化软件可以被配置用于数字图像分析以及将由此捕获的数字视频录像组织到可搜索的数据库中。
3.在一些监控场景中，可能需要捕获具有视场(fov)的场景，该视场包括隐私应被保护的一个或多个区域。图像内容的这样的一个或多个区域因此应从视频监控系统中的任何记录中排除。在其中定义了监控区的一些监控场景中，可能需要捕获具有比监控区更宽的fov的场景。由于只需要分析监控区内的图像内容，因此监控区外的任何图像内容都应从视频监控系统中的任何分析中排除(虽然监控区外的图像内容不需要从视频监控系统中的任何记录中排除)。关于这两种场景，感兴趣区域(roi)可以被定义为图像的要进行过滤或其他类型的操作的一部分。因此，可以定义roi，使得隐私应被保护的一个或多个区域被过滤掉。roi可以由二值掩码定义。二值掩码与要处理的图像大小相同。在二值掩码中，定义roi的像素被设定为1，而所有其他像素被设定为0(或反之亦然，取决于二值掩码的目的；以包括或排除roi内的图像内容)。
4.在其他监控场景中，在两个端点之间延伸并定义了虚拟警戒线(virtual trip wire)的虚拟线可以通过视频监控系统添加到用于交叉线检测(crossline detection)的场景中；每当物体(诸如，人、车辆或其他类型的物体)越过场景中的虚拟线时，将发出警报或其他类型的指示。
5.定义roi的拐角点和/或虚拟线的端点的一种方式是使用注释点。每个注释点都具有通常手动或半自动设定的坐标。但是，一旦设定，注释点的坐标就可能会受到摄像机位置漂移、fov定向偏移、温度变化、机械老化、由于振动引起的摄像机漂移等的影响。这可能会导致roi的拐角点和/或虚拟线的端点改变，从而影响隐私掩码的位置和/或虚拟线的位置，隐私掩码的位置是监控区的实际上处于监控之下的部分。进一步，当摄像机被更换时，需要手动重新标记注释点。
6.因此，当摄像机经历摄像机移动(例如，由以下任一项导致：摄像机位置漂移、fov定向偏移、温度变化、机械老化、摄像机更换、由于振动引起的摄像机漂移)时，需要对注释点的改进处理。


技术实现要素：

7.本文实施例的目的是通过提供一种用于由于摄像机移动而更新数字图像中的注释点的坐标的方法、图像处理装置、计算机程序和计算机程序产品来解决上述问题(其中，如上所述，摄像机移动由以下任一项导致：摄像机位置漂移、fov定向偏移、温度变化、机械老化、摄像机更换、由于振动引起的摄像机漂移)。
8.根据第一方面，呈现了一种用于由于摄像机移动而更新数字图像中的注释点的坐标的方法。该方法由图像处理装置执行。该方法包括获得场景的当前数字图像。当前数字图像已经在摄像机相对于场景移动之后被摄像机捕获。当前数字图像与至少一个注释点相关联。至少一个注释点的每一个在当前数字图像中具有相应的坐标。该方法包括通过将当前数字图像中的位置指示信息与场景的先前数字图像中的位置指示信息进行比较来识别移动量。先前数字图像已经在摄像机移动之前被捕获。该方法包括根据所识别的移动量和摄像机单应性更新至少一个注释点的每一个的坐标。
9.根据第二方面，呈现了一种用于由于摄像机移动而更新数字图像中的注释点的坐标的图像处理装置。该图像处理装置包括处理电路。该处理电路被配置为使图像处理装置获得场景的当前数字图像。当前数字图像已经在摄像机相对于场景移动之后被摄像机捕获。当前数字图像与至少一个注释点相关联。至少一个注释点的每一个在当前数字图像中具有相应的坐标。该处理电路被配置为使图像处理装置通过将当前数字图像中的位置指示信息与场景的先前数字图像中的位置指示信息进行比较来识别移动量。先前数字图像已经在摄像机移动之前被捕获。该处理电路被配置为使图像处理装置根据所识别的移动量和摄像机单应性更新至少一个注释点的每一个的坐标。
10.根据第三方面，呈现了一种视频监控系统。该视频监控系统包括摄像机和根据第二方面的图像处理装置。
11.根据第四方面，呈现了一种用于由于摄像机移动而更新数字图像中的注释点的坐标的计算机程序，该计算机程序包括计算机程序代码，该计算机程序代码当在图像处理装置上运行时使图像处理装置执行根据第一方面的方法。
12.根据第五方面，呈现了一种计算机程序产品，包括根据第四方面的计算机程序和其上存储该计算机程序的计算机可读存储介质。计算机可读存储介质可以是非暂时性计算机可读存储介质。
13.有利地，这些方面解决了相对于摄像机移动的上述问题。
14.有利地，这些方面提供了对数字图像中的注释点的坐标由于摄像机移动而进行的准确更新。
15.有利地，当注释点由于摄像机移动而偏移时，这些方面使得注释点能够自动重新定位或重新校准。
16.从以下详细公开、从所附从属权利要求以及从附图中，所附实施例的其他目的、特征和优点将变得显而易见。
17.总体上，权利要求中使用的所有术语都应根据在技术领域中它们的通常含义来解释，除非本文另有明确定义。所有对“一/该元件、设备、部件、装置、模块、步骤等”的引用都应公开解释为引用元件、设备、部件、装置、模块、步骤等的至少一个实例，除非另有明确说明。本文公开的任何方法的步骤不必按照所公开的确切顺序执行，除非明确说明。
附图说明
18.现在参照附图通过示例的方式描述本发明构思，其中：
19.图1是图示根据实施例的场景的示意图；
20.图2示意性地图示根据实施例的数字图像中的注释点和位置指示信息；
21.图3、图4和图5是根据实施例的方法的流程图；
22.图6和图7示意性地图示根据实施例的示例场景；
23.图8是示出根据实施例的图像处理装置的功能单元的示意图；并且
24.图9示出根据实施例的包括计算机可读存储介质的计算机程序产品的一个示例。
具体实施方式
25.现在将在下文中参照其中示出了本发明构思的特定实施例的附图更充分地描述本发明构思。然而，本发明构思可以以许多不同的形式来体现，并且不应被解释为限于本文所阐述的实施例；相反，通过示例的方式提供这些实施例，使得本公开将是透彻的和完整的，并且将向本领域技术人员充分地传达本发明构思的范围。在整个说明书中，相同的数字指代相同的元件。由虚线所图示的任何步骤或特征都应被视为是可选的。
26.图1是图示其中可以应用本文呈现的实施例的场景的示意图。图1的示意图表示了监控场景。摄像机130被配置为捕获场景100的在fov 140内的数字图像。在图1的说明性示例中，场景100包括车辆110和人120。摄像机130包括图像处理装置150。摄像机130和图像处理装置150可以是视频监控系统的一部分。这样的视频监控系统可以被应用于以上任何监控场景中的任何一个。
27.如上所述，当摄像机经历摄像机移动(例如，由以下任一项导致：摄像机位置漂移、fov定向偏移、温度变化、机械老化、摄像机更换、由于振动引起的摄像机漂移)时，需要对注释点的改进处理。
28.因此，本文公开的实施例涉及用于由于摄像机移动而更新数字图像中的注释点的坐标的机制。为了获得这样的机制，提供了一种图像处理装置150、一种由图像处理装置150执行的方法以及一种包括代码(例如，以计算机程序的形式)的计算机程序产品，当代码在图像处理装置150上运行时，使图像处理装置150执行该方法。
29.本文公开的实施例使得(先前数字图像的)特征链接的注释点能够自动校准(当前数字图像的)注释点，以解决与由摄像机位置漂移、fov定向偏移、温度变化、机械老化、摄像机更换、由于振动引起的摄像机漂移导致的摄像机移动相关的上述问题。本文公开的实施例基于检测摄像机130的移动以及通过将当前数字图像的位置指示信息与同一场景100的先前数字图像的位置指示信息进行比较来更新注释点的至少一个坐标。现在将参照图2对此进行说明。图2在(a)处示意性地图示先前数字图像200a中的注释点a1、a2以及关于关键点k1、k2、k3、k4、k5、k6的位置指示信息。图2在(b)处示意性地图示与先前数字图像200a中相同的注释点a
′1、a
′2以及关键点k
′1、k
′2、k
′3、k
′4、k
′5、k
′6，但是是在与先前数字图像200a相同的场景的当前数字图像200b中。在图2中还在c处标出了图像中心和从图像中心c延伸的半径r。参数c和r的可能用法将在下面公开。假设在先前数字图像200a的捕获和当前数字图像200b的捕获之间的某个时间发生了摄像机移动。因此，通过将图2在(b)处和图2在(a)处进行比较可以看出，摄像机移动已经导致注释点a1、a2的坐标(以及关键点k1：k6的坐标)偏移。
中排除。也就是说，在一些实施例中，所有关键点k1：k6中的那些具有与从先前数字图像200a中提取的另一个关键点k1：k6的第二特征向量最相似的第二特征向量的关键点被从第二组关键点k1：k6中排除。
41.在一些方面，当确定所有关键点k1：k6中的哪一个要被包括在第二组关键点k1：k6中时，使用位置信息。具体地，在一些实施例中，所有关键点k1：k6中的哪一个将被包括在第二组关键点k1：k6中取决于它们在先前数字图像200a中的位置。在这方面，如接下来将要公开的，位置可以是相对于图像中心和/或注释点的。
42.在一些方面，所有关键点k1：k6中的那些最靠近图像中心定位的关键点是要包括在第二组关键点k1：k6中的候选点。具体地，在一些实施例中，第二组关键点k1：k6被限制为仅包括位于距先前数字图像200a的中心(在图2中表示为c)的预定义半径(在图2中表示为r)内的关键点k1：k6。
43.在一些方面，所有关键点k1：k6中的那些最靠近注释点a1、a2定位的关键点是要包括在第二组关键点k1：k6中的候选点。具体地，在一些实施例中，先前数字图像200a与至少一个注释点a1、a2相关联，其中，至少一个注释点a1、a2的每一个在先前数字图像200a中具有相应的坐标，并且第二组关键点k1：k6被限制为仅包括位于距先前数字图像200a中的至少一个注释点a1、a2的坐标的预定义半径内的关键点k1：k6。
44.由此，以上实施例、方面和示例使得能够根据至少一个注释点的坐标和图像中心来选择最合适的关键点。
45.在一些方面，先前数字图像200a从场景100的一组先前数字图像200a中选择。现在将公开如何从场景100的这组先前数字图像200a中选择先前数字图像200a的示例。
46.在一些实施例中，先前数字图像200a组中的先前数字图像200a中的每一个具有其自身的时间戳，并且选择哪个先前数字图像200a基于该时间戳与当前数字图像200b的时间戳的比较。因此，可以基于时间戳比较来选择先前数字图像200a，使得先前数字图像200a与当前数字图像200b在一天的同一时间被捕获，或者在时间上最接近于当前数字图像200b。
47.在进一步的示例中，选择哪个先前数字图像200a基于照明、图像质量等。还设想了这样的参数的组合。例如，为了得到用于优化关键点的匹配的最佳图像质量，可以在例如在白天期间的特定时间间隔内提取先前数字图像200a以及当前数字图像200b。进一步，相对于先前数字图像200a和当前数字图像200b，相似的时间戳可以产生最相似的图像质量和照明。
48.现在将公开如何更新至少一个注释点a1、a2的每一个的坐标的方面。在一些实施例中，通过将单应矩阵(homography matrix)应用于当前数字图像200b中的至少一个注释点a
′1、a
′2的每一个的坐标来更新至少一个注释点a
′1、a
′2的每一个的坐标。单应矩阵取决于所识别的移动量和摄像机单应性。
49.现在将公开由数字图像处理装置150采取的进一步可能动作的进一步方面。在一些示例中，如果摄像机移动导致任何注释点a
′1、a
′2从图像中移出，则会触发警报。也就是说，在一些实施例中，数字图像处理装置150被配置为执行(可选的)步骤s108。
50.s108：如果更新至少一个注释点a
′1、a
′2的每一个的坐标导致至少一个注释点a
′1、a
′2中的任何一个具有在当前数字图像200b之外的坐标，则发出通知。
51.由此，如果感兴趣的监控区已经从fov 140移出，则可以触发警报。
52.在一些方面，可以在两个阶段中描述本文公开的实施例；特征提取阶段和校准阶段。特征提取阶段涉及对先前数字图像的处理，而校准阶段在摄像机移动之后被应用。
53.现在将参照图4的流程图来公开特征提取阶段的各个方面。
54.s201：在数字图像中设定至少一个注释点。
55.每一个这样的注释点可以表示roi的拐角或虚拟线的端点。
56.s202：在数字图像中搜索关键点。
57.可以使用关键点检测器来搜索关键点。关键点检测器的非限制性示例是harris拐角点检测器、尺度不变特征变换(sift)检测器和基于卷积神经网络(cnn)的描述符。关键点检测器识别每一个关键点的坐标以及相关联的描述符(或特征向量)。在一些非限制性示例中，描述符被提供为32到128的变量向量。描述符使关键点中的每一个与其他关键点不同并且可从其他关键点识别。不失一般性，所找到的关键点的总数被表示为k。
58.s203：选择最合适的关键点(描述符)。
59.步骤s203可以依据多个子步骤或子例程来实现。
60.m≤k个判别关键点通过对它们的相似度进行排序来选择。在一个示例中，两个关键点的配对之间的相似度根据两个关键点的描述符(或特征向量)之间的欧几里德距离计算。如果欧几里德距离小于预设的阈值距离，则关键点的这个配对被定义为相似的，并且因此被丢弃。
61.m个关键点可以随机分成g个子集sg。每一个这样的子集由来自原始m个关键点的n个关键点组成，其中，n＜＜m。在一些示例中，选择至少4个关键点，也就是说，n≥4。就坐标而言，n个关键点被选择为具有距图像中心和/或注释点的最小距离，如由(1)中的最小化标准所定义的：
62.min(s1，s2·
，
…
，sg)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
63.其中，加权距离sk被定义为：
[0064][0065]
在(2)中，就坐标而言，d(ki，aj)是在数字图像中的每一个关键点ki到每一个注释点ai之间的欧几里德距离，并且就坐标而言，d(ki，c)是每一个关键点ki到图像中心c之间的欧几里得距离，并且wk和wc是它们相应的权重。进一步，j表示注释点的总数。权重可用于对更靠近注释点的关键点或更靠近图像中心的关键点进行优先排序。使用(1)中的最小化标准是因为就坐标而言，当摄像机130移动时，数字图像中的关键点和注释点之间的距离越近，关键点从数字图像丢失甚至移出数字图像的概率就越小。
[0066]
进一步，每一个子集中每两个关键点ki，kj之间的距离可以满足：
[0067][0068]
每两个关键点之间的距离d(ki，kj)之和大于阈值d
t
，这避免了关键点会聚到一起的可能性。这可以通过不同的技术来实现，例如，random sample consensus(ransac)算法。
[0069]
例如，如图2中所图示的，就坐标而言，与关键点k5和k6相比，关键点k
1-k4具有到注
释点和图像中心的更小距离，并且因此，选择关键点k
1-k4而丢弃关键点k5和k6。
[0070]
在监控应用中，注释点的位置和图像中心的位置通常是最重要的位置。
[0071]
s204：存储所选择的关键点的坐标和描述符(特征向量)以及注释点的坐标。
[0072]
还可以存储摄像机设置(例如，摄像机焦距)以使能摄像机视图的校准或标准化等。
[0073]
现在将参照图5的流程图公开(如在已经移动或更换摄像机130之后所应用的)校准阶段的方面。
[0074]
s301：获得注释点的坐标和同一场景的先前数字图像的关键点(及其坐标和描述符)。
[0075]
s302：识别当前图像中的关键点。如何识别当前图像中的关键点已经在上面参照图3的描述公开。
[0076]
s303：使用从当前数字图像200b中的关键点k
′1：k
′6和先前数字图像200a中的关键点k1：k6所确定的特征向量来识别匹配关键点。
[0077]
s304：从匹配关键点确定单应矩阵。
[0078]
在这方面，应用单应矩阵是为了考虑在先前数字图像和当前数字图像之间、就摄像机旋转和/或平移而言的摄像机移动。假设数字图像被相对于彼此进行了标准化。可以使用当捕获先前数字图像时使用的摄像机焦距和当捕获当前数字图像时使用的摄像机焦距的信息来实现标准化。在一些非限制性示例中，单应矩阵h通过使用单值分解(svd)而根据匹配的注释点计算。下面将公开如何确定单应矩阵的进一步的方面。
[0079]
s305：单应矩阵被应用于当前数字图像中的至少一个注释点。
[0080]
然后，根据先前数字图像中的相对应的至少一个注释点的坐标(被表示为a)来确定当前数字图像中的至少一个注释点的更新坐标(被表示为a
′
)：
[0081]a′
＝h
·aꢀꢀꢀꢀꢀꢀꢀ
(2)
[0082]
其中，h表示单应矩阵。
[0083]
现在将公开如何确定单应矩阵h的进一步的方面。
[0084]
不失一般性，假设有四对相对应的注释点。用a1、a2、a3、a4表示先前数字图像中的注释点，并且用a
′1、a
′2、a
′3、a
′4表示当前数字图像中的注释点。每一个注释点具有相应的x坐标和相应的y坐标。进一步假设焦距相对于先前数字图像和当前数字图像被标准化。然后，可以如下计算单应矩阵h。
[0085]
首先，确定以下2
×
9矩阵：
[0086][0087]
其中，索引i＝1，2，3，4对应于四个注释点。然后，将所有这些2
×
9矩阵堆叠成一个矩阵p，它满足：
[0088]
p
·
h＝0
ꢀꢀꢀꢀ
(4)
[0089]
表达式(4)因此等价于：
[0090][0091]
进一步假设矩阵p具有如下svd分解：
[0092]
p＝u∑vt
[0093]
其中，v列对应于p
t
p的本征向量并且产生h的解。单应矩阵h可以根据h重新整形。为了改进单应矩阵h，通过对估计误差进行最小化，可以应用成本函数。因此，通过知道单应矩阵h，从先前数字图像的点a(x，y)到当前数字图像的点a
′
(x，y)的投影坐标由下式给出：
[0094]a′
＝h
·a[0095]
也就是说：
[0096][0097]
因此，对于i＝1，2，3，4，可以通过在表达式(5)中插入x＝xi、y＝yi、x
′
x
′i和y
′
＝y
′i来寻找注释点pi′
的坐标。
[0098]
图6示意性地图示其中可以应用本文公开的实施例的第一场景。在(a)处图示被视频监控系统的摄像机130捕获的场景610的先前数字图像600a。场景包括建筑物620。出于隐私原因，建筑物的窗户630a：630f(图6(a)中未示出)将从监控中排除。因此，应用六个不同的隐私掩码640a：640f，每一个都覆盖窗户630a：630f。隐私掩码的左下拐角由注释点a1：a6定义。在(b)处图示在摄像机移动之后被摄像机130捕获的场景的当前数字图像600b。如在(b)处所见，由于注释点a1：a6具有与先前数字图像600a中的相同坐标，因此摄像机移动导致隐私掩码移动，因此部分地露出了窗户630a：630f。在(c)处图示在应用本文公开的用于由于摄像机移动而更新当前数字图像中的注释点a
′
１
：a
′6的坐标的实施例中的至少一些时，在摄像机移动之后被摄像机130捕获的场景的当前数字图像600b’。可以看出，更新导致隐私掩码移回它们的正确位置，从而再次适当地覆盖窗户630a：630f。
[0099]
图7示意性地图示其中可以应用本文公开的实施例的第二场景。在(a)处图示被视频监控系统的摄像机130捕获的场景的先前数字图像700a。该场景包括建筑物710和停车场720。停车场定义了roi 730并且处于监控之下。因此，roi基于停车场的拐角定义。roi的拐角由注释点定义(由单个注释点a1表示)。在(b)处图示在摄像机移动之后被摄像机130捕获的场景的当前数字图像700b。如在(b)处所见，由于注释点(再次由单个注释点a1表示)具有与先前数字图像700a中相同的坐标，因此摄像机移动导致roi 730移动，因此将停车场720
的一些部分从监控中部分地排除。在(c)处图示在应用本文公开的用于由于摄像机移动而更新当前数字图像中的注释点(由单个注释点a
′1表示)的坐标的实施例中的至少一些时，在摄像机移动之后被摄像机130捕获的场景的当前数字图像700b’。可以看出，更新导致roi 730移回其正确位置，从而再次适当地覆盖停车场720。
[0100]
图8就多个功能单元而言示意性地图示根据实施例的图像处理装置150的部件。使用能够执行存储在(如图9中的)计算机程序产品910(例如，以存储介质830的形式)中的软件指令的合适的中央处理单元(cpu)、多处理器、微控制器、数字信号处理器(dsp)等中的一个或多个的任意组合来提供处理电路810。处理电路810可以进一步被提供为至少一个专用集成电路(asic)或现场可编程门阵列(fpga)。
[0101]
具体地，处理电路810被配置为使图像处理装置150执行如上所述的一组操作或步骤。例如，存储介质830可以存储该组操作，并且处理电路810可以被配置为从存储介质830检索该组操作以使图像处理装置150执行该组操作。该组操作可以被提供为一组可执行指令。
[0102]
因此，处理电路810由此被设置为执行如本文所公开的方法。存储介质830还可以包括永久性储存器，例如，其可以是磁存储器、光存储器、固态存储器或甚至远程安装的存储器中的任何一个或组合。图像处理装置150可以进一步包括通信接口820，通信接口820至少被配置用于与摄像机130进行通信，以及潜在地与其他功能、节点、实体和/或装置(例如，视频监控系统的功能、节点、实体和/或装置)进行通信。因而，通信接口820可以包括包含模拟部件和数字部件的一个或多个发射器和接收器。处理电路810例如通过将数据和控制信号发送到通信接口820和存储介质830、通过从通信接口820接收数据和报告以及通过从存储介质830检索数据和指令来控制图像处理装置150的一般操作。为了不使本文呈现的构思模糊，省略了图像处理装置150的其他部件以及相关功能。
[0103]
图像处理装置150可以被提供为独立装置或被提供为至少一个其他装置的一部分。例如，图像处理装置150和摄像机130可以是视频监控系统的一部分。
[0104]
由图像处理装置150执行的指令的第一部分可以在第一装置中执行，并且由图像处理装置150执行的指令的第二部分可以在第二装置中执行；本文公开的实施例不限于可以在其上执行由图像处理装置150执行的指令的任何特定数量的装置。因此，根据本文公开的实施例的方法适合由驻存在云计算环境中的图像处理装置150执行。因此，尽管图8中图示了单个处理电路810，但是处理电路810可以分布在多个装置或节点当中。这同样适用于图9的计算机程序920。
[0105]
图9示出包括计算机可读存储介质930的计算机程序产品910的一个示例。在该计算机可读存储介质930上，可以存储计算机程序920，计算机程序920可以使处理电路810和可操作地耦接到其的实体和装置(诸如，通信接口820和存储介质830)执行根据本文描述的实施例的方法。因此，计算机程序920和/或计算机程序产品910可以提供用于执行如本文公开的任何步骤的手段。
[0106]
在图9的示例中，计算机程序产品910被图示为诸如cd(压缩盘)或dvd(数字多功能光盘)或蓝光光盘的光盘。计算机程序产品910还可以被体现为存储器(诸如，随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom)或电可擦除可编程只读存储器(eeprom))，并且更具体地被体现为外部存储器中的装置的非易失性存储介质(诸如，usb
(通用串行总线)存储器或诸如紧凑型闪存的闪存)。因此，虽然计算机程序920在这里被示意性地示出为所描绘的光盘上的轨道，但是计算机程序920可以以适合于计算机程序产品910的任何方式存储。
[0107]
上面已经参照几个实施例主要描述了本发明构思。但是，如本领域技术人员容易理解的，在如所附专利权利要求所限定的本发明构思的范围内，除了以上公开的实施例之外的其他实施例同样是可能的。