用于检测对象接近的方法和系统与流程

1.本发明涉及对象识别技术领域。具体而言，本发明涉及用于检测对象接近的方法、系统、存储介质、计算机设备和车辆。


背景技术：

2.汽车停在室内或户外场地时，尤其是停在户外场地时，容易受到周围经过的行人、非机动车辆等的误碰、刮伤等。此外，因无人看守，有可能会存在找不到肇事者的情况，使得车主遭受一定的财产损失。
3.目前，用于监控汽车周围情况的方法一般采用光流检测方法、图像检测等方法来执行对汽车周围对象的检测和识别，存在能耗高、响应慢等问题，且对于快速移动的对象检测效果差。


技术实现要素：

4.为了解决或至少缓解以上问题中的一个或多个，提供了以下技术方案。
5.按照本发明的第一方面，提供一种用于检测对象接近的方法，其包括以下步骤：获取目标检测区域的第一图像和第二图像；利用识别模型从第一图像和第二图像获取卷积层特征；比较第一图像和第二图像的卷积层特征；以及在比较结果满足第一阈值的情况下执行第一触发。
6.根据本发明一实施例所述的用于检测对象接近的方法，还包括：在第一触发的次数达到第二阈值的情况下执行第二触发。
7.根据本发明一实施例或以上任一实施例的所述的用于检测对象接近的方法，其中卷积层特征为浅层卷积层特征。
8.根据本发明一实施例或以上任一实施例的所述的用于检测对象接近的方法，其中识别模型以如下目标进行训练：输入为预先标注有特定对象的位置区域的图像，输出为图像上的特定对象的位置。
9.根据本发明一实施例或以上任一实施例的所述的用于检测对象接近的方法，其中执行第一触发包括确定和/或记录与满足第一阈值的比较结果相关联的位置。
10.根据本发明一实施例或以上任一实施例的所述的用于检测对象接近的方法，其中执行第二触发包括触发警报，警报指示检测到接近的对象。
11.根据本发明一实施例或以上任一实施例的所述的用于检测对象接近的方法，其中第一阈值和/或第二阈值为自学习阈值。
12.根据本发明一实施例或以上任一实施例的所述的用于检测对象接近的方法，其中获得自学习阈值的过程包括：训练分类网络来区分预期引起第一触发的图像对和预期不引起第一触发的图像对；设定第一阈值和/或第二阈值；基于损失函数在所述分类网络中优化第一阈值和/或第二阈值。
13.根据本发明一实施例或以上任一实施例的所述的用于检测对象接近的方法，其中
比较结果包括第一图像与第二图像上对应位置处的卷积层特征之差。
14.按照本发明的第二方面，提供一种用于检测对象接近的系统，其包括：图像获取单元：其配置成获取目标检测区域的第一图像和第二图像；特征提取单元，其配置成利用识别模型从第一图像和第二图像获取卷积层特征；比较单元，其配置成比较第一图像和第二图像的卷积层特征；以及第一触发单元，其配置成在比较结果满足第一阈值的情况下执行第一触发。
15.根据本发明一实施例所述的用于检测对象接近的系统，还包括：第二触发单元，其配置成在第一触发的次数达到第二阈值的情况下执行第二触发。
16.根据本发明一实施例或以上任一实施例的所述的用于检测对象接近的系统，其中卷积层特征为浅层卷积层特征。
17.根据本发明一实施例或以上任一实施例的所述的用于检测对象接近的系统，其中识别模型以如下目标进行训练：输入为预先标注有特定对象的位置区域的图像，输出为图像上的特定对象的位置。
18.根据本发明一实施例或以上任一实施例的所述的用于检测对象接近的系统，其中执行第一触发包括确定和/或记录与满足第一阈值的比较结果相关联的位置。
19.根据本发明一实施例或以上任一实施例的所述的用于检测对象接近的系统，其中执行第二触发包括触发警报，警报指示检测到接近的对象。
20.根据本发明一实施例或以上任一实施例的所述的用于检测对象接近的系统，其中第一阈值和/或第二阈值为自学习阈值。
21.根据本发明一实施例或以上任一实施例的所述的用于检测对象接近的系统，其中获得自学习阈值的过程包括：训练分类网络来区分预期引起第一触发的图像对和预期不引起第一触发的图像对；设定第一阈值和/或第二阈值；基于损失函数在所述分类网络中优化第一阈值和/或第二阈值。
22.根据本发明一实施例或以上任一实施例的所述的用于检测对象接近的系统，其中比较结果包括第一图像与第二图像上对应位置处的卷积层特征之差。
23.按照本发明的第三方面，提供一种计算机可读存储介质，其上存储有可由处理器执行的程序指令，所述程序指令在由所述处理器执行时，执行根据本发明的一方面所述的用于检测对象接近的方法。
24.按照本发明的第四方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现根据本发明的一方面所述的用于检测对象接近的方法。
25.按照本发明的第五方面，提供一种车辆，其包括根据本发明的一方面所述的用于检测对象接近的系统。
26.根据本发明的实施例的用于检测对象接近的方案能够检测到车辆周围对象的移动，当检测到对象靠近车辆时，能够自动触发报警，从而尽可能提醒车主或警示周围的移动对象。本发明的方案采用深度学习的方法，鲁棒性更高，比传统的光流方法更稳定，可以解决光影变化引起的误测问题。本发明的方案采用浅层特征比对的方法执行判断，通过提取前几层的特征，从而降低了深度学习模型的计算复杂度和能耗。本发明的方案采用自学习的阈值执行比较，避免了频繁调整触发阈值的问题，使用更稳定。
附图说明
27.本发明的上述和/或其它方面和优点将通过以下结合附图的各个方面的描述变得更加清晰和更容易理解，附图中相同或相似的单元采用相同的标号表示。附图包括：图1示出了按照本发明的一个实施例的用于检测对象接近的方法的流程图；图2示出了按照本发明的一个实施例的用于检测对象接近的系统的框图；以及图3示出了按照本发明的一个实施例的计算机设备的框图。
具体实施方式
28.以下具体实施方式的描述本质上仅仅是示例性的，并且不旨在限制所公开的技术或所公开的技术的应用和用途。此外，不意图受在前述技术领域、背景技术或以下具体实施方式中呈现的任何明示或暗示的理论的约束。
29.在实施例的以下详细描述中，阐述了许多具体细节以便提供对所公开技术的更透彻理解。然而，对于本领域普通技术人员显而易见的是，可以在没有这些具体细节的情况下实践所公开的技术。在其他实例中，没有详细描述公知的特征，以避免不必要地使描述复杂化。
30.诸如“包含”和“包括”之类的用语表示除了具有在说明书中有直接和明确表述的单元和步骤以外，本发明的技术方案也不排除具有未被直接或明确表述的其它单元和步骤的情形。诸如“第一”和“第二”之类的用语并不表示单元在时间、空间、大小等方面的顺序而仅仅是作区分各单元之用。
31.在下文中，将参考附图详细地描述根据本发明的各示例性实施例。
32.现在参考图1，图1示出了按照本发明的一个实施例的用于检测对象接近的方法的流程图。
33.如图1中所示，在步骤101中，可以获取目标检测区域的第一图像和第二图像；在步骤103中，可以利用识别模型从第一图像和第二图像获取卷积层特征；在步骤105中，可以比较第一图像和第二图像的卷积层特征；在步骤107中，可以在比较结果满足第一阈值的情况下执行第一触发。可选地，根据本发明一实施例的用于检测对象接近的方法还可以包括在第一触发的次数达到第二阈值的情况下执行第二触发。可选地，其中执行第一触发包括确定和/或记录与满足第一阈值的比较结果相关联的位置；其中执行第二触发包括触发警报，警报指示检测到接近的对象。
34.在一个实施例中，上述卷积层特征为浅层卷积层特征。可选地，上述浅层卷积层特征为前两层卷积层的特征。作为示例，从卷积层提取特征可以具体包括如下操作。
35.首先，获取一张图像，该图像通常是rgb格式。也就是说，可以通过红（r）、绿（g）、蓝（b）三个颜色通道的变化以及其相互之间的叠加来得到各种颜色。在将红色分量图像、绿色分量图像和蓝色分量图像进行叠加之后，就能够得到彩色图像。各个分量图像表现为与原图尺寸（例如7*7）一致的数据矩阵，每个数据代表相应位置处相应颜色分量的数值。然后，在提取特征时，可以利用卷积核滤波器，其也表现为一个数据矩阵（例如3*3大小），只不过该矩阵中的各个数据经过特殊设计。卷积核在神经网络的背景下代表对应的权重，因此将各个颜色的卷积核与各个颜色的分量图像上的数据（例如3*3大小）依次对应进行卷积（例如，一一进行对应点乘再相加），就可以分别得到红色分量特征、绿色分量特征、蓝色分量特
征。最后，再将各色分量特征进行叠加，就可以得到彩色图像的特征值。
36.然而，图像的尺寸比卷积核的尺寸通常大得多，因此需要对图像上的像素块依次进行卷积。例如，图像大小为10*10，则3*3的卷积核可以从图像左上角开始对第1-3行的像素进行卷积，完成卷积后向右移动一个像素，再进行卷积。当前三行像素卷积完毕后，卷积核回到最左侧，并向下移动一个像素，开始对第2-4行的像素进行卷积。可以理解，这样卷积完成之后，得到的结果是8*8尺寸，并且图像外围像素被卷积的次数明显少于中部像素。因此，为了保持卷积结果与原图的尺寸一致性以及获取更充分的边缘数据，可以在卷积开始之前，在图像周围设置一圈0值，使得图像尺寸变为例如12*12。这样做既不影响对特征值的提取，又可以保持特征尺寸与图像尺寸的一致性。
37.在一种实施方式中，采用提前训练好的万物识别深度学习模型（例如，cnn神经网络）以及通过自学习得到的第一阈值和/或第二阈值。关于模型训练，可以使用大量的训练图片，每张图片上标注大量（例如200个以上）的对象（例如，人、自行车、汽车、狗、箱子等等）的位置区域。该模型的训练目标为：向此模型输入图片，预期此模型输出上述各个对象在图片中的位置。在阈值学习过程中，可以将特定场景中希望能够引起触发（例如，表示有对象接近）的多组两个图像（也可以称为图像对）和不希望引起触发的多组两个图像分别放置于两个集合中，用于训练一个分类网络，来区分这两类对象或两种场景。其中，能够引起触发的图像对是指可以从前一图像到后一图像检测到图像中特定对象的移动或接近。在进行分类时，可以通过上面已经训练好的模型提取浅层特征，并进行比较，然后设定需要学习的两组参数。最后，可以通过损失值loss（例如cross-entropy loss、focal loss、asymmetric_loss、gfocal loss等）比较，不断学习优化这两组参数，使最终的分类网络获得最优的两组参数，分别用作第一阈值和第二阈值。
38.在步骤101中，可以通过车辆上的传感装置，例如摄像头等图像获取装置，来获取目标检测区域的第一图像和第二图像，从而用于后续在目标检测区域中检测移动或接近的对象。车辆上可以具有一个或多个摄像头，为了更全面地检测车辆周围环境的情况，可以同时开启多个摄像头采集图像；也可以采用拍摄角度更广的摄像头来覆盖更大的范围。当需要降低能耗，可以减少所使用的的摄像头的数量，也可以降低采集图像的帧率、分辨率、色彩表现等。作为示例，第一图像和第二图像之间的拍摄时间的间隔可以为500毫秒。根据实际需要（例如精度要求、能耗要求等），两个图像的拍摄时间可以进行适当的调整。作为示例，可以根据相机帧率选择一定间隔的两张图片。
39.接下来，在步骤103中，可以从第一图像和第二图像中分别提取卷积层特征。作为示例，根据上文中训练好的万物识别神经网络模型，当向该模型输入一张w*h大小的图像，模型可以输出这张图片上的若干个对象（例如，人、自行车、汽车、狗、箱子等等）的位置。此外，在图像中提取的特征可以是卷积层的浅层特征，浅层特征是指：一图像经过神经网络，维度大小会发生如下改变：w*h
→
w/2*h/2
→
w/4*h/4
→
w/8*h/8
→
w/16*h/16
→
w/32*h/32
……
等等（神经网络的层数不限，有可能为18层、50层等），其中从较为接近w*h尺寸的图像中提取出的特征可以称为浅层特征，例如w/2*h/2、w/4*h/4。作为示例，可以把w/4*h/4这一层的特征用作比较的浅层特征。可以理解，每个尺寸为w*h的图像可以被划分为16个w/4*h/4尺寸的图像。
40.根据本发明的实施例的用于检测对象接近的方法采用浅层特征比对的方法执行
判断，通过提取前几层的特征，从而降低了深度学习模型的计算复杂度和能耗。
41.在步骤105中，可以比较从第一图像和第二图像中的对应的w/4*h/4尺寸图像中提取的特征。作为示例，可以将w/4*h/4大小的两张图片中对应位置的特征进行相减，得到特征的差值作为比较结果。可以理解，每组图片的差值也是w/4*h/4尺寸。根据本发明的实施例的用于检测对象接近的方法采用深度学习的方法，鲁棒性更高，比传统的光流方法更稳定，可以解决光影变化引起的误测问题。
42.在步骤107中，可以将比较结果，即得到的两张图片之间的特征差值（例如大小为w/4*h/4的维度），与设定的第一阈值进行比较。作为示例，针对图像上的每个位置的w/4*h/4维度的特征差值的第一阈值可能不同。因此，对于16个w/4*h/4维度的特征差值，最多可以由16个第一阈值。当图像上某个位置的w/4*h/4维度的特征差值大于对应的第一阈值时，执行第一触发，例如确定和/或记录引起触发的特征差值对应的w/4*h/4尺寸特征对应于第一图像/第二图像中的位置。该位置可以表示为特征差值大于对应的第一阈值的w/4*h/4维度特征相对于整个图像的位置分布。
43.可选地，当第一触发的次数大于第二阈值，可以判断两张图像存在差异，可以执行第二触发。作为示例，执行第二触发包括进行报警，表示监测到移动的对象。例如，报警可以采取峰鸣方式，以声音形式传递；报警还可以是点亮汽车的灯光，以光的形式传递。作为示例，基于cnn数据网络的计算特性，如果比较特征发现图像左上角的有变化，那么左上角的特征差值就会较大，因此可以通过特征差值发生的位置来判断对象变化的位置。
44.根据本发明的实施例的用于检测对象接近的方法能够检测到车辆周围对象的移动，当检测到对象靠近车辆时，能够自动触发报警，从而尽可能提醒车主或警示周围的移动对象。
45.优选地，第一阈值、第二阈值、神经网络模型可以被调整为检测到正在接近的对象，并且还可以检测对象的位置。通过根据本发明的目的专门地训练模型以及设定阈值参数，可以使得模型本身以及阈值参数根据发生的实际情况自主地进行调整。因此，根据本发明的实施例的用于检测对象接近的方案采用自学习的阈值执行比较，避免了频繁调整触发阈值的问题，使用更稳定。
46.现在参考图2，图2示出了按照本发明的一个实施例的用于检测对象接近的系统的流程图。
47.如图2中所示，图像获取单元201可以配置成获取目标检测区域的第一图像和第二图像；特征提取单元203可以配置成利用识别模型从第一图像和第二图像获取卷积层特征；比较单元205可以配置成比较第一图像和第二图像的卷积层特征；第一触发单元207可以配置成在比较结果满足第一阈值的情况下执行第一触发。可选地，根据本发明一实施例的用于检测对象接近的系统还可以包括在第一触发的次数达到第二阈值的情况下执行第二触发的第二触发单元（未示出）。可选地，其中第一触发单元207执行第一触发包括确定和/或记录与满足第一阈值的比较结果相关联的位置；其中第二触发单元执行第二触发包括触发警报，警报指示检测到接近的对象。
48.在一个实施例中，上述卷积层特征为浅层卷积层特征。可选地，上述浅层卷积层特征为前两层卷积层的特征。作为示例，特征提取单元203从卷积层提取特征可以具体包括如下操作。
49.首先，接收一张图像，该图像通常是rgb格式。也就是说，可以通过红（r）、绿（g）、蓝（b）三个颜色通道的变化以及其相互之间的叠加来得到各种颜色。在将红色分量图像、绿色分量图像和蓝色分量图像进行叠加之后，就能够得到彩色图像。各个分量图像表现为与原图尺寸（例如7*7）一致的数据矩阵，每个数据代表相应位置处相应颜色分量的数值。然后，在提取特征时，可以利用卷积核滤波器，其也表现为一个数据矩阵（例如3*3大小），只不过该矩阵中的各个数据经过特殊设计。卷积核在神经网络的背景下代表对应的权重，因此将各个颜色的卷积核与各个颜色的分量图像上的数据（例如3*3大小）依次对应进行卷积（例如，一一进行对应点乘再相加），就可以分别得到红色分量特征、绿色分量特征、蓝色分量特征。最后，再将各色分量特征进行叠加，就可以得到彩色图像的特征值。
50.然而，图像的尺寸比卷积核的尺寸通常大得多，因此需要对图像上的像素块依次进行卷积。例如，图像大小为10*10，则3*3的卷积核可以从图像左上角开始对第1-3行的像素进行卷积，完成卷积后向右移动一个像素，再进行卷积。当前三行像素卷积完毕后，卷积核回到最左侧，并向下移动一个像素，开始对第2-4行的像素进行卷积。可以理解，这样卷积完成之后，得到的结果是8*8尺寸，并且图像外围像素被卷积的次数明显少于中部像素。因此，为了保持卷积结果与原图的尺寸一致性以及获取更充分的边缘数据，可以在卷积开始之前，在图像周围设置一圈0值，使得图像尺寸变为例如12*12。这样做既不影响对特征值的提取，又可以保持特征尺寸与图像尺寸的一致性。
51.在一种实施方式中，采用提前训练好的万物识别深度学习模型（例如，cnn神经网络）以及通过自学习得到的第一阈值和/或第二阈值。关于模型训练，可以使用大量的训练图片，每张图片上标注大量（例如200个以上）的对象（例如，人、自行车、汽车、狗、箱子等等）的位置区域。该模型的训练目标为：向此模型输入图片，预期此模型输出上述各个对象在图片中的位置。在阈值学习过程中，可以将特定场景中希望能够引起触发（例如，表示有对象接近）的多组两个图像（也可以称为图像对）和不希望引起触发的多组两个图像分别放置于两个集合中，用于训练一个分类网络，来区分这两类对象或两种场景。其中，能够引起触发的图像对是指可以从前一图像到后一图像检测到图像中特定对象的移动或接近。在进行分类时，可以通过上面已经训练好的模型提取浅层特征，并进行比较，然后设定需要学习的两组参数。最后，可以通过损失值loss（例如cross-entropy loss、focal loss、asymmetric_loss、gfocal loss等）比较，不断学习优化这两组参数，使最终的分类网络获得最优的两组参数，分别用作第一阈值和第二阈值。
52.图像获取单元201可以是车辆上的传感装置，例如摄像头等图像获取装置，其可以配置成获取目标检测区域的第一图像和第二图像，从而用于后续在目标检测区域中检测移动或接近的对象。车辆上可以具有一个或多个摄像头，为了更全面地检测车辆周围环境的情况，可以同时开启多个摄像头采集图像；也可以采用拍摄角度更广的摄像头来覆盖更大的范围。当需要降低能耗，可以减少所使用的的摄像头的数量，也可以降低采集图像的帧率、分辨率、色彩表现等。作为示例，第一图像和第二图像之间的拍摄时间的间隔可以为500毫秒。根据实际需要（例如精度要求、能耗要求等），两个图像的拍摄时间可以进行适当的调整。作为示例，可以根据相机帧率选择一定间隔的两张图片。
53.特征提取单元203可以配置成从第一图像和第二图像中分别提取卷积层特征。作为示例，根据上文中训练好的万物识别神经网络模型，当向该模型输入一张w*h大小的图
像，模型可以输出这张图片上的若干个对象（例如，人、自行车、汽车、狗、箱子等等）的位置。此外，在图像中提取的特征可以是卷积层的浅层特征，浅层特征是指：一图像经过神经网络，维度大小会发生如下改变：w*h
→
w/2*h/2
→
w/4*h/4
→
w/8*h/8
→
w/16*h/16
→
w/32*h/32
……
等等（神经网络的层数不限，有可能为18层、50层等），其中从较为接近w*h尺寸的图像中提取出的特征可以称为浅层特征，例如w/2*h/2、w/4*h/4。作为示例，可以把w/4*h/4这一层的特征用作比较的浅层特征。可以理解，每个尺寸为w*h的图像可以被划分为16个w/4*h/4尺寸的图像。
54.根据本发明的实施例的用于检测对象接近的方系统用浅层特征比对的方法执行判断，通过提取前几层的特征，从而降低了深度学习模型的计算复杂度和能耗。
55.比较单元205可以配置成比较从第一图像和第二图像中的对应的w/4*h/4尺寸图像中提取的特征。作为示例，比较单元205可以配置成将w/4*h/4大小的两张图片中对应位置的特征进行相减，得到特征的差值作为比较结果。可以理解，每组图片的差值也是w/4*h/4尺寸。根据本发明的实施例的用于检测对象接近的系统采用深度学习的方法，鲁棒性更高，比传统的光流方法更稳定，可以解决光影变化引起的误测问题。
56.可以将比较结果，即得到的两张图片之间的特征差值（例如大小为w/4*h/4的维度），与设定的第一阈值进行比较。作为示例，针对图像上的每个位置的w/4*h/4维度的特征差值的第一阈值可能不同。因此，对于16个w/4*h/4维度的特征差值，最多可以由16个第一阈值。第一触发单元207可以配置成当图像上某个位置的w/4*h/4维度的特征差值大于对应的第一阈值时，执行第一触发，例如确定和/或记录引起触发的特征差值对应的w/4*h/4尺寸特征对应于第一图像/第二图像中的位置。该位置可以表示为特征差值大于对应的第一阈值的w/4*h/4维度特征相对于整个图像的位置分布。
57.可选地，当第一触发的次数大于第二阈值，可以判断两张图像存在差异，可以执行第二触发。作为示例，第二触发单元执行第二触发包括进行报警，表示监测到移动的对象。例如，报警可以采取峰鸣方式，以声音形式传递；报警还可以是点亮汽车的灯光，以光的形式传递。作为示例，基于cnn数据网络的计算特性，如果比较特征发现图像左上角的有变化，那么左上角的特征差值就会较大，因此可以通过特征差值发生的位置来判断对象变化的位置。
58.根据本发明的实施例的用于检测对象接近的系统能够检测到车辆周围对象的移动，当检测到对象靠近车辆时，能够自动触发报警，从而尽可能提醒车主或警示周围的移动对象。
59.优选地，第一阈值、第二阈值、神经网络模型可以被调整为检测到正在接近的对象，并且还可以检测对象的位置。通过根据本发明的目的专门地训练模型以及设定阈值参数，可以使得模型本身以及阈值参数根据发生的实际情况自主地进行调整。因此，根据本发明的实施例的用于检测对象接近的系统采用自学习的阈值执行比较，避免了频繁调整触发阈值的问题，使用更稳定。
60.图3示出了按照本发明的一个实施例的计算机设备的框图。如图3中所示，计算机设备300包括存储器310、处理器320和存储在存储器310上并可在处理器320上运行的计算机程序330。处理器320执行所述计算机程序330时实现如上所述的用于检测对象接近的方法的各个步骤。
61.另外，如上所述，本发明也可以被实施为一种计算机存储介质，在其中存储有用于使计算机执行按照本发明的一个方面的用于检测对象接近的方法的程序。
62.在此，作为计算机存储介质，能采用盘类（例如，磁盘、光盘等）、卡类（例如，存储卡、光卡等）、半导体存储器类（例如，rom、非易失性存储器等）、带类（例如，磁带、盒式磁带等）等各种方式的计算机存储介质。
63.提供本文中提出的实施例和示例，以便最好地说明按照本发明及其特定应用的实施例，并且由此使本领域的技术人员能够实施和使用本发明。但是，本领域的技术人员将会知道，仅为了便于说明和举例而提供以上描述和示例。所提出的描述不是意在涵盖本发明的各个方面或者将本发明局限于所公开的精确形式。