一种基于双相机的车辆目标检测方法及系统与流程

1.本发明涉及路口智能车辆目标检测领域，特别涉及一种基于双相机的车辆目标检测方法及系统。


背景技术：

2.在计算机视觉众多的技术领域中，目标检测也是一项非常基础的任务，图像分割、物体追踪、关键点检测等通常都要依赖于目标检测。在目标检测时，由于每张图像中物体的数量、大小及姿态各有不同，也就是非结构化的输出，这是与图像分类非常不同的一点，并且物体时常会有遮挡截断，所以物体检测技术也极富挑战性，从诞生以来始终是研究学者最为关注的焦点领域之一。
3.目前在进行车辆目标检测时，为了提高相机在远距离处检测的准确率，增大相机的视野区域，众多厂商不断提高相机图片的分辨率，这使得深度学习目标检测算法对硬件算力需求急剧上升。此外，由于近景相机采集的近景图像中位于远处的车辆目标所占像素区域仍然较小，使得远处小目标的检测数量和检测样本未有显著提升，从而导致路口车辆的检测识别效率和准确率较低。


技术实现要素：

4.为解决上述技术问题，本发明提供一种基于双相机的车辆目标检测方法及系统，可以解决远处小目标的检测数量和检测样本较少，从而导致路口车辆的检测识别效率和准确率较低的问题。
5.为实现上述目的，一方面，本发明提供一种基于双相机的车辆目标检测方法，所述方法包括：
6.从远景相机采集的远景图像和近景相机采集的近景图像中选择不同位置预设组数的映射点对；
7.根据所述映射点对获取单应变换矩阵；
8.根据所述单应变换矩阵将所述远景图像映射在所述近景图像上并获取映射后远景图像四个顶点的坐标；
9.根据所述远景图像和近景图像分别进行车辆目标检测；
10.根据所述单应变换矩阵对所述远景图像对应的检测结果进行变换；
11.根据所述映射后远景图像四个顶点的坐标，对所述远景图像对应的变换后的检测结果和所述近景图像对应的检测结果进行检测结果融合并输出。
12.进一步地，所述根据所述映射点对获取单应变换矩阵的步骤包括：
13.根据公式h＝v(：，9)计算单应变换矩阵，其中，h为由9个浮点型数字构成的单应变换矩阵，[u s v]＝svd(a)，u是左奇异矩阵，s是对角矩阵，v是右奇异矩阵，
a为中间变换矩阵，远景图像的映射点为(x,y)，近景图像的映射点为(x,y)。
[0014]
进一步地，所述根据所述远景图像和近景图像分别进行车辆目标检测的步骤之前，所述方法包括：
[0015]
根据映射后远景图像四个顶点的坐标判断所述变换后的远景图像与所述近景图像的叠加是否符合预设条件；
[0016]
若不符合，则重新从远景相机采集的远景图像和近景相机采集的近景图像中选择不同位置预设组数的映射点对。
[0017]
进一步地，所述根据所述远景图像和近景图像分别进行车辆目标检测的步骤包括：
[0018]
通过预置yolov5算法对所述远景图像和近景图像分别进行车辆目标检测。
[0019]
进一步地，所述根据所述映射后远景图像四个顶点的坐标，对所述远景图像对应的变换后的检测结果和所述近景图像对应的检测结果进行检测结果融合的步骤包括：
[0020]
从所述远景图像对应的变换后的检测结果和所述近景图像对应的检测结果中删除位于所述映射后远景图像四个顶点构成的四边形内部的近景图像对应的检测结果；
[0021]
保存位于所述四边形边界处的近景图像对应的检测结果及其他检测结果，并删除所述四边形边界处的远景图像对应的检测结果。
[0022]
另一方面，本发明提供一种基于双相机的车辆目标检测系统，所述系统包括：
[0023]
选择单元，用于从远景相机采集的远景图像和近景相机采集的近景图像中选择不同位置预设组数的映射点对；
[0024]
获取单元，用于根据所述映射点对获取单应变换矩阵；
[0025]
所述获取单元，还用于根据所述单应变换矩阵将所述远景图像映射在所述近景图像上并获取映射后远景图像四个顶点的坐标；
[0026]
检测单元，用于根据所述远景图像和近景图像分别进行车辆目标检测；
[0027]
变换单元，用于根据所述单应变换矩阵对所述远景图像对应的检测结果进行变换；
[0028]
融合单元，用于根据所述映射后远景图像四个顶点的坐标，对所述远景图像对应的变换后的检测结果和所述近景图像对应的检测结果进行检测结果融合并输出。
[0029]
进一步地，所述获取单元，具体用于根据公式h＝v(：，9)计算单应变换矩阵，其中，h为由9个浮点型数字构成的单应变换矩阵，[u s v]＝svd(a)， u是左奇异矩阵，s是对角矩
阵，v是右奇异矩阵，a为中间变换矩阵，远景图像的映射点为(x,y)，近景图像的映射点为(x,y)。
[0030]
进一步地，所述选择单元，还用于根据映射后远景图像四个顶点的坐标判断所述变换后的远景图像与所述近景图像的叠加是否符合预设条件；若不符合，则重新从远景相机采集的远景图像和近景相机采集的近景图像中选择不同位置预设组数的映射点对。
[0031]
进一步地，所述检测单元，具体用于通过预置yolov5算法对所述远景图像和近景图像分别进行车辆目标检测。
[0032]
进一步地，所述融合单元，具体用于从所述远景图像对应的变换后的检测结果和所述近景图像对应的检测结果中删除位于所述映射后远景图像四个顶点构成的四边形内部的近景图像对应的检测结果；保存位于所述四边形边界处的近景图像对应的检测结果及其他检测结果，并删除所述四边形边界处的远景图像对应的检测结果。
[0033]
本发明提供的一种基于双相机的车辆目标检测方法及系统，根据所述单应变换矩阵将所述远景图像映射在所述近景图像上并获取映射后远景图像四个顶点的坐标，并根据所述映射后远景图像四个顶点的坐标，对所述远景图像对应的变换后的检测结果和所述近景图像对应的检测结果进行检测结果融合并输出，从而实现了利用远景相机提升近景相机远处的检测数量，进而提升了远处小目标的检测数量和检测样本，从而可以提升路口车辆的检测识别效率和准确率。
附图说明
[0034]
图1是本发明提供的一种基于双相机的车辆目标检测方法的流程图；
[0035]
图2是本发明提供的一种基于双相机的车辆目标检测系统的结构示意图。
具体实施方式
[0036]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
[0037]
如图1所示，本发明实施例提供的一种基于双相机的车辆目标检测方法，包括如下步骤：
[0038]
101、从远景相机采集的远景图像和近景相机采集的近景图像中选择不同位置预设组数的映射点对。
[0039]
具体地，例如选择远景和近景相机的映射点4对，每组远景近景相机采集同一时刻的一张远景图像和一张近景图像，在远景图像上尽量选择与4个顶点不远的标志点，这样可以保证选点基本覆盖全图，计算变换矩阵h的时候更准确，远景的点记为(x,y)，近景的点记为(x,y)。
[0040]
102、根据所述映射点对获取单应变换矩阵。
[0041]
对于本发明实施例，步骤102具体可以包括：根据公式h＝v(：，9)计算单应变换矩阵，其中，h为由9个浮点型数字构成的单应变换矩阵， [u s v]＝svd(a)，u是左奇异矩阵，s是对角矩阵，v是右奇异矩阵，a为中间变换矩阵，远景图像的映射点为(x,y)，近景图像的映射点为(x,y)。
[0042]
103、根据所述单应变换矩阵将所述远景图像映射在所述近景图像上并获取映射后远景图像四个顶点的坐标。
[0043]
104、根据所述远景图像和近景图像分别进行车辆目标检测。
[0044]
对于本发明实施例，步骤104具体可以包括：通过预置yolov5算法对所述远景图像和近景图像分别进行车辆目标检测。
[0045]
对于本发明实施例，为了进一步提升目标检测的准确率，在步骤104之前，还可以包括：根据映射后远景图像四个顶点的坐标判断所述变换后的远景图像与所述近景图像的叠加是否符合预设条件；若不符合，则重新从远景相机采集的远景图像和近景相机采集的近景图像中选择不同位置预设组数的映射点对。例如，可以通过观察叠加效果，如果由叠加效果不好、对齐效果不好的地方，修改相关位置的选点，反复修改直至叠加效果满足条件。
[0046]
105、根据所述单应变换矩阵对所述远景图像对应的检测结果进行变换。
[0047]
106、根据所述映射后远景图像四个顶点的坐标，对所述远景图像对应的变换后的检测结果和所述近景图像对应的检测结果进行检测结果融合并输出。
[0048]
对于本发明实施例，步骤106具体可以包括：从所述远景图像对应的变换后的检测结果和所述近景图像对应的检测结果中删除位于所述映射后远景图像四个顶点构成的四边形内部的近景图像对应的检测结果；保存位于所述四边形边界处的近景图像对应的检测结果及其他检测结果，并删除所述四边形边界处的远景图像对应的检测结果。例如，删除位于四边形内部的近景图结果，保留位于四边形边界处的近景图结果，删除这些检测结果对应的远景图结果，保留其他检测结果。
[0049]
本发明提供的一种基于双相机的车辆目标检测方法，根据所述单应变换矩阵将所述远景图像映射在所述近景图像上并获取映射后远景图像四个顶点的坐标，并根据所述映射后远景图像四个顶点的坐标，对所述远景图像对应的变换后的检测结果和所述近景图像对应的检测结果进行检测结果融合并输出，从而实现了利用远景相机提升近景相机远处的检测数量，进而提升了远处小目标的检测数量和检测样本，从而可以提升路口车辆的检测识别效率和准确率。
[0050]
为实现本发明实施例提供的方法，本发明实施例提供一种基于双相机的车辆目标检测系统，如图2所示，该系统包括：选择单元21、获取单元22、检测单元23、变换单元24、融
合单元25；
[0051]
选择单元21，用于从远景相机采集的远景图像和近景相机采集的近景图像中选择不同位置预设组数的映射点对；
[0052]
获取单元22，用于根据所述映射点对获取单应变换矩阵；
[0053]
所述获取单元22，还用于根据所述单应变换矩阵将所述远景图像映射在所述近景图像上并获取映射后远景图像四个顶点的坐标；
[0054]
检测单元23，用于根据所述远景图像和近景图像分别进行车辆目标检测；
[0055]
变换单元24，用于根据所述单应变换矩阵对所述远景图像对应的检测结果进行变换；
[0056]
融合单元25，用于根据所述映射后远景图像四个顶点的坐标，对所述远景图像对应的变换后的检测结果和所述近景图像对应的检测结果进行检测结果融合并输出。
[0057]
进一步地，所述获取单元22，具体用于根据公式h＝v(：，9)计算单应变换矩阵，其中，h为由9个浮点型数字构成的单应变换矩阵， [u s v]＝svd(a)，u是左奇异矩阵，s是对角矩阵，v是右奇异矩阵，a为中间变换矩阵，远景图像的映射点为(x,y)，近景图像的映射点为(x,y)。
[0058]
进一步地，所述选择单元21，还用于根据映射后远景图像四个顶点的坐标判断所述变换后的远景图像与所述近景图像的叠加是否符合预设条件；若不符合，则重新从远景相机采集的远景图像和近景相机采集的近景图像中选择不同位置预设组数的映射点对。
[0059]
进一步地，所述检测单元23，具体用于通过预置yolov5算法对所述远景图像和近景图像分别进行车辆目标检测。
[0060]
进一步地，所述融合单元25，具体用于从所述远景图像对应的变换后的检测结果和所述近景图像对应的检测结果中删除位于所述映射后远景图像四个顶点构成的四边形内部的近景图像对应的检测结果；保存位于所述四边形边界处的近景图像对应的检测结果及其他检测结果，并删除所述四边形边界处的远景图像对应的检测结果。
[0061]
本发明提供的一种基于双相机的车辆目标检测系统，根据所述单应变换矩阵将所述远景图像映射在所述近景图像上并获取映射后远景图像四个顶点的坐标，并根据所述映射后远景图像四个顶点的坐标，对所述远景图像对应的变换后的检测结果和所述近景图像对应的检测结果进行检测结果融合并输出，从而实现了利用远景相机提升近景相机远处的检测数量，进而提升了远处小目标的检测数量和检测样本，从而可以提升路口车辆的检测识别效率和准确率。
[0062]
应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情
况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
[0063]
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
[0064]
为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本技术公开的原理和新颖性特征的最广范围相一致。
[0065]
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
[0066]
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块 (illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性 (interchangeability)，上述的各种说明性部件(illustrativecomponents)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。
[0067]
本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(asic)，现场可编程门阵列或其它可编程逻辑系统，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算系统的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
[0068]
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动磁盘、cd-rom或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于asic中，asic可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用
户终端中的不同的部件中。
[0069]
在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于ram、rom、eeprom、cd-rom或其它光盘存储、磁盘存储或其它磁性存储系统，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(dsl)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc) 包括压缩磁盘、镭射盘、光盘、dvd、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。
[0070]
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。