一种微透镜阵列的目标追踪方法及系统与流程

1.本技术涉及图像处理领域，更具体地，涉及一种微透镜阵列的目标追踪方法及系统。


背景技术：

2.随着计算机科学领域在高精尖技术支持下取得巨大发展，计算机视觉领域的研究也取得了巨大进步，其中，光场成像技术被广泛应用。光场成像系统有多种实现方式，包括相机阵列、微透镜阵列(mla)、掩膜以及物镜阵列等。其中微透镜阵列成本低，效益高，因而被广泛地应用于商业领域。通常将微透镜阵列集成于光场相机中，用于目标检测和目标追踪。
3.现有技术中，车辆行驶状态检测包括采用图像识别技术的车辆检测、采用外观特征提取技术的人行横道检测和实线检测，然后根据人行横道与车辆的重叠部分大小，进而判断车辆邻近人行横道时的驾驶状态，然而这种判断方式容易受外界影响，准确率较低。
4.因此，如何在兼顾目标追踪的成本的同时实现驾驶状态的准确识别，是一项亟待解决的技术问题。


技术实现要素：

5.本发明实施例的目的在于提供一种微透镜阵列的目标追踪方法及系统，通过车辆与人行横道之间的最小距离以及当前车速，实现驾驶状态的准确识别。具体技术方案如下：
6.在本发明实施例的第一方面，提供一种微透镜阵列的目标追踪方法，包括：步骤s1、通过微透镜阵列采集目标车辆的图像数据；步骤s2、采集当前道路数据，检测所述当前道路数据中的行驶区域和车辆临停区域；步骤s3、检测所述行驶区域中的人行横道区域；步骤s4、将所述目标车辆的图像数据输入车辆追踪模型，输出所述目标车辆的位置数据；步骤s5、根据所述目标车辆的位置数据，确定所述目标车辆与所述行驶区域和所述车辆临停区域的位置关系，若处于所述行驶区域，则执行步骤s6，若处于车辆临停区域，则结束追踪；步骤s 6、根据所述人行横道区域，确定减速边缘框；根据所述目标车辆的图像数据，确定车辆边缘框；步骤s7、确定所述减速边缘框和所述车辆边缘框之间的最小距离；步骤s8、检测所述目标车辆当前时刻的车速；步骤s9、根据所述最小距离和所述当前时刻的车速，确定所述目标车辆的驾驶状态。
7.可选地，所述步骤s3、检测所述行驶区域中的人行横道区域，包括：通过边缘检测和直线检测，确定所述行驶区域中的人行横道区域。
8.可选地，所述直线检测具体是hough直线检测。
9.可选地，所述车辆追踪模型具体是yolo卷积神经网络。
10.可选地，所述步骤s4、将所述目标车辆的图像数据输入车辆追踪模型，输出所述目标车辆的位置数据，包括：对对所述目标车辆的图像数据进行预处理，获得统一图像数据；通过yolo卷积神经网络，将所述统一图像数据进行特征提取，获得高维图像数据；解码所述
高维图像数据，输出所述目标车辆的位置数据。
11.可选地，所述根据所述人行横道区域，确定减速边缘框，包括：通过二阶边缘检测算法，提取所述人行横道区域的垂直阵列和水平阵列；将所述垂直阵列和所述水平阵列结合输入卷积神经网络，检测所述人行横道区域的直线边缘图像；基于所述直线边缘图像，确定减速边缘框。
12.可选地，所述根据所述目标车辆的图像数据，确定车辆边缘框，包括：通过高斯滤波算法，获得所述目标车辆的所述图像数据的灰度值；基于所述灰度值，计算梯度值和梯度方向；基于所述梯度值和所述梯度方向，确定边缘上限和边缘下限；使用边缘上限和边缘下限，检测车辆边缘图像；基于所述车辆边缘图像，确定车辆边缘框。
13.可选地，所述步骤s9、根据所述最小距离和所述当前时刻的车速，确定所述目标车辆的驾驶状态，包括：
[0014][0015]
其中，st是所述目标车辆的驾驶状态，v是当前时刻的车速，v0是车速阈值， dis是最小距离，dis0是距离阈值。
[0016]
在本发明实施例的又一方面，提供一种微透镜阵列的目标追踪系统，包括：图像采集模块，用于通过微透镜阵列采集目标车辆的图像数据；道路采集模块，用于采集当前道路数据，检测所述当前道路数据中的行驶区域和车辆临停区域；人行横道检测模块，用于检测所述行驶区域中的人行横道区域；车辆位置确定模块，用于将所述目标车辆的图像数据输入车辆追踪模型，输出所述目标车辆的位置数据；位置关系确定模块，用于根据所述目标车辆的位置数据，确定所述目标车辆与所述行驶区域和所述车辆临停区域的位置关系；边缘框检测模块，用于根据所述人行横道区域，确定减速边缘框；根据所述目标车辆的图像数据，确定车辆边缘框；最小距离确定模块，用于确定所述减速边缘框和所述车辆边缘框之间的最小距离；车速检测模块，用于检测所述目标车辆当前时刻的车速；驾驶状态确定模块，用于根据所述最小距离和所述当前时刻的车速，确定所述目标车辆的驾驶状态。
[0017]
可选地，所述人行横道检测模块具体用于：通过边缘检测和直线检测，确定所述行驶区域中的人行横道区域。
[0018]
可选地，所述直线检测具体是hough直线检测。
[0019]
可选地，所述车辆追踪模型具体是yolo卷积神经网络。
[0020]
可选地，所述车辆位置确定模块具体用于：对所述目标车辆的图像数据进行预处理，获得统一图像数据；通过yolo卷积神经网络，将所述统一图像数据进行特征提取，获得高维图像数据；解码所述高维图像数据，输出所述目标车辆的位置数据。
[0021]
可选地，所述边缘框检测模块具体用于：通过二阶边缘检测算法，提取所述人行横道区域的垂直阵列和水平阵列；将所述垂直阵列和所述水平阵列结合输入卷积神经网络，检测所述人行横道区域的直线边缘图像；基于所述直线边缘图像，确定减速边缘框。
[0022]
可选地，所述边缘框检测模块具体用于：通过高斯滤波算法，获得所述目标车辆的所述图像数据的灰度值；基于所述灰度值，计算梯度值和梯度方向；基于所述梯度值和所述
梯度方向，确定边缘上限和边缘下限；使用边缘上限和边缘下限，检测车辆边缘图像；基于所述车辆边缘图像，确定车辆边缘框。
[0023]
可选地，所述驾驶状态确定模块具体用于：
[0024][0025]
其中，st是所述目标车辆的驾驶状态，v是当前时刻的车速，v0是车速阈值， dis是最小距离，dis0是距离阈值。
[0026]
有益效果：
[0027]
(1)通过微透镜阵列采集目标车辆的图像数据，提高图像精度并节约检测成本；进一步地，由于车辆作为追踪目标时，运动速度快，因此引入yolo卷积神经网络追踪目标车辆，以提升检测速度和精度。
[0028]
(2)检测当前道路数据中的行驶区域和车辆临停区域，确定行驶区域中的人行横道区域；根据目标车辆的位置数据，确定目标车辆是否处于行驶区域，若处于车辆临停区域，则结束追踪；通过多区域检测和划分，降低计算量，提高计算精度。
[0029]
(3)根据人行横道区域和目标车辆的图像数据，确定减速边缘框和车辆边缘框，确定二者之间的最小距离；根据最小距离和当前时刻的车速，确定所述目标车辆的驾驶状态；通过该方法提高驾驶状态识别的准确率和效率。
附图说明
[0030]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0031]
图1是本技术实施例提供的一种微透镜阵列的目标追踪方法的流程示意图；
[0032]
图2是本技术实施例提供的车辆追踪模型的工作流程示意图；
[0033]
图3是本技术实施例提供的一种微透镜阵列的目标追踪系统的结构示意图。
具体实施方式
[0034][0038][0039]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
[0040]
因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0041]
本技术实施例提供了一种微透镜阵列的目标追踪方法及系统，具体应用于图像处理领域，该方法包括通过微透镜阵列采集目标车辆的图像数据；采集当前道路数据，检测当前道路数据中的行驶区域和车辆临停区域；检测行驶区域中的人行横道区域；将目标车辆的图像数据输入神经网络，输出所述目标车辆的位置数据；若目标车辆处于行驶区域，则根据人行横道区域，确定减速边缘框；根据目标车辆的图像数据，确定车辆边缘框；确定减速边缘框和车辆边缘框之间的最小距离；检测目标车辆当前时刻的车速；根据最小距离和当前时刻的车速，确定目标车辆的驾驶状态。通过该方法提高驾驶状态识别的准确率和效率。
[0042]
该微透镜阵列的目标追踪方法及系统，具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为光场摄像机、车载相机、手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(personalcomputer，pc)等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。
[0043]
可以理解的是，本实施例的该微透镜阵列的目标追踪方法及系统可以是在终端上执行的，也可以是在服务器上执行，还可以由终端和服务器共同执行的。以上举例不应理解为对本技术的限制。
[0044]
图1示出了本技术实施例提供的微透镜阵列的目标追踪方法的流程示意图，请参考图1，具体包括如下步骤：
[0045]
s110、通过微透镜阵列采集目标车辆的图像数据。
[0046]
其中，微透镜阵列是由通光孔径和浮雕深度为微米级的透镜组成的阵列，最小功能单元可以是球面镜、非球面镜、棱镜等，能够在微光学角度实现聚焦、成像功能，由于微透镜阵列单元尺寸小、集成度高，因此可以将其用于构成光场相机。通常微透镜阵列包括折射型微透镜阵列和衍射型微透镜阵列。
[0047]
可选地，可以使用无线通信技术将采集的目标车辆的图像数据上传到服务器，服务器接收相关数据并存储。
[0048]
需要说明的是，目标车辆的图像数据可以采用实时采样方式或等效时间采样方式获取，在此不做具体限定。
[0049]
由此，提高图像精度并节约检测成本。
[0050]
s120、采集当前道路数据，检测所述当前道路数据中的行驶区域和车辆临停区域。
[0051]
s130、检测所述行驶区域中的人行横道区域。
[0052]
其中，可以通过边缘检测和直线检测，确定所述行驶区域中的人行横道区域。
[0053]
具体地，估计行驶区域，然后可以采用边缘检测和直线检测的方法检测实线，进一步地，可以以车辆为基准，将与车身平行的实线作为车道线，将与车身垂直的实线作为人行横道线，将多条距离处于预设阈值内的人行横道线作为一个人行横道区域。
[0054]
可选地，边缘检测可以是二阶边缘检测算法，直线检测可以是hough直线检测算法。具体地，对行驶区域中可能组成为直线的点进行转换运算，统计直角坐标系中有交点的图像个数，当交点大于预设数量时，则行驶区域中存在直线，并计算出行驶区域的直线的斜率和截距；进一步地，可以将斜率小于预设角度的实线作为车道线，反之作为人行横道线。
[0055]
s140、将所述目标车辆的图像数据输入车辆追踪模型，输出所述目标车辆的位置数据。
[0056]
其中，车辆追踪模型可以是yolo卷积神经网络。
[0057]
s150、根据所述目标车辆的位置数据，确定所述目标车辆与所述行驶区域和所述车辆临停区域的位置关系，若处于所述行驶区域，则执行步骤s6，若处于车辆临停区域，则结束追踪。
[0058]
其中，当前道路数据还可以包括非机动车区域，若目标车辆处于车辆临停区域或非机动车区域，则车辆处于未驾驶状态，无需检测该车辆的驾驶状态。
[0059]
可选地，可以建立空间坐标系，确定目标车辆的位置坐标以及行驶区域、车辆临停区域的位置坐标，基于位置坐标判断目标车辆是否处于行驶区域。
[0060]
综上，通过多区域检测和划分，降低计算量，提高计算精度。
[0061]
s160、根据所述人行横道区域，确定减速边缘框；根据所述目标车辆的图像数据，确定车辆边缘框。
[0062]
在一种实施方式中，可以通过二阶边缘检测算法确定减速边缘框，具体步骤如下：
[0063]
s161、通过二阶边缘检测算法，提取所述人行横道区域的垂直阵列和水平阵列。
[0064]
其中，可以选用基于拉普拉斯的边缘检测算法，计算灰度图在垂直方向上和水平方向上的二阶导数，得到垂直阵列和水平阵列。
[0065]
s162、将所述垂直阵列和所述水平阵列结合输入卷积神经网络，检测所述人行横道区域的直线边缘图像。
[0066]
s163、基于所述直线边缘图像，确定减速边缘框。
[0067]
其中，由于人行横道是由多条平行的直线组成，因此减速边缘框优选为四边形。
[0068]
在又一种实施方式中，可以通过以下步骤确定车辆边缘框：
[0069]
s164、通过高斯滤波算法，获得所述目标车辆的所述图像数据的灰度值。
[0070]
其中，对于一个位置(m,n)的像素点，其灰度值为f(m,n)，则经过高斯滤波后的灰度值为：
[0071][0072]
s165、基于所述灰度值，计算梯度值和梯度方向。
[0073]
s166、基于所述梯度值和所述梯度方向，确定边缘上限和边缘下限。
[0074]
s167、使用边缘上限和边缘下限，检测车辆边缘图像。
[0075]
其中，边缘上限和边缘下限可以分别表示为maxval和minval，其中大于 maxval的像素点被检测为边缘，小于minval的像素点被检测为非边缘；对于中间的像素点，如果与确定为边缘的像素点邻接，则判定为边缘，反之为非边缘。
[0076]
s168、基于所述车辆边缘图像，确定车辆边缘框。
[0077]
其中，由于不同车辆的车型有所差异，因此车辆边缘框可以是多边形。
[0078]
s170、确定所述减速边缘框和所述车辆边缘框之间的最小距离。
[0079]
可选地，当减速边缘框为四边形，车辆边缘框是多边形时，可视为计算多边形和四边形之间的最小距离；其计算方式在此不做具体限定。
[0080]
s180、检测所述目标车辆当前时刻的车速。
[0081]
其中，可以利用视频传感设备采集道路上的交通信息；连续拍摄目标车辆的图片，比较前后视频传感设备采集到的图样，由无线或者有线传输设备输送到服务器进行储存和分析，经由计算其计算后，得到车速。
[0082]
s190、根据所述最小距离和所述当前时刻的车速，确定所述目标车辆的驾驶状态。
[0083]
在一种实施方式中，步骤s190可以具体包括以下步骤：
[0084]
若减速边缘框和车辆边缘框之间的最小距离大于等于预设的距离阈值，则目标车辆处于正常驾驶状态；若减速边缘框和车辆边缘框之间的最小距离小于预设的距离阈值且当前时刻的车速小于预设的车速阈值，则目标车辆处于安全驾驶状态；若减速边缘框和车辆边缘框之间的最小距离小于预设的距离阈值且当前时刻的车速大于等于预设的车速阈值，则目标车辆处于危险驾驶状态。
[0085][0086]
其中，st是所述目标车辆的驾驶状态，v是当前时刻的车速，v0是车速阈值， dis是最小距离，dis0是距离阈值。
[0087]
由上可知，本技术实施例能够提高驾驶状态识别的准确率和效率。
[0088]
图2是本技术实施例提供的车辆追踪模型的工作流程示意图，具体包括以下步骤：
[0089]
s210、对所述目标车辆的图像数据进行预处理，获得统一图像数据。
[0090]
其中，预处理可以包括尺寸缩放；具体地，通过色块填充的方式，将所述目标车辆的图像数据调整为yolo卷积神经网络能够处理的图像大小。
[0091]
s220、通过yolo卷积神经网络，将所述统一图像数据进行特征提取，获得高维图像数据。
[0092]
其中，由于yolov3对yolov2进行了改进，增加了残差模块以及深层特征与浅层特征的通道拼接，提出了一种darknet的网络结构，在保证检测速度的同时，能够适应被检测目标的大小，提升检测精度，因此可以采用yolov3提取高维图像数据。
[0093]
具体地，卷积神经网络在低维、中维、高维三个维度上进行特征融合，并进行卷积和回归处理，输出三个维度的特征图，生成的特征图可以对应原始的图像数据。
[0094]
可选地，高维图像数据可以分别是76
×
76
×
255、38
×
38
×
255、19
×
19
×ꢀ
255的三组高维度数据。
[0095]
进一步地，还可以采用yolov4提取高维图像数据，以进一步提升检测精度。具体地，采用spp结构使卷积在一次运算过程中获得多个维度的特征数据，提高网络特征的传递能力，减少网络运算时间。
[0096]
s230、解码所述高维图像数据，输出所述目标车辆的位置数据。
[0097]
通过本实施方式引入yolo卷积神经网络追踪目标车辆，可以提升检测速度和精度。
[0098]
为实现上述方法类实施例，本实施例还提供一种微透镜阵列的目标追踪系统，如图3所示，该系统包括：
[0099]
图像采集模块310，用于通过微透镜阵列采集目标车辆的图像数据。
[0100]
道路采集模块320，用于采集当前道路数据，检测所述当前道路数据中的行驶区域和车辆临停区域。
[0101]
人行横道检测模块330，用于检测所述行驶区域中的人行横道区域。
[0102]
车辆位置确定模块340，用于将所述目标车辆的图像数据输入车辆追踪模型，输出所述目标车辆的位置数据。
[0103]
位置关系确定模块350，用于根据所述目标车辆的位置数据，确定所述目标车辆与所述行驶区域和所述车辆临停区域的位置关系。
[0104]
边缘框检测模块360，用于根据所述人行横道区域，确定减速边缘框；根据所述目标车辆的图像数据，确定车辆边缘框。
[0105]
最小距离确定模块370，用于确定所述减速边缘框和所述车辆边缘框之间的最小距离。
[0106]
车速检测模块380，用于检测所述目标车辆当前时刻的车速。
[0107]
驾驶状态确定模块390，用于根据所述最小距离和所述当前时刻的车速，确定所述目标车辆的驾驶状态。
[0108]
可选地，所述人行横道检测模块330具体用于：通过边缘检测和直线检测，确定所述行驶区域中的人行横道区域。
[0109]
可选地，所述直线检测具体是hough直线检测。
[0110]
可选地，所述车辆追踪模型具体是yolo卷积神经网络。
[0111]
可选地，所述车辆位置确定模块340具体用于：对所述目标车辆的图像数据进行预处理，获得统一图像数据；通过yolo卷积神经网络，将所述统一图像数据进行特征提取，获得高维图像数据；解码所述高维图像数据，输出所述目标车辆的位置数据。
[0112]
可选地，所述边缘框检测模块360具体用于：通过二阶边缘检测算法，提取所述人行横道区域的垂直阵列和水平阵列；将所述垂直阵列和所述水平阵列结合输入卷积神经网络，检测所述人行横道区域的直线边缘图像；基于所述直线边缘图像，确定减速边缘框。
[0113]
可选地，所述边缘框检测模块360具体用于：通过高斯滤波算法，获得所述目标车辆的所述图像数据的灰度值；基于所述灰度值，计算梯度值和梯度方向；基于所述梯度值和所述梯度方向，确定边缘上限和边缘下限；使用边缘上限和边缘下限，检测车辆边缘图像；基于所述车辆边缘图像，确定车辆边缘框。
[0114]
可选地，所述驾驶状态确定模块390具体用于：
[0115][0116]
其中，st是所述目标车辆的驾驶状态，v是当前时刻的车速，v0是车速阈值， dis是最小距离，dis0是距离阈值。
[0117]
由此该微透镜阵列的目标追踪系统，引入微透镜阵列和yolo卷积神经网络追踪目标车辆，以提升检测速度和精度，同时通过多区域检测和划分，降低计算量，提高计算精度，进而根据人行横道区域和目标车辆的图像数据，确定减速边缘框和车辆边缘框，确定二者之间的最小距离；根据最小距离和当前时刻的车速，确定所述目标车辆的驾驶状态；通过该方法提高驾驶状态识别的准确率和效率。
[0118]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置中模块/单元/子单元/组件的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0119]
在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0120]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0121]
另外，在本技术提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0122]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0123]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0124]
最后应说明的是：以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围。都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。