限高装置下边缘位置检测模型训练方法和系统与流程

1.本发明涉及辅助驾驶技术领域，具体涉及一种基于深度学习的限高装置下边缘位置检测模型训练方法和系统。


背景技术：

2.随着汽车技术的不断发展，大型客车、大型货车以及房车等车身高度比较高的车型数量持续增长。然而，由于大型车辆驾驶员的疏忽或无法准确估计限高装置位置等原因，车辆与限高装置发生碰撞而造成人员伤亡以及财产损失的事故频繁发生。
3.为了在行车过程中及时检测到限高装置，通常需要训练检测模型。而基于常规的限高装置检测模型做检测时，由于检测的是限高装置的整体，而且检测的部分通常会包含许多背景，因而无法准确计算出限高装置的高度。并且，限高装置的种类繁多，数据采集无法涵盖到全部种类，因此常规的检测方案会产生大量的漏检情况，或需要使用大规模数据集进行训练，模型训练过程复杂。
4.因此，提供一种基于深度学习的限高装置下边缘位置检测模型训练方法和系统，以提高训练得出的模型效果，使得后续限高装置的检测准确性较高，以保证行车安全，就成为本领域技术人员亟待解决的问题。


技术实现要素：

5.为此，本发明实施例提供一种基于深度学习的限高装置下边缘位置检测模型训练方法和系统，以提高训练得出的模型效果，使得后续限高装置的检测准确性较高，以保证行车安全。
6.为了实现上述目的，本发明实施例提供如下技术方案：一种基于深度学习的限高装置下边缘位置检测模型训练方法，所述方法包括：采集目标区域内的海量图像，并基于海量图像构建限高装置的图像数据集，并按预设比例将所述图像数据集划分为训练集和测试集；提取所述海量图像中的所有限高装置，并对各所述限高装置的下边缘位置进行特征标注；利用深度学习网络对所述训练集中的限高装置进行模型训练，以得到限高装置下边缘位置检测模型。
7.进一步地，所述基于海量图像构建限高装置的图像数据集，具体包括：使用完成标定的双目相机，在汽车的真实驾驶环境中，采集所有目标区域内所遇到的所有限高装置，所述目标区域为存在限高装置的区域；在采集过程中应保证汽车以预设车速向前行驶，采集从限高装置在双目相机成像开始直到车辆通过限高装置无法采集到限高数据为止的所有图像帧；将所有图像帧形成所述图像数据集。
8.进一步地，训练集与测试集的预设比例为4:1。
9.进一步地，所述对各所述限高装置的下边缘位置进行特征标注，具体包括：以直线或折线的方式标注下边缘；各图像中包含的所有限高装置均分别进行标注，且不同种类的限高装置利用不同的直线进行标注；对每个标注的限高装置进行限高类别标注。
10.进一步地，所述深度学习网络为u-net网络。
11.进一步地，所述方法还包括：对所述限高装置下边缘位置检测模型进行测试和误差分析，以得到最优的限高装置下边缘位置检测模型。
12.进一步地，所述对所述限高装置下边缘位置检测模型进行测试，具体包括：将采集到的限高数据的测试集输入到所述限高装置下边缘位置检测模型中进行测试；获取限高装置下边缘位置检测模型输出的限高装置下边缘的关键点位置信息置；获取限高装置的检测置信度，并根据检测置信度的数值大小判断检测的可靠性；判定检测置信度大于或者等于置信度阈值，则以所述检测置信度对应的检测结果作为实际的检测结果；判定检测置信度小于置信度阈值，则不将该检测结果作为实际的检测结果。
13.本发明还提供一种基于深度学习的限高装置下边缘位置检测模型训练系统，所述系统包括：数据集构建单元，用于采集目标区域内的海量图像，并基于海量图像构建限高装置的图像数据集，并按预设比例将所述图像数据集划分为训练集和测试集；边缘特征标注单元，用于提取所述海量图像中的所有限高装置，并对各所述限高装置的下边缘位置进行特征标注；检测模型训练单元，用于利用深度学习网络对所述训练集中的限高装置进行模型训练，以得到限高装置下边缘位置检测模型。
14.本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
15.本发明还提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
16.本发明所提供的基于深度学习的限高装置下边缘位置检测模型训练方法和系统，通过采集目标区域内的海量图像，并基于海量图像构建限高装置的图像数据集，并按预设比例将所述图像数据集划分为训练集和测试集；并提取所述海量图像中的所有限高装置，并对各所述限高装置的下边缘位置进行特征标注；利用深度学习网络对所述训练集中的限高装置进行特征训练，以得到限高装置下边缘位置检测模型。这样，该方法和系统通过将下边缘位置增加到特征标注的维度中，据此训练处的模型准确性较高，能够准确定位限高装置的下边缘位置，该方法和系统不限制限高装置的种类，漏检情况较少，并可以准确的检测限高装置的下边缘位置，使得后续对限高装置的测高可以更加精准测出限高装置的最低通
过高度。
附图说明
17.为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
18.本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
19.图1为本发明所提供的基于深度学习的限高装置下边缘位置检测模型训练方法一种具体实施方式的流程图；图2-图4为图像特征标记图；图5为本发明所提供的基于深度学习的限高装置下边缘位置检测模型训练系统一种具体实施方式的结构框图。
具体实施方式
20.以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.在一种具体实施方式中，如图1所示，本发明所提供的基于深度学习的限高装置下边缘位置检测模型训练方法包括：s1：采集目标区域内的海量图像，并基于海量图像构建限高装置的图像数据集，并按预设比例将所述图像数据集划分为训练集和测试集；其中，训练集与测试集的预设比例为4:1。
22.具体地，在获取海量图像时，使用完成标定的双目相机，在汽车的实际驾驶场景中采集所遇到的限高装置，如限高杆、桥洞、横杆以及其他与大型车辆在高度方向上有碰撞风险的限高装置。一个场景数据的采集应该满足从限高装置在相机中成像开始，直到车辆通过限高装置无法采集到限高装置的数据为止。随后将采集到的数据按照4:1划分为训练集与测试集，保证训练集与测试集无交集，即测试集为独立的一批数据。其中，采集到的限高装置示例图如图2所示。
23.s2：提取所述海量图像中的所有限高装置，并对各所述限高装置的下边缘位置进行特征标注。
24.其中，所述基于海量图像构建限高装置的图像数据集，具体包括以下步骤：s21：使用完成标定的双目相机，在汽车的真实驾驶环境中，采集所有目标区域内所遇到的所有限高装置；s22：在采集过程中应保证汽车以预设车速向前行驶，采集从限高装置在双目相机
成像开始直到车辆通过限高装置无法采集到限高数据为止的所有图像帧；s23：将所有图像帧形成所述图像数据集。
25.所述对各所述限高装置的下边缘位置进行特征标注，具体包括以下步骤：s201：以直线或折线的方式标注下边缘；s202：各图像中包含的所有限高装置均分别进行标注，且不同的限高装置利用不同的直线进行标注；s203：对每个标注的限高装置进行限高类别标注。
26.也就是说，通过双目相机采集后的海量图像需要进行标注，标注后构建图像数据集，或者构建数据集后进行标注。可使用labelme软件对限高装置的下边缘进行标注。具体的标注方式如图3所示。其中，标注的过程中应满足如下要求：1）对限高装置的标注应该以直线或折线的方式标注下边缘，保证所标注的直线不能附在背景上面；2）图像中包含的多有限高装置都应予以标注，并用多个直线进行标注；3）每个标注的限高装置都应标注其类别，不同种类的限高装置应有不同的命名，如限高杆、桥洞、横杆等。
27.s3：利用深度学习网络对所述训练集中的限高装置进行模型训练，以得到限高装置下边缘位置检测模型。
28.由于限高装置检测任务需要在车辆的真实驾驶场景中实时进行，因此，对于深度学习的网络有两个硬性要求。首先，要求深度学习网络的前向推理时间要满足实时性的要求，以此满足限高装置检测算法的可落地性。其次，要求深度学习网络训练的模型足够高效，尽可能减少误检与漏检的情况，以此提高限高装置检测算法的实用性。基于上述要求，并结合实际限高装置下边缘检测的任务，优选地，选择u-net作为限高装置下边缘检测的深度学习网络。
29.在一些使用场景中，选择u-net进行模型训练时，将采集到的限高数据的训练集与标注完成的对应的标签输入u-net网络中进行训练。选择每20个迭代周期保存一次模型的参数。在模型训练过中，模型的预测值与输入的训练集标签经过计算得到损失值，观察训练过程的损失大小，当模型的损失值不再下降后停止训练，在保存的模型中选择损失最小的模型作为限高装置下边缘位置检测模型。
30.为了提高模型训练的效果，所述方法还包括：s4：对所述限高装置下边缘位置检测模型进行测试和误差分析，以得到优化后的限高装置下边缘位置检测模型。
31.其中，所述对所述限高装置下边缘位置检测模型进行测试，具体包括以下步骤：s41：将采集到的限高数据的测试集输入到所述限高装置下边缘位置检测模型中进行测试；s42：获取限高装置下边缘位置检测模型输出的包围框的位置信息，并将包围框的信息可视化，得到限高装置的位置；s43：获取限高装置的检测置信度，并根据检测置信度的数值大小判断检测的可靠性；s44：判定检测置信度大于或者等于置信度阈值，则以所述检测置信度对应的检测
结果作为实际的检测结果；s45：判定检测置信度小于置信度阈值，则重新训练模型。
32.具体地，在一些实施例中，将采集到的限高数据的测试集输入到保存的限高装置下边缘检测模型中进行测试，模型预测图像中的限高装置的下边缘的关键点位置信息，将关键点信息可视化到图像中的结果如图4所示。其中左上部分为对横杆的检测结果，中下部分为对限高杆的检测结果。
33.根据模型的检测结果与限高数据中测试集的标签，对限高装置下边缘检测的模型测试的结果进行误差分析。
34.在误差分析时，选择交并比（intersection over union，iou）作为关键点的限高装置检测算法的评价指标。其中，交并比的计算公式为：交并比 =真阳性 / （假阳性 真阳性 假阴性）例如，对于基于深度学习的限高装置下边缘检测结果，预测的下边缘的关键点的位置与标签中的真值点的位置相同时，记为真阳性。如果模型预测某个位置有关键点，但实际上该位置没有关键点，记为假阳性。如果真值中某个位置有点，但是模型预测该位置没有点，记为假阴性。
35.这样，在上述具体实施方式中，本发明所提供的基于深度学习的限高装置下边缘位置检测模型训练方法，通过将下边缘位置增加到特征标注的维度中，据此训练处的模型准确性较高，能够准确定位限高装置的下边缘位置，提高了训练得出的模型效果，使得后续限高装置的检测准确性较高，进而保证了行车安全。并且，使用基于深度学习的限高装置下边缘检测方法不仅可以精确回归出限高装置的下边缘，由于模型重点学习的是限高装置的下边缘特征，因此不需要大量样本即可拥有很强的泛化能力，从而能准确的计算出限高装置的具体最低限行高度，从而使得大型车辆能够顺利通过限高装置，或提前获得不可通过的预警信号。基于深度学习的关键点的限高装置检测方法，经过数据的采集划分与标注，模型的训练以及测试，最后通过iou评价指标进行误差分析判断模型预测结果的优劣。此方法训练出的模型可以高效的检测出限高装置的下边缘的具体位置，通过将下边缘位置增加到特征标注的维度中，据此训练出的模型准确性较高，能够准确定位限高装置的下边缘位置，该方法和系统不限制限高装置的种类，漏检情况较少，并可以准确的检测限高装置的下边缘位置，使得后续对限高装置的测高可以更加精准测出限高装置的最低通过高度。进而大型汽车可以根据具体的下边缘的位置信息可以判断出车辆可以通过限高装置，或提前预知无法通过该装置，从而做出进一步决策。
36.除了上述方法，本发明还提供一种基于深度学习的限高装置下边缘位置检测模型训练系统，如图5所示，所述系统包括：数据集构建单元100，用于采集目标区域内的海量图像，并基于海量图像构建限高装置的图像数据集，并按预设比例将所述图像数据集划分为训练集和测试集；边缘特征标注单元200，用于提取所述海量图像中的所有限高装置，并对各所述限高装置的下边缘位置进行特征标注；检测模型训练单元300，用于利用深度学习网络对所述训练集中的限高装置进行特征训练，以得到限高装置下边缘位置检测模型。
37.这样，在上述具体实施方式中，本发明所提供的基于深度学习的限高装置下边缘
位置检测模型训练系统，通过将下边缘位置增加到特征标注的维度中，据此训练处的模型准确性较高，能够准确定位限高装置的下边缘位置，提高了训练得出的模型效果，使得后续限高装置的检测准确性较高，进而保证了行车安全。并且，使用基于深度学习的限高装置下边缘检测方法不仅可以精确回归出限高装置的下边缘，由于模型重点学习的是限高装置的下边缘特征，因此不需要大量样本即可拥有很强的泛化能力，从而能准确的计算出限高装置的具体最低限行高度，从而使得大型车辆能够顺利通过限高装置，或提前获得不可通过的预警信号。基于深度学习的关键点的限高装置检测方法，经过数据的采集划分与标注，模型的训练以及测试，最后通过iou评价指标进行误差分析判断模型预测结果的优劣。该方案训练出的模型可以高效的检测出限高装置的下边缘的具体位置，通过将下边缘位置增加到特征标注的维度中，据此训练出的模型准确性较高，能够准确定位限高装置的下边缘位置，该方法和系统不限制限高装置的种类，漏检情况较少，并可以准确的检测限高装置的下边缘位置，使得后续对限高装置的测高可以更加精准测出限高装置的最低通过高度。进而大型汽车可以根据具体的下边缘的位置信息可以判断出车辆可以通过限高装置，或提前预知无法通过该装置，从而做出进一步决策。
38.本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
39.与上述实施例相对应的，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种双目相机深度标定系统执行如上所述的方法。
40.在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器（digital signal processor，简称dsp）、专用集成电路（application specific工ntegrated circuit，简称asic）、现场可编程门阵列（fieldprogrammable gate array，简称fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
41.可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
42.存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
43.其中，非易失性存储器可以是只读存储器（read-only memory，简称rom）、可编程只读存储器（programmable rom，简称prom）、可擦除可编程只读存储器（erasable prom，简称eprom）、电可擦除可编程只读存储器（electrically eprom，简称eeprom）或闪存。
44.易失性存储器可以是随机存取存储器（random access memory，简称ram），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存
储器（static ram，简称sram）、动态随机存取存储器（dynamic ram，简称dram）、同步动态随机存取存储器（synchronous dram，简称sdram）、双倍数据速率同步动态随机存取存储器（double data ratesdram，简称ddrsdram）、增强型同步动态随机存取存储器（enhanced sdram，简称esdram）、同步连接动态随机存取存储器（synchlink dram，简称sldram）和直接内存总线随机存取存储器（directrambus ram，简称drram）。
45.本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
46.本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
47.以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。