多角度相机协同重要性排名约束的辅助驾驶方法与流程

1.本发明属于辅助驾驶技术领域，尤其涉及一种多角度相机协同重要性排名约束的辅助驾驶方法。


背景技术：

2.目前，车辆智能化正在进入快速发展的新阶段，自动化驾驶技术正在快速发展，但是，自动化驾驶仍然存在诸多问题，首当其冲的是目前自动驾驶技术还处于不成熟的阶段，尤其是正在运行阶段的车辆，主要集中于辅助驾驶阶段，即使是采用最新的自动驾驶系统，在驾驶过程中仍然需要人为的从中进行干预才能实现安全驾驶，并不能实现真正意义上的完全自动驾驶。与此同时，目前的自动驾驶系统并没有形成行业规范，没有相应的法律作为支撑。
3.随着深度学习的快速发展，深度学习逐步在传统行业的诸多方面实现智能化的应用，因其能够极大的提升智能化水平逐步得到了大范围的应用。如果在驾驶辅助系统中引入深度学习技术将非常有助于驾驶员驾驶车辆过程中安全行驶，然而，驾驶辅助系统往往基于摄像头显示，并没有完全的将车辆的摄像头充分利用，同时，摄像头之间往往是独立的个体，并没有实现摄像头之间的协同学习，在驾驶员驾驶过程中存在的事物，不能实现按照重要性进行警告。


技术实现要素：

4.为解决上述问题，本发明设计提供一种新的多角度相机协同重要性排名约束的辅助驾驶方法，用于驾驶员驾驶过程中重要事件排名和预警，从而提醒驾驶员注意周围环境存在的事物，增强驾驶员安全驾驶过程中的安全性。
5.为了实现上述目的，本发明实现辅助驾驶的具体过程为：（1）构建视频数据集：收集车辆行驶过程中产生的道路监控视频数据，并挑选质量比较高的视频数据构建视屏数据集，并采用框标注的方式将每个物体标注类别；（2）多角度相机协同约束特征提取：将不同相机的视频数据输入特征提取网络对物体进行多角度相机协同约束特征提取，得到物体的多尺度特征信息；（3）多角度相机协同约束物体检测：将步骤（2）得到的多尺度特征输入运动信息感知模块，运动信息感知模块感知到运动信息后，将运动信息转化为物体检测特征，采用相机间像素级关系约束计算相似度的基础上，引入图关系建模，通过引入的图关系将相似性约束以邻接矩阵的方式记忆下来，从而保证相机间相似性约束能够在其内部循环约束；（4）基于位置信息的特征编码：在步骤（3）得到的特征中通过添加位置信息的方式将准确的定位信息引入到特征维度，得到基于位置信息编码的像素级关系约束；（5）基于物体级特征关系建模：将相邻帧间物体级约束关系进行建模，通过对比当前物体在不同帧之间的差异将当前物体加权，得到物体级帧间关系约束；（6）基于图关系迭代的多角度物体级排名：在步骤（5）的基础上引入基于类别信息
约束的物体间特征约束，通过计算物体之间的特征之间的相似度，判定当前物体与周围物体之间的关系；（7）多角度相机协同重要性排名结果输出：采用将物体间类别关系约束与当前多尺度特征相结合的方式将当前物体级重要性排名结果输出；（8）网络训练：先将车辆行驶过程中的多角度拍摄的视频转化为单帧信息，整个数据集包含100段车辆行驶过程中的视频段，网络训练时，先将车辆行驶过程中的物体检测出来，然后将检测的结果映射为物体级特征信息，并结合类别信息输出最终的物体级重要性排名，训练完成后将精度最高的模型输出到本地文件；（9）网络测试：在网络的测试阶段，先将多角度拍摄的视频裁剪为图片后输入网络中，再加载网络精度最高的模型，并初始化网络参数，输出重要性排名结果，实现多角度相机协同重要性排名约束的辅助驾驶。
6.作为本发明的进一步技术方案，步骤（1）所述质量比较高的判定标准为：场景中存在多种类型的事物且场景变化大场景中的车辆和行人处于不断变化过程中。
7.作为本发明的进一步技术方案，步骤（2）提取特征的过程为：技术方案，步骤（2）提取特征的过程为：其中，代表第index个摄像机，代表resnet网络，代表第index个摄像机产生的多尺度特征，3,4,5代表resnet网络第3,4,5个resblock输出的特征层；代表将输出的特征在通道上叠加；代表卷积操作，将输出的特征降低维度，从而使得特征语义性更强；代表第index个摄像头产生的多尺度特征聚合。
8.作为本发明的进一步技术方案，步骤（3）所述运动信息感知模块感知的运动信息为：为：；将运动信息转化为物体检测特征的过程为：
其中，代表第index个摄像头的多尺度时空特征，代表3d卷积组成的blocks，包含3dconv、bn和relu，代表网络的输出，表示外围边界框，表示类别信息，表示外围边界框形成的掩膜；代表add、norm以及forward层组成的block。
9.作为本发明的进一步技术方案，步骤（4）的具体过程为：作为本发明的进一步技术方案，步骤（4）的具体过程为：其中，代表将外围边界框和类别信息以及掩膜信息与特征进行映射，从而得到基于proposal的特征信息；代表在特征生成的过程中引入位置信息；代表当前物体所处的位置进行编码。
10.作为本发明的进一步技术方案，步骤（5）的具体过程为：作为本发明的进一步技术方案，步骤（5）的具体过程为：作为本发明的进一步技术方案，步骤（5）的具体过程为：作为本发明的进一步技术方案，步骤（5）的具体过程为：其中，表示在包含空间位置特征信息中引入时序信息，代表
将特征进行拆分并加权；进行帧间加权后的proposal特征；代表自注意力机制，代表sigmoid函数。
11.作为本发明的进一步技术方案，步骤（6）得到的当前物体与周围物体之间的关系为：其中，代表输出的类别信息，代表对类别信息进行统计，采用统计条件概率的方式计算排名，即计算该类别在整个数据集中出现的概率，出现的次数越多，证明该物体的重要性跟高；代表将类别信息转化为图关系建模的邻接矩阵；代表将类别数据进行编码，从而能够输入到网络中；代表计算特征间关系约束；代表softmax函数。
12.作为本发明的进一步技术方案，步骤（7）输出的重要性排名结果为：其中代表全局池化层。
13.与现有技术相比，本发明解决了目前多摄像头只能提供多角度的展示，并不能实现协同智能化推荐和提醒的问题，能够将周围环境中存在的人、车辆等进行重要性排名，从而依据重要性程度排名的提醒驾驶员注意，实现辅助驾驶的智能化，不仅能够实现单一车辆的驾驶辅助，同时能够实现智能化监控，而且本发明提出的重要性排名技术能用于智慧工厂中安全生产，针对智慧工厂中重要的事件提醒工人注意。
附图说明
14.图1为本发明实现多角度相机协同重要性排名约束的辅助驾驶的流程框图。
15.图2为本发明提实现多角度相机协同重要性排名约束的辅助驾驶的网络框架示意图。
具体实施方式
16.下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
17.实施例：本实施例采用图1所示的流程和图2所示的网络实现多角度相机协同重要性排名约束的辅助驾驶系，具体实施包括如下步骤：
（1）构建多角度相机协同重要性排名约束的辅助驾驶系统视频数据集为构建多角度相机协同重要性排名约束的辅助驾驶数据集，通过将车辆行驶过程中产生的道路监控视频数据，并挑选质量比较高的作为训练数据，其中质量比较高的判定标准为：场景足够复杂，即场景中存在多种类型的事物，如车辆，行人等；场景变化大，即场景中的车辆和行人处于不断变化过程中；结合上述收集的数据，采用框标注的方式将每个物体标注类别，为了收集不同类别物体的重要性，本实施例采用眼动仪的方式标注，即，标注人员在观看驾驶视频的过程中，收集标注人员的眼动数据，在收集完成之后，对数据进行汇总，从而判定当前物体的重要性排名；（2）多角度相机协同约束特征提取目前辅助驾驶往往基于单一摄像头，或者多个单一摄像头，没有形成联合的摄像头系统，因此，造成车辆无法同时感知周围环境并根据周围环境及时做出驾驶调整，而多台摄像机之间存在非常紧密的联系，如果能够充分挖掘摄像头之间的协同关系，从而辅助驾驶员驾驶将对保证驾驶员安全具有非常重要的意义，同时车辆行驶过程中，物体的多尺度信息同样非常重要，因为不同大小的物体具有不同的尺度，如果在检测过程中能够引入多尺度信息将非常与助于检测到车辆行驶过程中的物体，本实施例提取多尺度特征的过程为：为：其中，代表第index个摄像机，代表resnet网络，代表第index个摄像机产生的多尺度特征，3,4,5代表resnet网络第3,4,5个resblock输出的特征层；代表将输出的特征在通道上叠加；代表卷积操作，将输出的特征降低维度，从而使得特征语义性更强；代表第index个摄像头产生的多尺度特征聚合；（3）多角度相机协同约束物体检测为检测车辆行驶过程中的物体，本实施例采用运动信息感知的方式检测物体，由于大多数物体处于运动的过程中，在网络的设计方面引入了运动信息感知模块，运动信息感知模块感知到运动信息后，需要将运动信息转化为物体检测特征，为充分挖掘特征之间的相似性约束，采用相机间像素级关系约束计算相似度的基础上，引入图关系建模，引入的图关系能够将相似性约束以邻接矩阵的方式记忆下来，从而保证相机间相似性约束能够在其内部循环约束，具体为：相机间相似性约束能够在其内部循环约束，具体为：；
其中，代表第index个摄像头的多尺度时空特征，代表3d卷积组成的blocks，包含3dconv、bn和relu，代表网络的输出，表示外围边界框，表示类别信息，表示外围边界框形成的掩膜；代表add、norm以及forward层组成的block；（4）基于位置信息的特征编码虽然步骤（3）能够极大的约束相机间相似性关系约束，但是，其关系约束为基于语义级别的相似性约束，在计算相似度的过程中，将会丢失位置信息，为弥补位置信息丢失造成的检测误差，采用在特征中添加位置信息的方式，来保证能够将准确的定位信息引入到特征维度，具体为：特征维度，具体为：其中，代表将外围边界框和类别信息以及掩膜信息与特征进行映射，从而得到基于proposal的特征信息；代表在特征生成的过程中引入位置信息；代表当前物体所处的位置进行编码；（5）基于物体级特征关系建模通过步骤（4）得到基于位置信息编码的像素级关系约束后，接下来需要将相邻帧间物体级约束关系进行建模，与步骤3）像素级关系约束不同，物体级帧间关系约束仅仅为局部区域的帧间像素约束，其仅仅需要对比当前物体在不同帧之间的差异，从而将当前物体加权：
其中，表示在包含空间位置特征信息中引入时序信息，代表将特征进行拆分并加权；进行帧间加权后的proposal特征；代表自注意力机制，代表sigmoid函数；（6）基于图关系迭代的多角度物体级排名通过步骤（5）方式建模的关系为物体级帧间关系约束，而重要性排名为物体间约束关系建模，因此，在建模中引入基于类别信息约束的物体间特征约束，通过计算物体之间的特征之间的相似度，判定当前物体与周围物体之间的关系：其中，代表输出的类别信息，代表对类别信息进行统计，采用统计条件概率的方式计算排名，即计算该类别在整个数据集中出现的概率，出现的次数越多，证明该物体的重要性跟高；代表将类别信息转化为图关系建模的邻接矩阵；代表将类别数据进行编码，从而能够输入到网络中；代表计算特征间关系约束；代表softmax函数；（7）多角度相机协同重要性排名结果输出为生成多相机物体间重要性排名，采用将物体间类别关系约束与当前多尺度特征相结合的方式将当前物体级重要性排名结果输出：其中，代表最终输出的重要性排名结果，代表全局池化层；（8）网络训练首先，将车辆行驶过程中的多角度拍摄的视频转化为单帧信息，在转化的过程中，
采用每间隔5帧取一帧的方式加快处理速度，同时，其标注信息也同样采用间隔标注的方式加快标注速度，整个数据集包含100段车辆行驶过程中的视频段，网络的训练过程为首先将车辆行驶过程中的物体检测出来，然后将检测的结果映射为物体级特征信息，并结合类别信息输出最终的物体级重要性排名，训练完成后将精度最高的模型输出到本地文件；（9）网络测试在网络的测试阶段，首先将多角度拍摄的视频裁剪为图片，并将图片输入到本专利的多角度相机协同重要性排名约束网络中，然后加载网络精度最高的模型，并初始化网络参数，网络输出重要性排名结果，从而依据重要性排名的结果对驾驶员的驾驶过程进行重要性预警，从而辅助驾驶员安全驾驶。
18.本文中未详细描述的网络结构、算法均为本领域通用技术。
19.需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。