一种基于无人机的无牌渣土车识别方法及系统与流程

1.本技术涉及道路监控技术领域，具体而言，涉及一种基于无人机的无牌渣土车识别方法及系统。


背景技术：

2.渣土车又叫拉土车或运渣车，是指车辆用途为运输沙石等建筑材料的卡车，渣土车体积庞大，驾驶室高，存在很多视觉盲区，同时，由于转弯时存在内轮差，特别容易导致事故。
3.渣土车司机为了逃避道路电子监控一般会无牌上路或采用遮挡车牌等方式，这给其他交通参与方（比如，小轿车及行人等）带来的极大的安全隐患。


技术实现要素：

4.为了至少克服现有技术中的上述不足，本技术的目的在于提供一种基于无人机的无牌渣土车识别方法及系统，首先，获取无人机拍摄的目标车辆的多个位置方向的车辆图像；接着，基于多个位置方向的车辆图像构建得到所述目标车辆的三维模型；再接着，将目标车辆的三维模型输入到训练好的车辆类型识别模型中进行识别；然后，若车辆类型识别模型识别目标车辆的类型为渣土车，则从多个位置方向的车辆图像中检测是否存在满足车牌字符规则的车牌信息；最后，若检测不到满足车牌字符规则的车牌信息则将获取的车辆图像及所述无人机的拍摄地点发送给通信终端。在上述方案中，通过多角度拍摄的车辆图像构建目标车辆的三维模型，并基于目标车辆的三维模型对目标车辆的类型进行识别，相对于采用二维图像中的目标车辆进行识别可以确保目标车辆类型识别的准确性。另外，在目标车辆为渣土车时，通过对多个位置方向的车辆图像进行车牌检测，以避免车牌漏检的问题。在检测不到车牌后将车辆图像及车辆地点发送给通信终端便于手持该通信终端的巡警及时进行现场处理，避免无牌渣土车造成严重交通事故，确保交通参与方的交通安全。
5.第一方面，本技术提供一种基于无人机的无牌渣土车识别方法，应用于分别与无人机及通信终端通信连接的控制中心，所述方法包括：获取所述无人机拍摄的目标车辆的多个位置方向的车辆图像，其中，所述车辆图像包括车头图像，车尾图像及车身两侧图像；基于所述多个位置方向的车辆图像构建得到所述目标车辆的三维模型；将所述目标车辆的三维模型输入到训练好的车辆类型识别模型中进行识别；若所述车辆类型识别模型识别所述目标车辆的类型为渣土车，则从所述多个位置方向的车辆图像中检测是否存在满足车牌字符规则的车牌信息；若检测不到满足车牌字符规则的车牌信息则将获取的车辆图像及所述无人机的拍摄地点发送给通信终端。
6.在一种可能的实现方式中，所述基于所述多个位置方向的车辆图像构建得到所述目标车辆的三维模型的步骤，包括：
识别所述目标车辆的不同部位在所述多个位置方向的车辆图像中的二维位置坐标以及所述多个位置方向的车辆图像对应的拍摄角度；获取与所述多个位置方向的车辆图像对应的三维位置坐标集合，根据所述三维位置坐标集合与所述多个位置方向的车辆图像中目标车辆对应位置点之间的对应关系，获取所述目标车辆中各位置点对应的三维位置坐标；基于所述多个位置方向的车辆图像得到多个目标车辆方位图，基于车辆检测模型中的特征识别层对所述多个位置方向的车辆图像进行特征识别处理，得到与每个目标车辆方位图对应的目标车辆位置特征信息；识别与所述目标车辆位置特征信息对应的位置坐标，将在所述多个位置方向的车辆图像中与所述位置坐标对应的区域作为车辆方位区域；基于所述车辆方位区域以及对应的拍摄角度，将所述车辆方位区域中相同三维位置坐标的位置进行拼接得到所述目标车辆的三维模型。
7.在一种可能的实现方式中，所述将所述目标车辆的三维模型输入到训练好的车辆类型识别模型中进行识别的步骤，包括：获取待进行车辆类型识别的目标车辆的三维模型及车辆样本模型；调用车辆类型识别模型中的三维模型识别子模型分别对所述目标车辆的三维模型及车辆样本模型进行模型参数提取，并对提取的模型参数进行参数筛选处理，根据参数筛选处理后的参数得到所述目标车辆的三维模型的第一车辆类型结果及所述车辆样本模型的第二车辆类型结果；调用车辆类型识别模型中的车辆类型匹配子模型对所述第一车辆类型结果对应的第一目标模型区域及所述第二车辆类型结果对应的第二目标模型区域进行特征参数提取，并将提取的两者特征参数进行比对，根据比对结果识别所述目标车辆的三维模型与所述车辆样本模型是否匹配，其中，所述特征参数包括车头与车身占比、车身的长度与车身的高度占比、翻斗车箱与车身占比及翻斗的高度与车身的高度占比；若所述目标车辆的三维模型与所述车辆样本模型不匹配，则识别所述目标车辆的三维模型及车辆样本模型对应的模型类别，根据所述模型类别选择车辆类型识别模型中的深度学习子模型对所述目标车辆的三维模型及车辆样本模型进行类型识别处理；其中，所述深度学习子模型的模型结构相较于所述三维模型识别子模型及所述车辆类型匹配子模型的模型结构复杂；其中，将所述第一车辆类型结果对应的模型区域及所述第二车辆类型结果对应的模型区域进行尺寸归一化处理；将归一化处理后的第一车辆类型结果对应的模型区域作为第一目标模型区域，将归一化处理后的第二车辆类型结果对应的模型区域作为第二目标模型区域；或者，将归一化处理后的第一车辆类型结果对应的模型区域中的设定部分区域作为第一目标模型区域，将归一化处理后的第二车辆类型结果对应的模型区域中的设定部分区域作为第二目标模型区域。
8.在一种可能的实现方式中，所述三维模型识别子模型包括至少一个参数提取层、至少一个参数筛选层及至少一个参数分类层；调用三维模型识别子模型分别对所述目标车辆的三维模型及车辆样本模型进行模型参数提取，并对提取的模型参数进行参数筛选处理，根据参数筛选处理后的参数得到所述目标车辆的三维模型的第一车辆类型结果及所述
车辆样本模型的第二车辆类型结果的步骤，包括：采用三维模型识别子模型中的参数提取层分别对所述目标车辆的三维模型及车辆样本模型进行模型参数提取，将提取的模型参数输入到所述三维模型识别子模型中的参数筛选层中；采用所述三维模型识别子模型中的参数筛选层分别对所述目标车辆的三维模型及车辆样本模型的模型参数进行参数筛选处理，将参数筛选处理后的参数输入所述三维模型识别子模型中的参数分类层；采用所述三维模型识别子模型中的参数分类层根据所述目标车辆的三维模型及车辆样本模型对应的参数筛选处理后的参数进行分类，得到所述目标车辆的三维模型的第一车辆类型结果及所述车辆样本模型的第二车辆类型结果；所述车辆类型匹配子模型包括至少一个参数提取层、至少一个参数筛选层及至少两个参数分类层，所述调用车辆类型匹配子模型对所述第一车辆类型结果对应的第一目标模型区域及所述第二车辆类型结果对应的第二目标模型区域进行特征参数提取，并将提取的两者特征参数进行比对，根据比对结果识别所述目标车辆的三维模型与所述车辆样本模型是否匹配的步骤，包括：采用车辆类型匹配子模型中的参数提取层分别对所述第一车辆类型结果对应的第一目标模型区域及所述第二车辆类型结果对应的第二目标模型区域进行参数提取，将提取的参数输入所述车辆类型匹配子模型中的参数筛选层；采用所述车辆类型匹配子模型中的参数筛选层对所述参数提取层提取的参数进行参数筛选处理，参数筛选处理后的参数输入所述车辆类型匹配子模型中的参数分类层；采用所述车辆类型匹配子模型中的参数分类层将经过参数筛选处理后的参数进行比对，根据比对结果识别所述目标车辆的三维模型与所述车辆样本模型是否匹配。
9.在一种可能的实现方式中，所述从所述多个位置方向的车辆图像中检测是否存在满足车牌字符规则的车牌信息的步骤，包括：从所述多个位置方向的车辆图像中识别得到车牌图像区域；通过边缘检测提取出所述车牌图像区域中的字符；检测提取的字符的排列顺序是否满足车牌字符规则；若字符的排列顺序是满足车牌字符规则，通过字符识别模型进行识别确定对应的目标字符，并在识别后将目标字符按照其在所述车牌图像中的顺序进行组合，得到所述目标车辆的车牌信息；其中，所述通过字符识别模型进行识别确定对应的目标字符的步骤，包括：对所述字符识别模型识别的字符结果进行字符个数统计；在所述字符识别模型针对一个字符识别的识别结果中存在一个统计个数最多的识别字符时，将所述识别字符作为所述目标字符；在所述字符识别模型针对一个字符识别的识别结果中存在多个统计个数最多的识别字符时，分别计算个数最多的各个识别字符的置信概率，将置信概率最大的识别字符作为所述目标字符。
10.在一种可能的实现方式中，所述若检测不到满足车牌字符规则的车牌信息则将获取的车辆图像及所述无人机的拍摄地点发送给通信终端的步骤，包括：
获取距离所述目标车辆预设距离范围内所有通信终端的当前状态信息，其中，所述目标车辆的位置由拍摄所述目标车辆的无人机的拍摄位置确定，所述通信终端的当前状态信息包括当前通信终端是否存在正在处理的事件、在存在正在处理的事件时事件预计处理完成时间；在检测不到满足车牌字符规则的车牌信息时，生成第一待处理事件请求；将所述第一待处理事件请求预分配给距离所述目标车辆预设距离范围内的所有通信终端，基于所述通信终端的当前状态信息计算各个所述通信终端预计处理所述第一待处理事件请求的时间，并根据预计处理所述第一待处理事件请求的时间先后对所述通信终端进行排序，得到通信终端案件处理及时性序列；将所述第一待处理事件请求发送给所述通信终端案件处理及时性序列中预设排名的多个通信终端；根据所述多个通信终端反馈的承接确认信息，将承接的通信终端中在所述通信终端案件处理及时性序列中排名最靠前的通信终端作为目标通信终端；将获取的车辆图像及所述目标车辆的位置打包成第一待处理事件发送给所述目标通信终端。
11.在一种可能的实现方式中，在检测到满足车牌字符规则的车牌信息时，所述方法还包括：从车管所数据库获取与所述目标车辆的车牌信息对应的车辆登记信息；对所述车辆登记信息进行分析确定与所述目标车辆的车牌信息对应的登记车辆类型；将所述登记车辆类型与所述目标车辆类型进行比较；在所述登记车辆类型与所述目标车辆类型不一致时，生成第二待处理事件请求，获取距离所述目标车辆预设距离范围内所有通信终端的当前状态信息，其中，所述目标车辆的位置由拍摄所述目标车辆的无人机的拍摄位置确定，所述通信终端的当前状态信息包括当前通信终端是否存在正在处理的事件、在存在正在处理的事件时事件预计处理完成时间；将所述第二待处理事件请求预分配给距离所述目标车辆预设距离范围内的所有通信终端，基于所述通信终端的当前状态信息计算各个所述通信终端预计处理所述第二待处理事件请求的时间，并根据预计处理所述第二待处理事件请求的时间先后对所述通信终端进行排序，得到通信终端案件处理及时性序列；将所述第二待处理事件请求发送给所述通信终端案件处理及时性序列中预设排名的多个通信终端；根据所述多个通信终端反馈的承接确认信息，将承接的通信终端中在所述通信终端案件处理及时性序列中排名最靠前的通信终端作为目标通信终端；将获取的车辆图像及所述目标车辆的位置打包成第二待处理事件发送给所述目标通信终端。在一种可能的实现方式中，在检测到满足车牌字符规则的车牌信息时，所述方法还包括：获取所述目标车辆在目标路段出现的时间，其中，所述目标车辆在目标路段出现
的时间由无人机的拍摄时间确定；将所述目标车辆在目标路段出现的时间与所述目标路段的预设可通行时间进行比对，若所述目标车辆在所述目标路段的预设可通行时间之外行驶在所述目标路段，将所述无人机拍摄的车辆图像及所述无人机的拍摄地点发送给通信终端。
12.第二方面，一种基于无人机的无牌渣土车识别系统，应用于分别与无人机及通信终端通信连接的控制中心，所述系统包括：获取模块，用于获取所述无人机拍摄的目标车辆的多个位置方向的车辆图像，其中，所述车辆图像包括车头图像，车尾图像及车身两侧图像；构建模块，用于基于所述多个位置方向的车辆图像构建得到所述目标车辆的三维模型；识别模块，用于将所述目标车辆的三维模型输入到训练好的车辆类型识别模型中进行识别；检测模块，用于若所述车辆类型识别模型识别所述目标车辆的类型为渣土车，则从所述多个位置方向的车辆图像中检测是否存在满足车牌字符规则的车牌信息；发送模块，用于若检测不到满足车牌字符规则的车牌信息则将获取的车辆图像及所述无人机的拍摄地点发送给通信终端。
13.在一种可能的实现方式中，所述识别模块具体用于：获取待进行车辆类型识别的目标车辆的三维模型及车辆样本模型；调用车辆类型识别模型中的三维模型识别子模型分别对所述目标车辆的三维模型及车辆样本模型进行模型参数提取，并对提取的模型参数进行参数筛选处理，根据参数筛选处理后的参数得到所述目标车辆的三维模型的第一车辆类型结果及所述车辆样本模型的第二车辆类型结果；调用车辆类型识别模型中的车辆类型匹配子模型对所述第一车辆类型结果对应的第一目标模型区域及所述第二车辆类型结果对应的第二目标模型区域进行特征参数提取，并将提取的两者特征参数进行比对，根据比对结果识别所述目标车辆的三维模型与所述车辆样本模型是否匹配，其中，所述特征参数包括车头与车身占比、车身的长度与车身的高度占比、翻斗车箱与车身占比及翻斗的高度与车身的高度占比；若所述目标车辆的三维模型与所述车辆样本模型不匹配，则识别所述目标车辆的三维模型及车辆样本模型对应的模型类别，根据所述模型类别选择车辆类型识别模型中的深度学习子模型对所述目标车辆的三维模型及车辆样本模型进行类型识别处理；其中，所述深度学习子模型的模型结构相较于所述三维模型识别子模型及所述车辆类型匹配子模型的模型结构复杂；其中，将所述第一车辆类型结果对应的模型区域及所述第二车辆类型结果对应的模型区域进行尺寸归一化处理；将归一化处理后的第一车辆类型结果对应的模型区域作为第一目标模型区域，将归一化处理后的第二车辆类型结果对应的模型区域作为第二目标模型区域；或者，将归一化处理后的第一车辆类型结果对应的模型区域中的设定部分区域作为第一目标模型区域，将归一化处理后的第二车辆类型结果对应的模型区域中的设定部分区域作为第二目标模型区域。
14.第三方面，本技术实施例提供一种控制中心，所述控制中心包括处理器、计算机可
读存储介质和通信单元，所述计算机可读存储介质、所述通信单元以及所述处理器之间通过总线接口相连，所述通信单元用于与通信终端及无人机通信连接，所述计算机可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述计算机可读存储介质中的程序、指令或代码，以执行上述第一方面中任意一项的基于无人机的无牌渣土车识别方法。
15.基于上述任意一个方面，首先，获取无人机拍摄的目标车辆的多个位置方向的车辆图像；接着，基于多个位置方向的车辆图像构建得到所述目标车辆的三维模型；再接着，将目标车辆的三维模型输入到训练好的车辆类型识别模型中进行识别；然后，若车辆类型识别模型识别目标车辆的类型为渣土车，则从多个位置方向的车辆图像中检测是否存在满足车牌字符规则的车牌信息；最后，若检测不到满足车牌字符规则的车牌信息则将获取的车辆图像及所述无人机的拍摄地点发送给通信终端。在上述方案中，通过多角度拍摄的车辆图像构建目标车辆的三维模型，并基于目标车辆的三维模型对目标车辆的类型进行识别，相对于采用二维图像中的目标车辆进行识别可以确保目标车辆类型识别的准确性。另外，在目标车辆为渣土车时，通过对多个位置方向的车辆图像进行车牌检测，以避免车牌漏检的问题。在检测不到车牌后将车辆图像及车辆地点发送给通信终端便于手持该通信终端的巡警及时进行现场处理，避免无牌渣土车造成严重交通事故，确保交通参与方的交通安全。
附图说明
16.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要调用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。
17.图1位本技术实施例提供的基于无人机的无牌渣土车识别方法的应用场景的方框示意图；图2为本技术实施例提供的一种基于无人机的无牌渣土车识别方法的流程示意图；图3为图2中步骤s103的子步骤流程示意图；图4为本技术实施例提供的一种基于无人机的无牌渣土车识别系统的功能模块图。
具体实施方式
18.下面结合说明书附图对本技术进行具体说明，方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。
19.图1为本技术实施例提供的基于无人机的无牌渣土车识别方法的应用场景的方框示意图。在该应用场景中系统可以包括通信连接的无人机10、控制中心20及通信终端30，其中，通信终端30可以为用于接收控制中心20发送信息的设备（比如，智能手机），无人机10可以是各类型的无人飞行器，在本技术实施例中不对具体的类型或型号进行限定，任何具有图像拍摄、数据传输、位置定位功能的无人机10均可适用本技术。
20.控制中心20可以在云端服务器上实现。控制中心20可包括处理器210、计算机可读
存储介质220、总线230以及通信单元240。
21.在具体实现过程中，至少一个处理器210执行计算机可读存储介质220存储的计算机执行指令，使得处理器210可以执行控制中心20在本技术实施例中所执行的步骤，其中，处理器210、计算机可读存储介质220以及通信单元240通过总线230连接，处理器210可以用于控制通信单元240的收发动作，比如，无人机10及通信终端30与控制中心20之间的信息收发动作。
22.计算机可读存储介质220可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器。
23.总线230可以分为地址总线、数据总线、控制总线等。为便于表示，本技术附图中的总线并不限定仅有一根总线或一种类型的总线。
24.为了解决前述背景技术中的技术问题，下面结合图2所示本技术实施例提供的一种基于无人机的无牌渣土车识别方法的流程示意图，对本实施例提供的一种基于无人机的无牌渣土车识别方法进行详细介绍。
25.步骤s101，获取无人机10拍摄的目标车辆的多个位置方向的车辆图像。
26.在本技术实施例中，车辆图像可以包括车头图像、车尾图像及车身两侧图像。具体地，车辆图像可以通过以下方式获得：无人机10巡航拍摄获得目标车辆多个角度的图像，接着从多个角度的图像中获得上述位置方向的车辆图像。以获得车头图像为例，从多个角度的图像中筛选出车头占比整个车辆达到预设比例（比如，50%）的图像作为车头图像，同理，可以采用该方法获得其他位置方向的车辆图像。
27.获得多个位置方向的车辆图像，一方面可以便于基于多个位置方向的二维车辆图像构建三维车辆模型，以便基于三维车辆模型进行识别确定目标车辆的类型，相对于根据二维车辆图像进行车辆类型识别的方式，构建的三维车辆模型可以体现更多的车辆形状特征，不会因为二维图像拍摄角度问题而导致车辆形状特征缺失，可以提高车辆类型识别的准确性。另外，对于渣土车这样的大卡车，车牌信息可能位于车头、车尾及车厢两侧，获取上述多个位置方向的车辆图像，还可以避免车牌信息被漏检测，导致误判，增加巡警的工作量。
28.步骤s102，基于多个位置方向的车辆图像构建得到所述目标车辆的三维模型。
29.在本技术实施例中，可以通过多个位置方向的车辆图像拼接得到目标车辆的三维模型，从二维图像中构建出三维模型，具体的方式可以如下。
30.首先，识别目标车辆的不同部位在多个位置方向的车辆图像中的二维位置坐标以及多个位置方向的车辆图像对应的拍摄角度。
31.接着，获取与多个位置方向的车辆图像对应的三维位置坐标集合，根据所述三维位置坐标集合与所述多个位置方向的车辆图像中目标车辆对应位置点之间的对应关系，获取所述目标车辆中各位置点对应的三维位置坐标。具体地，在不同的车辆图像中，目标车辆的同一目标位置对应相同的三维位置坐标。
32.再接着，基于所述多个位置方向的车辆图像得到多个目标车辆方位图，基于车辆检测模型中的特征识别层对所述多个位置方向的车辆图像进行特征识别处理，得到与每个目标车辆方位图对应的目标车辆位置特征信息，其中，目标车辆位置特征信息可以包括车辆的特定位置，比如，车头后视镜、车头挡风玻璃及车轮位置等。
33.然后，识别与所述目标车辆位置特征信息对应的位置坐标，将在所述多个位置方向的车辆图像中与所述位置坐标对应的区域作为车辆方位区域。
34.最后，基于所述车辆方位区域以及对应的拍摄角度，将所述车辆方位区域中相同三维位置坐标的位置进行拼接得到所述目标车辆的三维模型。
35.步骤s103，将目标车辆的三维模型输入到训练好的车辆类型识别模型中进行识别。
36.在该步骤中，训练好的车辆类型识别模型可以识别各种类型的车辆，比如，可识别小轿车、公交车及卡车等，可以理解的是，在本技术实施例中，可以通过有监督的方式进行车辆类型识别模型的训练，使得该车辆类型识别模型可以识别不同类型的渣土车（比如，翻斗型渣土车或大黄蜂型渣土车）。
37.步骤s104，若车辆类型识别模型识别目标车辆的类型为渣土车，则从多个位置方向的车辆图像中检测是否存在满足车牌字符规则的车牌信息。
38.渣土车的车牌信息可能位于车头、车尾及车身两侧的车厢上，通过对上述位置方向的车辆图像进行检测可以确保车牌信息不会被漏检。
39.步骤s105，若检测不到满足车牌字符规则的车牌信息则将获取的车辆图像及无人机的拍摄地点发送给通信终端。
40.将没有检测到车牌信息的渣土车图像及出现地点发送给通信终端，由巡警及时对上述渣土车进行处理，以免渣土车因无车牌信息而故意违法交通规则引发交通事故。
41.上述方案，首先，获取无人机拍摄的目标车辆的多个位置方向的车辆图像；接着，基于多个位置方向的车辆图像构建得到所述目标车辆的三维模型；再接着，将目标车辆的三维模型输入到训练好的车辆类型识别模型中进行识别；然后，若车辆类型识别模型识别目标车辆的类型为渣土车，则从多个位置方向的车辆图像中检测是否存在满足车牌字符规则的车牌信息；最后，若检测不到满足车牌字符规则的车牌信息则将获取的车辆图像及所述无人机的拍摄地点发送给通信终端。在上述方案中，通过多角度拍摄的车辆图像构建目标车辆的三维模型，并基于目标车辆的三维模型对目标车辆的类型进行识别，相对于采用二维图像中的目标车辆进行识别可以确保目标车辆类型识别的准确性。另外，在目标车辆为渣土车时，通过对多个位置方向的车辆图像进行车牌检测，以避免车牌漏检的问题。在检测不到车牌后将车辆图像及车辆地点发送给通信终端便于手持该通信终端的巡警及时进行现场处理，避免无牌渣土车造成严重交通事故，确保交通参与方的交通安全。
42.在本技术实施例中，车辆类型识别模型可以包括三维模型识别子模型、车辆类型匹配子模型及深度学习子模型，其中，深度学习子模型的模型结构相较于所述三维模型识别子模型及所述车辆类型匹配子模型的模型结构复杂。请参照图3，步骤s103可以采用以下子步骤实现。
43.子步骤s1031，获取待进行车辆类型识别的目标车辆的三维模型及车辆样本模型。
44.其中，车辆样本模型可以包括多种不同类型的渣土车的三维模型。
45.子步骤s1032，调用三维模型识别子模型分别对所述目标车辆的三维模型及车辆样本模型进行模型参数提取，并对提取的模型参数进行参数筛选处理，根据参数筛选处理后的参数得到所述目标车辆的三维模型的第一车辆类型结果及所述车辆样本模型的第二车辆类型结果。
46.所述三维模型识别子模型包括至少一个参数提取层、至少一个参数筛选层及至少一个参数分类层，该子步骤可以采用以下方式实现。
47.首先，采用三维模型识别子模型中的参数提取层分别对所述目标车辆的三维模型及车辆样本模型进行模型参数提取，将提取的模型参数输入到所述三维模型识别子模型中的参数筛选层中。
48.接着，采用所述三维模型识别子模型中的参数筛选层分别对所述目标车辆的三维模型及车辆样本模型的模型参数进行参数筛选处理，将参数筛选处理后的参数输入所述三维模型识别子模型中的参数分类层。
49.最后，采用所述三维模型识别子模型中的参数分类层根据所述目标车辆的三维模型及车辆样本模型对应的参数筛选处理后的参数进行分类，得到所述目标车辆的三维模型的第一车辆类型结果及所述车辆样本模型的第二车辆类型结果。
50.子步骤s1033，调用车辆类型匹配子模型对所述第一车辆类型结果对应的第一目标模型区域及所述第二车辆类型结果对应的第二目标模型区域进行特征参数提取，并将提取的两者特征参数进行比对，根据比对结果识别所述目标车辆的三维模型与所述车辆样本模型是否匹配。
51.其中，特征参数包括车头与车身占比、车身的长度与车身的高度占比、翻斗车箱与车身占比及翻斗的高度与车身的高度占比。该子步骤中，第一目标模型区域及第二目标模型区域的确定方式可以如下：将所述第一车辆类型结果对应的模型区域及所述第二车辆类型结果对应的模型区域进行尺寸归一化处理；将归一化处理后的第一车辆类型结果对应的模型区域作为第一目标模型区域，将归一化处理后的第二车辆类型结果对应的模型区域作为第二目标模型区域；或者，将归一化处理后的第一车辆类型结果对应的模型区域中的设定部分区域作为第一目标模型区域，将归一化处理后的第二车辆类型结果对应的模型区域中的设定部分区域作为第二目标模型区域。
52.在本子步骤中，车辆类型匹配子模型包括至少一个参数提取层、至少一个参数筛选层及至少两个参数分类层，子步骤s1033可以通过以下方式实现。
53.首先，采用车辆类型匹配子模型中的参数提取层分别对所述第一车辆类型结果对应的第一目标模型区域及所述第二车辆类型结果对应的第二目标模型区域进行参数提取，将提取的参数输入所述车辆类型匹配子模型中的参数筛选层。
54.接着，采用所述车辆类型匹配子模型中的参数筛选层对所述参数提取层提取的参数进行参数筛选处理，参数筛选处理后的参数输入所述车辆类型匹配子模型中的参数分类层。
55.最后，采用所述车辆类型匹配子模型中的参数分类层将经过参数筛选处理后的参数进行比对，根据比对结果识别所述目标车辆的三维模型与所述车辆样本模型是否匹配。
56.子步骤s1034，若所述目标车辆的三维模型与所述车辆样本模型不匹配，则识别所述目标车辆的三维模型及车辆样本模型对应的模型类别，根据所述模型类别选择车辆类型识别模型中的深度学习子模型对所述目标车辆的三维模型及车辆样本模型进行类型识别处理。其中，模型类别对应渣土车的不同类型。
57.在本技术实施例中，步骤s104可以通过以下方式实现。
58.首先，从所述多个位置方向的车辆图像中识别得到车牌图像区域。
59.接着，通过边缘检测提取出所述车牌图像区域中的字符。
60.然后，检测提取的字符的排列顺序是否满足车牌字符规则。
61.其中，车牌字符规则一般为“省份简称 所在市对应的字母 五位字符串”，以车牌“黑a**h*y”为例，黑代表黑龙江省，黑a代表黑龙江的哈尔滨市。
62.最后，若字符的排列顺序是满足车牌字符规则，通过字符识别模型进行识别确定对应的目标字符，并在识别后将目标字符按照其在所述车牌图像中的顺序进行组合，得到所述目标车辆的车牌信息。
63.具体地，对所述字符识别模型识别的字符结果进行字符个数统计；在所述字符识别模型针对一个字符识别的识别结果中存在一个统计个数最多的识别字符时，将所述识别字符作为所述目标字符；在所述字符识别模型针对一个字符识别的识别结果中存在多个统计个数最多的识别字符时，分别计算个数最多的各个识别字符的置信概率，将置信概率最大的识别字符作为所述目标字符。
64.在本技术实施例中，步骤s105可以由以下方式实现。
65.首先，在检测不到满足车牌字符规则的车牌信息时，生成第一待处理事件请求。
66.其中，第一待处理事件请求包括处理事件信息，比如，拦截并检查无车牌的渣土车。
67.接着，将第一待处理事件请求预分配给距离所述目标车辆预设距离范围内（比如5km以内）的所有通信终端，基于所述通信终端的当前状态信息计算各个所述通信终端预计处理所述第一待处理事件请求的时间，并根据预计处理所述第一待处理事件请求的时间先后对所述通信终端进行排序，得到通信终端案件处理及时性序列。
68.再接着，将所述第一待处理事件请求发送给所述通信终端案件处理及时性序列中预设排名的多个通信终端。
69.然后，根据所述多个通信终端反馈的承接确认信息，将承接的通信终端中在所述通信终端案件处理及时性序列中排名最靠前的通信终端作为目标通信终端。
70.最后，将获取的车辆图像及所述目标车辆的位置打包成第一待处理事件发送给所述目标通信终端。
71.在本技术实施例中，通过上述方式可以将对渣土车无牌检查的处理事件发送给可以及时处理该事件的巡警（通信终端），以便对该违法行为进行及时处理。
72.在本技术实施例中，在检测到满足车牌字符规则的车牌信息时，所述方法还包括：从车管所数据库获取与所述目标车辆的车牌信息对应的车辆登记信息；对所述车辆登记信息进行分析确定与所述目标车辆的车牌信息对应的登记车辆类型；将所述登记车辆类型与所述目标车辆类型进行比较；在所述登记车辆类型与所述目标车辆类型不一致时，生成第二待处理事件请求，获取距离所述目标车辆预设距离范围内所有通信终端的当前状态信息，其中，所述目标车辆的位置由拍摄所述目标车辆的无人机的拍摄位置确定，所述通信终端的当前状态信息包括当前通信终端是否存在正在处理的事件、在存在正在处理的事件时事件预计处理完成时间；将所述第二待处理事件请求预分配给距离所述目标车辆预设距离范围内的所有
通信终端，基于所述通信终端的当前状态信息计算各个所述通信终端预计处理所述第二待处理事件请求的时间，并根据预计处理所述第二待处理事件请求的时间先后对所述通信终端进行排序，得到通信终端案件处理及时性序列；将所述第二待处理事件请求发送给所述通信终端案件处理及时性序列中预设排名的多个通信终端；根据所述多个通信终端反馈的承接确认信息，将承接的通信终端中在所述通信终端案件处理及时性序列中排名最靠前的通信终端作为目标通信终端；将获取的车辆图像及所述目标车辆的位置打包成第二待处理事件发送给所述目标通信终端。
73.通过上述处理，可以对渣土车的车牌信息与登记车辆类型不一致的违法行为进行检查，以避免渣土车通过套牌方式躲避交通处罚而无视交通规则，给道路交通带来安全隐患。
74.一般地，在大型城市中都会对渣土车上路时间进行管控，渣土车只能在规定时间段进入目标路段，为了对渣土车上路行为进行检测，在本技术实施例提供的无牌渣土车识别方法还可以包括以下步骤：获取所述目标车辆在目标路段出现的时间，其中，所述目标车辆在目标路段出现的时间由无人机的拍摄时间确定；将所述目标车辆在目标路段出现的时间与所述目标路段的预设可通行时间进行比对，若所述目标车辆在所述目标路段的预设可通行时间之外行驶在所述目标路段，将所述无人机拍摄的车辆图像及所述无人机的拍摄地点发送给通信终端。
75.请参照图4，图4为本公开实施例提供的一种基于无人机的无牌渣土车识别系统300的功能模块示意图，本实施例可以根据上述方法实施例对该一种基于无人机的无牌渣土车识别系统300进行功能模块的划分，也即该一种基于无人机的无牌渣土车识别系统300所对应的以下各个功能模块可以用于执行的各个方法实施例。其中，该一种基于无人机的无牌渣土车识别系统300可以包括获取模块310、构建模块320、识别模块330、检测模块340及发送模块350，下面分别对该一种基于无人机的无牌渣土车识别系统300的各个功能模块的功能进行详细阐述。
76.获取模块310，用于获取所述无人机拍摄的目标车辆的多个位置方向的车辆图像，其中，所述车辆图像包括车头图像，车尾图像及车身两侧图像。
77.在本技术实施例中，车辆图像可以包括车头图像、车尾图像及车身两侧图像。具体地，车辆图像可以通过以下方式获得：无人机10巡航拍摄获得目标车辆多个角度的图像，接着从多个角度的图像中获得上述位置方向的车辆图像。以获得车头图像为例，从多个角度的图像中筛选出车头占比整个车辆达到预设比例（比如，50%）的图像作为车头图像，同理，可以采用该方法获得其他位置方向的车辆图像。
78.获取模块310获得多个位置方向的车辆图像，一方面可以便于基于多个位置方向的二维车辆图像构建三维车辆模型，以便基于三维车辆模型进行识别确定目标车辆的类型，相对于根据二维车辆图像进行车辆类型识别的方式，构建的三维车辆模型可以体现更多的车辆形状特征，不会因为二维图像拍摄角度问题而导致车辆形状特征缺失，可以提高车辆类型识别的准确性。另外，对于渣土车这样的大卡车，车牌信息可能位于车头、车尾及
车厢两侧，获取上述多个位置方向的车辆图像，还可以避免车牌信息被漏检测，导致误判，增加巡警的工作量。
79.构建模块320，用于基于所述多个位置方向的车辆图像构建得到所述目标车辆的三维模型。
80.在本技术实施例中，构建模块320可以通过多个位置方向的车辆图像拼接得到目标车辆的三维模型，从二维图像中构建出三维模型，具体的方式可以如下。
81.首先，识别目标车辆的不同部位在多个位置方向的车辆图像中的二维位置坐标以及多个位置方向的车辆图像对应的拍摄角度。
82.接着，获取与多个位置方向的车辆图像对应的三维位置坐标集合，根据所述三维位置坐标集合与所述多个位置方向的车辆图像中目标车辆对应位置点之间的对应关系，获取所述目标车辆中各位置点对应的三维位置坐标。具体地，在不同的车辆图像中，目标车辆的同一目标位置对应相同的三维位置坐标。
83.再接着，基于所述多个位置方向的车辆图像得到多个目标车辆方位图，基于车辆检测模型中的特征识别层对所述多个位置方向的车辆图像进行特征识别处理，得到与每个目标车辆方位图对应的目标车辆位置特征信息，其中，目标车辆位置特征信息可以包括车辆的特定位置，比如，车头后视镜、车头挡风玻璃及车轮位置等。
84.然后，识别与所述目标车辆位置特征信息对应的位置坐标，将在所述多个位置方向的车辆图像中与所述位置坐标对应的区域作为车辆方位区域。
85.最后，基于所述车辆方位区域以及对应的拍摄角度，将所述车辆方位区域中相同三维位置坐标的位置进行拼接得到所述目标车辆的三维模型。
86.识别模块330，用于将所述目标车辆的三维模型输入到训练好的车辆类型识别模型中进行识别。
87.训练好的车辆类型识别模型可以识别各种类型的车辆，比如，可识别小轿车、公交车及卡车等，可以理解的是，在本技术实施例中，可以通过有监督的方式进行车辆类型识别模型的训练，使得该车辆类型识别模型可以识别不同类型的渣土车（比如，翻斗型渣土车或大黄蜂型渣土车）。
88.检测模块340，用于若所述车辆类型识别模型识别所述目标车辆的类型为渣土车，则从所述多个位置方向的车辆图像中检测是否存在满足车牌字符规则的车牌信息。
89.渣土车的车牌信息可能位于车头、车尾及车身两侧的车厢上，通过对上述位置方向的车辆图像进行检测可以确保车牌信息不会被漏检。
90.发送模块350，用于若检测不到满足车牌字符规则的车牌信息则将获取的车辆图像及所述无人机的拍摄地点发送给通信终端。
91.将没有检测到车牌信息的渣土车图像及出现地点发送给通信终端，由巡警及时对上述渣土车进行处理，以免渣土车因无车牌信息而故意违法交通规则引发交通事故。
92.在本技术实施例的一种可能实施方式中，识别模块330具体用于：获取待进行车辆类型识别的目标车辆的三维模型及车辆样本模型；调用车辆类型识别模型中的三维模型识别子模型分别对所述目标车辆的三维模型及车辆样本模型进行模型参数提取，并对提取的模型参数进行参数筛选处理，根据参数筛选处理后的参数得到所述目标车辆的三维模型的第一车辆类型结果及所述车辆样本模
型的第二车辆类型结果；调用车辆类型识别模型中的车辆类型匹配子模型对所述第一车辆类型结果对应的第一目标模型区域及所述第二车辆类型结果对应的第二目标模型区域进行特征参数提取，并将提取的两者特征参数进行比对，根据比对结果识别所述目标车辆的三维模型与所述车辆样本模型是否匹配，其中，所述特征参数包括车头与车身占比、车身的长度与车身的高度占比、翻斗车箱与车身占比及翻斗的高度与车身的高度占比；若所述目标车辆的三维模型与所述车辆样本模型不匹配，则识别所述目标车辆的三维模型及车辆样本模型对应的模型类别，根据所述模型类别选择车辆类型识别模型中的深度学习子模型对所述目标车辆的三维模型及车辆样本模型进行类型识别处理；其中，所述深度学习子模型的模型结构相较于所述三维模型识别子模型及所述车辆类型匹配子模型的模型结构复杂；其中，将所述第一车辆类型结果对应的模型区域及所述第二车辆类型结果对应的模型区域进行尺寸归一化处理；将归一化处理后的第一车辆类型结果对应的模型区域作为第一目标模型区域，将归一化处理后的第二车辆类型结果对应的模型区域作为第二目标模型区域；或者，将归一化处理后的第一车辆类型结果对应的模型区域中的设定部分区域作为第一目标模型区域，将归一化处理后的第二车辆类型结果对应的模型区域中的设定部分区域作为第二目标模型区域。
93.需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件（比如，开源软件）通过处理元件调用的形式实现。也可以全部以硬件的形式实现。还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，识别模块330可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上识别模块330的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
94.本技术的目的在于提供一种基于无人机的无牌渣土车识别方法及系统，首先，获取无人机拍摄的目标车辆的多个位置方向的车辆图像；接着，基于多个位置方向的车辆图像构建得到所述目标车辆的三维模型；再接着，将目标车辆的三维模型输入到训练好的车辆类型识别模型中进行识别；然后，若车辆类型识别模型识别目标车辆的类型为渣土车，则从多个位置方向的车辆图像中检测是否存在满足车牌字符规则的车牌信息；最后，若检测不到满足车牌字符规则的车牌信息则将获取的车辆图像及所述无人机的拍摄地点发送给通信终端。在上述方案中，通过多角度拍摄的车辆图像构建目标车辆的三维模型，并基于目标车辆的三维模型对目标车辆的类型进行识别，相对于采用二维图像中的目标车辆进行识别可以确保目标车辆类型识别的准确性。另外，在目标车辆为渣土车时，通过对多个位置方向的车辆图像进行车牌检测，以避免车牌漏检的问题。在检测不到车牌后将车辆图像及车辆地点发送给通信终端便于手持该通信终端的巡警及时进行现场处理，避免无牌渣土车造成严重交通事故，确保交通参与方的交通安全。
95.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的次序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定次序或者连续次序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
96.最后，应当理解的是，本说明书中实施例仅用以说明本说明书实施例的原则。其它的变形也可能属于本说明书范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。