一种基于图像深度学习的无人机平台人群计数方法及系统与流程

1.本发明涉及深度学习技术领域，特别是涉及种基于图像深度学习的无人机平台人群计数方法及系统。


背景技术：

2.无人机在一系列民用领域如农林植保、生产监控、地理测绘、治安巡查、应急救援等领域应用广泛。随着硬件性能的不断提高，无人机和计算机视觉的联系日益加深。与街道固定的摄像头相比，无人机有着更强的灵活性，能够对任意范围的公共场所、工厂、道路交通进行监控和侦查，而人群检测与计数是无人机对于生产监控、治安巡查等领域的重要研究方向之一，具有较高的实用价值。
3.人群计数，即通过实时图像等信息检测并估计实际场景下的人群数量情况，通过对人群数量的计算，可完成对该监控场景下的预警工作，一定程度上为实现实时人群疏导和制定安全决策带来方便。目前，人群计数方法主要有两类：基于检测的方法和基于回归的方法。
4.基于检测的方法是使用一定的目标检测器，通过定位图像上的每个人或者每个人的头部，累加得到计数结果。该类方法在高度较低的摄像头下容易造成遮挡，从而降低准确率。基于回归的方法是直接从图像中估计人群数量，然而密度图回归的方法在背景和前景区分上存在一些问题，在新场景下需要其透视图对模型进行微调，一定程度上限制了其实际应用。对于灵活性强、检测场景多变的无人机平台，基于检测的方法可靠性更强，模型泛化能力更强，适应多种场景。
5.对于无人机平台下的人群计数，由于涉及到硬件设备和准确度较高的算法落地，国内外所采用的技术也不成熟，对适用场景有较强的依赖性，不适合工业化与商用的需求。
6.目前为止，对于无人机平台下人群计数方法和系统，还需要进行大量的研究工作。


技术实现要素：

7.有鉴于此，本发明的目的在于提供一种基于图像深度学习的无人机平台人群计数方法及系统，用以解决背景技术中提及的技术问题。本发明通过一套系统，采用深度学习算法模型，从机载摄像头捕获图像中实时计算人群的数量，并将结果安全传输给服务器。
8.为了实现上述目的，本发明采用如下技术方案：
9.一种基于图像深度学习的无人机平台人群计数方法，包括以下步骤：
10.步骤s1、构建数据集，通过采集多张真实航拍的行人图像，再对该多张图像中的行人进行标注，生成存储坐标信息的xml格式文件；
11.步骤s2、建立行人识别模型，首先通过保留原始yolo v3模型中26
×
26和52
×
52两个尺度的特征图，其次通过k
‑
means聚类算法从步骤s1中的数据集中提取先验框尺度，再用提取到先验框尺度替换原始yolo v3模型中的模型参数；
12.步骤s3、构建损失函数，该损失函数采用交叉熵损失函数；
13.步骤s4、将步骤s1构建的数据集输入至步骤s2中构建的行人识别模型中进行训练，并且将学习率调整为l1，动量设为m1，权重衰减为m2，输入图像尺寸为m3×
m3，训练至步骤s3中的损失函数收敛，得到训练后的行人识别模型；
14.步骤s5、通过机载摄像头捕获图像，并且获取此时的飞行高度，将飞行高度与预先设定的飞行高度阀值进行比较；
15.若获取到的飞行高度低于预先设定的飞行高度阀值，则，通过图像预处理与分割模块对图像进行调整，将图像尺寸调整至m3×
m3，然后再调整后的图像输入至所述训练后的行人识别模型中进行识别，将模型的识别结果传入步骤s7中，其识别结果表示为预测框的坐标集合；
16.若获取到的飞行高度高于预先设定的飞行高度阀值，则进行步骤s6；
17.步骤s6、通过图像预处理与分割模块对图像进行m重叠率的n分割，然后再将分割后的图像输入至所述训练后的行人识别模型中进行识别，暂存输出结果，其输出结果表示为预测框的坐标集合，如有下一图像则重复该步骤的操作，若没有，则采用非极大值抑制方法对因分割造成的重复目标识别结果去重，最后将去重后的识别结果传入步骤s7中；
18.步骤s7、计算所得集合的一维空间长度，该数值即为最终人群计数结果；
19.步骤s8、https网络传输模块读取本地配置文件，得到秘钥和本机编号，jwt的头部进行类型声明，使用base46加密算法对头部进行加密；jwt的第二部分标注其本机编号与接收方，并且进行base64加密；jwt的尾部为使用头部和第二部分以及秘钥进行hmac sha256组合加密得到，最后将头部、第二部分和尾部进行组合拼接得到jwt；
20.步骤s9、通过https网络传输模块将步骤s7中得到的最终人群计数结果以及步骤s8中得到的jwt传输至服务器端，后端模块从服务器端获取最终人群计数结果以及jwt，然后所述后端模块根据机号和秘钥生成后端jwt，再将后端jwt与步骤s8所得到的jwt进行比较；若比较成功即视为合法请求，所述后端模块将最终人群计数结果转存至信息存储模块；
21.步骤s10、更新所述无人机平台的前飞行高度信息，然后判断识别动作是否终止，若未终止，返回步骤s5。
22.进一步的，在所述步骤s2中，通过过k
‑
means聚类算法从步骤s1中的数据集中提取先验框尺度具体包括：
23.步骤s201、定义样本为x＝(w,h)，其中w是数据集中样本框的宽度，h是样本框高度，随机选取k个质心μ
j
(j∈1,2,...k)；
24.步骤s202、对于每个x，计算与每个质心μ
j
的欧式距离，将x加入距离最近质心的簇其中，h
i
表示当前样本x的高度，h
j
表示质心的高度，w
i
表示当前样本x的宽度，w
j
表示质心的宽度。
25.步骤s203、对于每一个簇c
(j)
，通过计算平均值重新获得质心坐标
26.步骤s204、重复步骤s202和步骤s203直到算法收敛，最终得到的k个质心坐标作为先验框的尺度。
27.进一步的，所述数据集中的行人图像不少于206张，并且通过labelimg图像标注软件对图像中的行人进行标注。
28.进一步的，在所述步骤s201中，k取6。
29.进一步的，在所述步骤s4中，l1、m1、m2和m3分别取0.001、0.9、0.0005和416。
30.进一步的，在所述步骤s6中，当iou≥t时，对结果进行去重，其中，其中，iou为两识别结果的交并比，即t取0.3。
31.进一步的，在所述步骤s6中，所述m重叠率的n分割具体为：10％重叠率的四分割。
32.一种基于图像深度学习的无人机平台人群计数系统，所述系统包括：无人机平台、后端模块、信息存储模块、前端系统界面，所述无人机平台上设置有机载摄像头、图像预处理与分割模块、神经网络模型模块、非极大值抑制方法去重模块、https网络传输模块，其中，
33.所述机载摄像头，用于捕获图像；
34.所述图像预处理与分割模块，用于将所述机载摄像头捕获的图像进行m重叠率的n分割或者将图像尺寸调整至m3×
m3，
35.所述神经网络模型模块，用于根据预先构建的数据集以及损失函数对行人识别模型进行训练，得到训练后的行人识别模型；
36.所述非极大值抑制方法去重模块，用于对因分割造成的重复目标识别结果去重；
37.所述https网络传输模块，用于将最终人群计数结果以及jwt传输至服务器端；
38.所述后端模块，用于从服务器端获取最终人群计数结果以及jwt，然后所述后端模块根据机号和秘钥生成后端jwt，再将后端jwt与步骤s8所得到的jwt进行比较；若比较成功即视为合法请求，将最终人群计数结果转存至信息存储模块；
39.所述信息存储模块，用于储存当为合法请求时，所述后端模块传输的最终人群计数结果；
40.所述前端系统界面，用于展示最终人群计数结果。
41.本发明的有益效果是：
42.本发明能够解决无人机平台行人计数的问题，具有鲁棒性和实时性。
附图说明
43.图1为实施例1中提供的一种基于图像深度学习的无人机平台人群计数方法的流程示意图。
44.图2为实施例1中提供的基于图像深度学习的无人机平台人群计数系统的结构示意图。
具体实施方式
45.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.实施例1
47.参见图1，本实施例提供一种基于图像深度学习的无人机平台人群计数方法，具体
包括：
48.步骤s1、构建数据集，通过采集多张真实航拍的行人图像，再对该多张图像中的行人进行标注，生成存储坐标信息的xml格式文件；
49.具体的说，数据集中的行人图像不少于206张，并且通过labelimg图像标注软件对图像中的行人进行标注。
50.步骤s2、建立行人识别模型，首先通过保留原始yolo v3模型中26
×
26和52
×
52两个尺度的特征图，其次通过k
‑
means聚类算法从步骤s1中的数据集中提取先验框尺度，再用提取到先验框尺度替换原始yolo v3模型中的模型参数；
51.具体的说，k
‑
means算法是一种基于欧氏距离的聚类算法，采用距离作为相似性的评价指标，认为簇是由距离靠近的对象组成的，因此把得到紧凑且独立的簇作为最终目标，通过k
‑
means聚类算法从步骤s1中的数据集中提取先验框尺度具体包括：
52.步骤s201、定义样本为x＝(w,h)，其中w是数据集中样本框的宽度，h是样本框高度，随机选取k个质心μ
j
(j∈1,2,...k)，k取6；
53.步骤s202、对于每个x，计算与每个质心μ
j
的欧式距离，将x加入距离最近质心的簇其中，h
i
表示当前样本x的高度，h
j
表示质心的高度，w
i
表示当前样本x的宽度，w
j
表示质心的宽度。
54.步骤s203、对于每一个簇c
(j)
，通过计算平均值重新获得质心坐标
55.步骤s204、重复步骤s202和步骤s203直到算法收敛，最终得到的k个质心坐标作为先验框的尺度。
56.步骤s3、构建损失函数，该损失函数采用交叉熵损失函数；
57.具体的说，在本实施例中，损失函数为预测坐标与真实坐标的误差、分类误差与置信度误差总和，高宽误差采用均方误差，中心坐标、分类和置信度误差采用交叉熵损失函数，置信度为当前框中检测出对象的概率与真实对象的交并比，即其中，iou为两检测结果的交并比，即
58.步骤s4、将步骤s1构建的数据集输入至步骤s2中构建的行人识别模型中进行训练，并且将学习率调整为l1，动量设为m1，权重衰减为m2，输入图像尺寸为m3×
m3，训练至步骤s3中的损失函数收敛，得到训练后的行人识别模型；
59.具体的说，在本实施例中，l1、m1、m2和m3分别取0.001、0.9、0.0005和416。
60.步骤s5、通过机载摄像头捕获图像，并且获取此时的飞行高度，将飞行高度与预先设定的飞行高度阀值进行比较；
61.若获取到的飞行高度低于预先设定的飞行高度阀值，则，通过图像预处理与分割模块对图像进行调整，将图像尺寸调整至m3×
m3，然后再调整后的图像输入至训练后的行人识别模型中进行识别，将模型的识别结果传入步骤s7中，其识别结果表示为预测框的坐标集合；
62.若获取到的飞行高度高于预先设定的飞行高度阀值，则进行步骤s6；
63.步骤s6、通过图像预处理与分割模块对图像进行10％重叠率的四分割，然后再将分割后的图像输入至训练后的行人识别模型中进行识别，暂存输出结果，其输出结果表示为预测框的坐标集合，如有下一图像则重复该步骤的操作，若没有，则采用非极大值抑制方法对因分割造成的重复目标识别结果去重，最后将去重后的识别结果传入步骤s7中；
64.具体的说，当iou≥t时，对结果进行去重，其中，iou为两识别结果的交并比，即t取0.3。
65.步骤s7、计算所得集合的一维空间长度，该数值即为最终人群计数结果；
66.步骤s8、https网络传输模块读取本地配置文件，得到秘钥和本机编号，jwt的头部进行类型声明，使用base46加密算法对头部进行加密；jwt的第二部分标注其本机编号与接收方，并且进行base64加密；jwt的尾部为使用头部和第二部分以及秘钥进行hmac sha256组合加密得到，最后将头部、第二部分和尾部进行组合拼接得到jwt；
67.步骤s9、通过https网络传输模块将步骤s7中得到的最终人群计数结果以及步骤s8中得到的jwt传输至服务器端，后端模块从服务器端获取最终人群计数结果以及jwt，然后后端模块根据机号和秘钥生成后端jwt，再将后端jwt与步骤s8所得到的jwt进行比较；若比较成功即视为合法请求，后端模块将最终人群计数结果转存至信息存储模块；
68.步骤s10、更新无人机平台的前飞行高度信息，然后判断识别动作是否终止，若未终止，返回步骤s5。
69.实施例2
70.本实施例在实施例1的基础之上进行进一步的说明，具体包括：
71.设置阈值h＝h0，摄像头采集图像同时判断飞行高度是否超过阈值，若超出阈值，则进行10％重叠率的四分割，具体操作如下：
[0072][0073]
调整图像尺寸为416
×
416，输入预训练模型，得到预测结果的坐标集合，整合到一个集合中，对此集合进行非极大值抑制方法的去重处理，即当两个及两个以上预测框重叠率达到阈值0.3，保留一个有效结果，具体算法如下：
[0074]
[0075][0076]
处理完成后，该集合一维空间长度即为最终的计数结果。将该计数结果作为参数发送给服务端，与jwt一起通过https协议发送给服务端，jwt参数由三部分组成：
[0077]
(1)header：声明类型与加密算法，实现如下：
[0078]
base64({type:jwt,alg:hs256})
[0079]
(2)playload：存放无人机编号和接收对象(可以是ip)，实现如下：
[0080]
base64({id:编号,aud:接收方})
[0081]
(3)signature：存放秘钥和其它签证信息，实现如下：
[0082]
encodedstring＝base64urlencode(header) '.' base64urlencode(payload)；
[0083]
signature＝hmacsha256(encodedstring,秘钥)；
[0084]
服务端通过解析jwt的id信息，从配置文件读取秘钥后生成jwt并与该请求中的jwt比较，成功则处理该请求，对结果进行存储和其它操作。
[0085]
实施例3
[0086]
参见图2，本实施例提供一个应用实施例1的系统，该系统为一种基于图像深度学习的无人机平台人群计数系统，具体包括：
[0087]
无人机平台、后端模块、信息存储模块、前端系统界面，所述无人机平台上设置有机载摄像头、图像预处理与分割模块、神经网络模型模块、非极大值抑制方法去重模块、https网络传输模块，其中，
[0088]
所述机载摄像头，用于捕获图像；
[0089]
所述图像预处理与分割模块，用于将所述机载摄像头捕获的图像进行m重叠率的n分割或者将图像尺寸调整至m3×
m3，
[0090]
所述神经网络模型模块，用于根据预先构建的数据集以及损失函数对行人识别模型进行训练，得到训练后的行人识别模型；
[0091]
所述非极大值抑制方法去重模块，用于对因分割造成的重复目标识别结果去重；
[0092]
所述https网络传输模块，用于将最终人群计数结果以及jwt传输至服务器端；
[0093]
所述后端模块，用于从服务器端获取最终人群计数结果以及jwt，然后所述后端模块根据机号和秘钥生成后端jwt，再将后端jwt与步骤s8所得到的jwt进行比较；若比较成功即视为合法请求，将最终人群计数结果转存至信息存储模块；
[0094]
所述信息存储模块，用于储存当为合法请求时，所述后端模块传输的最终人群计数结果；
[0095]
所述前端系统界面，用于展示最终人群计数结果。
[0096]
本发明未详述之处，均为本领域技术人员的公知技术。
[0097]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。