一种基于人工智能的智慧城市用识别装置及其识别方法与流程

1.本发明属于智慧城市技术领域，具体涉及一种基于人工智能的智慧城市用识别装置及其识别方法。


背景技术：

2.智慧城市起源于传媒领域，是指利用各种信息技术或创新概念，将城市的系统和服务打通、集成，以提升资源运用的效率，优化城市管理和服务，以及改善市民生活质量。智慧城市是把新一代信息技术充分运用在城市中各行各业基于知识社会下一代创新(创新2.0)的城市信息化高级形态，实现信息化、工业化与城镇化深度融合，有助于缓解“大城市病”，提高城镇化质量，实现精细化和动态管理，并提升城市管理成效和改善市民生活质量。
3.目前没有一种针对智慧城市的城市垃圾、山火、渔船等进行识别的装置和方法，导致智慧城市的识别方法较为困难，通常是通过对城市拍摄的图像进行人工识别以判定是否为智慧城市，这种判断方式误差较大，使用时并不具有实用性。


技术实现要素：

4.本发明要解决的技术问题是克服现有的缺陷，提供一种基于人工智能的智慧城市用识别装置及其识别方法，以解决上述背景技术中提出的目前没有一种针对智慧城市的城市垃圾、山火、渔船等进行识别的装置和方法，导致智慧城市的识别方法较为困难，通常是通过对城市拍摄的图像进行人工识别以判定是否为智慧城市，这种判断方式误差较大，使用时并不具有实用性的问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于人工智能的智慧城市用识别装置，包括机身，所述机身的内部一端设置有转动电机，转动电机的一端传动连接有转动轴，所述转动轴的表面固定连接有螺旋桨，所述机身的两侧表面均设置有机翼，所述机身的尾端上表面设置有尾椎，所述机身的尾端两侧表面均设置有尾翼，所述机身的下表面中间部分固定连接有连接箱，所述连接箱的下表面固定连接有连接块，所述连接块的内部通过转轴转动连接有转动杆，所述转动杆远离连接块的一端固定连接有航拍设备，所述机身的两侧表面均设置有散热网，所述散热网的内侧表面设置有散热板，所述机身的内部设置有5g通信模块。
6.优选的，所述机身的下表面两端均固定连接有支撑杆，所述支撑杆的下端均通过减震杆设置有减震轮。
7.优选的，所述支撑杆的内部底端开设有减震槽，所述减震槽的内部两侧表面固定连接有滑动杆，所述滑动杆的表面滑动连接有滑块，所述滑块设置有两个，两个所述滑块之间设置有减震弹簧。
8.优选的，所述滑块的下端设置有连接件，所述连接件固定连接在减震杆的上表面，且所述连接件和滑块之间设置有连接杆，所述连接杆的上端转动连接在滑块的一侧表面，所述连接杆的下端转动连接在连接件的一侧表面。
9.一种基于人工智能的智慧城市用识别装置的识别方法，包括以下步骤：
10.步骤一：地面控制系统通过5g接收模块将航拍设备拍摄的智慧城市的画面进行接收，并将画面导入至地面控制系统内部的识别系统进行识别；
11.步骤二：在识别系统内部建立航拍画面的数据集，对建立的数据集进行预处理，建立训练集和测试集，构建yolo v5模型，yolo v5模型包括输入端、特征提取部分、neck部分和head部分；输入端对图像进行数据增强处理、自适应锚框计算及自适应图片缩放处理；特征提取部分用于对输入图像进行切片操作，再经过卷积操作，获得特征图；neck部分对特征图进行分类和分割；head部分用于得到不同尺度的预测结果；
12.步骤三：使用训练集训练yolo v5模型，在训练和检测时，对切分后的图像再次进行切分，用以增大目标大小在图像中的占比，将输入网络的图像大小修改为最后切割的图像大小，对某种排污口较少的数据随机翻转进行数据增强；
13.步骤四：使用测试集测试训练好的yolo v5模型的性能，然后将模型用于无人机航拍排污口图像的识别；
14.步骤五：确定城市垃圾种类和样式，并提取图像特征；
15.步骤六：确定垃圾乱投乱放场景，并提取图像特征；
16.步骤七：确定垃圾定点投放场景，并提取图像特征；
17.步骤八：搭建图像识别网络模型；
18.步骤九：合格及不合格的图像素材收集；
19.步骤十：形成数据集；
20.步骤十一：进行训练并学习；
21.步骤十二：对训练结果进行验证，并形成测试指标；
22.步骤十三：形成成熟的垃圾图像识别方法。
23.优选的，所述步骤二中，对建立的数据集进行预处理的内容包括对高分辨率图像的分块，对分块后的图像进行排污口标注，对标注后的图像再次进行裁剪，设高分辨图像大小为w
×
h，划分数量使用如下公式计算：
24.num
x
＝w/7
25.numy＝h/7
26.上述公式中，num
x
和numy分别代表分块时宽和高的分块数量。
27.优选的，所述步骤三中，neck部分采用特征金字塔网络fpn和pan网络，特征金字塔网络由自上而下和自下而上两个部分组成，其中，自上而下的网络用于提取航拍图像的特征，自下而上的部分用于融合不同尺度的特征信息，pan网络和fpn网络共同使用，创建自下而上的增强路径，用于缩短信息路径，利用存储的精确定位信号，底层基础信息向高层传播以进行分类和分割。
28.优选的，所述步骤三中，head部分中，使用加权非极大抑制，在剔除锚框的过程中，将锚框的置信度作为权值，得到新的矩形框，把该矩形作为最终预测的矩形框，再将较低分数的锚框剔除，head得到三种不同尺度的预测结果，以输入图像大小为608
×
608为例，预测结果大小分别为19
×
19
×
255，38
×
38
×
255，76
×
76
×
255，不同大小的结果用于预测不同大小的目标，在目标检测的后处理过程中，针对很多目标锚框筛选，通常需要进行非极大抑制操作，非极大抑制就是筛选不同置信度下的锚框，抑制分数比较低的锚框。在yolo v5中，
使用加权nms，在剔除锚框的过程中，将锚框的置信度作为权值，得到新的矩形框，把该矩形作为最终预测的矩形框，再将较低分数的锚框剔除，损失函数使用ciou-loss损失函数，其公式为：
[0029][0030]
其中，iou为交并比，c表示封闭a和b的最小区域，|c/(a∪b)|表示c中没有覆盖a和b的面积占c总面积的面积，总损失函数为：
[0031]
l＝giou_loss l
conf
l
cls
[0032]
yolo v5的模型大小分为四种，分别为s、m、l、x，分别适用于不同的需求，使用训练集训练yolo v5模型，将输入网络的图像大小修改为最后切割的图像大小，在训练过程中，交并比iou＞0.7的部分，认为是前景目标；当iou＜0.3时，我们认为是背景目标，其损失函数如上所述计算，其中giou_loss为回归锚框的loss，l
conf
为置信度的loss，l
cls
为分类的loss。
[0033]
优选的，所述步骤十一中，使用基于pytorch的统一的训练框架，应用faster-rcnn和mask-rcnn目标检测算法进行训练，并通过使用在imagenet数据集预训练的模型来进行迁移学习。
[0034]
优选的，所述cascade-mask-rcnn-dconv网络模型其主干网络采用resnet101。
[0035]
与现有技术相比，本发明提供了一种基于人工智能的智慧城市用识别装置及其识别方法，具备以下有益效果：
[0036]
1、本发明通过设置的航拍设备，通过无人机将航拍设备带到空中对智慧城市进行航拍，随后通过将航拍的照片视频等上传至地面识别系统内部进行识别，大大方便了智慧城市的识别过程，无需人工在城市的各个地方进行拍摄，节省了智慧城市的识别过程，通过在机身两侧表面设置的散热网，在散热网内部设置有散热板，通过散热板和散热网可以有效的对机身内部的电气元件进行散热处理，有效的防止机身内部由于运行时间过长导致电气元件表面温度过高，影响无人机的使用寿命；
[0037]
2、本发明通过设置的减震槽，使用时当无人机需要降落时，当减震轮接触地面时，减震轮会将自身受到的震动力通过减震杆传导至连接件处，连接件通过连接杆将震动力传导至滑块表面，两个滑块在滑动杆的表面向两侧移动，从而减少减震轮受到的震动力，且通过两个滑块之间设置的减震弹簧可以进一步减少两个滑块向两侧移动的力，从而实现无人机在降落时减震的目的，对无人机起到保护的作用；
[0038]
3、本发明通过设置的yolo v5算法对智慧城市的排污口进行检测，解决了传统的目标检测方法中，对无人机航拍图像排污口这类小目标的检测精度较低的问题，辅助人工检测航拍图像河流排污口，提高排污口的检测精度，通过多次切割图像，并使用yolo v5模型，以适应航拍河流图像排污口小目标检测，提高了目标检测的精度；
[0039]
4、本发明通过设置的pytorch算法对城市的垃圾投放点进行图像识别，开发出的一种适用于智慧城市的垃圾投放点监测方法，能够适用于大部分环境的城市垃圾管理识别及监测，极大地提升了智慧城市的垃圾投放管理水平，打造了关于智慧城市特定场景的设备算法一体化解决方案，集拍摄、传输、模型训练、ai算法识别于一体的设备系统，内置了垃圾、排污、山火等算法，提供了此类智慧城市场景的解决方案。
附图说明
[0040]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制，在附图中：
[0041]
图1为本发明提出的基于人工智能的智慧城市用识别装置的结构示意图；
[0042]
图2为本发明提出的基于人工智能的智慧城市用识别装置中航拍设备处的结构示意图；
[0043]
图3为本发明提出的基于人工智能的智慧城市用识别装置中减震轮处的结构示意图；
[0044]
图4为本发明提出的基于人工智能的智慧城市用识别装置及其识别方法的图3中a处的放大图；
[0045]
图5为本发明提出的基于人工智能的智慧城市用识别装置及其识别方法中yolo v5的算法框图；
[0046]
图6为本发明提出的基于人工智能的智慧城市用识别装置及其识别方法中pytorch算法的框架图；
[0047]
图中：1、机身；2、机翼；3、转动轴；4、螺旋桨；5、尾翼；6、尾椎；7、散热网；8、连接箱；9、连接块；10、转轴；11、转动杆；12、航拍设备；13、支撑杆；14、减震杆；15、减震轮；16、减震槽；17、滑动杆；18、滑块；19、减震弹簧；20、连接杆；21、连接件。
具体实施方式
[0048]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0049]
请参阅图1-6，本发明提供一种技术方案：一种基于人工智能的智慧城市用识别装置，包括机身1，机身1的内部一端设置有转动电机，转动电机的一端传动连接有转动轴3，转动轴3的表面固定连接有螺旋桨4，机身1的两侧表面均设置有机翼2，机身1的尾端上表面设置有尾椎6，机身1的尾端两侧表面均设置有尾翼5，机身1的下表面中间部分固定连接有连接箱8，连接箱8的下表面固定连接有连接块9，连接块9的内部通过转轴10转动连接有转动杆11，转动杆11远离连接块9的一端固定连接有航拍设备12，机身1的两侧表面均设置有散热网7，散热网7的内侧表面设置有散热板，机身1的内部设置有5g通信模块，本发明通过设置的航拍设备12，通过无人机将航拍设备12带到空中对智慧城市进行航拍，随后通过将航拍的照片视频等上传至地面识别系统内部进行识别，大大方便了智慧城市的识别过程，无需人工在城市的各个地方进行拍摄，节省了智慧城市的识别过程，通过在机身两侧表面设置的散热网7，在散热网7内部设置有散热板，通过散热板和散热网7可以有效的对机身1内部的电气元件进行散热处理，有效的防止机身1内部由于运行时间过长导致电气元件表面温度过高，影响无人机的使用寿命。
[0050]
本发明中，优选的，机身1的下表面两端均固定连接有支撑杆13，支撑杆13的下端均通过减震杆14设置有减震轮15。
[0051]
本发明中，优选的，支撑杆13的内部底端开设有减震槽16，减震槽16的内部两侧表
面固定连接有滑动杆17，滑动杆17的表面滑动连接有滑块18，滑块18设置有两个，两个滑块18之间设置有减震弹簧19。
[0052]
本发明中，优选的，滑块18的下端设置有连接件21，连接件21固定连接在减震杆14的上表面，且连接件21和滑块18之间设置有连接杆20，连接杆20的上端转动连接在滑块18的一侧表面，连接杆20的下端转动连接在连接件21的一侧表面，本发明通过设置的减震槽16，使用时当无人机需要降落时，当减震轮15接触地面时，减震轮15会将自身受到的震动力通过减震杆14传导至连接件处21，连接件21通过连接杆20将震动力传导至滑块18表面，两个滑块18在滑动杆17的表面向两侧移动，从而减少减震轮15受到的震动力，且通过两个滑块18之间设置的减震弹簧19可以进一步减少两个滑块18向两侧移动的力，从而实现无人机在降落时减震的目的，对无人机起到保护的作用。
[0053]
一种基于人工智能的智慧城市用识别装置的识别方法，包括以下步骤：
[0054]
步骤一：地面控制系统通过5g接收模块将航拍设备12拍摄的智慧城市的画面进行接收，并将画面导入至地面控制系统内部的识别系统进行识别；
[0055]
步骤二：在识别系统内部建立航拍画面的数据集，对建立的数据集进行预处理，建立训练集和测试集，构建yolo v5模型，yolo v5模型包括输入端、特征提取部分、neck部分和head部分；输入端对图像进行数据增强处理、自适应锚框计算及自适应图片缩放处理；特征提取部分用于对输入图像进行切片操作，再经过卷积操作，获得特征图；neck部分对特征图进行分类和分割；head部分用于得到不同尺度的预测结果；
[0056]
步骤三：使用训练集训练yolo v5模型，在训练和检测时，对切分后的图像再次进行切分，用以增大目标大小在图像中的占比，将输入网络的图像大小修改为最后切割的图像大小，对某种排污口较少的数据随机翻转进行数据增强；
[0057]
步骤四：使用测试集测试训练好的yolo v5模型的性能，然后将模型用于无人机航拍排污口图像的识别；
[0058]
步骤五：确定城市垃圾种类和样式，并提取图像特征；
[0059]
步骤六：确定垃圾乱投乱放场景，并提取图像特征；
[0060]
步骤七：确定垃圾定点投放场景，并提取图像特征；
[0061]
步骤八：搭建图像识别网络模型；
[0062]
步骤九：合格及不合格的图像素材收集；
[0063]
步骤十：形成数据集；
[0064]
步骤十一：进行训练并学习；
[0065]
步骤十二：对训练结果进行验证，并形成测试指标；
[0066]
步骤十三：形成成熟的垃圾图像识别方法。
[0067]
本发明中，优选的，步骤二中，对建立的数据集进行预处理的内容包括对高分辨率图像的分块，对分块后的图像进行排污口标注，对标注后的图像再次进行裁剪，设高分辨图像大小为w
×
h，划分数量使用如下公式计算：
[0068]
num
x
＝w/7
[0069]
numy＝h/7
[0070]
上述公式中，num
x
和numy分别代表分块时宽和高的分块数量。
[0071]
本发明中，优选的，步骤三中，neck部分采用特征金字塔网络fpn和pan网络，特征
金字塔网络由自上而下和自下而上两个部分组成，其中，自上而下的网络用于提取航拍图像的特征，自下而上的部分用于融合不同尺度的特征信息，pan网络和fpn网络共同使用，创建自下而上的增强路径，用于缩短信息路径，利用存储的精确定位信号，底层基础信息向高层传播以进行分类和分割。
[0072]
本发明中，优选的，步骤三中，head部分中，使用加权非极大抑制，在剔除锚框的过程中，将锚框的置信度作为权值，得到新的矩形框，把该矩形作为最终预测的矩形框，再将较低分数的锚框剔除，head得到三种不同尺度的预测结果，以输入图像大小为608
×
608为例，预测结果大小分别为19
×
19
×
255，38
×
38
×
255，76
×
76
×
255，不同大小的结果用于预测不同大小的目标，在目标检测的后处理过程中，针对很多目标锚框筛选，通常需要进行非极大抑制操作，非极大抑制就是筛选不同置信度下的锚框，抑制分数比较低的锚框。在yolo v5中，使用加权nms，在剔除锚框的过程中，将锚框的置信度作为权值，得到新的矩形框，把该矩形作为最终预测的矩形框，再将较低分数的锚框剔除，损失函数使用ciou-loss损失函数，其公式为：
[0073][0074]
其中，iou为交并比，c表示封闭a和b的最小区域，|c/(a∪b)|表示c中没有覆盖a和b的面积占c总面积的面积，总损失函数为：
[0075]
l＝giou_loss l
conf
l
cls
[0076]
yolo v5的模型大小分为四种，分别为s、m、l、x，分别适用于不同的需求，使用训练集训练yolo v5模型，将输入网络的图像大小修改为最后切割的图像大小，在训练过程中，交并比iou＞0.7的部分，认为是前景目标；当iou＜0.3时，我们认为是背景目标，其损失函数如上所述计算，其中giou_loss为回归锚框的loss，l
conf
为置信度的loss，l
cls
为分类的loss。
[0077]
本发明中，优选的，步骤十一中，使用基于pytorch的统一的训练框架，应用faster-rcnn和mask-rcnn目标检测算法进行训练，并通过使用在imagenet数据集预训练的模型来进行迁移学习。
[0078]
本发明中，优选的，cascade-mask-rcnn-dconv网络模型其主干网络采用resnet101。
[0079]
本发明的工作原理及使用流程：使用时，通过地面的控制系统控制无人机飞在空中，随后通过设置在无人机机身1下表面的航拍设备12对智慧城市的各个地方进行画面的拍摄，通过设置在机身1内部的5g网络模块将航拍的画面传送至地面的控制系统，控制系统内部对画面进行识别，从而对智慧城市进行识别，无人机航拍完成后，在降落时通过减震轮15、减震杆14、减震槽16和减震弹簧19可以对无人机降落时受到的震动力进行减轻，从而对无人机起到保护的作用，打造了关于智慧城市特定场景的设备算法一体化解决方案，集拍摄、传输、模型训练、ai算法识别于一体的设备系统，内置了垃圾、排污、山火等算法，提供了此类智慧城市场景的解决方案。
[0080]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换
和变型，本发明的范围由所附权利要求及其等同物限定。