一种基于社交媒体与深度学习的城市内涝积水深度识别方法

1.本发明属于智慧水利领域，具体涉及一种结合社交媒体与深度学习方法的城市内涝积水深度识别方法。


背景技术：

2.随着全球气候变化加剧，极端降雨频次不断增多，强度增强，与此同时城镇化进程快速推进，极大地改变了下垫面条件，加之一些城市的排涝防涝能力建设相对滞后，致使城市内涝积水问题日益加剧。城市内涝是指由于强降水或连续性降水超过城市排水能力致使在城市区域产生积水灾害的现象。2021年河南郑州“7
·
20”特大暴雨引发了严重的城市内涝，造成重大人员伤亡和财产损失。高效、安全、准确地开展城市内涝积水监测不仅可以有效降低内涝成灾风险，同时也能在建设部门治理城市内涝时提供重要依据。
3.目前针对城市内涝积水信息监测的主要方法有人工观测法、仪器测量法和数值模拟法等，其中人工观测法需要消耗大量的人力物力，效率较低且存在严重的安全隐患；仪器测量法通过传感器进行量测，有着方便快捷且精度较高的优点，但缺点也较明显，如仪器成本较高、受外界的干扰较大，并且传统水文监测站点无法布设在市区内部，难以获取城市内涝水位信息；数值模拟方法精度偏低，且需要大量数据进行模型验证。
4.当前水利行业存在水位监测站点布设偏远，城市内涝监测领域相对空白，传统方法积水深度识别精度低等局限，这些是目前国内外城市内涝灾情监测领域亟待解决的重点问题。近年来随着社交媒体的迅猛发展，城市内涝亲历者在社交媒体上分享的大量关于内涝灾害的实时文本、图像、视频等信息可提供除传统水文观测站点外的有效城市内涝灾情信息。但这些数据往往存在重复、夸张、造假等问题，因此至今为止都未被有效利用。因此，亟需寻找一种安全高效、高精度且成本低的新型内涝灾情监测方法来进行城市内涝积水的识别。


技术实现要素：

5.针对上述现有技术的不足，本发明提出了一种基于社交媒体与深度学习的城市内涝积水深度识别方法，以有效利用社交媒体上的城市内涝灾害相关数据来进行城市内涝积水深度的识别，可为城市应急防汛工作提供决策依据，应用前景广阔。
6.一种基于社交媒体与深度学习的城市内涝积水深度识别方法，包括以下步骤：
7.步骤s1：确定洪水内涝发生的地域与时间范围，利用selenium自动化工具从微博、公众号、网页等社交媒体平台获得并存储城市内涝灾害发生的文字、图像与视频数据，进行可信度评估并删除无关与重复数据；并对视频进行抽帧处理得到图像；所述图像中至少包括car、suv、bus、truck中的其中一种关键物；将处理后得到的文字和图像数据进行储存；
8.所述可信度评估包括对用户特征如注册时间、粉丝数量、认证等级以及主题特征如转发量、评论量、点赞量等进行加权赋值以综合考察，剔除可信度得分低于60的社交媒体数据；
9.步骤s2：对步骤s1得到的关于城市内涝的文本数据集中的文本信息进行预处理，，包括去除错误数据与停用词后进行文本块处理，再利用分词工具进行分词处理，根据地名为数据集打上标签，然后按比例(如0.80：0.10：0.10)划分训练集、验证集与测试集。将训练集与验证集输入到已预设参数的textrnn-attention文本分类模型中进行训练，训练期间调整模型参数以获得合适的分类结果，训练完毕后利用测试集验证模型泛化性能，最终得到城市内涝地名识别模型textrnn-attention-location；将待检文字输入最终的textrnn-attention-location模型中，输出内涝地名识别结果；
10.步骤s3：对步骤s1得到的包括城市内涝关键物如轿车、公交、suv等的图像数据集中的图像数据进行预处理，包括转换为rgb图像、进行不失真的尺寸调节。对预处理后的图像进行mosaic数据加强，操作包括图像拼接、图像翻转、色域变换、图像缩放、尺寸扭曲。以“car、suv、bus、truck”作为标签进行人工标注并按比例(如0.80：0.10：0.10)划分训练集、验证集与测试集。将训练集与验证集输入已进行预先设置的目标检测模型中进行训练，构建城市内涝关键物检测模型yolov5-waterlogging并利用测试集对检测模型进行性能评估。将待检图片与视频输入yolov5-waterlogging模型中，输出内涝关键物识别结果。
11.步骤s4：针对步骤s1得到的关于城市内涝的图像数据集，使用labelme标注工具依据20级淹没等级沿关键物轮廓自下而上等分为20份并进行人工标注，按比例(如0.80：0.10：0.10)划分训练集、验证集与测试集。使用脚本函数对标注后的图像进行处理，获得掩模图、标签掩模图与包含标签信息的yaml文件，将训练集与验证集输入已预设的深度学习模型中进行训练，构建城市内涝关键物淹没等级识别模型ghost-mask-rcnn-waterlogging并利用测试集对检测模型进行性能评估。将待检图片与视频输入ghost-mask-rcnn-waterlogging模型中，输出内涝关键物淹没等级识别结果。根据内涝关键物淹没等级识别结果计算得到内涝积水深度；所述模型的主干网络具体包括主干特征提取网络和加强特征提取网络：
12.所述主干特征提取网络使用以轻量化为目标改进的ghost-resnet101，改进的ghost-resnet101以ghost卷积代替普通卷积，以silu激活函数代替relu激活函数；
13.所述加强特征提取网络使用ghost-fpn特征金字塔，以ghost卷积代替普通卷积，增加上采样与横向连接方式获得增强的语义特征。
14.步骤s5：将内涝地名识别结果、内涝关键物识别结果以及内涝积水深度相结合，即可的包含内涝地点与积水深度的城市内涝灾情信息。
15.上述技术方案中，进一步地，步骤s1中所述确定洪水发生的地域与时间范围具体为：限制信息搜寻范围在固定时段如洪水发生至今，固定地域如市、县或者街道，以增强有效数据搜寻效率。
16.进一步地，步骤s2所述textrnn-attention文本分类模型的特征具体为：textrnn-attention模型由输入层、向量映射层、textrnn网络层、注意力层与输出层组成。textrnn又可称为双向长短时记忆神经网络，由前向lstm与后向lstm组合而成，可以更好地捕捉双向的语义依赖关系，提取上下文信息。增加attention即注意力机制关注文本重点信息，将所有时序的向量进行加权组合作为特征向量后再进行分类。
17.进一步地，步骤s3所述的yolov5-waterlogging关键物检测模型由主干特征提取网络cspdarknet、加强特征提取网络fpn特征金字塔、分类与回归器yolo head组成。
cspdarknet增加了focus下采样将宽高维度的信息转换到通道维度，减少了参数计算，提高了运行速度；fpn特征金字塔采用上采样与下采样结合的方式将不同规模的特征层进行特征融合以提取更好的特征；yolo head对特征图进行解码，获得回归与分类结果。所述cspdarknet包括空间金字塔池化瓶颈层，所述空间金字塔池化瓶颈层使用不同大小的池化核进行最大池化以提取特征，提高网络的感受野。
18.进一步地，步骤s3中采用的yolov5-waterlogging关键物检测模型中的内涝关键物识别结果具体为：
19.内涝关键物识别结果包括关键物分类、置信度、预测框与分割子图。关键物分类包括“car、suv、bus、truck”，置信度(confidence)为对预测框内是否有关键物与预测准确度的评价，分割子图为以预测框为边界截取的图像。置信度公式具体如下：
[0020][0021][0022]
其中若预测框内有关键物，则pr(object)＝1，若预测框内无关键物，则pr(object)＝0；为交并比，即关键物实际区域和推测区域的重合面积与两个区域整体所占面积的比值。
[0023]
进一步地，步骤s4中采用的ghost-mask-rcnn-waterlogging关键物淹没等级识别模型中采用的ghost卷积具体为：
[0024]
ghost卷积的思想为使用计算量更低的操作来生成冗余的特征图。所述ghost卷积共分为两部分以取代传统卷积。第一部分为少量卷积：进行一个通道数为传统卷积通道数一半的1
×
1卷积，以生成输入特征层的必要特征浓缩；第二部分为深度可分离卷积，利用第一部分获得的必要特征浓缩生成ghost特征图。
[0025]
使用ghost卷积代替传统卷积，ghost卷积的计算量相较普通卷积更低，可高效地生成冗余的特征图，在保证良好检测效果的情况下，提高模型运行速度并减少模型的参数量。使用silu激活函数代替relu激活函数，silu激活函数无上界有下界、非单调、平滑，是sigmoid和relu激活函数的改进版，在深度模型上的效果优于relu激活函数。
[0026]
进一步地，步骤s4中采用的ghost-mask-rcnn-waterlogging关键物淹没等级识别模型中损失函数具体为：
[0027]
loss＝loss
cls
loss
box
loss
mask
ꢀꢀꢀ
(3)
[0028]
其中loss
cls
为分类损失，loss
box
为回归框损失，loss
mask
为分割损失。
[0029][0030][0031][0032][0033][0034]
其中，n
cls
为先验框数量即256，为分类的对数损失；分类为正样本时，分类为负样本时，pi是预测分类概率，n
box
为正负样本总数即256，
为回归时的偏移损失，r为smooth l1损失函数，ti为预测框的参数化坐标，为真实框的参数化坐标，mask
true
为真实分割大小，mask
pre
为预测分割大小。
[0035]
进一步地，步骤s4中采用的ghost-mask-rcnn-waterlogging关键物淹没等级识别模型中内涝关键物淹没等级识别结果具体为：
[0036]
内涝关键物淹没等级识别结果包括淹没等级分类、置信度、预测框与掩膜图。淹没等级共分为20级，关键物最高点为第20级；掩膜图为以像素点为单位、以识别物体为边界截取的图像。
[0037]
更进一步地，步骤s4中，根据内涝关键物淹没等级识别结果计算得到内涝积水深度，具体为：
[0038][0039]
其中，h是积水深度，δ是关键物淹没等级，n是淹没总等级，为20级，h0是关键物的标准高度。
[0040]
进一步地，步骤s4中，若同一图像中存在多个关键物，针对得到的多个积水深度，首先过滤掉偏离平均数一个标准差以上的数据，再计算剩余数据的平均值作为最终的内涝积水深度。
[0041]
本发明方法具有以下优势：
[0042]
(1)考虑传统水利行业水位监测站点布设偏远，城市内涝信息获取困难的现状，依托社交媒体平台即时获取大量关于内涝灾害的实时文本、图像、视频等信息，有效解决了城市内涝灾情获取信息高延迟与严重不足的问题。
[0043]
(2)通过增加可信度评价、将深度学习方法引入至社交媒体数据处理中，有效解决了社交媒体信息重复、夸张、造假等问题，使社交媒体的大量有效信息得到充分利用。
[0044]
(3)采用城市内涝关键物检测模型yolov5-waterlogging与城市内涝关键物淹没等级识别模型ghost-mask-rcnn-waterlogging结合检测的方法，融合目标检测模型识别速度快与实例分割模型像素级识别、精度高的优势，实现城市内涝积水深度的高精度、高效识别。
[0045]
(4)将内涝发生地点信息与内涝积水深度信息进行有效结合为内涝灾情信息，突破传统方法只能对地点或水位进行单要素监测的局限。
[0046]
(5)改进了mask-rcnn实例分割模型，使用ghost卷积代替传统卷积，用silu激活函数代替relu激活函数，在保证良好检测效果的情况下减少了模型的参数量，提高了模型运行速度与识别效果。
附图说明
[0047]
图1为本发明的整体流程示意图.
[0048]
图2为本发明的textrnn-attention-location城市内涝地名识别模型结构示意图。
[0049]
图3为本发明的yolov5-waterlogging关键物检测模型结构示意图。
[0050]
图4为本发明的ghost-mask-rcnn-waterlogging关键物淹没等级识别模型结构示意图。
[0051]
图5为本发明的ghost-resnet101与ghost-fpn模块结构示意图。
[0052]
图6为本发明实施例获取的关键物识别结果示例。
[0053]
图7为本发明实施例的关键物体淹没等级示意图。
[0054]
图8为本发明实施例的关键物体淹没等级识别结果示意图。
具体实施方式
[0055]
以下结合具体实施案例对本发明的实现进行详细的描述。
[0056]
如图1所示，本实施案例提供了一种基于社交媒体与深度学习的城市内涝积水深度识别方法，具体包括以下步骤：
[0057]
本实施案例共使用三个深度学习模型，一个是用于城市内涝地名识别的textrnn-attention-location模型，一个是用于城市内涝关键物检测的yolov5-waterlogging模型，一个是用于城市内涝关键物淹没等级识别的ghost-mask-rcnn-waterlogging模型。结合高度转换公式及关键物体的国内外制造标准，可以计算出对应的积水深度。以轿车为例，检测积水深度有效范围在1500mm以下。经过实例测试，误差在35mm以内。
[0058]
在本实施案例中，步骤s1中，采用selenium自动化工具从微博、公众号、网页等社交媒体获得城市内涝灾害发生的文字、图片与视频信息，输入关键词“利奇马”，剔除无关及重复数据，得到文字信息三千余条，图片信息三千余张，视频两百余条，表1为selenium自动化工具抓取微博文字的信息示例。
[0059]
在本实施案例中，步骤s2中，采用textrnn-attention-location模型进行内涝灾害发生地的地名信息识别，如图2所示。本实施例中识别出地名信息为浙江永嘉县岩坦镇山早村。
[0060]
在本实施案例中，步骤s3中，采用yolov5-waterlogging模型进行城市内涝关键物识别，关键物分类包含“轿车(car)”、“suv”、“公交(bus)”、“货车(truck)”四个子类，识别结果如图6所示，图中识别出关键物体“轿车(car)”。
[0061]
在本实施例中，步骤s4中，采用ghost-mask-rcnn-waterlogging模型进行城市内涝关键物淹没等级识别，淹没等级分为20级，如图7所示，精度为35mm。关键物淹没等级如图8所示，两个关键物为淹没等级为level_14，由高度转换公式可知该地积水深度约为1050mm。
[0062]
表1 selenium自动化工具抓取微博文字信息示例
[0063][0064]
以上所述仅对本发明的实例实施而已，并不用于限制本发明。本发明中对待关键物体和部位选定、标准的制定也可根据不同的研究问题具体制定。对于本领域的研究者来说，本发明可以有各种更改和变化。凡是在本发明的权利要求限定范围内，所做的任何修改、等同替换、改进等，均应在本发明的保护范围之内。