流动摊贩空间分布的预测方法、系统、装置和存储介质与流程

1.本发明涉及图像处理技术领域，尤其是一种流动摊贩空间分布的预测方法、系统、装置和存储介质。


背景技术：

2.地摊经济是城市社会生态系统的一个不可或缺的组成部分：一方面，其有助于缓解大量低收入或者新移民的失业问题；另一方面，其能满足低消费者的需求，提升城市社区的活力。因此，合理引导地摊经济中流动摊贩的分布范围，有利于降低流动摊贩的负面影响。相关技术中，对于流动摊贩的分布状态的了解，主要通过以下两个方式进行：第一、人工个案调查：即选取流动摊贩活跃的典型地区，通过观察、访谈、访问等调查方式对摊贩、消费者、社区居民和城市执法人员进行个案数据收集，然后通过收集到的数据分析当前区域的流动摊贩的分布状态。这类调查方式需要较高的人工成本，且调查的数据仅能反映被调查区域的状态。第二、城市普查：即借助普查数据来分析摊贩规模和分布状态。这类调查方式的本质也是依赖于人为收集数据的过程，因此，收集的数据也仅能反映被调查区域的状态。


技术实现要素：

3.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种流动摊贩空间分布的预测方法、系统、装置和存储介质，无需借助人为收集的数据，即能快速得到不同区域内流动摊位的分布状态。
4.一方面，本发明实施例提供了一种流动摊贩空间分布的预测方法，包括以下步骤：
5.获取预设区域的路网数据；
6.获取所述路网数据内预设坐标点对应的若干张街景图像；
7.将所述若干张街景图像分别保存到第一子集和第二子集，并对所述第一子集内的所述街景图像进行流动摊贩的类型标注；
8.将所述第一子集和所述第二子集输入到流动摊贩识别模型，得到所述预设区域内流动摊贩的识别结果；
9.获取流动摊贩的关联因子；
10.将所述预设区域内流动摊贩的空间位置和所述关联因子输入到空间分布预测模型，预测得到待预测区域内流动摊贩的空间分布状态。
11.在一些实施例中，所述将所述第一子集和所述第二子集输入到流动摊贩识别模型，得到所述预设区域内流动摊贩的识别结果，包括：
12.提取所述第一子集的部分数据和所述第二子集的部分数据保存到训练集，提取所述第一子集的剩余数据保存到验证集；
13.将所述训练集输入到流动摊贩识别模型后，对训练集内的街景图像依次提取特征、特征池化、特征融合后，得到所述训练集内街景图像上流动摊贩的第一预测类别和第一边界框；
14.将所述验证集输入到流动摊贩识别模型后，对验证集内的街景图像依次提取特征、特征池化、特征融合后，得到所述验证集内街景图像上流动摊贩的第二预测类别和第二边界框；
15.确定所述第二边界框对应的置信度得分和相交区域；
16.当所述置信度得分大于等于置信度阈值且所述相交区域大于等于相交区域阈值，将所述街景图像输入到流动摊贩识别模型，对所述街景图像依次提取特征、特征池化、特征融合后，得到所述预设区域内流动摊贩的识别结果。
17.在一些实施例中，在执行所述将所述训练集输入到流动摊贩识别模型后这一步骤之前，所述方法还包括以下步骤：
18.对所述训练集内的街景图像进行翻转，得到翻转图像；
19.对所述翻转图像进行缩放，得到缩放图像；
20.对所述缩放图像进行色域变换，得到用于训练的目标图像。
21.在一些实施例中，所述将所述预设区域内流动摊贩的空间位置和所述关联因子输入到空间分布预测模型，预测得到待预测区域内流动摊贩的空间分布状态，包括：
22.将所述预设区域内流动摊贩的空间位置输入到空间分布预测模型，得到模型性能的roc曲线；
23.当所述roc曲线符合预设要求，将所述关联因子输入到空间分布预测模型，预测得到待预测区域内流动摊贩的空间分布状态。
24.在一些实施例中，所述获取所述路网数据内预设坐标点对应的若干张街景图像，包括：
25.在所述路网数据内以预设间隔设置预设坐标点；
26.获取所述预设坐标点对应的若干张街景图像。
27.在一些实施例中，所述获取所述预设坐标点对应的若干张街景图像，包括：
28.获取所述预设坐标点上处于不同拍摄角度的若干张街景图像。
29.在一些实施例中，所述对所述第一子集内的所述街景图像进行流动摊贩的类型标注，包括：
30.提取第一子集内的所述街景图像内货物载具；
31.根据所述货物载具对流动摊贩的类型标注。
32.另一方面，本发明实施例提供了一种流动摊贩空间分布的预测方法，包括：
33.第一获取模块，用于获取预设区域的路网数据；
34.第二获取模块，用于获取所述路网数据内预设坐标点对应的若干张街景图像；
35.分解模块，用于将所述若干张街景图像分别保存到第一子集和第二子集，并对所述第一子集内的所述街景图像进行流动摊贩的类型标注；
36.识别模块，用于将所述第一子集和所述第二子集输入到流动摊贩识别模型，得到所述预设区域内流动摊贩的识别结果；
37.第三获取模块，用于获取流动摊贩的关联因子；
38.预测模块，用于将所述预设区域内流动摊贩的空间位置和所述关联因子输入到空间分布预测模型，预测得到待预测区域内流动摊贩的空间分布状态。
39.另一方面，本发明实施例提供了一种流动摊贩空间分布的预测装置，包括：
40.至少一个存储器，用于存储程序；
41.至少一个处理器，用于加载所述程序以执行所述的流动摊贩空间分布的预测方法。
42.另一方面，本发明实施例提供了一种存储介质，其中存储有计算机可执行的程序，所述计算机可执行的程序被处理器执行时用于实现所述的流动摊贩空间分布的预测方法。
43.本发明实施例提供的一种流动摊贩空间分布的预测方法，具有如下有益效果：
44.本实施例通过先获取预设区域的路网数据上预设坐标点对应的若干张街景图像，并将若干张街景图像分别保存到第一子集和第二子集，同时对第一子集内的所述街景图像进行流动摊贩的类型标注，以提高识别模型的训练精度，接着将第一子集和第二子集输入到流动摊贩识别模型，得到预设区域内流动摊贩的空间位置，从而为其他区域进行流动摊贩分布预测提供位置参考数据，然后将预设区域内流动摊贩的空间位置、获取到的关联因子输入到空间分布预测模型，预测得到待预测区域内流动摊贩的空间分布状态，从而无需人为的收集数据，降低人工成本和工作量，同时还能快速、准确的得到不同区域内流动摊位的分布状态。
45.本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
46.下面结合附图和实施例对本发明做进一步的说明，其中：
47.图1为本发明实施例的一种流动摊贩空间分布的预测方法的流程图；
48.图2为本发明实施例的一种流动摊贩识别模型的结构示意图。
具体实施方式
49.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
50.在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
51.本发明的描述中，除非另有明确的限定，设置等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
52.本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
53.参照图1，本发明实施例提供了一种流动摊贩空间分布的预测方法。本实施例可应用于服务器或者摊贩管理平台对应的后台处理器。
54.在实施过程中，本实施例包括以下步骤：
55.s11、获取预设区域的路网数据。
56.在本实施例中，路网数据包括城市路网数据，该路网数据可以从预设网站中直接调用，例如，从openstreetmap中直接调用。其中，openstreetmap简称osm，其是个可供自由编辑的世界地图。osm上的地图由用户手持gps装置、航空摄影照片、卫星影像、其他自由内容甚至靠用户由于对目标区域的熟悉而具有空间知识绘制。
57.s12、获取路网数据内预设坐标点对应的若干张街景图像。
58.在本实施例中，在获取到路网数据后，在路网数据上以预设间隔设置预设坐标点，例如10米为一个间隔、20米为一个间隔等。预设间隔的大小可以由用户根据路网数据的实际情况设置。在设定好当前路网数据上的坐标点后，采集该坐标点对应的街景图像。具体地，每个坐标点上采集的图像包括至少三张图像。至少三张图像可以是同一个角度对应的街景图像，还可以是由三个不同拍摄角度对应的街景图像。当街景图像是从在线地图的街景开放服务中获取时，可以通过在线地图的api开放网络爬虫软件，爬取路网数据上预设坐标点对应的不同角度的拍摄图像。例如，爬取拍摄角度分别为90
°
、180
°
和270
°
的街景图像。
59.s13、将若干张街景图像分别保存到第一子集和第二子集，并对第一子集内的街景图像进行流动摊贩的类型标注。
60.在本实施例中，为了提高流动摊贩识别模型的训练精度，获取到多张街景图像后，将街景图像分别保存到两个不同的子集内，然后对两个子集内的数据采用不同的处理方式。例如，对第一子集内的街景图像进行流动摊贩的类型标准，但是，不对第二子集内的街景图像进行处理，以为模型训练提供不同类型的数据。可以理解的是，由于不同类型的流动摊贩所采用的摆摊工具有所不同，因此，可以通过先识别出第一子集内街景图像上包含的货物载具，然后再根据识别到的货物载具确定流动摊贩的类型。例如识别到的货物载具是一块尼龙袋，该尼龙袋放置在地面上且货物摆放在尼龙袋上，则可以确定该流动摊贩的类型是地面摊位。又比如识别到货物载具是桌子，货物摆放在桌子上面，则可以确定该流动摊贩的类型是桌子摊位。又比如识别到货物载具是三轮车，货物摆放在三轮车内，则可以确定该流动摊贩的类型是三轮车摊位。还比如识别到货物载具是小货车，货物摆放在小货车内，则可以确定该流动摊贩的类型是小货车摊位。
61.s14、将第一子集和第二子集输入到流动摊贩识别模型，得到预设区域内流动摊贩的识别结果。
62.在本实施例中，当完成第一子集内所有街景图像处理后，通过第一子集和第二子集，对流动摊贩识别模型进行训练，并预测得到预设区域内流动摊贩的识别结果，以为其他区域的流动摊位预测过程提供数据支持。可以理解的是，在训练过程中，可以先从第一子集内提取部分数据和第二子集提取部分数据一起保存到训练集，同时从第一子集提取剩余数据保存到验证集。其中，训练集内的第一子集的部分数据可以作为正训练样本，正训练样本的数量与训练集内第二子集的样本数量相等。例如，从第一子集内总共提取了10分样本，其中，9份样本保存到了训练集内，剩余1份样本作为验证集，则从第二子集内提取的样本数量也为9份。在得到训练集和验证集后，先将训练集输入到流动摊贩识别模型，然后在流动摊贩识别模型内对训练集内的街景图像依次提取特征、特征池化、特征融合后，预测得到训练集内街景图像上流动摊贩的第一预测类别和第一边界框作为当次训练过程中的识别结果。
在完成一轮训练后，将验证集输入到流动摊贩识别模型，在流动摊贩识别模型内对验证集内的街景图像依次提取特征、特征池化、特征融合后，得到验证集内街景图像上流动摊贩的第二预测类别和第二边界框作为当次验证过程中的识别结果。然后确定第二边界框对应的置信度得分和相交区域，其中，相交区域是指预测得到的边界框与标注的边界框的重叠区域。当置信度得分小于置信度阈值或者相交区域小于相交区域阈值，则从第一子集中再次提取部分数据分别作为训练集和验证集，同时从第二子集内提取部分数据保存到训练集内，然后通过再次获取的训练集对流动摊贩识别模型进行再次训练，同时采用再次获取的验证集对训练后的流动摊贩识别模型进行验证。如此循环，直至当置信度得分大于等于置信度阈值且相交区域大于等于相交区域阈值，将街景图像输入到训练后的流动摊贩识别模型，对街景图像依次提取特征、特征池化、特征融合后，得到预设区域内流动摊贩的识别结果。
63.例如，采用yolov4算法构建流动摊贩识别模型，使其能在不同光照条件、观察视角、目标物被遮挡、复杂背景或场景的影像数据中高效检测目标物。其中，采用yolov4算法构建流动摊贩识别模型包括以下四个步骤：深度网络构建、模型训练、模型检验和模型应用。
64.具体地，如图2所示，基于yolov4算法构建的流动摊贩识别模型包括三个部分：backbones，用于从训练图像中提取特征，采用cspdarknet53作为backbones；neck，由spp和panet组成，其中，spp用于特征池化，panet用于特征融合；heads，用于预测并输出摊贩的预测类别和边界框。在完成模型构建后，将已经进行类型标注的街景图像与一些不包含任何摊贩的街景图像组合形成模型训练集，并将训练集输入到该识别模型。在本实施例中，为了提高识别效率，可使用k-means算法根据已标注边界框的分布均值来确定一组组宽、高分别为(17，24)、(29，34)、(38，51)、(50，76)、(65，54)、(69，108)、(91，81)、(107，34)、(165，181)的标准边界框用来检测街景图像中的摊贩。此外，为了消除不同影像中复杂颜色和背景的干扰，可通过对训练集内的全彩图像进行翻转、缩放和色域变化等多种组合的转换，然后再导入backbones进行识别模型训练。具体地，k-means算法是一种迭代求解的聚类分析算法，其处理过程是将预设数据分解为k组，随机算去k个对象作为初始聚类中心，然后计算每个对象与各个聚类中心之间的距离，把每个对象分配给距离最近的聚类中心。聚类中心以及分配得到的对象代表一个聚类。在训练过程中，置信度阈值和两个区域重叠部分除以两个区域组成的集合部分iou阈值是摊贩识别模型的关键参数，本实施例通过置信度阈值和iou阈值控制输出结果并影响模型性能。阈值越高检测结果的误差容忍度越低，一般来说，置信度阈值和iou阈值均不适宜设置过低，不然会产生过多的错检结果。为了测试这两个阈值的敏感性并校准参数，本实施例进行了8组不同参数的对照实验。置信阈值的取值以0.1为间隔，设置在0.4到0.8之间，iou阈值的取值以0.1为间隔在0.5到0.8之间。通过对比两个阈值的不同取值组合所得到结果的模型性能，最终找到性能最优时的参数取值。
65.在进行识别模型训练过程中，当识别模型得到的检测结果满足两个条件时，则表示识别模型的识别结果是正确的。其中，两个条件包括置信度得分大于等于置信度阈值和相交区域大于等于iou阈值。在判断过程中，模型性能使用f1值(f
1 score，精确度与召回度的调和平均)和平均精度map(mean average precision，平均精度的平均值)来评估。f1值的计算公式如式(1)所示，其中p是精度，由检测正确的摊贩标签数(tp)与检测到的总的边
框数(tp fp)的比值计算；r是召回率，由检测正确的摊贩标签数(tp)与真实的边框数(tp fn)的比值计算。map则是精度-召回率曲线与x轴所围成的区域的面积，可通过公式(2)所示的累加积分公式进行计算：
[0066][0067][0068]
其中，p＝tp/(tp fp)，r＝tp/(tp fn)，k为标签类的数量。
[0069]
在进行识别模型的训练效果验证过程中，本实施例采用十则交叉方式进行验证。例如，将样本数据随机分成10份，轮流将其中的9份用于训练，剩余的1份用于模型验证。模型检验使用10次实验的平均值，最终用于检测的模型是10次实验中表现最优的模型。
[0070]
在本实施例中，通过对比置信度阈值和iou阈值的不同取值所取得结果的模型性能如表1所示。
[0071]
表1
[0072][0073][0074]
从表1可知，当置信阈值单调递减时，召回率单调递增；精度总体趋势为下降，局部趋势为上升或下降。而当iou阈值单调增加时，召回率和精确度单调递减。标记每个指标的前三名，可以找到两个阈值的合适值等于0.5，因此，该组阈值参数用于校准检测模型。使用该组参数训练得到的检测模型，平均f1值为0.77，map为66.75％，表明模型性能符合预设要求，可以应用于整个街景影像数据集的检测。
[0075]
在完成模型的训练和验证后，将街景图像输入到已经训练好的识别模型内，识别模型则可以对包含有流动摊贩的街景图像输出预测框，街景图像对应的点位记录出现的预测框数量，该数量反映了在该点位检测到的流动摊贩数量。例如对于城市a进行街景图像识别时，获取到的街景图像的数量为76108幅，从这76108幅的街景图像中识别出了3907个流动摊位；又比如对于城市b进行街景图像识别时，获取到的街景图像的数量为3339062幅，从这3339062幅的街景图像中识别出了26119个流动摊位。这些流动摊位在街景图像上，可以通过预测框标注出来，以便于分析得到当前区域内流动摊位的空间位置。
[0076]
s15、获取流动摊贩的关联因子。
[0077]
在本实施例中，由于流动摊贩在参与经营活动时，为了获取更多的经营利益，往往喜欢聚集与人流密集地区，例如交叉路口、市场、公共交通站点附近。但同时受到执法行为的约束以及邻避效应的约束，使得摊贩会主动远离不欢迎其聚集的地区。基于此，如表2所示，建立涵盖12个因子的指标体系，用于刻画摊贩的空间分布：
[0078]
表2
[0079][0080][0081]
其中，表2中“ ”表示对流动摊贩摆摊位置具有正向影响的关联因子，
“‑”
表示对流动摊贩摆摊位置具有负向影响的关联因子。
[0082]
具体地，指标1中的人口分布主要用于表征城市内部精细化的人口空间聚集信息，可使用手机信令、智能手机用户等信息进行反演形成城市人口空间分布的栅格数据，也可使用现有的一些人口空间分布数据产品，像元大小为100
×
100米，每个上个像元信息反映了该区域内的人口数量，投影坐标为wgs84。
[0083]
指标2的交叉路口可以从获取的城市路网数据中提取得到。具体地，首先使用gis软件中的构建网络数据集工具，将城市的矢量数据建立道路网络，然后提取出网络数据集中的交叉点，即为交叉路口数据。最后使用gis软件中的欧氏距离计算城市范围内每个位置距离这些交叉路口的直线距离，并输出形成对应的栅格数据。
[0084]
指标3到指标10的地铁口、人行天桥、市场、学校、文化休闲设施、大型交通枢纽、管
理部门和执法机构和cbds(central business districts，中央商务区)，均可以基于pois(points of interest，兴趣点)进行计算。具体地，首先从高德地图或百度地图的api(application program interface，应用程序接口)服务获取城市基础设施点，包括地铁站、人行天桥、市场、学校、文化休闲设施、大型交通枢纽(例如机场、火车站、公共交通枢纽)、城管执法部门、cbds。然后，使用gis软件中的直线距离计算城市范围内每个位置距离这些pois的欧氏距离，并输出形成对应的栅格数据。
[0085]
指标11中的道路拥堵程度包括动态道路通行数据，主要用于测度城市道路在不同时间段的通行速度情况，从而评估拥堵程度，进而分析摊贩经营与道路拥堵的定量关系。动态通行速度数据可使用高德地图或百度地图api接口获取，通过设计爬虫软件，分别输入研究区路网路段，可测算出每段路的通行时间，进而求得通行速度，进而结合道路限速等级进行拥堵程度分级。
[0086]
指标12中的住宅租金用于分析摊贩区位偏好与城市中高、中、低档住宅区及不同消费水平人群的空间相关关系。租金数据可从相关部门内获取，亦可从较大的房产门户网站或行业研究机构获取。本实施例采用网络爬虫工具从一些大型房屋出租信息门户网站获取房租挂牌数据，得到的每一条数据记录了房屋面积、出租价格和地理坐标，进而将重复发布或错误数据进行清洗，将数据转换为包含面积单位租金信息的矢量点，使用空间插值工具得到研究区的住宅租金空间分布图。
[0087]
s16、将预设区域内流动摊贩的空间位置和关联因子输入到空间分布预测模型，预测得到待预测区域内流动摊贩的空间分布状态。
[0088]
在本实施例中，对待预测区域进行流动摊贩的空间分布预测时，可以先将预设区域内流动摊贩的空间位置输入到空间分布预测模型，得到模型性能的roc曲线，然后当roc曲线符合预设要求，将关联因子输入到空间分布预测模型，预测得到待预测区域内流动摊贩的空间分布状态。其中，roc曲线是一种坐标式的分析工具，用于以下两个方面：第一、选择最佳的信号侦测模型，舍弃次佳的模型；第二、在同一模型中设定最佳阈值。可以理解的是，本实施例可采用maxent生态位模型作为空间分布预测模型来预测待预测城市区域流动摊贩活动的概率。具体地，将识别出来的流动摊贩作为存在样本，随机地将其中75％数量的样本选作为maxent生态位模型的训练样本，其余25％数量的样本作为验证样本。表2所列的关联因子的栅格影像转为ascii格式作为环境图层输入到由r语言编译的maxent生态模型中。maxent生态位模型基于训练样本和验证样本校准模型，然后预测出摊贩出现概率的空间分布图，并将该空间分布图与待预测区域的现有街道及开放空间进行叠加分析后，即可得到流动摊贩在待预测区域的空间分布状态。
[0089]
综上可知，本实施例通过识别模型根据已知路网数据和街道图像识别得到流动摊贩在街道图像所在区域的识别结果，然后结合关联因子和已知区域的摊贩识别结果，通过空间分布预测模型来预测得到待预测区域上流动摊贩的空间分布状态，从而无需人工收集大量数据，即能快速得到指定区域上流动摊贩的空间分布状态，同时还能避免人工收集数据带来的误差影响。
[0090]
本发明实施例提供了一种流动摊贩空间分布的预测方法，包括：
[0091]
第一获取模块，用于获取预设区域的路网数据；
[0092]
第二获取模块，用于获取所述路网数据内预设坐标点对应的若干张街景图像；
[0093]
分解模块，用于将所述若干张街景图像分别保存到第一子集和第二子集，并对所述第一子集内的所述街景图像进行流动摊贩的类型标注；
[0094]
识别模块，用于将所述第一子集和所述第二子集输入到流动摊贩识别模型，得到所述预设区域内流动摊贩的识别结果；
[0095]
第三获取模块，用于获取流动摊贩的关联因子；
[0096]
预测模块，用于将所述预设区域内流动摊贩的空间位置和所述关联因子输入到空间分布预测模型，预测得到待预测区域内流动摊贩的空间分布状态。
[0097]
本发明方法实施例的内容均适用于本系统实施例，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
[0098]
本发明实施例提供了一种流动摊贩空间分布的预测装置，包括：
[0099]
至少一个存储器，用于存储程序；
[0100]
至少一个处理器，用于加载所述程序以执行图1所示的流动摊贩空间分布的预测方法。
[0101]
本发明方法实施例的内容均适用于本装置实施例，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
[0102]
本发明实施例提供了一种存储介质，其中存储有计算机可执行的程序，所述计算机可执行的程序被处理器执行时用于实现图1所示的流动摊贩空间分布的预测方法。
[0103]
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。