一种目标检测模型训练方法和游商占道经营检测方法与流程

1.本发明涉及一种目标检测模型训练方法和游商占道经营检测方法，属于占道经营检测技术领域。


背景技术：

2.占道经营是指经营者占用城市道路、桥梁、城市广场等公共场所进行盈利性买卖商品或服务的行为。该行为在影响城市交通安全的同时，还会造成城市环境污染，给周边市民的出行和日常生活带来不便。由于城市管理人员资源有限，仅靠人工巡查方式难以根治违章占道经营行为并且治理效率低下。通过人工巡查的方式进行检测，需要由辖区内各街道办每日至少投入3-5名工作人员对游商占道情况开展巡查工作，依靠人力盯守、巡查的管理方式，不仅效率低、整治质量低，而且整治效果极易反复。
3.现有技术中利用深度学习模型，对特定道路等公共领域内的违章占用摊位进行实时检测，并对检测结果进行实时分析与反馈，这样可以大幅降低工作人员的工作量，提高工作效率。
4.现有技术的深度学习模型对训练集数据依赖性极强，现有的游商数据集标注时对游商不进行区分，即不对流动性游商与固定性游商进行区分，导致检测时误检率高，得到的检测结果准确率低。


技术实现要素：

5.本发明提供了一种目标检测模型训练方法和游商占道经营检测方法，能够降低模型的误检率，提高检测结果的准确性。
6.本发明提供了一种目标检测模型训练方法，所述训练方法包括：
7.s1、采集目标道路的监控视频，抽取所述监控视频中满足预设条件的帧图像作为第一图像，并根据多张所述第一图像构建训练图像集；
8.s2、识别并分类标注所述训练图像集中每张所述第一图像中的目标场景；其中，所述目标场景的分类类别包括游商摊位类别、辅助检测类别及非摊位车辆类别；
9.s3、根据不同的分类类别对应的目标场景的总数量获取不同分类类别的权重；
10.s4、根据每张所述第一图像中包含的所有目标场景对应的分类类别的权重和对应的分类类别的数量，计算每张所述第一图像的采集权重；
11.s5、根据所述采集权重在所述训练图像集中随机读取所述第一图像，以训练所述目标检测模型。
12.优选的，所述s1具体为：
13.实时获取多个目标道路的监控视频v1、v2、v3、v4……vn
；
14.分别抽取每一所述监控视频白天时段和夜晚时段中的一帧图像作为第一图像，并根据所述第一图像构建训练图像集，所述训练图像集为{i
11
、i
12
、i
21
、i
22
、i
31
、i
32
、i
41
、i
42
……in1
、i
n2
}。
15.优选的，所述s3具体为：
16.将每一种分类类别对应的目标场景的总数量的倒数作为所述分类类别的权重。
17.优选的，所述s4具体包括：
18.获取每张所述第一图像中，每一种分类类别的权重与其对应的目标场景的数量的乘积，将所述乘积记为所述分类类别的类别权重；
19.获取每张所述第一图像中包含的所有分类类别的类别权重的和值，将所述和值记为所述第一图像的采集权重；
20.对所述训练图像集中所有第一图像对应的采集权重进行归一化处理。
21.优选的，所述游商摊位类别包括地摊摊位、固定摊位和车载摊位；
22.所述辅助检测类别包括矗立式广告牌和打开状态下的商铺遮阳伞；
23.所述非摊位车辆类别包括不携带货物的运输车辆。
24.优选的，所述目标检测模型的损失函数为varifocal loss函数。
25.本发明还提供了一种游商占道经营检测方法，所述检测方法包括：
26.s71、采集目标道路实时的监控视频，抽取所述监控视频中满足预设周期的帧图像作为第二图像，形成待测图像集；
27.s72、利用目标检测模型检测所述待测图像集中的第二图像包含的游商摊位；所述目标检测模型是基于上述任一项所述的目标检测模型训练方法训练得到的；
28.s73、确定违禁区域内同一游商摊位出现的次数，并在所述游商摊位出现的次数大于或等于预设次数时，判定所述游商摊位为占道经营。
29.优选的，所述s73具体为：
30.s731、判断所述待测图像集中的第二图像pi中是否存在游商摊位qi；若是，则执行s732；若否，则执行s733；qi表示第i帧图像中所有游商摊位的集合；
31.s732、从pi开始，判断qi的位置是否在违禁区域内；若是，则执行s734；若否，则执行s733；
32.s733、将p
i 1
作为pi，并执行s731；
33.s734、以第k个游商摊位作为识别目标，判断p
i-1
中违禁区域内是否存在第k个游商摊位；若是，则执行s735；若否，则执行s736；k为大于或等于1的整数；
34.s735、将第k个游商摊位对应的目标计数器的值加1，并判断所述目标计数器的值是否小于预设次数；若是，则将p
i-2
作为p
i-1
，并执行s734；若否，则判定所述游商摊位为占道经营并发送预警信息；
35.s736、将第k个游商摊位对应的目标计数器的值减1，并判断所述目标计数器的值是否小于0；若否，则将p
i-2
作为p
i-1
，并执行s734；若是，则将第k 1个游商摊位作为第k个游商摊位，并执行s734。
36.优选的，在所述将p
i-2
作为p
i-1
前，所述方法还包括：
37.判断p
i-2
是否存在；
38.若是，则将p
i-2
作为p
i-1
，并执行s734；若否，则将s731中pi的下一帧图像p
i 1
作为pi，并执行s731。
39.优选的，在所述将第k 1个游商摊位作为第k个游商摊位前，所述方法还包括：
40.判断第k 1个游商摊位是否存在；
41.若是，则将第k 1个游商摊位作为第k个游商摊位，并执行s734；若否，则将s731中pi的下一帧图像p
i 1
作为pi，并执行s731。
42.本发明能产生的有益效果包括：
43.本发明目标检测模型训练方法在训练目标检测模型时，将目标场景分类为游商摊位类别、辅助检测类别及非摊位车辆类别，以使目标检测模型学会区分游商摊位中的车载摊位和非摊位的普通车辆，从而降低模型的误检率，提高检测结果的准确性。
44.本发明目标检测模型训练方法在训练目标检测模型时，抽取每一个监控视频白天时段和夜晚时段中的一帧图像作为第一图像构建训练图像集，能够有效增强目标检测模型的识别率，减小误检率。
45.本发明目标检测模型训练方法以varifocal loss函数作为目标检测模型的损失函数，能够进行正负样本损失权重调整，从而缓解模型训练时正负样本不均匀的问题。
46.本发明的游商占道经营检测方法能够代替人工进行游商占道经营检测，降低人工检测成本，提高游商占道经营检测的准确性，为游商占道经营现象的管理和整治提供技术帮助与支持。
附图说明
47.图1为本发明实施例提供的一种目标检测模型训练方法的方法流程图；
48.图2为本发明实施例提供的一种游商占道经营检测方法的方法流程图；
49.图3为图2中s3的具体检测方法流程图。
具体实施方式
50.下面结合实施例详述本发明，但本发明并不局限于这些实施例。
51.本发明实施例提供了一种目标检测模型训练方法，若图1所示，训练方法包括：
52.s1、采集目标道路的监控视频，抽取监控视频中满足预设条件的帧图像作为第一图像，并根据多张第一图像构建训练图像集。
53.为了有效增强目标检测模型的识别率，减小误检率，s1具体包括：
54.s11、实时获取多个目标道路的监控视频v1、v2、v3、v4……vn
；
55.s12、分别抽取每一监控视频白天时段和夜晚时段中的一帧图像作为第一图像，并根据第一图像构建训练图像集，训练图像集为{i
11
、i
12
、i
21
、i
22
、i
31
、i
32
、i
41
、i
42
……in1
、i
n2
}。
56.具体的，白天时段一般是指上午8:00到晚上20:00的12小时，夜晚时段一般是指20:00到次日早上8:00的12小时。在本发明实施例中，白天时段和夜晚时段的具体界定也可自定义设置。
57.抽取每一个监控视频白天时段和夜晚时段中的一帧图像作为第一图像构建训练图像集，能够平衡样本光照，有效增强目标检测模型的识别率，减小误检率。
58.s2、识别并分类标注训练图像集中每张第一图像中的目标场景；其中，目标场景的分类类别包括游商摊位类别、辅助检测类别及非摊位车辆类别。
59.游商摊位类别包括地摊摊位ⅰ、固定摊位ⅱ和车载摊位ⅲ。
60.其中，地摊摊位ⅰ具体指将货物直接摆放在地面上，或在地面上垫布或垫纸后再摆放货物的摊位，常见的地摊摊位ⅰ包括蔬菜摊和水果摊等。
61.固定摊位ⅱ具体指带有桌子、架子、顶棚或较大的招牌或海报的摊位，常见的固定摊位ⅱ包括烧烤摊和小吃摊等。
62.车载摊位ⅲ具体指利用机动车或三轮车等运载工具运载货物，并直接在街头贩卖的摊位，常见的车载摊位ⅲ包括车载水果摊和车载小吃摊等。
63.辅助检测类别包括矗立式广告牌ⅳ和打开状态下的商铺遮阳伞
ⅴ
。
64.非摊位车辆类别包括不携带货物的运输车辆，例如不携带货物的小型货车ⅵ和不携带货物的运货三轮车ⅶ。
65.其中，不携带货物的运货三轮车ⅶ具体指不携带货物的脚踏或电动三轮车等。不携带货物的小型货车ⅵ具体指皮卡车或带有集装箱的小型货车等。
66.具体的，目标场景的分类标注格式为(c,x,y,w,h)，其中c为分类类别，x,y为目标识别框的中心点坐标，w,h分别为目标识别框的宽和高。
67.s3、根据不同的分类类别对应的目标场景的总数量获取不同分类类别的权重。
68.具体的，s3为将每一种分类类别对应的目标场景的总数量的倒数作为分类类别的权重。
69.例如：训练图像集中地摊摊位ⅰ、固定摊位ⅱ、车载摊位ⅲ、矗立式广告牌ⅳ、打开状态下的商铺遮阳伞
ⅴ
、不携带货物的小型货车ⅵ和不携带货物的运货三轮车ⅶ各分类类别的总数量为count1，count2，count3，count4，count5，count6，count7，那么各分类类别对应的权重分别为1/count1，1/count2，1/count3，1/count4，1/count5，1/count6，1/count7。
70.s4、根据每张第一图像中包含的所有目标场景对应的分类类别的权重和对应的分类类别的数量，计算每张第一图像的采集权重。
71.具体的，s4包括：
72.s41、获取每张第一图像中，每一种分类类别的权重与其对应的目标场景的数量的乘积，将乘积记为分类类别的类别权重；
73.s42、获取每张第一图像中包含的所有分类类别的类别权重的和值，将和值记为第一图像的采集权重；
74.s43、对训练图像集中所有第一图像对应的采集权重进行归一化处理。
75.例如：在一个图像训练集中，地摊摊位ⅰ、固定摊位ⅱ、车载摊位ⅲ、矗立式广告牌ⅳ、打开状态下的商铺遮阳伞
ⅴ
、不携带货物的小型货车ⅵ和不携带货物的运货三轮车ⅶ的权重分别为1/10，1/12，1/15，1/20，1/15，1/20，1/20；针对该图像训练集中的其中一张第一图像，该第一图像中出现了3个地摊摊位、2个车摊摊位、1个打开状态下的商铺遮阳伞、3个运货三轮车，那么该第一图像的采集权重为：3
×
1/10 2
×
1/15 1
×
1/15 3
×
1/20。
76.s5、根据采集权重在训练图像集中随机读取第一图像，以训练目标检测模型。
77.为了进行正负样本损失权重调整，从而缓解模型训练时正负样本不均匀的问题，目标检测模型的损失函数为varifocal loss函数。
78.本实施例中采用的目标检测模型为yolov5s目标检测模型。
79.本发明的目标检测模型训练方法在训练目标检测模型时，将目标场景分类为游商摊位类别、辅助检测类别及非摊位车辆类别，以使目标检测模型学会区分游商摊位中的车载摊位和非摊位的普通车辆，从而降低模型的误检率，提高检测结果的准确性。
80.本发明实施例还提供了一种游商占道经营检测方法，如图2所示，检测方法包括：
81.s71、采集目标道路实时的监控视频，抽取监控视频中满足预设周期的帧图像作为第二图像，形成待测图像集。
82.s72、利用目标检测模型检测待测图像集中的第二图像包含的游商摊位。
83.具体的，目标检测模型是基于上述任一项的目标检测模型训练方法训练得到的。
84.s73、确定违禁区域内同一游商摊位出现的次数，并在游商摊位出现的次数大于或等于预设次数时，判定游商摊位为占道经营。
85.本实施例中，预设周期为间隔10帧抽取1帧图像；预设次数为100次。
86.本实施例中，判断pi与p
i-1
中的游商摊位qi是否为同一游商摊位采用相邻帧图像的目标摊位iou信息判断方法，若pi与p
i-1
中游商摊位qi的iou数值超过阈值，则pi与p
i-1
中的游商摊位qi为同一摊位。
87.本实施例中，判断pi与p
i-1
中的游商摊位qi是否为同一游商摊位还可以采用目标检测模型提取游商摊位目标特征的方法。利用yolov5目标检测模型的backbone网络，欧式距离计算pi与pi-1中游商摊位的目标特征的相似度，若目标特征的相似度大于阈值，则认为pi与p
i-1
中的游商摊位为同一摊位。
88.如图3所示，本技术其中一实施例中，s73具体为：
89.s731、判断待测图像集中的第二图像pi中是否存在游商摊位qi；若是，则执行s732；若否，则执行s733；qi表示第i帧图像中所有游商摊位的集合；
90.s732、从pi开始，判断qi的位置是否在违禁区域内；若是，则执行s734；若否，则执行s733；
91.s733、将p
i 1
作为pi，并执行s731；
92.s734、以第k个游商摊位作为识别目标，判断p
i-1
中违禁区域内是否存在第k个游商摊位；若是，则执行s735；若否，则执行s736；k为大于或等于1的整数；
93.s735、将第k个游商摊位对应的目标计数器的值加1，并判断目标计数器的值是否小于预设次数；若是，则将p
i-2
作为p
i-1
，并执行s734；若否，则判定游商摊位为占道经营，同时发送预警信息并通过拍照或录像的方式取证；
94.s736、将第k个游商摊位对应的目标计数器的值减1，并判断目标计数器的值是否小于0；若否，则将p
i-2
作为p
i-1
，并执行s734；若是，则将第k 1个游商摊位作为第k个游商摊位，并执行s734。
95.在将p
i-2
作为p
i-1
前，方法还包括：
96.判断p
i-2
是否存在；
97.若是，则将p
i-2
作为p
i-1
，并执行s734；若否，则将s731中pi的下一帧图像p
i 1
作为pi，并执行s731。
98.在将第k 1个游商摊位作为第k个游商摊位前，方法还包括：
99.判断第k 1个游商摊位是否存在；
100.若是，则将第k 1个游商摊位作为第k个游商摊位，并执行s734；若否，则将s731中pi的下一帧图像p
i 1
作为pi，并执行s731。
101.本技术另一实施例中，s73具体为：
102.s731、判断待测图像集中的第二图像pi中是否存在游商摊位qi；若是，则执行s732；若否，则执行s733；qi表示第i帧图像中所有第m个游商摊位的集合，m为大于或等于1的整
数；
103.s732、从pi开始，判断qi的位置是否在违禁区域内；若是，则执行s734；若否，则执行s733；
104.s733、将p
i 1
作为pi，并执行s731；
105.s734、以第k个游商摊位作为识别目标，判断p
i-1
中违禁区域内是否存在第k个游商摊位；若是，则执行s735；若否，则执行s737；k为大于或等于1且小于或等于m的整数；
106.s735、判断是否存在与第k个游商摊位对应的目标计数器k；若是，则将目标计数器k的值加1；否则，创建目标计数器k并将k赋值为1；
107.s736、判断k值是否大于或等于预设阈值；若是，判定第k个游商摊位为占道经营并发送预警信息，同时，将s731中pi的下一帧图像p
i 1
作为pi，并执行s731；若否，则将p
i-2
作为p
i-1
，并执行s734；
108.s737、判断是否存在与第k个游商摊位对应的目标计数器k；若是，则执行s738；若否，则执行s739；
109.s738、将k值减1，之后判断k值是否小于或等于0；若是，删除目标计数器k，并执行s739；若否，则将p
i-2
作为p
i-1
，并执行s734。
110.s739、将第k 1个游商摊位作为第k个游商摊位，并执行s734。
111.本发明的游商占道经营检测方法能够代替人工进行游商占道经营检测，降低人工检测成本，提高游商占道经营检测的准确性，为游商占道经营现象的管理和整治提供技术帮助与支持。
112.以上，仅是本技术的几个实施例，并非对本技术做任何形式的限制，虽然本技术以较佳实施例揭示如上，然而并非用以限制本技术，任何熟悉本专业的技术人员，在不脱离本技术技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于技术方案范围内。