一种基于计算机视觉的粉尘溯源方法及系统与流程

1.本发明涉及粉尘溯源领域，具体涉及一种基于计算机视觉的粉尘溯源方法及系统。


背景技术：

2.随着社会的进步和发展，节能环保意识逐渐深入人心，而大多数城市处于城市建设的高峰期，城市内的建筑工地等施工现场在作业时经常会出现粉尘，而产生的粉尘会影响到城市的环境、市民的出行和工人的安全，因此需要利用抑尘装置进行降尘作业。
3.当前传统的降尘作业方法是直接利用粉尘浓度检测仪检测粉尘浓度，当检测到粉尘浓度大于设定浓度阈值时进行降尘作业；这种方式检测的只是粉尘浓度，并不检测粉尘源的位置，因此不能够针对性对粉尘源进行降尘，导致降尘作业效率低；如何确定粉尘源的位置，是提高降尘作业效率需要重点解决的问题之一。


技术实现要素：

4.本发明提供一种基于计算机视觉的粉尘溯源方法及系统，用于解决现有不能准确反映粉尘源头的问题，所采用的技术方案具体如下：
5.第一方面，本发明一个实施例提供了一种基于计算机视觉的粉尘溯源方法及系统包括以下步骤：
6.获取施工现场图像及对应的风速向量，根据施工现场图像得到对应的无粉尘图像和粉尘图像；
7.根据所述粉尘图像得到所述粉尘图像中各粉尘的灰度值和各粉尘的光流向量；
8.根据所述粉尘图像中各粉尘的灰度值，得到粉尘图像中各粉尘的第一置信度权重；
9.根据所述粉尘图像中各粉尘的光流向量与对应的风速向量之间的相似性，得到粉尘图像中各粉尘的第二置信度权重；
10.根据所述第一置信度权重和所述第二置信度权重，得到所述粉尘图像中各粉尘的第三置信度权重；
11.将粉尘图像中各粉尘沿着对应的光流方向的反方向做延长线，将延长线汇聚的位置作为粉尘源的位置；根据各粉尘源对应的所有粉尘的第三置信度权重，得到各粉尘源的置信度。
12.本发明还提供了一种基于计算机视觉的粉尘溯源系统，包括存储器和处理器，以实现上述一种基于计算机视觉的粉尘溯源方法及施工现场图像的获取。
13.本发明的粉尘溯源方法和粉尘溯源系统的有益效果：本发明根据粉尘图像中各粉尘的灰度值和粉尘图像中各粉尘的光流向量与对应的风速向量之间的相似性得到粉尘图像中各粉尘的第三置信度权重，根据粉尘图像中各粉尘对应的光流方向的反方向延长线汇聚的位置作为粉尘源的位置并根据各粉尘源对应的所有粉尘的第三置信度权重，得到各粉
尘源的置信度；本发明将粉尘图像中各粉尘的第三置信度权重和粉尘图像中各粉尘对应的光流方向的反方向延长线汇聚的位置作为得到粉尘源的位置和粉尘源置信度的依据，能够较为准确的反映粉尘源的准确位置，能够为后续抑尘作业提供重要的依据，提高抑尘作业的效率。
14.优选的，得到对应的无粉尘图像和粉尘图像的方法，包括：
15.构建两个encoder
‑
decoder网络，所述两个encoder
‑
decoder网络权值共享；
16.获取训练样本集，训练样本集包括多个施工现场样本图像对；
17.对各训练样本集进行标注；
18.将所述训练样本集和标注数据输入到两个encoder
‑
decoder网络中，并采用重构损失函数、差异损失函数以及内容损失函数进行训练；
19.将施工现场图像输入到训练好的encoder
‑
decoder网络中，得到施工现场图像对应的的无粉尘图像和粉尘图像。
20.优选的，重构损失函数为：
[0021][0022]
其中，l1为重构损失函数，n为施工现场样本图像对的总数量，w为施工现场样本图像的宽度值，h为施工现场样本图像的高度值，为第n个施工现场样本图像对中其中一个施工现场样本图像，为第n个施工现场样本图像对中其中一个施工现场样本图像的无粉尘图像，为第n个施工现场样本图像对中其中一个施工现场样本图像的粉尘图像，为第n个施工现场样本图像对中另外一个施工现场样本图像，为第n个施工现场样本图像对中另外一个施工现场样本图像的无粉尘图像，为第n个施工现场样本图像对中另外一个施工现场样本图像的粉尘图像。
[0023]
优选的，差异损失函数为：
[0024][0025]
其中，l2为差异损失函数，为第n个施工现场样本图像对中其中一个施工现场样本图像的粉尘图像的灰度值，为第n个施工现场样本图像对中另外一个施工现场样本图像的粉尘图像的灰度值。
[0026]
优选的，内容损失函数为：
[0027][0028]
其中，l3为内容损失函数。
[0029]
优选的，得到粉尘图像中各粉尘的第一置信度权重的方法，包括如下步骤：
[0030]
根据如下公式求粉尘图像中各粉尘的第一置信度权重：
[0031][0032]
其中，β
1i
(x
i
,y
i
)为粉尘图像中第i个粉尘的第一置信度权重，g
i
(x
i
,y
i
)为粉尘图
像中第i个粉尘的灰度值，x
i
为粉尘图像中第i个粉尘的横坐标，y
i
为粉尘图像中第i个粉尘的纵坐标。
[0033]
优选的，得到粉尘图像中各粉尘的第二置信度权重的方法，包括如下步骤：
[0034]
根据如下公式求粉尘图像中各粉尘的第二置信度权重：
[0035][0036]
其中，β
2i
(x
i
,y
i
)为粉尘图像中第i个粉尘的第二置信度权重，为粉尘图像中第i个粉尘的光流向量，为施工现场图像对应的风速向量，x
i
为粉尘图像中第i个粉尘的横坐标，y
i
为粉尘图像中第i个粉尘的纵坐标。
[0037]
优选的，得到各粉尘源的置信度的方法，包括如下步骤：
[0038]
根据如下公式求各粉尘源的置信度：
[0039][0040]
其中，μ
j
为第j个粉尘源的置信度，e
j
为第j个粉尘源对应的所有粉尘像素点的集合，β
i
(x
i
,y
i
)为集合e
j
中第i个粉尘对应的第三置信度权重，x
i
为第j个粉尘源对应的第i个粉尘的横坐标，y
i
为第j个粉尘源对应的第i个粉尘的纵坐标。
附图说明
[0041]
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0042]
图1为本发明一个实施例所提供的一种基于计算机视觉的粉尘溯源方法的流程图。
[0043]
图2为本发明一个实施例所提供的一种基于计算机视觉的粉尘溯源方法的粉尘源示意图。
具体实施方式
[0044]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明实施例，本领域普通技术人员所获得的所有其它实施例，都属于本发明实施例保护的范围。
[0045]
除非另有定义，本文所使用的所有的技术和科学技术语与属于本发明的技术人员通常理解的含义相同。
[0046]
本实施例提供了一种基于计算机视觉的粉尘溯源方法，详细说明如下：
[0047]
如图1所示，该基于计算机视觉的粉尘溯源方法，包括以下步骤：
[0048]
步骤s001，获取施工现场图像及对应的风速向量，根据施工现场图像得到对应的无粉尘图像和粉尘图像。
[0049]
本实施例中，施工现场图像对应的风速向量是通过气象数据库获取的。
[0050]
本实施例中，通过相机对施工现场进行图像采集，得到施工现场图像，所述施工现场图像是rgb图像，并获取施工现场图像对应的无粉尘图像和粉尘图像；所述获取施工现场图像对应的无粉尘图像和粉尘图像指的是从各施工现场图像中拆分出各施工现场图像对应的无粉尘图像和粉尘图像，两图像的区别在于：无粉尘图像只是粉尘图像的背景，不包括粉尘；粉尘图像只包括粉尘。
[0051]
本实施例中，获取施工现场图像对应的无粉尘图像和粉尘图像过程为：
[0052]
构建两个encoder
‑
decoder网络；所述两个encoder
‑
decoder网络的权值共享。
[0053]
获取训练样本集，训样本集包括多个施工现场样本图像对；所述施工现场样本图像对中的施工现场样本图像是在相同环境下模拟施工现场的粉尘场景采集的。
[0054]
需要说明的是，施工现场样本图像对可以是在人为制造的粉尘环境下采集，或者也可以通过模拟器或ps生成需要的样本图像对，且样本图像对中的两张图像之间的粉尘程度要大于粉尘程度阈值，本实施例中粉尘程度阈值的设置要根据实际情况进行设置。
[0055]
对各训练样本集进行标注，对于各样本集中的多个施工现场样本图像对中的各样本图像进行灰度值标注，将无粉尘图像所在灰度值为0，则粉尘图像所在灰度值不为0。
[0056]
将训练样本集和标注数据输入到两个encoder
‑
decoder网络中，并采用重构损失函数、差异损失函数以及内容损失函数的加权和进行训练。
[0057]
本实施例中，重构损失函数为：
[0058][0059]
其中，l1为重构损失函数，n为施工现场样本图像对的总数量，w为施工现场样本图像的宽度值，h为施工现场样本图像的高度值，为第n个施工现场样本图像对中其中一个施工现场样本图像，为第n个施工现场样本图像对中其中一个施工现场样本图像的无粉尘图像，为第n个施工现场样本图像对中其中一个施工现场样本图像的粉尘图像，为第n个施工现场样本图像对中另外一个施工现场样本图像，为第n个施工现场样本图像对中另外一个施工现场样本图像的无粉尘图像，为第n个施工现场样本图像对中另外一个施工现场样本图像的粉尘图像，且p＝i f。
[0060]
差异损失函数为：
[0061][0062]
其中，l2为差异损失函数，为第n个施工现场样本图像对中其中一个施工现场样本图像的粉尘图像的灰度值，为第n个施工现场样本图像对中另外一个施工现场样本图像的粉尘图像的灰度值。
[0063]
内容损失函数为：
[0064][0065]
其中，l3为内容损失函数。
[0066]
本实施例中，对重构损失函数、差异损失函数以及内容损失函数进行加权求和得到目标损失函数，即：
[0067]
l＝αl1 βl2 γl3[0068]
其中，l为最终损失函数，l1为重构损失函数，α为重构损失函数对应的权重，α的值为0.3，l2为差异损失函数，β为差异损失函数对应的权重，β的值为0.4，l3为内容损失函数，γ为内容损失函数对应的权重，γ的值为0.3；作为其它的实施方式，可以根据需求为重构损失函数、差异损失函数以及内容损失函数设置不同的权重值，且α β γ＝1。
[0069]
需要说明的是，采用重构损失函数对两个encoder
‑
decoder网络进行训练，可以充分保留拆分后的施工现场样本图像对中的信息量，实现拆分后样本图像的无损重构；采用差异损失函数对两个encoder
‑
decoder网络进行训练，可以保障施工现场样本图像对粉尘图像中粉尘特征的准确性；采用内容损失函数对两个encoder
‑
decoder网络进行训练，可以保障一个施工现场样本图像对中无粉尘图像的一致性。
[0070]
把计算得到的目标损失函数当成两个encoder
‑
decoder网络的最终目标损失函数，基于该损失函数对两个encoder
‑
decoder网络进行监督训练，得到训练好的两个encoder
‑
decoder网络；所述两个encoder
‑
decoder网络由于权重共享，因此得到的训练好的两个encoder
‑
decoder网络相同
[0071]
将施工现场图像输入到训练好的两个encoder
‑
decoder网络中的其中一个，即可得到该施工现场图像对应的无粉尘图像和粉尘图像；基于本实施例构建的两个encoder
‑
decoder网络得到的粉尘图像为灰度图像；作为其它实施方式，也可以采用其它方式将施工现场图像拆分为对应的无粉尘图像和粉尘图像，若拆分后得到的粉尘图像为rgb图像，那么在进行如下步骤之前还需要将粉尘图像进行灰度化处理，以得到各粉尘对应的灰度值。
[0072]
需要说明的是，在得到的粉尘图像中，灰度值为0的区域表示无粉尘，不为0的区域为有粉尘区域，灰度值反映的是粉尘污染的严重程度，灰度值越大表明粉尘污染越严重，灰度值越小表明粉尘污染越不严重。
[0073]
步骤s002，根据所述粉尘图像得到所述粉尘图像中各粉尘的灰度值和各粉尘的光流向量。
[0074]
本实施例中，根据得到的施工现场图像对应的粉尘图像，得到该粉尘图像中各粉尘的灰度值和各粉尘的光流向量。
[0075]
需要说明的是，为得到各粉尘的光流向量，需要获取相邻帧施工现场图像对应的粉尘图像，再利用光流法获得该粉尘图像中各粉尘的光流向量；所述光流向量可以反映各粉尘的运动情况，包括各粉尘的速度大小和速度方向。
[0076]
应当理解，光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系从而计算出相邻帧之间物体的运动信息的一种方法；光流法为现有技术，因此本实施例不做详细阐述。
[0077]
步骤s003，根据所述粉尘图像中各粉尘的灰度值，得到粉尘图像中各粉尘的第一置信度权重。
[0078]
粉尘运动为一个扩散运动，越靠近粉尘源的粉尘浓度越大，即浓度越大的粉尘在粉尘溯源过程中对应的粉尘源的误差越小，原因是越靠近粉尘源受外界的影响越小，因此应分配较大的置信度权重，且在粉尘图像中粉尘浓度表现为灰度值的大小，则根据施工现
场图像对应的粉尘图像的灰度值，得到该粉尘图像中各粉尘的第一置信度权重，即：
[0079][0080]
其中，β
1i
(x
i
，y
i
)为粉尘图像中第i个粉尘的第一置信度权重，g
i
(x
i
,y
i
)为粉尘图像中第i个粉尘的灰度值，x
i
为粉尘图像中第i个粉尘的横坐标，y
i
为粉尘图像中第i个粉尘的纵坐标。
[0081]
本实施例中上述计算粉尘图像中各粉尘的第一置信度权重的方法，只是本实施例的一个优选，作为其它的实施方式，也可以根据需求的不同设置不同的计算粉尘图像中各粉尘的第一置信度权重的方法，但应满足施工现场图像对应的粉尘图像的灰度值与该粉尘图像中各粉尘的第一置信度权重成正相关关系。
[0082]
步骤s004，根据所述粉尘图像中各粉尘的光流向量与对应的风速向量之间的相似性，得到粉尘图像中各粉尘的第二置信度权重。
[0083]
本实施例中，考虑到粉尘图像中的各粉尘离粉尘溯源越近，粉尘的动能越大，动能越大时粉尘的光流向量受外界环境(主要是风速)的影响程度越小；当粉尘图像中的各粉尘离粉尘溯源越远，粉尘的动能越小，动能越小时粉尘的光流向量受外界环境的影响程度越大。
[0084]
根据施工现场图像的粉尘图像中各粉尘的光流向量与对应的风速向量之间的相似性，得到粉尘图像中各粉尘的第二置信度权重，即：
[0085][0086]
其中，β
2i
(x
i
,y
i
)为粉尘图像中第i个粉尘的第二置信度权重，为粉尘图像中第i个粉尘的光流向量，为施工现场图像对应的风速向量，x
i
为粉尘图像中第i个粉尘的横坐标，y
i
为粉尘图像中第i个粉尘的纵坐标，为于向量的夹角；相似度越小表示粉尘运动受外界环境影响越小，分配的置信度权重越大，相似度越大表示粉尘运动受外界环境影响越大，分配的置信度权重越小。
[0087]
本实施例中上述计算粉尘图像中各粉尘的第二置信度权重的方法，只是本实施例的一个优选，作为其它的实施方式，也可以根据需求的不同设置不同的计算粉尘图像中各粉尘的第二置信度权重的方法，但应满足施工现场图像的粉尘图像中各粉尘的光流向量与对应的风速向量之间的相似性与该粉尘图像中各粉尘的第二置信度权重成负相关关系。
[0088]
步骤s005，根据所述第一置信度权重和所述第二置信度权重，得到所述粉尘图像中各粉尘的第三置信度权重。
[0089]
本实施例中，计算粉尘图像中各粉尘的第三置信度权重可以作为后续计算各粉尘源的置信度的基础。
[0090]
本实施例中，根据粉尘图像中各粉尘的第一置信度权重和粉尘图像中各粉尘的第二置信度权重，得到粉尘图像中各粉尘的第三置信度权重，即：
[0091]
β
i
(x
i
,y
i
)＝β
1i
(x
i
,y
i
)
×
β
2i
(x
i
,y
i
)
[0092]
其中，β
i
(x
i
,y
i
)为粉尘图像中第i个粉尘的第三置信度权重，β
1i
(x
i
,y
i
)为粉尘图
像中第i个粉尘的第一置信度权重，β
2i
(x
i
,y
i
)为粉尘图像中第i个粉尘的第二置信度权重。
[0093]
本实施例中上述计算粉尘图像中各粉尘的第三置信度权重的方法，只是本实施例的一个优选，作为其它的实施方式，也可以根据需求的不同设置不同的计算粉尘图像中各粉尘的第三置信度权重的方法，但应满足施工现场图像对应的粉尘图像中各粉尘的第一置信度权重和粉尘图像中各粉尘的第二置信度权重与该粉尘图像中各粉尘的第三置信度权重成正相关关系。
[0094]
步骤s006，将粉尘图像中各粉尘沿着对应的光流方向的反方向做延长线，将延长线汇聚的位置作为粉尘源粉尘源的位置，如图2所示；根据各粉尘源对应的所有粉尘的第三置信度权重，得到各粉尘源的置信度。
[0095]
本实施例中，将粉尘图像中各粉尘的第三置信度权重小于权重阈值的粉尘像素点删除，本实施例中权重阈值为0.2。
[0096]
作为其它的实施方式，也可以根据需求的不同为权值阈值设置不同的数值，例如可以是0.1。
[0097]
本实施例中，将粉尘图像中删除之后剩余的各粉尘像素点，沿着光流方向的反方向做延长线，将连续5帧汇聚的同一位置作为粉尘源的位置的粉尘作为一个粉尘源；所述粉尘源可能有多个，也可能只有一个；所述粉尘源中可能是多个粉尘的集合，也可能只有一个粉尘。
[0098]
当5帧图像后，根据得到的各粉尘源，计算各粉尘源上的所有粉尘的第三置信度权重，得到各粉尘源的置信度，即：
[0099][0100]
其中，μ
j
为第j个粉尘源的置信度，e
j
为第j个粉尘源对应的所有粉尘像素点的集合，β
i
(x
i
,y
i
)为集合e
j
中第i个粉尘对应的第三置信度权重，x
i
为第j个粉尘源对应的第i个粉尘的横坐标，y
i
为第j个粉尘源对应的第i个粉尘的纵坐标。当粉尘源的置信度小于置信度阈值时，认为该粉尘源不是真实的粉尘源，将该粉尘源删除，本实例中置信度阈值的设置需要根据实际情况进行设置。
[0101]
本实施例中上述计算各粉尘源的置信度的方法，只是本实施例的一个优选，作为其它的实施方式，也可以根据需求的不同设置不同的计算各粉尘源的置信度的方法，但应满足各粉尘源的置信度与各粉尘源中所有粉尘像素点对应的各粉尘的第三置信度权重成正相关关系。
[0102]
作为其它的实施方式，也可以根据需求的不同，设置连续多帧汇聚在同一位置的粉尘作为一个粉尘源，例如可以是将连续3帧汇聚在同一位置的粉尘作为一个粉尘源。
[0103]
各粉尘源的置信度，反映的是各粉尘源产生粉尘的多少，粉尘源的置信度越大表示产生粉尘的数量越多，根据粉尘源产生粉尘的多少可为后续的抑尘作业提供指导信息。
[0104]
作为其它的实施方式，也可以不将粉尘图像中各粉尘的第三置信度权重小的粉尘像素点删除，因为由于第三置信度权重较小，并不会影响到后续粉尘源置信度的计算。
[0105]
本实施例的粉尘溯源方法和粉尘溯源系统的有益效果：本实施例根据粉尘图像中各粉尘的灰度值和粉尘图像中各粉尘的光流向量与对应的风速向量之间的相似性得到粉尘图像中各粉尘的第三置信度权重，根据粉尘图像中各粉尘对应的光流方向的反方向延长
线汇聚的位置作为粉尘源的位置并根据各粉尘源对应的所有粉尘的第三置信度权重，得到各粉尘源的置信度；本实施例将粉尘图像中各粉尘的第三置信度权重和粉尘图像中各粉尘对应的光流方向的反方向延长线汇聚的位置作为得到粉尘源的位置和粉尘源置信度的依据，能够较为准确的反映粉尘源的准确位置，能够为后续抑尘作业提供重要的依据，提高抑尘作业的效率。
[0106]
本实施例的基于计算机视觉的粉尘溯源系统包括存储器和处理器，所述处理器执行所述存储器存储的计算机程序，以实现如基于计算机视觉的粉尘溯源方法实施例所描述的获取施工现场图像的方法。
[0107]
需要说明的是,上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣，在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。