一种基于多模态轨迹的移动群智感知覆盖优化方法

1.本发明属于移动群智感知领域，具体涉及一种基于多模态轨迹的覆盖优化方法。


背景技术：

2.移动群智感知（mobile crowd sensing，mcs）是一种利用移动智能设备的传感器采集数据，并对所采集数据进行使用和研究的技术。这种感知形式可以实现比传统的无线传感网络（wireless sensor networks，wsn）更灵活、更高效的数据采集、分析和应用，尤其是在大规模传感任务上，感知成本低且感知效率高。mcs 是结合众包思想和移动设备感知能力的一种新的数据获取形式，是物联网（internet of things，iot）的一种表现形式。mcs通过人们已有的移动设备形成交互式、参与式的感知网络，并将感知任务发布给网络总个体或群体来完成，从而帮助专业人员或公众收集数据、分析信息和共享知识。mcs具有部署灵活经济、感知数据多源异构、覆盖范围广泛均匀和高扩展多功能等诸多优点，具有广阔的应用前景，与传统传感网络相比具有巨大优势。
3.mcs适用于各种领域，例如交通监控、城市环境感知和出租车路径调度。所以对感知区域的覆盖率要求都比较高，需要感知用户能够到达感知区域内所有的位置，确保高质量的感知覆盖范围，为数据分析提供足够的信息。现有mcs中基于感知用户轨迹的任务分配方法仅考虑感知用户的移动位置，而忽略了感知用户的其他信息，如移动速度、环境噪声等。根据感知用户的移动速度可以判断感知用户在每个位置的停留时间，移动速度越大则停留时间越短。感知用户会偏向于在自己停留时间较长的位置完成感知任务。环境噪声在一定程度上反映了该区域人员密集程度，在人员越稀疏的地方环境噪声越小，如图1所示，环境噪声反映了该区域人员覆盖情况。通过结合多种数据特征，可以提高感知用户轨迹利用的有效性。
4.mcs在任务分配方面的研究主要集中在如何通过合理的任务分配对感知性能进行优化，传感数据的质量是任务发布者的主要关注点，以任务需求导向来看可以分为基于感知质量和基于时空覆盖的任务分配，本发明主要从时空覆盖的角度进行研究，即最大化所选感知用户集的覆盖范围。
5.目前提高感知覆盖的方法主要根据单一的信息进行分析来最大化感知覆盖范围，如通过感知用户的轨迹覆盖区域、感知用户的区域偏好等，或者在预算约束和隐私保护的基础上最大化感知覆盖范围。感知用户的其他数据信息能有效表现出区域的覆盖特征，比如感知设备采集的声音信息和速度信息，在人员密集的地方声音一般都比较大，而且感知用户一般偏好于在自己停留时间较长的位置收集数据。所以将其他数据特征与轨迹特征结合将有利于提高区域覆盖率。但现有方法往往忽略了多模态信息的利用，所以本文从多模态数据融合的角度出发，期望通过多模态轨迹提高覆盖率。


技术实现要素：

6.针对上述现有的研究方法，以及存在的问题，本发明提出基于双分支卷积神经网
络的多模态轨迹融合方法（two-branch convolution neural network，tb-cnn）。在形成感知用户轨迹时考虑感知用户的移动速度，形成速度灰度图，可以通过灰度值保留部分速度信息，从而预测感知用户在该区域接受任务的可能性，有利于准确选择感知用户，提高感知任务完成率。并将感知用户所持智能设备的声音传感器采集的声音数据进行处理，与轨迹进行结合，形成声音灰度图，可以保留感知用户经过位置的人员密集程度，将用户密集区域的用户推荐到该用户经过的稀疏区域完成感知任务，从而最大化感知任务的覆盖率。通过多模态融合技术将上述两种灰度图进行融合，从而形成感知用户的轨迹灰度图，该轨迹灰度图能体现感知用户的速度信息，以及该轨迹经过区域的稀疏程度，将用户轨迹与任务所要求区域进行匹配，从而提高所采集感知数据质量。本发明所提出的tb-cnn方法的结构如图2所示。主要包括多模态数据处理、图像融合、感知用户选择三个部分。
7.多模态数据处理。本发明主要研究的多模态数据为感知用户速度传感器采集的移动速度和声音传感器采集的声音大小，需要将速度和声音数据进行统一化处理，形成统一的格式，方便接下来进行多模态数据融合。在本发明中将速度数据和声音数据结合感知用户轨迹分别形成速度灰度图和声音灰度图，并利用图像融合技术实现多模态数据的融合。
8.图像融合。在本发明中使用双分支卷积神经网络，首先将速度灰度图和声音灰度图分别输入到两个分支中进行特征提取，然后将提取到的特征图像进行融合，最终形成感知用户的轨迹灰度图。
9.感知用户选择。根据每个感知用户的轨迹灰度图选择感知用户，为了实现覆盖率最大化，需要保证每个感知用户的轨迹重合率比较低，才能使所选感知用户的覆盖范围更大，所以，本发明根据感知用户轨迹相似度选择相似度较低的感知用户来完成感知任务，以最大化覆盖率。
10.与现有技术相比，本发明的有益效果是：（1）在形成感知用户轨迹时考虑感知用户的运动速度，形成速度灰度图，可以利用灰度值保留用户速度特征，即用户在各个区域停留时长，从而可以预测感知用户接受任务的区域偏好，在该区域内选择感知用户，提高任务完成率。（2）将感知用户所持智能设备的声音传感器采集的声音信息进行处理，与轨迹进行结合，形成声音灰度图，可以保留区域人员覆盖特征，即感知用户稀疏程度，根据用户聚集情况选择感知用户，从而最大化感知任务的覆盖率。（3）通过多模态融合技术将上述两种灰度图进行融合，从而形成感知用户的轨迹灰度图，该轨迹灰度图能体现感知用户的速度信息，以及该轨迹经过区域的用户稀疏程度，将用户轨迹与任务所要求区域进行匹配，从而提高所采集感知数据质量。
附图说明
11.图1为多模态轨迹示意图。
12.图2为本发明的整体流程图。
13.图3位感知用户轨迹图。
14.图4为感知用户轨迹二值图。
15.图5为速度灰度图。
16.图6为声音灰度图。
17.图7为基于双分支卷积神经网络的图像融合框架。
18.图8为基于覆盖相似度的参与者选择流程图。
具体实施方式
19.感知用户的轨迹数据由一系列的gps定位点pi组成，每个gps电位点包括时间和经纬度信息，即pi=(time, latitude, longitude)。将所有的gps点连接形成该用户的轨迹图像，如图3所示。
20.将感知区域分割成大小相等的若干个子区域，令轨迹覆盖到的子区域像素值设为1， 未覆盖的子区域像素值设为0，则形成如图4所示的轨迹二值图。可以形象的表示出感知用户经过的区域。轨迹二值图无法表示出感知用户的位置偏好，即感知用户更有可能在哪些区域接受感知任务，完成感知活动。本发明根据感知用户所持智能设备的速度传感器采集的速度数据，综合考虑感知用户的移动速度，建立感知用户的速度灰度图。感知用户的移动速度慢则感知用户在这部分区域停留时间长，也就是说感知用户有相对来说充足的时间完成感知任务。
21.感知用户的停留时间t与移动速度s成反比，即移动速度越快则停留时间越短。完成感知任务需要感知用户在该区域停留一段时间，所以感知用户停留时间越长，则该区域像素值sp（0≤sp≤255）越大。在进行灰度图像生成的过程中，需要对感知用户的移动速度进行归一化处理：ns=1/(1 e-s
)。
22.ns∈(0,1)是归一化处理之后的速度值。通过将速度灰度值进行反向取值得到时间灰度值，所以感知用户i在子区域j内的像素值sp
ij
通过下式进行计算：sp
ij
=255
×
(1-1/(1 e-s
))。
23.利用上式计算感知用户在每个感知子区域的像素值，并形成感知用户速度像素值矩阵，根据像素值矩阵绘制感知用户的速度灰度图，如图5所示。图中子区域越亮代表感知用户的停留时间越长。
24.感知用户所持智能设备自带的声音传感器可以感知周围环境的声音信息，根据声音的大小可以判断该区域的人员密集程度。在人员密集的地方感知用户多，也更容易招募到感知用户来完成感知任务，相反，在人员稀疏的地方招募感知用户比较困难。所以综合考虑轨迹上的声音信息可以得到感知区域的感知用户聚集信息，从而优先进行稀疏区域的感知用户选择，最大程度提高感知任务的覆盖范围。
25.将感知用户的声音强度v进行归一化处理，并使得像素值映射到[0, 255]区间之内，作为感知用户在该区域的声音像素值。感知用户i在子区域j内的声音像素值vp
ij
的计算公式如下：vp
ij
=255/(1 e-v
)。
[0026]
计算感知用户轨迹上的每个子区域的声音像素值，形成感知用户声音像素值矩阵，并最终根据像素值矩阵形成感知用户的声音灰度图，如图6所示。
[0027]
本发明所采用双分支cnn融合框架，如图7所示。该框架由特征提取层、图像融合层组成。特征提取层包含两个cnn分支，由若干个卷积层和池化层组成，用来提取图像的特征。图像融合层通过若干个卷积层进行融合，将提取到的多张特征图融合成一张轨迹特征图，从而得到最终的结果。
[0028]
首先将速度灰度图和声音灰度图输入单独的分支中进行特征提取，分别得到速度特征图和声音特征图。令xi表示卷积神经网络中第i层的输入，yj表示第i层的输出。则第i层
的卷积运算可以表示为：yj=f (bj ∑
i k
ij
*xi)。其中，bj该层的偏置，k
ij
表示该卷积层的卷积核，表示卷积运算，f表示激活函数。经过卷积运算之后，输入图片会变为多张特征图，特征图的个数等于每个卷积层中卷积核的数量。
[0029]
选择合适的激活函数是神经网络的重要组成部分，传统的激活函数包括sigmoid、tanh、relu。在本发明中采用relu函数作为激活函数，则上式可以通过引入非线性relu激活函数重新表示为：yj=max(0, bj ∑
i k
ij
*xi)。
[0030]
经过卷积层之后是池化层，用于将输入图像进行缩小，减少像素信息，值保留重要信息。最常见的池化类型是最大池化和平均池化。本文采用最大池化，即保留每一个窗口中的最大值。经过卷集成和池化层的特征提取之后即形成了速度特征图和声音特征图，然后再将所得到的特征图进行连接形成联合特征图，并传入图像融合层。
[0031]
图像融合层同样包含多个卷积层，每个卷积层通过不同的卷积核数量实现图像的融合。但是与特征提取层中卷积层不同的是输入特征图的深度不同。假设图片经过特征提取层中卷积核提取特征之后变为m个特征图，将这些特征图作为图像融合层的输入，即输入图片的通道数为m。那么将卷积核的尺寸设置为（k
×k×m×
1），则会将m个特征图融合为一张图片输出，最终实现将图像融合。
[0032]
本发明通过计算融合图像的数据信息与原始数据集中的数据信息相似度来判定融合质量。如果融合图像中的数据信息与原始数据集中的数据信息相似度高，则表示感知用户的轨迹灰度图能代表感知用户的行为信息，即图像融合对于感知用户的轨迹数据处理是有效的。
[0033]
令x
1i
和x
2i
表示原始数据集中地点i的速度和声音大小，yi表示融合图像中对应地点i的融合数据。令f(x
1i
, x
2i
)表示感知用户原始数据集中在地点i的带有速度和声音信息的位置数据：f(x
1i
, x
2i
)= w
1i x
1i
w
2i x
2i
。本发明使用均方误差作为损失函数来度量融合结果的准确性，则感知用户原始数据f(x
1i
, x
2i
)与融合图像的数据yi的均方误差可以表示为：l=1/n∑
ni=1
[yi‑ꢀ
f(x
1i
, x
2i
)]2。其中n表示样本个数。
[0034] 本发明基于感知用户轨迹灰度图的相似度选择感知用户，如图8所示。轨迹灰度图相似度计算如下：similarity(x,y)=1/k∑
ki=1
(x
i-yi)/256。其中，k为轨迹灰度图中像素点的个数。比较当前感知用户与所选感知用户集合的轨迹灰度图的相似度，如果相似度低于设定的阈值，则将感知用户添加到已选感知用户集合中。从而保证所选感知用户覆盖率最大化。在预算约束下选择覆盖率最大的一组感知用户作为最终选择的感知用户。根据感知用户集合的联合灰度图中各像素点的灰度值计算所选感知用户集合的覆盖率：c=1/n∑
ni=1
pi。其中，n代表感知子区域的数量，pi为所选感知用户集合在子区域i的灰度值：pi=max(u
i1
, u
i2
,
…
, u
is
)。其中，u表示所选感知用户集合中的感知用户。选择感知用户集合在子区域i的最大灰度值作为联合轨迹灰度图在该子区域的灰度值。
[0035]
上述实施方法为本发明较佳的实施方式，但本发明的实施方式并不受上述方法的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化， 均应为等效的置换方式，都包含在本发明的保护范围之内。