一种基于DSN深度对抗迁移网络的日常行为迁移识别方法与流程

一种基于dsn深度对抗迁移网络的日常行为迁移识别方法
技术领域
1.本发明涉及智能家居技术领域，具体而言，尤其涉及一种基于dsn深度对抗迁移网络的日常行为迁移识别方法。


背景技术：

2.基于异构智能家居环境下的行为识别问题主要包括传感器、日常行为的映射问题，日常行为识别问题，目标域缺乏标记数据问题。现有的技术如xlearn，它是一种知识驱动背景下利用集成学习技术方法进行异构环境下的行为识别的方法，主要步骤如下：首先构建本体，来进行特征和日常行为空间重映射。然后利用聚类给未标记的日常行为贴标签，并从中生成集成学习的输入。最后再利用集成学习处理聚类中未贴标签的数据，识别日常行为。
3.上述方法存在以下弊端：
4.首先，该方法需要手动提取特征，无法获得更具表现力的特征。
5.其次，该方法没有选择合适的特征进行迁移，也没有选择相似的数据集进行迁移，可能引发负迁移。


技术实现要素：

6.鉴于现有技术的不足，本发明提供一种基于dsn(域分离，domain separation networks)深度对抗迁移网络的日常行为迁移识别方法。相比较现有的异构智能家居行为识别方法，本发明可利用dsn深度生成对抗网络自动提取表现力的特征，同时加上集成学习和领域自适应方法达到相似多源域迁移学习识别目标域独特日常行为，提升日常行为识别的准确率的目的。
7.本发明采用的技术手段如下：
8.一种基于dsn深度对抗迁移网络的日常行为迁移识别方法，包括：
9.获取若干个候选源域及目标域，其中各候选源域中的日常行为标签已知，目标域中的日常行为标签部分已知或者全部未知；
10.分别将候选源域与目标域的日常行为标签及传感器映射到同一空间；
11.在该同一空间内获取与日常行为标签对应的日常行为特征向量，并基于距离度量的方法对各日常行为特征向量进行处理，从而由候选源域中筛选出目标域的相似源域；
12.采用领域自适应方法拉近各相似源域与目标域的特征向量分布；
13.分别将每个相似源域与目标域的特征向量组合后作为dsn网络的输入，从而训练获得与相似源域数量相当的基分类器；
14.对各个基分类器对目标域内特征向量的分类结果进行集成学习，从而获得目标域的日常行为识别结果。
15.进一步地，将候选源域与目标域的日常行为标签映射到同一空间，包括：
16.提取候选源域及目标域的所有已知的日常行为标签；
17.将原始日常行为标签放入word2vec模型进行训练，得到与所述日常行为标签对应的具有含有语义的日常行为标签数字特征向量；
18.利用余弦相似度，日常行为标签数字特征向量之间的距离，将超过一定阈值的两个日常行为标签数字特征向量所对应的日常行为标签划分为同一日常行为，从而得到相似日常行为集成的日常行为模板，完成日常行为映射。
19.进一步地，将候选源域与目标域的传感器映射到同一空间，包括：
20.获取候选源域及目标域的所有传感器的配置向量，所述配置向量包括位置、对于每个日常行为的出现频次以及类型；
21.将所述传感器配置向量输入word2vec模型进行训练，得到与传感器类型对应的具有数字特征的传感器数据向量；
22.对所述传感器数据向量进行聚类，基于聚类结果，将同一簇中传感器数据向量对应的传感器作为同一传感器，完成传感器映射。
23.进一步地，基于距离度量的方法对各日常行为特征向量进行处理，从而由候选源域中筛选出目标域的相似源域，包括：
24.获取各个候选源域与目标域在映射空间内的日常行为特征向量；
25.分别计算各个候选源域的日常行为特征向量与目标源域的日常行为特征向量的距离特征，并将距离特征满足预设要求的候选源域作为相似源域筛选出来。
26.较现有技术相比，本发明具有以下优点：
27.1、本发明采用深度对抗网络迁移dsn方法，可自动化地提取更具表现力的特征，效果好于手动提取特征。dsn独特的网络结构保留了特征的独特性，利用生成对抗思想，提升特征共享部分的相似性，同时dsn网络也可保留各域特征独特部分，有效避免了负迁移。且利用提取出来的特征加上集成学习方法，可以达到利用多源域对目标域的独特日常行为进行识别或多域互相识别日常行为的目的。
28.2、本方法对传感器及日常行为的映射方法进行了创新。通过word2vec语义模型及聚类的方法进行映射。其中利用语义模型映射，可更好的对日常行为进行识别。
29.3、本方法利用距离度量，选择相似的数据集，并对其利用领域自适应的方法，提升样本特征之间的相似度，比现有的方法更能提升迁移学习的效果。
附图说明
30.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
31.图1为本发明中利用dsn作为基分类器的多源域日常行为识别流程图。
32.图2为本发明中多域日常行为标签映射流程图。
33.图3为本发明中多域传感器映射流程图。
34.图4为华盛顿州立大学(washington state university)casas(center for advanced studies in adaptive systems)发布的数据集hh102所在的智能家居公寓的平面图。
35.图5为华盛顿州立大学(washington state university)casas(center for advanced studies in adaptive systems)发布的数据集hh103所在的智能家居公寓的平面图。
36.图6为华盛顿州立大学(washington state university)casas(center for advanced studies in adaptive systems)发布的数据集hh104所在的智能家居公寓的平面图。
37.图7为华盛顿州立大学(washington state university)casas(center for advanced studies in adaptive systems)发布的数据集hh105所在的智能家居公寓的平面图。
38.图8为华盛顿州立大学(washington state university)casas(center for advanced studies in adaptive systems)发布的数据集hh106所在的智能家居公寓的平面图。
具体实施方式
39.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
40.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
41.如图1
‑
3所示，本发明提供了基于dsn深度对抗迁移网络下的异构智能家居行为识别，包括以下步骤：
42.s1、获取若干个候选源域及目标域，其中各候选源域中的日常行为标签已知，目标域中的日常行为标签部分已知或者全部未知。
43.s2、分别将候选源域与目标域的日常行为标签及传感器映射到同一空间。
44.具体来说，将候选源域与目标域的日常行为标签映射到同一空间，如图2所示，包括：
45.s211、提取候选源域及目标域的所有已知的日常行为标签；
46.s212、将原始日常行为标签放入word2vec模型进行训练，得到与所述日常行为标签对应的具有含有语义的日常行为标签数字特征向量；
47.s213、利用余弦相似度，日常行为标签数字特征向量之间的距离，将超过一定阈值的两个日常行为标签数字特征向量所对应的日常行为标签划分为同一日常行为，从而得到相似日常行为集成的日常行为模板，完成日常行为映射。其中阈值是预先根据实验结果选
择结果较好的值，作为标准衡量。余弦相似度公式如下：
[0048][0049]
其中x,y分别为两不同的日常行为标签数字特征向量。
[0050]
进一步地，将候选源域与目标域的传感器映射到同一空间，如图3所示，包括：
[0051]
s221、获取候选源域及目标域的所有传感器的配置向量，所述配置向量包括位置、对于每个日常行为的出现频次以及类型；
[0052]
s222、将所述传感器配置向量输入word2vec模型进行训练，得到与传感器类型对应的具有数字特征的传感器数据向量；
[0053]
s223、对所述传感器数据向量进行聚类，基于聚类结果，将同一簇中传感器数据向量对应的传感器作为同一传感器，完成传感器映射。优选地，聚类使用k
‑
means方法、dbscan方法，选择聚类效果较好的一种。在本发明一个较佳的实施例中，采用k
‑
means方法，k
‑
means算法又名k均值算法，k
‑
means算法中k表示的是聚类为k个簇，means代表取每一个聚类中数据值的均值作为该簇的中心。其算法思想大致为：先从样本集中随机选取k个向量作为簇中心，并计算所有向量与这k个簇中心的距离，对于每一个向量，将其划分到与其距离最近的簇中心所在的簇中，对于新的簇计算各个簇的新的簇中心，直至簇中心没有移动。
[0054]
s3、在该同一空间内获取与日常行为标签对应的日常行为特征向量，并基于距离度量的方法对各日常行为特征向量进行处理，从而由候选源域中筛选出目标域的相似源域。
[0055]
具体来说，首先采用如图2和3所示方法将随机选择的多源域与目标域的传感器、日常行为映射到同一空间。提取的传感器配置向量包括：地点、传感器类型、各日常行为中的触发频次。传感器类型：磁性门传感器、光传感器、红外运动传感器、广域红外运动传感器、温度传感器。各数据集日常行为：休息、清洁、出门、回家、睡觉、做饭、吃饭、洗碗、如厕、工作。然后得到日常行为的特征向量，用距离度量方法(wasserstein distance方法或gfk(geodesic flow kernel)方法中的rank of domain方法)，找到和目标域相似的源域。其中，日常行为的特征向量包括：日常行为开始时间、日常行为结束时间、日常活动持续时间、映射后的各传感器所占本日常行为的传感器流的比例、日常行为标签。分别计算各个候选源域的日常行为特征向量与目标源域的日常行为特征向量的距离特征，并将距离特征满足预设要求的候选源域作为相似源域筛选出来。
[0056]
s4、采用领域自适应方法拉近各相似源域与目标域的特征向量分布。
[0057]
具体来说，通过把相似源域与目标域传感器、日常行为映射到同一空间，我们得到了同一维度的日常行为特征向量。然后观察域分布，利用合适的领域自适应方法拉近相似源域和目标域的特征向量分布，让源域和目标域的特征向量分布更加接近，在dsn网络中训练效果更好。在本发明的一个较佳的实施方式中，领域自适应方法如tca方法：假设存在一个特征映射，使得映射后源域和目标域的边缘分布接近，其中特征映射是利用mmd距离度量和核函数实现的。通过概率分布图可以看到，源域和目标域的概率分布变得重合度较高。
[0058]
s5、分别将每个相似源域拉近后的特征向量与目标域的特征向量组合后作为dsn网络的输入，从而训练获得与相似源域数量相当的基分类器。基于各基分类器，获取多个基分类器输出的初级分类结果，即用近似源域的标签标记目标域的数据。
[0059]
s6、对各个基分类器对目标域内特征向量的分类结果进行集成学习，从而获得目标域的日常行为识别结果。
[0060]
具体来说，把多个基分类器的结果放入集成学习，本实施例优选使用的stacking learning的集成学习方法。主要是把每个基分类器的输出加上了权重，每个基分类器对同一特征的预测输出作为最后一个分类器的输入，重新给目标域数据贴标签。达到多源域识别目标域日常行为(包括独特日常行为)的目的。
[0061]
下面根据具体的应用实例，对本发明的方案和效果做进一步说明。
[0062]
示例1：利用在两个不同的智能家居公寓收集的日常行为传感器事件流对目标域的日常行为进行识别(这两个公寓数据是经过相似性处理后的，也就是选取的相似的源域进行迁移)。通过日常行为映射及传感器映射后，统一所有日常行为的特征空间。三个公寓共同日常行为有：吃饭、睡觉、做饭、休息、清洁、出门、回家、洗碗、工作、洗澡、如厕。前九个日常行为是三个数据集的公共日常行为，洗澡只出现在第一个源域及目标域中，如厕只出现在第二个源域及目标域中。通过集成学习可以达到多个源域对目标域的日常行为进行识别，解决某一源域没有目标域某一日常行为的识别问题。也就是说目标域的所有日常行为都能利用这两个源域进行识别(只要多源域中某一源域有这个日常行为)。上述两个公寓的数据集能识别第三个公寓所有类别的日常行为，且利用dsn网络提取特征作为基分类器也提高了识别的精度。
[0063]
数据集的选取：华盛顿州立大学(washington state university)casas(center for advanced studies in adaptive systems)发布的数据集。其中casas是目前为止规模最大、使用最广泛的日常行为识别数据集。随机选择了其中面向单用户的日常行为数据集——hh102、hh103、hh104、hh105数据集(作为预选源域)，及hh106数据集(作为目标域)。这五个数据集分别由不同的志愿者在不同的智能家居环境布局里收集到的传感器信息组成。传感器信息：触发时间、地点、传感器类型、传感器名称、日常行为标签。传感器类型：磁性门传感器、光传感器、红外运动传感器、广域红外运动传感器、温度传感器。各数据集日常行为：休息、清洁、出门、回家、睡觉、做饭、吃饭、洗碗、如厕、工作。对于每个数据集，删去没有日常行为标记的冗余传感器序列，只留下有标记的传感器序列。各数据集环境布局及传感器的安装位置依次如图4、图5、图6、图7、图8所示。
[0064]
经过图1、图2方法分别映射五个域的传感器及日常行为标签到同一特征空间，并得到各域的特征向量：日常行为开始时间、日常行为结束时间、日常行为持续时间、映射后的各传感器所占本日常行为的传感器流的比例、日常行为标签。如睡觉这个日常行为的特征向量可表示为如下数字特征(22:00,7:00,9,1/3,1/3,0,0,0,0,0,0,1/3,0,0.2,0.2,0.6)。
[0065]
经过距离度量，找到与目标域相似的多个源域：hh102、hh103。再重复第二步，进行相似源域及目标域的传感器、日常行为映射，得到各域新的特征向量。之后，利用领域自适应方法分别拉近hh102、hh103与目标域hh106的特征向量分布。映射后的日常行为模板(除去时态、近义词干扰)：吃饭、睡觉、做饭、休息、清洁、出门、回家、洗碗、工作、洗澡、如厕。映射后的传感器代号为数字1
‑
10。为了展示方法功能，处理数据集时，我们认为前九个日常行为是三个数据集的公共日常行为，洗澡只出现在hh102、hh106中，如厕只出现在hh103、hh106中。
[0066]
现在有两个源域与目标域相似，所以分别利用组合一：hh102、hh106及组合二：hh103、hh106的特征向量对dsn网络进行训练，得到两个基分类器，分别对利用各源域的标签给目标域特征向量进行标记。观察标记结果可以看到，组合一中对目标域中公共日常行为及洗澡识别效果良好，对hh106中如厕日常行为识别不理想。组合二识别效果同理。
[0067]
把基分类器的结果放入集成学习模型内进行再次标定，结果表明，经过集成学习之后，对目标域的日常行为识别良好，包括洗澡、如厕类型的日常行为(单个源域不存在，但目标域存在的日常行为)，同时也提升了公共日常行为的识别精度。
[0068]
在本发明的上述实施例中，对各个公寓中日常行为的描述都各有侧重，突出表现了对单个源域不存在，但目标域存在的日常行为的识别效果。
[0069]
在本技术所提供的实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的聚类、距离度量、提升源域与目标域相似性的方法仅仅是示意性的，可以转换为其他效果更佳的方法。
[0070]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。