探测隐匿物联网设备的方法、装置、服务器、电子设备及存储介质与流程

1.本发明涉及物联网安全技术领域，尤其涉及一种探测隐匿物联网设备的方法、装置、服务器、电子设备及存储介质。


背景技术：

2.随着网络技术的发展，物联网设备得以普及推广。然而，有时候会被用于窥、甚至窃取用户隐私。例如，在陌生环境中被安装隐匿的物联网设备(可以是摄像头、麦克风或扬声器等)，当走进该陌生环境时，监视用户并窃取隐私。
3.当前，对于一般用户，通常不会携带昂贵专业的传感检测设备，陌生环境中是否存在隐匿物联网设备来窥探用户隐私较难发现，难以有效保证用户的隐私安全。


技术实现要素：

4.有鉴于此，本发明实施例提供一种探测隐匿物联网设备的方法、装置、服务器、电子设备及存储介质，便于识别出用户所在环境中是否存在隐匿物联网设备，从而可在一定程度上保障用户的隐私安全。
5.为达到上述发明目的，采用如下技术方案：
6.第一方面，本发明实施例提供一种探测隐匿物联网设备的方法探测隐匿物联网设备的方法，包括：在启用网络嗅探之后，采集搜寻到的不同信道上网络数据包；
7.解析所述网络数据包，得到所述网络数据包的元数据属性；根据所述元数据属性，基于指纹特征识别模型确定出所述元数据属性对应的物联网设备类型；其中，所述指纹特征识别模型为表征物联网设备类型与元数据属性之间的关系式。
8.可选地，所述网络嗅探为无线网络嗅探；在确定出所述元数据属性对应的物联网设备类型之后，所述方法还包括：
9.根据接收到的该物联网设备的网络信号强度及视觉惯性里程计确定出所述物联网设备相对当前网络嗅探用户设备的位置信息。
10.可选地，所述根据接收到的该物联网设备的网络信号强度及视觉惯性里程计确定出所述物联网设备相对当前网络嗅探用户设备的位置信息包括：
11.检测当前网络嗅探用户设备所在第一位置的坐标值以及接收到的所述物联网设备的第一网络信号强度；
12.移动所述当前网络嗅探用户设备至第二位置，检测所述第二位置的坐标值以及接收到的所述物联网设备的第二网络信号强度；
13.至少根据第一位置和第二位置接收到的所述物联网设备的网络信号强度，计算第一网格区域中的平均网络信号强度；
14.重复上述步骤，至少还计算第二网格区域中的多个所述物联网设备的网络信号强度的平均网络信号强度；
15.至少比较第一网格区域与第二网格区域的平均网络信号强度的强弱；
16.基于平均网络信号强度较强的网格区域的中心位置点的信号强度，根据rssi定位算法确定出所述物联网设备的位置。
17.可选地，所述方法还包括：在确定出所述物联网设备的位置之后，利用ar技术可视化展示出该物联网设备所在的位置信息。
18.可选地，所述指纹特征识别模型为基于大量物联网设备的网络数据包中的元数据属性特征，基于选定的机器学习分类器训练得到的。可选地，所述元数据属性包括：到达时间、数据包大小、数据包长度以及特定于标准通信协议的数据包子类型；其中，所述数据包子类型为表征某一类物联网设备特有的属性数据。
19.可选地，所述网络数据包携带有物联网设备的唯一标识码信息，在采集搜寻到的不同信道上网络数据包之后，所述方法还包括：将采集到的网络数据包根据其携带的唯一标识码信息进行分组；其中，所述唯一标识码信息包含：mac地址。
20.第二方面，本发明实施例还提供一种探测隐匿物联网设备的装置，包括：数据采集模块、数据解析模块以及设备指纹识别模块；所述数据采集模块，用于在启用网络嗅探程序之后，采集搜寻到的不同信道上网络数据包；数据解析模块，用于解析所述网络数据包，得到所述网络数据包的元数据属性；设备指纹识别模块，用于根据所述元数据属基于指纹特征识别模型确定出所述元数据属性对应的物联网设备类型；其中，所述指纹特征识别模型为表征物联网设备类型与元数据属性之间的关系式。
21.第三方面，本发明实施例提供一种电子设备，包括：一个或者多个处理器；存储器；所述存储器中存储有一个或者多个可执行程序，所述一个或者多个处理器读取存储器中存储的可执行程序代码，用于执行第一方面任一所述的探测隐匿物联网设备的方法。
22.第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现第一方面任一所述的探测隐匿物联网设备的方法。
23.第五方面，本发明实施例提供一种服务器，包括：主机，用于接收安装有网络嗅探程序的用户设备发送的采集搜寻到的不同信道上网络数据包；解析所述网络数据包，得到所述网络数据包的元数据属性；根据所述元数据属基于指纹特征识别模型确定出所述元数据属性对应的物联网设备类型；其中，所述指纹特征识别模型为表征物联网设备类型与元数据属性之间的关系式。
24.本发明实施例提供的探测隐匿物联网设备的方法、装置、服务器、电子设备及存储介质，通过启用网络嗅探采集粗粒度网络层特征，例如为无线层特征，即网络数据包的元数据属性，来识别不同的设备，无需ip/dns层信息，也不需要知道隐匿物联网设备的无线信道分配，根据所述元数据属性，基于指纹特征识别模型可以准确确定出所述元数据属性对应的物联网设备类型，从而根据确定出的物联网设备类型与当前用户所在环境中的可见物联网设备进行比对，识别出当前用户所在环境是否存在隐匿物联网设备。由此，本发明便于识别出用户所在环境中是否存在隐匿物联网设备，从而可在一定程度上保障用户的隐私安全。
附图说明
25.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
26.图1为本发明探测隐匿物联网设备的方法一实施例的流程示意图；
27.图2为本发明探测隐匿物联网设备的方法另一实施例流程示意图；
28.图3为本发明探测隐匿物联网设备的方法再一实施例流程示意图
29.图4为本发明探测隐匿物联网设备的装置一实施例架构示意框图；
30.图5为本发明电子设备的一个实施例结构示意图。
具体实施方式
31.下面结合附图对本发明实施例进行详细描述。
32.应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
33.本发明实施例提供的探测隐匿物联网设备的方法及装置，可应用于用户隐私安全保护场景中，可方便地检测出用户所在环境中是否存在隐匿的物联网设备，例如：摄像头、麦克风、扬声器等。
34.通过使用网络嗅探技术及机器学习算法训练的指纹特征识别模型，基于采集的网络数据包的元数据属性，可以方便准确地确定出当前用户所在环境中是否存在隐匿物联网设备，从而在一定程度上可以提高用户隐私的安全性。需要说明的是，该方法可以以软件的形式固化于某一制造的实体产品中，所述实体产品例如为笔记本电脑、智能手机、ipad等电子设备，当用户在使用该产品时，可以再现本技术的方法流程。
35.图1为本发明探测隐匿物联网设备的方法一实施例流程示意图；参看图1所示，所述探测隐匿物联网设备的方法可以包括步骤：
36.s110、在启用网络嗅探之后，采集搜寻到的不同信道上网络数据包。
37.本实施例中，可预先在笔记本电脑或智能手机等用户可随身携带的电子产品上安装网络嗅探程序(工具)，当用户进入陌生环境，如酒店等，可以开启网络嗅探程序，网络嗅探程序可以在后台运行，网络嗅探程序自动采集搜索到的不同信道上的网络数据包。
38.其中，所述网络数据包可以为发送的网络数据包，也可以为接收的网络数据包，根据数据包传递的方向不同而命名，实质都是数据包的传输。
39.作为一可选实施例，所述网络嗅探为无线网络嗅探，所述网络数据包是无线网络数据包。
40.可以理解的是，物联网设备可能位于不同的无线网络上，分布在2.4ghz和5ghz wifi频率范围内的30个信道上。因此，为了避免遗漏“抓包”，需要一种机制来监控各种信号通道，以便采集到用户附近所有物联网设备的网络数据包，以用于隐匿物联网设备的指纹特征识别。
41.然而，用户并不知道攻击者使用的多个物联网设备在哪个信道，以及每个物理网
设备传输网络数据包的传输时间，为了避免在感知对于识别隐匿物联网设备无效的非活跃信号上浪费时间，在一些实施例中，采用快速的循环迭代来发现活跃信道，根据是否感应到任何信标帧来发现活动信道，以及在信道中存在物联网设备对应于与之通信的活动接入点；这样，通过轮循信道跳变可以找到活动信道的子集，快速采集搜寻到可能目标物联网设备的网络数据包。
42.为了提高后续识别的全面性，本实施例中，通过采用网络嗅探技术和循环信道跳变，可在一定成上尽可能多的收集大量不同信道上的无线数据包，从而避免漏掉关键数据。
43.在处理不同传输行为的物联网设备时，对于高传输速率的设备，可以非常快地嗅探到足够数量的数据包；而针对低传输速率的设备数据包捕获，可以使用分类引擎来确定其设备类型，在低传输速率设备传输的瞬间收集到其传输少量的数据包，然后针对每类设备，根据设备类型进行预测数据包的元数据属性，并直接从训练数据(该数据为指纹特征识别模型训练过程中，预先准备的不同种类设备对应的各种元数据属性值)中获取前三种预测对应的数据包平均到达时间，这样，可以快速获取低传输速率设备的数据包属性。
44.s120、解析所述网络数据包，得到所述网络数据包的元数据(metadata)属性(property)。
45.网络数据的解析可以根据现有技术实施，在此就不再赘述。
46.本实施例中，元数据属性指的是描述数据的属性，例如，数据包的到达时间、数据包大小、数据包长度以及特定于标准通信协议的数据包子类型。
47.其中，所述数据包子类型为表征某一类物联网设备特有的属性数据；例如，subtype属性，在某厂商的物联网门铃中用于通知接入点设备进入睡眠模式的属性；又比如，在该某厂商的摄像头中该属性则表示其它含义。这些属性均可以作为定义物联网设备指纹特征的基础。
48.s130、根据所述元数据属基于指纹特征识别模型确定出所述元数据属性对应的物联网设备类型；其中，所述指纹特征识别模型为表征物联网设备类型与元数据属性之间的关系式。
49.所述指纹特征识别模型为基于大量物联网设备的网络数据包中的元数据属性特征，基于选定的机器学习分类器训练得到的。
50.针对无线网络数据包，一般是基于802.11标准通信协议进行数据传输的。而802.11标准通信协议的数据包一般只能获取报头的mac层信息，且需要处理具有不同传输速率的各种设备，处理较为繁琐。
51.在一些解决方案中，首先要利用高层次的ip、dns、端口号和ntp协议等信息提炼出物联网设备的指纹特征，以此来识别不同的物联网设备，但由于网络可见性有限，只能嗅探到802.11报头。
52.为了解决这些问题，本发明中设计了一个系统的机器学习框架，本实施例中，通过设计机器学习框架来解决这些问题，为了实现一个广泛的可观察的特征集，而不是传统的手工制作数据量较小的特征库，为了解决设备的多样性问题，本系统使用多个时间尺度来提取不同种类物联网设备特定的属性，将该属性作为特征集进行训练，这使得训练得到的特征识别模型可以对来自不同厂商和不同硬件设置的大量设备类型进行泛化预测。
53.另外，即使是在像802.11这样单一的协议中，隐藏的物联网设备也可以使用大量
的通道，在一个陌生的环境中，不知道隐藏的设备什么时间通过什么渠道以及每个设备传输多长时间，本实施例中，通过预先采集每个设备随时间的大概传输模式，并使用这一模式告知信道传感策略，检测不同信道的网络数据包。
54.如前所述，在一些解决方案中，通过识别不同设备的ip、dns和ntp数据包，将物联网设备与其指纹特征关联起来，由于网络可见性有限，加密的无线802.11报头是用户设备唯一可用的粗糙属性，致使检测准确性不高。
55.为了解决此问题，本方案中，考虑最广泛的特征集，使用机器学习框架在时间和可用的802.11包头属性中，为每种设备类型提取有效的指纹特征(指的是可用于标识设备类型唯一性的特征)。此外，本实施例中用于训练指纹特征识别模型的机器学习框架，根据每个设备的传输速率自动调整聚合特征的时间尺度，采用的分类引擎接受发送到或从所有可用物联网设备的无线802.11网络数据包作为输入。
56.在一些实施例中，所述网络数据包携带有物联网设备的唯一标识码信息，在采集搜寻到的不同信道上网络数据包之后，所述方法还包括：将采集到的网络数据包根据其携带的唯一标识码信息进行分组。
57.其中，所述唯一标识码信息包含：mac地址。将收集到的网络数据包(报文)根据其mac地址进行分组，并通过特征工程和分类方法，即训练得到的指纹特征识别模型，预测每个mac地址对应的设备类型。
58.为了自动提取每个设备的属性，为此首先收集所有可能的802.11包头，然后提取每个包的所有属性，这将导致总共125个属性。然而，其中一些属性在不同的设备上具有相同的值(例如，ap特定的属性)，并且不携带任何有用的信息。为了简化处理过程，防止过拟合，我们摒弃了这些属性，在本发明的模型中，在这个修剪步骤之后，125个属性中的52个保留了下来。因此，前述列举的网络数据包的元数据属性并非是穷举。
59.在对收集的指纹特征进行处理后，着手训练一个机器学习预测模型，即指纹特征识别模型；选择一个一对一的分类器，为每个类训练一个二进制分类器。选择xgboost作为机器学习的分类器，它具有较高的验证精度，根据最后一组功能训练分类器，并将以下设备类型定义为类，例如：智能摄像头、扬声器、电视、插头、安全系统、厨房电器、灯泡和门铃等。
60.本实施例中，通过机器学习算法，基于采集的大量类型的物联网设备的指纹特征进行训练，得到指纹特征识别模型，可以基于网络数据包的元数据属性，较为准确地用于识别物联网设备的类型。
61.可以理解的是，在确定出当前用户所在环境周边的物联网设备类型之后，根据当前环境中的可见物联网设备进行比对，即可确定出是否有隐藏的物联网设备。而在确定出有隐藏的物联网设备之后，需要进一步地对其进行定位，一般用户没有专业定位设备的支持，将很难快速找到隐藏的物联网设备。
62.因此，为了解决上述定位隐藏物联网设备的问题，如图2及图3所示，在一些实施例中，所述网络嗅探为无线网络嗅探；在确定出所述元数据属性对应的物联网设备类型之后，所述方法还包括步骤s140：根据接收到的该物联网设备的网络信号强度及视觉惯性里程计(vio，visual inertial odometry)确定出所述物联网设备相对当前网络嗅探用户设备的位置信息。
63.其中，视觉惯性里程计，主要是基于将用户设备的惯性传感器imu读数与相机集成
来确定用户位置和方向随时间的变化，通过用户在环境中的走动，一段时间内的方向变化，来测量从不同距离到设备的信号强度。
64.具体的，所述根据接收到的该物联网设备的网络信号强度及视觉惯性里程计确定出所述物联网设备相对当前网络嗅探用户设备的位置信息包括：检测当前网络嗅探用户设备所在第一位置的坐标值以及接收到的所述物联网设备的第一网络信号强度；移动所述当前网络嗅探用户设备至第二位置，检测所述第二位置的坐标值以及接收到的所述物联网设备的第二网络信号强度。
65.其中，检测当前网络嗅探用户设备的位置变化是通过用户设备内的惯性传感器imu和相机实现的。检测网络信号强度，可以通过用户设备内的无线传感网络芯片，感知到信号强弱。
66.至少根据第一位置和第二位置接收到的所述物联网设备的网络信号强度，计算第一网格区域中的平均网络信号强度。
67.重复上述步骤，至少还计算第二网格区域中的多个所述物联网设备的网络信号强度的平均网络信号强度。
68.其中，第一网格区域和第二网格区域是根据用户来回行走区域形成的一个预定大小的网格，例如，网格大小为0.5cmx0.5cm。
69.为了提高检测的精确度，可以划分出多个网格区域。至少比较第一网格区域与第二网格区域的平均网络信号强度的强弱；基于平均网络信号强度较强的网格区域的中心位置点的信号强度，根据rssi定位算法确定出所述物联网设备的位置。
70.其中，rssi定位算法为成熟定位算法，例如，三边定位、三点定位算法等，为突显发明创新所在，在此就不再赘述。
71.示例性地，当用户进入陌生环境中，服务器会收集(x,y,rssi)数据样本，其中x和y是相对于用户开始走动的初始点，即参考点；当用户在环境中走动，可以收集到不同数据样本，利用rssi值及变化后的位置点估计每个设备的位置。
72.其中，估计物联网设备的一种简单的方法是选择rssi值最高值(x,y,rssi)样本，这表示用户离设备最近。然而，这种方法只有在用户离物联网设备较近的时候有效性及准确性较高，而本系统中采取基于网格化建模的方法，广泛应用于稀疏样本参数计算，根据用户的行走区域形成一个网格，并为每个网格区域计算观察到的平均rssi值。然后选取rssi平均值最大的网格中心位置点的信号强度确定出设备位置，可以提高检测的有效性和准确性。
73.为了更精准细化定位，在一些实施例中，所述确定出所述物联网设备的位置还可以为：取稀疏样本，将v＝f(x,y)形式的曲面拟合到(x,y,rssi)向量中分散的数据上，形成交点坐标(xq,yq)的1x1cm网格作为查询点(即定位点)，并在每个点上插值基于三维三角的线性曲面，然后提取表面区域极大值作为隐藏的物联网设备的位置。
74.其中，可以v＝f(x,y)形式曲面的生成方式可以参看维普网收录的1997年发表的学术期刊名称为：任意具有z＝f(x,y)形式曲面的生成。在此就不再赘述。
75.在每个点上插值基于三维三角的线性曲面，以实现曲面的三维三角剖分成曲面碎片，便于找到表面区域的极大值点。
76.为方便用户找到攻击者部署的设备，来解除安全隐患。参看图3所示，在一些实施
例中，所述方法还包括：在确定出所述物联网设备的位置之后，执行步骤s150、利用ar(augmented reality)技术可视化展示出该物联网设备所在的位置信息，包括隐藏设备所在的方位和距离用户的距离等。
77.本发明实施例提供的探测隐匿物联网设备的方法，通过启用网络嗅探采集粗粒度网络层特征，例如为无线层特征，即网络数据包的元数据属性，来识别不同的设备，无需ip/dns层信息，也不需要知道隐匿物联网设备的无线信道分配，根据所述元数据属性，基于指纹特征识别模型可以准确确定出所述元数据属性对应的物联网设备类型，从而根据确定出的物联网设备类型与当前用户所在环境中的可见物联网设备进行比对，识别出当前用户所在环境是否存在隐匿物联网设备。由此，本发明便于识别出用户所在环境中是否存在隐匿物联网设备，从而可在一定程度上保障用户的隐私安全。
78.实施例二
79.图4为本发明探测隐匿物联网设备的装置一实施例架构示意框图，参看图4所示，本发明实施例提供的探测隐匿物联网设备的装置，包括：数据采集模块210、数据解析模块220以及设备指纹识别模块230；
80.其中，所述数据采集模块210，用于在启用网络嗅探之后，采集搜寻到的不同信道上网络数据包；
81.数据解析模块220，用于解析所述网络数据包，得到所述网络数据包的元数据属性；
82.设备指纹识别模块230，用于根据所述元数据属基于指纹特征识别模型确定出所述元数据属性对应的物联网设备类型；其中，所述指纹特征识别模型为表征物联网设备类型与元数据属性之间的关系式。
83.本实施例的装置可以用于执行图1所示方法实施例的技术方案，本实施例的服务器，其实现原理和技术效果与实施例一类似，此处不再多赘述，可相互参看。
84.本发明还实施例提供一种服务器，包括：主机，用于：
85.接收安装有网络嗅探程序的用户设备发送的采集搜寻到的不同信道上网络数据包；
86.解析所述网络数据包，得到所述网络数据包的元数据属性；
87.根据所述元数据属基于指纹特征识别模型确定出所述元数据属性对应的物联网设备类型；其中，所述指纹特征识别模型为表征物联网设备类型与元数据属性之间的关系式。
88.本实施例的服务器可以用于执行图1所示方法实施例的技术方案，本实施例的服务器，其实现原理和技术效果与实施例一类似，此处不再多赘述，可相互参看。
89.实施例三
90.本发明还实施例提供了一种电子设备，包括一个或者多个处理器；存储器；所述存储器中存储有一个或者多个可执行程序，所述一个或者多个处理器读取存储器中存储的可执行程序代码，运行与可执行程序代码对应的程序，以用于执行实施例一任一所述的探测隐匿物联网设备的方法。
91.图5为本发明电子设备一个实施例的结构示意图，其可以实现本发明实施例一任一所述的方法，如图5所示，作为一可选实施例，上述电子设备可以包括：壳体41、处理器42、
memory，ram)等。
99.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。