无线网络邻居发现方法及装置与流程

1.本发明涉及无线通信技术领域，尤其涉及无线网络邻居发现方法及装置。


背景技术：

2.机器类通信在第五代移动网络中被广泛部署，在某些应用场景，由于网络节点的高移动性和能量有限性，亟需快速、节能的组网技术满足通信需求，邻居发现作为组网的首要步骤，引起了广泛关注。
3.邻居发现是构建网络拓扑的过程，它允许一个无线节点在其传输范围内与其他节点建立联系，以形成一个连接的网络。在无线自组织网络中，发送和接收端倾向使用超高增益的定向天线。定向天线可提供更长的传输距离，提供更高的数据速率，提高空间利用率。传统的定向邻居发现有两种：随机扫描邻居发现(complete random algorithm，cra)和基于扫描的邻居发现(scan-based algorithm，sba)。cra是定向天线在几个固定的方向的波束中随机选择波束进行邻居探测，当一个节点进入网络后不知道自己周围有哪些邻居，很自然进行随机选择。sba是按照一定的扫描方向顺序进行扫描完成邻居发现，需要节点之间的相互合作，并且需要保证时间同步一致。基于扫描的邻居发现时延短但是需要节点之间协作，不适用于实际场景；随机扫描的邻居发现时延长，但是鲁棒性强，有较大的实用价值。
4.在经典的随机扫描邻居发现(cra-dd)中，由于hello数据包可能被发送到没有潜在邻居的空白区域，节点从所有波束中随机选择扫描方向，不仅会浪费传输功率，并且延长邻居发现时间。雷达辅助的邻居发现方法虽然可以提高邻居发现效率，但是灵活性差，不能再通信雷达作用距离不同的系统中工作，外加获取先验信息和利用分离，时间利用率低。基于卡尔曼滤波预测的邻居发现中，节点间的交互机制采用一次握手，也就是节点只能在接收状态发现邻居，信道资源利用率低。


技术实现要素：

5.有鉴于此，本发明提供了一种无线网络邻居发现方法及装置，以解决现有技术中的一项或多项问题。
6.为了达到上述目的，本发明采用以下方案实现：
7.根据本发明实施例的一个方面，本发明提供了一种无线网络邻居发现方法，包括：
8.获取无线网络中节点的初始邻居发现结果；初始邻居发现结果包括节点的初始邻居节点和相应初始邻居节点的初始位置及初始运动参数；
9.基于节点的初始邻居发现结果，通过卡尔曼滤波预测得到相应节点的相应初始邻居节点的滤波后位置及滤波后运动参数；
10.通过判断所有节点的各初始邻居节点的滤波后位置是否在每个节点的一跳通信范围内，重新确定相应节点的邻居节点，并计算节点的重新确定的邻居节点对应的滤波后位置和相应邻居节点对应的实际位置之间的位置误差；
11.在位置误差大于设定误差阈值和/或卡尔曼滤波预测过程的持续时间超过设定时
间阈值的情况下，重新获取无线网络中节点的初始邻居发现结果；
12.在位置误差不大于设定误差阈值且卡尔曼滤波预测过程的持续时间不超过设定时间阈值的情况下，基于节点的重新确定的邻居节点对应的滤波后位置及滤波后运动参数，通过卡尔曼滤波预测对相应节点进行邻居发现预测以得到相应节点的邻居节点的位置，从而依据相应节点的一跳通信范围得到相应节点的最终邻居节点。
13.在一些实施例中，所述设定时间阈值是无线网络中各节点的邻居节点移动出相应节点的一跳通信范围所需时间的均值。
14.在一些实施例中，获取无线网络中节点的初始邻居发现结果，包括：
15.确定无线网络中节点对应的智能体单元；其中，在智能体单元中，动作对应于相应节点选择其定向天线的波束方向以在接收或发送数据包的天线模式下进行相应操作，动作概率对应于节点选择其定向天线的波束方向的概率；
16.节点的智能体单元选择天线模式；其中，选择发送数据包的天线模式的概率和选择接收数据包的天线模式的概率之和等于一；
17.在节点的智能体单元选择的天线模式为发送数据包的情况下，在二次握手交互机制中的第一个时隙，相应节点依据智能体单元中的动作概率选择其定向天线的波束方向以发送雷达通信波形一体化扫描信号；在二次握手交互机制中的第二个时隙，相应节点等待接收雷达通信波形一体化反馈信号，若接收到雷达通信波形一体化反馈信号，则记录相应的雷达探测邻居节点的数据和通信发现邻居节点的数据；
18.在节点的智能体单元选择的天线模式为接收数据包的情况下，在二次握手交互机制中的第一个时隙，节点等待接收无线网络中其他节点发送的雷达通信波形一体化扫描信号，若接收到其他节点发送的雷达通信波形一体化扫描信号，则记录相应节点对应的雷达探测邻居节点的数据和通信发现邻居节点的数据；在二次握手交互机制中的第二个时隙，节点发送雷达通信波形一体化反馈信号至所述其他节点；
19.根据雷达探测邻居节点的数据和通信发现邻居节点的数据的一致性调整相应节点的定向天线的相应波束方向上的概率，以训练节点的智能体单元；
20.利用训练后的节点的智能体单元中的动作概率得到相应节点在其定向天线的波束方向上的最终概率，基于节点在其定向天线的波束方向上的最终概率，采用二次握手交互机制进行邻居发现，得到相应节点的初始邻居发现结果。
21.在一些实施例中，根据雷达探测邻居节点的数据和通信发现邻居节点的数据的一致性调整相应节点的定向天线的相应波束方向上的概率，包括：
22.在雷达探测距离与通信距离的比率小于1的情况下，若雷达探测邻居节点的数据包含发现邻居节点的信息且相应通信发现邻居节点的数据也包含发现相应邻居节点的信息，则按第一概率调整规则提高相应定向天线的相应波束方向上的概率；若雷达探测邻居节点的数据包含发现邻居节点的信息但相应通信发现邻居节点的数据也不包含发现相应邻居节点的信息，则按第二概率调整规则降低相应定向天线的相应波束方向上的概率。
23.在一些实施例中，每个节点对应的雷达探测邻居节点的数据和通信发现邻居节点的数据分别以一个矩阵表示，用于在记录相应数据；在每个节点对应的雷达探测邻居节点的数据矩阵和每个节点对应的通信发现邻居节点的数据矩阵中，一个维度为无线网络中的各个节点的标识，另一个维度为相应节点的定向天线的各个波束方向的标识。
24.在一些实施例中，所述第一概率调整规则对应的公式为：
[0025][0026]
所述第一概率调整规则对应的公式为：
[0027][0028]
其中，p
ik
(t 1)表示第i个节点的定向天线的第k个波束方向在第t 1个二次握手交互时隙的概率，p
ik
(t)表示第i个节点的定向天线的第k个波束方向在第t个二次握手交互时隙的概率，φ(
·
)表示非线性的奖赏参数，ai(t)表示第i个节点对应的智能体单元在第t 1个二次握手交互时隙作出的动作，ai表示节点i的可选择动作；ai(t)＝ai表示节点i在当前二次握手交互时隙t选择的动作与可选择动作相同，ai(t)≠ai表示节点i在当前二次握手交互时隙t选择的动作与可选择动作不同；μ表示自定义系数，k表示定向天线的波束方向的个数。
[0029]
在一些实施例中，所述定向天线为相控阵雷达天线；不同节点的定向天线的发射功率及发射范围相同；节点的设定数量的定向天线覆盖相应节点360度探测范围。
[0030]
在一些实施例中，所述的无线网络邻居发现方法，还包括：
[0031]
基于通过卡尔曼滤波预测对相应节点进行邻居发现预测得到的相应节点的邻居节点的位置及运动参数，继续通过卡尔曼滤波预测对相应节点进行邻居发现预测以继续得到相应节点的邻居节点的位置；
[0032]
若继续得到的节点的邻居节点的位置与前次得到的相应节点的邻居节点的位置的位置误差不大于设定误差阈值范围且卡尔曼滤波预测过程的持续时间不超过设定时间阈值，则继续通过卡尔曼滤波预测对相应节点进行邻居发现预测以继续得到相应节点的邻居节点的位置；
[0033]
若继续得到的节点的邻居节点的位置与前次得到的相应节点的邻居节点的位置的位置误差大于设定误差阈值范围内和/或卡尔曼滤波预测过程的持续时间超过设定时间阈值，则重新获取无线网络中节点的初始邻居发现结果。
[0034]
根据本发明实施例的另一个方面，本发明还提供了一种无线网络邻居发现装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述方法的步骤。
[0035]
根据本发明实施例的另一个方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所述方法的步骤。
[0036]
本发明实施例的无线网络邻居发现方法、无线网络邻居发现装置及计算机可读存储介质，通过先获取初始的邻居发现结果，再通过卡尔曼滤波对初始邻居发现结果进行滤波，提高了邻居发现结果的准确性。而且，在利用卡尔曼滤波进行邻居发现之前，通过位置误差控制能够保证滤波结果更加准确，另外通过时间控制能够避免时间延迟导致的偏差，进一步提高了邻居节点发现的准确度。此外，通过卡尔曼滤波以及位置误差和时间阈值判断，还提高了邻居发现速度。因此本发明提高了邻居节点发现效率。进一步，通过雷达通信
波形一体化信息获取初始邻居发现结果，通过雷达信息提高了通信发现邻居节点的收敛速度，提高了初始邻居发现结果的准确度。进一步，采用二次握手机制得到初始邻居发现结果，降低了干扰，进一步提高了初始邻居发现结果的准确度。
附图说明
[0037]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0038]
图1是本发明一实施例的无线网络邻居发现方法的流程示意图；
[0039]
图2是本发明一实施例中无线网络中节点分布示意图；
[0040]
图3是本发明一实施例中两次握手机制的天线模式示意图；
[0041]
图4是本发明一实施例中的定向发射定向接收天线模型示意图；
[0042]
图5是本发明一实施例中的节点的通信和雷达范围相互作用的示意图；
[0043]
图6是本发明一实施例中的节点的智能体学习的框架示意图；
[0044]
图7是本发明一实施例中的智能体计算机机制示意图；
[0045]
图8是本发明一实施例中的卡尔曼模型计算模块的结构示意图；
[0046]
图9是本发明一实施例的两个阶段的切换机制示意图；
[0047]
图10是本发明一实施例中不同rcrr下的邻居发现收敛时间曲线；
[0048]
图11是本发明一实施例中波束数量对时间延迟影响的柱状示意图。
具体实施方式
[0049]
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
[0050]
应用卡尔曼滤波技术预测车联网中节点位置，可以在一定程度上降低hello的负载，但是若采用一次握手的hello邻居发现机制，即，节点只能在接收状态发现自己的邻居节点，信道等资源利用率低，并且两节点发现之后不能为之后的通信做预测。基于先验信息的三维立体无线自组网进行邻居发现，其中空中节点在雷达提供的模糊范围内随机选择角度对准节点通信，可以减少邻居发现开销，但是基于定向发送全向接收的天线模式，导致两者的传输范围不同，受制于雷达定向发送，不能适应通信雷达一体化场景。
[0051]
针对上述技术问题，本发明提供了一种无线网络邻居发现方法，采用两次握手的交互机制，节点可以在任何天线模式下发现邻居，既支持发送模式又支持接收模式，信道资源利用率高，抗干扰性更强。而且，获取邻居发现的先验信息，进行卡尔曼滤波预测，添加强化学习技术，让网络节点在每个时隙自动更改随机扫描策略，加速邻居发现，提高邻居发现效率。
[0052]
图1是本发明一实施例的无线网络邻居发现方法的流程示意图，参见图1，该实施例的方法可包括以下步骤：
[0053]
步骤s110：获取无线网络中节点的初始邻居发现结果；初始邻居发现结果包括节
点的初始邻居节点和相应初始邻居节点的初始位置及初始运动参数；
[0054]
步骤s120：基于节点的初始邻居发现结果，通过卡尔曼滤波预测得到相应节点的相应初始邻居节点的滤波后位置及滤波后运动参数；
[0055]
步骤s130：通过判断所有节点的各初始邻居节点的滤波后位置是否在每个节点的一跳通信范围内，重新确定相应节点的邻居节点，并计算节点的重新确定的邻居节点对应的滤波后位置和相应邻居节点对应的实际位置之间的位置误差；
[0056]
步骤s140：在位置误差大于设定误差阈值和/或卡尔曼滤波预测过程的持续时间超过设定时间阈值的情况下，重新获取无线网络中节点的初始邻居发现结果；
[0057]
步骤s150：在位置误差不大于设定误差阈值且卡尔曼滤波预测过程的持续时间不超过设定时间阈值的情况下，基于节点的重新确定的邻居节点对应的滤波后位置及滤波后运动参数，通过卡尔曼滤波预测对相应节点进行邻居发现预测以得到相应节点的邻居节点的位置，从而依据相应节点的一跳通信范围得到相应节点的最终邻居节点。
[0058]
在另一些实施例中，图1所示的无线网络邻居发现方法还可包括步骤：s160：基于通过卡尔曼滤波预测对相应节点进行邻居发现预测得到的相应节点的邻居节点的位置及运动参数，继续通过卡尔曼滤波预测对相应节点进行邻居发现预测以继续得到相应节点的邻居节点的位置；若继续得到的节点的邻居节点的位置与前次得到的相应节点的邻居节点的位置的位置误差不大于设定误差阈值范围且卡尔曼滤波预测过程的持续时间不超过设定时间阈值，则继续通过卡尔曼滤波预测对相应节点进行邻居发现预测以继续得到相应节点的邻居节点的位置；若继续得到的节点的邻居节点的位置与前次得到的相应节点的邻居节点的位置的位置误差大于设定误差阈值范围内和/或卡尔曼滤波预测过程的持续时间超过设定时间阈值，则重新获取无线网络中节点的初始邻居发现结果。
[0059]
上述步骤s110中，初始位置可以是坐标位置信息，例如是二维坐标、三维坐标等。初始运动参数可以是速度，如二维方向上的速度等。初始邻居发现结果，可以通过各种可能的方法初步进行邻居发现得到初步的邻居节点及相关信息，由于网络环境中存在干扰，或者由于延时等原因，会导致初始邻居发现的结果与实际结果存在一定偏差，所以，进一步通过后续步骤可以得到更准确的邻居节点及相关信息。
[0060]
应用雷达辅助获取的邻居位置信息作为先验信息，可以用来提高发现效率，但是存在两点不足：一是，需要保证雷达的探测距离和通信的作用距离完全一致，导致所提出方案的扩展性差；二是，雷达探测和通信阶段分离，导致需要提前扫描一圈获取先验信息，时间延迟增长。
[0061]
针对该技术问题，在一些实施例中，上述步骤s110中，获取无线网络中节点的初始邻居发现结果，具体可包括步骤：
[0062]
s111，确定无线网络中节点对应的智能体单元；其中，在智能体单元中，动作对应于相应节点选择其定向天线的波束方向以在接收或发送数据包的天线模式下进行相应操作，动作概率对应于节点选择其定向天线的波束方向的概率；
[0063]
s112，节点的智能体单元选择天线模式；其中，选择发送数据包的天线模式的概率和选择接收数据包的天线模式的概率之和等于一；
[0064]
s113，在节点的智能体单元选择的天线模式为发送数据包的情况下，在二次握手交互机制中的第一个时隙，相应节点依据智能体单元中的动作概率选择其定向天线的波束
方向以发送雷达通信波形一体化扫描信号；在二次握手交互机制中的第二个时隙，相应节点等待接收雷达通信波形一体化反馈信号，若接收到雷达通信波形一体化反馈信号，则记录相应的雷达探测邻居节点的数据和通信发现邻居节点的数据；
[0065]
s114，在节点的智能体单元选择的天线模式为接收数据包的情况下，在二次握手交互机制中的第一个时隙，节点等待接收无线网络中其他节点发送的雷达通信波形一体化扫描信号，若接收到其他节点发送的雷达通信波形一体化扫描信号，则记录相应节点对应的雷达探测邻居节点的数据和通信发现邻居节点的数据；在二次握手交互机制中的第二个时隙，节点发送雷达通信波形一体化反馈信号至所述其他节点；
[0066]
s115，根据雷达探测邻居节点的数据和通信发现邻居节点的数据的一致性调整相应节点的定向天线的相应波束方向上的概率，以训练节点的智能体单元；
[0067]
s116，利用训练后的节点的智能体单元中的动作概率得到相应节点在其定向天线的波束方向上的最终概率，基于节点在其定向天线的波束方向上的最终概率，采用二次握手交互机制进行邻居发现，得到相应节点的初始邻居发现结果。
[0068]
上述步骤s111中，通过将波束方向选择设置为动作，可以使得每次只有一个扇区(波束方向)被选择。节点可以以一定概率选择天线模式，要么处于发送模式，要么处于接收模式。上述步骤s113中，发送雷达通信波形一体化扫描信号可以通过现有技术将雷达和通信波形融合到一起，如频分复用技术。如此一来，在通信的同时发射雷达信号，通信和雷达是一体化的而不是分离的，以此可以避免分离导致的偏差。
[0069]
该实施例中，在通信时进行雷达探测获取先验信息，可以适应雷达和通信作用距离不同的场景，与现有雷达辅助的邻居发现方法相比，灵活性更强。所述定向天线例如可以为相控阵雷达天线。不同节点的定向天线的发射功率及发射范围可以相同。节点的设定数量的定向天线可以覆盖相应节点360度探测范围，以此可以实现全向天线功能，且每个波束方向对应一个扇区。
[0070]
其他实施例中，可以利用于双面阵雷达扫描的模糊位置分配雷达的扫描区域，但其仅适用于该场景，可移植性差，而该实施例中，可应用在所有通信雷达一体化下系统。
[0071]
上述步骤s115中，根据雷达探测邻居节点的数据和通信发现邻居节点的数据的一致性调整相应节点的定向天线的相应波束方向上的概率，具体可包括步骤：在雷达探测距离与通信距离的比率小于1的情况下，若雷达探测邻居节点的数据包含发现邻居节点的信息且相应通信发现邻居节点的数据也包含发现相应邻居节点的信息，则按第一概率调整规则提高相应定向天线的相应波束方向上的概率；若雷达探测邻居节点的数据包含发现邻居节点的信息但相应通信发现邻居节点的数据也不包含发现相应邻居节点的信息，则按第二概率调整规则降低相应定向天线的相应波束方向上的概率。该具体实施例中，设置雷达探测范围小于通信距离范围，使得模型训练过程更符合实际情况。例如，该比率在0.5～1范围内，更具体地，可以为0.5或0.6。本实施例的方法由于设计了强化学习的机制，所以即使在稀疏网络也能弥补雷达探测范围小于通信范围的情况。
[0072]
上述步骤s113和步骤s114中，可以通过矩阵的方式记录雷达邻居、通信邻居发现结果的相关数据。例如，每个节点对应的雷达探测邻居节点的数据和通信发现邻居节点的数据分别以一个矩阵表示，用于在记录相应数据；在每个节点对应的雷达探测邻居节点的数据矩阵和每个节点对应的通信发现邻居节点的数据矩阵中，一个维度为无线网络中的各
个节点的标识，另一个维度为相应节点的定向天线的各个波束方向的标识。每次需要更新记录数据时，可以在矩阵或对应列表中记录相应数据。另外，还可以设置一个雷达探测邻居节点的数量的矩阵，可以记录各扇区(波束方向)雷达发现的邻居节点的数量，也可以用来进行雷达和通信发现结果的一致性比较。
[0073]
上述步骤s115和步骤s116中，可以利用各种规则通过奖惩更新选择波束方向的概率。
[0074]
例如，所述第一概率调整规则对应的公式可以为：
[0075][0076]
所述第一概率调整规则对应的公式可以为：
[0077][0078]
其中，p
ik
(t 1)表示第i个节点的定向天线的第k个波束方向在第t 1个二次握手交互时隙的概率，p
ik
(t)表示第i个节点的定向天线的第k个波束方向在第t个二次握手交互时隙的概率，φ(
·
)表示非线性的奖赏参数，ai(t)表示第i个节点对应的智能体单元在第t 1个二次握手交互时隙作出的动作，ai表示节点i的可选择动作(节点i的所有可选择动作/第i个节点对应的智能体单元的动作)；ai(t)＝ai表示节点i在当前二次握手交互时隙t选择的动作与可选择动作相同，ai(t)≠ai表示节点i在当前二次握手交互时隙t选择的动作与可选择动作不同；μ表示自定义系数，k表示定向天线的波束方向的个数。其中，二次握手交互时隙包含两个小时隙，例如，若为发送模式，则在第一个小时隙发送扫描信号，在第二个小时隙等待接收其他节点的反馈信号。
[0079]
进一步地，上述步骤s120中，卡尔曼滤波是现有技术，可以基于节点的初始邻居节点和的坐标位置信息和运动参数(如速度)进行预测阶段和更新节点的滤波计算，从而得到更准确的位置信息，还可以得到更准确的运动参数信息。滤波后的信息可以用于优化初始的邻居发现结果，从而可以得到更准确的邻居节点。
[0080]
进一步地，上述步骤s130中，由于初始邻居发现结果可能存在误差，使得得到的初始邻居节点不一定准确，而通过卡尔曼滤波后，节点的位置更准确，那么，一方面，节点在步骤s110中得到的初始的邻居节点可能已经不再在该节点的一跳通信范围内，即已不再是该节点的邻居节点，另一方面，原来不属于该节点的初始邻居节点的节点，在位置信息滤波后，可能进入该节点的一跳通信范围，所以可能又属于该节点的邻居节点。因此在该步骤s130中，或者在其他步骤位置，可以调整节点的邻居节点。此外，在该步骤s130中，可以计算通过卡尔曼滤波后的各个节点的各个邻居节点的位置信息与相应邻居节点的实际位置信息之间的误差。其中，该邻居节点的实际位置可以是通过其他现有手段得到的准确的邻居节点的位置信息，例如，hello包的形式告诉对方自己的位置。
[0081]
进一步地，上述步骤s140中，如果设定误差阈值和设定持续时间阈值有一个条件不满足，均可以从头开始，重新基于初始的邻居发现结果，或者说是基于利用步骤s110中获取初始邻居发现结果的手段重新获取初始邻居节点，例如，若步骤s110是利用强化学习的
方法获取初始邻居节点发现结果，还可以继续优化该强化学习。如果两个条件都满足，则可以继续循环进行卡尔曼滤波，如果不满足，则不会直接继续进行卡尔曼滤波，而是跳出该循环得到初始的邻居发现结果然后在进行卡尔曼滤波预测。因此在循环进行卡尔曼滤波的过程中，卡尔曼滤波是持续或者说是连续进行的，所以会有一个持续时间。例如，如果通过一次卡尔曼滤波，则该持续时间可以指该次预测的时间，如果连续进行了多次卡尔曼滤波，则可以是从第一次到最后一次滤波总耗时。由于如果持续时间太长，节点的原有邻居节点可能已经移动出该节点的一跳范围，所以通过限定持续时间，则在卡尔曼滤波预测结果出现较大偏差时可以从初始情况重新开始，以此可以避免由于延迟太长导致卡尔曼滤波预测不准的问题。具体实施时，所述设定时间阈值是无线网络中各节点的邻居节点移动出相应节点的一跳通信范围所需时间的均值。其中，各邻居节点移出其节点一跳通信范围所需时间可以根据在初始邻居发现结果中的运动信息和该节点对应的一跳通信范围计算得到。
[0082]
另外，本发明实施例还提供了一种无线网络邻居发现装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述无线网络邻居发现方法的步骤。
[0083]
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所述无线网络邻居发现方法的步骤。
[0084]
下面结合一个具体实施例对上述方法进行说明，然而，值得注意的是，该具体实施例仅是为了更好地说明本技术，并不构成对本技术的不当限定。下面结合示意图从模型假设、交互机制、基于学习的邻居发现等过程介绍本实施例的具体实施方式。
[0085]
(一)模型假设
[0086]
假设无线网络中所有节点随机均匀地分布在正方形区域，如图2所示。每个节点还具有以下特点：
[0087]
(1)每个节点都分配一个唯一的标识符，并从1到n编号，即在给定的网络中没有两个节点具有相同的标识符。例如，图2中节点从1到11编号。
[0088]
(2)所有节点配备相控阵雷达天线，具体地，网络中的节点配备m个扇区(每个扇区对应一个波束方向)天线保证可以覆盖360度，也就是每个扇区天线覆盖的角度是度/m。定义节点i的相控阵雷达天线的波束集bi＝{b1,b2,
···
,bk}，其中，b1,b2,
···
,bk表示k个波束，节点间采用两次握手的交互方式。相比于机械雷达，相控阵的波束指向更快、更灵活、性能更可靠。
[0089]
(3)所有的节点天线具有相同的发射功率和发射范围，并且都在彼此的传输范围内(即一跳可到达)。
[0090]
(4)节点收发器在半双工模式下工作，因此每次只能激活一个扇区进行传输或接收。节点要么处于发送状态要么处于接收状态，两个状态之间可以迅速切换。
[0091]
(5)当一个接收节点在同一时刻收到两个或两个以上的数据包时，会产生碰撞。
[0092]
(6)每一个节点的雷达系统产生的雷达信号和通信系统产生的通信信号，雷达信号和通信信号通过一定的技术融合在一起。
[0093]
(二)交互机制
[0094]
节点的交互机制采用两次握手，发送模式下的节点发送hello包后，可以在接收的天线波束方向回复一个确认数据包acp(acknowledgement packet，acp)。因此将每个时隙
(二次交互机制时隙，又称为大时隙)可以分成两个小时隙，即，第一个小时隙(第一个mini-slot)和第二个小时隙(第二个mini-slot)。如图3中的(a)图所示，节点s处于发送模式，则在第一个mini-slot发送hello数据包，在第二个mini-slot等待接收确认数据包acp(反馈信号)；再如图3中的(b)图所示，节点s处于侦听模式(接收模式)，则第一个mini-slot等待接收hello包，第二个mini-slot反馈acp。
[0095]
根据天线模式(发送/接收)的不同，可以将邻居发现分成四种类型，定向发送定向接收、定向发送全向接收、全向发送定向接收和全向发送全向接收。图4是本发明一实施例中的定向发射定向接收天线模型示意图，参见图4，假设所有的节点都在彼此的传输范围之中，在时间同步的情况下，节点i和节点j进行全定向邻居发现时，两个节点的交互采用二次握手机制的示意图。
[0096]
(1)对每个节点在每个时隙开始初始化节点i的天线模式(每个节点以概率p
t
选择发送模式，以1-p
t
的概率选择侦听模式)和定向天线的波束的方向(每个节点在自己的k个方向中随机等概率选择)。
[0097]
(2)如果节点i处于发送状态，在第一个mini-slot定向发送广告数据包ap(advertisementpacket)；在第二个mini-slot转为定向接收确认数据包acp(acknowledgmentpacket)，如果收到acp(假设来自于邻居j)，则更新将j加入自己的邻居列表；如果没有收到，在第二个mini-slot保持空闲状态，并决定下一个时隙的天线状态。
[0098]
(3)如果节点i处于侦听状态，在第一个mini-slot定向接收ap；如果收到ap(假设来自邻居j)，更新邻居列表并在第二个mini-slot转为定向发送acp；如果没有收到，在第二个mini-slot保持空闲状态,并决定下一个时隙的天线状态。
[0099]
从图5中可以看出，当一体化信号中雷达的探测范围小于通信范围，节点只能感知一部分邻域环境。在一实施例中，定义一体化信号中的雷达探测距离rr和通信距离rc比率(radar communication range ratio,rcrr)η＝rr/rc可使模型更符合实际情况。为了弥补雷达探测范围小于通信的情况，在稀疏网络中(节点少、通信范围广)，本实施例设计强化学习机制。
[0100]
(三)在雷达通信一体化下基于学习的邻居发现
[0101]
多智能体系统是分布式人工智能研究领域的主要概念，指多个相互作用的agent构成，能够完成一定任务的系统。本实施例将邻居发现节点看作智能体单元，将邻居发现过程映射成多智能体学习模型。
[0102]
在初始阶段，基于强化学习的无线网络邻居发现，即，利用雷达信号来学习环境，加速邻居发现过过程。将每个时隙节点选择的扇区作为动作，赏罚会根据当前波束方向是否存在潜在邻居节点来确定。节点的学习框架图如图6所示。
[0103]
1)智能体节点
[0104]
(1)动作空间ai：动作ak对应于节点i选择扇区k进行以在接收或发送数据包模式下操作的节点i。动作空间ai可以表示为：ai＝{a1,a2,
···
,ak}with|ai|＝k。
[0105]
(2)动作概率分布pi：我们允许每个节点i概率地选择扇区，每个节点i都有自己的概率分布。每个节点维持着如下的概率向量：pi向量必须满足
对应于节点i选择扇区m的概率。
[0106]
(3)奖罚方案：在现有的概率和确定性随机扫描邻居发现方案中，节点作为纯机会自动机操作，即，节点每个时隙对所有方向的扫描机会都是均等的，也就是说节点不是基于其当前环境调整其行为。本实施例通过智能学习机制，节点可以基于奖惩方案在每个时隙调整波束的选择概率，以选择最大化成功发现邻居概率的扇区。
[0107]
(4)智能体在时隙t得到的强化学习信号βi(t)∈{0,1}，根据线性奖惩方案更改动作概率。例如，βi(t)为0表示惩罚，为1表示奖励。
[0108]
2)奖惩方案
[0109]
有限动作线性奖惩方案是一种存在两个参数a,b＜1的概率型更新机制。更新公式如下
[0110][0111]
其中，pi(n 1)表示第i个节点在n 1时刻选择扇区的概率，a(n)表示参数，b(n)表示参数，pi表示概率，pj表示概率，r表示观测噪声协方差矩阵，aj表示参数，ai表示参数参见文章“multiaction learning automata prossessing ergodicity of the mean”(b.j.oommen,information sciences 35,183-198(1985))。
[0112]
根据邻居发现的特点，即，每一个时隙节点得到的历史信息融合计算结果，将线性奖惩方案改进成如下。
[0113]
如果(表示奖励)，则：
[0114][0115]
如果(表示惩罚)，则：
[0116][0117]
3)初始阶段学习方案
[0118]
为了便于记录邻居发现数据，定义三个列表：雷达邻居列表、通信邻居列表及雷达邻居数列表。雷达邻居列表是一个n
×
k的矩阵记录节点i的雷达探测范围中的邻居的发现情况(网络中共n个节点，节点i的定向天线有k个扇区)。比如，已知f节点存在于i节点的雷达邻居列表中，矩阵的第f行，也就是向量表示f节点在i节点的扇区中的发现情况。通信邻居列表作用同雷达邻居列表用矩阵表示为且向量
是节点i在第二个小时隙，探测得到的邻居节点个数。
[0119]
在初始化阶段，智能体以确定的小概率υ随机选择所有动作，可以避免因为雷达探测误差带来的不准确性，包括障碍物遮挡，发射机功率的偶然降低等不确定情况。
[0120]
邻居发现开始后，每一个智能体独立初始化自己的动作概率向量pi(t＝0)，例如，每个扇区被选择的概率p
ik
＝1/k，并且将和矩阵可均赋值零；参见图7，每个时隙重复下面步骤：
[0121]
(1)智能体以概率υ随机选择发送数据包的天线模式并依据动作概率矩阵pi选择ak，以及以概率1-υ选择接收数据包的天线模式；
[0122]
(2)第一个小时隙：当智能体选择发送模式，发送雷达通信波形一体化扫描信号；当选择接收模式，等待接收扫描信号；
[0123]
(3)第二个小时隙：根据环境反馈信号进行相应操作更新。当节点发送时，根据雷达探测更新矩阵和矩阵根据通信结果更新矩阵给出强化信号，更新向量pi；接收模式，根据第一个小时隙的通信结果更新和若收到hello包则回复ack包，否则进入空闲状态。
[0124]
3)维持阶段学习方案
[0125]
基于初始阶段得到的先验信息(包括初始的邻居节点的位置信息和速度信息)，在本维持阶段，先基于滤波的邻居发现方法，然后设计初始阶段和维持阶段两个阶段的转换机制，以此可以保证节点准确、高效地发现邻居。
[0126]
当节点在二维空间运动的时候，假设某时刻节点的状态xk表示为二维向量xk＝[x v
x y vy]，其中x和y表示位置的横坐标，v
x
和vy分别表示x方向和y方向上的速度。
[0127]
状态方程x
k 1
＝akxk wk；观测方程zk＝hkxk vk。其中ak为一步状态转移矩阵；wk为系统噪声系数矩阵；hk为观测矩阵；vk为观测噪声矩阵，下标k和k 1分别表示当前时刻和下一个时刻。
[0128]
参见图8，节点按照如下步骤对下一个时刻的状态进行预测和更新。
[0129]
预测阶段：
[0130]
一步状态预测方程x'k＝a
k-1
x
k-1
；其中，x'k表示，a
k-1
表示k-1时刻的状态转换矩阵，x
k-1
表示k-1时刻的状态；
[0131]
一步状态预测误差协方差矩阵：p'k＝akp
k-1akt
q
k-1
；其中，p'k表示k时刻预测估计协方差矩阵，q
k-1
表示k-1时刻的状态转换矩阵，ak表示k时刻的状态转换矩阵，a
kt
状态转换矩阵ak的转置矩阵。
[0132]
更新阶段：
[0133]
增益矩阵是kk＝p'
khtk
(hkp'
khtk
r)-1
；其中，kk表示k时刻的增益，h
tk
表示观测矩阵hk的转置矩阵，r表示观测噪声协方差矩阵。
[0134]
状态滤波方程是xk＝x'k kk(z
k-hkx'k)；其中，xk表示k时刻预估位置向量，x'k表示后验状态，zk表示k时刻真实状态。
[0135]
状态滤波误差协方差矩阵是pk＝(i-k
khk
)p'k；其中，pk表示k时刻滤波误差，i表示单位矩阵，p'k表示后验估计误差的协方差矩阵。
[0136]
接下来，参见图9，根据节点的位置预测误差阈值θ和时间阈值t设计两个阶段的转
换机制。其中，在首次滤波时可以根据初始阶段得到的位置信息和滤波预测的位置信息计算位置误差，之后，可以根据本次滤波之后和本次滤波之前的位置信息计算误差。持续时间可以从首次滤波到当前滤波的连续滤波过程耗费的时间。预测误差是节点根据实际场景中的条件设计的；时间阈值是节点的邻居移动出节点的一跳通信范围的时间均值。在维护阶段，节点得到高准确的拓扑后，加入类停止机制，即波束被选概率随着未发现邻居数量的改变而改变。
[0137]
在本发明实施例中，在初始化阶段，与传统的邻居发现相比，增添通信雷达一体化技术，设计整体方案包括强化学习中的学习机制，并根据邻居发现独有的特点设计奖惩机制。该设计方法应予以保护。在维持阶段，与经典邻居发现相比，构建了滤波模型，并设计针对性扫描机制，同时，根据预测误差和时间阈值设计了两阶段切换机制。
[0138]
本实施例与现有技术相比具有的优点：本实施例在时间效率上与现有随机扫描邻居发现有显著提高，与现有雷达辅助的方案相比可扩展性更强。采用的技术手段是结合通信雷达波形一体化，采用强化学习和ε-greedy的思想设计节点学习机制，设计奖惩机制提高后续发现成功的概率。通信雷达波形一体化，减小了设备占用空间和电磁干扰使得雷达探测和通信同时进行，进一步提高时间效率。本实施例与现有卡尔曼滤波方案相比降低了数据开销、提升了信道利用率。采用的技术方案是考虑节点物理移动，建立卡尔曼数学模型，节点可以使用预测信息加速发现过程，在维持阶段采用预测拓扑，减少hello包数据开销；采用二次交互机制，提升信道利用率。
[0139]
下面通过具体的仿真图展示本专利所提方法的优势。网络的大小n，波束个数k，雷达通信比率rcrr(η)等系数的设置，参见表1，都会对邻居发现的收敛速度造成影响。下面将n个节点随机撒在一个2km的正方形区域中，进行多次(》200)仿真取均值，研究任意一个节点的邻居节点发现的收敛速度。
[0140]
直观地来看，雷达的探测范围越大，邻居发现的性能提升效果越好。
[0141]
表1参数值设定
[0142][0143]
图10显示了，雷达通信比率η与收敛时间的关系。通信的距离一定，雷达的探测范围越大，节点每个时隙得到的信息越准确，节点迭代得到的几率分布越可最大化每个时隙邻居发现成功率。对于n＝30，和经典cra邻居发现相比较，当设置参数的值是η＝{η1,η2,η3,η5}时，邻居发现的效率分别提升了13.5％,30.9％,57.9％和65.2％。
[0144]
图11的柱状图示出了n＝10时波束变化对邻居发现时间延迟的影响。在不进行调参的情况下，雷达的探测距离一般是通信的0.5倍左右。因此，我们将η设置为更具有实际意
义的0.5和0.6，参数设置是接下来，我们分析柱状图前三组数据，k＝36时，纵坐标值是(816660995558)；当波束的数量k＝10时，纵坐标数值分别是(692.4591.2560.4)。通过数值计算可得，和现有的随机扫描邻居发现相比，本专利的方案一定程度上可以降低数据开销，并且波束越窄效率效果提升越明显。
[0145]
本发明实施例采用通信雷达波形一体化，雷达探测信息和邻居发现同时进行，省去了单独的雷达获取节点信息的时间，同时减小设备占据空间，提高隐蔽性、机动性、安全性等性能；第二点，本发明实施例中放宽了雷达和通信作用距离这个约束条件，更加符合实际，容错性更好。本发明实施例设计利用二次交互机制和时间插槽机制结合，节点可以在接收和发送两种状态发现邻居，提升了资源利用率。本发明实施例基于通信雷达一体化加入强化学习的思想，并融合卡尔曼滤波技术，提高了邻居发现效率(发现时间延迟、发现速率和功率消耗)。先验信息可以提高邻居发现效率，因此，本专利利用通信雷达一体化技术、卡尔曼滤波预测技术，获取节点邻居的先验信息，添加强化学习技术，让网络节点(智能体)在每个时隙自动更改随机扫描策略，加速邻居发现。
[0146]
在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本发明的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
[0147]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0148]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0149]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0150]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。
[0151]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。