基于中继激励机制的车联网协作通信方法、系统及终端

1.本发明属于毫米波车联网通信技术领域，尤其涉及一种基于中继激励机制的车联网协作通信方法、系统及终端。


背景技术：

2.目前，随着无线通信技术的不断发展，车联网技术也应运而生，不断地改善人们的乘车体验。车联网的蓬勃发展也提出了新的通信要求，如：海量数据传输、超低时延和高可靠性的要求。拥有丰富频谱资源的毫米波技术则被认为是实现车联网5g通信的关键技术之一。然而，在车联网复杂的通信场景中，毫米波信号的波长短使得其在传输过程中存在严重的路径损耗。并且，由于车辆的高速移动特性，毫米波信号的传输极易受到障碍物的遮挡而产生较高的穿透损耗。这极大地限制了毫米波车联网的发展。同时，车联网场景的实时决策、多用户服务的要求和高动态性的特点，使得传统的优化方法难以适应复杂的、动态的毫米波车联网场景。而当基站在为多个车辆提供数据传输服务时，其系统性能和覆盖范围也将受到严重的影响，无法满足稳定的、高速率的数据传输的要求。
3.中继协作传输机制能够有效地对抗阻塞效应和扩大基站服务范围。当车辆用户受到障碍物的遮挡使得基站无法提供稳定的高速率的数据传输服务或车辆驶出基站直连传输的范围时，基站可以利用中继节点将数据转发给目标车辆。因此，通过选择合适的中继节点，基站能够为目标车辆提高稳定的高质量的数据传输服务。基站在为多个用户进行数据传输服务决策时，若只着重于最大化提升系统的整体性能，将会使得在特定的交通模式下牺牲部分用户车辆的性能。因此，如何基站如何在保障个体车辆用户的服务质量的同时最大化地提升系统整体性能是联网领域面临的重要挑战。
4.在实际的场景中，车辆用户的通信资源是有限的。当基站选择中继节点为目标车辆协作传输服务时将会占用中继节点的通信资源和增加中继节点自身的内存、带宽、功率的消耗。而部分车辆节点也会为节省自身资源而拒绝为其他车辆提供中继转发服务，表现为节点的自私性行为。这将会导致网络性能的显著下降。因此，如何保障中继节点的利益不被过度地损害，激励节点积极地与其他车辆进行合作，提高车联网网络数据传输的可靠性和有效性，是当前车联网领域面临的一大挑战。
5.在现有的技术中，相关的研究主要集中微波阶段，无法适用于复杂的毫米波车联网通信场景。并且在实际的车联网场景中，基站需要同时为多个不同的用户提供数据传输服务，这将会产生严重的干扰。同时，由于节点的自私性，多个用户也可能会竞争同一优质的中继节点，进而产生竞争博弈问题。因此，基站如何适应复杂动态的毫米波车联网场景，并根据车辆的位置进行必要的干扰管理和选择合适的中继节点实现协作传输是车联网领域面临的又一个难题。由于车辆的高速移动特性和阻塞效应，使得车联网场景在进行建模时，无法用数学方法表征场景的动态性和推导出低复杂度的闭式解，因此传统方案的决策时间长，无法满足车联网快速决策的需求。其次，由于节点的自私性，使得决策过程会产生竞争博弈问题和中继节点拒绝服务的问题，难以实现有效的中继协作通信机制。实际的多
用户复杂的数据传输服务场景将会产生严重的干扰，难以在高动态性的车联网场景下进行有效的干扰管理。同时在最大化系统性能优化时，难以有效地避免牺牲个体用户性能，使得个体用户的数据传输服务体验受到严重的影响。
6.通过上述分析，现有技术存在的问题及缺陷为：
7.(1)毫米波信号的波长短使得其在传输过程中存在严重的路径损耗，使得基站的数据传输性能和覆盖范围受到严重的影响，传统优化方法难以适应复杂动态的毫米波车联网场景，无法满足高可靠性、高速率的数据传输服务需求。
8.(2)由于车辆节点的自私性行为，部分中继车辆节点也会为节省自身资源而拒绝为其他车辆提供中继转发服务，同时多个用户车辆节点也可能会竞争同一优质的中继节点，导致网络性能的显著下降。
9.(3)现有技术无法适用于复杂的毫米波车联网通信场景，而基站同时为多个不同的用户提供数据传输服务时将会产生严重的干扰，影响车联网其他车辆用户和整体网络的数据传输性能。


技术实现要素：

10.本发明针对现有研究技术的不足，提出了一种基于中继激励机制的动态的车联网通信方法。
11.本发明是这样实现的，一种基于中继激励机制的车联网协作通信方法，该方法能够有效地突破静态场景的限制，实现车联网动态的实时决策。同时本发明能够有效地解决现有技术中节点的协作积极性所导致的网络性能不佳的问题，有效地增加节点间的协作，在保证个体用户体验和性能的前提下，最大化地提升系统的整体性能，积极地推动了车联网网络节点间协作，满足超低时延，高可靠性的通信需求。首先设计了中继协作传输策略和基于中继占用率的服务机制，并构建基于优先级的车辆服务模型。其次，将联合优化问题建模为马尔科夫决策过程，并利用深度q学习方法进行问题的求解。其次，本发明在联合方案的设计中还考虑了个体车辆的通信体验，设计基于阈值的保护机制，避免了不合理的优化。通过合适的模型的参数设置和训练，该方法能够有效地激励各节点积极地参与中继协作通信过程，并且毫米波基站对动态的、复杂的车联网环境有着很强的适应能力，能够利用有限的状态信息迅速找到一个合理且高效的通信策略。本发明积极地推动了车联网网络节点间协作，满足超低时延，高可靠性的通信需求，使之能适应于动态的复杂的车联网毫米波通信系统和大容量通信场景所述基于中继激励机制的车联网协作通信方法，具体包括以下步骤：
12.步骤一，构建基于排队论的车辆到达模型和车联网通信场景，基站为道路上多个用户提供数据传输服务；为本发明搭建了动态车联网场景，以便于后续的建模和分析。
13.步骤二，构建车联网阻塞模型，并针对不同的传输链路，进行通信模型的建模和干扰分析；为本发明后续设计的基于中继激励机制基于奠定了基础。
14.步骤三，设计中继协作传输机制和基于中继占用率的激励机制，并构建基于优先级的车辆服务模型；设计合理的激励以增加车辆节点的协作积极性。
15.步骤四，设计基于通信连接概率的容量阈值保护机制，并针对不同约束条件下进行优化问题的建模；该步骤为模型的训练奠定了基础。
16.步骤五，基站获取当前神经网络的输入状态，获得输出行为的q值，并利用贪婪策略选取相应的动作。设计合适的奖励机制，并根据奖励机制对所执行动作进行打分，根据奖励分数结果进行模型的更新和训练；该步骤为模型的收敛性和收敛时间提供了保证。
17.步骤六，模型训练完成后进行模型性能分析和测试，并与不同基准方案进行对比分析，验证基于中继激励机制的车联网数据传输机制的有效性和鲁棒性。为本发明的方案验证和分析。
18.进一步，所述步骤二中的构建车联网阻塞模型，并针对不同的传输链路，进行通信模型的建模和干扰分析包括：
19.(1)基于排队论对车辆到达过程进行建模，车辆到达的时间间隔服从负指数分布；
[0020][0021]
(2)针对车联网毫米波通信场景进行v2v和v2i信道建模，包括天线方向图、路径损耗模型、阻塞模型以及信道增益；
[0022]
1)天线方向图：
[0023][0024][0025]
2)路径损耗模型
[0026]
l
t，r
＝μ1log(fc) μ2log(de) μ3，
[0027]
3)阻塞模型
[0028]
场景中包括两种阻塞模式：随机性阻塞和永久性阻塞；其中，所述随机性阻塞由随机出现的障碍物模型，所述永久性阻塞构建为场景路边建筑物模型，表征为障碍物的穿透系数；
[0029][0030]
4)信道增益
[0031]gt，r
＝αkl
t，r
。
[0032]
(3)设计基于放大转发af的中继传输策略，并进行中继转发模型的构建；
[0033]
(4)针对多用户场景下的进行不同传输链路的干扰分析，包括主瓣干扰、旁瓣干扰、基站干扰以及中继干扰；
[0034]
1)直连传输链路干扰分析
[0035]
[0036][0037]
2)中继传输链路干扰分析
[0038][0039][0040][0041]
进一步，所述步骤三中的设计中继协作传输机制和基于中继占用率的激励机制，并构建基于优先级的车辆服务模型包括：
[0042]
(1)构建不同传输链路下的通信模型，推导出信道的信干噪比和容量的表达式；其中，所述传输链路包括直连传输链路和中继传输链路；
[0043]
1)信干噪比表达式：
[0044][0045][0046][0047]
2)容量表达式：
[0048][0049]
[0050][0051]
(2)对中继行为进行记录，并设计基于中继占用率的服务激励机制；对中继车辆进行奖励，其中继占用率越高，服务优先级越高；设计基于中继占用率的奖励机制，激励车辆节点积极地与其他车辆进行合作；
[0052][0053]
(3)构建基于优先级的车辆服务模型，并设计中继车辆保护机制；
[0054][0055]
进一步，所述步骤四中的设计基于通信连接概率的容量阈值保护机制包括：
[0056][0057]
进一步，所述步骤五中的针对不同约束条件下进行优化问题的建模，并设计基于ddqn的问题求解方案包括：
[0058]
(1)进行联合优化问题的推导和分析，构建基于马尔科夫的顺序决策过程；
[0059][0060]
c1：
[0061]
c2：
[0062]
c3：
[0063]
c4：
[0064]
c5：
[0065]
c6：xk[n]∈{0，1}，yk[i]∈{0，1}，zj∈{0，1}，
[0066]
(2)设计合理的ddqn网络模型和设计基于优化目标和约束的奖励机制，并针对基站不同的行为进行奖励的评判和设计；
[0067]
1)基于容量的奖励设计
[0068][0069]rt，k
＝r
′
t，k
ro.
[0070]
2)基于中继激励的奖励设计
[0071][0072]
进一步，所述步骤六中的基站获取当前神经网络的输入状态，获得输出行为的q值；利用贪婪策略选取相应的动作，并根据奖励机制对所执行动作进行打分，根据奖励分数结果进行模型的更新和训练包括：
[0073]
(1)输入状态
[0074]
包括中继车辆信息、目标用户车辆信息、阻塞信息、波束信息、中继占用率信息以及车辆服务状态信息；
[0075]
(2)输出动作
[0076]
利用贪婪策略进行动作的选取：
[0077][0078]
(3)模型的更新和训练
[0079]
采用梯度下降法进行模型的训练和更新：
[0080][0081]
本发明的另一目的在于提供一种实施所述基于中继激励机制的车联网协作通信方法的车联网通信系统，所述车联网通信系统包括：
[0082]
模型构建模块，用于构建基于排队论的车辆到达模型和车联网通信场景，基站为道路上多个用户提供数据传输服务；
[0083]
干扰分析模块，用于构建车联网阻塞模型，并针对不同的传输链路，进行通信模型的建模和干扰分析；
[0084]
激励机制构建模块，用于设计中继协作传输机制和基于中继占用率的激励机制，并构建基于优先级的车辆服务模型；
[0085]
保护机制设计模块，用于设计基于通信连接概率的容量阈值保护机制，并针对不同约束条件下进行优化问题的建模；
[0086]
模型训练模块，用于利用基站获取当前神经网络的输入状态，获得输出行为的q值；利用贪婪策略选取相应的动作，并根据奖励机制对所执行动作进行打分，根据奖励分数结果进行模型的更新和训练；
[0087]
模型测试模块，用于在模型训练完成后，进行模型的性能分析和测试，并与不同的基准方案进行对比分析，验证所提的基于中继激励机制的车联网数据传输机制的有效性和鲁棒性。
[0088]
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
[0089]
构建基于排队论的车辆到达模型和车联网通信场景，基站为道路上多个用户提供数据传输服务；构建合理的车联网阻塞模型，并针对不同的传输链路，进行通信模型的建模和干扰分析；设计中继协作传输机制和基于中继占用率的激励机制，并构建基于优先级的车辆服务模型；设计基于通信连接概率的容量阈值保护机制，并针对不同约束条件下进行优化问题的建模；
[0090]
基站获取当前神经网络的输入状态，获得输出行为的q值；利用贪婪策略选取相应的动作，并根据奖励机制对所执行动作进行打分，根据奖励分数结果进行模型的更新和训练；模型训练完成后，进行模型的性能分析和测试，并与不同的基准方案进行对比分析，验证所提的基于中继激励机制的车联网数据传输机制的有效性和鲁棒性。
[0091]
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
[0092]
构建基于排队论的车辆到达模型和车联网通信场景，基站为道路上多个用户提供数据传输服务；构建合理的车联网阻塞模型，并针对不同的传输链路，进行通信模型的建模和干扰分析；设计中继协作传输机制和基于中继占用率的激励机制，并构建基于优先级的车辆服务模型；设计基于通信连接概率的容量阈值保护机制，并针对不同约束条件下进行优化问题的建模；
[0093]
基站获取当前神经网络的输入状态，获得输出行为的q值；利用贪婪策略选取相应的动作，并根据奖励机制对所执行动作进行打分，根据奖励分数结果进行模型的更新和训练；模型训练完成后，进行模型的性能分析和测试，并与不同的基准方案进行对比分析，验证所提的基于中继激励机制的车联网数据传输机制的有效性和鲁棒性。
[0094]
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的车联网通信系统。
[0095]
结合上述的技术方案和解决的技术问题，请从以下几方面分析本发明所要保护的技术方案所具备的优点及积极效果为：
[0096]
第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：
[0097]
本发明主要设计在车联网中的基于中继激励机制的数据传输方法，提出了一种基于中继激励机制的车联网数据传输策略，能够有效地突破静态场景的限制，实现车联网动态的实时决策。同时，本发明能够有效地解决现有技术中节点的协作积极性所导致的网络性能不佳的问题，有效地增加节点间的协作，在保证个体用户体验和性能的前提下，最大化地提升系统的整体性能，积极地推动了车联网间的节点协作和满足超低时延，高可靠性的通信需求，使之能适应于动态的复杂的车联网毫米波通信系统和大容量通信场景。
[0098]
本发明基于中继激励机制的车联网数据传输方法，提出了一种基于ddqn的联合波束分配和中继选择策略。本发明能激励中继节点积极地参与其他用户的协作通信中，帮助毫米波基站根据当前的交通模式快速做出左右的传输决策。在保障个体用户和中继车辆的
权益的前提下，最大化系统的整体效能。
[0099]
场景中，本发明考虑了车辆的高速移动特性和随机阻塞效应所产生的性能的影响，并进行了多用户场景下干扰的分析和管理。模型的仿真结果表明，本发明提出的方法能显著地激励车辆节点作为中继去为其他车辆进行数据转发服务。本发明通过多维度的性能分析，验证了所提基于激励机制的数据传输方法的有效性和鲁棒性，能够显著提升系统整体效能，这对于推动车联网技术的发展有着深远的意义。
[0100]
第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：
[0101]
本发明提出了一种基于中继激励机制的车联网数据传输方法，该方法能有效解决车辆节点协作积极性的问题，并能有效地适应车联网环境中动态性和克服阻塞效应所带来的性能的衰减，最终实现在保证个体车辆用户利益的同时最大化系统整体性能。本发明提出了一种基于中继激励机制的车联网数据传输策略，能够有效地突破静态场景的限制，实现车联网动态的实时决策。同时本发明能够有效地解决现有技术中节点的协作积极性所导致的网络性能不佳的问题，有效地增加节点间的协作，在保证个体用户体验和性能的前提下，最大化地提升系统的整体性能，积极地推动了车联网网络节点间协作，满足超低时延，高可靠性的通信需求，使之能适应于动态的复杂的车联网毫米波通信系统和大容量通信场景。
[0102]
第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：
[0103]
本发明的技术方案填补了国内外业内技术空白：
[0104]
本发明提出了一种基于中继激励机制的车联网数据传输策略，能够有效地突破静态场景的限制，实现车联网动态的实时决策。同时本发明能够有效地解决现有技术中节点的协作积极性所导致的网络性能不佳的问题，有效地激励车辆节点间的协作通信的积极性，并在保证个体用户体验和性能的前提下，最大化地提升系统的整体性能，积极地推动了车联网各节点间协作通信，满足车联网通信超低时延，高可靠性的通信需求，使之能适应于动态的复杂的车联网毫米波通信系统和大容量通信场景，填补了国内外车联网行业的空白和推动了车联网行业的落地应用。
附图说明
[0105]
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
[0106]
图1是本发明实施例提供的车联网通信方法流程图。
[0107]
图2是本发明实施例提供的车联网通信系统结构框图。
[0108]
图3是本发明实施例提供的场景模型图。
[0109]
图4是本发明实施例提供的基站与环境交互示意图。
[0110]
图5是本发明实施例提供的不同容量门限下的平均连接概率分析。
[0111]
图6是本发明实施例提供的不同阻塞效应下的性能分析图。
[0112]
图7是本发明实施例提供的基于中继占用率的服务激励机制示意图。
[0113]
图中：1、模型构建模块；2、干扰分析模块；3、激励机制构建模块；4、保护机制设计模块；5、模型训练模块；6、模型测试模块。
具体实施方式
[0114]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0115]
针对现有技术存在的问题，本发明提供了一种基于中继激励机制的车联网协作通信方法、系统及终端，下面结合附图对本发明作详细的描述。
[0116]
一、解释说明实施例。为了使本领域技术人员充分了解本发明如何具体实现，该部分是对权利要求技术方案进行展开说明的解释说明实施例。
[0117]
如图1所示，本发明实施例提供的基于中继激励机制的车联网协作通信方法包括以下步骤：
[0118]
s101，构建基于排队论的车辆到达模型和车联网通信场景，基站为道路上多个用户提供数据传输服务；
[0119]
s102，构建合理的车联网阻塞模型，并针对不同的传输链路，进行通信模型的建模和干扰分析；
[0120]
s103，设计中继协作传输机制和基于中继占用率的激励机制，并构建基于优先级的车辆服务模型；
[0121]
s104，设计基于通信连接概率的容量阈值保护机制，并针对不同约束条件下进行优化问题的建模；
[0122]
s105，基站获取当前神经网络的输入状态，获得输出行为的q值；利用贪婪策略选取相应的动作，并根据奖励机制对所执行动作进行打分，根据奖励分数结果进行模型的更新和训练；
[0123]
s106，模型训练完成后进行模型性能分析和测试，并与不同基准方案进行对比分析，验证基于中继激励机制的车联网数据传输机制的有效性和鲁棒性。
[0124]
如图2所示，本发明实施例提供的车联网通信系统包括：
[0125]
模型构建模块1，用于构建基于排队论的车辆到达模型和车联网通信场景，基站为道路上多个用户提供数据传输服务；
[0126]
干扰分析模块2，用于构建合理的车联网阻塞模型，并针对不同的传输链路，进行通信模型的建模和干扰分析；
[0127]
激励机制构建模块3，用于设计中继协作传输机制和基于中继占用率的激励机制，并构建基于优先级的车辆服务模型；
[0128]
保护机制设计模块4，用于设计基于通信连接概率的容量阈值保护机制，并针对不同约束条件下进行优化问题的建模；
[0129]
模型训练模块5，用于利用基站获取当前神经网络的输入状态，获得输出行为的q值；利用贪婪策略选取相应的动作，并根据奖励机制对所执行动作进行打分，根据奖励分数结果进行模型的更新和训练；
[0130]
模型测试模块6，用于在模型训练完成后，进行模型的性能分析和测试，并与不同
的基准方案进行对比分析，验证所提的基于中继激励机制的车联网数据传输机制的有效性和鲁棒性。
[0131]
本发明提出了一种基于中继激励机制的车联网数据传输方法，该方法能有效解决车辆节点协作积极性的问题，并能有效地适应车联网环境中动态性和克服阻塞效应所带来的性能的衰减，最终实现在保证个体车辆用户利益的同时最大化系统整体性能。本发明所采用技术方案包括以下步骤：
[0132]
s1.构建一个基于排队论的车辆到达模型和车联网通信场景，基站为道路上多个用户提供数据传输服务。
[0133]
本发明实施例提供的场景模型图如图3所示。
[0134]
本发明实施例提供的基站与环境交互示意图如图4所示。
[0135]
s2.构建合理的车联网阻塞模型，并针对不同的传输链路，进行通信模型的建模和干扰分析。
[0136]
s2.1基于排队论对车辆到达过程进行建模，车辆到达的时间间隔服从负指数分布。
[0137][0138]
其中λ为车辆到达率，δt为车辆到达的时间间隔。
[0139]
s2.2针对车联网毫米波通信场景，进行v2v和v2i信道建模。包括：天线方向图，路径损耗模型，阻塞模型，信道增益。
[0140]
1)天线方向图：
[0141]
利用扇区模型对基站和车辆的波束进行建模，波束增益为：
[0142][0143][0144]
其中m为主波束的增益，m为波束旁瓣增益。
[0145]
2)路径损耗模型
[0146]
l
t，r
＝μ1log(fc) μ2log(de) μ3，
[0147]
fc为载波频率；d
3d
为发射端和接收端的欧几里得距离；μi是路径损耗参数，与不同通信场景有关
[0148]
3)阻塞模型
[0149]
场景中考虑两种阻塞模式：随机性阻塞和永久性阻塞。随机性阻塞由随机出现的障碍物模型，永久性阻塞构建为场景路边建筑物模型，表征为障碍物的穿透系数αk，其中为随机性阻塞信号穿透系数，为永久性阻塞信号穿透系数。
[0150]
[0151]
4)信道增益
[0152]gt，r
＝αkl
t，r
[0153]
s2.3设计基于放大转发(af)的中继传输策略，并进行中继转发模型的构建。
[0154]
s2.4针对多用户场景下的进行不同传输链路的干扰分析，包括：主瓣干扰、旁瓣干扰、基站干扰、中继干扰等。
[0155]
1)直连传输链路干扰分析
[0156][0157][0158]
2)中继传输链路干扰分析
[0159][0160][0161][0162]
s3.设计中继协作传输机制和基于中继占用率的激励机制，并构建基于优先级的车辆服务模型
[0163]
s3.1构建不同传输链路(直连传输链路和中继传输链路)下的通信模型，推导出信道的信干噪比和容量的表达式。
[0164]
1)信干噪比表达式：
[0165][0166]
[0167][0168]
2)容量表达式：
[0169][0170][0171][0172]
s3.2对中继行为进行记录，并设计基于中继占用率的服务激励机制。对中继车辆进行奖励，其中继占用率越高，服务优先级越高。设计基于中继占用率的奖励机制，激励车辆节点积极地与其他车辆进行合作。
[0173][0174]
s3.3构建基于优先级的车辆服务模型。并设计中继车辆保护机制，避免基站过度选择车辆作为中继和占用车辆的通信资源。
[0175][0176]
s4.设计基于通信连接概率的容量阈值保护机制，保障个体车辆用户的权益和体验，避免基站为了提升系统整体性能而过度牺牲部分车辆的权益。
[0177][0178]
s5.针对不同约束条件下进行优化问题的建模。并设计基于ddqn的问题求解方案。
[0179]
s5.1进行联合优化问题的推导和分析，将其构建为基于马尔科夫的顺序决策过程。
[0180]
c1：
[0181]
c2：
[0182]
c3：
[0183]
c4：
[0184]
c5：
[0185]
c6：xk[n]∈{0，1}，yk[i]∈{0，1}，zj∈{0，1}，
[0186]
s5.2并设计合理的ddqn网络模型和设计基于优化目标和约束的奖励机制。针对基站不同的行为进行奖励的评判和设计。
[0187]
1)基于容量的奖励设计
[0188][0189]rt，k
＝r
′
t，k
ro.
[0190]
2)基于中继激励的奖励设计
[0191][0192]
s6.基站获取当前神经网络的输入状态，获得输出行为的q值。利用贪婪策略选取相应的动作，并根据奖励机制对所执行动作进行打分，根据奖励分数结果进行模型的更新和训练。以帮助基站下次作出更优的决策。
[0193]
1)输入状态
[0194]
中继车辆信息，目标用户车辆信息，阻塞信息，波束信息，中继占用率信息，车辆服务状态信息。
[0195]
2)输出动作
[0196]
利用贪婪策略进行动作的选取
[0197][0198]
3)模型的更新和训练
[0199]
采用梯度下降法进行模型的训练和更新
[0200][0201]
s7.模型训练完成后，进行模型的性能分析和测试。并与不同的基准方案进行对比分析。验证所提的基于中继激励机制的车联网数据传输机制的有效性和鲁棒性。
[0202]
图5是本发明实施例提供的不同容量门限下的平均连接概率分析。
[0203]
图6是本发明实施例提供的不同阻塞效应下的性能分析图。
[0204]
图7是本发明实施例提供的基于中继占用率的服务激励机制示意图。
[0205]
本发明对于现有技术具有的优点及效果：本发明实施例提供的基于中继激励机制
的车联网数据传输方法，提出了一种基于ddqn的联合波束分配和中继选择策略。本发明能激励中继节点积极地参与其他用户的协作通信中，帮助毫米波基站根据当前的交通模式快速做出左右的传输决策。在保障个体用户和中继车辆的权益的前提下，最大化系统的整体效能。场景中，本发明考虑了车辆的高速移动特性和随机阻塞效应所产生的性能的影响，并进行了多用户场景下干扰的分析和管理。模型的仿真结果表明，本发明提出的方法能显著地激励车辆节点作为中继去为其他车辆进行数据转发服务。通过多维度的性能分析，验证了所提基于激励机制的数据传输方法的有效性和鲁棒性，能够显著提升系统整体效能。这对于推动车联网技术的发展有着深远的意义。
[0206]
二、应用实施例。为了证明本发明的技术方案的创造性和技术价值，该部分是对权利要求技术方案进行具体产品上或相关技术上的应用实施例。
[0207]
本发明在动态的毫米波车联网协作通信场景进行了应用和仿真验证。应用实例考虑一个双向四车道的通信系统，各道路车辆到达的时间间隔服从负指数分数，车辆到达率为0.5，车速为36km/h，且车辆位置切换时间为0.1s。因此场景要求基站根据有限的状态信息快速地作出波束分配和中继选择决策，并采用基于中继激励的服务机制来增加节点的积极性。与此同时，在应用实施案例上进行了本发明所提出的模型的训练和验证分析。如图5-图7为本实施例的性能分析图所示，进行了多维度的性能分析，验证了所提基于激励机制的数据传输方法的有效性和鲁棒性，能够显著提升系统整体效能。这对于推动车联网技术的发展有着深远的意义。应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、cd或dvd-rom的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
[0208]
三、实施例相关效果的证据。本发明实施例在研发或者使用过程中取得了一些积极效果，和现有技术相比的确具备很大的优势，下面内容结合试验过程的数据、图表等进行描述。
[0209]
图5-图7为本实施例的性能分析。选用三种基准方案与所提出的方案进行模型的对比分析。分别是：最大系统容量策略方案，直连传输方案和随机中继选择方案。
[0210]
图5比较了四种传输方案在不同容量阈值下的平均连接概率。可以看出，锁着容量阈值的不断增加，随机选择方案和直连方案的平均连接概率先缓慢下降后急剧下降，无法保证正常的通信需求。而最大容量方案和基于中继激励的方案最初保持不变，然后缓慢下降。当容量阈值小于12gbps时，所提方案能提供稳定的通信传输过程，并比最大容量方案保持着更佳的平均连接性能。这是因为最大容量方案只关注于系统总体性能的最大化，因此在部分的交通模式下会牺牲部分车辆的服务通信性能。
[0211]
图6分析了四种不同传输策略下，永久性阻塞的穿透系数对毫米波车联网系统性能的影响。可以看出，直连传输方案对永久阻塞十分敏感，然而所提方案、最大容量方案和
随机选择方案下网络的整体性能基本保持不变，这意味着永久性阻塞效应对网络的影响很小。而所提方案，即使在阻塞严重的情况下，仍然可以保持着很好的系统能。相比于直连方案和随机选择方案，所提出的方案的性能分别提升了55％和68％。
[0212]
在图7中分析了一段时间内车辆被选作为中继车辆和目标车辆的次数，以验证和分析所提出的基于中继激励的车联网通信方法的有效性。可以看出，当某个车辆向其他车辆提供中继传输服务，以提高毫米波车联网系统性能时，车辆将更容易获得被服务的机会。图中显示了每辆车获取基站的服务和作为中继节点的次数十分接近，这意味着基站在保证系统拥有优秀的性能的同时兼顾了所有车辆的服务体验，这对于车联网的实际落地应用有着重要的意义。
[0213]
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、cd或dvd-rom的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
[0214]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。