一种基于样本迁移筛选的光路传输质量预测方法与流程

1.本发明涉及网络传输技术领域，尤其涉及一种基于样本迁移筛选的光路传输质量预测方法。


背景技术：

2.在对网络资源进行部署时，为了确保在整个网络生命周期内传输的可靠性，需要在光路部署时为其预留一定的余量。然而，网络余量的增加会造成网络资源的浪费，致使资源利用率降低。因此，在光路部署前，需要对传输质量(qot)进行准确估计，以减少部署的余量，提高网络资源利用率。
3.目前，机器学习作为一种以网络数据为基础的智能技术，可有效提升光路qot预测的性能。然而，在实际的光网络中，训练样本的采集往往存在诸多的障碍，例如在某些节点上性能监视器的缺少、网络部署初期可供监测的光路数量不足等等，因此所获得的训练样本数量难以支撑模型的训练。因此，目前基于机器学习的智能预测模型的准确度面临挑战。
4.传统的机器学习方法是在假设系统的测试数据与训练数据表现出相同的特征空间与分布的情况下，对模型进行训练的。但是，由于光传输系统中包含的不同特性(例如，传输距离、光纤类型、调制格式、发射功率等)，针对某个系统的训练好的模型可能不适用于另外一个采用相同的机器学习方法的模型。而为了这样的新系统再配置建立新模型，就需要大量的训练数据。为了解决这一问题，引入了迁移学习方法。
5.迁移学习是一种近年来得到大量应用的机器学习框架，其通过将之前的任务中学习到的知识迁移到具有较少的训练数据的新的任务中，从而提升学习性能和训练速度。迁移学习的基本过程如图1所示，通常，由大量样本训练的前一个任务所处的域被称之为源域(source domain)，仅具有少量样本的新任务所处的域被称之为目标域(target domain)。而当源域任务与目标域任务相同时，迁移学习就与传统的机器学习问题没有区别。
6.在采用迁移学习方法之后，从一个光传输系统中所学到的知识就可以迁移到另外一个新部署的光传输系统中，从而利用目标域的少量的额外训练数据实现qot估计工具的快速部署。为了缓解训练样本较少的问题，结合迁移学习的qot估计方法开始得到广泛的研究。该方法的基本思路就是将来自另一个网络的知识迁移到本网络，从而在本网络中可供采集的样本数量较少的情况下，也能完成机器学习qot估计模型的训练。
7.目前常用的迁移学习qot估计方案主要分为两类，一类是基于人工神经网络(ann)的模型层面的迁移，另一类是针对光路样本的样本层面的迁移。
8.模型迁移方法的基本思想就是利用来自源域的大量样本预先训练出一个预训练模型，在qot估计中，该模型通常为神经网络模型。在迁移过程中，将该神经网络隐藏层的一层或几层迁移到新的针对目标域的神经网络中去，并冻结这些层的参数，使之不参与训练。这些冻结层(frozen layer)就成为了源域网络知识的携带者，将来自于源域的知识迁移到了目标域。
9.在qot估计问题中，尽管标记样本的获取可能存在困难，但是未标记样本的获取往
往是比较容易的，尽管这些未标记样本不能直接参与机器学习模型的训练，但是在迁移学习方法中却起着很大的作用。
10.样本迁移方法的基本思想就是利用来自于目标域的大量未标记样本对来自源域的标记样本进行调整，从而将源域的特征样本迁移到目标域。当前在qot估计中所采用的样本迁移方法以域适应(domain adaptation)技术为主，该方法主要针对来自不同域的特征进行迁移，并对样本进行变换处理。这样经过变换之后，源域样本就可以在没有大量已标记的目标域样本的情况下，直接参与目标域模型的训练。
11.然而，在源域与目标域的数据分布存在差异的情况下，或在目标网络可供训练的样本数量较少的情况下，这种样本迁移方法会增大所需部署的网络余量，无法满足qot估计的高精度需求。


技术实现要素：

12.在迁移学习过程中，模型的性能往往与源域和目标域的数据分布情况存在很大的关系。当两个域的数据分布差异越小时，迁移学习的性能就会越好。而目前所采用的迁移学习方法进行qot估计的方案存在一个较大的缺陷：目前的研究往往把重点放在了模型选择与应用场景的结合上，而忽略了对两个域之间样本分布情况的研究。但是在实际场景中，并不存在两个完全相同的网络，例如当两个域之间的光路长度分布以及相邻信道数量存在差异时，就会出现来自源域的预训练模型与目标域不匹配的问题，从而对迁移学习模型的预测性能造成影响。
13.例如，当源域的光路样本长度分布范围比较广，而目标域的光路都为较短的光路样本时，所训练出的预训练模型就会更适用于对较长的光路进行预测，而对于目标域的实际光路分布情况则表现不出很好的预测效果。
14.因此为解决这一问题，就需要在进行迁移学习之前对源域样本进行处理，从而最大程度地发挥迁移学习的效果。
15.本发明的目的是提供一种基于样本迁移筛选的光路传输质量预测方法，以样本筛选为主要手段，基于模型迁移方法，避免模型与数据不匹配时导致的qot估计精度下降问题。
16.为了实现上述目的，本发明提供如下技术方案：
17.本发明提供一种基于样本迁移筛选的光路传输质量预测方法，利用目标域的未标记样本对源域样本进行筛选，包括以下步骤：
18.s1、筛选源域数据：采用孤立森林算法完成样本分类得到相似样本，具体为，先从待筛选样本中选取两个特征x和y，x和y分别为光路的长度与相邻信道的数量，再利用一个超平面对样本进行分隔，经过多次分隔处理后，每一个待分类样本都与训练样本分隔开；越难被分隔开的样本就被认为与训练样本越相似；
19.s2、训练预训练模型：将得到的相似样本对人工神经网络进行训练，得到预训练模型；
20.s3、微调预训练模型：迁移预训练模型中的一层或几层，将其加入到新的神经网络中，并冻结其参数；利用来自于目标域的少量样本对新的神经网络进行训练，最终得到适用于目标域的qot预测模型。
21.上述的基于样本迁移筛选的光路传输质量预测方法，步骤s1采用的孤立森林算法中，光路每跳所占用的波长信息与信道数量都不相同，根据所占用的波长信息，获得每一跳的信道数量，并将该信道数量特征纳入样本的筛选特征中去，从而实现多个维度的样本筛选。
22.与现有技术相比，本发明的有益效果为：
23.本发明提供的基于样本迁移筛选的光路传输质量预测方法，基于样本筛选技术，融合了机器学习中的孤立森林算法，将其作为一个前置步骤加入到迁移学习中来，从迁移学习的源域样本中筛选出尽可能与目标域样本相似的部分样本，并在此基础上进行迁移学习，从而避免由于两个域之间数据分布的差距导致的模型不匹配问题，进而在小样本的情况下实现较高精度的qot估计。与现有的采用迁移学习进行qot估计的方案相比，能够在源域与目标域的数据分布存在差异的情况下，满足qot估计的高精度需求。相比于传统的迁移学习方法而言，具备更强的适应能力。在目标网络可供训练的样本数量较少的情况下，有效提升了迁移学习qot估计方法的精度，从而降低了所需部署的网络余量，是一种新颖的迁移学习qot估计方案。
附图说明
24.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
25.图1为本发明实施例提供的方法流程示意图。
26.图2为本发明实施例提供的相邻信道数量特征示意图。
27.图3为本发明实施例提供的孤立森林算法的流程示意图。
28.图4为本发明实施例提供的孤立森林算法分隔多次后的树状图。
29.图5为现有的迁移学习过程的示意图。
具体实施方式
30.由于目标域的标记样本数量少，本发明利用大量的未标记样本来完成数据筛选。基本思路是利用这些未标记样本来对源域样本进行分类，从中得到与目标域样本分布情况相似的部分样本。根据qot估计问题的多特征、模糊分类的特点，本发明选择了机器学习中的孤立森林算法来完成样本分类。
31.为了更好地理解本技术方案，下面结合附图对本发明的方法做详细的说明。
32.本发明提供一种基于样本迁移筛选的光路传输质量预测方法，利用目标域的未标记样本对源域样本进行筛选，如图1所示，包括以下步骤：
33.s1、筛选源域数据：采用孤立森林算法完成样本分类得到相似样本，具体为，先从待筛选样本中选取两个特征x和y，x和y分别为光路的长度与相邻信道的数量，再利用一个超平面对样本进行分隔，经过多次分隔处理后，每一个待分类样本都与训练样本分隔开，越难被分隔开的样本就被认为与训练样本越相似。
34.光路长度特征可以直接用光路总长度来进行表示，光路中相邻信道的数量可以按照下图2所示进行处理。
35.在光路的数据特征中，由于采用了灵活的孤立森林算法，每跳所占用的波长信息与信道数量都不相同，根据所占用的波长信息，获得每一跳的信道数量，并将该信道数量特征纳入样本的筛选特征中去，从而实现多个维度的样本筛选。
36.孤立森林算法的流程示例如下图3所示，该算法先从待筛选样本中随机选取两个特征，之后再利用一个超平面对样本进行分隔。例如：
37.首先判断训练样本中是否存在x>120的样本，若存在，则将待分类样本中全部x>120的样本都分隔出去，并不再做进一步的处理；
38.再从x<120的训练样本中，判断是否存在y>50的样本，如果存在则对待分类样本进行进一步的分隔，不存在则不做处理；
39.再从y<50的训练样本中，判断是否存在x＞60的样本，如果存在则对待分类样本进行进一步的分隔，不存在则不做处理；
40.再从x<60的训练样本中，判断是否存在y>75的样本，如果存在则对待分类样本进行进一步的分隔，不存在则不做处理。
41.经过这样的多次分割处理后，可以发现每一个待分类样本都已经与训练样本分隔开，而样本被分隔的次数越多就说明与训练样本越相似。将分隔次数表现出来就是如图4所示的一棵树，在这棵树中所经历的路径越长的样本就代表越难分隔、与训练样本越相似。重复选取样本特征、并进行上述的分隔过程之后，能够得到多棵树，综合样本在这些树中的表现，能够对每个样本与训练样本的相似情况进行判断，并最终得到相似样本。
42.将上文所述的样本筛选方法应用到qot估计过程中，训练样本就是来自于目标域的大量未标记样本，待筛选样本就是源域的大量样本。采用上文所述的孤立森林算法得到相似样本，并利用这些相似样本进行后续的模型训练。
43.s2、训练预训练模型：将得到的相似样本对人工神经网络进行训练，得到预训练模型。该模型与直接利用全部的源域样本训练得到的预训练模型相比，更适用于目标域的数据分布。
44.s3、微调预训练模型：迁移预训练模型中的一层或几层，将其加入到新的神经网络中，并冻结其参数；利用来自于目标域的少量样本对新的神经网络进行训练，最终得到适用于目标域的qot预测模型。如图5所示。
45.本发明提供的基于样本迁移筛选的光路传输质量预测方法，融合了机器学习中的孤立森林算法，将其作为一个前置步骤加入到迁移学习中来，与现有的采用迁移学习进行qot估计的方案相比，能够在源域与目标域的数据分布存在差异的情况下，满足qot估计的高精度需求。相比于传统的迁移学习方法而言，具备更强的适应能力。
46.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。