一种光模块性能预测的方法和装置与流程

一种光模块性能预测的方法和装置
【技术领域】
1.本发明涉及光通信领域，特别是涉及一种光模块性能预测的方法和装置。


背景技术：

2.随着5g、数据中心的发展，面对庞大的光模块数量时必须使成本进一步降低，网络设备和光模块逐步解耦，模块厂商直接向5g、数据中心客户出货。这种趋势会提高数据中心运维难度，当故障发生时，网络厂商和模块厂商会存在问题界定不清的现象，如果缺少有效的统一管理模式，模块批次问题将难以发现。虽然目前网管系统可以实现对数字诊断功能(digital diagnostic monitoring，简写为ddm)的定时采集，并根据厂商设置的阈值范围进行告警，输出告警日志。但是，一般厂商设置的ddm范围较大，ddm相关属性值尚未达到预警值时光模块劣化程度已足以对业务造成影响。另外，网管系统均使用当前值与ddm阈值范围进行比较，缺乏对ddm趋势的考虑，不具备对光模块故障的预测能力。
3.若使用人工智能方法对故障进行预测，会产生大量的模型元数据。在每分钟采集一次的情况下，一个月的原始数据有1*60*24*30组，为了统计模型的准确性，至少需要使用3个月历史数据，每个光模块的原始数据集为1*60*24*30*3组。对于一个大型数据中心，或一个区域运营商网络，光模块的数量在几十万个至几百万个不等，数据量非常庞大。在目前的技术方案中，需要人工查找发生故障的性能劣化点，并对性能劣化点前后的数据进行分类，数据处理效率低，人工成本较高。
4.鉴于此，如何克服现有技术所存在的缺陷，解决光模块性能数据的处理和预测时数据量过大以及无法提前进行预警的情况，是本技术领域待解决的问题。


技术实现要素：

5.针对现有技术的以上缺陷或改进需求，本发明解决了目前光模块故障处理时无法自动进行故障前和故障后数据分类的问题。
6.本发明实施例采用如下技术方案：
7.第一方面，本发明提供了一种光模块性能预测的方法，具体为：根据网络拓扑连接关系，将光模块本端发射端口和对端端口的ddm信息组成一组数据集，周期性读取数据集对应的数据；根据数据集中数据的分布特征计算光模块的性能劣化点，将性能劣化点之前的数据和性能劣化点之后的数据自动标注为不同的样本集；以数据集中光模块的基本属性和光模块的时间序列特征作为性能预测的预测特征；根据样本集和预测特征生成预测模型，通过预测模型对光模块未来的性能劣化点进行预测。
8.优选的，光模块的基本属性包括：工作温度、工作电压、偏置电流、发射光功率和对端接收光功率中的一项或多项；光模块的时间序列特征包括：工作电压、偏置电流、发射光功率和对端接收光功率的变化率和梯度。
9.优选的，根据数据集中的工作电压、偏置电流、发射光功率和对端接收光功率的平均曲率函数，分别获取每种属性的变化率；通过最小二乘法对数据集中的工作电压、偏置电
流、发射光功率和对端接收光功率的变化曲线进行拟合，分别获取每种属性的梯度值。
10.优选的，根据数据集中数据的分布特征计算光模块的性能劣化点，包括：以ddm信息中的偏置电流达到预警门限值的前一个月的时间点作为自然老化的性能劣化点；根据ddm信息中的工作电压出现异常波动的时间点计算光模块内部突发故障的性能劣化点。
11.优选的，根据ddm信息中的工作电压出现异常波动的时间点计算光模块内部突发故障的性能劣化点，包括：计算采集时间点前一周时间区间内至少两个光模块的工作电压的标准差及前中位值的标准差；以正态分布中3倍标准差之外的最小时间点作为性能劣化点。
12.优选的，根据ddm信息中的工作电压出现异常波动的时间点计算光模块内部突发故障的性能劣化点，还包括：在计算工作电压的标准差时，使用每个本端作电压采样时间点之前预设调整时间段内的工作电压与前中位值的标准差，对每个工作电压的值进行调整。
13.优选的，将性能劣化点之前的数据和性能劣化点之后的数据自动标定为不同样本集，还包括：使用k均值对性能劣化点之前的数据集进行样本聚类，使用聚类后的样本集作为性能劣化点之前的样本集。
14.优选的，根据样本集和预测特征生成预测模型，包括：使用gbdt模型、xgboost模型和lightgbm模型中的一种或多种作为预测模型。
15.优选的，通过预测模型对光模块未来的性能劣化点进行预测，还包括：当预测到潜在的性能劣化点，对预测的正确性进行确认；若预测正确，对光模块进行维护；若预测错误，将潜在的性能劣化点作为新的训练数据，重新对预测模型进行训练。
16.另一方面，本发明提供了一种光模块性能预测的装置，具体为：包括至少一个处理器和存储器，至少一个处理器和存储器之间通过数据总线连接，存储器存储能被至少一个处理器执行的指令，指令在被处理器执行后，用于完成第一方面中的光模块性能预测的方法。
17.与现有技术相比，本发明实施例的有益效果在于：利用网络拓扑取获取光模块本端和对端的的信息组成元数据集，并根据数据集的中数据的统计规律自动查找发生故障的性能劣化点，对性能劣化点前后的数据集自动进行分类标注，提高了样本集获取的自动化程度，无需通过人工方式进行标注，并根据标注后的样本集对光模块性能状态进行有效预测，相较基于阈值的简单判定规则能提前进行光模块性能预测，并及时产生预警信息，提示系统进行维护。在优选方案中，还通过增加样本集的数据维度，以及基于统计学方法的优化，提高了预测的准确度，并能同时对本侧和对侧的光模块进行性能监测。
【附图说明】
18.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1为本发明实施例提供的一种光模块性能预测的方法流程图；
20.图2正常工作情况下vcc数值的分布示意图；
21.图3为本发明实施例提供的另一种光模块性能预测的方法流程图；
22.图4为工作电压、偏置电流、发射光功率和对端接收光功率的变化曲线拟合示意图；
23.图5为gbdt模型上线部署的逻辑结构图；
24.图6为本发明实施例提供的一种光模块性能预测的装置结构示意图。
【具体实施方式】
25.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
26.本发明是一种特定功能系统的体系结构，因此在具体实施例中主要说明各结构模组的功能逻辑关系，并不对具体软件和硬件实施方式做限定。
27.此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。下面就参考附图和实施例结合来详细说明本发明。
28.实施例1：
29.关于光模块运行状态，sff.8472协议规定了五个关键ddm信息：工作温度temp、工作电压vcc、偏置电流tx_bias、接收光功率rx_power、发射光功率tx_power。同时，协议中还规定各光模块厂商可以设置ddm范围，并对超出范围的属性进行告警。ddm中五个属性均与光模块劣化程度、预期剩余寿命相关，故可以使用ddm对光模块故障进行诊断和预警。从而为系统提供一种性能监测手段，可以帮助系统管理预测收发模块的寿命、隔离系统故障并在现场安装中验证模块的兼容性。
30.如图1所示，本发明实施例提供的光模块性能预测的方法具体步骤如下。
31.步骤101：根据网络拓扑连接关系，将光模块本端发射端口和对端端口的ddm信息组成一组数据集，周期性读取数据集对应的数据。
32.在光模块的使用中，可以使用ddm信息判断光模块的性能是否能够满足需要。光模块内部的光功率反馈控制单元会将tx_power控制在一个稳定的水平上，但随着激光器的老化，激光器的量子效率会降低，为了确保tx_power的稳定，需要提高激光器的tx_bias。因此可以通过监测激光器的tx_bias来预测其寿命。同时，激光器的tx_bias与temp及vcc密切相关，在设定tx_bias极限时需要考虑temp和vcc的影响。另一方面，在实际的光通信网络使用中，光纤两端的光模块成对使用，每个光模块内部的收发激光器独立工作，对端接收光功率rx_power与本端发送光功率tx_power强相关。因此，在本实施例中，为了预测某个光模块是否处于故障状态，采用了成对光模块ddm数据关联分析的方法，网管系统根据网络拓扑连接关系，选取该端口以及对应连接的对端端口的ddm信息，选取本端(temp、vcc、tx_bias、tx_power) 对端(rx_power)数据组成一组数据集。通过网管系统周期性采集数据集中的数据，每个周期设置一个数据采集点，采集相应的数据集作为性能预测的样本，在t时刻采集的数据集表示为(temp、vcc、tx_bias、tx_power、rx_power)
t
。具体实施中，可以根据预测精度、计算效率、数据处理能力等设置合适的读取周期，在优选方案中，采集周期为1分钟。
33.在光模块的实际使用中，可能会因为故障或自然老化而造成性能无法满足使用，本实施例提供的技术方案可以对这两种情况进行预测，将光模块可能发生故障的时间点，或因自然老化而导致性能无法满足使用需要的时间点，作为性能劣化点。在采集到的ddm数
据中，采集时间在性能劣化点之前的视为非故障数据，光模块性能能够满足使用需要；采集时间在性能劣化点之后的数据视为故障数据，光模块的性能无法满足故障数据。在本实施例中，光模块的性能劣化点之前和之后采集的数据集分别被标记为“t”和“f”。
34.步骤102：根据数据集中数据的分布特征计算光模块的性能劣化点，将性能劣化点之前的数据和性能劣化点之后的数据自动标注为不同样本集。
35.为了对光模块的性能进行预测，需要将性能劣化点之前和之后的ddm数据分别组成不同的样本集对神经网络进行训练。目前的技术方案中，性能劣化点需要人工进行查找，性能劣化点之前和之后的样本集也需要人工进行标定。在本实施例中，通过数据集中数据的分布特征，进行统计学计算，以获取性能劣化点的位置，并对性能劣化点之前和之后的样本集自动进行标定。
36.在实际使用中，自然老化造成的性能不足和突发故障造成的性能不足，在数据的分布上具有不同的统计规律。在本实施例中，针对光模块自然老化和突发故障两种情况，使用不同的方式进行性能劣化点的查找。
37.(1)自然老化：自然老化情况下，为了确保tx_power的稳定，需要提高激光器的tx_bias。在自然老化的过程中，tx_bias会出现规律变化，因此，可以通过tx_bias的变化对光模块的老化情况进行预测，以ddm信息中的偏置电流tx_bias达到预警门限值的前一个月的时间点作为自然老化的性能劣化点。
38.(2)内部故障：故障早期激光器的vcc会出现异常波动，可以根据ddm信息中的工作电压vcc出现异常波动的时间点，通过下述公式1和公式2计算光模块内部突发故障的性能劣化点。为了准确的获取异常波动的时间点，在计算工作电压的均值和标准差时，使用每个工作电压采样时间点之前预设调整时间段内的工作电压与前中位值的标准差，根据下述公式1对每个工作电压的值进行调整。
39.具体的，对于每个数据采集点，需要获取多个光模块在数据采集时间点的前一周时间区间内的工作电压vcc，并获取vcc与前中位值的标准差dt。具体的，dt可以通过公式1进行计算。
[0040][0041]
其中，d
t
为t时间点电压值前一周时间区间内电压值与前中位值的标准差。w代表前一周的总采样周期数，m代表一个月的总采样周期数。w和m的值根据具体的采样周期长度确定，例如，在采样周期为1分钟的场景中，w＝7*24*60，m＝30*24*60。min(v
t-i-median[v
(t-2m)：(t-m)
]，0)表示v
t-i-median[v
(t-2m)：(t-m)
]和0之间的较小值。median[v
(t-2m)：(t-m)
]表示{vi|i＝t-2m，t-2m 1，
···
，t-m-1}区间的中位值，即t时间点前2月-前1月工作电压统计数据的中位值，由于自然老化过程中需要提高激光器的tx_bias，所以在正常运行情况下需要允许光模块的电压增大，因此差值需要与0进行比较，大于0时取0，vcc视为中位值的数值。wi为t时间点电压值前一周数据标准差的权重值，用于增强标准差的鲁棒性，权重值根据计算时间段进行调整，本实施例中，wi根据一周内的时间跨度取均值，即wi＝1/w。
[0042]
获得标准差后，如图2所示，根据正态分布的3σ准则，正常工作情况下，vcc数值都落在3σ之内，而落在3σ之外的数值可能为故障值。因此，本实施例提供的方案中，以vcc的w
时间内的正态分布中3倍标准差，即3σ之外的最小时间点作为性能劣化点。具体的，可以使用公式2进行计算。
[0043][0044]
其中，tc为性能劣化点，d
t
为t时间点电压值前一周时间区间内电压值与前中位值的标准差，σe为在w时间内的正态分布中的标准差。根据实际运行场景中的性能数据，在自然老化和突发故障的情况下，性能劣化点的位置都符合公式2的计算结果。
[0045]
通过上述计算，即可根据采集到的数据集自动计算出光模块自然老化和突发故障两种情况下的性能劣化点，使后续计算中能够对样本劣化点之前和之后的不同数据集进行区分和标注。
[0046]
在某个具体实施场景中，设备运行了三个月，在在采样周期为1分钟的场景中t＝129600，t时间点前2月-前1月工作电压统计数据的中位值median[v
(t-2m)：t-m)
]在该场景中的实际测量值为3.31v。wi根据一周内的时间跨度取均值，即wi＝1/w，w＝7*24*60。此时，该场景中计算出的d
t
＝0.018。根据正态分布的3σ准则和概率统计学原理，正常工作情况下，vcc数值都落在3σ之内，而落在3σ之外的数值可能为故障值。根据计算出的d
t
，落在3σ之外的数值可能为故障值，因此公式2可以检验t＝129600时刻时是否可能为故障值。此时该场景中计算出的σe＝0.0072，3σe＝0.0216，d
t
＜3σe，因此t＝129600时刻时，性能未劣化。由该场景实例可见，由于光模块有多维特性，每个采样并通过如下特征设计的方法，可以将数据映射到13维空间，对光模块未来的性能劣化点进行预测。
[0047]
为了能够同时判断自然老化和突发故障，如图3所示，可以使用通过以下步骤将两种情况的分类标注进行整合。
[0048]
步骤201：判断当前采样时间点获取到的数据集中tx_bias是否大于tx_bias预警门限值。若是，标注为“f”；若否，转步骤202。
[0049]
当数据集中的tx_bias达到预警门限值时，表明当前光模块已自然老化，性能无法满足使用需求，标注为“f”。tx_bias未达到预警门限值，则进行下一步判断。
[0050]
步骤202：根据工作电压vcc计算dt。
[0051]
步骤203：判断dt是否落在正态分布的3σ之外。若是，标注为“f”；若否，标注为“t”。
[0052]
当dt落在3σ之外时，表明当前光模块可能出现突发故障，性能无法满足使用需求，标注为“f”。否则，表明光模块性能指标正常，标注为“t”。
[0053]
通过步骤201-步骤203，可以完成对样本数据的自动标注，通过不同的标准将采集到的数据集区分为性能劣化点之前的数据和性能劣化点之后的数据，使用同样标注的数据集的集合作为对应的样本集。该方法可以完全自动完成标注，并根据标注自动生成样本集，根据样本集的标注进行逻辑判断即可避免突发故障造成的误差，无需如现有技术一样人工进行标注，缩短了标注时间，提高了样本集的生成效率。
[0054]
步骤103：以数据集中光模块的基本属性和光模块的时间序列特征作为性能预测的预测特征。
[0055]
针对ddm信息数据量大、数据维度低的问题，为了提高预测准确度，本实施例中还应用了特征工程技术对数据维度进行扩展。原始ddm数据中光模块的基本属性只有5维：temp、vcc、tx_bias、rx_power、tx_power，在低维空间中样本数据难于区分。ddm采集数据随
时间推移而变化，vcc、tx_bias、rx_power、tx_power属性显示出较强的时间依赖性，如果只考虑最后一次采样周期的属性，无法做出准确的光模块故障预测。因此需要计算各基本属性的变化率和基本属性连续一段时间内的梯度。
[0056]
具体的，可以通过如下特征设计的方法将数据映射到13维空间。
[0057]
(1)5维原始特征：光模块基本属性temp、vcc、tx_bias、rx_power、tx_power。每个周期，在采样时间点t时刻，采集一组光模块基本属性(temp、vcc、tx_bias、tx_power、rx_power)
t
中的原始采样数据信息。
[0058]
(2)8维时间序列特征：光模块基本属性vcc、tx_bias、rx_power、tx_power的变化率和梯度，表示一段时间内光模块的时间序列特性。
[0059]
其中，变化率和梯度可以通过以下方式进行计算。
[0060]
(1)根据数据集中工作电压vcc、偏置电流tx_bias、发射光功率tx_power和对端接收光功率rx_power的平均曲率函数，分别获取每种属性的变化率。
[0061]
取时间区间d为各属性变化率的计算基准，变化率表示为：
[0062]
vc
t
＝v
t-mean(v
t-24*60
:v
t
)；其中，vc
t
表示vcc变化率，v
t
表示当前采样时间点的数据集中的vcc，mean(v
t-d
:v
t
)表示时间区间d中vcc的均值。
[0063]
tbc
t
＝tb
t-mean(tb
t-d
:tb
t
)；其中，tbc
t
表示tx_bias变化率，tb
t
表示当前采样时间点的数据集中的tx_bias，(tb
t-d
:tb
t
)表示时间区间d中tx_bias的均值。
[0064]
tpc
t
＝rp
t-mean(tp
t-d
:tp
t
)；其中，tpc
t
表示tx_power变化率，tp
t
表示当前采样时间点的数据集中的tx_power，mean(tp
t-d
:tp
t
)表示时间区间d中tx_power的均值。
[0065]
rpc
t
＝rp
t-mean(rp
t-d
:rp
t
)；其中，rpc
t
表示rx_power变化率，rp
t
表示当前采样时间点的数据集中的rx_power，mean(rp
t-d
:rp
t
)表示时间区间d中rx_power的均值。
[0066]
上述计算中，d的值可以根据实际需要进行设置，并根据采样周期的长度进行计算。例如，在采样周期为1分钟，d的时间区间为1天的情况下，d＝24*60。
[0067]
(2)如图4所示，通过最小二乘法对数据集中的工作电压vcc、偏置电流tx_bias、发射光功率tx_power和对端接收光功率rx_power的变化曲线进行拟合，分别获取每种属性的梯度值。
[0068]
vcc的梯度：vgt，通过求解以下最小二乘法回归问题得到(a0,a1)为vcc梯度拟合曲线参数。
[0069]
tx_bias的梯度：tbt，通过求解以下最小二乘法回归问题得到(a0,a1)为tx_bias梯度拟合曲线参数。
[0070]
tx_power的梯度：tpt，通过求解以下最小二乘法回归问题得到(a0,a1)为tx_power梯度拟合曲线参数。
[0071]
rx_power的梯度：rpt，通过求解以下最小二乘法回归问题得到(a0,a1)为rx_power梯度拟合曲线参数。
[0072]
通过上述计算，将原始样本集中的5维数据扩展为13维，提高了性能预测的准确度。
[0073]
进一步的，由于光模块故障频率较低，采集的数据中“t”样本的数量远高于“f”样本的数量，不平衡的数据将会影响模型训练的性能。因此，需要对原始样本集进行降采样处理，以得到“t”、“f”样本平衡的数据集用于模型训练。在本实施例中，使用k均值(k-mean)方法将“t”样本数据集进行聚类处理，使“t”样本与“f”样本集趋于平衡，便于模型训练提高训练准确度。具体的，用k均值方法将“t”样本聚类，选出每一类中离中心最近的n个点作为该类的代表,得到新的“t”样本集，从而得到了“t”、“f”样本平衡的数据集用于模型训练。在具体实施中，可以根据数据量、预测精度、计算能力、效率等，选择合适的n的数量。
[0074]
步骤104：根据样本集和预测特征生成预测模型，通过预测模型对光模块未来的性能劣化点进行预测。
[0075]
通过上述步骤，获取到“t”样本与“f”样本各自的样本集后，即可使用样本集对神经网络进行训练，生成预测模型，并通过预测模型对光模块的性能劣化点进行预测。
[0076]
在本实施例中，通过逻辑回归、梯度提升决策树和人工神经网络模型，综合考虑模型复杂度、训练时长和分类性能，选取梯度提升决策树模型(gradient boosting decision tree，简写为gbdt)作为神经网络的模型对光模块是否发生故障进行预测。具体的，如图5所示，为gbdt模型上线部署的逻辑结构图。在计算负荷允许的情况下，也可以使用gbdt模型的优化版本xgboost模型、lightgbm模型等作为预测模型，以提交计算效率和预测准确度。和现有的基于阈值的判断规则相比，人工智能方法能够提前预测光模块的故障，提示系统进行维护。
[0077]
进一步的，为了提高预测准确度，当预测到潜在的性能劣化点时，还需要对预测的正确性进行确认。若预测正确，表明光模块为潜在的故障点，可能在性能劣化点出现性能达不到使用需求的情况，可以对光模块的运行进行重点关注，或提前对光模块进行维护，以避免因光模块故障影响网络整体运行。若预测错误，表明预测模型还不够准确，将潜在的性能劣化点作为新的训练数据，重新对预测模型进行训练，以提高后续的预测准确度。在具体实施中，对于预测正确性的确认，可以由人工完成，也可以由专家系统完成。具体的，可以参考步骤102中对性能劣化点前后不同数据集的区分方法进行检查，判断预测时间点前后数据集中的数据是否符合分类标准，以确定预测的准确性。
[0078]
经过本实施例中提供的步骤101-步骤104后，能在不对现有系统进行侵入性修改的前提下，仅通过定时从网管系统中读取光模块的ddm信息，即可在线进行模型分析，对光模块的性能状态作出有效预测。
[0079]
本实施例提供的光模块性能预测的方法，通过建立光模块ddm信息与性能劣化之间的数据分析模型，对光模块性能状态进行有效预测，相较现有基于阈值的规则，能提前进行光模块性能预测并及时产生预警信息。其次，通过数据集中的接收光功率rx_power和发射光功率tx_power，建立网络中设备间发送端口/接收端口光模块的关联分析，同时监测本/对端光模块的性能状态。本实施例提供的方法，为大规模光模块应用场景如5g、数据中心提供了非侵入性数据驱动的在线光模块性能趋势分析方法，能有效提高通信系统智能运维水平，保障业务正常运行。
[0080]
实施例2：
[0081]
在上述实施例1提供的光模块性能预测的方法的基础上，本发明还提供了一种可用于实现上述方法的光模块性能预测的装置，如图6所示，是本发明实施例的装置架构示意
图。本实施例的光模块性能预测的装置包括一个或多个处理器21以及存储器22。其中，图6中以一个处理器21为例。
[0082]
处理器21和存储器22可以通过总线或者其他方式连接，图6中以通过总线连接为例。
[0083]
存储器22作为一种光模块性能预测方法非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如实施例1中的光模块性能预测方法。处理器21通过运行存储在存储器22中的非易失性软件程序、指令以及模块，从而执行光模块性能预测的装置的各种功能应用以及数据处理，即实现实施例1的光模块性能预测的方法。
[0084]
存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器22可选包括相对于处理器21远程设置的存储器，这些远程存储器可以通过网络连接至处理器21。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0085]
程序指令/模块存储在存储器22中，当被一个或者多个处理器21执行时，执行上述实施例1中的光模块性能预测的方法，例如，执行以上描述的图1和图3所示的各个步骤。
[0086]
本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(read only memory，简写为：rom)、随机存取存储器(random access memory，简写为：ram)、磁盘或光盘等。
[0087]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。