一种无监督的光模块故障数据筛选标注方法、设备及介质与流程

本申请涉及ai集群训练网络，尤其涉及一种无监督的光模块故障数据筛选标注方法、设备及介质。

背景技术：

1、光模块作为ai集群训练网络中高速互联的核心部件，其稳定性直接影响大规模分布式训练的效率和可靠性。尽管光模块的故障率足够低，故障周期以年为单位，但由于大规模集群中光模块数量众多，集群中光模块故障发生的周期将降低至以天甚至以分钟为单位。千卡级的ai集群训练通常需要连续运行数天甚至数周，光模块突发故障引起的节点通信中断将导致训练任务崩溃，实现断点恢复成本高，且造成大量算力损失。为保障训练任务连续性、避免资源浪费、优化训练效率，需进行光模块故障预测，提前预警光模块性能退化，并在在完全失效前主动更换。

2、传统的光模块故障检测或预测方法是基于阈值的方法。这种方法针测量光模块的ddm数据，包括发射光功率、接收光功率、工作温度、工作电压和偏执电流共5种指标，并根据测量数据与相应ddm指标的阈值来触发报警，其存在的问题为：仅关注指标的瞬时超限，忽略了指标的变化趋势等信息；静态的阈值不适配不同的工作环境，不稳定且易造成误判。由于是对每个指标单独考虑，没有联合进行判断，无法捕捉复杂的故障模式。为了更有效进行光模块的故障检测和预测，现有技术结合了深度学习，基于已标注的数据集对模型进行训练，可以将多种指标联合考虑，从训练数据中学习故障样本的规律，实现故障检测和预测。然而数据集的构建十分困难，依赖专家对大量数据的标注，是技术门槛高且劳动密集型的工作，限制了深度学习方法在光模块故障分析中的应用。

技术实现思路

1、本申请实施例提供了一种无监督的光模块故障数据筛选标注方法、设备及介质，解决了现有技术中光模块故障检测无法捕捉复杂故障模式以及的光模块故障预测数据集标注困难的技术问题。

2、第一方面，本申请实施例提供了一种无监督的光模块故障数据筛选标注方法，其特征在于，方法包括：构建光模块样本集合，并对光模块样本集合进行样本密度计算，以得到样本密度数据；对样本密度数据进行密度阈值划分，以确定光模块密度组；对光模块密度组进行数据点标注，以得到第一簇分类数据；基于第一簇分类数据，通过簇内投票分析，确定簇内投票结果；根据簇内投票结果，通过余样标注，得到第二簇分类数据。

3、在本申请的一种实现方式中，对光模块样本集合进行样本密度计算，以得到样本密度数据，具体包括：对光模块样本集合进行数据标准化处理，得到待计算光模块样本集合；基于预设的样本密度计算方法，对待计算光模块样本集合进行样本密度计算，得到样本密度数据。

4、在本申请的一种实现方式中，对样本密度数据进行密度阈值划分，以确定光模块密度组，具体包括：对样本密度数据进行异常状态划分，确定光模块状态；其中，光模块状态包括：光模块正常、光模块异常；在光模块状态为光模块正常的情况下，基于预设的密度阈值，通过高密度集群分析，确定第一光模块密度组；在光模块状态为光模块异常的情况下，通过异常发生概率判定，得到光模块异常状态类别；其中，光模块异常状态类别包括：高概率异常、低概率异常；在光模块异常状态类别为高概率异常的情况下，根据密度阈值，通过区间类似样本构建，确定第二光模块密度组；在光模块异常状态类别为低概率异常的情况下，基于密度阈值，通过离群噪声点集群构建，确定第三光模块密度组；根据第一光模块密度组、第二光模块密度组、第三光模块密度组，确定光模块密度组。

5、在本申请的一种实现方式中，在对样本密度数据进行密度阈值划分，以确定光模块密度组之后，方法还包括：在光模块密度组的数据一致性低于预设范围的情况下，设置分簇参数和停止阈值；基于分簇参数，通过密度运算分析，得到噪声点样本，并对噪声点样本进行数据标注，以得到标注噪声点样本；对标注噪声点样本进行数据一致性检测，以确定分簇迭代指令；根据分簇迭代指令，进行分簇迭代，并在分簇迭代的次数达到停止阈值的情况下，得到数据一致性通过的光模块密度组；对数据一致性通过的光模块密度组进行余样标注，得到第四光模块密度组。

6、在本申请的一种实现方式中，对标注噪声点样本进行数据一致性检测，以确定分簇迭代指令，具体包括：对标注噪声点样本进行样本比例分析，确定标注噪声点样本的多数样本比例；其中，样本比例分析的比例计算公式为：

7、

8、label(·)为标注结果，l为所有的簇分类，χnoise为噪声点组成的集合；在多数样本比例大于预设的比例阈值的情况下，将分簇迭代指令设为可标注；在多数样本比例小于等于比例阈值的情况下，将分簇迭代指令设为需要迭代。

9、在本申请的一种实现方式中，对光模块密度组进行数据点标注，以得到第一簇分类数据，具体包括：对光模块密度组进行核心点提取，以得到待标注核心点；对待标注核心点进行数据点标注，以得到第一簇分类数据。

10、在本申请的一种实现方式中，基于第一簇分类数据，通过簇内投票分析，确定簇内投票结果，具体包括：对第一簇分类数据进行投票机制分析，确定簇状态投票数据；基于簇状态投票数据，确定簇内投票结果；其中，簇内投票结果包括：正常簇、异常簇。

11、在本申请的一种实现方式中，根据簇内投票结果，通过余样本标注，得到第二簇分类数据，具体包括：根据簇内投票结果，确定离群噪声点，并对离群噪声点进行余样本标注，以得到第二簇分类数据。

12、第二方面，本申请实施例还提供了一种无监督的光模块故障数据筛选标注设备，其特征在于，设备包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：构建光模块样本集合，并对光模块样本集合进行样本密度计算，以得到样本密度数据；对样本密度数据进行密度阈值划分，以确定光模块密度组；对光模块密度组进行数据点标注，以得到第一簇分类数据；基于第一簇分类数据，通过簇内投票分析，确定簇内投票结果；根据簇内投票结果，通过余样本标注，得到第二簇分类数据。

13、第三方面，本申请实施例还提供了一种无监督的光模块故障数据筛选标注的非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，计算机可执行指令设置为：构建光模块样本集合，并对光模块样本集合进行样本密度计算，以得到样本密度数据；对样本密度数据进行密度阈值划分，以确定光模块密度组；对光模块密度组进行数据点标注，以得到第一簇分类数据；基于第一簇分类数据，通过簇内投票分析，确定簇内投票结果；根据簇内投票结果，通过余样本标注，得到第二簇分类数据。

14、本申请实施例提供了一种无监督的光模块故障数据筛选标注方法、设备及介质，通过调整聚类参数，对数据进行分批次筛选，直至簇内目标样本占比超过阈值，从而在保证标注质量的条件下大大降低了数据标注工作量，解决了现有技术中光模块故障检测无法捕捉复杂故障模式以及的光模块故障预测数据集标注困难的技术问题，实现了基于深度学习的光模块故障检测方法，显著降低光模块故障检测的数据标注的工作量，提高了光模块复杂故障模式的捕捉效率。

1.一种无监督的光模块故障数据筛选标注方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种无监督的光模块故障数据筛选标注方法，其特征在于，对所述光模块样本集合进行样本密度计算，以得到样本密度数据，具体包括：

3.根据权利要求1所述的一种无监督的光模块故障数据筛选标注方法，其特征在于，对所述样本密度数据进行密度阈值划分，以确定光模块密度组，具体包括：

4.根据权利要求3所述的一种无监督的光模块故障数据筛选标注方法，其特征在于，在对所述样本密度数据进行密度阈值划分，以确定光模块密度组之后，所述方法还包括：

5.根据权利要求4所述的一种无监督的光模块故障数据筛选标注方法，其特征在于，对所述标注噪声点样本进行数据一致性检测，以确定分簇迭代指令，具体包括：

6.根据权利要求1所述的一种无监督的光模块故障数据筛选标注方法，其特征在于，对所述光模块密度组进行数据点标注，以得到第一簇分类数据，具体包括：

7.根据权利要求1所述的一种无监督的光模块故障数据筛选标注方法，其特征在于，基于所述第一簇分类数据，通过簇内投票分析，确定簇内投票结果，具体包括：

8.根据权利要求1所述的一种无监督的光模块故障数据筛选标注方法，其特征在于，根据所述簇内投票结果，通过余样本标注，得到第二簇分类数据，具体包括：

9.一种无监督的光模块故障数据筛选标注设备，其特征在于，所述设备包括：

10.一种无监督的光模块故障数据筛选标注的非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：