基于深度迁移学习的航天器智能故障诊断方法与流程

1.本发明涉及航天器故障诊断领域，特别是一种面向卫星姿态控制系统执行器故障的智能诊断领域。具体涉及基于深度迁移学习的航天器智能故障诊断方法。


背景技术：

2.航天器是指按照天体运行规律在大气层外运行的空间飞行器。航天器技术经过几十年的探索和发展，在国家安全、经济发展、技术进步、环境监测、气象预报、减灾救灾等方面发挥了重要作用。航天事业的发展不仅是航天科技实力进步的表现，更是一个国家综合国力不断壮大的体现。然而，由于卫星在太空运行过程中具有远程不可及等应用特殊性，作为保障卫星正常运转的核心子系统，卫星姿态控制系统的故障诊断问题一直是航天领域研究的重点和难点。卫星星上资源和人工干预能力有限，太空监测环境恶劣和不确定性因素多等特点决定了卫星故障诊断不仅要具备一般故障诊断的可靠性及准确性要求，还必须具有快速自诊断及自主容错恢复能力。卫星等航天器一旦发生故障，很可能会在很短时间导致翻滚，不能正常工作甚至导致卫星坠毁，造成巨大经济损失，对空间计划、科学研究、经济乃至政治、军事等都将造成恶劣影响和严重后果。因此，系统研究航天器故障诊断并及时发现故障，对于航天器的安全可靠运行、延长航天器使用寿命、预防重大事故发生具有十分重要的意义。
3.然而，由于卫星所处空间环境中的各种未知干扰因素较多，而且随着任务和星体结构的复杂性日益增加，模型不确定性等对卫星容错控制效果的影响也越来越明显，在干扰及不确定影响下的卫星故障诊断与容错控制一直是航天领域研究的重点和难点。目前，故障诊断方法可分为3类，即基于解析模型、基于信号处理和基于知识的方法。然而，基于现有理论方法进行卫星故障诊断与容错控制设计时，存在的不足主要体现在以下几个方面：(1)基于解析模型方法的应用前提是构建系统精确的解析模型，这对于具有不确定性、时变的复杂系统或非线性系统而言是相当困难的；(2)基于信号处理的方法虽然不需要构建系统解析模型，但只有当故障发展到一定程度并影响到系统的外部特性时才有效；(3)基于知识的方法能够克服上述两种方法的缺点，更适用于实际的工业装置。


技术实现要素：

4.为克服现有技术的不足，本发明旨在提出一种基于深度迁移学习的卫星智能故障诊断策略。一方面，由于航天器任务的复杂化及其非线性等特性，使得其故障诊断的难度和复杂性显著增加。另一方面，卫星在轨运行时受到空间环境的各种摄动力作用以及高温、低温、电磁干扰、空间粒子辐射等多方面的外界干扰，更增加了卫星故障诊断的复杂性。而且在轨航天器执行器的原始遥测数据样本小、噪声高、无标记，导致故障信号难以检测，在实际应用中正常运行数据样本与故障数据样本数量相差较大，传统的故障诊断方法难以保证故障诊断的准确度。基于此，本发明提出了一种基于深度迁移学习的航天器智能故障诊断方法，首先，进行智能故障诊断模型框架的搭建，从带有强噪声的遥测数据中提取故障特
征，搭建基于深度卷积神经网络的故障诊断模型框架；其次，进一步考虑在轨航天器遥测故障数据样本小的特点，利用地面测试数据和其他航天器在轨数据进行预训练，得到诊断模型的初始网络参数，达到学习其他诊断任务经验的目的；然后，进行智能故障诊断模型参数重调，将学习到的经验扩展到当前诊断任务中，研究基于迁移学习的模型参数重调方法，考虑航天器原始遥测数据未标记的特点，构造基于最大平均差异的代价函数，实现对初始网络参数的重新调整。
5.具体步骤如下：
6.第一部分，智能故障诊断模型框架搭建：首先将地面测试数据、其他航天器的在轨数据与当前航天器遥测原始数据分为已标记的源数据库与未标记的目标数据库；然后，将源数据集中的时域数据转换为2d图像实现对数据的预处理，其中数据值的大小与图像像素相关；接着，考虑卷积神经网络能从带噪声的原始数据中有效提取故障特征，搭建基于卷积神经网络的深度神经网络模型框架；最后，基于诊断误差构造交叉熵代价函数，并利用转换后的2d 图像对网络模型进行预训练，通过使代价函数最小确定初始网络参数，达到学习其他诊断任务经验的目的；
7.第二部分，智能故障诊断模型参数重调：首先基于边际分布和条件分布定义源数据集与目标数据集的联合分布适应度，用以描述两个数据集的诊断概率分布差异；在此基础上结合预训练过程使用的交叉熵代价函数，基于最大平均差异方法构造新的代价函数；最后利用源数据库和目标数据库中的数据对诊断模型进行训练，通过使代价函数最小重新调整初始的网络参数，将从地面测试数据和其他航天器的在轨数据学习到的经验，扩展到当前在轨航天器的故障诊断任务中，提高故障数据检测的准确性。
8.详细步骤如下：
9.第一步，根据已有数据建立源数据库：将地面测试数据、其他航天器的在轨数据与当前航天器遥测原始数据分为已标记的源数据库与未标记的目标数据库；
10.第二步，数据预处理：采用将一维时域数据转换为2d图像的方法，实现对数据的预处理，其中数据值的大小与图像像素相关，具体步骤如下：
11.在一维航天器状态时域信号中依次提取m2个特征点，每个点的特征值定义为 f(i),i＝1,
…
m2，将一维航天器状态时域信号转换成m
×
m大小的2d图像信号，转换公式为：
[0012][0013]
式中，round(
·
)表示round函数，即将括号中的算子四舍五入取整，min(f)和max(f) 分别代表该一维航天器状态时域信号的上下界，i(j,k)为计算后的2d图像像素信息，每个点的像素点范围为[0,255]；
[0014]
第三步，搭建深度神经网络：采用深度卷积网络用来提取每个航天器状态的2d图像中的故障特征，综合考虑故障时与非故障时的特征不同点，采用交叉熵函数训练深度卷积网络，最小预训练网络的权值参数，达到学习诊断任务经验的目的，所述深度卷积网络的输入是n 个m
×
m大小的航天器状态2d图像；
[0015]
深度卷积神经网络是由卷积层与池化层组成：在卷积层中，采用大小的卷积核对输入数据进行卷积，在卷积之后，采用relu激活函数对数据进行非线性映射，如式(2)所示
[0016]
hc
l
＝relu(conv(w
l
,x
l
) b
l
)
ꢀꢀ
(2)
[0017]
式中，conv表示卷积运算，x
l
表示第l个隐藏层的输入，w
l
与b
l
分别表示第l个隐藏层的权值与偏置，relu表示relu激活函数，在每个卷积层之后，采用核大小为2
×
2的最大池化层来减小特征矩阵的大小；
[0018]
深度卷积网络的训练目的是减少预测值与实际标签之间的误差，采用softmax函数表示不同样本之间的指数概率，如式(3)所示
[0019][0020]
式中，m表示样本索引，t表示样本类别的总数，由于深度神经网络以概率分布的形式输出，因此该网络采用基于交叉熵的评判方法，通过刻画网络输出的概率分布y
*
与期望概率分布y之间的距离来建立损失函数，如下所示
[0021]
l(y
*
,y)＝
‑
∑
i
y
*
(x)log y(x)
ꢀꢀ
(4)
[0022]
式中i表示每一次训练过程批量样本的个数，y
*
表示神经网络输出的概率分布，即通过深度神经网络判断出航天器是否发生故障，y代表期望的输出概率分布，即源数据库的样本标签数据，深度神经网络的优化目标是让l(y
*
,y)趋近于0；
[0023]
深度神经网络训练的过程即为网络的权值更新的过程，根据式(4)损失函数，使用反向传播算法对网络的权值进行更新，即：
[0024][0025]
ω
←
ω
‑
εg
ꢀꢀ
(5)
[0026]
式中，m表示样本个数，g为损失函数对权值ω梯度，ε为学习率；
[0027]
首先考虑到传统反向传播算法中权重的更新方向完全依赖当前样本数据计算得到的梯度 g如式(6)所示，更新的时候在一定程度上保留之前更新的方向，同时利用当前样本的梯度微调最终的更新方向，即
[0028]
s
←
ρ1s (1
‑
ρ1)g
ꢀꢀ
(6)
[0029]
式中s又称为对梯度g的一阶距估计，即对e[g]的近似，ρ1∈[0,1)为指数衰减速率；
[0030]
进一步为实现学习率的自适应调整，即对于更新较慢的权重采用较大的ε更新，对于更新较快的权重采用较小的ε更新，因此将之前梯度的平方作为分母对学习率ε进行调整：
[0031][0032]
其中，ε'为调整后的学习率，δ为防止分母为零的常数，r为对梯度g二阶矩估计，即对e[g2]的近似：
[0033][0034]
其中ρ2∈[0,1)为指数衰减速率，为hadamard乘积；
[0035]
在此基础上，对梯度g的一阶距与二阶矩估计进行无偏修正，得到：
[0036][0037][0038]
最后得到基于adam算法的权重更新公式：
[0039][0040]
第四步，定义源数据集与目标数据集的联合分布适应度：采用基于联合分布自适应方法的深度迁移学习进行故障诊断：
[0041]
使用基于联合分布配适的迁移学习方法联合分布配适，利用源域中标记数据为目标域构建准确的分类器，联合分布配适在降低维度的过程中联合配适边缘分布和条件分布，边缘分布自适应mda有助于提升迁移性能，条件分布自适应cda在迁移学习过程中匹配源域数据和目标域数据的不同的结构；
[0042]
在故障诊断任务中，给定一个带有标签的源数据集和一个没有标签的目标数据集x
s
＝x
t
，y
s
＝y
t
，p
s
(x
s
)≠p
t
(x
t
)，q
s
(y
s
|x
s
)≠q
t
(y
t
|x
t
)；
[0043]
1)边缘概率分布：为了最小化再生核希尔伯特空间中两个数据分布之间的距离，用最大平均差异来处理：
[0044][0045]
其中φ是再生核希尔伯特空间中从χ到η的非线性映射函数；
[0046]
2)条件概率分布：由于目标域数据没有被标记，所以目标域的边缘分布q
t
(y
t
|x
t
)无法被计算，考虑利用目标域数据的伪标签来处理无监督域自适应中的条件分布自适应，借助于带有标签的源数据的预训练模型，初步提供目标数据的伪标签；通过将标记的源数据上训练的一些基分类器应用于未标记的目标数据，预测这些伪标签，利用伪标签估计出边缘分布 q
s
(x
s
|y
s
＝c)，q
t
(x
t
|y
t
＝c)，假设c∈{1,...,c}，最大平均差异被定义为范围c与条件分布 q
s
(x
s
|y
s
＝c)，q
t
(x
t
|y
t
＝c)的不匹配度，其公式表示为：
[0047][0048]
其中是真标签，是真标签，是伪标签且
[0049]
在模型优化阶段迭代更新伪标签，以获得当前学习条件下的最优预测精度，通过联合分布配适，获得更准确的目标数据标签，使用标签作为伪目标标签并迭代运行联合分布配适，交替地提高标签质量直到收敛；
[0050]
通过整合边缘最大平均差异和条件最大平均差异，联合分布配适的正则项表示为：
[0051][0052]
其中j
s
和j
t
分别是d
s
和d
t
的联合分布；
[0053]
第五步，构造代价函数：在得出联合分布配适的公式之后，选择深度卷积网络作为基本模型建立深度传输网络，以达到在深度学习框架下实现领域自适应的目的，估计的概率分布和真实标签之间的交叉熵函数作为损失函数，在将已经训练好的深度卷积网络模型应用于域适应时，通过将联合分布配适的和正则化项相结合，重新定义了一个新的目标函数，写为：
[0054][0055]
其中是一个l层的卷积神经网络的参数集合，λ是非负正则化参数，再生核希尔伯特空间中的映射函数是在深度模型中学习到的非线性特征变换，随着层数的增加，卷积神经网络的特征由一般变为特殊，上面的层代表数据中更抽象的特征，但是会导致较大的域差异，将正则项放在判别层前面的隐藏的全连接层上，即φ(x)＝h
l
‑1(x)，其中h
l
‑1(
·
)是第一个(l
‑
1)层通过非线性特征变换得到的非线性映射，联合分布配适正则化项与深度卷积网络模型相结合可以自适应地从数据中学习并生成映射函数φ，无需手动设置参数化核函数；
[0056]
第六步，诊断模型训练和参数重调：通过最小化式(14)，预训练的卷积神经网络模型转化和调整为目标任务，网络优化采用小批量随机梯度下降算法和反向传播算法，目标函数的网络参数的梯度为：
[0057][0058]
其中是具有网络参数的(l
‑
1)层输出的偏导数。的公式表示为：
[0059][0060][0061][0062]
基于联合分布配适的深度迁移学习框架的训练过程主要包括两部分:1)标记源数
据的预训练；2)标记源数据和非标记目标数据同时输入的目标域网络自适应训练，训练数据集被分成小批量，这些小批量数据被输入网络进行训练，理想的批量大小应该尽可能大以覆盖整个数据集的方差，而过大的批量大小也会增加计算负担，因此要在传输性能和计算效率之间进行权衡。
[0063]
本发明的特点及有益效果是：
[0064]
本发明提出了一种基于自深度迁移学习的航天器智能故障诊断方法，本发明的优点与积极效果如下：
[0065]
利用深度学习能够通过多层结构对数据进行表征学习的特征，进行航天器故障诊断，解决了由于在轨航天器的故障样本数据小、噪声高、无标记带来的难以检测的问题，提高在轨航天器故障数据检测的准确性。
附图说明：
[0066]
图1是基于深度迁移学习的航天器智能故障诊断流程图。
[0067]
图2是智能故障诊断模型框架。
[0068]
图3是故障诊断模型参数重调。
[0069]
图4是一维时域数据转换为2d图像。
[0070]
图5是深度卷积神经网络结构。
[0071]
图6是对mda和cda的图解，f:判别超平面，ds:源域特征分布，dt:目标域特征分布。
[0072]
图7是仿真1预训练阶段损失函数和准确率变化。
[0073]
图8是仿真2预训练阶段损失函数和准确率变化。
[0074]
图9是仿真1迁移学习阶段损失函数和准确率变化。
[0075]
图10是仿真2迁移学习阶段损失函数和准确率变化。
具体实施方式
[0076]
针对现有技术局限，在本发明研究中，提出了基于深度迁移学习的智能故障诊断方法，这种方法可以有效地避免由于在轨航天器执行器的原始遥测数据样本小、噪声高、无标记从而导致故障信号难以检测的问题，减少了在实际应用中由于正常运行数据样本与故障数据样本数量相差较大而导致的传统故障诊断方法难以保证故障诊断的准确度的问题，能够通过地面数据和其他航天器的在轨数据智能诊断当前航天器的故障问题，提高了在轨卫星的可靠性和安全性，减少了安全隐患风险和防止系统灾难性事故的发生。
[0077]
本发明涉及卫星故障诊断技术领域。具体来说，首先提出了基于深度迁移学习的故障诊断方法，随后通过仿真验证了本发明提出算法的有效性。
[0078]
本发明提出了一种的基于深度迁移学习的卫星智能故障诊断方法，实验过程流程图如图 1所示。具体技术方案如下：
[0079]
第一部分，智能故障诊断模型框架搭建：在轨航天器实时故障诊断过程中，由于其故障数据具备样本小、噪声大的特点，导致传统的故障诊断方法很难保证故障数据检测的准确性。为解决这一问题，考虑从地面测试数据以及其他航天器的在轨数据中学习诊断经验，如图2 所示：首先将地面测试数据、其他航天器的在轨数据与当前航天器遥测原始数据分为已标记的源数据库与未标记的目标数据库；然后，将源数据集中的时域数据转换为2d
图像实现对数据的预处理，其中数据值的大小与图像像素相关，这一转换避免了传统数据预处理方法中手工操作繁琐且特征信息易丢失的缺点；接着，考虑卷积神经网络能从带噪声的原始数据中有效提取故障特征，搭建基于卷积神经网络的深度神经网络模型框架；最后，基于诊断误差构造交叉熵代价函数，并利用转换后的2d图像对网络模型进行预训练，通过使代价函数最小确定初始网络参数，达到学习其他诊断任务经验的目的。
[0080]
第二部分，智能故障诊断模型参数重调：由于当前在轨航天器的故障数据是未标记的，因此无法直接基于目标数据集构造新的损失函数，导致实现基于传统迁移学习方法的参数重调。为解决这一问题，如图3所示，首先基于边际分布和条件分布定义源数据集与目标数据集的联合分布适应度，用以描述两个数据集的诊断概率分布差异；在此基础上结合预训练过程使用的交叉熵代价函数，基于最大平均差异方法构造新的代价函数；最后利用源数据库和目标数据库中的数据对诊断模型进行训练，通过使代价函数最小重新调整初始的网络参数，将从地面测试数据和其他航天器的在轨数据学习到的经验，扩展到当前在轨航天器的故障诊断任务中，提高故障数据检测的准确性。
[0081]
下面结合附图对本发明做进一步描述。
[0082]
第一步，根据已有数据建立源数据库：将地面测试数据、其他航天器的在轨数据与当前航天器遥测原始数据分为已标记的源数据库与未标记的目标数据库。
[0083]
第二步，数据预处理：由于在轨航天器运行过程中，每一个状态数据都是根据时间变化的一维时域数据。在数据预处理过程中，如果采用传统的数据处理方法，不仅会增加手工操作繁琐程度，而且还会丢失部分特征信息。因此，采用将一维时域数据转换为2d图像的方法，实现对数据的预处理，具体方法如图4所示，其中数据值的大小与图像像素相关。
[0084]
在一维航天器状态时域信号中依次提取m2个特征点，每个点的特征值定义为 f(i),i＝1,
…
m2，将一维航天器状态时域信号转换成m
×
m大小的2d图像信号，转换公式为：
[0085][0086]
式中，round(
·
)表示round函数，即将括号中的算子四舍五入取整，min(f)和 max(f)分别代表该一维航天器状态时域信号的上下界。i(j,k)为计算后的2d图像像素信息，每个点的像素点范围为[0,255]。
[0087]
第三步，搭建深度神经网络：采用深度卷积网络用来提取每个航天器状态的2d图像中的故障特征，综合考虑故障时与非故障时的特征不同点，采用交叉熵函数训练深度卷积网络，最小预训练网络的权值参数，达到学习诊断任务经验的目的。深度卷积网络框架如图5所示。图中，网络的输入是n个m
×
m大小的航天器状态2d图像，c&p表示卷积和池化运算，fc 表示全连接层。
[0088]
深度卷积神经网络是由卷积层与池化层组成。在卷积层中，采用大小的卷积核对输入数据进行卷积。在卷积之后，采用relu激活函数对数据进行非线性映射，如式(2)所示
[0089]
hc
l
＝relu(conv(w
l
,x
l
) b
l
)
ꢀꢀ
(2)
[0090]
式中，conv表示卷积运算，x
l
表示第l个隐藏层的输入，w
l
与b
l
分别表示第l个隐藏层的权值与偏置。relu表示relu激活函数。在每个卷积层之后，采用核大小为2
×
2的最大池化层来减小特征矩阵的大小。
[0091]
深度卷积网络的训练目的是减少预测值与实际标签之间的误差。采用softmax函数表示不同样本之间的指数概率，如式(3)所示
[0092][0093]
式中，m表示样本索引，t表示样本类别的总数。由于深度神经网络以概率分布的形式输出，因此该网络采用基于交叉熵的评判方法，通过刻画网络输出的概率分布y
*
与期望概率分布y之间的距离来建立损失函数，如下所示
[0094]
l(y
*
,y)＝
‑
∑
i
y
*
(x)log y(x)
ꢀꢀ
(4)
[0095]
式中i表示每一次训练过程批量样本的个数，y
*
表示神经网络输出的概率分布，即通过深度神经网络判断出航天器是否发生故障，y代表期望的输出概率分布，即源数据库的样本标签数据。深度神经网络的优化目标是让l(y
*
,y)趋近于0。
[0096]
深度神经网络训练的过程即为网络的权值更新的过程。根据上述损失函数，使用反向传播算法对网络的权值进行更新，即：
[0097][0098]
ω
←
ω
‑
εg
ꢀꢀ
(5)
[0099]
式中，m表示样本个数，g为损失函数对权值ω梯度，ε为学习率。采用传统的反向传播算法存在两个缺点：1.反向传播算法的学习率很难确定。如果学习率太大，学习曲线将会剧烈震荡，严重影响神经网络的学习效果；如果学习率选择的太小，那么训练过程会很缓慢，网络训练会耗费大量的时间。2.梯度更新只能采用当前小批量样本的梯度进行更新，无法记忆之前样本的梯度大小与方向。因此具有自适应学习率的反向传播优化算法受到研究学者们的广泛关注。其中最具代表性的是openai的diederik kingma和多伦多大学的jimmy ba 提出的适应性距估计(adam，adaptive moment estimation)算法。这一算法在大规模数据和参数的优化问题上具有极大优势，且相较于传统的反向传播算法，由于自适应学习率的引入具有求解速度快与参数调整简单的优点。
[0100]
首先考虑到传统反向传播算法中权重的更新方向完全依赖当前样本数据计算得到的梯度 g如式(6)所示，因此借鉴物理中的动量(moment)概念，即更新的时候在一定程度上保留之前更新的方向，同时利用当前样本的梯度微调最终的更新方向，即
[0101]
s
←
ρ1s (1
‑
ρ1)g
ꢀꢀ
(6)
[0102]
式中s又称为对梯度g的一阶距估计，即对e[g]的近似，ρ1∈[0,1)为指数衰减速率。
[0103]
进一步为实现学习率的自适应调整，即对于更新较慢的权重采用较大的ε更新，对于更新较快的权重采用较小的ε更新，因此将之前梯度的平方作为分母对学习率ε进行调整：
[0104][0105]
其中，ε'为调整后的学习率，δ为防止分母为零的常数，r为对梯度g二阶矩估计，即对e[g2]的近似：
[0106][0107]
其中ρ2∈[0,1)为指数衰减速率，为hadamard乘积。
[0108]
在此基础上，对梯度g的一阶距与二阶矩估计进行无偏修正，得到：
[0109][0110][0111]
最后得到基于adam算法的权重更新公式：
[0112][0113]
基于adam算法的深度神经网络权值更新流程如表1所示。由于自适应学习率的引入，这一算法可以快速地对深度神经网络的权值进行更新，更快的学习到航天器故障的特征。
[0114]
表1基于adam算法的深度神经网络权值更新流程
[0115][0116]
[0117]
第四步，定义源数据集与目标数据集的联合分布适应度：由于当前在轨航天器的故障数据是未标记的，因此无法直接基于目标数据集构造新的损失函数，导致无法实现基于传统迁移学习方法的参数重调。因此，采用基于联合分布自适应方法的深度迁移学习进行故障诊断。
[0118]
迁移学习可以利用源域中丰富的标记数据为目标域构建准确的分类器，现有的大多数方法都是基于边缘分布或条件分布来度量分布差异。为了同时减少域间边缘分布和条件分布的差异，使用基于联合分布配适的迁移学习方法联合分布配适来解决上述问题。联合分布配适在降低维度的过程中联合配适边缘分布和条件分布，边缘分布自适应(mda)有助于提升迁移性能，条件分布自适应(cda)可以在迁移学习过程中匹配源域数据和目标域数据的不同的结构。
[0119]
在故障诊断任务中，给定一个带有标签的源数据集和一个没有标签的目标数据集x
s
＝x
t
，y
s
＝y
t
，p
s
(x
s
)≠p
t
(x
t
)，q
s
(y
s
|x
s
)≠q
t
(y
t
|x
t
)。
[0120]
1)边缘概率分布：为了最小化再生核希尔伯特空间中两个数据分布之间的距离，用最大平均差异来处理。
[0121][0122]
其中φ是再生核希尔伯特空间中从χ到η的非线性映射函数。
[0123]
2)条件概率分布：由于目标域数据没有被标记，所以目标域的边缘分布q
t
(y
t
|x
t
)无法被计算。考虑利用目标域数据的伪标签来处理无监督域自适应中的条件分布自适应，借助于带有标签的源数据的预训练模型，可初步提供目标数据的伪标签。通过将标记的源数据上训练的一些基分类器应用于未标记的目标数据，可以很容易地预测这些伪标签。基分类器可以是标准分类模型，也可以是迁移学习分类模型。这种方式不可能对目标域进行准确的分类，但是用伪标签估计出边缘分布之后计算最大平均差异仍然是有效的。有了伪标签我们就可以估计出边缘分布q
s
(x
s
|y
s
＝c)，q
t
(x
t
|y
t
＝c)。假设c∈{1,...,c}，最大平均差异被定义为范围 c与条件分布q
s
(x
s
|y
s
＝c)，q
t
(x
t
|y
t
＝c)的不匹配度，其公式可以表示为：
[0124][0125]
其中是真标签，是真标签，是伪标签且
[0126]
初始伪标签可能存在许多错误，但在模型优化阶段可以迭代更新伪标签，以获得当前学习条件下的最优预测精度。通过联合分布配适，我们可以获得更准确的目标数据标签。因此，使用标签作为伪目标标签并迭代运行联合分布配适，那可以交替地提高标签质量直到收敛。
[0127]
通过整合边缘最大平均差异和条件最大平均差异，联合分布配适的正则项可以表
示为：
[0128][0129]
其中j
s
和j
t
分别是d
s
和d
t
的联合分布。
[0130]
第五步，构造代价函数：在得出联合分布配适的公式之后，选择卷积神经网络作为基本模型建立深度传输网络，以达到在深度学习框架下实现领域自适应的目的。估计的概率分布和真实标签之间的交叉熵函数作为损失函数。在将已经训练好的卷积神经网络模型应用于域适应时，通过将联合分布配适的和正则化项相结合，重新定义了一个新的目标函数，写为：
[0131][0132]
其中是一个l层的卷积神经网络的参数集合，λ是非负正则化参数。再生核希尔伯特空间中的映射函数是在深度模型中学习到的非线性特征变换，随着层数的增加，卷积神经网络的特征由一般变为特殊。上面的层代表数据中更抽象的特征，但是会导致较大的域差异。将正则项放在判别层前面的隐藏的全连接层上，即φ(x)＝h
l
‑1(x)，其中h
l
‑1(
·
)是第一个(l
‑
1)层通过非线性特征变换得到的非线性映射。联合分布配适正则化项与深度模型相结合可以自适应地从数据中学习并生成映射函数φ，无需手动设置参数化核函数。
[0133]
第五步，诊断模型训练和参数重调：通过最小化式(14)，预训练的卷积神经网络模型可以转化和调整为目标任务。网络优化采用了小批量随机梯度下降算法和反向传播算法。目标函数的网络参数的梯度为：
[0134][0135]
其中是具有网络参数的(l
‑
1)层输出的偏导数。的公式可以表示为：
[0136][0137]
[0138][0139]
基于联合分布配适的深度迁移学习流程如表2所示。该框架的训练过程主要包括两部分: 1)标记源数据的预训练；2)标记源数据和非标记目标数据同时输入的目标域网络自适应训练。数据集通常被分成小批量，这些小批量数据被输入网络进行训练。理想的批量大小应该尽可能大以覆盖整个数据集的方差，而过大的批量大小也会增加计算负担，因此要在传输性能和计算效率之间进行权衡。网络自适应采用同样数量的源域和目标域样本。当数据大小跨域不同时，可以在较小的数据集中进行重采样，以保持源数据集和目标数据集中的样本数相同。
[0140]
表2基于联合分布配适的深度迁移学习流程
[0141][0142][0143]
仿真验证：仿真环境配置：i7
‑
6700kcpu，gtx1070显卡，16g内存。
[0144]
语言：python。工具包：tensorflow
[0145]
仿真1：在航天器平稳运行的过程中，判断是否发生故障，网络结构配置如表3所示，网络优化方法采用adam优化方法。预训练阶段损失函数和准确率变化如图7所示，准确率可以达到98.5％。
[0146]
表3仿真1网络结构配置
[0147][0148]
输入：4秒连续数据(400个)，10个变量。通过预处理转换成20*20*10的矩阵
[0149]
输出：1*2的维向量即有故障([0,1])和无故障([1,0])。
[0150]
仿真2：在航天器平稳运行的过程中，判断是否且判断哪个轴发生故障，网络结构配置如表4所示，网络优化方法采用adam优化方法。预训练阶段损失函数和准确率变化如图8 所示，平均准确率为90％。
[0151]
输入：4秒连续数据(400个)，10个变量。通过预处理转换成20*20*10的矩阵
[0152]
输出：1*4维向量即无障([1,0,0,0])，x轴故障([0,1,0,0])，y轴故障([0,0,1,0])， z轴故障([0,0,0,1])
[0153]
仿真结果：在迁移学习阶段，仿真1和仿真2的故障诊断准确率分别为98.79％和85.41％，仿真结果如图9、图10所示。
[0154]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。