面向CNNs的可靠性计算方法、介质及设备

面向cnns的可靠性计算方法、介质及设备
技术领域
1.本发明涉及电数字数据处理的计算机辅助设计的技术领域，特别涉及一种智能系统的可靠性计算领域的基于卡尔曼滤波与差错并行注入机制的面向cnns的可靠性计算方法、介质及设备。


背景技术：

2.卷积神经网络(convolutional neural networks,cnns)是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。
3.目前，卷积神经网络在日常生活中得到了广泛的应用。然而，在关键安全领域，如医疗保健与交通出行上的应用因涉及到人们的生命财产安全，使得其可靠性水平受到了人们越来越多的关注与重视。有研究发现，受软差错的影响，有cnns系统将患者的恶性肿瘤错误地识别成了良性而导致错过最佳治疗时间，最终造成生命受损。
4.为此，开展软差错影响下cnns的可靠性计算对于改善cnns在安全关键领域的推广应用有着重要意义。
5.近年，包括科研院校与企业在内均展开了对软差错影响下的cnns可靠性评估方法研究，根据原理的差异，主要可分为基于故障注入的方法与基于概率模型的分析方法。
6.基于故障注入的方法通常是依据所给定的软差错率，对节点实施故障注入以模拟节点的所有可能组合状态，再利用统计学方法分析故障注入前后cnns的输出差异以评价其可靠性水平。该类方法通常可达到非常高的计算精度，但往往需要大量输入样本参与模拟，容易产生巨大的时间开销。
7.基于概率模型的分析方法通常是根据差错传播过程中所涉及到的非零计算量与总计算量的差异以度量cnns的可靠性水平。该方法通常可实现快速计算，但因忽略了不同差错对输出结果所造成影响的差异，其精度容易受损。
8.因此，业界需要一种在保证精度的情况下可快速、有效实现cnns可靠性计算的方法，可以及时度量cnns的可靠性水平，为cnns的高可靠设计创造条件。


技术实现要素：

9.本发明解决了现有技术中存在的问题，提供了一种面向cnns的可靠性计算方法、介质及设备，通过差错并行注入机制减少故障注入所需要的时间，并利用卡尔曼滤波降低噪声对评估结果的影响以改善计算精度，从而实现在保证评估精度的情况下加快智能系统可靠性计算的目的。
10.本发明所采用的技术方案是，一种面向cnns的可靠性计算方法、介质及设备，所述方法包括以下步骤：
11.步骤1：读取一个cnn模型，初始化参数，包括位翻转概率pb、达成收敛所需要连续满足指定条件的次数nc、误差容限ε，用rs存储每次执行差错概率计算所获得的可靠性值，初始化rs＝φ，ε＝1，令计数器gn＝0，初始化次序标识n＝1；
12.步骤2：对所述cnn执行nt次差错概率计算；nt为初始化相关参数所需要执行差错概率计算的次数；
13.步骤3：基于结果获取rs的方差var与均值sr0，计算rs的估计误差e0；
14.步骤4：利用步骤2的方法对cnn执行ng次差错概率计算，并将所得结果存入序列rgs，再计算rgs的均值rn，并将rgs置入序列rs；ng为更新相关参数所需要执行差错概率计算的次数；
15.步骤5：更新异常系数cn、卡尔曼增益系数kn、cnn的可靠性估计值srn与估计误差en；
16.步骤6：若输出的结果满足自适应收敛条件，则输出srn，否则，返回步骤4。
17.优选地，所述步骤2中，每次差错概率计算包括以下步骤：
18.步骤2.1.若已完成差错概率计算的初始化，则转至步骤2.2，否则，转至步骤2.6；
19.步骤2.2.提取cnn的权重，并依据ieee754标准将所有权重转化为32位bit格式；确切来说，cnn的权重是指其每一层的权重所构成的权重矩阵且用model.weight表示；
20.步骤2.3.计算所述32位bit格式中，e4至e7位为1的概率，并分别记为p4至p7；
21.步骤2.4.计算cnn的综合扰动系数γ；
22.步骤2.5.构建节点扰动函数vcf；
23.步骤2.6.依据vcf，构建cnns的差错概率矩阵emat；
24.步骤2.7.以式(4)更新cnn的权重model.weight，
25.model.weight＝model.weight
×
emat
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)；
[0026][0027]
步骤2.8.在验证集上，根据cnn的输出结果与所对应标签的差异，基于统计学方法给出相对应的可靠性值ar，并将ar置入序列rs。
[0028]
本发明中，一般来说，cnn的输出结果与所对应标签存在差异则记0，相同则记1，所有的输出结果的计数和与所有的输出结果的个数之比为可靠性值ar。
[0029]
优选地，所述步骤2.4中，以式(1)计算cnn的综合扰动系数γ，
[0030][0031]
优选地，所述步骤2.5中，以式(2)构建节点扰动函数vcf,
[0032][0033]
其中，i＝0对应于所述32位bit格式的符号位，i＝1,2,3,4分别对应于所述32位bit格式的e0位、e1位、e2位、e3位，i＝5对应于所述32位bit格式的e4至e7位，i＝6指该权重值不发生差错，确切地说，是不发生差错的概率，强制置1。
[0034]
优选地，所述步骤2.6中，以式(3)构建cnns的差错概率矩阵emat，
[0035][0036][0037]
其中，r、s与t分别表示emat第一维、第二维与第三维的尺寸；x∈n
*
且0≤x《r
×s×
t，n*为不含0的自然数集；rn＝rand()，rand()表示0-1范围的随机数生成函数。
[0038]
优选地，所述步骤3中，以式(5)计算rs的估计误差e0，
[0039][0040]
其中，nw指cnn的权重数量，32是指ieee754标准下的32位浮点数。
[0041]
优选地，所述步骤5中，利用式(6)至式(9)更新异常系数cn、卡尔曼增益系数kn、cnn的可靠性估计值srn与估计误差en，
[0042][0043][0044]
srn＝sr
n-1
cn×kn
×
(r
n-sr
n-1
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0045]en
＝(1-kn)
×en-1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0046]
其中，survival表示均值为sr
n-1
、标准差为std(rs)的满足正态分布的生存函数。
[0047]
优选地，所述步骤6包括以下步骤：
[0048]
步骤6.1：若满足式(10)，
[0049][0050]
则gn＝gn 1，进行下一步，否则，执行gn＝0、n＝n 1，返回步骤4；
[0051]
步骤6.2：若gn≥nc，则输出srn；否则，n＝n 1，返回步骤4。
[0052]
本发明中，以gn进行计数，以n进行计次，直至最后收敛。
[0053]
一种计算机可读存储介质，其上存储有面向cnns的可靠性计算程序，该程序被处理器执行时实现上述面向cnns的可靠性计算方法。
[0054]
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现上述面向cnns的可靠性计算方法。
[0055]
本发明涉及一种面向cnns的可靠性计算方法、介质及设备，是利用故障注入方法与概率分析模型的优点，基于卡尔曼滤波和差错并行注入机制构建了面向软差错的cnns可靠性评估方法，不仅有类似于故障注入方法的评估精度，还有近似于概率模型的计算速度。
[0056]
本发明构建面向权重信息的节点扰动函数以量化节点对cnns输出结果的影响，利用构建的节点扰动函数结合随机采样函数构建了面向cnns的差错概率矩阵使实现故障的并行注入，实现计算加速的目的；构建了基于卡尔曼滤波与肖维勒准则相结合的迭代方法以消减随机噪声与异常值对计算结果的影响，在改善评估精度的同时减少了计算所需要的输入样本数；基于大数定理和极限存在定理构建了面向cnns可靠性计算的自适应方法使避免了不必要的无效计算，减少算量。
[0057]
本发明的有益效果在于，可以实现cnns的并行故障注入，消减随机噪声与异常值对计算结果的影响，使在确保高评估精度的同时减少计算所需要的输入样本数，自适应收敛检测方法的应用避免了无效计算，为设计高可靠的cnns网络提供有效依据。
附图说明
[0058]
图1为ieee754标准下32位浮点数结构示意图，float由1个符号位(sign)、1个8位二进制指数(e0～e7)和1个23位mantissa小数位(m0～m22)组成；
[0059]
图2为本发明的方法流程图。
具体实施方式
[0060]
下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。
[0061]
本发明涉及一种面向cnns的可靠性计算方法，所述方法构建面向权重信息的节点扰动函数，用于量化节点对cnns输出结果的影响；
[0062]
利用构建的所述节点扰动函数，结合随机采样函数构建面向cnns的差错概率矩阵，实现故障的并行注入；构建基于卡尔曼滤波与肖维勒准则结合的迭代方法，计算过程中消减随机噪声与异常值对计算结果的影响；
[0063]
所述方法还基于大数定理和极限存在定理构建面向cnns可靠性计算的自适应方法。
[0064]
本发明中，cnns为cnn的泛指。
[0065]
所述方法包括以下步骤：
[0066]
步骤1：读取一个cnn模型，初始化参数，包括位翻转概率pb、达成收敛所需要连续满足指定条件的次数nc、误差容限ε，用rs存储每次执行差错概率计算所获得的可靠性值，初始化rs＝φ，ε＝1，令计数器gn＝0，初始化次序标识n＝1；
[0067]
步骤2：对所述cnn执行nt次差错概率计算；nt为初始化相关参数所需要执行差错概率计算的次数；
[0068]
所述步骤2中，每次差错概率计算包括以下步骤：
[0069]
步骤2.1.若已完成差错概率计算的初始化，则转至步骤2.2，否则，转至步骤2.6；
[0070]
步骤2.2.提取cnn的权重，并依据ieee754标准将所有权重转化为32位bit格式；
[0071]
步骤2.3.计算所述32位bit格式中，e4至e7位为1的概率，并分别记为p4至p7；
[0072]
步骤2.4.计算cnn的综合扰动系数γ；
[0073]
所述步骤2.4中，以式(1)计算cnn的综合扰动系数γ，
[0074][0075]
步骤2.5.构建节点扰动函数vcf；
[0076]
所述步骤2.5中，以式(2)构建节点扰动函数vcf,
[0077][0078]
其中，i＝0对应于所述32位bit格式的符号位，i＝1,2,3,4分别对应于所述32位bit格式的e0位、e1位、e2位、e3位，i＝5对应于所述32位bit格式的e4至e7位，i＝6指该权重值不发生差错。
[0079]
步骤2.6.依据vcf，构建cnns的差错概率矩阵emat；
[0080]
所述步骤2.6中，以式(3)构建cnns的差错概率矩阵emat，
[0081][0082][0083]
其中，r、s与t分别表示emat第一维、第二维与第三维的尺寸；x∈n
*
且0≤x《r
×s×
t，n*为不含0的自然数集；rn＝rand()，rand()表示0-1范围的随机数生成函数。
[0084]
步骤2.7.以式(4)更新cnn的权重model.weight，
[0085]
model.weight＝model.weight
×
emat
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)；
[0086][0087]
步骤2.8.在验证集上，根据cnn的输出结果与所对应标签的差异，基于统计学方法给出相对应的可靠性值ar，并将ar置入序列rs。
[0088]
步骤3：基于结果获取rs的方差var与均值sr0，计算rs的估计误差e0；
[0089]
所述步骤3中，以式(5)计算rs的估计误差e0，
[0090][0091]
其中，nw指cnn的权重数量。
[0092]
步骤4：利用步骤2的方法对cnn执行ng次差错概率计算，并将所得结果存入序列rgs，再计算rgs的均值rn，并将rgs置入序列rs；ng为更新相关参数所需要执行差错概率计算的次数；
[0093]
步骤5：更新异常系数cn、卡尔曼增益系数kn、cnn的可靠性估计值srn与估计误差en
；
[0094]
所述步骤5中，利用式(6)至式(9)更新异常系数cn、卡尔曼增益系数kn、cnn的可靠性估计值srn与估计误差en，
[0095][0096][0097]
srn＝sr
n-1
cn×kn
×
(r
n-sr
n-1
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0098]en
＝(1-kn)
×en-1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0099]
其中，survival表示均值为sr
n-1
、标准差为std(rs)的满足正态分布的生存函数。
[0100]
步骤6：若输出的结果满足自适应收敛条件，则输出srn，否则，返回步骤4。
[0101]
所述步骤6包括以下步骤：
[0102]
步骤6.1：若满足式(10)，
[0103][0104]
则gn＝gn 1，进行下一步，否则，执行gn＝0、n＝n 1，返回步骤4；
[0105]
步骤6.2：若gn≥nc，则输出srn；否则，n＝n 1，返回步骤4。
[0106]
本发明还涉及一种计算机可读存储介质，其上存储有面向cnns的可靠性计算程序，该程序被处理器执行时实现上述面向cnns的可靠性计算方法。
[0107]
本发明还涉及一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现上述面向cnns的可靠性计算方法。
[0108]
为了实现上述内容，本发明还提出一种计算机可读存储介质、一种计算机设备，通过介质上存储的面向cnns的可靠性计算程序及设备运行时采用的面向cnns的可靠性计算方法，实现cnns的并行故障注入，消减随机噪声与异常值对计算结果的影响，使在确保高评估精度的同时减少计算所需要的输入样本数，自适应收敛检测方法的应用避免了无效计算，为设计高可靠的cnns网络提供有效依据。
[0109]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0110]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序
指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0111]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0112]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0113]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0114]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。