面向黑盒模型的表征诊断与解释、模型比较、训练样本收集的方法与系统

1.本发明涉及机器学习技术领域，特别涉及一种面向黑盒模型的表征诊断、模型比较、训练样本收集的方法与系统技术。


背景技术：

2.目前，许多带有黑盒属性的模型已经在图像、文本等各个领域中展现出强大的性能，但它的黑盒属性仍然制约着它在许多敏感性领域中的广泛应用。许多研究开始关注黑盒模型的可解释性。但是，这些技术一方面缺乏客观性，无法说明可解释的程度，另一方面存在解释过于复杂的问题。即现有的技术无法客观简洁的解释黑盒模型的内部逻辑。
3.因此，客观简洁地解释黑盒模型的内部逻辑、得到表示黑盒模型内部逻辑的层级图是一个亟待解决的问题。


技术实现要素：

4.本发明的目的在于提供一种面向黑盒模型的表征诊断、模型比较、训练样本收集的方法与系统，可实现自动表征黑盒模型的内部逻辑，得到表示黑盒模型内部逻辑的“与或图”。
5.本发明公开了一种解释黑盒模型的方法，包括以下步骤：
6.(1)选取模型；
7.选取所需要解释，分析的黑盒模型，其中所述黑盒模型包括神经网络等模型；
8.(2)获取建模所需数据：
9.选取某一样本输入所述黑盒模型以此获得基于所述输入样本得到的模型输出样本或中层输出特征样本，将所述输入样本与所述模型输出样本或中层输出特征样本作为建模时的数据，其中所述输入样本包含w个维度的输入单元，其中w为≥5的正整数，在另一优选例中，w为10-10000，更佳地15-100；
10.(3)建立复杂“与加关系”11.基于所述黑盒模型的中层输出特征或模型输出样本，对所述输入样本的输入单元间的交互配合作用进行建模，获得所述输入单元间组合，并计算所述输入单元间组合的交互强度，然后根据所述交互强度将所述黑盒模型表示为输入单元间组合间的“与加关系”；
12.(4)建立精简“与加关系”13.基于所述步骤(3)中的所述“与加关系”，通过优化交互计算中各输入单元上的基准值，将所述“与加关系”中关联性强的输入单元间组合进一步结合，并将非重要输入单元间组合剔除，从而将所述“与加关系”表达的更加简洁、稀疏；
14.(5)建立“与或图”模型
15.基于步骤(4)所述的精简“与加关系”，建立表达该黑盒模型内部逻辑的“与或图”模型。
16.在另一优选例中，所述步骤(c)进一步包括以下步骤：
17.所述黑盒模型表示为v，输入包含n个输入单元，表示为集合n＝{1，2，
…
，n}。具体地，输入单元n的取值一般大于等于5。黑盒模型在该输入上得到的输出表示为v(n)。对于任意输入单元的子集称为输入单元间组合。v(s)表示黑盒模型在给定某一输入单元间组合s内所有输入单元时的输出。在一个黑盒模型中，样本的输入单元并不单独起作用，而是存在互相交互配合起作用。因此，基于harsanyi dividend指标对输入单元间的交互配合作用进行量化，计算输入单元间组合s内部的输入单元之间交互配合对中层输出特征或模型输出的数值贡献，记为i(s)，并将黑盒模型的输出或中层输出特征v(n)拆分为各输入单元间组合s的交互作用大小之和，即
[0018][0019]
其中，s表示集合s内输入单元的个数，l表示集合l内输入单元的个数。
[0020]
在所述拆分方法中，每个输入单元间组合s内部的交互作用当且仅当s内所有输入单元均存在时才触发，换言之，当s内任一输入单元“不存在”时，i(s)项对黑盒中层输出特征或模型输出没有贡献。因此，输入单元间组合s内的输入单元形成了“与”的关系。此外，基于对黑盒模型输出进行拆分的方法：所述黑盒模型v的输出v(n)被建模为不同输入单元间组合的交互i(s)之间的“加”关系。因此，黑盒模型在整个输入样本上的输出v(n)可以表示为输入单元间的“与加关系”。
[0021]
在另一优选例中，所述步骤(d)进一步包括以下步骤：
[0022]
基于前述对黑盒模型输出v(n)的拆分：输入样本n对应的输出v(n)可建模为2n个输入单元间组合内交互作用i(s)的和。而在2n项交互中，基于前述交互作用大小的计算方法：一部分输入单元间组合s所对应的交互作用强度|i(s)|较大，表示其对黑盒模型的输出v(n)的影响较大；而另一部分输入单元间组合s所对应的交互作用强度|i(s)|较小，表明这些输入单元间组合s对黑盒模型的输出v(n)只产生微小影响或干扰。因此，为了简化对黑盒模型的解释，使整个黑盒模型建模得到的“与加关系”的表达更加简洁、稀疏，对交互计算中各输入单元上的基准值进行优化。
[0023]
其中，基准值指在交互计算中，计算某一输入单元间组合s上黑盒模型的输出v(s)时，需保留s中的输入单元上原本的样本输入值，而将所有s的补集(n\s)中的输入单元替换为其基准值，来表示这些输入单元“不存在”的状态。
[0024]
前述对黑盒模型进行解释的方法中，在不同的基准值下将计算得到不同的i(s)，得到不同的“与加关系”表达和解释，这些解释都是从不同的角度对黑盒模型的严谨解释。所述优化方法拟通过优化基准值，找到一种稀疏、简洁的“与加关系”表达。因此，所述基准值优化方法通过惩罚只产生微小影响的输入单元间组合的交互强度|i(s)|，保留对黑盒模型的输出v(n)产生较大影响的输入单元间组合的交互强度，进行基准值的优化更新，以找
到一种稀疏、简洁的方式对黑盒模型进行建模。
[0025]
在另一优选例中，所述步骤(d)进一步包括以下子步骤：
[0026]
将所有输入单元的基准值构成的向量记为b，其中每一维bi表示输入单元i的基准值。通过惩罚只产生微小影响或干扰的输入单元间组合s的交互强度|i(s)|，优化输入样本n每一维输入单元的基准值bi，使交互强度|i(s)|较小的输入单元间组合的交互强度|i(s)|趋于0，得到稀疏的特征交互。其中，所述优化基准值的损失函数为：
[0027][0028]
其中，按交互强度|i(s)|的大小对所有输入单元间组合s进行排序。假设{s1，s2，...，sm}为交互强度最小的m个输入单元组合，定义r为这些输入单元组合占所有输入单元组合的比例，即选取交互强度最小的r
·2n
个输入单元组合，构成集合由于集合仅包含交互强度最小的r
·2n
个输入单元组合，故表示对黑盒模型中层特征输出或模型输出只产生微小影响或干扰的输入单元组合s的集合。
[0029]
在另一优选例中，所述方法还包括以下步骤：
[0030]
首先，通过取样本均值、随机值、零值或任何一种其它方法生成初始基准值，生成基准值的方法包括但不限于这些可选项。其次，重复t1次所述基准值优化步骤，直至最新计算的损失函数值下降并收敛；其中，对于每次重复，根据优化函数重新计算损失函数值，并基于损失函数值的梯度更新基准值，以及基于更新得到的基准值计算出各输入单元间组合的交互强度值；其中，所述优化函数为：
[0031][0032]
需要说明的是，使整个黑盒模型建模得到的“与加关系”的表达更加简洁、稀疏的方法，包括但不限于权利要求7中所述优化基准值的方法。例如还可通过对黑盒模型进行“对抗训练”，使整个黑盒模型建模得到的“与加关系”的表达更加简洁、稀疏。
[0033]
在另一优选例中，所述步骤(e)进一步包括以下步骤：
[0034]
根据前述对黑盒模型输出v(n)进行拆分的方法：以及对基准值进行优化的方法，得到对黑盒模型的输出v(n)基于一组稀疏的“与加关系”的建模。根据这组“与加关系”，用“与或图”建模黑盒模型：“与”关系表示每个输入单元间组合s内部输入单元之间的关系，“或”关系表示黑盒模型的输出v(n)可拆分为所有输入单元间组合s的交互作用i(s)的加和。因此，用一种“与或图”来建模黑盒模型的输出：“与或图”包含至少三层，由若干节点与连边组成。其中，底层的n个叶节点表示n个输入单元；中间的若干“与节点”表示某一输入单元间组合s内部输入单元之间的“与”关系,每个“与”节点被分配一个分数score＝i(s)，表示该节点所对应的输入单元间组合的交互对中层输出特征或模型输出的数值贡献；顶层的根节点是一个“或节点”，表示对其所有子节点分数的加和，即
黑盒模型的输出v(n)最终表示为所有输入单元间组合s的交互作用i(s)的加和。需要说明的是，当输入单元n的个数过多时，由于输入单元间组合s的数量呈指数增加，最终得到的“与或图”模型的层数也可能随之增加。
[0035]
在另一优选例中，所述步骤(e)可以进一步包括以下步骤：
[0036]
在得到黑盒模型的某一“与或图”后，通过以下方法进一步简化“与或图”的表达：由于所述不同输入单元间组合s中往往包含相同的一部分，如输入单元间组合{i，j，k}，{i，j，l}，{i，j，m，n}中包含相同的输入单元{i，j}，将这些公共的输入单元进行合并，合并结果记为特征单元λ
ij
＝{i，j}，则原输入单元间组合{i，j，k}，{i，j，l}，{i，j，m，n}可以利用公共特征单元λ
ij
进行化简，分别得到新的特征单元表示，即{λ
ij
，k}，{λ
ij
，l}，{λ
ij
，m，n}。特征单元λ
ij
可作为“与或图”中间层的一个“与节点”，代替输入单元{i，j}共同存在时的表达，并与其他包含该特征单元的节点相连，从而简化对黑盒模型进行的“与或图”建模。需要说明的是，所述简化对黑盒模型进行的“与或图”建模的方法只是简化“与或图”建模方式的一种，简化“与或图”建模的方法包括但不限于权利要求10所述方法。
[0037]
在另一优选例中，所述方法进一步包括以下子步骤：
[0038]
将前述输入单元与特征单元的集合记为x，使用集合x内的单元表示输入单元间组合s，以及进行“与或图”模型的构建时，每个单元λ∈x的出现频率由下式定义，
[0039][0040]
其中，表示“与或图”中包含的输入单元间组合的集合。基于上述概率，每个特征单元的表示长度为基于此，“与或图”模型的表示总复杂度可计算为：
[0041][0042]
其中，p(s)
∝
|i(s)|表示输入单元间组合s在“与或图”中的频率。通过以下迭代方法合并某些输入单元间组合s中包含的公共输入单元，作为新的特征单元，并入特征单元的集合x，并基于该集合重新表示所有输入单元间组合、建模“与或图”，从而降低“与或图”模型的总复杂度：
[0043]
(1)初始时，特征单元即为输入单元，则x
(0)
＝n＝{1，2，3
…
，n}；
[0044]
(2)基于各输入单元间组合的交互强度|i(s)|，计算使用当前时刻的特征单元x
(t)
表示输入单元间组合时，每个特征单元出现的频率p
(t)
(λ)，并计算使用当前“与或图”模型的总复杂度complexity
(t)
；
[0045]
(3)对于所有输入单元n的每个子集计算当l作为新的特征单元，并入x
(t)
得到后，基于表示输入单元间组合时“与或图”模型的总复杂度
[0046]
(4)根据第(3)步，取使得总复杂度最低的特征单元集合令
[0047]
(5)对(2)-(4)步重复t2次，更新优化x
(t)
。
[0048]
本发明的第二方面，提供了一种面向黑盒模型的表征诊断、模型比较、训练样本收集的系统，其特征在于，包括：
[0049]
输入模块，被配置为一待解释黑盒模型和包含一定维度输入单元的样本；
[0050]
输入单元间组合交互计算模块，被配置为基于待解释黑盒模型的输出，对样本的输入单元间交互配合的作用进行建模，计算输入单元形成的输入单元间组合的交互强度，将黑盒模型表示为输入单元间组合间的“与加关系”；
[0051]
基准值优化模块，被配置为通过优化交互计算中各输入单元上的基准值，使得从黑盒模型得到的“与加关系”表达更加简洁、稀疏；
[0052]“与或图”生成模块，被配置为基于待解释黑盒模型上一组稀疏的“与加关系”，建立表达该黑盒模型内部逻辑的“与或图”模型。
[0053]
在另一优选例中，所述输入单元间组合交互计算模块还被配置为：所述黑盒模型表示为v，输入包含n个输入单元，表示为集合n＝{1，2，
…
，n}。黑盒模型在该输入上得到的输出表示为v(n)。对于任意输入单元的子集称为输入单元间组合。v(s)表示黑盒模型在给定某一输入单元间组合s内所有输入单元时的输出。在一个黑盒模型中，样本的输入单元并不单独起作用，而是存在互相交互配合起作用。因此，用harsanyi dividend指标对输入单元间的交互配合作用进行量化，计算输入单元间组合s内部的输入单元之间交互配合对中层输出特征和模型输出的数值贡献，记为i(s)，并将黑盒模型的输出v(n)拆分为各输入单元间组合s的交互作用大小之和，即
[0054][0055]
其中，s表示集合s内输入单元的个数，l表示集合l内输入单元的个数。
[0056]
在所述拆分方法中，每个输入单元间组合s内部的交互作用当且仅当s内所有输入单元均存在时才触发，换言之，当s内任一输入单元“不存在”时，i(s)项对黑盒模型输出没有贡献。因此，输入单元间组合s内的输入单元形成了“与”的关系。此外，基于对黑盒模型输出进行拆分的方法：所述黑盒模型v的输出v(n)被建模为不同输入单元间组合的交互i(s)之间的“加”关系。因此，黑盒模型在整个输入样本上的输出v(n)可以表示为输入单元间的“与加关系”。
[0057]
在另一优选例中，所述输入单元间组合交互计算模块还被配置为：基于前述对黑盒模型输出v(n)的拆分：输入样本n对应的输出v(n)可建模为2n个输入单元间组合内交互作用i(s)的和。而在2n项交互中，基于前述交互作用大小的计算方法：一部分输入单元间组合s所对应的交互作用强
度|i(s)|较大，表示其对黑盒模型的输出v(n)的影响较大；而另一部分输入单元间组合s所对应的交互作用强度|i(s)|较小，表明这些输入单元间组合s对黑盒模型的输出v(n)只产生微小影响或干扰。因此，为了简化对黑盒模型的解释，使整个黑盒模型建模得到的“与加关系”的表达更加简洁、稀疏，对交互计算中各输入单元上的基准值进行优化。
[0058]
其中，所述稀疏的输入单元间交互是指，大多数输入单元间组合的交互强度|i(s)|较小(趋近于0)，对网络输出没有影响；只有少量输入单元间组合的交互强度|i(s)|较大，对网络输出有重大影响。
[0059]
其中，基准值指在交互计算中，计算某一输入单元间组合s上黑盒模型的输出v(s)时，需保留s中的输入单元上原本的样本输入值，而将所有s的补集(n\s)中的输入单元替换为其基准值，来表示这些输入单元“不存在”的状态。
[0060]
前述对黑盒模型进行解释的方法中，在不同的基准值下将计算得到不同的i(s)，得到不同的“与加关系”表达和解释，这些解释都是从不同的角度对黑盒模型的严谨解释。所述优化方法拟通过优化基准值，找到一种稀疏、简洁的“与加关系”表达。因此，所述基准值优化方法通过惩罚只产生微小影响的输入单元间组合的交互强度|i(s)|，保留对黑盒模型的输出v(n)产生较大影响的输入单元间组合的交互强度，进行基准值的优化更新，以找到一种稀疏、简洁的方式对黑盒模型进行建模。
[0061]
在另一优选例中，所述基准值优化模块还被配置为：
[0062]
将所有输入单元的基准值构成的向量记为b，其中每一维bi表示输入单元i的基准值。通过惩罚只产生微小影响或干扰的输入单元间组合s的交互强度|i(s)|，优化输入样本n每一维输入单元的基准值bi，使交互强度|i(s)|较小的输入单元间组合s的交互强度|i(s)|趋于0，得到稀疏的特征交互。其中，所述优化基准值的损失函数为：
[0063][0064]
其中，按交互强度|i(s)|的大小对所有输入单元间组合s进行排序。假设{s1，s2，...，sm}为交互强度最小的m个输入单元组合，定义r为这些输入单元组合占所有输入单元组合的比例，即选取交互强度最小的r
·2n
个输入单元组合，构成集合由于集合仅包含交互强度最小的r
·2n
个输入单元组合，故表示对黑盒模型中层特征输出或模型输出只产生微小影响或干扰的输入单元组合s的集合。
[0065]
在另一优选例中，所述基准值优化模块还被配置为：
[0066]
重复t1次所述基准值优化步骤，直至最新计算的损失函数值下降并收敛；其中，对于每次重复，根据优化函数重新计算损失函数值，并基于损失函数值的梯度更新基准值，以及基于更新得到的基准值计算出各输入单元间组合的交互强度值；其中，所述优化函数为：
[0067][0068]
在另一优选例中，所述“与或图”生成模块还被配置为：根据前述对黑盒模型输出v(n)进行拆分的方法：以及对基准值进行优化的方法，得
到对黑盒模型的输出v(n)基于一组稀疏的“与加关系”的建模。根据这组“与加关系”，用“与或图”建模黑盒模型：“与”关系表示每个输入单元间组合s内部输入单元之间的关系，“或”关系表示黑盒模型的输出v(n)可拆分为所有输入单元间组合s的交互作用i(s)的加和。因此，用一种“与或图”来建模黑盒模型的输出：“与或图”包含至少三层，由若干节点与连边组成。其中，底层的n个叶节点表示n个输入单元；中间的若干“与节点”表示某一输入单元间组合s内部输入单元之间的“与”关系,每个“与”节点被分配一个分数score＝i(s)，表示该节点所对应的输入单元间组合的交互对中层输出特征或模型输出的数值贡献；顶层的根节点是一个“或节点”，表示对其所有子节点分数的加和，即黑盒模型的输出v(n)最终表示为所有输入单元间组合s的交互作用i(s)的加和。
[0069]
在一个优选例中，所述“与或图”生成模块还被配置为：在得到黑盒模型的某一“与或图”后，通过以下方法进一步简化“与或图”的表达：由于所述不同输入单元间组合s中往往包含相同的一部分输入单元，例如在输入单元间组合{i，j，k}，{i，j，l}，{i，j，m，n}中包含相同的输入单元{i，j})，将这些公共的输入单元进行合并，合并结果记为特征单元λ
ij
＝{i，j}，则原输入单元间组合{i，j，k}，{i，j，l\}，{i，j，m，n}可以利用公共特征单元λ
ij
进行化简，分别得到新的特征单元表示，即
[0070]
{λ
ij
，k}，{λ
ij
，l}，{λ
ij
，m，n}
[0071]
。特征单元λ
ij
可作为“与或图”中间层的一个“与节点”，代替输入单元{i，j}共同存在时的表达，并与其他包含该特征单元的节点相连，从而简化对黑盒模型进行的“与或图”建模。
[0072]
在一个优选例中，所述“与或图”生成模块还被配置为：将前述特征单元的集合记为x，使用集合x内的特征单元表示输入单元间组合s，以及进行“与或图”模型的构建时，每个特征单元λ∈x的出现频率由下式定义，
[0073][0074]
其中，表示“与或图”中包含的输入单元间组合的集合。基于上述概率，每个特征单元的表示长度为基于此，“与或图”模型的表示总复杂度可计算为：
[0075][0076]
其中，p(s)
∝
|i(s)|表示输入单元间组合s在“与或图”中的频率。通过以下迭代方法合并某些输入单元间组合s中包含的公共输入单元，作为新的特征单元，并入特征单元的集合x，并基于该集合重新表示所有输入单元间组合、建模“与或图”，从而降低“与或图”模型的总复杂度：
[0077]
(1)初始时，特征单元即为输入单元，则x
(0)
＝n＝{1，2，3
…
，n}；
[0078]
(2)基于各输入单元间组合的交互强度|i(s)|，计算使用当前时刻的特征单元x
(t)
表示输入单元间组合时，每个特征单元出现的频率p
(t)
(λ)，并计算使用当前“与或图”模型的总复杂度complexity
(t)
；
[0079]
(3)对于所有输入单元n的每个子集计算当l作为新的特征单元，并入x
(t)
得到后，基于表示输入单元间组合时“与或图”模型的总复杂度
[0080]
(4)根据第(3)步，取使得总复杂度最低的特征单元集合令
[0081]
(5)对(2)-(4)步重复t2次，更新优化x
(t)
。
[0082]
本发明的第三方面，提供了一种解释黑盒模型的设备，包括：
[0083]
存储器，用于存储计算机可执行指令；以及，
[0084]
处理器，用于在执行所述计算机可执行指令时实现如前文描述的方法中的步骤。
[0085]
本发明的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如前文描述的方法中的步骤。
[0086]
应理解，在本发明范围内中，本发明的上述各技术特征和在下文(如实施例)中具体描述的各技术特征之间都可以互相组合，从而构成新的或优选的技术方案。限于篇幅，在此不再一一累述。
[0087]
通过阅读参照一下附图对非限制性实施例所作的详细描述，本发明的其他特征、目的和优点将会变得更加明显。
附图说明
[0088]
图1是根据本发明第一实施方式的解释黑盒模型的方法流程示意图；
[0089]
图2是根据本发明计算输入样本上输入单元组成的组合的交互强度的示意图；
[0090]
图3是根据本发明通过优化交互计算中各输入单元上的基准值，使得从黑盒模型得到的“与加关系”表达更加简洁、稀疏的示意图；
[0091]
图4是根据本发明基于待解释黑盒模型上一组稀疏的“与加关系”，得到待解释黑盒模型内部逻辑的“与或图”的结果示意图；
[0092]
图5是根据本发明第二实施方式的解释黑盒模型的系统结构示意图。
具体实施方式
[0093]
本发明人经过细致深入的研究，首次开发了一种面向黑盒模型的表征诊断与解释、模型比较、训练样本收集的方法与系统一种面向黑盒模型的表征诊断与解释、模型比较、训练样本收集的方法与系统。本发明方法构建了对黑盒模型内部逻辑进行客观简洁解释的方法与系统，基于待解释黑盒模型的中层输出特征或模型输出，对样本的输入单元间交互配合的作用基于harsanyi dividend指标进行了建模，量化了输入单元形成的组合的交互强度，将黑盒模型表示为了输入单元间组合间的“与加关系”使得过程更加容易理解，并且通过对样本进行建模，量化输入单元间组合的交互强度，并惩罚对中层输出特征或模型输出只造成微小影响的输入单元间组合的交互强度，优化了交互计算中各输入单元上的基准值，使得从黑盒模型得到的“与加关系”表达简洁、稀疏。最后再通过“与或图”对输入单元间组合进行解释和呈现，并提取、合并了频繁共同出现的输入单元间组合，作为单独的“与节点”，优化了“与或图”的复杂度，使从黑盒模型得到的“与或图”解释简洁。同时也方便了在进行黑盒模型分析后的特征比对，黑盒模型之间的比较，以及训练样本的收集。
[0094]
通用方法
[0095]
本发明用于对黑盒模型进行解释，获取其对模型输出或中层输出特征影响较大的输入单元间组合，先将准备好的输入样本输入黑盒模型，该样本存在着一定维度的输入单元，然后基于黑盒模型的中层输出特征样本或黑盒模型输出样本，对样本的输入单元间交互配合的作用进行建模，计算输入单元形成的组合的交互强度，将黑盒模型表示为输入单元间组合之间的“与加关系”，接着优化交互计算中各输入单元上的基准值，使得从黑盒模型中得到的“与加关系”更加的简洁，稀疏，最后基于黑盒模型的稀疏的“与加关系”，建立该黑盒模型内部逻辑的“与或图”模型。
[0096]
典型地，本发明方法包括以下步骤：
[0097]
1.选择模型
[0098]
选择需要解释的黑盒模型
[0099]
2.获取数据样本
[0100]
选择一定维度的输入单元作为输入样本并输入黑盒模型，接着将得到的中层输出特征样本或黑盒模型输出样本作为输出单元，与输入单元一一对应，作为数据样本。
[0101]
3.建立一级“与加关系”[0102]
根据输出单元，对样本的输入单元之间的配合进行建模，然后基于黑盒模型的中层输出特征样本或黑盒模型输出样本，对样本的输入单元间交互配合的作用进行建模，计算输入单元形成的组合的交互强度，将黑盒模型表示为输入单元间组合之间的“与加关系”一般来说，该“与加关系”较为复杂。
[0103]
4.建立二级“与加关系”[0104]
优化交互计算中各输入单元上的基准值，使得从黑盒模型中得到的“与加关系”更加的简洁，稀疏。
[0105]
5.建立“与或图”模型
[0106]
最后基于黑盒模型的稀疏的“与加关系”，建立该黑盒模型内部逻辑的“与或图”模型。
[0107]
本发明的主要优点在于：
[0108]
1)构建了对黑盒模型内部逻辑进行客观简洁解释的方法与系统。
[0109]
2)基于待解释黑盒模型的中层输出特征或模型输出，对样本的输入单元间交互配合的作用基于harsanyi dividend指标进行了建模，量化了输入单元形成的组合的交互强度，将黑盒模型表示为了输入单元间组合间的“与加关系”使其更加容易理解；
[0110]
3)通过“与或图”对输入单元间组合进行解释和呈现，并提取、合并了频繁共同出现的输入单元间组合，作为单独的“与节点”，优化了“与或图”的复杂度，使从黑盒模型得到的“与或图”解释简洁。
[0111]
4)通过“与或图”对输入单元间组合进行解释并表现不同输入单元间组合的重要性，方便了在进行黑盒模型分析后的特征比对，黑盒模型之间的对比，以及训练样本的收集。
[0112]
下面结合具体实施例对本发明进行详细说明。一下实施例将有助于本领域的技术
crossing rate,short time energy,frame difference,motion,shot length)的某一输入样本上计算了它包含的2
10
＝1024个不同输入单元间组合s上的交互强度|i(s)|，按输入单元间组合的交互强度大小对输入单元间组合进行了排序，选择了40个重要特征交互进行绘图，红色表示输入单元间组合的交互大小i(s)为正值，蓝色表示输入单元间组合的交互大小i(s)为负值。
[0124]
之后，进入步骤104：通过优化交互计算中各输入单元上的基准值，使得从黑盒模型得到的“与加关系”表达更加简洁、稀疏；
[0125]
可选地，该步骤104可进一步实现为：基于前述对黑盒模型输出v(n)的拆分：输入样本n对应的输出v(n)可建模为2n个输入单元间组合内交互作用i(s)的和。而在2n项交互中，基于前述交互作用大小的计算方法：一部分输入单元间组合s所对应的交互作用强度|i(s)|较大，表示其对黑盒模型的输出v(n)的影响较大；而另一部分输入单元间组合s所对应的交互作用强度|i(s)|较小，表明这些输入单元间组合s对黑盒模型的输出v(n)只产生微小影响或干扰。因此，为了简化对黑盒模型的解释，使整个黑盒模型建模得到的“与加关系”的表达更加简洁、稀疏，对交互计算中各输入单元上的基准值进行优化。
[0126]
其中，基准值指在交互计算中，计算某一输入单元间组合s上黑盒模型的输出v(s)时，需保留s中的输入单元上原本的样本输入值，而将所有s的补集(n\s)中的输入单元替换为其基准值，来表示这些输入单元“不存在”的状态。
[0127]
前述对黑盒模型进行解释的方法中，在不同的基准值下将计算得到不同的i(s)，得到不同的“与加关系”表达和解释，这些解释都是从不同的角度对黑盒模型的严谨解释。所述优化方法拟通过优化基准值，找到一种稀疏、简洁的“与加关系”表达。因此，所述基准值优化方法通过惩罚只产生微小影响的输入单元间组合的交互强度|i(s)|，保留对黑盒模型的输出v(n)产生较大影响的输入单元间组合的交互强度，进行基准值的优化更新，以找到一种稀疏、简洁的方式对黑盒模型进行建模。
[0128]
可选地，所述方法还包括以下步骤：
[0129]
将所有输入单元的基准值构成的向量记为b，其中每一维bi表示输入单元i的基准值。通过惩罚只产生微小影响或干扰的输入单元间组合s的交互强度|i(s)|，优化输入样本n每一维输入单元的基准值bi，使交互强度|i(s)|较小的输入单元间组合s的交互强度|i(s)|趋于0，得到稀疏的特征交互。其中，所述优化基准值的损失函数为：
[0130][0131]
其中，按交互强度|i(s)|的大小对所有输入单元间组合s进行排序。假设{s1，s2，...，sm}为交互强度最小的m个输入单元组合，定义r为这些输入单元组合占所有输入单元组合的比例，即选取交互强度最小的r
·2n
个输入单元组合，构成集合由于集合包含交互强度最小的r
·2n
个输入单元组合，故表示对黑盒模型中层特征输出或模型输出只产生微小影响或干扰的输入单元组合s的集合。
[0132]
本实施方式中r设置的标准可以为：1)只产生微小影响的输入单元间组合的交互强度|i(s)|足够低，2)对黑盒模型建立的“与加关系”表达足够稀疏、简洁。可选地，r取值在60％-98％。需要说明的是，本发明中r的取值可以根据需要设置，不限于这些可选项。
[0133]
可选地，所述方法还包括以下步骤：
[0134]
重复t1次所述基准值优化步骤，直至最新计算的损失函数值下降并收敛；其中，对于每次重复，根据优化函数重新计算损失函数值，并基于损失函数值的梯度更新基准值，以及基于更新得到的基准值计算出各输入单元间组合的交互强度值；其中，所述优化函数为：
[0135][0136]
可选地，本实施方式中t1的设置标准可以为：1)修改后的基准值不超过样本输入单元取值的合理范围；2)loss下降并收敛。可选地，t1取值在20-200次。本发明中t1的取值可以根据需要设置，不限于这些可选项。
[0137]
之后，进入步骤105：基于待解释黑盒模型上一组稀疏的“与加关系”，建立表达该黑盒模型内部逻辑的“与或图”模型。
[0138]
可选地，该步骤105可进一步实现为：
[0139]
根据前述对黑盒模型输出v(n)进行拆分的方法：以及对基准值进行优化的方法，得到对黑盒模型的输出v(n)基于一组稀疏的“与加关系”的建模。根据这组“与加关系”，用“与或图”建模黑盒模型：“与”关系表示每个输入单元间组合s内部输入单元之间的关系，“或”关系表示黑盒模型的输出v(n)可拆分为所有输入单元间组合s的交互作用i(s)的加和。因此，用一种“与或图”来建模黑盒模型的输出：“与或图”包含至少三层，由若干节点与连边组成。其中，底层的n个叶节点表示n个输入单元；中间的若干“与节点”表示某一输入单元间组合s内部输入单元之间的“与”关系,每个“与”节点被分配一个分数score＝i(s)，表示该节点所对应的输入单元间组合的交互对中层输出特征或模型输出的数值贡献；顶层的根节点是一个“或节点”，表示对其所有子节点分数的加和，即黑盒模型的输出v(n)最终表示为所有输入单元间组合s的交互作用i(s)的加和。
[0140]
可选地，所述方法还包括以下步骤：
[0141]
在得到黑盒模型的某一“与或图”后，通过以下方法进一步简化“与或图”的表达：由于所述不同输入单元间组合s中往往包含相同的一部分输入单元，例如在输入单元间组合{i，j，k}，{i，j，l}，{i，j，m，n}中包含相同的输入单元{i，j})，将这些公共的输入单元进行合并，合并结果记为特征单元λ
ij
＝{i，j}，则原输入单元间组合{i，j，k}，{i，j，l}，{i，j，m，n}可以利用公共特征单元λ
ij
进行化简，分别得到新的特征单元表示，即{λ
ij
，k}，{λ
ij
，l}，{λ
ij
，m，n}。特征单元λ
ij
可作为“与或图”中间层的一个“与节点”，代替输入单元{i，j}共同存在时的表达，并与其他包含该特征单元的节点相连，从而简化对黑盒模型进行的“与或图”建模。
[0142]
可选地，所述方法可进一步实现为：
[0143]
将前述输入单元和特征单元的集合记为x，使用集合x内的单元表示输入单元间组合s，以及进行“与或图”模型的构建时，每个特征单元λ∈x的出现频率由下式定义，
[0144][0145]
其中，表示“与或图”中包含的输入单元间组合的集合。基于上述概率，每个特征单元的表示长度为基于此，“与或图”模型的表示总复杂度可计算为：
[0146][0147]
其中，p(s)
∝
|i(s)|表示输入单元间组合s在“与或图”中的频率。通过以下迭代方法合并某些输入单元间组合s中包含的公共输入单元，作为新的特征单元，并入特征单元的集合x，并基于该集合重新表示所有输入单元间组合、建模“与或图”，从而降低“与或图”模型的总复杂度：
[0148]
(1)初始时，特征单元即为输入单元，则x
(0)
＝n＝{1，2，3
…
，n}；
[0149]
(2)基于各输入单元间组合的交互强度|i(s)|，计算使用当前时刻的特征单元x
(t)
表示输入单元间组合时，每个特征单元出现的频率p
(t)
(λ)，并计算使用当前“与或图”模型的总复杂度complexity
(t)
；
[0150]
(3)对于所有输入单元n的每个子集计算当l作为新的特征单元，并入x
(t)
得到后，基于表示输入单元间组合时“与或图”模型的总复杂度
[0151]
(4)根据第(3)步，取使得总复杂度最低的特征单元集合令
[0152]
(5)对(2)-(4)步重复t2次，更新优化x
(t)
。
[0153]
本实施方式中t2设置的标准可以为：1)输入单元间组合s对应的交互强度|i(s)|足够稀疏，2)“与或图”模型的总复杂度有所降低。可选地，t2取值在4-20次。如图4所示，在本发明的一个可选实施例中，t2＝5。图4是基于图2中所示的输入单元形成的输入单元间组合进行了5次上述迭代过程，提取特征单元的结果，表格中的行的构成了特征单元的集合。表格上方的折线图是用特征单元的集合表示输入单元间组合s时输入单元间组合的交互强度|i(s)|。图中横轴为不同的输入单元间组合s，纵轴为交互强度|i(s)|的大小。表格中的红色表示输入单元间组合的交互大小i(s)为正值，蓝色表示输入单元间组合的交互大小i(s)为负值，
[0154]
如图5所示，是基于图2至图4所述步骤，在待解释多层感知机模型上，输入表格数据集中某一样本，通过前述设置得到的一种“与或图”模型示意图：其中，底层的5个叶节点表示5个输入单元；中间的若干“与节点”表示某一输入单元间组合s内部输入单元之间的“与”关系,每个“与”节点被分配一个分数score＝i(s)，表示该节点所对应的输入单元间组合的交互对模型输出中层输出特征和模型输出的数值贡献；顶层的根节点是一个“或节点”，表示对其所有子节点分数的加和，即黑盒模型的输出v(n)最终表示为所有输入单元间组合s的交互作用i(s)的加和。
[0155]
本发明的第二实施方式涉及一种解释黑盒模型的系统，其结构如图5所示，该解释黑盒模型的系统包括输入模块、输入单元间组合交互计算模块、基准值优化模块和“与或图”生成模块。
[0156]
具体地，输入模块被配置为一待解释黑盒模型和包含一定维度输入单元的样本；输入单元间组合交互计算模块，被配置为基于待解释黑盒模型的输出，对样本的输入单元间交互配合的作用进行建模，计算输入单元形成的组合的交互强度，将黑盒模型表示为输入单元间组合间的“与加关系”；基准值优化模块被配置为通过优化交互计算中各输入单元上的基准值，使得从黑盒模型得到的“与加关系”表达更加简洁、稀疏；“与或图”生成模块被配置为基于待解释黑盒模型上一组稀疏的“与加关系”，建立表达该黑盒模型内部逻辑的“与或图”模型。
[0157]
可选地，所述输入单元间组合交互计算模块还被配置为：将所述黑盒模型表示为v，输入包含n个输入单元，表示为集合n＝{1，2，
…
，n}。黑盒模型在该输入上得到的输出表示为v(n)。对于任意输入单元的子集称为输入单元间组合。v(s)表示黑盒模型在给定某一输入单元间组合s内所有输入单元时的输出。在一个黑盒模型中，样本的输入单元并不单独起作用，而是存在互相交互配合起作用。因此，用harsanyi dividend指标对输入单元间的交互配合作用进行量化，计算输入单元间组合s内部的输入单元之间交互配合对中层输出特征或模型输出的数值贡献，记为i(s)，并将黑盒模型的输出v(n)拆分为各输入单元间组合s的交互作用大小之和，即
[0158][0159]
其中，s为集合s内输入单元的个数，l为集合l内输入单元的个数。
[0160]
在所述拆分方法中，每个输入单元间组合s内部的交互作用当且仅当s内所有输入单元均存在时才触发，换言之，当s内任一输入单元“不存在”时，i(s)项对黑盒中层输出特征或模型输出没有贡献。因此，输入单元间组合s内的输入单元形成了“与”的关系。此外，基于对黑盒模型输出进行拆分的方法：所述黑盒模型v的输出v(n)被建模为不同输入单元间组合的交互i(s)之间的“加”关系。因此，黑盒模型在整个输入样本上的输出v(n)可以表示为输入单元间的“与加关系”。
[0161]
可选地，所述输入单元间组合交互计算模块还被配置为：基于前述对黑盒模型输出v(n)的拆分：输入样本n对应的输出v(n)可建模为2n个输入单元间组合内交互作用i(s)的和。而在2n项交互中，基于前述交互作用大小的计算方法：一部分输入单元间组合s所对应的交互作用强度|i(s)|较大，表示其对黑盒模型的输出v(n)的影响较大；而另一部分输入单元间组合s所对应的交互作用强度|i(s)|较小，表明这些输入单元间组合s对黑盒模型的输出v(n)只产生微小影响或干扰。因此，为了简化对黑盒模型的解释，使整个黑盒模型建模得到的“与加关系”的表达更加简洁、稀疏，对交互计算中各输入单元上的基准值进行优化。
[0162]
其中，基准值指在交互计算中，计算某一输入单元间组合s上黑盒模型的输出v(s)时，需保留s中的输入单元上原本的样本输入值，而将所有s的补集(n\s)中的输入单元替换为其基准值，来表示这些输入单元“不存在”的状态。
[0163]
前述对黑盒模型进行解释的方法中，在不同的基准值下将计算得到不同的i(s)，得到不同的“与加关系”表达和解释，这些解释都是从不同的角度对黑盒模型的严谨解释。所述优化方法拟通过优化基准值，找到一种稀疏、简洁的“与加关系”表达。因此，所述基准值优化方法通过惩罚只产生微小影响的输入单元间组合的交互强度|i(s)|，保留对黑盒模型的输出v(n)产生较大影响的输入单元间组合的交互强度，进行基准值的优化更新，以找到一种稀疏、简洁的方式对黑盒模型进行建模。
[0164]
可选地，所述基准值优化模块还被配置为：
[0165]
将所有输入单元的基准值构成的向量记为b，其中每一维bi表示输入单元i的基准值。通过惩罚只产生微小影响或干扰的输入单元间组合s的交互强度|i(s)|，优化输入样本n每一维输入单元的基准值bi，使交互强度|i(s)|较小的输入单元间组合s的交互强度|i(s)|趋于0，得到稀疏的特征交互。其中，所述优化基准值的损失函数为：
[0166][0167]
其中，按交互强度|i(s)|的大小对所有输入单元间组合s进行排序。假设{s1，s2，...，sm}为交互强度最小的m个输入单元组合，定义r为这些输入单元组合占所有输入单元组合的比例，即选取交互强度最小的r
·2n
个输入单元组合，构成集合由于集合仅包含交互强度最小的r
·2n
个输入单元组合，故表示对黑盒模型中层特征输出或模型输出只产生微小影响或干扰的输入单元组合s的集合。
[0168]
可选地，所述基准值优化模块还被配置为：
[0169]
重复t1次所述基准值优化步骤，直至最新计算的损失函数值下降并收敛；其中，对于每次重复，根据优化函数重新计算损失函数值，并基于损失函数值的梯度更新基准值，以及基于更新得到的基准值计算出各输入单元间组合的交互强度值；其中，所述优化函数为：
[0170][0171]
可选地，所述“与或图”生成模块还被配置为：根据前述对黑盒模型输出v(n)进行拆分的方法：以及对基准值进行优化的方法，得到对黑盒模型的输出v(n)基于一组稀疏的“与加关系”的建模。根据这组“与加关系”，用“与或图”建模黑盒模型：“与”关系表示每个输入单元间组合s内部输入单元之间的关系，“或”关系表示黑盒模型的输出v(n)可拆分为所有输入单元间组合s的交互作用i(s)的加和。因此，用一种“与或图”来建模黑盒模型的输出：“与或图”包含至少三层，由若干节点与连边组成。其中，底层的n个叶节点表示n个输入单元；中间的若干“与节点”表示某一输入单元间组合s内部输入单元之间的“与”关系,每个“与”节点被分配一个分数score＝i(s)，表示该节点所对应的输入单元间组合的交互对中层输出特征或模型输出的数值贡献；顶层的根节点是一个“或节点”，表示对其所有子节点分数的加和，即黑盒模型的输出v(n)最终表示为所有输入单元间组合s的交互作用i(s)的加和。
[0172]
可选地，所述“与或图”生成模块还被配置为：在得到黑盒模型的某一“与或图”后，通过以下方法进一步简化“与或图”的表达：由于所述不同输入单元间组合s中往往包含相同的一部分输入单元，例如在输入单元间组合{i，j，k}，{i，j，l}，{i，j，m，n}中包含相同的输入单元{i，j})，将这些公共的输入单元进行合并，合并结果记为特征单元λ
ij
＝{i，j}，则原输入单元间组合{i，j，k}，{i，j，l}，{i，j，m，n}可以利用公共特征单元λ
ij
进行化简，分别得到新的特征单元表示，即{λ
ij
，k}，{λ
ij
，l}，{λij，m，n}。特征单元λ
ij
可作为“与或图”中间层的一个“与节点”，代替输入单元{i，j}共同存在时的表达，并与其他包含该特征单元的节点相连，从而简化对黑盒模型进行的“与或图”建模。
[0173]
可选地，所述“与或图”生成模块还被配置为：将前述特征单元的集合记为x，使用集合x内的特征单元表示输入单元间组合s，以及进行“与或图”模型的构建时，每个特征单元λ∈x的出现频率由下式定义，
[0174][0175]
其中，表示“与或图”中包含的输入单元间组合的集合。基于上述概率，每个特征单元的表示长度为基于此，“与或图”模型的表示总复杂度可计算为：
[0176][0177]
其中，p(s)
∝
|i(s)|表示输入单元间组合s在“与或图”中的频率。通过以下迭代方法合并某些输入单元间组合s中包含的公共输入单元，作为新的特征单元，并入特征单元的集合x，并基于该集合重新表示所有输入单元间组合、建模“与或图”，从而降低“与或图”模型的总复杂度：
[0178]
(1)初始时，特征单元即为输入单元，则x
(0)
＝n＝{1，2，3
…
，n}；
[0179]
(2)基于各输入单元间组合的交互强度|i(s)|，计算使用当前时刻的特征单元x(t)表示输入单元间组合时，每个特征单元出现的频率p
(t)
(λ)，并计算使用当前“与或图”模型的总复杂度complexity
(t)
；
[0180]
(3)对于所有输入单元n的每个子集计算当l作为新的特征单元，并入x
(t)
得到后，基于表示输入单元间组合时“与或图”模型的总复杂度
[0181]
(4)根据第(3)步，取使得总复杂度最低的特征单元集合令
[0182]
(5)对(2)-(4)步重复t2次，更新优化x
(t)
。
[0183]
第一实施方式是与本实施方式相对应的方法实施方式，第一实施方式中的技术细节可以应用于本实施方式，本实施方式中的技术细节也可以应用于第一实施方式。
[0184]
需要说明的是，本领域技术人员应当理解，上述解释黑盒模型的系统的实施方式中所示的各模块的实现功能可参照前述解释黑盒模型的方法的相关描述而理解。上述解释黑盒模型的系统的实施方式中所示的各模块的功能可通过运行于处理器上的程序(可执行指令)而实现，也可通过具体的逻辑电路而实现。本发明实施例上述解释黑盒模型的系统如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例该方法的全部或部分。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read only memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本发明实施例不限制于任何特定的硬件和软件结合。
[0185]
相应地，本发明实施方式还提供一种计算机可读存储介质，其中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现本发明的各方法实施方式。计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于，相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读存储介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0186]
此外，本发明实施方式还提供一种解释黑盒模型的系统，其中包括用于存储计算机可执行指令的存储器，以及，处理器；该处理器用于在执行该存储器中的计算机可执行指令时实现上述各方法实施方式中的步骤。其中，该处理器可以是中央处理单元(central processing unit，简称“cpu”)，还可以是其他通用处理器、数字信号处理器(digital signal processor，简称“dsp”)、专用集成电路(application specific integrated circuit，简称“asic”)等。前述的存储器可以是只读存储器(read-only memory，简称“rom”)、随机存取存储器(random access memory，简称“ram”)、快闪存储器(flash)、硬盘或者固态硬盘等。本发明各实施方式所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
[0187]
需要说明的是，在本专利的发明文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。本专利的发明文
件中，如果提到根据某要素执行某行为，则是指至少根据该要素执行该行为的意思，其中包括了两种情况：仅根据该要素执行该行为、和根据该要素和其它要素执行该行为。多个、多次、多种等表达包括2个、2次、2种以及2个以上、2次以上、2种以上。
[0188]
在本发明提及的所有文献都被认为是整体性地包括在本发明的公开内容中，以便在必要时可以作为修改的依据。此外应理解，以上该仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书一个或多个实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的保护范围之内。