一种基于神经网络的γ光子三维成像特征标记方法与流程

一种基于神经网络的
γ
光子三维成像特征标记方法
技术领域
1.本发明涉及工业检测应用领域，具体地说涉及一种航空工业装备复杂件的腔体结构及内壁缺陷检测的γ光子三维成像特征标记方法。


背景技术：

2.随着社会科技的不断进步发展，三维技术已成为现代科技的重要组成部分。γ光子三维成像的特征标记技术作为三维图像理解与处理的重要基础技术之一，对解决由于航空推进系统中的发动机零部件及尾喷管气动流道等工业装备复杂件材质密度大、内腔结构复杂，无法实现无扰、无损的高分辨率三维成像特征标记等难题发挥着巨大作用。
3.目前，许多科研工作者致力于该方面的研究，当前学界使用的γ光子三维成像特征标记主要方法是：2010年，以色列特拉维夫大学的lior shapira等人提出了一种找寻不同三维图像部件间上下文类比关系的方法。该方法首先利用shape diameter function(sdf)对三维图像进行层次化的分割，然后通过bipartite图匹配的方法进行部件间类比关系计算，从而达到可以将一个三维图像的部件特征标记扩展到其他三维图像的目标。
4.2010年，加拿大多伦多大学的evangelos kalogerakis等人提出了一种学习的三维图像分割与特征标记方法。该方法使用条件随机场(crf)模型与ointboost分类器，通过对大量训练数据进行学习，可以对不同类别三维图像进行自动分割与特征标记。
5.2013年，中国科学院深圳先进技术研究院的yunhai wang等人提出了一种通过二维投影分析进行三维图像特征标记的方法。该方法使用bi
‑
class symmetric hausdorff(bish)距离，将三维图像投影到二维空间，在二维投影上进行特征标记分析并反投影回三维图像，进行三维图像的特征标记。
6.深度学习是机器学习研究中的一个新领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据。2013年，中国香港大学的yi sun等人提出了一种基于深度卷积网络的面部特征点检测方法。通过构建深度卷积网络，该方法有效地由底层图像特征提取出高层特征，得到了更高的面部特征点检测准确率。


技术实现要素：

7.发明目的：为了克服现有技术的不足，本发明的目的在于提出了一种基于深度神经网络的γ光子三维成像特征标记方法。
8.技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于深度神经网络的γ光子三维成像特征标记方法，具体包括以下步骤：
9.步骤1：三维图像三角面片的特征向量构建；
10.步骤2：深度卷积神经网络构建；
11.步骤3：根据已有的带特征标记三维图像数据进行深度卷积神经网络训练；
12.步骤4：根据输入的无特征标记三维网络数据进行特征标记概率；
13.步骤5：根据三维图像相邻三角面片间的二面角进行特征标记结果优化。
14.三维图像三角面片的特征向量构建；其具体实现过程如下：
15.步骤1
‑
1：计算三角面片的curvature feature(cur)；
16.步骤1
‑
2：计算三角面片的pca feature(pca)；
17.步骤1
‑
3：计算三角面片的shape diameter function(sdf)；
18.步骤1
‑
4：计算三角面片的distance from medial surface；
19.步骤1
‑
5：计算三角面片的average geodesic distance(agd)；
20.步骤1
‑
6：计算三角面片的shape context(sc)；
21.步骤1
‑
7：计算三角面片的spin image(si)。
22.深度卷积神经网络构建；其具体实现过程如下：
23.步骤2
‑
1：构建尺寸为7
×
5、输出层数为12的卷积层；
24.步骤2
‑
2：构建缩放因子为2的下采样层；
25.步骤2
‑
3：构建尺寸为5
×
5、输出层数为24的卷积层；
26.步骤2
‑
4：构建缩放因子为2的下采样层。
27.根据已有的带特征标记三维图像数据进行深度卷积神经网络训练；其具体实现过程如下：
28.步骤3
‑
1：根据步骤一计算已有的带特征标记三维图像数据的三角面片特征；
29.步骤3
‑
2：前向传导：将上述计算得到的三角面片特征输入到步骤二构建的深度卷积神经网络中，逐层计算，得到每个面片属于各个特征标记的概率
30.步骤3
‑
3：由上述计算得到的概率与已有的特征标记数据相减并做平方运算得到残差；
31.步骤3
‑
4：反向传播：根据计算得到的残差从最后一层往前逐层对每一层的参数求偏导，并逐层更新每层的参数值；
32.步骤3
‑
5：迭代过程(2)
‑
(4)直到残差收敛。
33.根据输入的无特征标记三维网络数据进行特征标记概率；计算其具体实现过程如下：
34.步骤4
‑
1：根据步骤1计算无特征标记三维网络数的三角面片特征；
35.步骤4
‑
2：将上述计算得到的三角面片特征输入到步骤三训练得到的深度卷积神经网络中，逐层计算，得到每个面片属于各个特征标记的概率。
36.根据三维图像相邻三角面片间的二面角进行特征标记结果优化；其具体实现过程如下：
37.步骤5
‑
1：计算三维网络相邻三角面片间的二面角；
38.步骤5
‑
2：根据步骤四计算得到的特征标记概率与步骤5
‑
1计算得到的二面角，构建图结构，应用graphcuts算法进行结果优化。
39.有益效果：本发明与现有技术相比，具有显著优点是：
40.(1)本发明首次将深度神经网络应用于γ光子三维图像特征标记上，利用非线性组合与逐层递进的方式，对基于几何特征进行高层化表达，使其更好的应用于三维图像特征标记。
41.(2)本发明提出有效地监督学习算法训练深度卷积神经网络对γ光子三维图像进行表达，对每类三维图像仅适用少量带标记数据训练就能达到很高的识别准确率。
附图说明
42.图1是本发明方法的总体步骤流程图。
43.图2是基于深度神经网络进行三维图像特征标记的具体流程图。
44.图3是本发明使用步骤3
‑
2中第二阶段的输出特征生成示意图。
45.图4是本发明使用graphcuts算法进行特征标记优化示意图。
具体实施方式
46.下面将结合附图对本发明的实施案例对本发明的技术方案做进一步的说明，以便更好地理解本发明。
47.如附图1所示，是本发明的基于深度神经网络的γ光子三维图像特征标记流程示意图，具体包括以下步骤：
48.步骤1：三维图像三角面片的特征向量构建；
49.步骤2：深度卷积神经网络构建；
50.步骤3：根据已有的带特征标记三维图像数据进行深度卷积神经网络训练；
51.步聚4：根据输入的无特征标记三维网各数据进行特征标记概率计算；
52.步骤5：根据三维图像相邻三角面片间的二面角进行特征标记结果优化。
53.参阅图2本发明通过深度卷积神经网络进行三维图像特征标记具体流程示意图，本发明首先提取三维图像三角面片的基本几何特征，包括cur、pca、sdf、dis、agd、sc、si，构成600维的特征向量，再重构成30
×
20的矩阵(记作x)以便作为深度网络的输入。
54.如附图2所示，本发明深度卷积神经网络主要分三个阶段来构建高层特征表达。第一阶段为包含12个尺寸为7
×
5的卷积核的卷积层。令w
i
为一个卷积核的权重，定义卷积操作如下：
55.y
i
＝w
i
*x b
i
，i＝1，
…
，12
56.其中*表示卷积操作，b
i
表示偏置向量。利用12个卷积核对输入的基本几何特征进行卷积操作，得到12个尺寸为24
×
16的输出特征，紧接着利用sigmoid激活函数对其进行激活操作如下：
[0057][0058]
然后我们对经过非线性与激活操作后的特征进行缩放因子为2的下采样操作，得到12个尺寸为12
×
8的输出特征作为第二阶段的输入。
[0059]
在第二阶段，我们将第一阶段输出的12个输出特征扩展为24个尺寸为8
×
4的新特征。如附图3所示，对于每一个新特征的求解，我们利用12个尺寸为5
×
5的卷积核构建的卷积层对第一阶段的12个输出特征进行卷积操作并进行叠加操作。类似地，我们对得到的特征进行激活操作与下采样操作，最后得到24个尺寸为4
×
2的输出特征。
[0060]
在第三阶段，我们将第二阶段输出的特征重构为192
×
1的特征向量，为了将输出特征归一化到[0，1]之间，我们利用非线性映射并再次应用sigmoid激活函数对其进行激活操作，并得到每个三角面片t属于不同特征标记的概率值p。
[0061]
下面我们将对深度卷积神经网络的训练过程进行详细阐述：
[0062]
对于我们构建的深度网络，主要需要训练的参数是权重矩阵w和偏置向量b。我们
主要通过前向传导与反向传播两个过程的不断迭代完成训练。
[0063]
在前向传导过程中，我们用很小的随机数初始化w，并用0向量初始化偏置向量b。然后我们利用输入的基本几何特征通过深度网络进行逐层计算并得到每个三角面片t属于不同特征标记的概率值p
t
。令g
t
表示ground
‑
truth数据，我们利用欧式距离计算残差如下：
[0064][0065]
其中t表示训练过程中使用的所有三维图像三角面片的几何。
[0066]
在反向传播过程中，我们希望通过调节每一层的参数w和b来减少残差e
t
。由于y＝w*x b，我们可以得到残差e
t
对b的偏导如下：
[0067][0068]
特别地，从第1 1层反向传播到第1层时：
[0069][0070]
其中“·”表示每个元素对应相乘操作，“c”和“s”分别表示卷积操作和下采样操作。特别地，在计算残差的最后一层l层，与其他层的计算略有不同：
[0071]
δ
l
＝sigmoid
′
(yl)
·
(g
t
‑
p
t
)＝y
l
·
(1
‑
y
l
)
·
(g
t
‑
p
t
)
[0072]
与计算残差e
t
对b的偏导类似，我们计算残差e
t
对w的偏导如下：
[0073][0074]
最后我们利用如下公式更新每层的参数：
[0075][0076][0077]
其中α表示学习速率，我们通常设置α＝0.95。如上所述，前向传导与反向传导过程不断迭代知道残差收敛。通常我们根据训练集规模来设置迭代次数。
[0078]
基于上述描述的训练学习得到的深度卷积神经网络，输入无特征标记三维网络数据，我们可以计算得到每个三角面片t属于各个特征标记的概率值p
t
，令l
t
，表示三角面片t的特征标记。参阅图4本发明使用graphcuts算法进行特征标记优化示意图，我们定义图结构g＝{t，nt}，其中t表示三维图像的三角面片，nt表示三角面片的拓扑邻接关系，(t，v)∈nt即表示三角面片t与v相邻。我们定义优化目标函数如下：
[0079][0080]
其中λ表示平衡两个能量项的权重参数，我们通常设置其为50。第一个能量项ξ
u
(t，l
t
)是为了使三角面片t∈t的特征标记更趋近于p
t
中最大值，进一步的，我们定义ξ
u
(t，l
t
)如下
[0081]
ξ
u
(t，l
t
)＝
‑
log(p
t
(l
t
))
[0082]
第二个能量项ξ
s
(t，v，l
t
，l
v
)是为了使三维图像上的特征标记更平滑连续，我们定义ξ
s
(t，v，l
t
，l
v
)如下：
[0083]
[0084]
其中和θ
tv
分别表示三角面片t和v间的距离与二面角值。
[0085]
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。