一种基于脉冲神经网络U型模型的烧伤区域分割系统的制作方法

一种基于脉冲神经网络u型模型的烧伤区域分割系统
技术领域
1.本发明涉及烧伤医疗图像处理领域，尤其是涉及一种基于脉冲神经网络u型模型的烧伤区域分割系统。


背景技术：

2.烧伤是由于热力(火焰，热液，热蒸汽)、电流、放射线、化学物质等引起的人体组织损伤。烧伤不仅是对于皮肤的损伤，还可以深达肌肉、骨骼，严重者能引起休克、感染。深度烧伤创面愈合需要二十一天，常需要手术救治，且回复后皮肤失去弹性，干燥无渗液，需要手术植皮治疗，愈合后有瘢痕。
3.烧伤医疗图像处理对于烧伤的治疗有着至关重要的影响。一般情况下正确的早期处理，可以减轻烧伤的损伤程度，降低并发症以及死亡率。但是现有的检测手段类似于组织穿刺活检技术、活体染色检测技术、热成像技术等手段的检测方法复杂且费用昂贵，因此没有在临床被大规模的使用。随着图像分割算法的发展，其对于计算速度以及时效性提出了更高的要求，因此，作为在新兴的神经形态硬件上实现高效节能的脉冲神经网络，对提高图像分割算法速度以及时效性起到至关重要的作用。
4.脉冲神经网络(spiking-neuron-networks，snn)被誉为第三代神经网络，其对神经元的模拟更加接近实际大脑，并且将时间信息空间信息都考虑在内，比现有的人工神经网络具有更真实的生理特征和更高的计算效率。脉冲神经网络已经在手写数字识别、语音识别等领域中达到良好的效果。将脉冲神经网络技术与烧伤图像区域诊断相结合，为智能医疗提供了新思路，使得烧伤创面判别不在依靠医生的主观经验，而是采用半自动化的手段来提高判断准确率。不仅仅提高了患者的生命安全，还为患者节约救治前检测时间。


技术实现要素：

5.为解决现有技术的不足，识别烧伤区域，从而实现烧伤区域的分割，同时实现对人工神经网络降低耗能、减小时延的目的，本发明采用如下的技术方案：
6.一种基于脉冲神经网络u型模型的烧伤区域分割系统，包括：图像采集装置、神经网络，所述图像采集装置用于采集患者烧伤部位的烧伤图像，所述神经网络包括脉冲神经网络u型模型和脉冲耦合神经网络，脉冲神经网络u型模型包括神经元膜电位更新及发放脉冲层、下采样层、上采样层、特征融合层和优化损失模块，通过采集的图像进行烧伤区域分割的训练，并通过训练好的脉冲神经网络u型模型分割烧伤区域，将得到烧伤区域分割结果，脉冲耦合神经网络计算自适应阈值对烧伤区域分割结果进行二值化，得到可视化结果。
7.所述神经元膜电位更新及发放脉冲层，用于更新神经元膜电压及提取发放图像特征脉冲，更新神经元膜电压采用lif(leaky integrate-and-fire)神经元模型，将图像脉冲输入脉冲神经网络u型模型，进行时空间反向传播，迭代更新网络参数，时空间反向传播算法相较于现有的神经网络算法不仅仅考虑了空间域上的反向传播，还考虑了时间域上的时间可塑性，并且采用梯度替换的方法解决了脉冲不可求导的问题；现有脉神经网络算法往
往只考虑空间维度而忽视了时间维度，时空间反向传播神经元模型采用模拟时间窗口，使时间维度得以应用，将反向传播分解为垂直路径和水平路径，分别代表时间维度和空间维度，即每个神经元对来自上层的加权误差信号进行累积，并迭代更新不同层的参数，模拟时间窗口指神经元迭代脉冲序列的模拟时间步；
8.所述下采样层与神经元膜电位更新及发放脉冲层连接，用于图像压缩，每经过一个下采样层就提取一个特征尺度，神经网络的主要工作原理是提取图像特征，由于空间位置和绝对尺寸的改变对神经元膜电位更新及发放脉冲结果的影响不大，特征的提取更依赖于其相对位置，因此，对输出特征图进行池化并不会对特征的提取效果造成太大影响，由于特征图的尺寸减小，等效于网络的感受野扩大，使得网络提取特征的广泛性得到了提高，同时网络参数的数量和神经元膜电位更新及发放脉冲运算量也会下降，这不仅加快了网络的运算速度，也在一定程度上也控制了过拟合；
9.所述上采样层与神经元膜电位更新及发放脉冲层连接，用于图像解码，每经过一个上采样层，就和对应的特征提起部分，通过特征融合层进行一个拼接，通过将通道维度相同的层级拼接操作，补充图像信息，增加了网络对于特征提取的效率，并且减少数据的损失；
10.所述优化损失模块，计算脉冲神经网络u型模型输出的损失值，通过adam优化器训练模型；
11.所述脉冲耦合神经网络(pcnn)，通过自适应阈值，对分割后图像的每一个像素点进行二值化，将未烧伤标为1，烧伤区域标为0，输出烧伤区域分割结果，以提高分割的可视化效果。
12.进一步地，还包括预处理模块，预处理包括：裁剪烧伤图像尺寸大小；手动分割烧伤与非烧伤区域，生成的图像作为模型训练的标签；采用水平翻转、竖直翻转、gamma变换对数据图像进行数据增广。
13.进一步地，还包括数据特征强化模块，特征强化包括：对数据进行灰度变换；采用对比度受限的直方图均衡化增强图像中血管与背景对比度。
14.进一步地，采用对比度受限的直方图均衡化增强图像中血管与背景对比度，是先求出原图像的直方图分布，然后计算原图直方图的累计概率分布，最后再进行映射，其公式可表达为：
[0015][0016]
其中a为原图，h为直方图，l为灰度级，a0为像素点个数。
[0017]
进一步地，lif(leaky integrate-and-fire)神经元模型更新神经元膜电压，采用如下公式：
[0018][0019]
其中τ是时间常数，u是膜电压，i是突触前输入，v
t
h是给定的脉冲发放阈值，v
reset
为神经元发放脉冲后膜电压的复位电压。
[0020]
进一步地，图像实值编码为图像脉冲采用的是伯努利采样编码，在给定模拟时间
窗口t内，进行尖刺抽样，抽样的概率遵循伯努利分布，公式为：
[0021]
p(x＝1)＝p,p(x＝0)＝1-p,0《p《1
[0022]
其中：p代表发放脉冲的概率，x＝1为发放脉冲，x＝0为不发放脉冲。
[0023]
进一步地，更新神经元膜电压的表达式为：
[0024][0025]
其中t是神经元迭代时间步，k
τ1
表示神经元膜电压衰减因子，u
t
是神经元膜电压，k
τ1ut
为衰减后的神经元膜电压值，wj为神经元权重值，o
t
是神经元发放的脉冲，∑jwjo
t
(j)为脉冲输入线性求和值，i为外部输入，u
t 1
即为外部输入在每一个时间步与衰减后的神经元膜电压值以及脉冲输入线性求和值的和。
[0026]
进一步地，下采样层为池化层。
[0027]
进一步地，损失值的计算，采用均方损失函数，公式如下：
[0028]
loss(xi,yi)＝(x
i-yi)2[0029]
其中i为矩阵遍历的下标，xi为网络输出值，yi为标签目标值。
[0030]
进一步地，脉冲耦合神经网络采用eckhorn神经元，其公式如下：
[0031][0032]
其中，n为迭代到第n个eckhorn神经元，f
ij
[n]为神经元的外部输入，s
ij
为外部输入激励信号，l
ij
[n]为神经元的连接输入，w
ijkl
为神经元对相邻神经元输出的影响程度，y
kl
[n-1]为神经元的脉冲输出，u
ij
[n]为神经元内部状态，β为调制场的连接系数，调节邻近神经元内部活动，控制输入信号的组合强度，y
ij
[n]为通过比较神经元内部状态和发放脉冲阈值来决定是否发放脉冲的脉冲发放函数，t
ij
[n]为神经元的动态阈值，α
t
为阈值衰减系数调节神经元分辨率，v
t
为脉冲调制系数；外部图像从f
ij
[n]输入经过与相邻神经元值的计算，得到当前时间步神经元内部状态u
ij
[n]，然后根据前一时间步的内部状态，计算神经元的发放脉冲的动态阈值，由神经元的当前内部状态与发放脉冲的动态阈值相比较，判断下一时间步是否发放脉冲。
[0033]
本发明的优势和有益效果在于：
[0034]
本发明提出了改进的脉冲神经网络u型模型，作为第三人工神经网络，与经典的人工神经网络相比，充分模拟人脑的智能性和低功耗计算的特点，并且脉冲神经网络具有记忆，本质上是随时间变化的；本发明提出时空间反向传播，与传统只在空间上进行的反向传播相比，增加了时序反向传播，在反向传播的过程中同时考虑空间方向和时间反向显著提高了网络模型的精度；本发明提出的自适应阈值pcnn分类器，与硬阈值分割相比较一定程度上提高了分割的准确率。
附图说明
[0035]
图1是本发明系统运行过程的流程图。
[0036]
图2是本发明中脉冲神经网络u型网络模型。
[0037]
图3是本发明中lif神经元模型。
[0038]
图4是本发明中eckhorn神经元模型。
具体实施方式
[0039]
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
[0040]
一种基于脉冲神经网络u型模型的烧伤区域分割系统，是使用摄像头采集患者烧伤图片后，经过烧伤图片的预处理和数据增强等操作之后，将其输入脉冲神经网络的u型模型中，得到烧伤区域分割的灰度图，再通过pcnn计算自适应阈值来进行二值化，以得到二值化的分割图片，最终输出分割图像。
[0041]
如图1所示，本发明的系统运行过程，包括如下步骤：
[0042]
s1：采集烧伤图片，使用摄像头采集患者烧伤部位的烧伤图像数据；
[0043]
s2：对烧伤图片进行预处理和数据特征强化；
[0044]
s21：对烧伤图片进行数据预处理，预处理包括：
[0045]
1)裁剪烧伤图片尺寸大小；
[0046]
2)手动分割烧伤与非烧伤区域，生成的图像作为模型训练的标签；
[0047]
3)采用水平翻转、竖直翻转、gamma变换对数据图像进行数据增广；其中gamma变换是对输入图像灰度值进行得非线性操作，使输出图像灰度值与输入图像灰度值呈指数关系：
[0048][0049]
其中，v
out
为gamma变换后图像，v
in
为输入图像，γ即gamma系数。gamma变换就是用来图像增强，其提升了暗部细节，简单来说就是通过非线性变换，让图像从暴光强度的线性响应变得更接近人眼感受的响应，即将过曝或过暗的图片，进行矫正。s22：对烧伤图片进行数据特征强化，数据特征强化包括：
[0050]
1)对数据进行灰度变换；
[0051]
2)采用对比度受限的直方图均衡化(contrast limited adaptive histogram equalization，clahe)来增强图像中血管与背景对比度，clahe的具体做法是先求出原图的直方图分布，然后计算原图直方图的累计概率分布，最后再进行映射，其公式可表达为：
[0052][0053]
其中a为原图，h为直方图，l为灰度级，a0为像素点个数；
[0054]
s3：将数据输入脉冲神经网络u型模型进行训练；
[0055]
s31：搭建如图2所示的脉冲神经网络u型模型，构建神经元lif模型；
[0056]
其中脉冲神经网络u型模型包括神经元膜电位更新及发放脉冲层(neuron_update)，下采样层(avg_pooling)，上采样层(upsamping)，特征融合层(cat)等网络层。
[0057]
其中u型模型左边的膜电位更新及发放脉冲层和下采样层起到图像压缩的功能，
下采样主要采用池化层，每经过一个池化层(avg_pooling)就提取一个特征尺度。神经网络的主要工作原理是提取图像特征，由于空间位置和绝对尺寸的改变对神经元膜电位更新及发放脉冲结果的影响不大，特征的提取更依赖于其相对位置。因此，对输出特征图进行池化并不会对特征的提取效果造成太大影响。由于特征图的尺寸减小，等效于网络的感受野扩大，使得网络提取特征的广泛性得到了提高，同时网络参数的数量和神经元膜电位更新及发放脉冲运算量也会下降，这不仅加快了网络的运算速度，也在一定程度上也控制了过拟合。
[0058]
u型模型右边的膜电位更新及发放脉冲层和上采样层起到图像解码的作用，每经过一个上采样层(upsampling)，就和对应的特征提起部分进行一个拼接，通过将通道维度相同的层级拼接操作补充图像信息增加了网络对于特征提取的效率,并且减少数据的损失。
[0059]
s32：由于神经元中传输数据依靠的是脉冲数据，故需要对输入图像实值进行伯努利
[0060]
采样编码，得到图像脉冲；
[0061]
s33：如图3所示的lif神经元模型作为neuron_update代替传统的卷积模型，搭建脉冲神经网络，将图像脉冲输入脉冲神经网络进行时空间反向传播迭代更新网络参数；其迭代表达式为：
[0062][0063]
其中t是神经元迭代时间步，u
t
是神经元膜电压，o
t
是神经元发放的脉冲，k
τ1
表示神经元膜电压衰减因子，wj为神经元权重值。图中i为外部输入，k
τ1ut
为衰减后的神经元膜电压值，∑jwjo(j)为脉冲输入线性求和值，u
t 1
为外部输入在每一个时间步与衰减后的神经元膜电压值以及脉冲输入线性求和值的和；
[0064]
s34：计算模型输出的loss值，通过adam优化器训练模型；
[0065]
s4：将训练后的脉冲神经网络u型模型用于烧伤区域分割，使用训练后的脉冲神经网络u型模型分割烧伤区域，得到烧伤区域分割结果；
[0066]
使用训练后的脉冲神经网络u型模型分割烧伤区域，得到烧伤区域分割结果；
[0067]
s5：采用pcnn的方法处理分割后图像，输出烧伤区域分割结果；步骤s5使用训练后的脉冲神经网络u型模型对未进行标注的烧伤图片进行分割，分割主要通过脉冲耦合神经网络(pcnn)自适应阈值对每一个像素点进行二值化，未烧伤标为1，烧伤区域标为0，达到分割的效果。
[0068]
如图4所示，步骤s5使用脉冲耦合神经网络计算自适应阈值对未进行标注的烧伤图片进行分割。其中pcnn采用的是eckhorn神经元。eckhor神经元模型如图4所示：分割主要通过脉冲耦合神经网络自适应阈值对每一个像素点进行二值化，未烧伤标为1，烧伤区域标为0，达到分割的效果。其公式如下：
[0069][0070]
其中，n为迭代到第n个eckhorn神经元，f
ij
[n]为神经元的外部输入，s
ij
为外部输入激励信号，l
ij
[n]为神经元的连接输入，w
ijkl
为神经元对相邻神经元输出的影响程度，y
kl
[n-1]为神经元的脉冲输出，u
ij
[n]为神经元内部状态，β为调制场的连接系数，调节邻近神经元内部活动，控制输入信号的组合强度，y
ij
[n]为通过比较神经元内部状态和发放脉冲阈值来决定是否发放脉冲的脉冲发放函数，t
ij
[n]为神经元的动态阈值，α
t
为阈值衰减系数调节神经元分辨率，v
t
为脉冲调制系数。
[0071]
外部图像从f
ij
[n]输入经过与相邻神经元值的计算得到当前时间步神经元内部状态u
ij
[n]，然后根据前一时间步的内部状态计算神经元的发放脉冲的动态阈值。由神经元的当前内部状态与发放脉冲的动态阈值相比较判断下一时间步是否发放脉冲。
[0072]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。