基于FPGA的深度学习电阻抗成像系统及成像评价方法

基于fpga的深度学习电阻抗成像系统及成像评价方法
技术领域
1.本发明涉及电阻抗成像领域，具体是一种基于fpga的深度学习电阻抗成像系统及成像评价方法。


背景技术：

2.电阻抗成像技术(electrical impedance tomography,eit)是一种通过测量物体表面的电学特性以评估其内部电学特性，反映其结构特性的一种功能成像技术。电阻抗成像技术具有快速、非侵入式、无辐射、低成本、可移植性等优点，逐渐成为研究热点，它是继形态成像(x-ray)、结构成像(ct)后出现的新一代无损功能成像技术，在生物医学、工业检测、地球物理等方面具有广泛应用。
3.电阻抗成像系统通常由两部分组成：数据采集和图像重构。在数据采集部分中，数据采集控制部分按照一定顺序收集电极阵列上采集到的物体表面电学特性；图像重构部分将收集到的数据经过特定的算法还原物体结构特性。
4.解决电阻抗成像可分为正问题和逆问题。其中，从电阻抗分布到边界电压的映射称为电阻抗成像的正问题；从边界电压到电阻抗分布的映射称为电阻抗分布的逆问题。其中，关键点是解决逆问题。逆问题具有不适定性，表现在无解；解可能不稳定；解可能不唯一。
5.电阻抗成像技术经过30多年的发展，逐渐成为一种具有广阔应用前景的医学成像技术，但尚未能在临床医学及其他领域得到普及，其面临如下挑战：首先，当下电阻抗成像系统通常非端对端式，即数据采集系统与图像重构系统为两个分立的系统，数据采集后要经过图像重构系统才能完成成像，如一种基于深度学习的三维电阻抗成像系统(cn112754456)，该系统通过激励采集控制模块采集数据后将数据送入上位机进行重构成像。此种电阻抗成像系统存在缺陷，先采集数据再进行图像重构的方式导致系统变得复杂，且便携性较低，不适用于对成像即时性要求高的领域。目前基于深度学习算法的电阻抗成像系统，尚未实现将数据采集模块与成像算法模块集成于同一系统中；当前基于传统算法的电阻抗成像系统，虽能实现算法于数据采集的集成，但基于传统算法的电阻抗成像系统所得结果具有成像准确率不高的缺点。此外，现有的电阻抗成像技术领域，对于重建图像的精度与准确率，尚未建立一套权威统一的评判标准，大多采用计算图像相关系数(icc)的方法。此种方法无法有效判断重建图像与原始图像的空间位置差别。
6.另外，电阻抗成像技术成像逆问题存在较大的不适定性，表现在物体表面电学特性的微小变化会造成解的巨大变化，且现有的传统算法对区域中心的变化不敏感，对区域边界的变化敏感。
7.深度学习作为机器学习的重要子类，具有学习能力强、适应性强、可移植性好等优点，将其应用于电阻抗成像的逆问题，能够有效改善逆问题的适定性，提高成像分辨率。
8.可编程门阵列(fpga)的重要特点是可编程性，用户可以通过编程的形式实现所需的数字电路。fpga是提高小批量系统集成度、可靠性的最佳选择。
9.端对端，特指从最原始状态，直接得到结果的过程。目前应用深度学习的电阻抗成像系统中，通常为两段式，即数据采集模块与深度学习算法模块为两个分立的系统，中间通过usb、蓝牙等通信方式进行通信。


技术实现要素：

10.本发明公开一种基于深度学习算法的端对端电阻抗成像系统，其基于fpga控制板，将数据采集部分与图像重构部分集成在同一fpga控制板中，图像重构部分采用深度学习算法，提高算法的并行度，改善电阻抗成像逆问题的不适定性，提高重构图像的准确率以及还原成像速度。
11.本发明至少通过如下技术方案之一实现。
12.基于fpga的深度学习电阻抗成像系统，包括：微处理器模块、数据采集模块、深度学习算法模块以及成像显示模块；
13.所述数据采集模块用以向待测物体注入激励电流，采集待测物体表面边界电压；
14.所述深度学习算法模块包括深度学习算法模型，用于处理采集到的电压数据，以还原待测物体内部电阻抗分布，得到重建图像；
15.所述成像显示模块将所述深度学习算法模块得到的重建图像显示在屏幕上；
16.微处理器模块中划分不同的内存区域，各模块接入微处理器内核总线，以实现各模块间以及各模块与微处理器间的通信和数据交换。
17.优选的，所述数据采集模块包括电极采样阵列、激励电流源模块、数据选通阵列、降噪滤波模块；
18.所述电极采样阵列由传感器组成，用于向待测物体注入激励电流、采集待测物体表面边界电压；
19.所述激励电流源模块作为激励源加于待测物体表面，激励源由压控电流源生成；
20.所述数据选通阵列用于选通物体表面电极，确保激励电流源模块按相邻注入法的顺序向电极采样阵列注入激励电流，使所述数据选通阵列选通电极采样阵列采集边界电压；
21.所述降噪滤波模块用于滤除激励电流源的低频噪声干扰。
22.优选的，所述深度学习算法模块对数据选通阵列采集到的边界电压数据进行映射，重建待测物体内部结构图像。
23.优选的，所述深度学习算法模型，采用引入注意力机制的类自动编码器的深度学习算法，其中，输入的训练数据为数据选通阵列采集到的待测物体边界电压数据，所述电压数据经过卷积神经网络，输出重建后的物体图像。
24.优选的，所述深度学习算法模型，其构建过程如下：
25.步骤1、构建有限元模型，模拟待测物体内部不同的电阻抗分布情况，生成对应边界电压与原始图像，对边界电压进行预处理，对原始图像进行裁剪，得到边界电压-原始图像对；
26.步骤2、重复步骤1，构建深度学习算法所需的数据集，所述数据集包括具有不同成像目标、不同位置的边界电压与原始图像；对所述深度学习网络模型进行训练；
27.步骤3、保存步骤4训练好的模型参数，调用参数，在fpga核心板实现所述深度学习
算法模型结构，并将深度学习算法模块接入微处理器模块总线。
28.优选的，所述预处理步骤如下：
29.1)、对边界电压归一化，得到电压v
norm
；
30.2)、求出归一化后电压v
norm
的均值μ和方差σ2；
31.3)、预处理电压
32.优选的，步骤3中，所述深度学习模型是一个引入注意力机制的类自动编码器的cnn神经网络，所述cnn神经网络包括类自编码器模块、注意力模块，所述cnn神经网络损失函数为均方误差与交叉熵的组合，其中，原始图像与重建图像应用均方误差，原始图像感兴趣区域与重建图像感兴趣区域应用交叉熵；
33.所述注意力模块包括通道注意力模块与空间注意力模块，注意力模块的前一层输出特征与通道注意力权值相乘，得到通道注意力特征，通道注意力特征与空间注意力权值相乘，得到空间注意力特征，空间注意力特征作为所述注意力模块的输出；
34.所述通道注意力模块对输入特征分别做全局平均池化、全局最大池化，两次池化结果分别经过两层全连接层后，将两个结果相加，通过sigmoid将权值固定在(0,1)；
35.所述空间注意力模块对输入的特征做一次平均池化、一次最大池化，拼接两次池化的结果，再与卷积核进行卷积，通过sigmoid函数将权值固定在(0,1)。
36.优选的，cnn神经网络的损失函数表达式为：
[0037][0038]
其中，n为批量训练数量，y
true
为原始图像，y
pred
为重建图像，roi
true
为原始图像感兴趣区域，roi
pred
为重建图像感兴趣区域。
[0039]
优选的，原始图像感兴趣区域与重建图像感兴趣区域的建立过程如下：
[0040]
步骤1、将原始图像二值化，其中，背景部分为0，成像目标部分为1；
[0041]
步骤2、根据步骤1所得二值原始图像，找出所有成像目标的边界坐标；
[0042]
步骤3、根据成像目标的边界坐标得到包围所有边界的最小矩形坐标；
[0043]
步骤4、根据步骤3得到的最小矩形坐标对原始图像进行裁剪，得到原始图像roi，对重建图像进行裁剪，得到重建图像roi。
[0044]
实现所述的基于fpga的深度学习端对端式电阻抗成像系统的评价方法，包括以下步骤：
[0045]
1)、将全卷积核分别与重建图像x、原始图像y进行卷积操作；
[0046]
1.1)、若卷积核中间像素值为0，则不记录该卷积结果，若卷积核中间像素值不为0，则记录该卷积结果；
[0047]
1.2)、将卷积后的结果除以卷积核尺寸9，分别记为x’、y’；
[0048]
2)、记重建图像x’、原始图像y’的像素点分别为xi、yi，其中i＝1、2、3、
…
、n，n为图像像素点总数，则xi、yi有以下四种情况：
[0049]
2.1)、当xi＝yi＝0时，不进行记录；
[0050]
2.2)、当xi》0，yi》0时，记录
[0051]
2.3)、当xi》0，yi＝0时，记录m
p
＝xi；
[0052]
2.4)、当xi＝0，yi》0时，记录nq＝yi；
[0053]
其中，ek表示重建图像相对准确度，m
p
与nq表示重建图像与原始图像不匹配部分；
[0054]
3)、遍历图像所有像素点，根据上述的四种情况分别进行计算，最终的成像精度记为s，则其中，k为所述2.2)的情况总数，p为所述2.3)的情况总数，q为所述2.4)情况总数。
[0055]
与现有的技术相比，本发明的有益效果为：
[0056]
第一、本发明使用fpga核心板作为主控板，添加微处理器，移植操作系统，使整个电阻抗成像系统运行更为高效、安全。此外，引入处理器能同时兼顾性能与功耗；
[0057]
第二、采用深度学习算法解决电阻抗成像逆问题，与传统算法相比，能有效提高成像精度以及改善逆问题带来的不适定性；
[0058]
第三、传统电阻抗成像系统数据采集和成像剥离，数据采集后需经过某种通信协议传输至上位机进行成像。本发明将深度学习算法部署在fpga核心板上，使其成为微处理器外设的一部分，简化了系统流程，提高了成像速度；
[0059]
第四、本发明提出一种新型成像评价方法，解决了常用的图像相关系数(icc)评价方法无法准确评价原始图像与重建图像位置准确度的缺点。
附图说明
[0060]
下面结合附图和实施例对本发明进一步说明。
[0061]
图1为本发明系统框图；
[0062]
图2为本发明数据采集模块示意图；
[0063]
图3为本发明数据选通阵列框图；
[0064]
图4为本发明成像算法模块流程图；
[0065]
图5为本发明成像算法网络结构图；
[0066]
图6为本发明新型评价方法流程图。
具体实施方式
[0067]
以下将结合附图以及实施例对本发明进行充分、详尽地说明。应当注意，以下所述实施例仅是针对本发明的部分实施例，本发明不仅限于以下公开所述的示例性实施例。描述以下实施例仅为使本领域技术人员更好地理解本发明，而并非以任何形式限制本发明的保护范围。
[0068]
实施例1
[0069]
如图1所示，本发明提供一种基于fpga的深度学习电阻抗成像系统，所述系统大部分由fpga实现，在fpga移植微处理器内核，以搭载的微处理器作为主控核心，所述微处理器模块包括arm处理器内核、ahb总线模块、存储(ram、rom)模块，部署在fpga核心板上；所述微处理器外设数据采集模块、深度学习算法模块以及成像显示模块，在微处理器内存中划分
各自特定的内存区域，并接入微处理器内核总线，以实现各模块间以及各模块与微处理器间的通信和数据交换。
[0070]
微处理器模块作为所述电阻抗成像系统的主控核心，其具有体积小、低功耗、低成本、高性能的优势，引入微处理器模块后可移植操作系统。优选地，所述操作系统为freertos。
[0071]
数据采集模块用以向待测物体注入激励电流，采集其表面边界电压；
[0072]
深度学习算法模块包含注意力机制，部署在fpga核心板上，用于将采集到的电压数据进行图像重建，得到待测物体内部结构特性图像；
[0073]
用于处理采集到的电压数据，还原重建物体内部电阻抗分布，得到重建图像；本实施例使用vga接口的显示器，其作为微处理器外设的一部分连接至fpga核心板上。
[0074]
成像显示模块将所述深度学习算法模块得到的物体内部电阻抗分布重建图像显示在屏幕上。
[0075]
如图2所示，数据采集模块包括电极采样阵列、数据选通阵列、激励电流源模块、降噪滤波模块。
[0076]
其中，电极采样阵列用于由16个传感器组成，用于向待测物体注入激励电流、采集待测物体表面边界电压；电极采样阵列为均匀分布在待测物体表面边界的传感器阵列，本实施例中，待测物体为一种新型湿度柔性材料，形状为正方形。电极采样阵列包括16个柔性湿度传感器，均匀排列在待测物体四测边沿，即所述正方形的新型湿度柔性材料每条边上均匀排列4个所述柔性湿度传感器。
[0077]
所述数据选通阵列用于选通两个柔性湿度传感器用于注入电流以及选通两个柔性湿度传感器用于采集电压，使其按照相邻注入法的顺序向待测物体注入电流，采集边界电压。
[0078]
如图3所示，数据选通阵列包括四片max306芯片。其中，两片max306用于选通电流注入电极，两片max306用于选通电压采集电极。max306类似4-16译码器，通过控制每块max306的地址，选通相应的传感器。
[0079]
激励电流源模块由直接数字合成技术(dds)与压控电流源模块组成。所述直接数字合成技术在fpga实现，生成所需频率的正弦电压；
[0080]
所述压控电流源模块采用一片ad844中的三个运放，与电容电阻构成电压控制电流源(vccs)电路，将所需频率的正弦电压转换成相同频率的正弦电流，作为激励电流源。压控电流源模块所需目标频率的正弦电压输入利用直接数字合成技术(dds)由fpga核心板生成。
[0081]
降噪滤波模块用于消除采集到的电压信号实现从差分到单端的转换，消除共模干扰，方便后续成像模块的调用。本实施例中，降噪滤波模块采用由ad8130差分放大器搭建的差分放大电路组成。
[0082]
如图4所示，深度学习算法模块用于重建电阻抗图像，包括以下步骤：
[0083]
步骤1、在电阻抗断层成像开源软件eidors上根据待测物体的形状、电极个数建立有限元模型；
[0084]
步骤2、根据建立的有限元模型，模拟待测物体内部不同的电阻抗分布情况，生成对应边界电压与原始图像，对边界电压进行预处理，预处理步骤如下：
[0085]
1)、对边界电压归一化，得到电压v
norm
；
[0086]
2)、求出归一化后电压v
norm
的均值μ和方差σ2；
[0087]
3)、预处理电压
[0088]
对原始图像进行裁剪，裁剪大小为64
×
64，得到边界电压-原始图像对；
[0089]
步骤3、重复所述步骤2，构建深度学习算法所需的数据集：生成具有不同成像目标、不同位置的边界电压与原始图像，成像目标包括：1个圆形目标、2个圆形目标、1个矩形目标、2个矩形目标、1个圆形目标与1个矩形目标。成像目标位置随机产生；
[0090]
步骤4、根据所述步骤3得到的边界电压与原始图像，将边界电压作为所述深度学习模型的输入，原始图像作为所述深度学习模型的标签，对所述深度学习网络模型进行训练；
[0091]
步骤5、保存所述步骤4训练好的模型参数，调用参数，在fpga核心板实现所述深度学习算法模型，并将深度学习算法模块接入处理器总线。
[0092]
系统搭建完成后，fpga核心板可作为一个嵌入式系统，在keil上进行开发。所述数据采集模块、深度学习算法模块以及成像显示模块作为微处理器的外设部分，可在keil上操作微处理器内存，调用所述模块，实现其相互间的逻辑连接关系。
[0093]
深度学习算法模型为引入注意力机制的类自编码器模型，其中，注意力模块由通道注意力模块与空间注意力模块组成，加在类自编码器的第二反卷积层后，第三反卷积层前。深度学习算法模型搭建过程如下：
[0094]
s1、所述深度学习算法模型输入为208
×
1的边界电压数据，输出为64
×
64
×
3的重建图像；
[0095]
s2、所述深度学习算法模型损失函数为均方误差与交叉熵的组合，其中，原始图像与重建图像使用均方误差，原始图像感兴趣区域(roi)与重建图像感兴趣区域(roi)使交叉熵，具体表达式为：
[0096][0097][0098]
其中，n为批量训练数量，y
true
为原始图像，y
pred
为重建图像，roi
true
为原始图像感兴趣区域，roi
pred
为重建图像感兴趣区域；
[0099]
图像感兴趣区域定位通过确定包含所有成像目标的最小矩形来实现，原始图像roi与重建图像roi建立过程如下：
[0100]
步骤(1)、将原始图像二值化，其中，背景部分为0，成像目标部分为1；
[0101]
步骤(2)、根据所述步骤(1)所得二值原始图像，找出所有成像目标的边界坐标；
[0102]
步骤(3)、根据成像目标的边界坐标得到包围所有边界的最小矩形坐标；
[0103]
步骤(4)、根据所述步骤(3)得到的最小矩形坐标对原始图像进行裁剪，得到原始图像roi，对重建图像进行裁剪，得到重建图像roi。
[0104]
s3、注意力模块包括通道注意力模块与空间注意力模块，将输入特征与通道注意力权值相乘，得到通道注意力特征；通道注意力特征与空间注意力权值相乘，得到空间注意力特征；
[0105]
s3.1、通道注意力模块对输入特征分别做全局平均池化、全局最大池化，将两次池化结果分别经过两层全连接层，神经元数量分别为16、128，将两层全连接层的结果相加，通过sigmoid将权值确定在(0,1)；
[0106]
s3.2、空间注意力模块对输入的特征做一次平均池化、一次最大池化，将拼接两次池化的结果与7
×
7的卷积核进行卷积，步长为1，padding为same，通过sigmoid将权值确定在(0,1)。
[0107]
如图5所示，深度学习算法模型的网络结构包括：
[0108]
第一全连接层fc1：神经元数量为3072，激活函数为prelu；
[0109]
第二全连接层fc2：神经元数量为12288，激活函数为prelu；
[0110]
reshape层：将第二全连接层fc2重构成64
×
64
×
3维的特征图；
[0111]
第一卷积层conv1：卷积核维度为8
×3×
3，步长为1，padding为same，激活函数为prelu，该层的输出维度为64
×
64
×
8；
[0112]
第二卷积层conv2：卷积核维度为16
×3×
3，步长为1，padding为same，激活函数为prelu，该层输出维度为64
×
64
×
16；
[0113]
第一池化层maxpooling1：采用最大池化层，滑动窗口为2
×
2，步长为1，该层输出维度32
×
32
×
16；
[0114]
第三卷积层conv3：卷积核维度为32
×3×
3，步长为1，padding为same，激活函数为prelu，该层的输出维度为32
×
32
×
32；
[0115]
第二池化层maxpooling2：采用最大池化层，滑动窗口为2
×
2，步长为1，该层输出维度16
×
16
×
32；
[0116]
第四卷积层conv4：卷积核维度为64
×3×
3，步长为1，padding为same，激活函数为prelu，该层的输出维度为16
×
16
×
64；
[0117]
第三池化层maxpooling3：采用最大池化层，滑动窗口为2
×
2，步长为1，该层输出维度8
×8×
64；
[0118]
第五卷积层conv5：卷积核维度为128
×3×
3，步长为1，padding为same，激活函数为prelu，该层的输出维度为8
×8×
128；
[0119]
第六卷积层conv6：卷积核维度为256
×3×
3，步长为1，padding为same，激活函数为prelu，该层的输出维度为8
×8×
256；
[0120]
第五池化层maxpooling4：采用最大池化层，滑动窗口为2
×
2，步长为1，该层输出维度4
×4×
256；
[0121]
第七卷积层conv7：卷积核维度为512
×3×
3，步长为1，padding为same，激活函数为prelu，该层的输出维度为4
×4×
512；
[0122]
第一反卷积层trans_conv1：卷积核维度为256
×3×
3，步长为1，padding为same，激活函数为leakyrelu，该层的输出维度为4
×4×
256；
[0123]
第二反卷积层trans_conv2：卷积核维度为128
×3×
3，步长为1，padding为same，激活函数为leakyrelu，该层的输出维度为4
×4×
128；
[0124]
第三反卷积层trans_conv3：卷积核维度为64
×3×
3，步长为2，padding为same，激活函数为leakyrelu，该层的输出维度为8
×8×
64；
[0125]
第四反卷积层trans_conv4：卷积核维度为32
×3×
3，步长为2，padding为same，激
活函数为leakyrelu，该层的输出维度为16
×
16
×
32；
[0126]
第五反卷积层trans_conv5：卷积核维度为16
×3×
3，步长为2，padding为same，激活函数为leakyrelu，该层的输出维度为32
×
32
×
16；
[0127]
第六反卷积层trans_conv6：卷积核维度为8
×3×
3，步长为1，padding为same，激活函数为leakyrelu，该层的输出维度为32
×
32
×
8；
[0128]
第七反卷积层trans_conv7：卷积核维度为3
×3×
3，步长为2，padding为same，激活函数为leakyrelu，该层的输出维度为64
×
64
×
3。
[0129]
如图6所示，本发明提出的基于fpga的深度学习电阻抗成像系统及成像评价方法，用于对重建图像成像效果进行评估，用3
×
3全1卷积核对原始图像与重建图像施加权重，强化成像目标中心位置，弱化成像目标边缘位置；对原始图像与重建图像不匹配部分施加惩罚项，增强评价准确度，包括以下步骤：
[0130]
a1、将一个尺寸为3
×
3的全卷积核分别与重建图像x、原始图像y进行卷积操作：
[0131]
a1.1、若3
×
3的卷积核中间像素值为0，则不记录该卷积结果，
[0132]
a1.2、若3
×
3的卷积核中间像素值不为0，则记录该卷积结果，
[0133]
得到卷积后的结果，将其除以卷积核尺寸9，分别记为x’、y’；
[0134]
a2、记重建图像x’、原始图像y’的像素点分别为xi、yi，其中i＝1、2、3、
…
、n，n为图像像素点总数，则xi、yi有以下四种情况：
[0135]
a2.1、当xi＝yi＝0时，不进行记录；
[0136]
a2.2、当xi》0，yi》0时，记录
[0137]
a2.3、当xi》0，yi＝0时，记录m
p
＝xi；
[0138]
a2.4、当xi＝0，yi》0时，记录nq＝yi；
[0139]
其中，ek表示重建图像相对准确度，m
p
与nq表示重建图像与原始图像不匹配部分；
[0140]
a3、遍历图像所有像素点，根据上述的四种情况分别进行计算，最终的成像精度记为s，则其中，k为所述步骤a2.2情况总数，p为所述步骤a2.3情况总数，q为所述步骤a2.4情况总数。
[0141]
实施例2
[0142]
本发明可以进行动态电阻抗成像。与实施例1过程类似，可将待测物体换成水槽，电极采样阵列换成柔性pcb材料，带有16个传感器，均匀环绕水槽外部。水槽中加水至没过电极采样阵列，将一重物至于水中，优选地，所选重物为圆柱形塑料棒。在fpga中更改设置，将数据采集模块的采集速率改为每秒采集一次。此时，可改变圆形塑料棒在水槽中的位置，数据采集模块每隔一秒采集水槽的边界电压，输入成像算法模块，得到重建图像进行成像。
[0143]
实施例3
[0144]
在处理器内核上移植linux操作系统，优选地，所述linux操作系统为ubuntu。将实施例1中训练好的深度学习算法模型部署在所述linux操作系统上，接收数据采集模块采集的电压数据作为输入，进行成像。
[0145]
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，
可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。