一种眼底视网膜OCTA图像融合方法及系统

技术特征：
1.一种眼底视网膜octa图像融合方法，其特征在于，包括以下步骤：步骤1，采集眼底视网膜octa图像数据，对同一只眼睛同一区域采集10组数据，然后对图像进行预处理，包括：图像直方图匹配、运动伪影的检测以及样条分离、样条图像配准、样条图像拼接融合；利用预处理后的图像数据，构建深度学习的训练数据集；步骤2，搭建深度卷积神经网络模型，对深度卷积神经网络模型进行训练；步骤3，构建混合损失函数，通过所述混合损失函数对octa图像的小血管进行提取，利用混合损失函数计算小血管图像的多尺度结构相似性和平均绝对误差l1来训练深度卷积神经网络，获得网络模型参数；步骤4，利用训练后的深度卷积神经网络模型对测试集图像进行预测，网络输出即为融合后的高质量图像。2.如权利要求1所述的一种眼底视网膜octa图像融合方法，其特征在于，所述步骤1中运动伪影的检测以及样条分离的具体步骤如下：首先计算图像中每一列的像素的平均值以及全图所有像素的平均值，其中均值大于1.5倍得到全图像素平均值的列被认为是运动伪影，根据检测出的运动伪影的位置，将对应得到图像分成多个没有运动伪影的样条图像。3.如权利要求1所述的一种眼底视网膜octa图像融合方法，其特征在于，所述步骤1中样条图像配准的具体步骤如下：获得10张图像的样条图像后，通过基于相位相关的配准算法对大血管进行粗配准，再通过基于非刚性配准算法对小血管进行细配准。4.如权利要求1所述的一种眼底视网膜octa图像融合方法，其特征在于，所述步骤1中样条图像拼接融合的具体步骤如下：将配准后的样条图像按照重叠区域大小来进行融合，采用的融合算法是小波融合算法。5.如权利要求1所述的一种眼底视网膜octa图像融合方法，其特征在于，所述步骤1中构建深度学习的训练数据集的具体步骤如下：将预处理后多张融合的图像作为训练的标签图像，该数据集中包含成对的单张图像和标签图像。6.如权利要求1所述的一种眼底视网膜octa图像融合方法，其特征在于，所述步骤2中，搭建深度卷积神经网络模型具体为：以步骤1生成的训练数据集中的成对的单张图像和标签图像作为输入，构建一个深度卷积神经网络模型，该深度卷积神经网络采用17层的网络结构，分为三个部分：第一部分是由一个卷积层和激活函数组成，第二部分是由卷积层、批量归一化和激活函数组成，第三部分是一个卷积层。7.如权利要求1所述的一种眼底视网膜octa图像融合方法，其特征在于，所述步骤3中构建混合损失函数，具体包括：构建多尺度结构相似性ms-ssim为：其中是区域中间像素值；构建l1损失函数为：其中p是像素值，x(p)是预测图像的像素值，y(p)是标签图像的像素值；构建优化目标函数，该优化目标函数为混合损失函数：
其中α是权重系数，是计算ms-ssim中的第m个尺度的高斯核；利用反向传播算法，求解目标函数关于系数的偏导数，同时对深度卷积神经网络各层参数利用随机梯度下降进行参数更新学习。8.一种眼底视网膜octa图像融合系统，其特征在于，包括：图像采集和预处理模块，用于采集眼底视网膜octa图像数据，对同一只眼睛同一区域采集10组数据，然后对图像进行预处理；深度卷积神经网络模型构建模块，用于搭建深度卷积神经网络模型，对深度卷积神经网络模型进行训练；混合损失函数构建模块，用于构建混合损失函数，通过所述混合损失函数对octa图像的小血管进行提取，利用混合损失函数计算小血管图像的多尺度结构相似性和平均绝对误差l1来训练深度卷积神经网络，获得网络模型参数；图像融合模块，用于利用训练后的深度卷积神经网络模型对测试集图像进行预测，网络输出即为融合后的高质量图像。

技术总结
本发明公开了一种眼底视网膜OCTA图像融合方法及系统，包括以下步骤：采集眼底视网膜OCTA图像数据，对同一只眼睛同一区域采集10组数据，然后对图像进行预处理，利用预处理后的图像数据，构建深度学习的训练数据集；搭建深度卷积神经网络模型，对深度卷积神经网络模型进行训练；构建混合损失函数，通过所述混合损失函数对OCTA图像的小血管进行提取，利用混合损失函数计算小血管图像的多尺度结构相似性和平均绝对误差L1来训练深度卷积神经网络，获得网络模型参数；利用训练后的深度卷积神经网络模型对测试集图像进行预测，网络输出即为融合后的高质量图像。本发明通过深度卷积网络来对图像进行融合，图像处理质量好。图像处理质量好。图像处理质量好。


技术研发人员：张泓凯
受保护的技术使用者：佛山科学技术学院
技术研发日：2022.01.21
技术公布日：2022/4/29