基于模型无关元学习的小样本糖尿病视网膜病变分类系统的制作方法

1.本发明属于机器学习领域，具体涉及到一种基于困难任务感知模型无关元学习的小样本糖尿病视网膜病变分类系统。


背景技术：

2.本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
3.糖尿病视网膜病变是导致失明的主要原因之一。彩色眼底图像的分类对糖尿病视网膜病变的防治具有重要意义。有效的计算机辅助分类技术可以大大节省眼科医生诊断的时间，提高糖尿病视网膜病变分类的效率和准确率。
4.近年来，基于深度学习的糖尿病视网膜病变分类研究取得了很大的进步。然而，深度学习方法往往需要大量的训练数据来训练模型。在现实生活中带标签的数据通常是有限的，而对于糖尿病视网膜病变来说，收集大量各种病变程度的图像是非常困难的。并且，由于图像成像时光线亮度等因素的干扰，视网膜图像中的病变有时与背景区分度不大，更难以划分病变的程度。


技术实现要素：

5.本发明要解决的技术问题是：提供一种基于困难任务感知模型无关元学习的小样本糖尿病视网膜病变分类方法，通过对小样本糖尿病视网膜病变分类模型的优化，在新类别的糖尿病视网膜病变分类任务中达到了较高的准确率。
6.为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
7.一种基于模型无关元学习的小样本糖尿病视网膜病变分类系统，包括：
8.数据获取模块，被配置为：获取待分类糖尿病视网膜病变图像；
9.图像分类模块，被配置为：基于小样本糖尿病视网膜病变分类模型对所述待分类糖尿病视网膜病变图像进行分类；
10.其中，所述分类模型采用模型无关的元学习方法训练得到，模型中损失函数采用困难任务感知损失函数：
[0011][0012]
式中，μ为调整因子，σ是满足的最小正整数，为交叉熵损失函数。
[0013]
进一步地，所述小样本糖尿病视网膜病变分类模型训练方法为：
[0014]
获取包含多种类别的糖尿病视网病变数据，基于其中部分类别的数据构建元训练集，基于其他类别的数据构建元测试集；
[0015]
采用元训练集对预先构建的卷积神经网络模型进行元训练；采用元测试集对模型
进行测试，并进行调参；最终得到小样本糖尿病视网膜病变分类模型。
[0016]
进一步地，构建元训练集和元测试集后，还分别从元训练集和元测试集抽取数据，构建元训练任务和元测试任务；
[0017]
采用多个元训练任务对预先构建的卷积神经网络进行元训练，得到小样本糖尿病视网膜病变分类模型；
[0018]
采用多个元测试任务对分类模型进行测试，并进行调参。
[0019]
进一步地，元测试任务包括支持集和查询集，在多个元测试任务的支持集上进行微调，在查询集上进行测试。
[0020]
进一步地，包括以下步骤：
[0021]
获取包含多种类别的糖尿病视网病变数据，基于其中部分类别的数据构建元训练集，基于其他类别的数据构建元测试集；
[0022]
采用元训练集对预先构建的卷积神经网络模型进行元训练；采用元测试集对模型进行测试，并进行调参；最终得到小样本糖尿病视网膜病变分类模型；
[0023]
模型中损失函数采用困难任务感知损失函数：
[0024][0025]
式中，μ为调整因子，σ是满足的最小正整数，为交叉熵损失函数。
[0026]
进一步地，构建元训练集和元测试集后，还分别从元训练集和元测试集抽取数据，构建元训练任务和元测试任务；
[0027]
采用多个元训练任务对预先构建的卷积神经网络进行元训练，得到小样本糖尿病视网膜病变分类模型；
[0028]
采用多个元测试任务对分类模型进行测试，并进行调参。
[0029]
进一步地，元测试任务包括支持集和查询集，在多个元测试任务的支持集上进行微调，在查询集上进行测试。
[0030]
一个或多个实施例提供了一种基于模型无关元学习的小样本糖尿病视网膜病变分类模型训练系统，包括：
[0031]
数据集获取模块，被配置为：获取包含多种类别的糖尿病视网病变数据，基于其中部分类别的数据构建元训练集，基于其他类别的数据构建元测试集；
[0032]
元学习模块，被配置为：采用元训练集对预先构建的卷积神经网络模型进行元训练；采用元测试集对模型进行测试，并进行调参；最终得到小样本糖尿病视网膜病变分类模型；
[0033]
模型中损失函数采用困难任务感知损失函数：
[0034][0035]
式中，μ为调整因子，σ是满足的最小正整数，为交叉熵损失函数。
[0036]
一个或多个实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现所述的分类模型训练方法。
[0037]
一个或多个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的分类模型训练方法。
[0038]
以上一个或多个技术方案具有以下技术效果：
[0039]
提出了基于困难任务感知模型无关元学习的小样本糖尿病视网膜病变分类方法，具体来说，该模型通过在元训练任务上训练获取先验知识，使小样本糖尿病视网膜病变分类模型在面对新的小样本分类任务时能快速适应且有较好的分类效果；
[0040]
应用了模型无关元学习来解决小样本糖尿病视网膜病变分类问题，缓解了样本数据不足带来的影响；
[0041]
提出了困难任务感知来优化元训练过程，通过调整损失函数可以使元学习器将更大的权重放在困难任务上，提高了小样本糖尿病视网膜病变分类模型在有限数据下的快速适应能力和分类准确率。
附图说明
[0042]
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
[0043]
图1为本发明一个或多个实施例中一种基于困难任务感知模型无关元学习的小样本糖尿病视网膜病变分类系统的原理示意图；
[0044]
图2为本发明一个或多个实施例中一种基于模型无关元学习的小样本糖尿病视网膜病变分类系统的架构图；
[0045]
图3为本发明一个或多个实施例中一种基于困难任务感知模型无关元学习的小样本糖尿病视网膜病变分类模型训练方法的流程图。
具体实施方式
[0046]
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
[0047]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0048]
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0049]
元学习可以很好的解决小样本分类问题。它的本质是从多个相似任务中学习先验知识并快速适应新的任务。作为最经典的元学习方法之一的模型无关元学习旨在优化模型。模型无关元学习的核心思想是在元训练过程中通过梯度下降获得模型的最优初始化参数，当应用于数据有限的新任务时，通过几步梯度更新就可以达到最佳性能。此外，模型无关元学习算法具有模型无关性和通用性，非常适合小样本糖尿病视网膜病变分类。
[0050]
实施例一
[0051]
本实施例提供了一种基于模型无关元学习的糖尿病视网膜病变分类系统，利用小样本糖尿病视网膜病变分类模型通过对多个相似任务的学习来获取先验知识，并利用先验知识在元测试阶段实现快速准确的小样本糖尿病视网膜病变分类。
[0052]
结合图1和图2，所述系统具体包括：
[0053]
数据获取模块，被配置为：获取待分类糖尿病视网膜病变图像；
[0054]
图像分类模块，被配置为：基于小样本糖尿病视网膜病变分类模型对所述待分类糖尿病视网膜病变图像进行分类；
[0055]
其中，所述小样本糖尿病视网膜病变分类模型基于模型训模块得到，所述模型训练模块具体包括：
[0056]
数据集获取模块，被配置为：获取包含多种类别的糖尿病视网病变数据，基于其中部分类别的数据构建元训练集，基于其他类别的数据构建元测试集，分别用于元训练和元测试；
[0057]
本实施例基于亚太远程眼科学会提供的公开糖尿病视网病变检测数据集，获取多种类别的糖尿病视网病变数据，具体包括五种类别：健康、轻度非增殖性糖尿病视网膜病变、中度非增殖性糖尿病视网膜病变、重度非增殖性糖尿病视网膜病变和增殖性糖尿病视网膜病变。这五种类别的彩色眼底图像数量分别是1805、370，999，193和295。
[0058]
元训练集为健康、轻度非增殖性糖尿病视网膜病变、中度非增殖性糖尿病视网膜病变三种病变类别，用于元训练；元测试集为重度非增殖性糖尿病视网膜病变和增殖性糖尿病视网膜病变两种病变类别用于，元测试。
[0059]
模型无关元学习模块，被配置为包括：
[0060]
元任务构建子模块，被配置为：分别从元训练集和元测试集抽取数据，构建元训练任务和元测试任务，每个元训练任务或元测试任务都包括支持集和查询集；
[0061]
元训练任务和元测试任务分别由元训练集和元测试集随机采样的两个类别组成。采用n
‑
way k
‑
shot方式，本实施例中，按照2
‑
way k
‑
shot方式，支持集设置为每个类别k个样本，查询集设置为每个类别20个样本，其中将k设置为3和5。
[0062]
模型训练子模块，被配置为：采用多个元训练任务对预先构建的卷积神经网络进行元训练，得到小样本糖尿病视网膜病变分类模型；
[0063]
本实施例中，为训练得到小样本糖尿病视网膜病变分类模型，预先构建了卷积神经网络模型，包括4层卷积层
‑
最大池化层、全连接层和输出层，并设置模型的超参数，包括内环学习率，外环学习率，批尺寸，梯度更新步数，优化器和迭代次数等；具体地，内环学习率设置为0.001、外环学习率为0.01，批尺寸为3，梯度更新步数为5，采用adam优化，迭代次数为6000次。网络结构参数如表1所示。
[0064]
表1 网络结构参数
[0065][0066]
在元训练任务的支持集和查询集进行梯度下降更新特定任务的参数。
[0067]
小样本糖尿病视网膜病变分类模型在元训练阶段对支持集进行内环更新，具体表达式为：
[0068][0069]
式中模型的初始化参数θ在元训练任务t
i
进行m次梯度下降后参数更新为其中α是内环学习率，ε表示梯度下降ε次，ε∈[0,m]，是损失函数，是梯度，其中损失函数选用交叉熵损失函数，表达式为：
[0070][0071]
式中，x
(j)
是彩色眼底图像，y
(j)
是对应的类别。
[0072]
一般来说，模型无关元学习对随机抽样的元任务是平等对待的，困难任务总是很难学习。困难任务感知方法通过改变困难任务的权重，可以提高元训练阶段的有效性。本实施例对损失函数进行调整，构建了困难任务感知函数，表达式为：
[0073][0074]
式中，μ为调整因子，σ是满足的最小正整数。
[0075]
具体更新后的元学习参数表达式为：
[0076][0077]
式中，β是外环学习率，经过几次外环，元学习参数θ可逐渐接近最优初始化参数。
[0078]
模型测试子模块，被配置为：在元测试任务的支持集上进行微调，并在查询集上进行测试，最终实现基于困难任务感知模型无关元学习的小样本糖尿病视网膜病变分类。具体来说，小样本糖尿病视网膜病变分类模型利用最优初始化参数，对包含重度非增殖性糖尿病视网膜病变和增殖性糖尿病视网膜病变的元测试任务上的支持集进行微调，并在查询集上完成基于困难任务感知模型无关元学习的小样本糖尿病视网膜病变分类。参照表2，在2
‑
way 3
‑
shot和2
‑
way 5
‑
shot实验下，最高可达到0.713和0.761的准确率，实现了新类别小样本糖尿病视网膜病变的分类。
[0079]
表2 不同参数下小样本糖尿病视网膜病变分类模型准确度对比
[0080][0081]
小样本糖尿病视网膜病变分类模型利用最优初始化参数，对包含重度非增殖性糖尿病视网膜病变和增殖性糖尿病视网膜病变的元测试任务上的支持集进行微调，并在查询集上完成基于困难任务感知模型无关元学习的小样本糖尿病视网膜病变分类。
[0082]
实施例二
[0083]
本实施例的目的是提供基于模型无关元学习的小样本糖尿病视网膜病变分类模型训练方法，如图3所示，包括以下步骤：
[0084]
获取包含多种类别的糖尿病视网病变数据，基于其中部分类别的数据构建元训练集，基于其他类别的数据构建元测试集；
[0085]
采用元训练集对预先构建的卷积神经网络模型进行元训练；采用元测试集对模型进行测试，并进行调参；最终得到小样本糖尿病视网膜病变分类模型。
[0086]
实施例三
[0087]
本实施例的目的是提供一种基于模型无关元学习的小样本糖尿病视网膜病变分类模型训练系统，包括：
[0088]
数据集获取模块，被配置为：获取包含多种类别的糖尿病视网病变数据，基于其中部分类别的数据构建元训练集，基于其他类别的数据构建元测试集；
[0089]
元学习模块，被配置为：采用元训练集对预先构建的卷积神经网络模型进行元训练；采用元测试集对模型进行测试，并进行调参；最终得到小样本糖尿病视网膜病变分类模型。
[0090]
实施例四
[0091]
本实施例的目的是提供一种电子设备。
[0092]
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如实施例二所述的方法。
[0093]
实施例五
[0094]
本实施例的目的是提供一种计算机可读存储介质。
[0095]
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例二所述的方法。
[0096]
以上实施例二至五中涉及的各步骤或模块与实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
[0097]
综上所述，本发明采用亚太远程眼科学会提供的公开糖尿病视网病变检测数据集，构建元训练任务和元测试任务分别用于元训练和元测试。本发明在模型无关元学习的框架下构建小样本糖尿病视网膜病变分类模型，所述模型在元训练过程中，在构建困难任务感知函数优化模型初始化参数的同时获取关于分类任务的先验知识，在元测试阶段利用先验知识在少量样本上即可实现小样本新类别糖尿病视网膜病变的快速、准确分类。本发明有效降低了模型对样本数量的依赖，提高了小样本糖尿病视网膜病变的分类准确度。
[0098]
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
[0099]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。