一种基于深度学习的图像分类方法及系统与流程

1.本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的图像分类方法及系统。


背景技术：

2.图像分类，根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种，以代替人的视觉判读。
3.现有技术中通过深度学习对图像分类和的方法，学习到的模型产生后结果就是确定的，难以对错误的结果修正，图像分类效果较差。
4.因此现有技术还有待于进一步发展。


技术实现要素：

5.针对上述技术问题，本发明实施例提供了一种基于深度学习的图像分类方法及系统，能够解决现有技术中通过深度学习对图像分类和的方法，学习到的模型产生后结果就是确定的，难以对错误的结果修正，图像分类效果较差的技术问题。
6.本发明实施例的第一方面提供一种基于深度学习的图像分类方法，包括：
7.预先构建深度学习网络，所述深度学习网络包括主干网络和编码器；
8.获取训练图像数据集及随机背景roi，所述图像数据集中图像为标记了类别和位置信息的标记图像,所述随机背景roi为标记图像中的背景区域；
9.将图像数据集及随机背景roi输入深度学习网络，生成特征向量，所述这特征向量包括类别特征向量和背景特征向量；将所述特征向量保存至数据库；
10.获取待分析的图像区域，将待分析的图像区域输入深度学习网络，生成目标特征向量；
11.计算目标特征向量与数据库中的每一个特征向量的内积，统计内积最小的k条特征向量对应的类别，根据所述k条特征向量对应的类别推荐图像类别，其中k为正整数。
12.可选地，预先构建深度学习网络，所述深度学习网络包括主干网络和编码器，包括：
13.预先构建基于卷积神经网络的主干网络，所述主干网络用于提取图像特征；
14.预先构建编码器，所述编码器用于对图像特征进行编码。
15.可选地，将图像数据集及随机背景roi输入深度学习网络，生成特征向量，所述这特征向量包括类别特征向量和背景特征向量；将所述特征向量保存至数据库前，还包括：
16.获取标记图像的指定区域，对指定区域进行裁剪，生成特征图像；
17.随机获取指定区域外的其他区域作为随机背景roi。
18.可选地，所述将图像数据集及随机背景roi输入深度学习网络，生成特征向量，所述这特征向量包括类别特征向量和背景特征向量；将所述特征向量保存至数据库，包括：
19.将特征图像和随机背景roi输入深度学习网络；
20.通过主干网络对特征图像和随机背景roi进行特征提取，生成类别特征向量和背景特征向量；
21.将所述类别特征向量和背景特征向量保存至数据库。
22.可选地，所述计算目标特征向量与数据库中的每一个特征向量的内积，统计内积最小的k条特征向量对应的类别，根据所述k条特征向量对应的类别推荐图像类别，其中k为正整数，包括：
23.计算目标特征向量与数据库中的每一个特征向量的内积，统计内积最小的k条特征向量；
24.获取k条特征向量对应的n个类别，其中n为正整数，且n小于等于k；
25.对n个类别的概率进行计算后，推荐概率排名前s的图像类别，其中s为正整数，且s小于等于k。
26.本发明实施例第二方面提供了一种基于深度学习的图像分类系统，所述系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现以下步骤：
27.预先构建深度学习网络，所述深度学习网络包括主干网络和编码器；
28.获取训练图像数据集及随机背景roi，所述图像数据集中图像为标记了类别和位置信息的标记图像,所述随机背景roi为标记图像中的背景区域；
29.将图像数据集及随机背景roi输入深度学习网络，生成特征向量，所述这特征向量包括类别特征向量和背景特征向量；将所述特征向量保存至数据库；
30.获取待分析的图像区域，将待分析的图像区域输入深度学习网络，生成目标特征向量；
31.计算目标特征向量与数据库中的每一个特征向量的内积，统计内积最小的k条特征向量对应的类别，根据所述k条特征向量对应的类别推荐图像类别，其中k为正整数。
32.可选地，所述计算机程序被所述处理器执行时还实现以下步骤：
33.预先构建基于卷积神经网络的主干网络，所述主干网络用于提取图像特征；
34.预先构建编码器，所述编码器用于对图像特征进行编码。
35.可选地，所述计算机程序被所述处理器执行时还实现以下步骤：
36.预先构建基于卷积神经网络的主干网络，所述主干网络用于提取图像特征；
37.预先构建编码器，所述编码器用于对图像特征进行编码。
38.可选地，所述计算机程序被所述处理器执行时还实现以下步骤：
39.将特征图像和随机背景roi输入深度学习网络；
40.通过主干网络对特征图像和随机背景roi进行特征提取，生成类别特征向量和背景特征向量；
41.将所述类别特征向量和背景特征向量保存至数据库。
42.本发明实施例第三方面提供了一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的基于深度学习的图像分类方法。
43.本发明实施例提供的技术方案中，预先构建深度学习网络，获取训练图像数据集及随机背景roi，将图像数据集及随机背景roi输入深度学习网络，生成特征向量，将所述特征向量保存至数据库；获取待分析的图像区域，将待分析的图像区域输入深度学习网络，生成目标特征向量；计算目标特征向量与数据库中的每一个特征向量的内积，统计内积最小的k条特征向量对应的类别，根据所述k条特征向量对应的类别推荐图像类别，其中k为正整数。本发明实施例对图像特征的提取方法，是采用深度学习的编码方法，通过综合已知信息将指定区域的类别计算出来，图像分类准确性高。
附图说明
44.图1为本发明实施例中一种基于深度学习的图像分类方法的一实施例的流程示意图；
45.图2为本发明实施例中一种基于深度学习的图像分类方法的另一实施例的主干网络示意图；
46.图3为本发明实施例中一种基于深度学习的图像分类方法的另一实施例的编码器示意图；
47.图4为本发明实施例中一种基于深度学习的图像分类方法的另一实施例的流程示意图；
48.图5为本发明实施例中一种基于深度学习的图像分类方法的另一实施例的分类结果示意图；
49.图6为本发明实施例中一种基于深度学习的图像分类系统的另一实施例的硬件结构示意图。
具体实施方式
50.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
51.以下结合附图对本发明实施例进行详细的描述。
52.请参阅图1，图1为本发明实施例中一种基于深度学习的图像分类方法的一个实施例的流程示意图。如图1所示，包括：
53.步骤s100、预先构建深度学习网络，所述深度学习网络包括主干网络和编码器；
54.步骤s200、获取训练图像数据集及随机背景roi，所述图像数据集中图像为标记了类别和位置信息的标记图像,所述随机背景roi为标记图像中的背景区域；
55.步骤s300、将图像数据集及随机背景roi输入深度学习网络，生成特征向量，所述这特征向量包括类别特征向量和背景特征向量；将所述特征向量保存至数据库；
56.步骤s400、获取待分析的图像区域，将待分析的图像区域输入深度学习网络，生成目标特征向量；
57.步骤s500、计算目标特征向量与数据库中的每一个特征向量的内积，统计内积最小的k条特征向量对应的类别，根据所述k条特征向量对应的类别推荐图像类别，其中k为正
整数。
58.具体实施时，本发明实施例主要是通过构建基于卷积神经网络的主干网络backbone(主干网络)提取图像特征；裁剪指定区域的特征图feature maps(特征图)为crop feature(对应指定区域的特征图)；构建基于神经网络的encoder(编码器)将crop feature编码为1024维的特征向量。
59.之后将有标签的数据编码后建立比对数据库。数据库中每一个元素是类别名称和对应图像区域的特征向量。为了区分背景，将图像中随机的非标注区域编码，添加到比对数据库。以用于dr图像的病变区域分析为例，有标签的数据需要专业的医生提供标注。之前步骤中通过神经网络构建了1024维特征向量的有监督学习过程也需要这些标注数据来训练编码网络，使得编码的特征向量可以区分类别。
60.最后提供了比对数据的方法：将待分析的数据使用上述编码方式编码为特征向量feature tensor(特征向量)，计算feature tensor与数据库中所有特征向量的内积，统计内积最小的n条数据的类别，由这些类别的数量衡量待分析的数据的归类的可能情况，推荐出有可能性的类别。
61.进一步地，预先构建深度学习网络，所述深度学习网络包括主干网络和编码器，包括：
62.预先构建基于卷积神经网络的主干网络，所述主干网络用于提取图像特征；
63.预先构建编码器，所述编码器用于对图像特征进行编码。
64.具体地，搭建的网络结构如图2和图3所示，如图2所示，使用resnest101(残差101层)、卷积层、上采样、maxpool(最大值池化)层构建fpn(特征金字塔)结构的backbone提取特征，如图3所示，使用roipool层、卷积层、flatten层、全连接层构建encoder编码特征向量。
65.进一步地，将图像数据集及随机背景roi输入深度学习网络，生成特征向量，所述这特征向量包括类别特征向量和背景特征向量；将所述特征向量保存至数据库前，还包括：
66.获取标记图像的指定区域，对指定区域进行裁剪，生成特征图像；
67.随机获取指定区域外的其他区域作为随机背景roi。
68.具体实施时，roi(region-of-interest),感兴趣的区域,可理解为给定的位置,大小采用随机尺寸，没有尺寸限制；提前设定是指训练和预测时固定的参数，不用医生设定，根据面积大小从5张特征图中裁剪，比如目标面积是图像1/2以上的在最小的feature map中crop，在图像面积1/16以下的在最大的feature map中裁剪。
69.进一步地，将图像数据集及随机背景roi输入深度学习网络，生成特征向量，所述这特征向量包括类别特征向量和背景特征向量；将所述特征向量保存至数据库，包括：
70.将特征图像和随机背景roi输入深度学习网络；
71.通过主干网络对特征图像和随机背景roi进行特征提取，生成类别特征向量和背景特征向量；
72.将所述类别特征向量和背景特征向量保存至数据库。
73.具体实施时，使用一批标记类别和位置信息的图像数据集d，以及随机的背景roi，通过1中的backbone提取整个图像特征，根据提供目标大小选择一个feature map并根据位置信息从中裁剪出feature roi，使用encoder编码，最后连接一个决策的全连接层输出类
别，通过标签类别监督更新backbone和encoder和决策层的参数。
74.使用backbone和encoder构建数据库b：将数据集d编码保存，获得每种类别区域和背景区域feature tensor。以对根据dr图像对疾病进行分类为例，feature tensor是疾病的种类，每一条数据的格式为{
‘
继发性肺结核’:[0,0,0.12,
…
,0,0,0]})。
[0075]
本发明实施例还提供了一种基于深度学习的图像分类的方法的流程图，如图4所示，方法包括：
[0076]
获取待分析图像，输入主干网络，生成特征图；
[0077]
将特征图输入编码器生成特征向量；
[0078]
将特征向量与疾病n的特征向量库及疾病m的特征编码库的所有特征向量计算距离；
[0079]
得到特征向量和疾病n的距离及特征向量和疾病m的距离；
[0080]
保留距离最近的样本投票；
[0081]
从而得到得票最多的疾病。
[0082]
进一步地，计算目标特征向量与数据库中的每一个特征向量的内积，统计内积最小的k条特征向量对应的类别，根据所述k条特征向量对应的类别推荐图像类别，其中k为正整数，包括：
[0083]
计算目标特征向量与数据库中的每一个特征向量的内积，统计内积最小的k条特征向量；
[0084]
获取k条特征向量对应的n个类别，其中n为正整数，且n小于等于k；
[0085]
对n个类别的概率进行计算后，推荐概率排名前s的图像类别，其中s为正整数，且s小于等于k。
[0086]
具体实施时，分析未知图像区域，编码数据(包含原始图像和人或者ai认为的病变区域)，获取该区域的feature tensor；
[0087]
和数据库b(或者挑选部分代表性数据)中的每一个feature code进行内积运算，获得(等于)当前单位向量和数据库中的元素的特征向量夹角θ余弦；xy单位向量内积＝x1*y1 x2*y2 x3*y3
……
x1024*y1024＝cos(θ),θ为x，y的夹角；
[0088]
distance＝cosθ衡量向量的距离，越小表示两向量特征越接近，只记录distance最小的k个数据库向量的类别；
[0089]
计算k个向量的类别数量n，使用n/k*100％衡量待分析数据属于每一类的可能性，推荐的s种类别提供可能性供选择如图5。k取对比数据库数据量的3-％5％，s和使用场景相关取1-5。
[0090]
本发明实施例中中，决策类别的过程中，不局限于数据库的大小和参与决策的样本个数k，注重于一种保留区域关键区别的编码方法和可灵活选择决策样本的决策方法。
[0091]
需要说明的是，上述各步骤之间并不必然存在一定的先后顺序，本领域普通技术人员，根据本发明实施例的描述可以理解，不同实施例中，上述各步骤可以有不同的执行顺序，亦即，可以并行执行，亦可以交换执行等等。
[0092]
上面对本发明实施例中的基于深度学习的图像分类方法进行了描述，下面对本发明实施例中的基于深度学习的图像分类系统进行描述，请参阅图6，图6是本发明实施例中一种基于深度学习的图像分类系统的另一实施例的硬件结构示意图，如图6所示，系统10包
括：存储器101、处理器102及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器101执行时实现以下步骤：
[0093]
预先构建深度学习网络，所述深度学习网络包括主干网络和编码器；
[0094]
获取训练图像数据集及随机背景roi，所述图像数据集中图像为标记了类别和位置信息的标记图像,所述随机背景roi为标记图像中的背景区域；
[0095]
将图像数据集及随机背景roi输入深度学习网络，生成特征向量，所述这特征向量包括类别特征向量和背景特征向量；将所述特征向量保存至数据库；
[0096]
获取待分析的图像区域，将待分析的图像区域输入深度学习网络，生成目标特征向量；
[0097]
计算目标特征向量与数据库中的每一个特征向量的内积，统计内积最小的k条特征向量对应的类别，根据所述k条特征向量对应的类别推荐图像类别，其中k为正整数。
[0098]
具体的实施步骤与方法实施例相同，此处不再赘述。
[0099]
可选地，计算机程序被处理器101执行时还实现以下步骤：
[0100]
预先构建基于卷积神经网络的主干网络，所述主干网络用于提取图像特征；
[0101]
预先构建编码器，所述编码器用于对图像特征进行编码。
[0102]
具体的实施步骤与方法实施例相同，此处不再赘述。
[0103]
可选地，计算机程序被处理器101执行时还实现以下步骤：
[0104]
获取标记图像的指定区域，对指定区域进行裁剪，生成特征图像；
[0105]
随机获取指定区域外的其他区域作为随机背景roi。
[0106]
具体的实施步骤与方法实施例相同，此处不再赘述。
[0107]
可选地，计算机程序被处理器101执行时还实现以下步骤：
[0108]
将特征图像和随机背景roi输入深度学习网络；
[0109]
通过主干网络对特征图像和随机背景roi进行特征提取，生成类别特征向量和背景特征向量；
[0110]
将所述类别特征向量和背景特征向量保存至数据库。
[0111]
具体的实施步骤与方法实施例相同，此处不再赘述。
[0112]
可选地，计算机程序被处理器101执行时还实现以下步骤：
[0113]
计算目标特征向量与数据库中的每一个特征向量的内积，统计内积最小的k条特征向量；
[0114]
获取k条特征向量对应的n个类别，其中n为正整数，且n小于等于k；
[0115]
对n个类别的概率进行计算后，推荐概率排名前s的图像类别，其中s为正整数，且s小于等于k。
[0116]
具体的实施步骤与方法实施例相同，此处不再赘述。
[0117]
本发明实施例提供了一种非易失性计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图1中的方法步骤s100至步骤s500。
[0118]
作为示例，非易失性存储介质能够包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦rom(eeprom)或闪速存储器。易失性存储器能够包括作为外部高速缓存存储器的随机存取存储器(ram)。通过说明并非限制，ram可以以诸如同步ram(sram)、
动态ram、(dram)、同步dram(sdram)、双数据速率sdram(ddr sdram)、增强型sdram(esdram)、synchlink dram(sldram)以及直接rambus(兰巴斯)ram(drram)之类的许多形式得到。本发明实施例中所描述的操作环境的所公开的存储器组件或存储器旨在包括这些和/或任何其他适合类型的存储器中的一个或多个。
[0119]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。