一种基于生成对抗网络的轻量化高效目标分割与计数方法

1.本发明涉及视频图像处理技术领域，尤其涉及一种基于生成对抗网络的轻量化高效目标分割与计数方法。


背景技术：

2.目前，目标的计数主要采用的是密度图的方式；这种方法能够通过密度图显示目标的位置分布并且通过计算密度图的数值获得目标的总数。虽然这种方法同时做到目标的计数和分布，但是这种方法对网络的复杂程度和数据集的采集提出了较高的要求。采用密度图的方式时，数据集要求对图像中每个目标点进行标注以获得精确坐标位置的点图，这样的标注工作费时费力；再基于点图通过数学计算将点图计算为密度图，而这样的密度图计算通常有如下几种生成方式：1.使用固定大小的高斯核进行点图展开；2.使用自适应的高斯核进行点图展开；3.使用与场景相匹配的缩放矩阵进行点图展开。然而这些方法都有这各种各样的限制，对于固定大小高斯的方法来讲，没办法体现目标在图像的缩放变化，所以会导致展开后的区域与实际目标的重叠度不好；自适应的高斯核只能适用于高密度的场景，如果目标稀疏，自适应的高斯核很难获得合理的高斯核大小；而且缩放矩阵虽然能获得最准确的高斯核大小，但是绝大多数数据集都没有采集缩放矩阵，因为缩放矩阵需要精确匹配摄像头视角与地面的透视变化关系，采集计算很复杂。
3.除了以上的密度图数据集制作时的不足，密度图数据集本身数量也是比较稀少。当前的数据集大多数只有图片中目标的总数或者目标物的整体分割。使用密度图方式进行计数会使得网络在预训练时可以选择的数据集较少，网络的预训练容易出现过拟合，易导致预训练的网络迁移性不好。
4.在目标计数时，基于简单回归的方法可以使目标总数标记的数据集来直接预测目标的总数，扩大了数据集的可选择性，但是这种方法通常缺少了目标的位置信息，容易被人诟病预测的可信度。
5.而有时候对于一个复杂任务，可以将其解析为几个简单的任务来进行完成。而对于神经网络来说，如果不同的任务关联性很强，例如目标的识别和行为判断，是可以通过一个网络来进行特征的提取并完成结果的预测。但是如果任务间的关联性较差，例如，目标数量的预测和目标轮廓的分割，这时简单的单个网络的任务完成情况会相对较差。通常来说，对于多个任务，人们习惯于分别使用多个针对性较强的神经网络来分别完成各个任务。然而这种方法需要同时使用多个神经网络，会导致模型的总体体积过大，在分布式计算流行的当下，这种大体积的模型不利于实际中的部署。所以尽可能的使用单个网络来完成多任务功能以节省计算机资源是我们期望达到的目的。
6.目前，多任务生成器的训练主要是通过端到端的直接训练来完成的。虽然这种训练方法是先进绝大多数神经网络的训练方法，但是这种训练方式在训练多任务模型时，通常需要设计独特的多列式网络模型来分别应对多个任务和较为复杂的损失函数来协调多任务目标，而且训练速度通常较慢，需要更长的时间来完成多任务的训练。


技术实现要素：

7.为了解决上述现有技术中存在的问题，本发明拟提供一种基于生成对抗网络的轻量化高效目标分割与计数方法，本技术将目标计数任务细化为目标数量预测和目标区域分割，通过使用只有目标总数标记和目标区域标记的数据集来训练，能够同时完成目标总数的预测和目标位置分割的预测，解决了密度图方法只能使用密度图数据集的局限性，以及简单回归方法缺失目标位置信息的缺陷。
8.本发明采用的技术方案如下：一种基于生成对抗网络的轻量化高效目标分割与计数方法，包括以下步骤：步骤1：获取输入图像：将所有输入图像处理为同一尺寸，并将输入图像的真值处理为与训练图像相同的尺寸，使输入图像与图像真值一一对应；步骤2：将经过步骤1处理的输入图像送进下采样编码器进行特征提取，得到最深层特征图；步骤3：将最深层特征图送入计数层预测整张输入图像中的目标数量；步骤4：将最深层特征图送入折叠最近邻超越上采样模块，得到扩展特征图；步骤5：对最深层特征图和扩展特征图进行特征融合，得到第一最终特征图；步骤6：将第一最终特征图作为最深层特征图，并送入步骤4中，重复执行步骤4和步骤5直到得到符合要求的第二最终特征图，并将第二最终特征图送入到预测器中，得到预测分割特征图；本技术中当第二最终特征图的尺寸为输入图像的1/2时，定义为符合要求的，该尺寸只是本技术所采用的最优选择，其并非是限定不能采用当第二最终特征图的尺寸为输入图像的1/3或3/2或4/1等。
9.步骤7：将预测分割特征图和图像真值同时送入协调判别器，利用协调判别器学习并判断两者的图像差距，获得生成器判别矩阵；步骤8：生成与生成器判别矩阵同样大小且值为1的验证真矩阵和值为0的验证假矩阵；步骤9：基于数据集自带的目标数量真值、步骤1获得的输入图像真值，步骤3得到的目标数量、步骤6得到的预测分割特征图、步骤7得到的生成器判别矩阵以及步骤8生成的验证真矩阵计算生成器的训练总损失；步骤10：将生成器的训练总损失送回生成器网络进行网络迭代更新学习，完成一轮生成器的训练；步骤11：将经过步骤1处理后的输入图像和步骤6中得到的预测分割特征图在图像通道上进行融合得到融合特征图，并将融合特征图送入协调判别器；步骤12：融合特征图在协调判别器中经过4个特征提取卷积模块后，得到第一深层判别特征图；步骤13：将步骤12得到的第一深层判别特征图输入到由一个卷积层组成的结构特征判断层，获得包含结构性差异的预测假判别矩阵；步骤14：将经过步骤1处理后的输入图像和真值图像在图像通道上融合并送入协调判别器中，经过4个特征提取卷积模块后，得到第二深层判别特征图，再将第二深层判别特征图输入由一个卷积层组成的结构特征判断层，得到预测真判别矩阵；
步骤15：基于步骤8得到的验证真矩阵和验证假矩阵、步骤13得到的预测假判别矩阵和步骤14得到的预测真判别矩阵计算协调判别器的训练总损失；步骤16：将步骤15得到的训练总损失送回网络进行网络迭代更新学习，完成一轮协调判别器的训练，得到经过一轮训练的协调判别器，并保存步骤10中得到的生成器以及本步骤得到的协调判别器；步骤17：重复步骤2到步骤16，直至获得符合预定条件的生成器和协调判别器。
10.直到步骤3的预测的目标数量和步骤6预测分割特征图与所述图像真值非常接近甚至相同，或者步骤9与步骤15的两个训练总损失不再降低时，可以停止训练，即停止重复执行步骤2到步骤16。
11.基于上述技术方案本发明构建出了一种轻量级、高效的多尺度特征融合多任务生成器；该方法通过使用包含目标总数标记的数据集进行训练可以完成对目标数量的直接预测，通过使用包含目标位置标记的数据集来训练可以完成目标分布范围的直接生成。该生成器可以通过步骤2到步骤3来直接预测输入图像中目标的数量，同时通过步骤2，步骤4到步骤6直接预测输入图像的目标位置区域。该生成器能够同时完成目标总数的预测和目标位置分割的预测，解决了密度图计数方法只能使用密度图数据集的局限性，使网络可以使用只有简单的目标总数的数据集；该生成器对目标位置的预测解决了简单回归方法缺失目标位置信息的缺陷。
12.同时为了提高多任务目标的神经网络的训练效率，本技术基于生成对抗网络，通过生成器和判别器的互相对抗，提出了提高网络的训练效率的新型多任务生成器训练方法。本发明提出了一种辅助协调多任务训练的协调判别器，用以在生成对抗学习中提高多任务生成器的训练效率，改善多任务训练时的关注度分配问题，降低了训练过程中对损失函数的设计要求；同时本发明提出了一种模式化的方便使用的联合混合损失函数用于计数任务和图像分割任务的多任务生成器的训练。
13.优选的，步骤2中所述的下采样编码器包括6组下采样模块，前5个下采样模块的结构相同，均包括一个步长为2的卷积层、1个实例均一化层和1个带泄露线性整流函数激活层；最后一个下采样模块包括1个卷积层、1个随机失活层和和1个带泄露线性整流函数。
14.本技术使用了6个向下采样单元，其大小仅为经典特征提取模型vgg16（visual geometry group 16, 以下简称vgg16）的不到一半。这为进一步添加解码器留下了大量内存冗余。下采样单元采用步长为2的卷积层，在提取特征的同时减小了特征映射的大小，避免了使用池化层造成的特征丢失。
15.优选的，步骤3中所述的计数层包括1个全局平均池化层和1个卷积层。
16.使用全局平均池化层将最深层特征图收拢为一个固定大小的特征图，使固定卷积层对其进行预测，这使网络能适应不同尺寸的输入图片，提高了模型的泛用性。
17.优选的，步骤4中所述的折叠最近邻超越上采样模块包括1个卷积层、2个矩阵展平计算和2个线性映射矩阵重构计算；当最深层特征图被送入折叠最近邻超越上采样模块后，先通过卷积层运算，在图片通道中生成扩展图像所需的新增像素；对获得新增像素的最深层特征图进行一次矩阵的展平，然后将展平后的拉伸为线性向量后进行线性映射矩阵重构计算；即将所述线性向量按照扩展后的高与原始的最深层
特征图的宽进行排列，使新增像素转移到原始的最深层特征图的高上，得到扩展特征图。
18.优选的，步骤6中所述的预测器包括尺寸为4的卷积层、折叠最近邻超越上采样（fold beyond-nearest up-sampling method，以下简称fbu）和双曲正切激活函数激活层；所述第二最终特征图经过尺寸为4的卷积层进行特征预测，在通过折叠最近邻超越上采样进行最终特征图的扩大，生成与步骤1中所述的输入图像同样尺寸的预测分割特征图，再通过双曲正切激活函数激活层对预测分割特征图进行激活加快训练收敛，得到训练后的预测分割特征图。
19.本发明通过双曲正切激活函数激活层对预测分割特征图进行激活加快训练收敛，使得训练后输出的预测分割特征图的质量更好。
20.优选的，所述步骤9中生成器的训练总损失的计算步骤如下所述：所述步骤9中生成器的训练总损失的计算步骤如下所述：通过l1损失函数计算预测分割特征图和图像真值间的损失，得到生成结果损失；通过l2损失函数计算步骤3得目标数量和目标数量真值间的损失，得到生成器计数损失；通过l2损失函数计算生成器判别矩阵和验证真矩阵间的损失，得到生成器的判别损失；将生成结果损失、生成器计数损失和生成器的判别损失进行加权后相加得到所述生成器的训练总损失。
21.本发明通过l1和l2损失函数，可以根据具体使用环境调整计数和分割的权重来提升训练效果。
22.优选的，所述步骤12包括以下步骤：步骤12.1：将融合特征图的周围进行大小为4的空白像素补充；避免了后续融合特征图中出现奇数边长导致特征丢失；步骤12.2：对经过步骤12.1处理后的融合特征图送入1个大小为8*8且步长为2的卷积层中进行大感知度的特征提取并融合；步骤12.3：对经过步骤12.2处理后的融合特征图的周围进行大小为3的空白像素补充； 避免了后续融合特征图中出现奇数边长导致特征丢失；步骤12.4：将经过步骤12.3处理后的融合特征图送入1个大小为6*6且步长为2的卷积层中进行第二次特征提取；步骤12.5：对经过步骤12.4处理后的融合特征图的周围进行大小为2的空白像素补充；避免了后续融合特征图中出现奇数边长导致特征丢失；步骤12.6：将经过步骤12.5处理后的融合特征图送入两个连续的大小为4*4且步长为2的卷积层中进行第三次特征提取，得到第一深层判别特征图。
23.本发明的步骤12中包括了4个特征提取模块，每个模块由一个卷积层和相关的复杂功能层构成。这四个特征提取模块的感知域逐渐缩小，在前期能快速提取特征，获得更大范围的结构相关性同时快速缩小特征图大小，减少计算量，之后使特征的提取逐步细致化以获得更精确的特征值。
24.优选的，所述步骤13中将步骤12得到的第一深层判别特征图送入1个大小为3*3且步长为1的卷积层中进行结构特征判断，输出一个包含结构性差异的预测假判别矩阵。
25.进一步的，所述卷积层计算后，均需要将卷积层的计算结果分别进行一次实例均一化和泄露线性整流函数激活，防止训练过程中的梯度丢失或者梯度爆炸。
26.优选的，所述步骤15包括以下步骤：通过l2损失函数分别计算预测真判别矩阵和验证真矩阵与验证假矩阵的损失，并求和，得到预测真判别损失；通过l2损失函数分别计算预测假判别矩阵和验证真矩阵和验证假矩阵的损失，并求和，得到预测假判别损失；计算预测真判别损失和预测假判别损失的平均值，将平均值作为协调判别器的训练总损失。
27.本发明的有益效果包括：1、本技术提供了一种轻量级、快速的多尺度特征融合多任务生成器（lightweight and fast multi-scale-feature-fusion multitask generator, 以下简称lfmmg），实现了不基于点标记的计数和清晰的目标的位置预测。与u型结构网络（u-net）相比，本技术的lfmmg减少了50%以上的参数数量，其特征提取编码器的大小只有vgg16的37%。通过减少内插上采样层的数量和使用fbu（fold beyond-nearest up-sampling method，以下简称fbu），本技术显著减少了解码器中的计算量和内存消耗。通过全局平均池化和卷积层的搭配，使本技术的生成器能够兼容任意尺寸的图像输入，而非如使用全连接层这样只能兼容固定的输入图像尺寸。
28.2、本发明优化了超分辨率测试序列16模型（visual geometry group 16, 以下简称vgg16）的经典设计，只有vgg16的37%的体积。
29.3、本发明在预测器阶段，本技术对每个任务设置了独立的预测器，以满足不同任务的独特需求；同时，本技术的网络模型能够兼容不同大小的输入图像，提高了网络的泛用性。另一方面，本技术将基于密度图的目标数量统计任务拆分为了数量预测和位置预测两个任务，减轻了学习难度，也扩大了预训练时数据集的可使用范围。
30.4、在编码器中，本技术优化了模型的结构设计。本技术使用了8个向下采样单元，其大小仅为vgg16的一半。这为进一步添加解码器留下了大量内存。下采样单元采用步长为2的卷积层，在提取特征的同时减小了特征映射的大小，避免了使用池化层造成的特征丢失。
31.5、本技术提出了“折叠最近邻超越上采样方法”（fbu）来扩展特征图的大小。在研究和比较了各种上采样方法之后，本技术设计了fbu，这将在下一节中介绍。与传统的最近邻插值法相比，fbu法计算过程简单，可以加快模型的计算速度。此外，fbu不仅扩大了特征尺寸，还减少了插值上采样层的外部误差。此外，与传统的无学习上采样方法（如最近邻上采样和双线性插值上采样）相比，fbu具有可学习性。本技术添加了可学习的参数，使fbu更好地放大图像中的边界变化。
32.6、本发明提供了一整套完整的基于生成对抗网络的多任务生成器训练方法。该训练方法能够训练同时进行预测图像生成和数据预测的多任务生成器。该训练方法通过使用协调判别器和范数联合混合损失函数的使用，提高了生成器的训练速度，使网络的训练可以更快完成。
33.7、本发明使用了协调判别器来分别比较预测分割特征图与真值图像与原始图像
的的差距，使生成器在学习了与数据预测的特征提取时也能进一步关注于图像的整体轮廓变化，使预测分割特征图像能够进一步的贴近真值图像。
34.8、本发明提供了针对预测图像生成和数据预测训练的模式化的范数联合混合损失函数，降低了对训练人员数学能力的要求，该损失函数可以很好的兼容计数和分割两个任务的训练，同时可以根据使用场景调整两个任务的权重以获得更好的训练效果。
附图说明
35.图1为本发明的轻量化高效多尺度特征融合多任务生成器的示意图。
36.图2为本发明的折叠最近邻超越上采样（fbu）方法的示意图。
37.图3为本发明的协调判别器的示意图。
38.图4为本发明的训练流程的网络迭代更新示意图。
39.图5为本发明的实施例的细胞显微镜图像。
具体实施方式
40.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
41.下面结合附图1、附图2、附图3、附图4和附图5对本发明的实施例作进一步的详细说明：一种基于生成对抗网络的轻量化高效目标分割与计数方法，包括以下步骤：步骤1：获取输入图像：将所有输入图像处理为同一尺寸，并将输入图像的真值处理为与训练图像相同的尺寸，使输入图像与图像真值一一对应；且在步骤1中可以适当的缩小输入图像的尺寸从而减小计算机运行的负担；步骤2：将经过步骤1处理的输入图像送进下采样编码器进行特征提取，得到最深层特征图；所述的下采样编码器包括6组下采样模块，前5个下采样模块的结构相同，均包括一个步长为2的卷积层、1个实例均一化层和1个带泄露线性整流函数激活层（linear rectifier function with leak,以下简称leaky relu）；最后一个下采样模块包括1个卷积层、1个随机失活（dropout）层用于防止过拟合和1个带泄露线性整流函数。输入图像依次经过了6组下采样模块获得了被缩小了64倍的最深层特征图。
42.本技术使用了6个向下采样单元，其大小仅为经典特征提取模型vgg16（visual geometry group 16, 以下简称vgg16）的不到一半。这为进一步添加解码器留下了大量内存冗余。下采样单元采用步长为2的卷积层，在提取特征的同时减小了特征映射的大小，避免了使用池化层造成的特征丢失。
43.步骤3：将最深层特征图送入计数层预测整张输入图像中的目标数量；
所述的计数层包括1个全局平均池化层和1个卷积层。
44.使用全局平均池化层将最深层特征图收拢为一个固定大小的特征图，使固定卷积层对其进行预测，这使网络能适应不同尺寸的输入图片，提高了模型的泛用性。
45.步骤4：将最深层特征图送入折叠最近邻超越上采样模块，得到扩展特征图；步骤4中所述的折叠最近邻超越上采样模块包括1个卷积层、2个矩阵展平计算和2个线性映射矩阵重构计算；当最深层特征图被送入折叠最近邻超越上采样模块后，先通过卷积层运算，在图片通道中生成扩展图像所需的新增像素；对获得新增像素的最深层特征图进行一次矩阵的展平，然后将展平后的拉伸为线性向量后进行线性映射矩阵重构计算；即将所述线性向量按照扩展后的高与原始的最深层特征图的宽进行排列，使新增像素转移到原始的最深层特征图的高上，得到扩展特征图。
46.在进行图像宽上的运行时，将其他新增像素重构到图像的宽上，完成图像在尺寸上的扩大；对于一个尺寸为，，的图像，若需要将其扩大倍到，，，具体的步骤如下：先将图像的通道数通过卷积层扩展为；然后扩展后的图像会从水平方向被展平为一个一维向量，然后向量会被重建为尺寸为，，的图像；然后会从竖直方向被展平为一个一维向量，然后向量会被重建为尺寸为，，的新图像，完成图像的扩大；其数学表达入下：；其中为卷积核，，，分别为图像的宽、高、通道数，为原始图像，通道扩展的图像，为第一次展平的向量，是中的通道变换到图像的高后的图像，为第二次展平的向量，是中的通道变换到图像的宽后的图像。
47.步骤5：对最深层特征图和扩展特征图进行特征融合，得到第一最终特征图；在特征融合时，来自深层网络的高抽象特征会一步一步重新获得纹理、轮廓等低级特征，使图像的清晰度进一步提高；步骤6：将第一最终特征图作为最深层特征图，并送入步骤4中，重复执行步骤4和步骤5直到得到符合要求的第二最终特征图，并将第二最终特征图送入到预测器中，得到预测分割特征图；步骤6中所述的预测器包括尺寸为4的卷积层、折叠最近邻超越上采样（fold beyond-nearest up-sampling method，以下简称fbu）和双曲正切激活函数激活层；所述第二最终特征图经过尺寸为4的卷积层进行特征预测，在通过折叠最近邻超越上采样进行最终特征图的扩大，生成与步骤1中所述的输入图像同样尺寸的预测分割特征图，再通过双曲正切激活函数激活层对预测分割特征图进行激活加快训练收敛，得到训练后的预测分割特征图。
48.本发明通过双曲正切激活函数激活层对预测分割特征图进行激活加快训练收敛，使得训练后输出的预测分割特征图的质量更好。
49.步骤7：将预测分割特征图和图像真值同时送入协调判别器，利用协调判别器学习并判断两者的图像差距，获得生成器判别矩阵；步骤8：生成与生成器判别矩阵同样大小且值为1的验证真矩阵和值为0的验证假矩阵；步骤9：基于步骤3得到的目标数量、步骤6得到的预测分割特征图、步骤7得到的生成器判别矩阵以及步骤8生成的验证真矩阵计算生成器的训练总损失；所述步骤9中生成器的训练总损失的计算步骤如下所述：通过l1损失函数计算预测分割特征图和图像真值间的损失，得到生成结果损失；具体表达式如下所述：；；；式中：为图像数量，为图像序号，为图像的数据真值，为生成器生成的预测结果，为图像的图像真值，为第张图的预测分割特征图，为预测结果损失的权重，为预测分割特征图损失的权重。由于在生成器的前段就进行了特征到数据预测的预测，使用前段的数据预测结果对于生成器的特征提取方向有着更大的影响，为了平衡两种任务的权重，默认设计预测结果损失权重的值为0.5，而预测分割特征图损失的权重的值为100。该权重值可以根据任务的种类和需求进行微调，例如，图像特征不明显复杂度高生成作业较为困难的情况下，可以适当上调的值，或者下调的值。
50.考虑到判别器对生成器任务关注度分配的影响，在训练生成器时，需要假设生成的图片是完全真实可靠的分割图片来计算生成的判别损失。图像的像素值间差距通常使用l2损失函数进行计算，通过l2损失函数计算生成器判别矩阵与验证真矩阵间的损失，具体表达式如下所述：；式中：为图像数量，为图像序号，第张图片的生成器判别矩阵，为验证真矩阵。
51.将生成结果损失和生成器的判别损失进行加权后相加得到所述生成器的训练总损失。具体表达式如下：
；式中：为图像数量，为图像序号，第张图片的生成器判别矩阵，valid为验证真矩阵，为图像的数据真值，为生成器生成的预测结果，为图像的图像真值，为第张图的预测分割特征图，为预测结果损失的权重，为预测分割特征图损失的权重。
52.本发明通过l1和l2损失函数，可以根据具体使用环境调整计数和分割的权重来提升训练效果。
53.步骤10：将生成器的训练总损失送回网络进行网络迭代更新学习，完成一轮生成器的训练；步骤11：将经过步骤1处理后的输入图像和步骤6中得到的预测分割特征图在图像通道上进行融合得到融合特征图，并将融合特征图送入协调判别器；具体如下式所述：输入图像和预测分割特征图在图像通道上进行特征融合来获得判别矩阵的输入特征图：；式中：表示输入图像和预测分割特征图维持了图像的宽高不变，矩阵符合[]表示输入图像和预测分割特征图通道维度进行了相加。
[0054]
步骤12：融合特征图在协调判别器中经过4个特征提取卷积模块后，得到第一深层判别特征图；每个所述特征提取卷积模块一个卷积层和相关的复杂功能层构成。这四个特征提取模块的感知域逐渐缩小，在前期能快速提取特征，获得更大范围的结构相关性同时快速缩小特征图大小，减少计算量，之后使特征的提取逐步细致化以获得更精确的特征值。
[0055]
步骤12.1：将融合特征图的周围进行大小为4的空白像素补充；避免了后续融合特征图中出现奇数边长导致特征丢失；步骤12.2：对经过步骤12.1处理后的融合特征图送入1个大小为8*8且步长为2的卷积层中进行大感知度的特征提取并融合；步骤12.3：对经过步骤12.2处理后的融合特征图的周围进行大小为3的空白像素补充； 避免了后续融合特征图中出现奇数边长导致特征丢失；步骤12.4：将经过步骤12.3处理后的融合特征图送入1个大小为6*6且步长为2的卷积层中进行第二次特征提取；步骤12.5：对经过步骤12.4处理后的融合特征图的周围进行大小为2的空白像素补充；避免了后续融合特征图中出现奇数边长导致特征丢失；步骤12.6：将经过步骤12.5处理后的融合特征图送入两个连续的大小为4*4且步
长为2的卷积层中进行第三次特征提取，得到第一深层判别特征图。
[0056]
所述卷积层计算后，均需要将卷积层的计算结果分别进行一次实例均一化和泄露线性整流函数激活，防止训练过程中的梯度丢失或者梯度爆炸。
[0057]
步骤13：将步骤12得到的第一深层判别特征图输入到结构特征判断层，获得包含结构性差异的预测假判别矩阵；所述步骤13中将步骤12得到的第一深层判别特征图送入1个大小为3*3且步长为1的卷积层中进行结构特征判断，输出一个包含结构性差异的预测假判别矩阵。
[0058]
所述卷积层计算后，均需要将卷积层的计算结果分别进行一次实例均一化和泄露线性整流函数激活，防止训练过程中的梯度丢失或者梯度爆炸。
[0059]
步骤14：将经过步骤1处理后的输入图像和真值图像在图像通道上融合并送入协调判别器中，经过4个特征提取卷积模块后，得到第二深层判别特征图，再将第二深层判别特征图输入由一个卷积层组成的结构特征判断层，得到预测真判别矩阵；步骤15：基于步骤8得到的验证真矩阵和验证假矩阵、步骤13得到的预测假判别矩阵和步骤14得到的预测真判别矩阵计算协调判别器的训练总损失；具体的：通过l2损失函数分别计算预测真判别矩阵和验证真矩阵与验证假矩阵的损失，并求和，得到预测真判别损失；具体表达式如下：；式中：为图像数量，为图像序号，第张图片的预测真判别矩阵，为验证真矩阵，为验证假矩阵。
[0060]
通过l2损失函数分别计算预测假判别矩阵和验证真矩阵和验证假矩阵的损失，并求和，得到预测假判别损失；具体表达式如下：；式中：为图像数量，为图像序号，第张图片的预测真判别矩阵，为验证真矩阵，为验证假矩阵。
[0061]
要使得协调判别器具备判断预测分割特征图质量的能力，所以协调判别器既不能只提取真值的特征，也不能只提取预测分割特征图的特征，需要做到两者同时兼顾，才能帮助我们在训练生成器时判断预测分割特征图的质量，辅助纠正生成器在数据预测时的学习注意力偏差。因此通过计算预测真判别损失和预测假判别损失的平均值，将平均值作为协调判别器的训练总损失；具体表达式如下：；其中是预测真判别矩阵和验证真矩阵与验证假矩阵的损失，
是预测假判别矩阵和验证真矩阵与验证假矩阵的损失。
[0062]
步骤16：将步骤15得到的训练总损失送回网络进行网络迭代更新学习，完成一轮协调判别器的训练，得到经过一轮训练的协调判别器，并保存步骤10中得到的生成器以及本步骤得到的协调判别器；步骤17：重复步骤2到步骤16，直至获得符合预定条件的生成器和协调判别器。
[0063]
基于上述技术方案本发明构建出了一种轻量级、高效的多尺度特征融合多任务生成器；该生成器可以通过使用只有目标总数标记和目标区域标记的数据集来训练，能够同时完成目标总数的预测和目标位置分割的预测；解决了密度图方法只能使用密度图数据集的局限性，以及简单回归方法缺失目标位置信息的缺陷。
[0064]
本技术的方法使用了编解码器的模型框架。虽然基于编解码器分割模型的多尺度特征融合能够很好地生成具有良好低层级特征的分割图像，但这种结构复杂，模型占用大量内存，不能满足本技术轻量级的目标。然而，如果没有编码器-解码器体系结构，这类模型的性能不能满足本发明的所需。但是，本发明注意到基于vgg16的特征提取网络已经具有良好的特征提取能力，并且在网络结构中有很多冗余。
[0065]
因此，在编码器中，本技术优化了模型的结构设计。本技术使用了6个向下采样单元，其大小仅为经典特征提取模型vgg16的不到一半。这为进一步添加解码器留下了大量内存冗余。下采样单元采用步长为2的卷积层，在提取特征的同时减小了特征映射的大小，避免了使用池化层造成的特征丢失。
[0066]
在解码器中，本技术总共通过步骤4和步骤6中的五个fbu块将图像放大36倍，每个fbu块可以将图像放大两倍。每个fbu块包含一个fbu层、一个实例归一化层和一个带泄露线性整流函数（linear rectifier function with leak, leaky relu）激活层。然而，单独使用上采样方法容易使生成的图像模糊，而且深处的特征图因为对特征进行了高度抽象话所以会丢失很多图像轮廓纹路相关低级特征。本技术利用u-net的成功经验，通过多尺度特征融合来缓解这一问题。fbu块放大深度的特征映射后，它将与编码器中相同大小的特征映射融合。通过逐级将下采样中的特征图融合回去，本技术逐步恢复了特征图中的低级特征，使图像的纹理轮廓更加准确。
[0067]
本技术设计了另一个独立的输出层来预测细胞数量。基于全卷积网络的思想，本技术使用了1
×
1卷积层。同时，本技术建立了全局平均池层，这样网络克服了传统网络使用全连接层时只能使用固定大小的输入图片的缺陷，可以容纳不同大小的输入图像。这种直接预测方法克服了基于点标记的数据集计数的局限性，使本技术的网络可以使用只有目标总数标记的数据集进行训练。
[0068]
为让本领域的技术人员更好的了解本发明，以下结合附图1和附图5对本实施例的具体使用流程进行讲解：细胞显微镜图像中的细胞计数与分割：步骤1，图像预处理；将训练图像处理为同一尺寸，可适当缩小图像尺寸减少计算机运算负担。同理，将图像真值处理为训练图像同一尺寸，使输入图像与图像真值能够一一对应。为了简便运算，本技术将数据集的图像处理为了960
×
960的大小。
[0069]
步骤2，将训练图像输入进编码器进行特征提取。
[0070]
步骤3，在编码器中，图像依次经过了6组下采样模块获得了被缩小了64倍的最深层特征图。
[0071]
步骤4，最深层特征图将被送入一个计数层，预测得到整张输入图片中的细胞数量。
[0072]
步骤5，最深层特征图被送入折叠最近邻超越上采样（fbu）模块中。
[0073]
步骤6，经过上采样模块扩展后的特征图，会与下采样过程中生成的尺寸相同的特征图进行特征融合。
[0074]
步骤7，经过5组fbu和特征融合后生成的最终特征图会被送入到预测器中，在预测器中最终特征图会经过一个卷积层进行特征预测，然后通过一个fbu进行扩展生成与原始图像同样尺寸的预测分割特征图，最后通过双曲正切激活函数激活层，输出预测的细胞分割图像。
[0075]
以上所述实施例仅表达了本技术的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术技术方案构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。