1.本发明涉及卷积神经网络技术领域，特别涉及一种借助heatmap协助训练分类网络的方法。
背景技术：
2.在科技发展的今天，卷积神经网络深度学习越来越多的被广泛应用。现有的深度学习卷积神经网络，例如包含全连接层的分类网络，以及用于图像分割的不包含全连接层的全卷积网络。
3.但是，现有的深度学习神经网络训练，高度依赖训练样本，在训练样本较少的情况下，易发生过拟合现象，导致模型泛化能力差。
4.现有技术中的常用术语如下：
5.1、卷积神经网络，由卷积层，池化层组成的特征提取器。
6.2、heatmap，热图，这里指和训练样本存在对应关系，人工标定的图片。
7.3、全连接层，每个神经元与前一层所有的神经元全部连接。
技术实现要素：
8.为了解决上述问题，本发明的目的在于：提出一种新的深度学习训练方法，可以在训练样本有限的情况下，提升分类网络的泛化能力。
9.具体地，本发明提供一种借助heatmap协助训练分类网络的方法，所述方法包括以下步骤：
10.步骤1，网络在中间设置两个分支，其中，左分支使用全连接网络，预测分类结果；
11.步骤2，右分支设计为仅训练使用的网络；
12.步骤3，在右分支仅训练使用的网络中制作heatmap，将样本图片中共有特征区域位置标注，映射到一张热图；
13.步骤4，在左分支的网络中制作输出层标签；
14.步骤5，训练网络，将heatmap的loss值和输出层的loss值，加权相加后，训练网络，因为分支前的前半部分网络，heatmap网络和分类网络共享权重，所以heatmap学习到的图像特征会使分类网络收益；
15.步骤6，使用训练的网络推理时，去掉仅训练使用的网络，节省计算量。
16.所述的heatmap网络为分支后的右分支，所述的分类网络是分支后的左分支，所述的前半部分网络的输出作为后两个网络heatmap网络和分类网络的输入，heatmap网络和分类网络是并列关系两者不相互依赖之间不互相影响，在网络学习的过程中，heatmap网络和分类网络又共同影响前半部分网络的权重数据。
17.所述方法是通过人工判定和标定的所需学习图像特征，生成和训练样本之间存在对应关系的heatmap，用于辅助训练。
18.所述步骤1中包括左分支的全连接网络进一步包括：input输入层、c1卷积层、s2池
化层、c3卷积层、s4池化层、c5卷积层、f6全连接层、output输出层。
19.所述步骤2右分支使用上采样和卷积网络，预测图片的heatmap，该heatmap和训练样本图片存在对应关系。
20.所述heatmap和训练样本图片存在对应关系，大小是1:1或者根据实际需要的比例的等比映射。
21.所述步骤3进一步包括：
22.在分类网络检测图片中是否存在特定区域，特定区域的边缘信息是一个重要信息，而背景以及除了特定区域边缘的其他内容是能够忽略的信息，则特定区域边缘的区域定义为共有特征区域，是神经网络需要学习的图案特征，因此样本图片中特定区域的边缘区域映射到heatmap，即包含重要信息区域高亮，如若图片中没有特定区域，则heatmap图案为全黑图片。
23.所述步骤4中制作输出层标签进一步包括：
24.判断一张图片是否包含一特定区域，可以将包含特定区域的分为一类，不包含特定区域的分为另一类。
25.由此，本申请的优势在于：通过人工判定和标定的所需学习图像特征，生成和训练样本之间存在对应关系的heatmap，用于辅助训练，在训练样本较少的情况下，有效提升分类网络的泛化能力。并且在训练过程中添加辅助特征学习网络，协助网络学习图像特征，在推理过程中去除相应计算，节省计算量，提高效率。
附图说明
26.此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。
27.图1是本发明方法的示意流程图。
28.图2是应用本发明方法的网络结构示意图。
29.图3是具体实施例步骤3中的一种情况的图片示例。
30.图4是具体实施例步骤3中的另一种情况的图片示例。
具体实施方式
31.为了能够更清楚地理解本发明的技术内容及优点，现结合附图对本发明进行进一步的详细说明。
32.如图1所示，本发明涉及一种借助heatmap协助训练分类网络的方法，所述方法包括以下步骤：
33.步骤1，网络在中间设置两个分支，其中，左分支使用全连接网络，预测分类结果；
34.步骤2，右分支设计为仅训练使用的网络；
35.步骤3，在右分支仅训练使用的网络中制作heatmap，将样本图片中共有特征区域位置标注，映射到一张热图；
36.步骤4，在左分支的网络中制作输出层标签；
37.步骤5，训练网络，将heatmap的loss值和输出层的loss值，加权相加后，训练网络，因为分支前的前半部分网络，heatmap网络和分类网络共享权重，所以heatmap学习到的图
像特征会使分类网络收益；
38.步骤6，使用训练的网络推理时，去掉仅训练使用的网络。
39.如图2所示，从应用本发明方法的网络结构可以看出，网络在中间出现分支，左分支使用全连接网络，预测分类结果，右分支使用上采样和卷积网络，预测图片的heatmap，该heatmap和训练样本图片存在对应关系，大小可以是1:1或者其他比例的等比映射。
40.进一步地，在步骤3中，制作heatmap，将样本图片中共有特征区域位置标注，映射到一张热图。如图3所示，例如一个分类网络，检测图片中是否存在纸张，纸张的边缘信息是一个重要信息，而背景，以及纸张中的人物是可以忽略的信息，纸张边缘的区域定义为共有特征区域，是神经网络需要学习的图案特征，因此图3中左方样本图片中纸张边缘区域映射到heatmap，即图3右半部分，包含重要信息区域高亮，如若图案中没有纸张，则heatmap图案为全黑图片，如图4所示。
41.进一步地，在步骤4中，制作输出层标签，例如我们判断这张图片是否包含一张纸，可以将包含纸张的分为一类，不包含纸张的分为另一类。
42.进一步地，在步骤5中，训练网络，将heatmap的loss值和输出层的loss值，加权相加后，训练网络，因为前半部分，heatmap网络和分类网络共享权重，所以heatmap学习到的图像特征会使分类网络收益，避免网络学习其他与无关特征，增强网络泛化能力。
43.最后，在步骤6中，使用训练的网络推理时，去掉图2中仅训练使用的网络，节省计算量。
44.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
技术特征：
1.一种借助heatmap协助训练分类网络的方法，其特征在于，所述方法包括以下步骤：步骤1，网络在中间设置两个分支，其中，左分支使用全连接网络，预测分类结果；步骤2，右分支设计为仅训练使用的网络；步骤3，在右分支仅训练使用的网络中制作heatmap，将样本图片中共有特征区域位置标注，映射到一张热图；步骤4，在左分支的网络中制作输出层标签；步骤5，训练网络，将heatmap的loss值和输出层的loss值，加权相加后，训练网络，因为分支前的前半部分网络，heatmap网络和分类网络共享权重，所以heatmap学习到的图像特征会使分类网络收益；步骤6，使用训练的网络推理时，去掉仅训练使用的网络。2.根据权利要求1所述的一种借助heatmap协助训练分类网络的方法，其特征在于，所述方法是通过人工判定和标定的所需学习图像特征，生成和训练样本之间存在对应关系的heatmap，用于辅助训练。3.根据权利要求1所述的一种借助heatmap协助训练分类网络的方法，其特征在于，所述步骤1中包括左分支的全连接网络进一步包括：input输入层、c1卷积层、s2池化层、c3卷积层、s4池化层、c5卷积层、f6全连接层、output输出层。4.根据权利要求1所述的一种借助heatmap协助训练分类网络的方法，其特征在于，所述步骤2右分支使用上采样和卷积网络，预测图片的heatmap，该heatmap和训练样本图片存在对应关系。5.根据权利要求4所述的一种借助heatmap协助训练分类网络的方法，其特征在于，所述heatmap和训练样本图片存在对应关系，大小是1:1或者根据实际需要的比例的等比映射。6.根据权利要求1所述的一种借助heatmap协助训练分类网络的方法，其特征在于，所述步骤3进一步包括：在分类网络检测图片中是否存在特定区域，特定区域的边缘信息是一个重要信息，而背景以及除了特定区域边缘的其他内容是能够忽略的信息，则特定区域边缘的区域定义为共有特征区域，是神经网络需要学习的图案特征，因此样本图片中特定区域的边缘区域映射到heatmap，即包含重要信息区域高亮，如若图片中没有特定区域，则heatmap图案为全黑图片。7.根据权利要求1所述的一种借助heatmap协助训练分类网络的方法，其特征在于，所述步骤4中制作输出层标签进一步包括：判断一张图片是否包含一特定区域，可以将包含特定区域的分为一类，不包含特定区域的分为另一类。8.根据权利要求1所述的一种借助heatmap协助训练分类网络的方法，其特征在于，所述的heatmap网络为分支后的右分支，所述的分类网络是分支后的左分支，所述的前半部分网络的输出作为后两个网络heatmap网络和分类网络的输入，heatmap网络和分类网络是并列关系两者不相互依赖之间不互相影响，在网络学习的过程中，heatmap网络和分类网络又共同影响前半部分网络的权重数据。
技术总结
本发明提供一种借助heatmap协助训练分类网络的方法，所述方法包括：步骤1，网络在中间设置两个分支，其中，左分支使用全连接网络，预测分类结果；步骤2，右分支设计为仅训练使用的网络；步骤3，在右分支仅训练使用的网络中制作heatmap，将样本图片中共有特征区域位置标注，映射到一张热图；步骤4，在左分支的网络中制作输出层标签；步骤5，训练网络，将heatmap的loss值和输出层的loss值，加权相加后，训练网络，因为分支前的前半部分网络，heatmap网络和分类网络共享权重，所以heatmap学习到的图像特征会使分类网络收益；步骤6，使用训练的网络推理时，去掉仅训练使用的网络。本发明提出一种新的深度学习训练方法，可以在训练样本有限的情况下，提升分类网络的泛化能力。提升分类网络的泛化能力。提升分类网络的泛化能力。
技术研发人员：孙建峰
受保护的技术使用者：北京君正集成电路股份有限公司
技术研发日：2020.07.10
技术公布日：2022/1/10
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
