一种基于深度学习的用于生产安全的人员检测方法与流程

技术特征：
1.一种基于深度学习的用于生产安全的人员检测方法，其特征在于，具体步骤如下：s1：数据采集；s2：数据增强；s3：训练模型；s4：实验对比；s5：服务器部署；所述s3：训练模型具体步骤如下：ss1、训练基础网络模型；ss2、提取语义信息；ss3、基于零样本学习的模型迁移。2.根据权利要求1所述的基于深度学习的用于生产安全的人员检测方法，其特征在于：所述训练基础网络模型，选用retinanet作为目标检测的基础网络模型；所述retinanet由骨干网络和金字塔网络fpn(2)以及两个子网络构成；所述两个子网络构成包括分类子网络(3)和框回归子网络(4)；所述骨干网络采用resnet(1)；所述resnet(1)依次连接金字塔网络fpn(2)、分类子网络(3)以及框回归子网络(4)。3.根据权利要求1所述的基于深度学习的用于生产安全的人员检测方法，其特征在于：ss2提取语义信息，通过采用word2vec算法中的skip
‑
gram模型对维基英文语料库进行无监督训练，得到词库中每个词的词向量；skip
‑
gram模型是一个神经网络模型，它以词对应的独热向量作为输入层，词向量作为隐藏层，词库中其他词可能为上下文的概率作为输出层，通过训练使最终得到的概率最为接近词库中的真实概率，这样训练得到输出层到隐藏层的参数，然后再据此计算每个词的词向量；对于每个类计算得到d维词向量w(c)，两个词向量之间的欧式距离d(w(c
i
),w(c
j
))代表两个类在语义空间中的接近程度，距离越小表示这两个类越接近。4.根据权利要求1所述的基于深度学习的用于生产安全的人员检测方法，其特征在于：基于零样本学习的模型迁移，将要检测的目标类别分为可见类和不可见类；其中可见类在训练阶段存在标记好的目标实例，而不可见类在训练阶段则不存在标记好的目标实例；可见类的集合用表示，不可见类的集合用表示，表示所有类的集合，其中且模型迁移的目标是使得训练出的模型既能检测训练集中存在的可见类，又能很好地检测训练集中不存在的不可见类；由于基础目标检测模型的分类子网络中最后一层的参数个数是固定的，与目标类别的个数绑定，因此训练中针对的是什么类别，模型就只能预测出这些类别的分数，而对不可见类的分数预测无能为力；针对分类子网络的结构和语义信息，提出逐步递进的三种方法来改进原始网络，从而使其可以检测训练集中不存在的目标类，具体如下：sss1：借助词向量进行逆预测；sss2：增加语义嵌入层；sss3：增加关联类来辅助检测；sss1借助词向量进行逆预测对于每个预测框b＝(x1,y1,x2,y2)，根据原始模型得到了每
个可见类的预测分数p(s|b)，其中向量m
p(s|b)
＝[p(s1|b),p(s2|b)...p(s
s
|b)]是指所有可见类的预测分数组成的向量；每个可见类的词向量为w(s)，矩阵表示所有可见类的词向量组成的矩阵；所有可见类的词向量矩阵与它们的预测分数向量相乘即可得到预测词向量w(b)：w(b)＝m
p(s|b)
×
m
w(s)
将预测词向量w(b)与所有不可见类词向量w(u)组成的矩阵m
w(u)
的伪逆矩阵相乘，其中从而得到各不可见类的预测分数组成的向量m
p(u|b)
，其中m
p(u|b)
＝[p(u1|b),p(u2|b)...p(u
u
|b)]，其计算公式如下所示：按照此方法得到的各可见类的分数矩阵为：可见类在经过计算后仍能还原到原始的分数，说明使用伪逆矩阵有一定的数学根据；如果使用词向量矩阵的转置，即效果要比使用伪逆矩阵差；反映在模型中，就是在分类子网络的最后加入了两个固定参数的全连接层；第一层的固定参数为所有可见类词向量组成的矩阵m
w(s)
，第二层的固定参数为所有不可见类词向量组成的矩阵的伪逆矩阵最终的输出即是各不可见类的分数组成的向量：m
p(u|b)
；sss2增加语义嵌入层，在模型的最后加入对不可见类分数的计算，而在预测可见类时并没有加入语义信息；为了更多地利用语义信息来帮助检测，在预测可见类分数时也加入语义嵌入层，可见类分类的最后一步不是直接预测出类分数，而是先预测出词向量，然后再转换为类分数；sss3增加关联类来辅助检测，用到的辅助语义信息只有单个类别的词向量，反映的信息量十分有限；在此方法中增加与要检测的不可见类相关联类别的词向量，来降低语义噪声；这里的关联类，是指与目标类别常常同时出现的目标，有三种情况：ssss1：目标类身上附着的物体；ssss2：目标类的通常背景；ssss3：常常与目标类伴随出现的相关物体；用表示不可见类u的关联类集合，即表示类r是不可见类u的一个关联类，w(r)表示关联类r的词向量，m
w(r)
表示所有不可见类的关联类词向量组成的矩阵，即与上一种方法类似地，可以预测得到各不可见类的分数向量m
p(u|b)
，同样也可以得到各关联类的预测分数向量：
其中，m
p(r|b)
定义为m
p(r|b)
＝[p(r1|b),p(r2|b)...p(r
r
|b)]；最后将不可见类和关联类的预测分数相结合，得到最终的预测分数：其中，q(r,u)为不可见类u和其关联类r之间的关联系数；采用模型表示，即是在分类子网络的最后加入了四个固定参数的全连接层，新增的四个全连接层；第一层的固定参数为所有可见类词向量组成的矩阵m
w(s)
，然后分别连接并行的第二层和第三层；第二层的固定参数为所有不可见类词向量组成的矩阵的伪逆矩阵它的输出即是所有不可见类的初始分数组成的向量m
p(u|b)
；第三层的固定参数为所有不可见类的关联类词向量组成的矩阵的伪逆矩阵它的输出即是所有关联类的分数组成的向量m
p(r|b)
；接下来将二三层的输出进行连接再输入到第四层，第四层的固定参数为所有不可见类与它自身以及其关联类的关联系数矩阵m
q(r,u)
，最终输出为所有不可见类的最终分数组成的矩阵m
p'(u|b)
。

技术总结
本发明公开了一种基于深度学习的用于生产安全的人员检测方法，具体步骤如下：S1：数据采集；S2：数据增强；S3：训练模型；S4：实验对比；S5：服务器部署；所述S3：训练模型具体步骤如下：SS1、训练基础网络模型；SS2、提取语义信息；SS3、基于零样本学习的模型迁移；本发明通过RetinaNet网络模型在通用数据集上进行目标检测任务的训练，结合零样本学习的方法将模型迁移到天然气生产工人类或其他生产环境下的人员类的检测中，无需进行重新训练。无需进行重新训练。无需进行重新训练。


技术研发人员：司徒轩 胡哲 苗升展 施孙阳
受保护的技术使用者：庆阳瑞华能源有限公司
技术研发日：2021.09.08
技术公布日：2021/12/3