基于深度学习的电梯人流视觉统计方法、系统及存储介质

技术特征：
1.一种基于深度学习的电梯人流视觉统计方法，其特征在于，包括以下步骤：s01：使用注意力机制对yolov5神经网络模型进行改进，将带有残差结构的网络模块cst替换yolov5 backbone中的csp模块，使用csa模块替代yolov5神经网络模型中特征融合部分的csp模块，得到改进的yolo-el神经网络模型；s02：通过改进的yolo-el神经网络模型对图像进行检测，将当前图像标记为首帧；s03：如果检测到目标，将检测到的目标信息传递给目标跟踪器，对图像动态跟踪，并选择fn帧中的一帧进行识别统计，忽略其他帧；如果跟踪失败或完成n帧图像的跟踪，重新对图像进行检测。2.根据权利要求1所述的基于深度学习的电梯人流视觉统计方法，其特征在于，所述步骤s01中cst模块包括第一卷积层、第二卷积层、第三卷积层和transformer层，第一卷积层和第二卷积层用于接收上层网络的输出，第一卷积层的输出用作transformer层的输入，第二卷积层作为残差结构，其输出端与transformer层的输出进行拼接，得到的结构输入第三个卷积层中进行处理；所述transformer层中数据首先进入扁平化层，经过处理后由多维转换为1维，然后经归一化层进行归一化处理，随后经过多头注意力层的处理后再次进行归一化运算，最后通过多层感知机进行处理。3.根据权利要求1所述的基于深度学习的电梯人流视觉统计方法，其特征在于，所述步骤s01中csa模块包括第四卷积层、第五卷积层、第六卷积层、第七卷积层、注意力层和bottleneck层，其中bottleneck层为1
×
1的卷积运算，用于减少网络参数数量；所述第四卷积层、第五卷积层用于接收上层网络的输出，所述第四卷积层的输出用作注意力层的输入，注意力层的输出经过第六卷积层的处理后，其结果输入bottleneck层，经bottleneck层处理后与该第六卷积层的输出进行拼接，拼接结果与第五卷积层的结果继续拼接，所述第五卷积层构成残差结构，得到的结果通过第七卷积层进行处理得到最后的结果。4.根据权利要求1所述的基于深度学习的电梯人流视觉统计方法，其特征在于，所述步骤s03中跟踪器的建立包括：构建kcf跟踪器，通过使用轮转矩阵生成样本，训练一个判别式分类器，引入循环矩阵，采用快速傅里叶变换对kcf算法进行加速计算；训练kcf跟踪器，找到一个非线性映射函数使映射后的结果在线性空间下是可分的，即找到一个回归函数，给定样本和对应的标签，为目标模板，目标是优化最大平方和误差；使用高斯核函数对跟踪器进行训练。5.根据权利要求4所述的基于深度学习的电梯人流视觉统计方法，其特征在于，所述训练kcf跟踪器的方法包括以下步骤：由训练样本的非线性变换的线性组合构成：(16)
其中，为权重参数，为样本，此时实际为所有样本的加权平均，新样本的预测值为：(17)记称为核函数，得：(18)其中，、、为样本数量，为权重参数构成的向量，中的第t个元素为训练样本和测试样本的核函数值；使用线性函数的优化方法求解：(19)其中，是所有训练样本的核相关矩阵，，为单位矩阵，为正则项系数，为对应的目标值，为的集合；使用高斯核函数对跟踪器进行训练：记循环矩阵的初始向量为，经傅里叶变换后值为，根据式(19)可得：(20)经傅里叶变换得：(21)化简后得：
(22)对同样利用循环矩阵加速，对于高斯核函数，核相关矩阵的初始向量为：(23)其中，为径向基函数，、为样本向量，上式向量化后得：(24)其中，为高斯核函数，为样本向量的傅里叶变换，为样本向量的傅里叶变换的复共轭；将式(23)代入(24)后得：(25)则高斯核函数对应的初始向量为：(26)其中，是初始样本经傅里叶变换后得到的值，是常离散傅里叶矩阵，为经傅里叶变换后的复共轭；kcf算法的检测结果是一个标量，表示某一个样本的回归值：(27)对待检测的图像进行循环化：
(28)其中，表示训练样本与候选样本之间的核相关矩阵，为其初始向量，则：(29)傅里叶变换后：(30)化简后得：(31)此时检测结果是一个向量，维度和训练时的一样，其中最大元素对应的偏移量即为检测到的目标的位置。6.根据权利要求1所述的基于深度学习的电梯人流视觉统计方法，其特征在于，所述步骤s03之后还包括：当跟踪器跟踪失败，判断目标出现重叠，检测近景目标的深度信息，判断被遮挡目标是否还在电梯内；如果近景目标的深度大于电梯自身的深度，不进行统计，如果近景目标的深度小于电梯自身的深度，对其进行统计。7.根据权利要求6所述的基于深度学习的电梯人流视觉统计方法，其特征在于，所述检测近景目标的深度信息的方法包括：计算相机镜头光心到目标的距离：其中，为相机焦距；是乘员头部物理尺度，是电梯轿厢的内部固定物理尺度，为融合后的实际目标物理尺度，为异域像素特征，与表示不同类型特征的数量，和通过成像数据得出；以相机镜头的光心为坐标系原点建立右手三维坐标系，竖直向下为x轴，垂直于电梯后
立面向外为z轴，相机光轴与三个坐标轴x、y、z的夹角分别为,,，则目标的深度d：。8.一种根据权利要求1-7任一所述统计方法的基于深度学习的电梯人流视觉统计系统，其特征在于，包括：yolo-el神经网络模型构建模块，使用注意力机制对yolov5神经网络模型进行改进，将带有残差结构的网络模块cst替换yolov5 backbone中的csp模块，使用csa模块替代yolov5神经网络模型中特征融合部分的csp模块，得到改进的yolo-el神经网络模型；目标检测模块，通过改进的yolo-el神经网络模型对图像进行检测，将当前图像标记为首帧；跟踪统计模块，如果检测到目标，将检测到的目标信息传递给目标跟踪器，对图像动态跟踪，并选择fn帧中的一帧进行识别统计，忽略其他帧；如果跟踪失败或完成n帧图像的跟踪，重新对图像进行检测。9.根据权利要求8所述的基于深度学习的电梯人流视觉统计系统，其特征在于，还包括遮挡目标检测模块：当跟踪器跟踪失败，判断目标出现重叠，检测近景目标的深度信息，判断被遮挡目标是否还在电梯内；如果近景目标的深度大于电梯自身的深度，不进行统计，如果近景目标的深度小于电梯自身的深度，对其进行统计。10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现权利要求1-7任一项所述的基于深度学习的电梯人流视觉统计方法。

技术总结
本发明公开了基于深度学习的电梯人流视觉统计方法、系统及存储介质，包括：使用注意力机制对YOLOv5神经网络模型进行改进，将带有残差结构的网络模块CST替换YOLOv5 backbone中的CSP模块，使用CSA模块替代YOLOv5神经网络模型中特征融合部分的CSP模块；通过改进的YOLOv5神经网络模型对图像进行检测，将当前图像标记为首帧；如果检测到目标，将检测到的目标信息传递给目标跟踪器，对图像动态跟踪，并选择帧中的一帧进行识别统计；如果跟踪失败或完成图像跟踪，则重新检测，同时测量目标深度改善对遮挡目标的检测。本发明保证了电梯内成员数量统计的准确性，特别是增强了对小目标的检测能力。检测能力。检测能力。


技术研发人员：张贵阳 徐本连 吉思雨 刘琪 陆婷 张福生 任勇 翟树峰 朱玲羽 王绵绵
受保护的技术使用者：常熟理工学院
技术研发日：2022.11.25
技术公布日：2022/12/30