图书馆流动人员目标检测及其多目标跟踪方法和管理系统与流程

技术特征：
1.一种图书馆流动人员目标检测算法，其特征在于，包括如下步骤：步骤1.1训练数据选取：实时视频检测模型采用的训练数据集是coco数据集的一个子集，包括coco2017数据集的5000张训练图片，3000张测试图片，选取原则为多以图书馆场景出现的标签类别为主，有效提高对图书馆场景内的人员和物品检测的准确率；步骤1.2训练环境准备，包括操作系统、处理器、内存、系统类型、显卡、显存、cuda版本；步骤1.3训练参数设置，训练参数包括训练时数据集图片尺寸img、每次训练投喂数据数量batch、迭代次数epochs；步骤1.4训练方法:首先，获取模型的训练环境、训练参数和训练数据，并对训练数据进行mosaic增强；其次，通过配置文件获取训练集、测试集的图片路径，以及相关类别的数量和类别名字；然后，进入训练迭代：创建一个新的模型，按照yolov5的网络结构创建模型的雏形，将数据进行向前传播，数据经过backbone主干网络、neck部分，传播到最后时，计算相应loss值，之后将数据反向传播，更新参数并降低学习率，在经过epochs个训练周期之后，模型训练完毕，计算相关的结果参数；模型训练算法如下：步骤1.5训练结果获取：在训练模型时，调用wandb模块，可以查看训练过程，采用混淆矩阵分析分类模型预测结果；步骤1.6模型测试及结果分析：利用图书馆采集到的数据来对模型进行效果测试，测试的硬件及软件环境与训练时的硬件及软件环境相同；步骤1.7目标检测及结果分析：包括人员密集程度、人员流动程度和座位使用情况；人员密集程度检测，首先需要获知每个摄像头覆盖的区域所能提供的最大人员容量，再通过实际检测到的人数和最大容量求比值来获取该区域的人员密集程度；人员流动程度检测，需要按照一定的频率对检测人数进行采样，并于上一次采样的人数进行作差运算；座位使用情况，根据每个bounding box的中心点坐标和座位区域划分的相对位置关系判定作为是否被使用。
2.一种图书馆流动人员多目标跟踪算法，其特征在于，包括如下步骤：步骤2.1符号说明步骤2.2轨迹处理，采用deep sort处理检测到的目标的运动轨迹，具体算法如下：步骤2.3匹配原则：改进后的deep sort算法在sort算法基础上，结合使用八元向量对目标运动状态的采集和估计，使用了马氏距离来预测目标的状态，如下公式所示，d
i,j
＝(d
j-y
i
)
t
s
i-1
(d
j-y
i
)公式中，d
i,j
是目标j和轨迹i的马氏距离，表示目标j和轨迹i的匹配程度；向量d
j
表示目标j的状态；s
i
表示轨迹i的协方差矩阵；y
i
表示轨迹i的预测向量；使用该马氏距离来对目标进行筛选，有利于契合目标运动的连续性；计算得到马氏距离之后，根据该马氏距离判断轨迹i和目标j是否可以匹配，具体判断方式如下公式所示，公式中，d_threshold表示事先设定好的马氏距离阈值，b
i,j
取1表示马氏距离小于等于阈值，轨迹i和目标j有关联成功的可能性；否则b
i,j
取0，表示马氏距离大于阈值，轨迹i和目标j不能匹配，即使在进行匹配算法中计算得到轨迹i和目标j满足匹配条件，也不将它们进行匹配；计算所得到的马氏距离适用于运动不确定性较低的目标，适用于追踪图书馆中静止摄像头拍摄到的人员的行动轨迹；
对已消失但消失时间还未超过一定阈值的轨迹，按照消失时间从小到大排序，并按照此顺序依次遍历这些轨迹；以马氏距离作为参数，根据最小成本算法计算出该轨迹与未匹配对象的最佳匹配；。3.一种图书馆流动人员管理系统，其特征在于，采用如权利要求1所述的目标检测算法和权利要求书2所述的多目标跟踪算法构建，系统包括客户端、服务器端、yolov5实时视频检测模型、改进后的deep sort多目标跟踪算法、系统后端、数据库；所述客户端包括学生客户端和管理员客户端；学生客户端，在主页单击“注册”按钮之后，学生用户可以进行注册，登录之后，学生可以查看任意楼层的人员密集程度、人员流动情况；管理员客户端，用于管理员登录后查看每个学习区域的人员密集程度、人员流动情况、座位利用效率、人员行动轨迹的权限，并可以通过客户端直接查看检测后的视频；所述服务器端调用yolov5实时视频检测模型和改进的deep sort多目标跟踪算法，并与系统数据库相连，用于记录用户的基本信息，如账号、密码、学号等；所述系统后端输出包括flask初始化、目标检测结果输出、用户请求访问网页反馈等信息；所述数据库主要记录用户在注册时输入的基本信息。

技术总结
本发明提出一种图书馆流动人员目标检测及其多目标跟踪方法和管理系统。采用基于Yolov5模型的目标检测方法对视频进行目标检测，通过筛选数据集、调整合适的模型训练参数，对模型进行训练，并进行模型测试和目标检测及相关数据分析；对Deep SORT算法进行改进，对目标检测结果进行多目标跟踪；根据以上目标检测和多目标跟踪结果，构建基于物理空间数据分析的图书馆智能管理系统。本发明克服了传感器网络的成本偏高、无法对人员密集区域精确检测、对目标出现的连续性依赖较强的问题，为学生提供了无法从互联网或者电话服务提供的图书馆使用情况的实时查询服务，也为图书馆管理者通过人员实时流动情况实施图书馆个性化服务和智能管理。智能管理。智能管理。


技术研发人员：程久军 许国望 陈嘉捷 熊永红
受保护的技术使用者：同济大学
技术研发日：2021.09.23
技术公布日：2022/1/10