一种基于人工智能的银行场景下智能报警方法与流程

1.本发明公开一种基于人工智能的银行场景下智能报警方法，属于计算机视觉智能识别的技术领域。


背景技术：

2.银行是经营存款、放款、汇兑、储蓄等业务，承担信用中介的金融机构，其具有规模多样化、金融服务设备众多、出入人员复杂、管理涉及范围广等特点。因此，基于此场景下，经常发生因员工消极怠工而导致顾客未能得到高效服务的情况。除此之外，虽然顾客没有需要专业帮助的意愿，但是如能通过某种监督可以督促工作人员积极关注客户需求，也会大大提高客户服务体验，同时增加银行创收。
3.当前银行场景下的监控方法主要依靠工作人员人为的不间断的监控顾客是否需要帮助以及员工行为是否合规、安全等，需要大量的人力。传统的监控方法主要依靠人工检测的方法，这种方法存在着诸多缺陷，比如劳动强度大，自动化程度低等，并且容易受到监控人员的主观情绪影响，而且由于人力容易出现疲劳等情况，所以监控误差较大。


技术实现要素：

4.针对现有技术的不足，本发明公开一种基于人工智能的银行场景下智能报警方法。本发明涉及深度学习算法在计算机视觉领域的应用，具体是指基于深度神经网络，自动识别银行场景中人员以及物品位置和类别信息的方法，并依据检测结果进行智能报警。
5.本发明详细的技术方案如下：一种基于人工智能的银行场景下智能报警方法，其特征在于，包括：s1：通过银行监控摄像头收集银行正常工作场景下的视频流；s2：将收集得到的视频流通过抽帧的方法，获取视频流中不同时刻的银行场景照片，以制作数据集；s3：然后利用基于改进的yolov5目标检测算法，对所述数据集进行离线训练；所述基于改进的yolov5目标检测算法为：针对yolov5目标检测模型添加asff自适应特征融合模块，对上层的输出特征进行加权融合，提升算法的检测效果，所述asff自适应特征融合模块的原理：对于上层的输入特征分别乘上权重，公式为，所述经过降维之后通过softmax函数使得范围都在[0,1]内并且和为1；s4：训练的到的模型对场景中标注的人和物做检测识别，同时得到其位置与类别标签；s5：根据模型的检测结果，通过后处理模块，得到是否有顾客需要帮助情况，和/或是否有员工玩手机的情况。
[0006]
根据本发明优选的，所述s1的具体流程为：
s11：在银行场景下部署监控摄像头；s12：将监控摄像头拍摄的到的视频，分不同的时间段分别收集视频流。
[0007]
根据本发明优选的，所述s2的具体流程为：s21：将收集得到的视频流按照抽帧的方法对视频进行处理，时间间隔取为2s，每隔2s从视频中抽取一张图片；s22：将所有收集得到的图片汇总成数据集；s23：利用开源标注工具labeling对数据集进行标注，在图像中出现的人和物进行标注，包括：customer（顾客），customer_missing_package（顾客遗失物品），phone（手机），poster（广告牌），securer（保安）和staff（银行职员）；将人员按照职业的不同分为customer（顾客）、securer（保安），staff（银行职员）；将物体按照种类的不同分为customer_missing_package（顾客遗失物品），phone（手机），poster（广告牌）；s24：将标注完成的数据集按照8：1：1的比例，将数据集乱序分配，分为训练集、测试集和验证集。
[0008]
根据本发明优选的，所述s3的具体流程为：在s24标注得到的数据集上，训练改进的yolov5模型，得到基于改进的yolov5的银行场景下识别人员及物品位置和类别信息的目标检测算法。
[0009]
根据本发明优选的，所述s4的具体流程为：s41：将s3得到的目标检测算法，运用在s2中获取的银行场景下的数据图像上，对图像中的人员以及物品进行检测，并形成目标检测框；s42：根据s41的检测结果，将同一帧的检测结果进行统计，并显示在视频帧中。
[0010]
根据本发明优选的，所述s5的具体流程为：s51：针对检测出来的所有目标进行循环遍历，先判断该目标是否是员工：如果是员工，则判断其它目标检测框与该员工检测框相交的目标检测框中是否有手机存在，如果有，则对后台报警：有员工玩手机；如果判断该目标不是员工，则判断该目标是否是顾客，如果是顾客，则判断其它目标检测框与该顾客检测框相交的目标是否有员工存在，如果无，则对后台报警：有顾客需要帮助；s52：如果该目标既不是员工也不是顾客，则跳过该目标，当所有目标都遍历一遍之后，结束该后处理模块。
[0011]
与现有技术相比，本发明具有以下有益效果：1) 本发明设计了一种基于人工智能的银行场景下智能报警方法，提出了一种新的标注类别方法，包括将场景中的人物分别按照职业划分为银行职员、保安人员以及顾客，场景中的物品按照种类的不同划分为顾客遗失物品、手机和广告牌，该方法按照目标的特异性划分，可以最大程度的发挥出基于深度学习的计算机视觉的优势，提高了算法对目标识别的准确率。
[0012]
2) 本发明设计了一种基于人工智能的银行场景下智能报警方法，提出了改进的yolov5的目标检测算法，对原始yolov5目标检测算法加入asff自适应特征融合模块，对银行场景下的目标物体进行检测识别，提高了算法对目标检测识别的准确率以及实时性。
[0013]
3) 本发明设计了一种基于模型检测结果的后处理方法，提出了一种新的逻辑判断方法，针对检测出来的目标中的员工和顾客类别进行针对性的判断，该方法根据目标的特异性设计不同的逻辑，提高了报警系统的智能程度。
附图说明
[0014]
图1是发明所述智能报警方法的流程图。
[0015]
图2是银行场景下数据集的标注框图。
[0016]
图3是asff自适应特征融合示意图。
[0017]
图4是目标检测模型识别结果无报警的场景示意图。
[0018]
图5是目标检测模型识别到员工玩手机报警的场景示意图。
[0019]
图6是目标检测模型识别到顾客需要帮助报警的场景示意图。
具体实施方式
[0020]
下面结合实施例对本发明做进一步说明，但不限于此。
[0021]
实施例、如图1所示，一种基于人工智能的银行场景下智能报警方法，包括：s1：通过银行监控摄像头收集银行正常工作场景下的视频流；s2：将收集得到的视频流通过抽帧的方法，获取视频流中不同时刻的银行场景照片，以制作数据集；s3：然后利用基于改进的yolov5目标检测算法，对所述数据集进行离线训练；所述基于改进的yolov5目标检测算法为：针对yolov5目标检测模型添加asff自适应特征融合模块，对上层的输出特征进行加权融合，提升算法的检测效果，所述asff自适应特征融合模块的原理：对于上层的输入特征分别乘上权重，公式为，所述经过降维之后通过softmax函数使得范围都在[0,1]内并且和为1；s4：训练的到的模型对场景中标注的人和物做检测识别，同时得到其位置与类别标签；s5：根据模型的检测结果，通过后处理模块，得到是否有顾客需要帮助情况，和/或是否有员工玩手机的情况。
[0022]
所述s1的具体流程为：s11：在银行场景下部署监控摄像头；s12：将监控摄像头拍摄的到的视频，分不同的时间段分别收集视频流。
[0023]
所述s2的具体流程为：s21：将收集得到的视频流按照抽帧的方法对视频进行处理，时间间隔取为2s，每隔2s从视频中抽取一张图片；s22：将所有收集得到的图片汇总成数据集；s23：利用开源标注工具labeling对数据集进行标注，在图像中出现的人和物进行标注，包括：customer（顾客），customer_missing_package（顾客遗失物品），phone（手机），
poster（广告牌），securer（保安）和staff（银行职员）；s24：将标注完成的数据集按照8：1：1的比例，将数据集乱序分配，分为训练集、测试集和验证集。
[0024]
所述s3的具体流程为：在s24标注得到的数据集上，训练改进的yolov5模型，得到基于改进的yolov5的银行场景下识别人员及物品位置和类别信息的目标检测算法。
[0025]
所述s4的具体流程为：s41：将s3得到的目标检测算法，运用在s2中获取的银行场景下的数据图像上，对图像中的人员以及物品进行检测，并形成目标检测框；s42：根据s41的检测结果，将同一帧的检测结果进行统计，并显示在视频帧中。
[0026]
所述s5的具体流程为：s51：针对检测出来的所有目标进行循环遍历，先判断该目标是否是员工：如果是员工，则判断其它目标检测框与该员工检测框相交的目标检测框中是否有手机存在，如果有，则对后台报警：有员工玩手机；如果判断该目标不是员工，则判断该目标是否是顾客，如果是顾客，则判断其它目标检测框与该顾客检测框相交的目标是否有员工存在，如果无，则对后台报警：有顾客需要帮助；s52：如果该目标既不是员工也不是顾客，则跳过该目标，当所有目标都遍历一遍之后，结束该后处理模块。
[0027]
应用例、某银行业务点监控实时拍摄，在视频流中抽取图片送入目标检测模型后，在某一时刻检测出目标信息。针对员工和顾客检测结果数据，进行分析，根据结果判断是否存在员工玩手机以及是否存在顾客需要帮助，对后台管理人员进行报警，方便银行人员以及业务管理。银行场景下智能报警具体步骤如下：s1：收集银行场景下摄像数据，共13846张图片，训练改进的yolov5模型，如附图2是对数据图片进行标注，附图3为asff自适应特征融合示意图；s2：通过目标检测模型的识别结果，获取银行场景下检测结果图像数据；s3：针对检测出来的所有目标进行循环遍历，先判断该目标是否是员工，如果是员工，则判断其它目标检测框与该员工检测框相交的目标是否有手机存在，如果有，则对后台报警，有员工玩手机，附图5是检测到有员工玩手机，并给出警告信息；s4：如果判断该目标不是员工，则判断该目标是否是顾客，如果是顾客，则判断其它目标检测框与该顾客检测框相交的目标是否有员工存在，如果无，则对后台报警，有顾客需要帮助，附图6是检测到有顾客需要帮助，并给出警告信息；s5：如果该目标既不是员工也不是顾客，则跳过该目标，附图4为正常情况，无报警信息，当所有目标都遍历一遍之后，结束该后处理模块。
[0028]
在本发明中，通过改进的yolov5目标检测算法，得到银行场景下图像数据的识别结果，针对结果进行分析，如果存在员工玩手机以及顾客需要帮助的情况，就给出相应的报警信息，可以做到实时准确的保证银行工作的高效率运行，更好的为顾客提供服务。