一种多特征座位状态实时检测方法及系统

1.本发明涉及计算机视觉领域，具体涉及一种多特征座位状态实时检测方法及系统


背景技术：

2.座位状态监测是记录大型会场会议信息的重要方法。随着越来越多的会议、报告和晚会的举办，大型会场的使用率不断升高，记录高频率大规模下的会场会议信息难度不断增加。对于能容纳数千人甚至上万人的大型会场而言，会场管理者需要实时掌握每个座位的状态，来记录与会人员出入就座信息，或者及时发现突发状况。目前的会场管理系统仅有会议视频录制、人员出入记录这些基础功能，需要花费大量人力对会场座位状态进行监控，即使如此，也不能做到及时准确。
3.近年来，随着机器学习的不断发展，尤其是神经网络在模式识别上的优异表现，使得越来越多的目标检测任务能够实现高效自动化。一些研究已将神经网络应用于座位状态实时监测任务中。
4.然而，目前基于机器学习的目标检测方法运算耗时非常高。虽然利用hog特征结合svm分类器的方式达到了较好的人物检测效果，但是在真实的会场视频数据上，依然无法做到实时检测。与此同时，由于实际的会场管理系统中，单个摄像头通常要负责拍摄200至400个不等的座位，单个座位的像素仅为80*60左右，一般的座位状态监测模型很难在这样小的难样本上具有强泛化和高精度的识别表现。


技术实现要素：

5.本发明是为了解决上述问题而进行的，目的在于提供一种多特征座位状态实时检测方法及系统。
6.本发明提供了一种多特征座位状态实时检测方法，具有这样的特征，包括以下步骤：步骤1，对待测座位图像进行预处理，建立场景的像素背景模型，筛选出发生状态变化的座位图像，并将发生变化的座位图像提取出来；步骤2，对发生变化的座位图像并行计算hog、gist、sift三种视觉特征；步骤3，对三种视觉特征通过支持向量机分类器进行分类，得到分类结果；步骤4，将分类结果进行融合，最后得出当前场景中的座位状态。
7.在本发明提供的多特征座位状态实时检测方法中，还可以具有这样的特征：其中，步骤1中，预处理部分包括以下步骤：步骤1-1，在第一帧座位图像中完成初始化vibe背景差分模型，得到背景采样模型，然后进入步骤1-2；步骤1-2，计算像素值和背景采样模型模型中n个采样点的距离，然后进入步骤1-3；步骤1-3，定义r值代表和当前像素距离，计算当前像素是否属于背景，如果当前像素属于运动前景，则进入步骤1-5，否则当前像素属于背景，则进入步骤1-4；步骤1-4，首先从当前背景采样模型中随机取一个样本和当前像素值互换，然后从当前像素点临近的8个相邻像素点中随机取一个像素与背景采样模型中的随机一个样本互换，从而更新背景采样模型，然后进入步骤1-5；步骤1-5，重复步骤1-2～步骤1-4继续处理下一个像素点，直到所有的像素点处理完毕。
8.在本发明提供的多特征座位状态实时检测方法中，还可以具有这样的特征：其中，步骤2包括以下步骤：步骤2-1，计算hog视觉特征；步骤2-2，计算gist视觉特征；步骤2-3，计算sift视觉特征。
9.在本发明提供的多特征座位状态实时检测方法中，还可以具有这样的特征：其中，步骤2-1中，计算hog视觉特征包括以下步骤：步骤2-1-1，采用gamma颜色校正，调节座位图像的对比度，来对座位图像进行归一化；步骤2-1-2，对采集的rgb图像，在每个颜色通道中计算梯度，最后在像素的3个通道梯度中，取最大值作为该像素的梯度；步骤2-1-3，使用高斯权重窗口对图像中的每个block进行加权，按照像素的梯度方向，对每个cell统计梯度直方图；步骤2-1-4，对每个block，在各方向上的统计block内的梯度直方图，接着对梯度直方图进行归一化；步骤2-1-5，收集各block归一化之后对梯度方向直方图，将直方图连接组合成为hog特征。
10.在本发明提供的多特征座位状态实时检测方法中，还可以具有这样的特征：其中，步骤2-2中，计算gist视觉特征包括以下步骤：
11.步骤2-2-1，将座位区域的图像和gabor滤波器进行卷积操作后得到滤波后的图像；步骤2-2-2，对卷积后的图像按照4*4划分，在分割所得的各个区域内取平均值，再将这些区域的平均值组合起来，得到gist特征。
12.在本发明提供的多特征座位状态实时检测方法中，还可以具有这样的特征：其中，步骤2-3中，计算sift视觉特征包括以下步骤：
13.步骤2-3-1，采用dog算子建立的尺度空间，对某一点，将它与周围的8近邻点以及上下相邻尺度的对应位置的9近邻点共26个点进行比较，若该点都大于或都小于这26个点，则该点被选为极值点；步骤2-3-2，过滤极值点中对比度不高和靠近边缘的像素点；步骤2-3-3，通过方向梯度直方图计算极值点的主方向；步骤2-3-4，以极值点为中心，按其方向旋转坐标轴，取关键点周围8*8的区域，再按2*2分割区域，在每个子区域中统计方向直方图，归一化之后生成sift特征描述子。
14.本发明提供了一种多特征座位状态实时检测系统，具有这样的特征，包括：预处理部，对待测座位图像进行预处理，建立场景的像素背景模型，筛选出发生状态变化的座位图像，并将发生变化的座位图像提取出来；以及目标检测处理部，对发生变化的座位图像并行计算hog、gist、sift三种视觉特征，然后对三种视觉特征通过支持向量机分类器进行分类，得到分类结果，并将分类结果进行融合，最后得出当前场景中的座位状态。
15.发明的作用与效果
16.根据本发明所涉及的多特征座位状态实时检测方法，因为检测步骤为：步骤1，对待测座位图像进行预处理，建立场景的像素背景模型，筛选出发生状态变化的座位图像，并将发生变化的座位图像提取出来；步骤2，对发生变化的座位图像并行计算hog、gist、sift三种视觉特征；步骤3，对三种视觉特征通过支持向量机分类器进行分类，得到分类结果；步骤4，将分类结果进行融合，最后得出当前场景中的座位状态。
17.因此，根据本发明的多特征座位状态实时检测方法，将座位状态监测问题转化成为人体目标检测问题，按照场景的实际情况选择hog、gist和sift特征，融合三种特征分类结果，由此保证了座位状态监测结果的准确性和鲁棒性。通过基于vibe背景差分的图像预处理筛选出状态变化的座位，以此来减少运算量达到实时监测的要求。另外，该多特征座位
状态实时监测策略实现简单，可用于现有的多种卷积神经网络模型上，简单便捷。
附图说明
18.图1是本发明的实施例中会场座位分布的示意图；
19.图2是本发明的实施例中多特征座位状态实时检测方法的流程图；
20.图3是本发明的实施例中hog特征提取的流程图；以及
21.图4是本发明的实施例中多特征融合的流程图。
具体实施方式
22.为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下实施例结合附图对本发明一种多特征座位状态实时检测方法及系统作具体阐述。
23.在本实施例中，提供了一种多特征座位状态实时检测方法，能够针对识别难度较大的座位分布图，完成精确的座位状态实时监测。
24.本实施例中，一种多特征座位状态实时检测方法通过一台计算机运行，该计算机需要一张显卡进行gpu加速从而完成模型的训练过程，训练完成的座位状态监测模型以及图像识别过程以可执行代码的形式存储在计算机中。
25.图1是本发明的实施例中会场座位分布的示意图。
26.如图1所示，本实施例中，数据集采用某大型会场在多次会议期间的实时视频数据，整个会场包含3000多个座位，由16台高清摄像图覆盖，每台摄像头负责100～300个座位，采集图像分辨率为1920*1080，帧数达到每秒25帧以上，采集视频长度达到600多分钟。在采集的视频数据集上，通过人工标注方式获取座位区域的坐标。在时间轴上均匀采集样本帧，在样本帧图像中对座位随机采样，尽可能保证样本座位的随机性，依次生成座位样本集。在获得座位样本集之后，对每张座位图像均进行人工标注，同时剔除一些模糊、遮挡的样本。最后，在得到的座位样本集中用1230张有人入座的座位样本作为正样本集、820张无人入座的座位样本作为负样本集进行模型训练，其他座位样本作为测试集来使用。
27.图2是本发明的实施例中一种多特征座位状态实时检测方法的流程图。
28.如图2所示，本实施例所涉及的多特征座位状态实时检测方法包括以下步骤：
29.步骤s1，对待测座位图像进行预处理，建立场景的像素背景模型，筛选出发生状态变化的座位图像，并将发生变化的座位图像提取出来。从视频图像中提取运动物体检测区域，每台摄像机取景区域中的检测区域事先已经由人工标注。
30.其中，步骤s1中，预处理部分包括以下步骤：
31.步骤s1-1，在第一帧座位图像中完成初始化vibe背景差分模型，得到背景采样模型，然后进入步骤s1-2。
32.步骤s1-2，计算像素值和背景采样模型模型中n个采样点的距离，然后进入步骤s1-3。
33.步骤s1-3，定义r值代表和当前像素距离，计算当前像素是否属于背景，如果当前像素属于运动前景，则进入步骤s1-5，否则当前像素属于背景，则进入步骤s1-4。
34.步骤s1-4，首先从当前背景采样模型中随机取一个样本和当前像素值互换，然后从当前像素点临近的8个相邻像素点中随机取一个像素与背景采样模型中的随机一个样本
互换，从而更新背景采样模型，然后进入步骤s1-5。
35.步骤s1-5，重复步骤s1-2～步骤s1-4继续处理下一个像素点，直到所有的像素点处理完毕。
36.步骤s2，将步骤s1处理得到的预处理图像进行单元座位特征提取，对发生变化的座位图像并行计算hog、gist、sift三种视觉特征。
37.其中，步骤s2包括以下步骤：
38.步骤s2-1，计算hog视觉特征。
39.图3是本发明的实施例中hog特征提取的流程图。
40.如图3所示，其中，步骤s2-1中，计算hog视觉特征包括以下步骤：
41.步骤s2-1-1，输入图像，通过检测窗口进行滑窗处理。将处理得到的图像采用gamma颜色校正，调节座位图像的对比度，来对座位图像进行归一化。
42.步骤s2-1-2，将步骤s2-1-1处理得到的色彩校正图像计算图像梯度，对采集的rgb图像，在每个颜色通道中计算梯度，最后在像素的3个通道梯度中，取最大值作为该像素的梯度。
43.步骤s2-1-3，使用高斯权重窗口对图像中的每个block进行加权，按照像素的梯度方向，对每个cell统计梯度直方图。
44.步骤s2-1-4，对每个block，在各方向上的统计block内的梯度直方图，接着对梯度直方图进行归一化。
45.步骤s2-1-5，收集各block归一化之后对梯度方向直方图，将直方图连接组合成为hog特征。
46.步骤s2-2，计算gist视觉特征。计算gist视觉特征包括以下步骤：
47.步骤s2-2-1，将座位区域的图像和gabor滤波器进行卷积操作后得到滤波后的图像。
48.步骤s2-2-2，对卷积后的图像按照4*4划分，在分割所得的各个区域内取平均值，再将这些区域的平均值组合起来，得到gist特征。
49.步骤s2-3，计算sift视觉特征。计算sift视觉特征包括以下步骤：
50.步骤s2-3-1，采用dog算子建立的尺度空间，对某一点，将它与周围的8近邻点以及上下相邻尺度的对应位置的9近邻点共26个点进行比较，若该点都大于或都小于这26个点，则该点被选为极值点。
51.步骤s2-3-2，过滤极值点中对比度不高和靠近边缘的像素点。
52.步骤s2-3-3，通过方向梯度直方图计算极值点的主方向。
53.步骤s2-3-4，以极值点为中心，按其方向旋转坐标轴，取关键点周围8*8的区域，再按2*2分割区域，在每个子区域中统计方向直方图，归一化之后生成sift特征描述子。
54.步骤s3，对三种视觉特征通过支持向量机(svm)分类器进行分类，将步骤s2处理得到的单元座位特征输入到预先训练获得的座位识别特征模型从而得到特征分类结果。
55.本实施例中，特征模型可以通过预先训练获得并存储在计算机中，计算机可以通过可执行代码调用该模型并同时批量处理多张座位图像，得到并输出每张图像的座位分类结果。
56.图4是本发明的实施例中多特征融合的流程图。
57.如图4所示，步骤s4，将分类结果进行融合，最后得出当前场景中的座位状态。将处理得到的特征融合结果进行区域座位状态融合，对发生运动的状态，将计算所得座位状态和未发生运动座位的状态组合成为整个区域的座位状态。将处理得到的区域座位状态输出，得到整体会场座位状态图。
58.在本实施例中，训练好的神经网络模型对该测试集的座位状态分类准确率达到99.5％。
59.本实施例中还提供了一种多特征座位状态实时检测系统，包括：
60.预处理部，利用本实施例中步骤s1中的方法进行预处理。以及
61.目标检测处理部，用本实施例中步骤s2～s4中的方法进行实时检测，得到分类结果。
62.实施例的作用与效果
63.根据本实施例所涉及的多特征座位状态实时检测方法，因为检测步骤为：步骤1，对待测座位图像进行预处理，建立场景的像素背景模型，筛选出发生状态变化的座位图像，并将发生变化的座位图像提取出来；步骤2，对发生变化的座位图像并行计算hog、gist、sift三种视觉特征；步骤3，对三种视觉特征通过支持向量机分类器进行分类，得到分类结果；步骤4，将分类结果进行融合，最后得出当前场景中的座位状态。
64.因此，根据上述实施例的多特征座位状态实时检测方法及系统，将座位状态监测问题转化成为人体目标检测问题，按照场景的实际情况选择hog、gist和sift特征，融合三种特征分类结果，由此保证了座位状态监测结果的准确性和鲁棒性。通过基于vibe背景差分的图像预处理筛选出状态变化的座位，以此来减少运算量达到实时监测的要求。另外，该多特征座位状态实时监测策略实现简单，可用于现有的多种卷积神经网络模型上，简单便捷。
65.上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。