预防呼吸传染的社交距离监控方法、装置、介质及设备

1.本技术实施例涉及图像处理技术领域，特别涉及一种预防呼吸传染的社交距离监控方法、装置、介质及设备。


背景技术：

2.为了预防如covid-19之类的呼吸性传染病，需要对人们的社交距离进行监控，以便在人们的社交距离小于预定阈值时，对人们进行警告。
3.相关技术中，计算机设备获取图像，采用haar-like算法定义的14个基本特征结构来对图像进行特征提取，计算出特征值；通过每个特征结构遍历整个图像后得到该特征结构的维度和，以得到目标对象。
4.haar-like算法对于人脸的识别有较高的精确度，但是对于检测整体的行人没有较大的适用性，也就无法对行人的社交距离进行监控。


技术实现要素：

5.本技术实施例提供了一种预防呼吸传染的社交距离监控方法、装置、介质及设备，用于解决采用haar-like算法来监控社交距离时，只能检测到人脸，而无法检测到行人，导致无法对行人的社交距离进行监控的问题。所述技术方案如下：
6.一方面，提供了一种预防呼吸传染的社交距离监控方法，所述方法包括：
7.获取待检测的图像；
8.利用目标检测模型对所述图像进行目标检测，得到至少两个目标对象和每个目标对象的位置信息，所述目标对象为行人或未戴口罩人脸或戴口罩人脸，所述目标检测模型中包括yolo v3网络；
9.根据所述位置信息计算所述至少两个目标对象之间的社交距离；
10.对社交距离小于安全距离阈值的目标对象进行警告。
11.在一种可能的实现方式中，所述对社交距离小于安全距离阈值的目标对象进行警告，包括：
12.根据每两个目标对象的类型选择对应的安全距离阈值；
13.将每两个目标对象之间的社交距离与对应的安全距离阈值进行比较；
14.若存在社交距离小于对应的安全距离阈值的两个目标对象，则对所述两个目标对象进行警告。
15.在一种可能的实现方式中，所述对所述两个目标对象进行警告，包括：
16.在所述图像上，以预定颜色显示所述两个目标对象的边界框；或者，
17.生成用于指示所述两个目标对象的警告文本或警告语音。
18.在一种可能的实现方式中，当所述图像由摄像头拍摄得到时，所述根据所述位置信息计算所述至少两个目标对象之间的社交距离，包括：
19.对于每个目标对象，利用透视变换将摄像头视角下的位置信息转换为鸟瞰视角下
的位置信息；
20.利用转换后的位置信息计算每两个目标对象之间的社交距离。
21.在一种可能的实现方式中，所述利用目标检测模型对所述图像进行目标检测，得到至少两个目标对象和每个目标对象的位置信息，包括：
22.将所述图像输入所述目标检测模型中；
23.利用所述目标检测模型分割出包含目标对象的前景区域；
24.计算所述前景区域的连通区域blob值；
25.根据所述blob值计算每个目标对象的位置信息和置信度；
26.利用非极大值抑制nms算法对所述置信度进行筛选，得到至少两个目标对象和每个目标对象的位置信息。
27.在一种可能的实现方式中，在所述利用目标检测模型对所述图像进行目标检测之前，所述方法还包括：
28.获取多张第一图像和对应的标注信息以及多张第二图像和对应的标注信息，所述第一图像中包含行人，所述第二图像中包含戴口罩人脸；
29.将所述第一图像和所述第二图像按照预设比例划分为训练集和测试集；
30.根据所述训练集对创建的目标检测模型进行训练；
31.根据所述测试集对所述目标检测模型进行测试，直至测试结果满足要求时停止训练。
32.在一种可能的实现方式中，所述根据所述训练集对创建的目标检测模型进行训练，包括：
33.获取标签代码文件，将所述标签代码文件中的分类修改为行人、未戴口罩人脸和戴口罩人脸；
34.根据所述训练集和所述标签代码文件对所述目标检测模型进行训练。
35.一方面，提供了一种预防呼吸传染的社交距离监控装置，所述装置包括：
36.获取模块，用于获取待检测的图像；
37.检测模块，用于利用目标检测模型对所述图像进行目标检测，得到至少两个目标对象和每个目标对象的位置信息，所述目标对象为行人或未戴口罩人脸或戴口罩人脸，所述目标检测模型中包括yolo v3网络；
38.计算模块，用于根据所述位置信息计算所述至少两个目标对象之间的社交距离；
39.警告模块，用于对社交距离小于安全距离阈值的目标对象进行警告。
40.一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的预防呼吸传染的社交距离监控方法。
41.一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的预防呼吸传染的社交距离监控方法。
42.本技术实施例提供的技术方案的有益效果至少包括：
43.由于目标检测模型中包括yolo v3网络，所以，通过利用目标检测模型对图像进行目标检测，得到的目标对象可以是行人或未戴口罩人脸或戴口罩人脸，这样，就可以根据目
标对象的位置信息计算至少两个目标对象之间的社交距离，从而对社交距离小于安全距离阈值的目标对象进行警告，从而提高监控的准确性和全面性。
附图说明
44.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
45.图1是根据一个实施例示出的一种目标检测模型的训练流程图；
46.图2是本技术一个实施例提供的预防呼吸传染的社交距离监控方法的方法流程图；
47.图3是本技术另一实施例提供的预防呼吸传染的社交距离监控方法的方法流程图；
48.图4是本技术另一实施例提供的图像的检测结果的示意图；
49.图5是本技术另一实施例提供的图像的检测结果的示意图；
50.图6是本技术另一实施例提供的图像的检测结果的示意图；
51.图7是本技术另一实施例提供的预防呼吸传染的社交距离监控方法的流程示意图；
52.图8是本技术再一实施例提供的预防呼吸传染的社交距离监控装置的结构框图；
53.图9是本技术再一实施例提供的预防呼吸传染的社交距离监控装置的结构框图。
具体实施方式
54.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
55.计算机设备需要先获取目标检测模型，基于该目标检测模型来监控图像中的目标对象的社交距离。本实施例中的目标检测模型是基于yolo v3网络创建的，其可以在很大程度上提高训练和检测速率。
56.目标检测模型可以是计算机设备创建并训练的，也可以是计算机设备从其他设备中获取到的，本实施例中不限定目标检测模型的来源。下面以计算机设备创建并训练目标检测模型为例进行说明，请参考图1。
57.步骤101，获取多张第一图像和对应的标注信息以及多张第二图像和对应的标注信息，第一图像中包含行人，第二图像中包含戴口罩人脸。
58.目标检测最重要的环节是对已标记的数据集进行训练。本实施例中，计算机设备可以从网络上获取一定数量的第一图像和第二图像，并对第一图像和第二图像进行标注，得到标注信息，将所有的第一图像、第二图像和标注信息组成数据集。其中，第一图像和第二图像的数量可以根据实际需求确定，本实施例不作限定。
59.在一个示例中，计算机设备可以预先收集行人各式形态照片1150张作为第一图像，收集人脸口罩各式照片8000张作为第二图像；再用labellmg工具制作voc格式的xml文件，即将收集的图片集进行标注，将标注好的标注信息转化成yolo v3能够兼容的格式。
60.需要说明的是，yolo v3网络在检测交叠的两个相似目标对象时，准确率会有一定的下降，所以，为了在提高检测速率的同时极力避免因环境、光照等因素对检测精度的影响，可以对第一图像或第二图像的饱和度和/或亮度进行处理，以扩展出用于训练和测试的其他图像。比如，数据集中包含某张第一图像、对该第一图像进行饱和度处理后的图像、对该第一图像进行亮度处理后的图像、对该第一图像进行饱和度和亮度处理后的图像等等。
61.步骤102，将第一图像和第二图像按照预设比例划分为训练集和测试集。
62.在得到数据集后，计算机可以通过代码将第一图像和第二图像按照预设比例划分为训练集和测试集，具体的预设比例可以根据实际需求确定，本实施例不作限定。
63.在一个示例中，预设比例为9:1。
64.步骤103，根据训练集对创建的目标检测模型进行训练。
65.计算机设备还可以从github上获取开源的标签代码文件，由于该标签代码文件原来是用来检测猫狗等动物类型的，即标签代码文件中原来的分类为猫、狗等动物类型，所以，计算机设备需要将标签改动成行人、未戴口罩人脸和戴口罩人脸，这样，就可以使classes包含的目标检测分类与xml中的标签名称相互对应。后续，在检测到边界框时，计算机设备可以在边界框的左上角显示对应的标签。具体的，根据训练集对创建的目标检测模型进行训练，可以包括：获取标签代码文件，将标签代码文件中的分类修改为行人、未戴口罩人脸和戴口罩人脸；根据训练集和标签代码文件对目标检测模型进行训练。
66.在训练时，第一阶段设置10个epoch，从零开始训练，加载darknet-53的权重进入神经网络之中，然后冻结部分darknet53使权重不发生改动，只训练后续多尺度融合网络来提高学习速率。为了得到较好的训练结果，可以用随机梯度下降的方法优化目标检测模型，保存训练结果；第二阶段设置50个epoch，保存训练结果。
67.为了找出影响检测速率的关键因素，本实施例中使用了控制变量法，第一回在两个阶段中的批量大小有所区分，第二回通过减小学习速率来控制，最终结果发现设置批量大小为64，学习速率0.001时检测精度最高。
68.步骤104，根据测试集对目标检测模型进行测试，直至测试结果满足要求时停止训练。
69.计算机设备还可以使用测试集对目标检测模型进行测试。具体的，计算机设备可以分别将测试样本输入目标检测模型，得到测试结果，当测试结果满足要求时可以停止训练，得到最终的目标检测模型。
70.请参考图2，其示出了本技术一个实施例提供的预防呼吸传染的社交距离监控方法的方法流程图，该预防呼吸传染的社交距离监控方法可以应用于计算机设备中。该预防呼吸传染的社交距离监控方法，可以包括：
71.步骤201，获取待检测的图像。
72.其中，待检测的图像可以是一张单独的图像，也可以是从摄像头拍摄的监控视频中提取出的视频帧，本实施例不限定图像的来源。
73.步骤202，利用目标检测模型对图像进行目标检测，得到至少两个目标对象和每个目标对象的位置信息，目标对象为行人或未戴口罩人脸或戴口罩人脸，目标检测模型中包括yolo v3网络。
74.计算机设备需要加载训练好的目标检测模型，加载内容包括标签的名称，最大先
验框的宽高、最小先验框的宽高等；然后，初始化先验框、置信度、标签类型。
75.在加载好目标检测模型后，计算机设备可以将图像输入目标检测模型中，目标检测模型在对图像进行检测后，会输出每个目标对象的类型和位置信息。其中，类型包括行人或未戴口罩人脸或戴口罩人脸。
76.步骤203，根据位置信息计算至少两个目标对象之间的社交距离。
77.计算机设备可以根据每个目标对象的位置信息，计算每两个目标对象之间的社交距离，具体算法详见下文中的描述，此处不作赘述。
78.步骤204，对社交距离小于安全距离阈值的目标对象进行警告。
79.计算机设备可以将计算出的社交距离与安全距离阈值进行比较，若社交距离小于安全距离阈值，则进行警告；若社交距离大于或等于安全距离阈值，则不进行警告。
80.综上所述，本技术实施例提供的预防呼吸传染的社交距离监控方法，由于目标检测模型中包括yolo v3网络，所以，通过利用目标检测模型对图像进行目标检测，得到的目标对象可以是行人或未戴口罩人脸或戴口罩人脸，这样，就可以根据目标对象的位置信息计算至少两个目标对象之间的社交距离，从而对社交距离小于安全距离阈值的目标对象进行警告，从而提高监控的准确性和全面性。
81.请参考图3，其示出了本技术一个实施例提供的预防呼吸传染的社交距离监控方法的方法流程图，该预防呼吸传染的社交距离监控方法可以应用于计算机设备中。该预防呼吸传染的社交距离监控方法，可以包括：
82.步骤301，获取待检测的图像。
83.其中，待检测的图像可以是一张单独的图像，也可以是从摄像头拍摄的监控视频中提取出的视频帧，本实施例不限定图像的来源。
84.步骤302，利用目标检测模型对图像进行目标检测，得到至少两个目标对象和每个目标对象的位置信息，目标对象为行人或未戴口罩人脸或戴口罩人脸，目标检测模型中包括yolo v3网络。
85.计算机设备需要加载训练好的目标检测模型，加载内容包括标签的名称，最大先验框的宽高、最小先验框的宽高等；然后，初始化先验框、置信度、标签类型。
86.在初始化目标检测模型后，计算机设备可以将图像输入目标检测模型中，目标检测模型在对图像进行检测后，会输出每个目标对象的类型和位置信息。其中，类型包括行人或未戴口罩人脸或戴口罩人脸。
87.具体的，利用目标检测模型对图像进行目标检测，得到至少两个目标对象和每个目标对象的位置信息，可以包括：将图像输入目标检测模型中；利用目标检测模型分割出包含目标对象的前景区域；计算前景区域的连通区域blob值；根据blob值计算每个目标对象的位置信息和置信度；利用非极大值抑制nms算法对置信度进行筛选，得到至少两个目标对象和每个目标对象的位置信息。
88.计算机设备可以通过前向传播将图像输入目标检测模型中，目标检测模型可以获取图像的尺寸，计算该图像的blob值，并对其进入输出层的信号进行反向传播来预测目标对象，得到的最终结果滞留在输出层中。然后，目标检测模型可以利用for循环遍历所有检测到的目标对象的置信度，过滤掉置信度小于置信阈值的目标对象。对于一些难以排查的近似目标对象，目标检测模型可以通过nms(非极大值抑制)筛选置信度低的目标对象进行
排除，得到最终的检测结果。
89.请参考图4-6，图4中目标对象的边界框的左上角显示有标签的名称face_mask，标识目标对象是戴口罩人脸。图5中目标对象的边界框的左上角显示有标签的名称person，标识目标对象是行人。图6中每个目标对象的边界框的左上角显示有标签的名称person，标识目标对象是行人。
90.需要说明的是，在目标检测模型检测图像中的目标对象之前，还可以按照训练结果，先对图像的饱和度和/或亮度进行调整，以避免因环境、光照等因素对检测精度的影响。
91.步骤303，当图像由摄像头拍摄得到时，对于每个目标对象，利用透视变换将摄像头视角下的位置信息转换为鸟瞰视角下的位置信息；利用转换后的位置信息计算每两个目标对象之间的社交距离。
92.计算机设备可以根据每个目标对象的位置信息，计算每两个目标对象之间的社交距离，该社交距离即为现实中两个人之间的真实间隔距离。
93.由于摄像头视角下的目标对象与真实的鸟瞰视角下的目标对象之间有位置偏差，所以，还需要对目标对象的位置信息进行转换。具体的，对于每个目标对象，计算机设备可以获取该目标对象的边界框的四个顶点的坐标，利用透视变换将该坐标转换为鸟瞰视角下的四个顶点的坐标，即可得到转换后的位置信息。
94.计算机设备再根据转换后的位置信息计算目标对象的质心所在位置，再计算每两个目标对象的质心所在位置之间的欧拉距离，将该欧拉距离确定为社交距离。
95.步骤304，根据每两个目标对象的类型选择对应的安全距离阈值。
96.由于佩戴口罩可以从一定程度上降低呼吸性传染病的传染概率，所以，戴口罩人脸的社交距离可以小于未戴口罩人脸的社交距离。根据上述规律，可以对不同类型的目标对象设置不同的安全距离阈值。
97.比如，当两个目标对象都佩戴口罩时，可以设置第一安全距离阈值；当一个目标对象佩戴口罩，另一个目标对象未佩戴口罩时，可以设置第二安全距离阈值；当两个目标对象都未佩戴口罩时，可以设置第三安全距离阈值，且第三安全距离阈值＜第二安全距离阈值＜第一安全距离阈值。当两个目标对象是行人时，可以设置第四安全距离阈值。
98.计算机设备可以先确定两个目标对象的类型，再获取类型对应的安全距离阈值。
99.步骤305，将每两个目标对象之间的社交距离与对应的安全距离阈值进行比较。
100.计算机设备可以将计算出的社交距离与选出的安全距离阈值进行比较，若社交距离小于安全距离阈值，则执行步骤306进行警告；若社交距离大于或等于安全距离阈值，则不进行警告，结束流程。
101.步骤306，若存在社交距离小于对应的安全距离阈值的两个目标对象，则对两个目标对象进行警告。
102.具体的，计算机设备可以采用多种警告方式。比如，计算机设备可以在图像上，以预定颜色显示两个目标对象的边界框。比如，将需要警告的目标对象的边界框显示为红色，将不需要警告的目标对象的边界框显示为。或者，计算机设备生成用于指示两个目标对象的警告文本或警告语音。
103.如图7所示，其示出了社交距离监控的流程示意图，即，加载模型-读入待测试的视频-初始化模型-提取视频帧-计算blob值-筛选目标对象-进行透视变换-计算欧拉距离-得
到监控结果。
104.本实施例中，对于特有的数据集能够获取特有的先验框，以适应不同的数据集样本，能够很好地适应并提高目标检测精确率，同时也能获取能够协调好模型的复杂程度和准确度的平衡，并获取最大的交并比。
105.综上所述，本技术实施例提供的预防呼吸传染的社交距离监控方法，由于目标检测模型中包括yolo v3网络，所以，通过利用目标检测模型对图像进行目标检测，得到的目标对象可以是行人或未戴口罩人脸或戴口罩人脸，这样，就可以根据目标对象的位置信息计算至少两个目标对象之间的社交距离，从而对社交距离小于安全距离阈值的目标对象进行警告，从而提高监控的准确性和全面性。
106.请参考图8，其示出了本技术一个实施例提供的预防呼吸传染的社交距离监控装置的结构框图，该预防呼吸传染的社交距离监控装置可以应用于计算机设备中。该预防呼吸传染的社交距离监控装置，可以包括：
107.获取模块810，用于获取待检测的图像；
108.检测模块820，用于利用目标检测模型对图像进行目标检测，得到至少两个目标对象和每个目标对象的位置信息，目标对象为行人或未戴口罩人脸或戴口罩人脸，目标检测模型中包括yolo v3网络；
109.计算模块830，用于根据位置信息计算至少两个目标对象之间的社交距离；
110.警告模块840，用于对社交距离小于安全距离阈值的目标对象进行警告。
111.在一个可选的实施例中，警告模块840，还用于：
112.根据每两个目标对象的类型选择对应的安全距离阈值；
113.将每两个目标对象之间的社交距离与对应的安全距离阈值进行比较；
114.若存在社交距离小于对应的安全距离阈值的两个目标对象，则对两个目标对象进行警告。
115.在一个可选的实施例中，警告模块840，还用于：
116.在图像上，以预定颜色显示两个目标对象的边界框；或者，
117.生成用于指示两个目标对象的警告文本或警告语音。
118.在一个可选的实施例中，当图像由摄像头拍摄得到时，计算模块830，还用于：
119.对于每个目标对象，利用透视变换将摄像头视角下的位置信息转换为鸟瞰视角下的位置信息；
120.利用转换后的位置信息计算每两个目标对象之间的社交距离。
121.在一个可选的实施例中，检测模块820，还用于：
122.将图像输入目标检测模型中；
123.利用目标检测模型分割出包含目标对象的前景区域；
124.计算前景区域的连通区域blob值；
125.根据blob值计算每个目标对象的位置信息和置信度；
126.利用非极大值抑制nms算法对置信度进行筛选，得到至少两个目标对象和每个目标对象的位置信息。
127.请参考图9，在一个可选的实施例中，获取模块810，用于在利用目标检测模型对图像进行目标检测之前，获取多张第一图像和对应的标注信息以及多张第二图像和对应的标
注信息，第一图像中包含行人，第二图像中包含戴口罩人脸；
128.划分模块850，用于将第一图像和第二图像按照预设比例划分为训练集和测试集；
129.训练模块860，用于根据训练集对创建的目标检测模型进行训练；
130.测试模块870，用于根据测试集对目标检测模型进行测试，直至测试结果满足要求时停止训练。
131.在一个可选的实施例中，训练模块860，还用于：
132.获取标签代码文件，将标签代码文件中的分类修改为行人、未戴口罩人脸和戴口罩人脸；
133.根据训练集和标签代码文件对目标检测模型进行训练。
134.综上所述，本技术实施例提供的预防呼吸传染的社交距离监控装置，由于目标检测模型中包括yolo v3网络，所以，通过利用目标检测模型对图像进行目标检测，得到的目标对象可以是行人或未戴口罩人脸或戴口罩人脸，这样，就可以根据目标对象的位置信息计算至少两个目标对象之间的社交距离，从而对社交距离小于安全距离阈值的目标对象进行警告，从而提高监控的准确性和全面性。
135.本技术一个实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的预防呼吸传染的社交距离监控方法。
136.本技术一个实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的预防呼吸传染的社交距离监控方法。
137.需要说明的是：上述实施例提供的预防呼吸传染的社交距离监控装置在进行社交距离监控时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将预防呼吸传染的社交距离监控装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的预防呼吸传染的社交距离监控装置与预防呼吸传染的社交距离监控方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
138.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
139.以上所述并不用以限制本技术实施例，凡在本技术实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术实施例的保护范围之内。