基于安防视频监控的工地智能化安全识别方法和装置与流程

1.本技术涉及安防技术领域，尤其涉及一种基于安防视频监控的工地智能化安全识别方法和装置。


背景技术：

2.工地施工环节离不开工人的各式各样的施工操作行为，工人的操作状况信息的收集不仅关系到施工效率的高低，更关系到施工的安全。相关技术中，安防视频监控可以检测识别工地车辆、人物或施工工具等的区别，但是无法识别工地上的危险操作和施工进展，因此，亟需解决这一技术问题。


技术实现要素：

3.鉴于上述问题，提出了本技术以便提供一种克服上述问题或者至少部分地解决上述问题的基于安防视频监控的工地智能化安全识别方法和装置，通过对视频数据帧图像的处理，可以识别工人的施工进展以及是否具有威胁安全的操作，加强对人员施工操作的安全性。所述技术方案如下：
4.第一方面，提供了一种基于安防视频监控的工地智能化安全识别方法，包括如下步骤：
5.在安防视频监控的过程中，采集工人在工地施工过程中的视频数据；
6.通过边缘计算对视频数据进行智能化安全识别，判断出工地的安全指数及工人施工操作的安全指数，得到识别结果；
7.根据识别结果识别出工人及工地是否安全。
8.在一种可能的实现方式中，通过边缘计算对视频数据进行智能化安全识别，判断出工地的安全指数及工人施工操作的安全指数，得到识别结果；根据识别结果识别出工人及工地是否安全，包括：
9.通过边缘计算解码视频数据，将视频数据中的每帧转化成对应的帧图像；
10.对于每个帧图像，按照预先确定的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像，其中n为大于1的正整数；
11.对n个矩形图像进行处理，将n个矩形图像转化成指定边长的n个正方形图像，并按照预设排列顺序将n个正方形图像组成一个整体正方形图像；
12.将所述整体正方形图像输入预先训练的工人操作动作识别模型，利用所述训练的工人操作动作识别模型对所述整体正方形图像对应的施工操作动作进行识别，得到表示所述整体正方形图像对应的施工操作动作的目标标签；
13.根据所述目标标签识别工人在工地施工过程中是否安全。
14.在一种可能的实现方式中，通过以下步骤得到训练的工人操作动作识别模型：
15.构建初始的工人操作动作识别模型；
16.获取多个标注有施工操作动作的标签的样本视频帧图像；
17.按照所述预先确定的n个选区的矩形区域坐标截取各个样本视频帧图像里的n个样本矩形图像；
18.根据工人操作动作识别模型输入的图像边长和n确定所述指定边长；
19.对n个样本矩形图像进行处理，将n个样本矩形图像转化成所述指定边长的n个样本正方形图像；
20.确定将n个样本正方形图像组成一个整体样本正方形图像的排列顺序作为所述预设排列顺序；
21.按照所述预设排列顺序将n个样本正方形图像组成一个整体样本正方形图像；
22.将所述整体样本正方形图像和样本视频帧图像的施工操作动作的标签输入工人操作动作识别模型进行训练，得到训练的工人操作动作识别模型。
23.在一种可能的实现方式中，所述获取多个标注有施工操作动作的标签的样本视频帧图像，包括：
24.录制一个或多个工人的包含多个完整施工过程的样本视频；
25.在样本视频中标记施工过程中每个施工操作动作的初始帧和结束帧；
26.解码样本视频，将样本视频的每帧都转化成对应的图像，并依据样本视频标记的每个施工操作动作的初始帧和结束帧对每帧图像进行施工操作动作标注，得到样本视频帧图像对应的施工操作动作的标签。
27.在一种可能的实现方式中，所述在样本视频中标记施工过程中每个施工操作动作的初始帧和结束帧，包括：
28.获取工人施工过程的标准施工操作动作；
29.根据所述标准施工操作动作在样本视频中标记施工过程中每个施工操作动作的初始帧和结束帧，其中不包含在标准施工操作动作里的所有动作都归为一类称为其他动作。
30.在一种可能的实现方式中，在对于每个帧图像，按照预先确定的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像之前，所述方法还包括：
31.判断安防视频监控的摄像头当前采集视频数据与确定n个选区的矩形区域坐标时采集样本视频，是否发生位置变动；
32.若发生位置变动，则确定位置变动的仿射转换矩阵；
33.利用仿射转换矩阵对确定的n个选区的矩形区域坐标进行转换，得到转换后的n个选区的矩形区域坐标，从而对于每个帧图像，按照转换后的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像。
34.第二方面，提供了一种基于安防视频监控的工地智能化安全识别装置，包括：
35.采集单元，用于在安防视频监控的过程中，采集工人在工地施工过程中的视频数据；
36.识别单元，用于通过边缘计算对视频数据进行智能化安全识别，判断出工地的安全指数及工人施工操作的安全指数，得到识别结果；根据识别结果识别出工人及工地是否安全。
37.在一种可能的实现方式中，所述识别单元包括：
38.解码模块，用于通过边缘计算解码视频数据，将视频数据中的每帧转化成对应的
帧图像；
39.截取模块，用于对于每个帧图像，按照预先确定的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像，其中n为大于1的正整数；
40.转化模块，用于对n个矩形图像进行处理，将n个矩形图像转化成指定边长的n个正方形图像，并按照预设排列顺序将n个正方形图像组成一个整体正方形图像；
41.标签识别模块，用于将所述整体正方形图像输入预先训练的工人操作动作识别模型，利用所述训练的工人操作动作识别模型对所述整体正方形图像对应的施工操作动作进行识别，得到表示所述整体正方形图像对应的施工操作动作的目标标签；
42.安全识别模块，用于根据所述目标标签识别工人在工地施工过程中是否安全。
43.在一种可能的实现方式中，所述识别单元还包括训练模块，所述训练模块用于：
44.构建初始的工人操作动作识别模型；
45.获取多个标注有施工操作动作的标签的样本视频帧图像；
46.按照所述预先确定的n个选区的矩形区域坐标截取各个样本视频帧图像里的n个样本矩形图像；
47.根据工人操作动作识别模型输入的图像边长和n确定所述指定边长；
48.对n个样本矩形图像进行处理，将n个样本矩形图像转化成所述指定边长的n个样本正方形图像；
49.确定将n个样本正方形图像组成一个整体样本正方形图像的排列顺序作为所述预设排列顺序；
50.按照所述预设排列顺序将n个样本正方形图像组成一个整体样本正方形图像；
51.将所述整体样本正方形图像和样本视频帧图像的施工操作动作的标签输入工人操作动作识别模型进行训练，得到训练的工人操作动作识别模型。
52.在一种可能的实现方式中，所述训练模块还用于：
53.录制一个或多个工人的包含多个完整施工过程的样本视频；
54.在样本视频中标记施工过程中每个施工操作动作的初始帧和结束帧；
55.解码样本视频，将样本视频的每帧都转化成对应的图像，并依据样本视频标记的每个施工操作动作的初始帧和结束帧对每帧图像进行施工操作动作标注，得到样本视频帧图像对应的施工操作动作的标签。
56.在一种可能的实现方式中，在识别出工人及工地是否安全后，所述工地智能化安全识别装置还会向报警模块发送报警脉冲，所述报警模块为电磁线圈以及磁控开关组成，所述电磁线圈在接收到所述报警脉冲后会产生磁力，进而被所述磁控开关检测到，这样就可以将所述工地智能化安全识别装置较大电量的报警脉冲，转换成可以小电压检测的磁控开关的闭合信号，节省了设备整体的功耗，然后通过检测磁控开关的开闭状态生成短信信息发送至工地监管人员的终端设备上，并且记录所述磁控开关的累积开闭次数，当所述次数达到设定值时启动声光报警装置，以提醒和警告所有人员注意安全，并等待工地监管人员关闭声光报警装置后所述磁控开关的累积开闭次数将置位清零，其具体步骤包括：
57.步骤a1：在所述报警装置内部cpu检测的磁控开关出现闭合现象后，利用公式(1)根据报警装置内部cpu检测的磁控开关的闭合信号以及在发现不安全时所述工地智能化安全识别装置向报警模块发送报警脉冲的脉冲持续时间(所述脉冲为方波)，判断所述磁控开
关是否为抖动误触
[0058][0059]
其中e(t)表示t时刻所述磁控开关的闭合判定值；t0表示所述报警装置内部cpu检测到磁控开关出现闭合的时刻；
↓
(t)＝1表示t时刻为所述报警装置内部cpu检测到磁控开关出现断开的时刻；t0表示在发现不安全时所述工地智能化安全识别装置向报警模块发送报警脉冲的脉冲持续时间(所述脉冲为方波)；| |表示求取绝对值；1ms表示一毫秒；
[0060]
若e(t)＝1，则表示t时刻所述磁控开关成功可靠闭合了一次；
[0061]
若e(t)＝0，则表示t时刻所述磁控开关并未成功可靠闭合，是抖动误触；
[0062]
步骤a2：若所述磁控开关并非为抖动误触，则利用公式(2)根据检测磁控开关的开闭状态生成短信信息，并发送至工地监管人员的终端设备上
[0063][0064]
其中r(t)表示发送至工地监管人员的终端设备上的短信信息控制值(字符串形式数据)；
″
alarm
″
表示字符串形式的alarm数据；ascii[e(t)]表示将e(t)转换为ascii值；
[0065]
若r(t)≠0，则表示t时刻需要向所述工地监管人员的终端设备上发送短信信息r(t)；
[0066]
若r(t)＝0，则表示t时刻不需要向所述工地监管人员的终端设备上发送短信信息；
[0067]
步骤a3：利用公式(3)根据步骤a1计算的历史累计判断结果控制所述声光报警装置的启停
[0068][0069]
其中p(t)表示t时刻所述声光报警装置的启停控制值；tz表示最近一次所述声光报警装置被按下停止键的时刻；e(tz→
t)表示从tz时刻到t时刻e(t)的值从0变为1的次数；
[0070]
若p(t)＝1，则表示t时刻控制打开所述述声光报警装置；
[0071]
若p(t)＝0，则表示t时刻不控制打开所述述声光报警装置。
[0072]
借由上述技术方案，本技术实施例提供的基于安防视频监控的工地智能化安全识别方法和装置，在安防视频监控的过程中，采集工人在工地施工过程中的视频数据；解码视频数据，将视频数据中的每帧转化成对应的帧图像；对于每个帧图像，按照预先确定的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像，其中n为大于1的正整数；对n个矩形图像进行处理，将n个矩形图像转化成指定边长的n个正方形图像，并按照预设排列顺序将n个正方形图像组成一个整体正方形图像；将整体正方形图像输入预先训练的工人操作动作识别模型，利用训练的工人操作动作识别模型对整体正方形图像对应的施工操作动作进行识别，得到表示整体正方形图像对应的施工操作动作的目标标签；根据目标标签识别工人在工地施工过程中是否安全。可以看到，本技术实施例通过边缘计算对视频数据帧图像进行处理，可以识别工人的施工进展以及是否具有威胁安全的操作，加强对人员施工操作的安全性。
附图说明
[0073]
为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例描述中所需要使用的附图作简单地介绍。
[0074]
图1a示出了根据本技术实施例的基于安防视频监控的工地智能化安全识别方法的流程图；
[0075]
图1b示出了根据本技术另一实施例的基于安防视频监控的工地智能化安全识别方法的流程图；
[0076]
图2示出了根据本技术实施例的基于安防视频监控的工地智能化安全识别装置的结构图。
具体实施方式
[0077]
下面将参照附图更详细地描述本技术的示例性实施例。虽然附图中显示了本技术的示例性实施例，然而应当理解，可以以各种形式实现本技术而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本技术，并且能够将本技术的范围完整的传达给本领域的技术人员。
[0078]
需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。
[0079]
本技术实施例提供了一种基于安防视频监控的工地智能化安全识别方法，可以应用在移动终端、个人电脑、平板电脑等电子设备。如图1a所示，该基于安防视频监控的工地智能化安全识别方法，可以包括以下步骤s1至s3：
[0080]
步骤s1，在安防视频监控的过程中，采集工人在工地施工过程中的视频数据；
[0081]
步骤s2，通过边缘计算对视频数据进行智能化安全识别，判断出工地的安全指数及工人施工操作的安全指数，得到识别结果；
[0082]
步骤s3，根据识别结果识别出工人及工地是否安全。
[0083]
本技术实施例通过边缘计算对视频数据进行智能化安全识别处理，可以识别工人的施工进展以及是否具有威胁安全的操作，加强对人员施工操作的安全性。
[0084]
本技术另一实施例提供了一种基于安防视频监控的工地智能化安全识别方法，可以应用在移动终端、个人电脑、平板电脑等电子设备。如图1b所示，该基于安防视频监控的工地智能化安全识别方法，可以包括以下步骤s101至s106：
[0085]
步骤s101，在安防视频监控的过程中，采集工人在工地施工过程中的视频数据；
[0086]
步骤s102，通过边缘计算解码视频数据，将视频数据中的每帧转化成对应的帧图像；
[0087]
步骤s103，对于每个帧图像，按照预先确定的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像，其中n为大于1的正整数；
[0088]
步骤s104，对n个矩形图像进行处理，将n个矩形图像转化成指定边长的n个正方形图像，并按照预设排列顺序将n个正方形图像组成一个整体正方形图像；
[0089]
步骤s105，将整体正方形图像输入预先训练的工人操作动作识别模型，利用训练的工人操作动作识别模型对整体正方形图像对应的施工操作动作进行识别，得到表示整体正方形图像对应的施工操作动作的目标标签；
[0090]
步骤s106，根据目标标签识别工人在工地施工过程中是否安全。
[0091]
该步骤中，如果目标标签为指定标签，则识别工人在工地施工过程中安全；如果目标标签不为指定标签，则识别工人在工地施工过程中不安全。这里的指定标签可以根据实际情况来设置，如指定标签为标准施工操作动作对应的标签等，本实施例对此不作限制。
[0092]
本技术实施例通过边缘计算对视频数据帧图像进行处理，可以识别工人的施工进展以及是否具有威胁安全的操作，加强对人员施工操作的安全性。
[0093]
本技术实施例中提供了一种可能的实现方式，可以通过以下步骤a1至a8得到训练的工人操作动作识别模型：
[0094]
步骤a1，构建初始的工人操作动作识别模型；
[0095]
该步骤中，可以根据图像分类模型来构建初始的工人操作动作识别模型，这里的图像分类模型如resnet(residual neural network，残差神经网络)、vgg(visual geometry group，视觉几何组)等，本实施例对此不作限制。
[0096]
步骤a2，获取多个标注有施工操作动作的标签的样本视频帧图像；
[0097]
步骤a3，按照预先确定的n个选区的矩形区域坐标截取各个样本视频帧图像里的n个样本矩形图像；
[0098]
步骤a4，根据工人操作动作识别模型输入的图像边长和n确定指定边长；
[0099]
该步骤中，若工人操作动作识别模型输入的图像边长为k，则根据工人操作动作识别模型输入的图像边长和n确定指定边长为其中表示向上取整。举例来说，初始的工人操作动作识别模型为resnet18，它要求的图像输入尺寸为224
×
224，即k为224，那么指定边长为
[0100]
步骤a5，对n个样本矩形图像进行处理，将n个样本矩形图像转化成指定边长的n个样本正方形图像；
[0101]
步骤a6，确定将n个样本正方形图像组成一个整体样本正方形图像的排列顺序作为预设排列顺序；
[0102]
步骤a7，按照预设排列顺序将n个样本正方形图像组成一个整体样本正方形图像；
[0103]
步骤a8，将整体样本正方形图像和样本视频帧图像的施工操作动作的标签输入工人操作动作识别模型进行训练，得到训练的工人操作动作识别模型。
[0104]
本实施例对工人操作动作识别模型进行训练，得到训练的工人操作动作识别模型，从而利用训练的工人操作动作识别模型进行图像分类，识别工人施工操作动作，提高了识别的准确性和效率。
[0105]
本技术实施例中提供了一种可能的实现方式，上面步骤a2获取多个标注有施工操作动作的标签的样本视频帧图像，具体可以包括以下步骤a2-1至a2-3：
[0106]
步骤a2-1，录制一个或多个工人的包含多个完整施工过程的样本视频；
[0107]
该步骤中，数据采集设备一般可以为固定位置和角度的摄像头，与实际使用中的
摄像设备相同或类似。可以录制一个或多个工人的多个完整周期的操作步骤，例如大于5个完整周期。如果有光线的影响，如日光的影响，需要按照不同光照时段录取视频。
[0108]
步骤a2-2，在样本视频中标记施工过程中每个施工操作动作的初始帧和结束帧；
[0109]
该步骤中，可以获取工人施工过程的标准施工操作动作；进而根据标准施工操作动作在样本视频中标记施工过程中每个施工操作动作的初始帧和结束帧，其中不包含在标准施工操作动作里的所有动作都归为一类称为其他动作。
[0110]
步骤a2-3，解码样本视频，将样本视频的每帧都转化成对应的图像，并依据样本视频标记的每个施工操作动作的初始帧和结束帧对每帧图像进行施工操作动作标注，得到样本视频帧图像对应的施工操作动作的标签。
[0111]
本实施例的数据标注量十分的少，只需要在视频中标注出每个施工操作动作的初始和结束的所处帧的位置即可，提高识别的效率。
[0112]
本技术实施例中提供了一种可能的实现方式，上文步骤s103在对于每个帧图像，按照预先确定的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像之前，可以判断安防视频监控的摄像头当前采集视频数据与确定n个选区的矩形区域坐标时采集样本视频，是否发生位置变动；若发生位置变动，则确定位置变动的仿射转换矩阵；利用仿射转换矩阵对确定的n个选区的矩形区域坐标进行转换，得到转换后的n个选区的矩形区域坐标，从而对于每个帧图像，按照转换后的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像。
[0113]
本实施例如果摄像头没有位置的变动则不需要对其进行校准，校准的目的是调整摄像头位置或角度的改变带来预选框位置在图像中的变化，可以提高选取图像的准确性，进而提高识别的准确性。
[0114]
本技术实施例中提供了一种可能的实现方式，在识别出工人及工地是否安全后，还会向报警模块发送报警脉冲，报警模块为电磁线圈以及磁控开关组成，电磁线圈在接收到报警脉冲后会产生磁力，进而被磁控开关检测到，这样就可以将工地智能化安全识别装置较大电量的报警脉冲，转换成可以小电压检测的磁控开关的闭合信号，节省了设备整体的功耗，然后通过检测磁控开关的开闭状态生成短信信息发送至工地监管人员的终端设备上，并且记录磁控开关的累积开闭次数，当次数达到设定值时启动声光报警装置，以提醒和警告所有人员注意安全，并等待工地监管人员关闭声光报警装置后磁控开关的累积开闭次数将置位清零，其具体步骤包括：
[0115]
步骤a1：在报警装置内部cpu检测的磁控开关出现闭合现象后，利用公式(1)根据报警装置内部cpu检测的磁控开关的闭合信号以及在发现不安全时工地智能化安全识别装置向报警模块发送报警脉冲的脉冲持续时间(脉冲为方波)，判断磁控开关是否为抖动误触
[0116][0117]
其中e(t)表示t时刻磁控开关的闭合判定值；t0表示报警装置内部cpu检测到磁控开关出现闭合的时刻；
↓
(t)＝1表示t时刻为报警装置内部cpu检测到磁控开关出现断开的时刻；t0表示在发现不安全时工地智能化安全识别装置向报警模块发送报警脉冲的脉冲持续时间(脉冲为方波)；||表示求取绝对值；1ms表示一毫秒；
[0118]
若e(t)＝1，则表示t时刻磁控开关成功可靠闭合了一次；
[0119]
若e(t)＝0，则表示t时刻磁控开关并未成功可靠闭合，是抖动误触；
[0120]
步骤a2：若磁控开关并非为抖动误触，则利用公式(2)根据检测磁控开关的开闭状态生成短信信息，并发送至工地监管人员的终端设备上
[0121][0122]
其中r(t)表示发送至工地监管人员的终端设备上的短信信息控制值(字符串形式数据)；
″
alarm
″
表示字符串形式的alarm数据；ascii[e(t)]表示将e(t)转换为ascii值；
[0123]
若r(t)≠0，则表示t时刻需要向工地监管人员的终端设备上发送短信信息r(t)；
[0124]
若r(t)＝0，则表示t时刻不需要向工地监管人员的终端设备上发送短信信息；
[0125]
步骤a3：利用公式(3)根据步骤a1计算的历史累计判断结果控制声光报警装置的启停
[0126][0127]
其中p(t)表示t时刻声光报警装置的启停控制值；tz表示最近一次声光报警装置被按下停止键的时刻；e(tz→
t)表示从tz时刻到t时刻e(t)的值从0变为1的次数；
[0128]
若p(t)＝1，则表示t时刻控制打开述声光报警装置；
[0129]
若p(t)＝0，则表示t时刻不控制打开述声光报警装置。
[0130]
上述技术方案的有益效果为：首先利用步骤a1中的公式(1)根据报警装置内部cpu检测的磁控开关的闭合信号以及在发现不安全时工地智能化安全识别装置向报警模块发送报警脉冲的脉冲持续时间(脉冲为方波)，判断磁控开关是否为抖动误触，进而消除硬件因素，确保装置的可靠性；然后利用步骤a2中的公式(2)根据检测磁控开关的开闭状态生成短信信息，并发送至工地监管人员的终端设备上，从而在安全危险较低时由工地监管人员优先进行教育批评；最后利用步骤a3中的公式(3)根据步骤a1计算的历史累计判断结果控制声光报警装置的启停，在长时间出现安全隐患时需要启动声光报警来提醒和警告所有人员注意安全。
[0131]
需要说明的是，实际应用中，上述所有可能的实施方式可以采用结合的方式任意组合，形成本技术的可能的实施例，在此不再一一赘述。
[0132]
基于上文各个实施例提供的基于安防视频监控的工地智能化安全识别方法，基于同一发明构思，本技术实施例还提供了一种基于安防视频监控的工地智能化安全识别装置。
[0133]
图2示出了根据本技术实施例的基于安防视频监控的工地智能化安全识别装置的结构图。如图2所示，该基于安防视频监控的工地智能化安全识别装置可以包括采集单元210以及识别单元220。
[0134]
采集单元210，用于在安防视频监控的过程中，采集工人在工地施工过程中的视频数据；
[0135]
识别单元220，用于通过边缘计算对视频数据进行智能化安全识别，判断出工地的安全指数及工人施工操作的安全指数，得到识别结果；根据识别结果识别出工人及工地是否安全。
[0136]
本技术实施例中提供了一种可能的实现方式，上文图2展示的识别单元220可以包
括解码模块、截取模块、转化模块、标签识别模块以及安全识别模块(图2中未示出)。
[0137]
解码模块，用于通过边缘计算解码视频数据，将视频数据中的每帧转化成对应的帧图像；
[0138]
截取模块，用于对于每个帧图像，按照预先确定的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像，其中n为大于1的正整数；
[0139]
转化模块，用于对n个矩形图像进行处理，将n个矩形图像转化成指定边长的n个正方形图像，并按照预设排列顺序将n个正方形图像组成一个整体正方形图像；
[0140]
标签识别模块，用于将所述整体正方形图像输入预先训练的工人操作动作识别模型，利用所述训练的工人操作动作识别模型对所述整体正方形图像对应的施工操作动作进行识别，得到表示所述整体正方形图像对应的施工操作动作的目标标签；
[0141]
安全识别模块，用于根据所述目标标签识别工人在工地施工过程中是否安全。
[0142]
本技术实施例中提供了一种可能的实现方式，上面图2展示的识别单元220还可以包括训练模块(图2中未示出)，该训练模块用于：
[0143]
构建初始的工人操作动作识别模型；
[0144]
获取多个标注有施工操作动作的标签的样本视频帧图像；
[0145]
按照所述预先确定的n个选区的矩形区域坐标截取各个样本视频帧图像里的n个样本矩形图像；
[0146]
根据工人操作动作识别模型输入的图像边长和n确定所述指定边长；
[0147]
对n个样本矩形图像进行处理，将n个样本矩形图像转化成所述指定边长的n个样本正方形图像；
[0148]
确定将n个样本正方形图像组成一个整体样本正方形图像的排列顺序作为所述预设排列顺序；
[0149]
按照所述预设排列顺序将n个样本正方形图像组成一个整体样本正方形图像；
[0150]
将所述整体样本正方形图像和样本视频帧图像的施工操作动作的标签输入工人操作动作识别模型进行训练，得到训练的工人操作动作识别模型。
[0151]
本技术实施例中提供了一种可能的实现方式，训练模块还用于：
[0152]
录制一个或多个工人的包含多个完整施工过程的样本视频；
[0153]
在样本视频中标记施工过程中每个施工操作动作的初始帧和结束帧；
[0154]
解码样本视频，将样本视频的每帧都转化成对应的图像，并依据样本视频标记的每个施工操作动作的初始帧和结束帧对每帧图像进行施工操作动作标注，得到样本视频帧图像对应的施工操作动作的标签。
[0155]
本技术实施例中提供了一种可能的实现方式，训练模块还用于：
[0156]
获取工人施工过程的标准施工操作动作；
[0157]
根据所述标准施工操作动作在样本视频中标记施工过程中每个施工操作动作的初始帧和结束帧，其中不包含在标准施工操作动作里的所有动作都归为一类称为其他动作。
[0158]
本技术实施例中提供了一种可能的实现方式，上面图2展示的截取模块还用于：
[0159]
在对于每个帧图像，按照预先确定的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像之前，判断安防视频监控的摄像头当前采集视频数据与确定n个选区的矩形区
域坐标时采集样本视频，是否发生位置变动；
[0160]
若发生位置变动，则确定位置变动的仿射转换矩阵；
[0161]
利用仿射转换矩阵对确定的n个选区的矩形区域坐标进行转换，得到转换后的n个选区的矩形区域坐标，从而对于每个帧图像，按照转换后的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像。
[0162]
本技术实施例中提供了一种可能的实现方式，在识别出工人及工地是否安全后，工地智能化安全识别装置还会向报警模块发送报警脉冲，报警模块为电磁线圈以及磁控开关组成，电磁线圈在接收到报警脉冲后会产生磁力，进而被磁控开关检测到，这样就可以将工地智能化安全识别装置较大电量的报警脉冲，转换成可以小电压检测的磁控开关的闭合信号，节省了设备整体的功耗，然后通过检测磁控开关的开闭状态生成短信信息发送至工地监管人员的终端设备上，并且记录磁控开关的累积开闭次数，当次数达到设定值时启动声光报警装置，以提醒和警告所有人员注意安全，并等待工地监管人员关闭声光报警装置后磁控开关的累积开闭次数将置位清零，其具体步骤包括：
[0163]
步骤a1：在报警装置内部cpu检测的磁控开关出现闭合现象后，利用公式(1)根据报警装置内部cpu检测的磁控开关的闭合信号以及在发现不安全时工地智能化安全识别装置向报警模块发送报警脉冲的脉冲持续时间(脉冲为方波)，判断磁控开关是否为抖动误触
[0164][0165]
其中e(t)表示t时刻磁控开关的闭合判定值；t0表示报警装置内部cpu检测到磁控开关出现闭合的时刻；
↓
(t)＝1表示t时刻为报警装置内部cpu检测到磁控开关出现断开的时刻；t0表示在发现不安全时工地智能化安全识别装置向报警模块发送报警脉冲的脉冲持续时间(脉冲为方波)；||表示求取绝对值；1ms表示一毫秒；
[0166]
若e(t)＝1，则表示t时刻磁控开关成功可靠闭合了一次；
[0167]
若e(t)＝0，则表示t时刻磁控开关并未成功可靠闭合，是抖动误触；
[0168]
步骤a2：若磁控开关并非为抖动误触，则利用公式(2)根据检测磁控开关的开闭状态生成短信信息，并发送至工地监管人员的终端设备上
[0169][0170]
其中r(t)表示发送至工地监管人员的终端设备上的短信信息控制值(字符串形式数据)；
″
alarm
″
表示字符串形式的alarm数据；ascii[e(t)]表示将e(t)转换为ascii值；
[0171]
若r(t)≠0，则表示t时刻需要向工地监管人员的终端设备上发送短信信息r(t)；
[0172]
若r(t)＝0，则表示t时刻不需要向工地监管人员的终端设备上发送短信信息；
[0173]
步骤a3：利用公式(3)根据步骤a1计算的历史累计判断结果控制声光报警装置的启停
[0174][0175]
其中p(t)表示t时刻声光报警装置的启停控制值；tz表示最近一次声光报警装置被按下停止键的时刻；e(tz→
t)表示从tz时刻到t时刻e(t)的值从0变为1的次数；
[0176]
若p(t)＝1，则表示t时刻控制打开述声光报警装置；
[0177]
若p(t)＝0，则表示t时刻不控制打开述声光报警装置。
[0178]
本技术实施例提供的基于安防视频监控的工地智能化安全识别装置，通过边缘计算对视频数据帧图像进行处理，可以识别工人的施工进展以及是否具有威胁安全的操作，加强对人员施工操作的安全性。
[0179]
所属领域的技术人员可以清楚地了解到，上述描述的系统、装置、模块的具体工作过程，可以参考前述方法实施例中的对应过程，为简洁起见，在此不另赘述。
[0180]
本领域普通技术人员可以理解：本技术的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，其包括若干程序指令，用以使得一电子设备(例如个人计算机，服务器，或者网络设备等)在运行所述程序指令时执行本技术各实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom)、随机存取存储器(ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0181]
或者，实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件(诸如个人计算机，服务器，或者网络设备等的电子设备)来完成，所述程序指令可以存储于一计算机可读取存储介质中，当所述程序指令被电子设备的处理器执行时，所述电子设备执行本技术各实施例所述方法的全部或部分步骤。
[0182]
以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：在本技术的精神和原则之内，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案脱离本技术的保护范围。