一种基于图像识别的洗舱过程人员违规行为监控方法与流程

1.本发明涉及船舶安全维护技术领域，具体涉及一种基于图像识别的洗舱过程人员违规行为监控方法。


背景技术：

2.对于油船和散化船，由于其运输物通常存在易燃易爆炸的特性，故船舶安全显得特别重要。为保证油船和散化船装载货品的质量或修理时的安全，油船和散化船在换装货品种类或进厂、进坞修理前，需要对货舱进行清洗。洗舱方式主要包括蒸舱、水洗舱、药剂洗舱、原油洗舱等。洗舱作业过程复杂繁琐，极易发生火灾爆炸、危化品泄露污染甚至人身伤亡事故，整个过程充满危险。洗舱作业过程中各环节均需要进行人工操作，因此人为因素成为船舶洗舱过程中的重要风险因素，洗舱作业人员规范操作对于降低洗舱风险具有重要意义。在洗舱过程中通过对洗舱作业人员的行为进行实时监测，避免人员进行违规操作，或者在发生违规行为后进行及时干预，能够有效降低事故发生的风险，提高洗舱过程的安全性。
3.目前对于洗舱过程中作业人员行为监控主要包括人工监督和视频监控两种方式。人工监督主要通过洗舱队长等管理者在现场对洗舱人员的行为进行目视监督，视频监控主要通过现场布置的摄像头获取作业现场实时画面，并安排专职人员观察视频画面进行监督。这两种方式都需要人员时刻注意现场或视频监控画面的情况，对监督者的专注度和专业性有一定要求，同时也容易造成监督者的疲劳与疏漏。
4.故如何设计一种能够更好地提高安全性保障的洗舱人员违规行为监控方法成为本领域技术人员有待考虑解决的问题。


技术实现要素：

5.针对上述现有技术的不足，本发明所要解决的技术问题是：怎样提供一种能够避免人工监控失误，更好地提高安全性保障的基于图像识别的洗舱过程人员违规行为监控方法。
6.为了解决上述技术问题，本发明采用了如下的技术方案：
7.一种基于图像识别的洗舱过程人员违规行为监控方法，其特征在于，包括以下步骤：
8.步骤1：在船舱内固定位置安装摄像头，依靠摄像头摄像采集信息，建立针对洗舱过程的穿戴物目标检测训练数据集，构建基于神经网络算法的穿戴物目标检测模型并进行训练；
9.步骤2：构建人员行为识别训练数据集，利用该数据集对人体姿态识别模型进行训练；
10.步骤3：构建洗舱过程人-物交互行为识别知识库，洗舱过程人-物交互行为识别知识库预设规定人员的穿戴特征规则和人员动作特征规则；
11.步骤4：采集洗舱作业过程中各个关键区域的视频资料并提取关键帧图像；
12.步骤5：对各关键帧图像进行特征提取，获取人员的动作特征和穿戴特征；
13.步骤6：将获取的人员的动作特征和穿戴特征与洗舱过程人-物交互行为识别知识库中的预设规则进行比对，判断人员是否存在违规行为；
14.步骤7：如果人员存在违规行为，则根据违规行为风险级别和对应的特征描述进行报警。
15.这样，本方法采用摄像头摄像获得数据，依靠计算机算法训练获得精确的违规判别方式模型，然后依靠摄像头监控，自动识别操作人员是否违规，故能够避免人工监控失误，更好地提高了船舶安全性保障。
16.进一步地，所述神经网络算法采用yolov3算法。更加适用和可靠。
17.进一步地，所述人体姿态识别模型采用openpose模型。采用openpose进行人体姿态识别，能够更好地识别舱内操作动作，能够更好地和神经网络算法匹配结合使用，提高计算精度。
18.进一步地，步骤1中，洗舱过程中需要检测的穿戴物目标包括但不限于安全帽、工作服、工作裤、劳保鞋、手机、打火机和烟。
19.上述穿戴物目标，部分为禁止携带物品，部分为需要穿戴规范物品，对上述目标进行监控，可以更加全面地保障安全性。实施时，根据这几类物品构造目标检测的数据集。数据集最好包含1000张以上数量的图片，其中8成比例为训练集，2成比例张为测试集。除了摄像头实际采集之外，还可以在网络上搜索图片的方式获取这几类目标图像，再统一缩放为640
×
480像素大小的规格，并对图片进行标记。标记时，各个类别的id按照自然数从1开始逐一标号，可分别标示为安全帽为1，工作服为2，工作裤为3，劳保鞋为4，手机为5，打火机为6，烟为7。
20.进一步地，步骤1中，在穿戴物目标检测模型训练时，采用色彩变换、随机平移、随机剪裁或随机旋转的方式扩充数据库。
21.这样是因为较少的数据量可能使模型产生过拟合现象，故采用本方式可以增加数据数量，拓展训练数据的分布，提升模型的泛化能力，有利于提高模型精度。
22.进一步地，步骤2中，人员行为识别训练数据集构建时，在舱内场景下指定人员分别做出站立、行走、平躺、坐下、蹲下、攀爬和搬运动作，每组动作持续5秒左右，帧率取25帧/秒左右，分别从三个固定角度使用摄像机进行拍摄，按照一定的帧间隔从视频文件中提取图片，然后对图片进行分组，并为每个分组设置行为标签，构成人员行为识别训练数据。
23.这样，可以更好地实现对各种动作的识别，保证识别可靠度。
24.进一步地，步骤3中，在人-物交互行为识别知识库构建时，人员行为识别采用人体姿态识别模型获取图片中的人体骨骼信息，关节点编号采用coco模型编号方式，具体编号规则见如下表所示：
25.编号012345关节点鼻颈右肩右肘右手腕左肩编号67891011关节点左肘左手腕右髋右膝右踝左髋编号121314151617关节点左膝左踝右眼左眼右耳左耳
。
26.进一步地，步骤3中，人-物交互行为识别知识库预设规定人员的穿戴特征规则和人员动作特征规则中，包括人员是否穿戴了安全帽、工作服、工作裤和劳保鞋，以及人员是否存在玩手机、打电话、使用打火机和抽烟的动作。可以更好地方便后续对违规行为进行识别。
27.进一步地，步骤6中，通过训练得到的目标检测模型对图片中关注的几类目标进行检测，得到每个目标在图中的位置(i.x,i.y,i.w,i.h)以及类别i，然后根据人体姿态识别模型输出的骨架节点坐标(x,y)生成新坐标点，结合目标位置信息和新坐标信息进行判断，从而得到检测结果。
28.这样，可以更好地先判断是否正确佩戴衣物，然后再检测动作过程是否违规。
29.进一步地，判别是否穿戴安全帽时，首先从画面中检测出安全帽，然后再判断安全帽是否出现在头部位置；如果未检测到安全帽，或者安全帽未出现在作业人员头部位置，则判定属于未按要求佩戴安全帽的违规行为；进行位置判断时以选取检测到的人体两个耳朵节点作为参照，设定左耳坐标为(l.x,l.y),右耳坐标为(r.x,r.y)，安全帽位置信息为(hat.x,hat.y,hat.w,hat.h)；判断时将安全帽检测框的范围适当扩大和平移(最大至两倍原尺寸)，当左右耳位于调整后的检测框内时，则认为是正确佩戴了安全帽；由于摄像头拍摄角度问题，画面中可能只能识别到左右耳中的一个，所以对于安全帽正确佩戴的判断条件如下：
[0030][0031]
或
[0032]
。
[0033]
这样，可以更好地实现是否穿戴安全帽的判别，其他佩戴物可以采用类似的方法实现判别。
[0034]
故本发明通过视频采集设备获取洗舱过程中各关键作业区域的视频资料，并对视频资料进行图像处理。利用预先构建的针对洗舱过程的目标检测和人员行为识别模型以及相关知识库对人员进行行为识别，根据识别结果判断作业人员是否存在违规行为，如果存在违规行为则立刻进行报警。
[0035]
本发明的优点在于：1.提出了基于图像识别的洗舱过程人员违规行为智能监控方法，从传统的人工监督方式改为无人化智能监控方式。能够增强对作业人员的监督效果，降低现场监督者的劳动强度，减少洗舱作业过程中的人为风险因素。2.通过建立洗舱过程违规行为知识库，对违规行为的判断无需依赖现场监督人员的专业知识技术水平。并且通过深度机器学习，可以不断扩充和完善知识库，提高对洗舱违规行为判断的准确度。
[0036]
故本发明能够避免人工监控失误，具有安全性好保障性高的优点。
附图说明
[0037]
图1为实施例中，安全帽位置判断过程示意图。
具体实施方式
[0038]
下面结合具体实施方式对本发明作进一步的详细说明。
[0039]
具体实施例：一种基于图像识别的洗舱过程人员违规行为监控方法，包括以下步骤：
[0040]
步骤1：在船舱内固定位置安装摄像头，依靠摄像头摄像采集信息，建立针对洗舱过程的穿戴物目标检测训练数据集，构建基于神经网络算法的穿戴物目标检测模型并进行训练；
[0041]
步骤2：构建人员行为识别训练数据集，利用该数据集对人体姿态识别模型进行训练；
[0042]
步骤3：构建洗舱过程人-物交互行为识别知识库，洗舱过程人-物交互行为识别知识库预设规定人员的穿戴特征规则和人员动作特征规则；
[0043]
步骤4：采集洗舱作业过程中各个关键区域的视频资料并提取关键帧图像；
[0044]
步骤5：对各关键帧图像进行特征提取，获取人员的动作特征和穿戴特征；
[0045]
步骤6：将获取的人员的动作特征和穿戴特征与洗舱过程人-物交互行为识别知识库中的预设规则进行比对，判断人员是否存在违规行为；
[0046]
步骤7：如果人员存在违规行为，则根据违规行为风险级别和对应的特征描述进行报警。
[0047]
这样，本方法采用摄像头摄像获得数据，依靠计算机算法训练获得精确的违规判别方式模型，然后依靠摄像头监控，自动识别操作人员是否违规，故能够避免人工监控失误，更好地提高了船舶安全性保障。
[0048]
其中，所述神经网络算法采用yolov3算法。更加适用和可靠。
[0049]
其中，所述人体姿态识别模型采用openpose模型。采用openpose进行人体姿态识别，能够更好地识别舱内操作动作，能够更好地和神经网络算法匹配结合使用，提高计算精度。
[0050]
步骤1中，洗舱过程中需要检测的穿戴物目标包括但不限于安全帽、工作服、工作裤、劳保鞋、手机、打火机和烟。
[0051]
上述穿戴物目标，部分为禁止携带物品，部分为需要穿戴规范物品，对上述目标进行监控，可以更加全面地保障安全性。实施时，根据这几类物品构造目标检测的数据集。数据集最好包含1000张以上数量的图片，其中8成比例为训练集，2成比例张为测试集。除了摄像头实际采集之外，还可以在网络上搜索图片的方式获取这几类目标图像，再统一缩放为640
×
480像素大小的规格，并对图片进行标记。标记时，各个类别的id按照自然数从1开始逐一标号，可分别标示为安全帽为1，工作服为2，工作裤为3，劳保鞋为4，手机为5，打火机为6，烟为7。
[0052]
步骤1中，在穿戴物目标检测模型训练时，采用色彩变换、随机平移、随机剪裁或随机旋转的方式扩充数据库。
[0053]
这样是因为较少的数据量可能使模型产生过拟合现象，故采用本方式可以增加数
据数量，拓展训练数据的分布，提升模型的泛化能力，有利于提高模型精度。
[0054]
步骤2中，人员行为识别训练数据集构建时，在舱内场景下指定人员分别做出站立、行走、平躺、坐下、蹲下、攀爬和搬运动作，每组动作持续5秒左右，帧率取25帧/秒左右，分别从三个固定角度使用摄像机进行拍摄，按照一定的帧间隔从视频文件中提取图片，然后对图片进行分组，并为每个分组设置行为标签，构成人员行为识别训练数据。
[0055]
这样，可以更好地实现对各种动作的识别，保证识别可靠度。
[0056]
步骤3中，在人-物交互行为识别知识库构建时，人员行为识别采用人体姿态识别模型获取图片中的人体骨骼信息，关节点编号采用coco模型编号方式，具体编号规则见如下表所示：
[0057]
编号012345关节点鼻颈右肩右肘右手腕左肩编号67891011关节点左肘左手腕右髋右膝右踝左髋编号121314151617关节点左膝左踝右眼左眼右耳左耳。
[0058]
步骤3中，人-物交互行为识别知识库预设规定人员的穿戴特征规则和人员动作特征规则中，包括人员是否穿戴了安全帽、工作服、工作裤和劳保鞋，以及人员是否存在玩手机、打电话、使用打火机和抽烟的动作。可以更好地方便后续对违规行为进行识别。
[0059]
步骤6中，通过训练得到的目标检测模型对图片中关注的几类目标进行检测，得到每个目标在图中的位置(i.x,i.y,i.w,i.h)以及类别i，然后根据人体姿态识别模型输出的骨架节点坐标(x,y)生成新坐标点，结合目标位置信息和新坐标信息进行判断，从而得到检测结果。
[0060]
这样，可以更好地先判断是否正确佩戴衣物，然后再检测动作过程是否违规。
[0061]
其中，判别是否穿戴安全帽时，参见图1，首先从画面中检测出安全帽，然后再判断安全帽是否出现在头部位置；如果未检测到安全帽，或者安全帽未出现在作业人员头部位置，则判定属于未按要求佩戴安全帽的违规行为；进行位置判断时以选取检测到的人体两个耳朵节点作为参照，设定左耳坐标为(l.x,l.y),右耳坐标为(r.x,r.y)，安全帽位置信息为(hat.x,hat.y,hat.w,hat.h)；判断时将安全帽检测框的范围适当扩大和平移(最大至两倍原尺寸)，当左右耳位于调整后的检测框内时，则认为是正确佩戴了安全帽(图1)；由于摄像头拍摄角度问题，画面中可能只能识别到左右耳中的一个，所以对于安全帽正确佩戴的判断条件如下：
[0062][0063]
或
[0064]
。
[0065]
这样，可以更好地实现是否穿戴安全帽的判别，其他佩戴物可以采用类似的方法实现判别。