基于人脸识别的船员身份验证方法与流程

1.本发明涉及智能船舶信息化领域，具体涉及一种基于人脸识别的船员身份验证方法。


背景技术：

2.船舶航行过程中，特别是在经过海况复杂区域时，需要驾驶台内值班人员时刻保持工作状态，对船舱内设备进行检视，对航道进行瞭望，时刻观察船舶周围情况，避免事故的发生。而为了确认驾驶台内值班人员的在岗情况，需要对驾驶台内的行人进行身份验证。
3.现阶段驾控台的身份验证还是以人工验证为主，通过船长及岸端工作人员对签到表的检查，以及不定期抽查视频等手段，对人员值班情况进行统计。由于船舶靠港时间较短，航行时间较长，抽查的手段并不能很好地覆盖全部船舶，因此存在工作效率不高、重复劳动等问题。
4.目前，现有的身份验证方法，主要是通过人脸识别系统完成，由人脸检测及人脸比对两部分组成。近年来，绝大多数的人脸识别系统都是基于深度学习，其中，测试结果较高的人脸检测网络有retinaface，scrfd等，人脸识别网络有arcface，deepid等。这些方法都是基于二维平面图像(rgb图像为主)，对于白天、光照条件较好的情况，表现优良。但是在驾控台环境下，夜间航行、强逆光航行的情况比较多，现有的技术在这种条件下，不能很好地适应，测试得出的准确率不高。


技术实现要素：

5.有鉴于此，本发明的目的是克服现有技术中的缺陷，提供基于人脸识别的船员身份验证方法，能够实时、高效地验证船员身份，优化了人脸验证的夜间识别能力，提升了夜间人脸验证的准确率。
6.本发明的基于人脸识别的船员身份验证方法，包括如下步骤：
7.s1.采集船员人脸信息并对船员人脸信息进行身份标记，得到人脸信息样本库；
8.s2.构建人脸检测模型；
9.s3.将人脸信息样本库中的人脸信息输入到人脸检测模型，输出人脸信息的特征量，并将人脸信息的特征量更新到人脸信息；
10.s4.将待测船员的人脸信息输入到人脸检测模型，输出待测人脸信息的特征量，并将待测人脸信息的特征量更新到待测人脸信息；
11.s5.计算待测人脸信息与人脸信息样本库中人脸信息的相似度，得到相似度集合(s1，s2，...，si，....，sn)；其中，si为待测人脸信息与人脸信息样本库中第i个人脸信息的相似度，n为人脸信息样本库中人脸信息的个数；
12.s6.判断相似度集合中是否存在非零的最大相似度，若是，则将最大相似度对应的人脸信息作为目标人脸信息，将目标人脸信息对应的身份信息作为目标身份信息，并进入步骤s7；若否，则待测船员的人脸信息不在人脸信息样本库中，待测船员为可疑人员；
13.s7.判断目标身份信息是否为待测船员的真实身份信息，若是，则待测船员的身份验证成功，若否，则待测船员的身份验证有误，并将待测人脸信息传回人脸信息样本库。
14.进一步，步骤s1中，所述采集船员人脸信息，具体包括：
15.采集船员的人脸图片，得到人脸图片库；
16.以设定的人脸图片为参照，将人脸图片库中不满足清晰标准或人脸角度超过设定角度范围的人脸图片剔除，得到新的人脸图片库；并将新的人脸图片库作为船员人脸信息。
17.进一步，所述船员人脸信息包括正面人脸、左侧人脸、右侧人脸以及斜上方人脸。
18.进一步，对船员人脸信息进行身份标记，具体包括：
19.将船员的身份信息录入到船员人脸信息中，得到有身份标记的船员人脸信息；所述身份信息包括姓名、性别、职位以及证件号码。
20.进一步，步骤s2中，构建人脸检测模型，具体包括：
21.s21.采集人脸检测数据集；所述人脸检测数据集包括白天rgb图像集以及夜间红外图像集；
22.s22.对人脸检测数据集进行人脸标记，得到标记后的人脸检测数据集；
23.s23.分别对标记后的人脸检测数据集进行rgb图像特征提取以及红外图像特征提取，得到rgb图像特征以及红外图像特征；
24.s24.将rgb图像特征以及红外图像特征进行加权求和，得到加权后的图像特征；
25.s25.根据加权后的图像特征对标记后的人脸检测数据集进行网络训练，得到人脸检测网络；
26.s26.对人脸检测网络进行封装处理，得到人脸检测模型。
27.进一步，所述人脸检测数据集s为：
[0028][0029]
其中，wilderface(q)为公开的人脸检测数据集，q为公开的人脸检测数据集的数据量；r(m)为真实船只环境中船员人脸图像集，m为真实船只环境中船员人脸图像集的图像数量；t(t)为模拟船只环境中船员人脸图像集，t为模拟船只环境中船员人脸图像集的图像数量；δ、∈以及σ均为设定的阈值。
[0030]
进一步，对人脸检测数据集进行人脸标记，具体包括：使用矩形框对人脸检测数据集中的人脸图像进行标记，并对所述人脸图像进行关键点标记；其中，所述关键点包括左眼中心、右眼中心、鼻尖、左嘴角以及右嘴角。
[0031]
进一步，所述矩形框的上边对应于发际线的边沿，所述矩形框的下边对应于下巴的下边沿，所述矩形框的左边对应于一侧耳朵的前边沿，所述矩形框的右边对应于另一侧耳朵的前边沿。
[0032]
进一步，所述人脸信息的特征量包括人脸框个数、人脸位置、人脸尺寸以及人脸关键点。
[0033]
进一步，步骤s3中，还包括：对更新后的人脸信息进行预处理，得到处理后的人脸信息；所述预处理包括降噪处理、平滑处理以及高光抑制处理。
[0034]
本发明的有益效果是：本发明公开的一种基于人脸识别的船员身份验证方法，能够实时、高效地验证船员身份，同时，优化了人脸检测、人脸验证的夜间识别能力，加强了对夜间红外图像的识别，提升了夜间人脸验证的准确率，从而加强了对船员的管控，保障了船舶的安全行驶。
附图说明
[0035]
下面结合附图和实施例对本发明作进一步描述：
[0036]
图1为本发明的船员身份验证方法流程示意图；
[0037]
图2为本发明的多模态人脸检测训练流程示意图；
[0038]
图3为本发明的对白天rgb图像进行人脸检测的效果图；
[0039]
图4为本发明的对夜间红外图像进行人脸检测的效果图；
[0040]
图5为本发明的人脸验证效果图。
具体实施方式
[0041]
以下结合说明书附图对本发明做出进一步的说明，如图1所示：
[0042]
本发明的基于人脸识别的船员身份验证方法，包括如下步骤：
[0043]
s1.采集船员人脸信息并对船员人脸信息进行身份标记，得到人脸信息样本库；
[0044]
s2.构建人脸检测模型；
[0045]
s3.将人脸信息样本库中的人脸信息输入到人脸检测模型，输出人脸信息的特征量，并将人脸信息的特征量更新到人脸信息；
[0046]
s4.将待测船员的人脸信息输入到人脸检测模型，输出待测人脸信息的特征量，并将待测人脸信息的特征量更新到待测人脸信息；
[0047]
s5.计算待测人脸信息与人脸信息样本库中人脸信息的相似度，得到相似度集合(s1，s2，...，si，...，sn)；其中，si为待测人脸信息与人脸信息样本库中第i个人脸信息的相似度，n为人脸信息样本库中人脸信息的个数；
[0048]
s6.判断相似度集合中是否存在非零的最大相似度，若是，则将最大相似度对应的人脸信息作为目标人脸信息，将目标人脸信息对应的身份信息作为目标身份信息，并进入步骤s7；若否，则待测船员的人脸信息不在人脸信息样本库中，待测船员为可疑人员；
[0049]
s7.可以通过人工判断目标身份信息是否为待测船员的真实身份信息，若是，则待测船员的身份验证成功，若否，则目标身份信息不是待测船员的真实身份，待测船员的身份验证有误，并将待测人脸信息传回人脸信息样本库。通过回传样本库，使得样本库的数据不断得到充实，可以进一步提升人脸验证的准确率。
[0050]
本实施例中，步骤s1中，所述采集船员人脸信息，具体包括：
[0051]
采集船员的人脸图片，得到人脸图片库；其中，通过自动采集系统从船只的驾控台监控视频中提取人脸图像；
[0052]
以设定的人脸图片为参照，将人脸图片库中不满足清晰标准或人脸角度超过设定角度范围的人脸图片剔除，得到新的人脸图片库；并将新的人脸图片库作为船员人脸信息。其中，所述设定的人脸图片为筛选出来的满足清晰标准且人脸角度在设定角度范围内的人脸图片，所述清晰标准以及设定角度范围均根据实际工况进行设置。通过人工上传的方式
将设定的人脸图片上传到平台系统，在平台系统中实现对人脸图片库中一些角度偏差较大、像素值较小的人脸图像进行剔除，确保了人脸信息样本库中样本的完整度。所述自动采集系统、平台系统均采用现有技术，在此不再赘述；
[0053]
本实施例中，所述人脸信息样本库p(n)可描述为：
[0054][0055]
其中，n表示样本库中的船员数量，f
front
，f
left
，f
right
，f
top
分别代表同一人脸的不同角度图像：正面人脸、左侧人脸、右侧人脸以及斜上方人脸，也即是所述船员人脸信息包括正面人脸、左侧人脸、右侧人脸以及斜上方人脸。样本库中的图片需保证人脸的清晰可见，若存在过多的遮挡、角度过大等情况，则不适合作为样本。
[0056]
本实施例中，对船员人脸信息进行身份标记，具体包括：
[0057]
将船员的身份信息录入到船员人脸信息中，得到有身份标记的船员人脸信息；所述身份信息包括姓名、性别、职位以及证件号码。
[0058]
所述的身份录入步骤可由人工完成，待样本库的图片收集完成后，用户可以在相应的系统中，对样本库中的图片进行身份录入，录入内容如表1所示：
[0059]
表1
[0060]
姓名张三性别男职位船长证件号码300100190001010001
[0061]
其中，所述证件号码可为身份证号码或员工编号等。
[0062]
录入后的身份信息，会绑定到样本库中的图片中，用于人员身份识别。用户可以随时在平台系统中添加、删除、修改该信息。
[0063]
本实施例中，步骤s2中，所述人脸检测模型可基于retinaface算法，针对红外图像进行改后，用于人脸检测。可以在自然场景下，检测视野中出现的人脸，并输出人脸的图像、位置、尺寸等信息。
[0064]
构建人脸检测模型，具体包括：
[0065]
s21.采集人脸检测数据集；所述人脸检测数据集包括白天rgb图像集以及夜间红外图像集；
[0066]
s22.对人脸检测数据集进行人脸标记，得到标记后的人脸检测数据集；
[0067]
s23.分别对标记后的人脸检测数据集进行rgb图像特征提取以及红外图像特征提取，得到rgb图像特征以及红外图像特征；
[0068]
s24.将rgb图像特征以及红外图像特征进行加权求和，得到加权后的图像特征；
[0069]
s25.根据加权后的图像特征对标记后的人脸检测数据集进行网络训练，得到人脸检测网络；
[0070]
s26.对人脸检测网络进行封装处理，得到人脸检测模型。
[0071]
本实施例中，步骤s21中，所述人脸检测数据集分为三个部分，第一部分是公开的人脸检测数据集wilderface，其中包含32203张包含人脸的图片，393703个标注的人脸框，
数据集wilderface包含了不同尺度、不同角度、遮挡、妆容等丰富的人脸图像，能够提供良好的人脸特征基础，增强检测的鲁棒性。第二部分是采集的现有船只上的监控视频，通过截取rgb及红外图像，制作成数据集。其中，样本要求图像中存在人脸，并且人脸的角度偏差不宜太大，至少五官能够清晰辨认。第二部分的数据集包含人脸的白天rgb图像5000张，人脸框9432个；且包含人脸的夜间红外图像2000张，人脸框3600个。第三部分为测试环境下，模拟位于驾控台正前方的监控视频，通过截取rgb及红外图像，制作成数据集。其中，第三部分的数据集包含人脸的白天rgb图像1000张，人脸框1130个；且包含人脸的夜间红外图像500张，人脸框560个。其中，对于采集的监控视频，最合适的监控角度为驾控台正前方，斜上方30度的位置，目前船舶驾控台内的监控一般安装在驾控台左前方和右前方，偏移角度较大，不过覆盖范围较广，也可以用于制作数据集。
[0072]
所述人脸检测数据集s为：
[0073][0074]
其中，wilderface(q)为公开的人脸检测数据集，其为第一部分的数据集，q为公开的人脸检测数据集的数据量；r(m)为真实船只环境中船员人脸图像集，其为第二部分的数据集，m为真实船只环境中船员人脸图像集的图像数量；t(t)为模拟船只环境中船员人脸图像集，其为第三部分的数据集，t为模拟船只环境中船员人脸图像集的图像数量；所述δ取值为30000，∈取值为3000，σ取值为1000，所述δ、∈以及σ根据实际工况，在保证数据图像集充足的基础上，其取值可适当调大或调小。
[0075]
本实施例中，步骤s22中，对人脸检测数据集进行人脸标记，具体包括：使用矩形框对人脸检测数据集中的人脸图像进行标记，并对所述人脸图像进行关键点标记；其中，所述关键点包括左眼中心、右眼中心、鼻尖、左嘴角以及右嘴角。
[0076]
所述矩形框的上边对应于发际线的边沿，所述矩形框的下边对应于下巴的下边沿，所述矩形框的左边对应于一侧耳朵的前边沿，所述矩形框的右边对应于另一侧耳朵的前边沿，耳朵的前边沿不包括耳朵。其中，可利用平台标注工具cvat对人脸检测数据集进行标注，随后导出wilderface数据格式。导出的人脸检测数据集为txt文本文件，其格式为：
[0077]
#filename.jpg
[0078]
x1 y1 whp1
x
p1y0.0p2
x
p2y0.0p3
x
p3y0.0p4
x
p4y0.0p5
x
p5
y 0.0conf
[0079]
对于人脸检测数据集中每一张图片，上述格式中，第一行为井号，加上图片名称。第二行的前四个数字为人脸标记矩形框的左上角坐标(x1，y1)以及矩形框的长度(w)与宽度(h)信息，之后是五个关键点p1至p5的坐标，而关键点坐标之间以0.0相隔，最后一位conf是指该人脸信息的置信度，所述置信度设置为0或者1，主要用来确定是否启用该人脸图片做训练。
[0080]
本实施例中，构建基于pytorch实现的retinaface网络，并采用多模态的训练方法，进行步骤s23-s26的处理。通过增加一条针对红外图像的特征提取网络，在retinaface的全连接层之前，将白天rgb图像以及夜间红外图像的特征进行加权处理，以此增强retinaface对红外人脸图像的检测能力。如图2所示，左侧流程为retinaface的标准训练流
程，右侧为引入的另外一个模态特征提取网络，专门针对红外图像，最终两者的训练特征由加权函数结合到一起，并最终送入retinaface的全连接层，计算融合损失。网络训练完成后，依托nvidiagpu架构，将网络训练生成的权重文件转换为tensorrt格式，利用tensorrt将retinaface封装为c 接口，进而实现检测阶段的加速功能。实测在搭载nvidiartx 2080的设备上，一张图片的检测时间为9ms，可达到实时检测的要求。
[0081]
本实施例中，使用人脸检测模型对人脸信息样本库中的人脸信息进行检测，可由人脸检测模型输出人脸信息的特征量；所述人脸信息的特征量包括人脸框个数、人脸位置、人脸尺寸以及人脸关键点。同理，通过使用人脸检测模型对待测人脸信息进行检测，可以得到待测人脸信息的特征量，所述待测人脸信息的特征量包括人脸框个数、人脸位置、人脸尺寸以及人脸关键点。如图3、4所示，可以看到人脸检测模型的检测效果。
[0082]
本实施例中，步骤s3中，还包括：对更新后的人脸信息进行预处理，得到处理后的人脸信息；所述预处理包括降噪处理、平滑处理以及高光抑制处理。其中，所述预处理主要是利用机器视觉算法，对人脸信息进行降噪以及平滑处理等，进而提升人脸图像的清晰度。而对于有强光反射、红外图像过曝的情况，利用蒙版技术，提取图片中亮度过高部分来制作蒙版，利用差值法修正其像素值，从而达到抑制强光的效果。
[0083]
本实施例中，步骤s5中，所述待测人脸信息为待测人脸图片，通过采用arcface深度学习网络对待测人脸信息进行人脸识别。为了达到实时识别的效果，对arcface进行了封装，主要依赖于tensorrt，对原本pytorch的网络结构进行了重构，完成接口的封装。遍历人脸信息样本库中人脸图片，当存在样本时，才会进行识别。遍历的人脸图片进行缩放处理后，存入gpu显存中，来提升处理效率。而后再使用arcface对待测人脸图片与样本库中的人脸图片逐一进行比对，也即是，计算待测人脸图片与人脸信息样本库中人脸图片的相似度。
[0084]
本实施例中，步骤s6中，若相似度集合中存在非零的最大相似度，则说明人脸信息样本库中存在与待测人脸信息高度相似的人脸信息；若相似度集合中不存在非零的最大相似度，也即是相似度集合中的相似度均为零，则说明待测人脸信息不在人脸信息样本库中，待测船员为可疑人员，可以发出报警，用户需要人工确认后，解除警报。其中，通过使用arcface中的损失函数来确定相似度；所述损失函数的公式为：
[0085][0086]
可以看出，相较于其他主流损失函数，例如cosineface、sphereface等；arcface将大部分的的参数调整到了cos(θ t)这一项中，使得该损失函数在θ∈[0，π-t]这一范围内，其变化要小于cosθ，因此更加严格的限制了损失函数的变化范围，使得训练结果在收敛过程中，同类别的参数结合的更加紧密，即最大化了分类界限，同时也能够使网络学习到更多的角度特征。计算出的损失函数的值越小，则说明相似度越大；反之，损失函数的值越大，则相似度越小。
[0087]
本实施例中，步骤s7中，若目标身份信息为待测船员的真实身份信息，则则待测船员的身份验证成功，如图5所示，身份验证成功的船员，其人脸信息会附加有姓名、职位等身份信息。
[0088]
一种船员身份验证系统，用于对船员身份进行验证以及对船员进行值班统计。一方面，通过所述系统对待测人脸信息进行验证，验证成功时，展示待测船员的图像，包括图像中的人脸位置，人员身份信息，人脸小图等；验证有误时，通过使用所述系统将未过审的待测船员图片传回样本库中，从而增加样本库的样本数量，提升后续人脸验证的准确率。另一方面，由用户在所述系统中对值班人员进行统一管理、统计，实现对船员值班时间的统计、在岗情况的查询等功能，从而优化管理体系，提升航行安全。
[0089]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。