一种基于人脸识别的图书自助借还系统的制作方法

1.本发明涉及图书自助借还系统，特别涉及一种基于人脸识别的图书自助借还系统。


背景技术：

2.图书馆的日常管理工作包括盘点和上架，在馆藏量日渐增加的图书馆内，单纯靠人工操作的方法已经无法高效且准确地完成图书管理的工作，日常图书馆图书的借还量大，馆员逐本确认图书以及借阅者的过程繁琐。另外，在上架的过程中，杂乱无章的归还图书以及单一的书架布局经常会给馆员上架带来困扰，甚至导致图书位置的错放。如何快速且准确地对归还的大量图书进行记录，方便后续的借阅者尽早借到图书，一直是传统图书馆面临的难题。


技术实现要素：

3.本发明提供一种基于人脸识别的图书自助借还系统，通过人脸识别技术，实现了图书借阅的自动化，简化了借阅流程，提高借阅者的借阅体验。
4.本发明提供一种基于人脸识别的图书自助借还系统，包括：
5.人脸扫描模块，用于获取人脸检测区域的热感应信息，当所述热感应信息满足感应条件时，扫描借阅者的人脸；
6.检测模块，用于接收借阅者输入的借阅认证信息，并根据借阅认证信息以及扫描信息，检测所述借阅者是否为本人；
7.处理模块，用于当所述借阅者为本人时，基于预设数据库输出借阅信息到所述借阅者的借阅端，同时，根据借阅者在预设平台的输入指令，确定对应图书的当前状态，并记录所述借阅者在所述预设平台对所述图书的借还操作。
8.在一种可能实现的方式中，
9.所述图书的当前状态的信息包括：图书的借阅情况、图书名称、被借阅人、存放位置，借阅者的信息包括：借阅者的身份信息、已借阅图书信息。
10.在一种可能实现的方式中，
11.所述借阅认证信息包括：借阅者的身份信息；所述扫描信息包括：包括借阅者的人脸在内的眨眼视频；
12.所述借还操作包括：借阅图书的数量、每本图书对应的借阅时长、归还时间。
13.在一种可能实现的方式中，
14.所述人体感应模块，包括：
15.第一感应单元，用于基于人脸检测区域的热感应信息，获得人脸检测区域的待检测信息；
16.第二感应单元，用于基于人脸检测区域的待检测信息，判断是否需要开启摄像头：
17.若待检测信息为有人，则控制摄像头开启，扫描借阅者的人脸；
18.若待检测信息为无人，则保持摄像头待机，不进行扫描；
19.第三感应单元：用于判断摄像头的控制情况：
20.若第二感应单元控制摄像头开启后，摄像头仍为待机状态，则进行报警。
21.在一种可能实现的方式中，
22.所述检测模块，包括：
23.检测单元，用于对人脸检测区域的图像数据分别进行放射划分和环状划分，获得若干子区域图像，并基于中心子区域图像的灰度值对若干子区域图像进行值域划分：将灰度值大于中心子区域灰度值的区域记为1，灰度值不大于中心子区域灰度值的区域记为0，从而获得人脸检测区域的图像的值域特征，并以预设分类器对人脸检测区域的图像的值域特征进行检测，获得人脸检测区域的图像的对称旋转性，并基于人脸检测区域的图像的对称旋转性判断所述图像数据是否包含人脸图像：
24.若人脸检测区域的图像具有对称旋转性，说明人脸检测区域的图像中包含人脸图像，则进行后续分析；
25.若人脸检测区域的图像具有对称旋转性，说明人脸检测区域的图像不包含人脸图像，则不进行后续分析；
26.预处理单元，用于对所述人脸检测区域的图像进行分解，获得人脸检测区域的图像的子奇异值集合，并选取预设数量的奇异值进行图像重构，获得重构图像；
27.调整单元，用于对重构图像进行多级缩放，获得图像金字塔，并基于人脸检测区域的图像的对称旋转性获得重构图像的对称中心点，并基于对称中心点对图像金字塔进行调整，并对调整后的图像金字塔进行重合度检测，并对重合度超过预设阈值的图像金字塔进行合并处理，获得第一图像；
28.处理单元，用于对第一图像进行归一化处理，并调节处理后第一图像的色彩空间，获得第二图像，将所述第二图像均匀分配为n
×
n个单元块，获得单元块集合；
29.计算单元，用于对单元块集合进行扫描，并计算每一子单元块的像素梯度边缘方向，获得子梯度方向直方图，并将子梯度方向直方图数据化，获得子梯度方向直方图数据，并对子梯度方向直方图数据进行串联，获得所述第一图像的人脸特征；
30.检测单元，用于将所述第一图像的人脸特征与储存模块中借阅者的人脸特征进行匹配检测，从而获得人脸检测区域内借阅者的身份信息。
31.在一种可能实现的方式中，
32.所述处理模块，包括：
33.采集单元，用于采集待采集区域图书的标签信息，以及待采集区域的区域图像；
34.切割单元，用于对区域图像进行灰度化，并基于预设检测算法对区域图像进行检测，获得区域图像的平行线对，并基于平行线对拟合出图书分面的矩形轮廓，并基于预设规则对矩形轮廓进行刷选，获得封面轮廓，并基于封面轮廓对灰度化后的区域图像进行切割，获得图书封面图像，并对封面图像进行校正，获得校正后的图书封面图像；
35.提取单元，用于基于预设的纹理提取算法对校正后的图书封面图像进行纹理检测，获得封面图像的文本区域；
36.识别单元，用于对文本区域进行空隙检测，获得文本区域的空隙，并基于空隙对文本区域进行分割，获得子单一字符图像，并基于预设的识别算法，对子单一字符图像进行文
字识别，从而获得待采集区域图书的名称，并基于标签信息，在数据库中进行检索，获得标签所对应的图书的信息；
37.若待采集区域图书的名称与待采集区域图书标签所对应的图书的信息一致，则不进行报警。
38.在一种可能实现的方式中，
39.所述处理模块还包括：
40.第一判别单元，用于当借阅者借阅图书时，根据待检测区域借阅者的身份信息，获得借阅者已借阅图书，并进行判别：
41.若借阅者已借阅图书达到预设数量上限，则关闭借阅功能，并提示借阅者借阅图书过多，无法继续借阅；
42.若借阅者已借阅图书时长达到预设时间上限，则关闭借阅功能，并提示借阅者借阅图书时间过长，无法继续借阅；
43.若借阅者已借阅图书的数量和时长均未达到上限，则将待采集区域图书借给借阅者；
44.第二判别单元，用于当借阅者归还图书时，判别采集区域图书是否可以归还：
45.若待采集区域图书的名称与标签所对应的图书名称不符，则关闭归还功能，并继续报警；
46.若待采集区域图书的名称与标签所对应的图书名称相符，则收取待采集区域的图书。
47.在一种可能实现的方式中，
48.所述处理模块，还用于基于第一判别单元以及第二判别单元的判别结果，对预设数据库进行数据更新。
49.在一种可能实现的方式中，
50.检测模块还包括：
51.活体扫描单元，用于提示人脸检测区域内的借阅者进行眨眼操作，获得借阅者的眨眼视频数据；
52.标记单元，用于在眨眼视频数据的每一帧画面中，标记眼睛的预设点位，获得子标记帧图像，并将子标记帧图像投影至预设坐标系，获得每一子标记帧图像中子预设点位的坐标；
53.计算单元：用于每一子标记帧图像中子预设点位的坐标，以及如下公式计算子标记帧图像中眼睛的纵值：
[0054][0055]
其中，y为子标记帧图像中眼睛的纵值，e1为眼睛第一预设点位到目标原点的向量，e2为眼睛第二预设点位到目标原点的向量，e3为眼睛第三预设点位到目标原点的向量，e4为眼睛第四预设点位到目标原点的向量，e5为眼睛第五预设点位到目标原点的向量，e6为眼睛第六预设点位到目标原点的向量，公式中双数线表示向量作差之后各分量的平方和的开根号；
[0056]
所述计算单元还用于根据子标记帧图像中眼睛的纵值，以及如下公式，计算眨眼
视频数据眼睛的纵差值：
[0057][0058]
其中，h为眨眼视频数据眼睛的纵差值，k为眨眼视频数据所包含帧图像的总数，且k＞1，k为眨眼视频数据中帧图像的序号，k＝1、2、3、...、k,μ为所述检测模块提示眨眼后借阅者的反应时间，ι为借阅者的平均反应时间；
[0059]
判别单元，用于根据眨眼视频数据眼睛的纵差值与预设值的关系，判断待检测区域是否为本人：
[0060]
若纵横差值小于预设值，则表明借阅者不是本人，关闭借阅和归还功能，并进行报警；
[0061]
若纵横差值不小于预设值，则表明借阅者是本人，不进行报警。
[0062]
在一种可能实现的方式中，
[0063]
数据更新模块，用于所述借阅者还书后，对借阅者的本次借阅还书的满意度进行分析，包括：
[0064]
信息采集单元，用于采集借阅者在归还图书过程中借阅者的面部情绪信息、行为数据信息；
[0065]
信息分析单元，用于对所述面部情绪信息进行分析，确定所述借阅者的面部情绪，并基于预设的情绪数值对照表，确定所述借阅者的面部对应的情绪值；
[0066]
并根据如下公式，计算所述借阅者对本次还书的满意度值；
[0067][0068]
其中，q表示所述借阅者对本次还书的满意度值，ε1表示第一权重值，取值为[0.5,0.7]，ε2表示第二权重值，取值为[0.5,0.7]，s
i
表示所述借阅者在还书时的面部情绪值，d
i
表示所述借阅者在归还书的行为活跃度，取值为[0.3,0.9]；
[0069]
记录单元，用于根据所述满意度值，对所述图书进行评级，并进行记录。
[0070]
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
[0071]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0072]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0073]
图1为本发明实施例中一种基于人脸识别的图书自助借还系统的结构图；
[0074]
图2为本发明实施例中人脸扫描模块的结构图；
[0075]
图3为本发明实施例中检测模块的结构图；
[0076]
图4为本发明实施例中处理模块的结构图；
[0077]
图5为本发明实施例中处理模块的另一结构图；
[0078]
图6为本发明实施例中检测模块的另一结构图；
[0079]
图7为本发明实施例中数据更新模块的结构图。
具体实施方式
[0080]
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0081]
实施例1：
[0082]
本发明实施例提供一种基于人脸识别的图书自助借还系统，如图1所示包括：
[0083]
人脸扫描模块，用于获取人脸检测区域的热感应信息，当所述热感应信息满足感应条件时，扫描借阅者的人脸；
[0084]
检测模块，用于接收借阅者输入的借阅认证信息，并根据借阅认证信息以及扫描信息，检测所述借阅者是否为本人；
[0085]
处理模块，用于当所述借阅者为本人时，基于预设数据库输出借阅信息到所述借阅者的借阅端，同时，根据借阅者在预设平台的输入指令，确定对应图书的当前状态，并记录所述借阅者在所述预设平台对所述图书的借还操作。
[0086]
在该实施例中，人脸检测区域为摄像头的拍摄范围。
[0087]
在该实施例中，热感应信息为人体感应模块所感应的人脸检测区域的热辐射信息。
[0088]
该实施例中，输入指令指的是借阅者输入的搜索信息，比如，图书名称对应的归还地点，或者图书名称对应的借书地点等。
[0089]
上述方案的工作原理和有益效果为：通过人体感应模块检测是否有借阅者进入图书借还区域，并通过人脸识别模块，识别借阅者的身份信息，通过图书识别模块，识别所借还图书的图书信息，通过判别模块判别借阅者是否可以继续借阅以及图书是否可以被归还，通过数据更新模块对存储模块进行数据更新，并通过报警模块检测是否有未借阅书籍被带出图书馆，通过活体检测模块检测借阅者的人脸图像是否为本人，防止有借阅者用其他借阅者的照片进行借阅，也有效防止了图书的丢失，简化了图书借阅程序，降低了图书馆的管理难度。
[0090]
实施例2：
[0091]
基于实施例1的基础上，所述的一种基于人脸识别的图书自助借还系统，其特征在于所述借阅认证信息包括：借阅者的身份信息；
[0092]
所述扫描信息包括：包括借阅者的人脸在内的眨眼视频；
[0093]
所述借还操作包括：借阅图书的数量、每本图书对应的借阅时长、归还时间。
[0094]
上述方案的有益效果为：通过识别借阅图书的数量、每本图书对应的借阅时长、归还时间以及借阅者的身份信息，提高了图书馆对图书的掌控程度，使得管理更加方便。
[0095]
实施例3：
[0096]
基于实施例1的基础上，所述人脸扫描模块如图2所示，包括：
[0097]
第一感应单元，用于基于人脸检测区域的热感应信息，获得预设区域的待检测信息；
[0098]
第二感应单元，用于基于人脸检测区域的待检测信息，判断是否需要开启摄像头：
[0099]
若待检测信息为有人，则控制摄像头开启，扫描借阅者的人脸；
[0100]
若待检测信息为无人，则保持摄像头待机，不进行扫描；
[0101]
第三感应单元，用于判断摄像头的控制情况：
[0102]
若第二感应单元控制摄像头开启后，摄像头仍为待机状态，则进行报警。
[0103]
上述方案的有益效果为：通过根据人脸检测区域是否有借阅者，来控制摄像头的开关，避免摄像头拍摄大量无用信息，为后续的检测环节减轻了工作量。
[0104]
实施例4：
[0105]
基于实施例1的基础上，所述检测模块如图3所示，包括：
[0106]
扫描单元，用于扫描人脸检测区域的图像；
[0107]
检测单元，用于对人脸检测区域的图像数据分别进行放射划分和环状划分，获得若干子区域图像，并基于中心子区域图像的灰度值对剩余若干子区域图像进行值域划分：将灰度值大于中心子区域灰度值的区域记为1，灰度值不大于中心子区域灰度值的区域记为0，从而获得人脸检测区域的图像的值域特征，并以预设分类器对人脸检测区域的图像的值域特征进行检测，获得人脸检测区域的图像的对称旋转性，并基于人脸检测区域的图像的对称旋转性判断所述图像数据是否包含人脸图像：
[0108]
若人脸检测区域的图像具有对称旋转性，说明人脸检测区域的图像中包含人脸图像，则进行后续分析；
[0109]
若人脸检测区域的图像具有对称旋转性，说明人脸检测区域的图像不包含人脸图像，则不进行后续分析；
[0110]
预处理单元，用于对所述人脸检测区域的图像进行分解，获得人脸检测区域的图像的子奇异值集合，并选取预设数量的奇异值进行图像重构，获得重构图像；
[0111]
调整单元，用于对重构图像进行多级缩放，获得图像金字塔，并基于人脸检测区域的图像的对称旋转性获得重构图像的对称中心点，并基于对称中心点对图像金字塔进行调整，并对调整后的图像金字塔进行重合度检测，并对重合度超过预设阈值的图像金字塔进行合并处理，获得第一图像；
[0112]
处理单元，用于对第一图像进行归一化处理，并调节处理后第一图像的色彩空间，获得第二图像，将所述第二图像均匀分配为n
×
n个单元块，获得单元块集合；
[0113]
计算单元，用于对单元块集合进行扫描，并计算每一子单元块的像素梯度边缘方向，获得子梯度方向直方图，并将子梯度方向直方图数据化，获得子梯度方向直方图数据，并对子梯度方向直方图数据进行串联，获得所述第一图像的人脸特征；
[0114]
检测单元，用于将所述第一图像的人脸特征与储存模块中借阅者的人脸特征进行匹配检测，从而获得人脸检测区域内借阅者的身份信息。
[0115]
在本实施例中，奇异值为将人脸图像数据转化为矩阵，求得矩阵的分解矩阵，将分解矩阵对角线是的元素由大到小排列，获得元素集作为人脸图像数据的奇异值。
[0116]
在本实施例中，预设数量为25。
[0117]
在本实施例中，图像金字塔为不同比例的重构图像叠加在一起得到的叠加图像。
[0118]
在本实施例中，归一化处理为对第一图像进行灰度化处理。
[0119]
在本实施例中，调节色彩空间为用伽马校正法使处理后第一图像的色彩空间规范
化。
[0120]
在本实施例中，像素梯度边缘方向包括纵方向和横方向，对图像进行梯度计算之前，从横纵坐标两个方向进行梯度计算。
[0121]
上述方案的工作原理及其有益效果为：通过设置人脸识别模块，扫描待检测区域借阅者的人脸图像数据，并进行预处理、调整、处理、计算、检测，获得待检测区域借阅者的身份信息，为后续判别单元判别是否开启借阅功能提供了判断依据。
[0122]
实施例5：
[0123]
基于实施例1的基础上，所述处理模块模块如图4所示，还包括：
[0124]
采集单元，用于采集待采集区域图书的标签信息，以及待采集区域的区域图像；
[0125]
切割单元，用于对区域图像进行灰度化，并基于预设检测算法对区域图像进行检测，获得区域图像的平行线对，并基于平行线对拟合出图书分面的矩形轮廓，并基于预设规则对矩形轮廓进行刷选，获得封面轮廓，并基于封面轮廓对灰度化后的区域图像进行切割，获得图书封面图像，并对封面图像进行校正，获得校正后的图书封面图像；
[0126]
提取单元，用于基于预设的纹理提取算法对校正后的图书封面图像进行纹理检测，获得封面图像的文本区域；
[0127]
识别单元，用于对文本区域进行空隙检测，获得文本区域的空隙，并基于空隙对文本区域进行分割，获得子单一字符图像，并基于预设的识别算法，对子单一字符图像进行文字识别，从而获得待采集区域图书的名称，并基于标签信息，在数据库中进行检索，获得标签所对应的图书的信息；
[0128]
若待采集区域图书的名称与待采集区域图书标签所对应的图书的信息一致，则不进行报警。
[0129]
在本实施例中，平行线对为区域图像平行的两条线段；
[0130]
在本实施例中，纹理检测为对校正后的图书封面图像进行以边缘和角点为特征点的检测，获得文本区域。
[0131]
在本实施例中，标签信息为图书中附带的ic卡的信息；
[0132]
在本实施例中，空隙检测为检测文本区域的空白部分。
[0133]
在本实施例中，预设的识别算法为字体匹配算法。
[0134]
上述方案的工作原理及其有益效果为：通过设置图书识别模块，采集待采集区域图书的标签信息，并进行切割、提取、识别，获得标签所对应的图书的信息以及待采集区域图书的名称，并根据两者是否一致进行报警，保证了标签与图书的对应统一。
[0135]
实施例6：
[0136]
基于实施例1的基础上，所述处理模块如图5所示还包括：
[0137]
第一判别单元，用于当借阅者借阅图书时，根据待检测区域借阅者的身份信息，获得借阅者已借阅图书，并进行判别：
[0138]
若借阅者已借阅图书达到预设数量上限，则关闭借阅功能，并提示借阅者借阅图书过多，无法继续借阅；
[0139]
若借阅者已借阅图书时长达到预设时间上限，则关闭借阅功能，并提示借阅者借阅图书时间过长，无法继续借阅；
[0140]
若借阅者已借阅图书的数量和时长均未达到上限，则将待采集区域图书借给借阅
者；
[0141]
第二判别单元，用于当借阅者归还图书时，判别采集区域图书是否可以归还：
[0142]
若待采集区域图书的名称与标签所对应的图书名称不符，则关闭归还功能，并继续报警；
[0143]
若待采集区域图书的名称与标签所对应的图书名称相符，则收取待采集区域的图书。
[0144]
上述方案的工作原理及其有益效果为：通过判断借阅者已借阅图书和采集区域图书是否可以归还，限制借阅者同时借阅预设数量图书，可以督促借阅者将之前借阅的图书进行归还，也有效限制了偷换图书的行为。
[0145]
实施例7：
[0146]
基于实施例1的基础上，处理模块，还用于基于第一判别单元以及第二判别单元的判别结果，对预设数据库进行数据更新。
[0147]
上述方案的有益效果为：通过更新数据库，提升了图书馆对图书的管理程度，也为后续报警单元提供了必要的前提条件。
[0148]
实施例8：
[0149]
基于实施例1的基础上，所述检测模块如图7所示包括：
[0150]
活体扫描单元：用于提示待检测区域借阅者进行眨眼操作，获得借阅者的眨眼视频数据；
[0151]
标记单元，用于在眨眼视频数据的每一帧画面中，标记眼睛的预设点位，获得子标记帧图像，并将子标记帧图像投影至预设坐标系，获得每一子标记帧图像中子预设点位的坐标；
[0152]
计算单元：用于每一子标记帧图像中子预设点位的坐标，以及如下公式计算子标记帧图像中眼睛的纵值：
[0153][0154]
其中，y为子标记帧图像中眼睛的纵值，e1为眼睛第一预设点位到目标原点的向量，e2为眼睛第二预设点位到目标原点的向量，e3为眼睛第三预设点位到目标原点的向量，e4为眼睛第四预设点位到目标原点的向量，e5为眼睛第五预设点位到目标原点的向量，e6为眼睛第六预设点位到目标原点的向量，公式中双数线表示向量作差之后各分量的平方和的开根号；
[0155]
所述计算单元还用于根据子标记帧图像中眼睛的纵值，以及如下公式，计算眨眼视频数据眼睛的纵差值：
[0156][0157]
其中，h为眨眼视频数据眼睛的纵差值，k为眨眼视频数据所包含帧图像的总数，且k＞1，k为眨眼视频数据中帧图像的序号，k＝1、2、3、...、k,μ为所述检测模块提示眨眼后借阅者的反应时间，ι为借阅者的平均反应时间；
[0158]
判别单元，用于根据眨眼视频数据眼睛的纵差值与预设值的关系，判断待检测区域是否为本人：
[0159]
若纵横差值小于预设值，则表明借阅者不是本人，关闭借阅和归还功能，并进行报警；
[0160]
若纵横差值不小于预设值，则表明借阅者是本人，不进行报警。
[0161]
该实施例中，预设点位是包括6个子预设点位在内的；
[0162]
该实施例中，第一预设点位、第二预设点位、第三预设点位分别位于用户上眼皮左、中、右三个位置，第四预设点位、第五预设点位、第六预设点位分别位于用户下眼皮左、中、右三个位置。
[0163]
上述方案的工作原理及其有益效果为：通过设置活体检测模块，在眨眼视频数据的每一帧画面中，标记眼睛的预设点位，计算眨眼视频数据眼睛的纵横差值，并根据纵横差值与预设值的关系，判别视频中是否为本人，防止有借阅者利用别人的照片进行借阅，提高了图书馆的安全性。
[0164]
实施例9
[0165]
基于实施例1的基础上，所述数据更新模块如图7所示包括：
[0166]
数据更新模块，用于所述借阅者还书后，对借阅者的本次借阅还书的满意度进行分析，包括：
[0167]
信息采集单元，用于采集借阅者在归还图书过程中借阅者的面部情绪信息、行为数据信息；
[0168]
信息分析单元，用于对所述面部情绪信息进行分析，确定所述借阅者的面部情绪，并基于预设的情绪数值对照表，确定所述借阅者的面部对应的情绪值；
[0169]
并根据如下公式，计算所述借阅者对本次还书的满意度值；
[0170][0171]
其中，q表示所述借阅者对本次还书的满意度值，ε1表示第一权重值，取值为[0.5,0.7]，ε2表示第二权重值，取值为[0.5,0.7]，s
i
表示所述借阅者在还书时的面部情绪值，d
i
表示所述借阅者在归还书的行为活跃度，取值为[0.3,0.9]；
[0172]
记录单元，用于根据所述满意度值，对所述图书进行评级，并进行记录。
[0173]
上述方案的工作原理及其有益效果为：通过设置数据更新模块，采集借阅者在归还图书过程中借阅者的面部情绪信息、行为数据信息，并通过计算活动用户对本次还书的满意度值，从而获得该书籍的受欢迎程度，方便图书馆对书的受欢迎程度进行分级。
[0174]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。