一种基于瞳孔追踪的在线考试系统防作弊方法与流程

1.本发明涉及图像处理领域，具体涉及一种基于实现瞳孔追踪技术的防作弊方法。


背景技术：

2.针对在线考试系统防作弊问题，许多在线考试平台提出了多种方法来应对。比如，常用锁定屏幕、屏蔽热键等方法，来防止学生在考试过程中切换搜索引擎等手段来进行作弊；再者，利用在学生前方和后侧方架设双机位，通过双机位从不同角度观测学生行为，教师全程监考来防止学生作弊。
3.2008年，陶夏、陈洪亮提出了一种组卷算法来防作弊，为了解决考生由于座位较近，可轻易看到他人答案的情况，从改变传统组卷方式入手，提出一种算法对试题题目进行随机选取。不仅如此，还对题目选项也进行了随机排列。但这种方式仅对于考生在统一地点，有老师监考的情况下有效，对于考试环境各不相同，且教师只能通过视频的方式进行监考的情况就难以达到好的防作弊效果。
4.2017年，陈晨等人提出一种网络考试系统，为了解决考生集中于一个或多个考点的半封闭环境中的问题，采用c/s b/s混合架构，由客户端负责控制窗体、屏蔽热键、监控取证等功能。但此系统无法实时监控考生考试过程，防作弊效果不太理想。
5.2020年，刘娟、董栋提出一种无纸化考试防作弊方法以及无纸化考试系统的监考方法，通过眼动数据结合手动数据以及当前的答题区域综合判定是否存在作弊行为。但该方法在获取眼动数据时通过时间戳记录异常视线范围，容易造成时间单位上的瞳孔信息丢失，无法实时监控瞳孔的变化，误差率较大。
6.2021年，孙震丹、胡星提出一种基于全景智能方法的分散性网络考试防作弊系统，通过梳理分散型网络考试业务流程，利用全景智能技术优势，设计出具有无人监考部署、无死角教考环境监测、远程自动化防作弊行为监测、作弊辅助判定与提醒、现场回顾与证据存留的防作弊信息考试系统。但此方法需要考生配备全景智能设备，这对大部分考生来说并不现实。而且该方法在进行考试前需要巡考人员协助调整设备角度等一系列检查工作，较为繁琐。


技术实现要素：

7.本发明提出一种基于瞳孔追踪的在线考试系统防作弊方法。
8.本发明的技术方案主要包括以下步骤：步骤1：获取瞳孔位置；步骤2：标定屏幕范围；步骤3：构建屏幕范围与双眼焦点位置范围的矢量关系；步骤4：追踪瞳孔并判断是否存在作弊行为。
9.特别的，步骤1的实施方法如下：对获取到的图像进行预处理，去除图像中的噪声，进行灰度变换；在灰度图像中粗定位人脸以及人眼区域，在人眼图像中细定位瞳孔的位置，根据左右眼分别记为(p
lx
，p
ly
)、(p
rx
，p
ry
)。
10.特别的，步骤2的实施方法如下：在屏幕区域左上角、右上角、左下角、右下角分别
显示四个大小相等的点a1，a2，a3，a4；让学生在相对屏幕距离d的位置上保持头部不动，正视屏幕，得到点a5；然后分别注视点a1，a2，a3，a4。
11.特别的，步骤3的实施方法如下：根据注视四个标定点a1，a2，a3，a4，得到瞳孔注视屏幕区域左上角、右上角、左下角、右下角时的坐标，以点a5为原点，屏幕区域左上角、右上角、左下角、右下角时的坐标，以点a5为原点，画线，得到瞳孔的最大变化矩形范围，记为pupil_range。
12.特别的，步骤4的实施方法如下：实时获得学生在考试中瞳孔变化的位置c(c
x
，c
y
)，与权利要求3中得到的pupil_range进行比较，如果c(c
x
，c
y
)处于pupil_range之外，表示视线移出屏幕之外，反之，则在屏幕之内。设置一种保护机制判断作弊行为，如果连续 30个点处于pupil_range之外，且注视次数超过规定次数时，判定为作弊行为，系统强制提交试卷，否则视为考试正常状态。
13.本发明的效果是：提供了一种有效的在线考试系统的防作弊方法。该方法包括获得瞳孔注视位置，找到瞳孔注视设备屏幕最大范围，通过判断瞳孔变化是否在范围之内得带异常视线点，通过帧差异常视线点是否连续以及注视次数来判定是否存在作弊行为。本发明通过向内投影，将屏幕范围与瞳孔变化的范围相对应，与向外投影寻找注视点的方法相比，更加简单；与现有的线上教育系统防作弊技术相比较，本发明申请的防作弊方法更加灵活有效，节省了大量的人力资源。
附图说明
14.图1结构图
15.图2瞳孔定位图
16.图3标定屏幕范围示意图
17.图4瞳孔变化范围示意图
18.图5非作弊行为视线轨迹图图6作弊行为视线轨迹图
具体实施方式
19.下面根据附图说明中的图示，对本发明进行详细的说明。
20.本发明具体实施分为4个步骤，分别为：步骤1：获取瞳孔位置；步骤2：标定屏幕范围；步骤3：构建屏幕范围与双眼焦点位置范围的矢量关系；步骤4：追踪瞳孔并判断是否存在作弊行为。本方法结构如附图说明中图1所示。
21.一种基于瞳孔追踪的在线考试系统防作弊方法，包括以下具体步骤：
22.(1)获取瞳孔位置
23.获得视频的帧图像后，对图像进行预处理，将彩色图像转化为单通道灰度图像。灰度图像有利于后续算法对眼睛、瞳孔的识别，减少数据量，提高识别的效率。对灰度图像进行中值滤波，去除图像的噪声，清晰图像的边缘。
24.定位人脸以及人眼，可以排除视频背景对识别瞳孔的干扰，只找到一个目标圆，即虹膜。
25.使用opencv软件库进行人脸识别，得到目标人脸区域位置的左上角点坐标(f
x
,f
y
)
以及宽高值f
w
、f
h
。根据四个点的坐标(f
x
,f
y
)、(f
x
f
w
,f
y
)、(f
x
,f
y
f
h
)、(f
x
f
w
,f
y
f
h
)在图像上圈出目标人眼的位置。这四个点分别是人脸区域的左上角、右上角、左下角、右下角。
26.在目标人脸区域中定位人眼，得到目标人眼区域位置的左上角点坐标(e
x
,e
y
)以及宽高值 e
w
、e
h
。根据四个点的坐标(e
x
,e
y
)，(e
x
e
w
,e
y
)，(e
x
,e
y
e
h
)，(e
x
e
w
,e
y
e
h
)在图像上圈出目标人眼的位置。这四个点分别是人眼区域的左上角、右上角、左下角、右下角。
27.人脸特征具有自然性，比例性。根据常规的人脸特征，在假设人正对屏幕的基础上，眼睛具有与嘴部相似的结构特点，而眼睛位于人脸区域的上半部分。左眼与右眼分别位于脸部区域的左边与右边。根据该特征，以eyes_tag作为是否是眼睛的标志，leyes_tag作为是否是左眼的标志，reyes_tag作为是否是右眼的标志，则有：
28.s1：(e
y
e
h
)
÷
2＜f
h
÷
2为true时，eyes_tag为true。
29.对s1说明：将眼睛高度中心位于脸部高度中心之上的目标处理为眼睛，否则判断为嘴巴，舍弃该区域。
30.s2：(e
x
e
w
)
÷
2＜f
w
÷
2为true时，leyes_tag为true；
31.(e
x
e
w
)
÷
2＞f
w
÷
2为true时，reyes_tag为true。
32.对s2说明：将眼睛区域的宽度中点小于脸部宽度中心位置的目标判定为左眼，否则视为右眼。取眼睛区域的高度中点与宽度中点作为阈值比较，可以准确地表现眼睛的位置，提高了识别的准确率。
33.瞳孔中心的位置实际上就是虹膜的中心。在正常情况下，人眼正视时，虹膜是一个规则的正圆，眼睛转动时，虹膜的形状是一个椭圆。
34.将灰度人眼图像进行二值化处理，清晰地分别出虹膜的形状。
35.根据虹膜形状的不同，使用不同的算法求解瞳孔的中心位置，具体如下：
36.s1：眼睛正视屏幕时，虹膜为规则的圆，通过霍夫梯度圆变换检测圆的中心位置。
37.opencv支持霍夫梯度圆变换检测圆心。圆的一般方程如下：
38.(x
‑
a)2 (y
‑
b)2＝r239.其中(a，b)为圆心坐标，r为半径。指定半径的最大范围与最小范围，将三维空间的计算转化为二维平面上的计算，减少了计算量。
40.首先使用canny算法对人眼区域进行边缘检测，获得图像的边界点；使用sobel算子计算边缘图像上每一个非零点的梯度；在圆弧的梯度方向x和其反方向y上画线段；线段中的每个点都送入累加器，最终对累加器中所有点进行排序，投票数最多的一点即为圆的圆心。
41.s2：眼睛转动时，视频采集的虹膜形状一般为椭圆。采用最小二乘算法拟合椭圆，求解椭圆的中心，即瞳孔的中心位置。首先提取图像的边缘信息，可能的边界点保存在样本集合中，然后构造损失函数，椭圆的一般方程为：
42.ax2 bxy cy2 dx ey 1＝0
43.则损失函数为：
[0044][0045]
损失函数f最小时，拟合程度最好。令则有：
[0046][0047][0048][0049][0050][0051]
转化为矩阵的方式如下：
[0052][0053]
记为：
[0054][0055]
则求出参数值，得到椭圆的中心坐标为：
[0056]
[0057][0058]
则瞳孔的坐标为
[0059]
以获得的瞳孔坐标点为中心，向上向下画线显示在人眼区域图像中。如附图说明中图2 所示，图(a)是灰度人眼图像中的瞳孔位置，图(b)是形态学变换后图像中的瞳孔位置。
[0060]
(2)标定屏幕范围
[0061]
如附图说明中3所示，在屏幕区域左上角、右上角、左下角、右下角分别显示四个大小相等的点a1，a2，a3，a4；让学生在相对屏幕距离d的位置上保持头部不动，正视屏幕，得到点a5；然后分别注视点a1，a2，a3，a4，为了准确地得到范围，学生必须通过依次点击注视点，点击后，该注视点消失，代表完成了该点的注视，完成标定。根据注视四个标定点a1，a2，a3，a4，得到瞳孔注视屏幕区域左上角、右上角、左下角、右下角时的坐标，左眼瞳孔坐标记为右眼瞳孔坐标记为其中：i＝1，2，3，4，5。分别代表注视左上角，右上角，左下角，右下角，正视屏幕时的瞳孔坐标。左右眼睛在注视一点时，看到的是两个相似而不同的影像，为了模拟大脑影像融合，并能很好的反映出瞳孔转动时的位移矢量变化，使用双眼瞳孔连线的中点为视线点，记为点i＝1，2， 3，4，5，则：
[0062][0063][0064]
(3)构建屏幕范围与双眼焦点位置范围的矢量关系
[0065]
如附图说明中图4所示：以点c5为原点，建立一个直角坐标系，为原点，建立一个直角坐标系，画线，连接点c1、c2、c3、c4，得到瞳孔的最大变化矩形范围，记为pupil_range。
[0066]
将点c
i
的位移变化显示在坐标轴中，得到屏幕相对于人眼固定距离时，瞳孔中心位置变化的范围。该范围限定了人在头不动的基础上，通过眼球转动注视屏幕时瞳孔变化的最大位移。
[0067]
(4)判断是否存在作弊行为
[0068]
标定注视点后，得到瞳孔在注视屏幕范围中能够变化的最大位移。学生在考试过程中保持头部不动，设备摄像头实时获取瞳孔的位置变化，通过处理分析帧图像中瞳孔的位置，获得学生在考试中瞳孔变化的位置c(c
x
，c
y
)。将点c的轨迹在瞳孔变化的范围图中显示出来，可以清晰地与pupil_range进行比较，如果c(c
x
，c
y
)属于pupil_range中的一点时，说明视线并未移出屏幕之外；若将视线移出屏幕之外，则c(c
x
，c
y
)也会超出pupil_range 范围之外。
[0069]
使用一种保护机制判断当前行为是否属于作弊行为并给出相应防作弊处理结果。通过注视时间以及移出范围次数作为判断条件，可以更好的表达作弊行为。
[0070]
(1)当前帧图像中瞳孔变化点移出范围之外时，将当前帧记录下来，标志位置1。
[0071]
(2)当前帧图像中瞳孔变化点在范围之外时，标志位置0，并将(1)中的记录清除。
[0072]
(3)循环判断下一帧图像中瞳孔变化点的位置。
[0073]
(4)若记录中存在连续30帧图像均有范围之外的视线点时，异常次数记录加1，设置弹框进行提醒。
[0074]
(5)对异常次数增加限制，若超过规定值，则判定为作弊行为，在线教育系统强制提交试卷，结束当前考试。
[0075]
通过对帧图像中异常视线点的记录，如果有连续30帧图像中均存在异常点，代表视线落在屏幕之外的时间超过1s，可判定为作弊行为；若非连续30帧图像存在异常点，则代表注视屏幕之外时间过短以及存在由于瞳孔定位的误差造成某帧图像中视线点偏离范围之外等情况，对考试状态影响不大，不构成作弊行为。
[0076]
结合异常次数，设置允许异常次数的最大值，减少因学生发呆或思考等原因造成的视线无意识离开屏幕之外的错误判断。当异常次数超过设置的规定值时，判定当前行为属于作弊行为，可通过在线考试系统的强制行为进行提交试卷，达到系统防作弊的目标。
[0077]
实施例一：
[0078]
本例进行了系统防作弊的模拟实验，实验分别对作弊行为与非作弊行为进行瞳孔监控分析。具体过程如下：
[0079]
头部水平距离屏幕30公分，保持不动的情况下，依次点击屏幕左上角、右上角、左下角、右下角的注视点进行标记，两点标记时间相差1s以上。点击后，注视点消失，代表该点标记完成。在标记过程中，根据瞳孔的位置变化，取双眼瞳孔连线的中点c作为视线点，得到了视线点在分别注视屏幕四个角时的坐标位置。以画线，其中(i＝1，2，3，4)分别表示注视点注视屏幕左上角、右上角、左下角、右下角时的坐标值，得到瞳孔的最大变化范围pupil_range。创建新的窗口以及空白图片，将 pupil_range显示在图片中并且保存。
[0080]
视线注视屏幕之内一段时间，眼睛快速扫过屏幕之外再落回屏幕中。视线轨迹如附图说明中图5所示，矩形框是瞳孔变化的范围pupil_range，不规则线条是注视过程中瞳孔变化的轨迹。图中仅有两个点落在pupil_range之外，异常标志位置1，随着下一个点回到 pupil_range之内时，异常记录清除，因此并不构成作弊行为，可继续进行考试。
[0081]
视线注视屏幕之内一段时间，视线移出屏幕之外并注视屏幕外的某一物体。视线轨迹如附图说明中图6所示，记录50帧图像的轨迹点，其中有超过30个连续轨迹点在pupil_range 之外，判定为作弊，异常次数加1。
[0082]
设置考试系统的最大异常次数为5，实时监控并记录瞳孔位移信息，多次将视线移出屏幕之外，当异常次数超过最大限制值时，系统提交试卷，结束考试。
[0083]
以上举例仅仅是本发明的举例说明，并不构成对本发明的保护范围限制，凡是与本发明相同或相似的设计均属于本发明保护范围。