近眼眼动追踪计算调度方法、系统、交互设备及存储介质
本发明属于近眼增强现实/虚拟现实(ar/vr)眼动追踪与低功耗嵌入式视觉计算,具体涉及一种由扫视落点预测驱动、对近眼眼动追踪流水线中昂贵的全图瞳孔检测进行预测式主动调度的计算调度方法及系统。
背景技术:
1、近眼眼动追踪需逐帧从近红外眼图中估计瞳孔与注视,典型流水线为:瞳孔检测(全图定位瞳孔包围框)→ 瞳孔精修/分割(在感兴趣区域内估计瞳孔椭圆)→ 三维眼球模型 → 注视映射。其中,全图瞳孔检测的单次算力远大于感兴趣区域内的瞳孔精修;经实测,二者约相差两个数量级,例如全图检测约为8.19吉次浮点运算、感兴趣区域内精修约为0.035吉次浮点运算。因此,为降低算力与功耗,业界常采用“检测-by-跟踪”策略:保持上一次检测所得的瞳孔区域,逐帧仅运行廉价的精修在该保持区域内定位瞳孔,仅当跟踪失效时才重新运行昂贵的全图检测。
2、现有技术中,所述全图检测的重新触发普遍是反应式的,即在瞳孔越出保持区域、精修检出失败、或预测与检测之间的误差超过阈值等事件发生之后才触发重检测;亦有按眼动状态门控计算速率的方案,例如在扫视期因图像运动模糊而降低瞳孔特征计算率、注视期再升高,或按当前所处的眼动阶段自适应地调整传感与推理的速率——这些方案同样是反应式的,且其方向是在扫视期“降低”计算。另有一类利用扫视落点预测的方案,由扫视早期的运动外推扫视的落点,但其落点预测被用于注视点渲染(foveated rendering),即在眼到达落点之前提前在落点渲染高分辨率画面,以掩盖显示刷新的延迟。
3、上述现有技术存在以下不足:其一,在瞳孔大幅快速移动的大幅扫视中,反应式重检测会逐帧追逐运动中的瞳孔,在扫视的过渡帧上,由于保持区域仍停留在扫视之前的位置,精修在该陈旧区域内会将噪声或非瞳孔暗区误当作瞳孔,从而在注视帧上偶发整帧尺度的灾难性重捕获误差;其二,昂贵的全图检测在一次大幅扫视内会被反复触发,造成算力的集中浪费;其三,现有的扫视落点预测一概服务于图形渲染(隐藏显示延迟),尚无将其用于在落点提前唤醒检测、以掩盖检测器自身的唤醒与前向推理延迟的方案。
技术实现思路
1、本发明所要解决的技术问题是提供一种在不增加检测调用算力的前提下,消除大幅扫视过渡帧的灾难性重捕获误差,并将昂贵的全图检测在一次扫视内的反复触发收敛为预测落点处的一次主动唤醒的基于扫视落点预测的近眼眼动追踪计算调度方法、系统、交互社保及存储介质。
2、为解决上述技术问题,本发明的技术方案为:
3、本发明首先提供一种基于扫视落点预测的近眼眼动追踪计算调度方法,包括:
4、采集近眼图像;
5、从采集的近眼图像中进行瞳孔检测以确定保持区域;
6、逐帧在保持区域内对近眼图像定位瞳孔并输出瞳孔椭圆与瞳孔中心;
7、由逐帧瞳孔中心的时序变化检出扫视起始,并依据扫视主序外推扫视的落点位置与落点时刻;
8、在自检出扫视起始至落点时刻之间的扫视飞行期内,挂起注视输出且不触发全图瞳孔检测;在到达落点时刻时主动运行一次全图瞳孔检测,以在落点重捕获瞳孔并更新保持区域。
9、本发明还提供一种基于扫视落点预测的近眼眼动追踪计算调度系统,包括:
10、眼图采集模块,逐帧采集近眼灰度图像;
11、瞳孔检测单元,在采集的近眼图像全图中检测瞳孔以确定保持区域;
12、瞳孔精修单元,作为常开传感器逐帧在当前保持区域内对近眼图像进行稠密推理以定位瞳孔,输出瞳孔椭圆与瞳孔中心;
13、扫视预测模块,由瞳孔精修单元逐帧输出的瞳孔中心检出扫视起始;根据检出的扫视起始,依据扫视主序外推落点时刻与落点位置,得到扫视飞行期;
14、调度模块,在扫视预测模块得到的在扫视飞行期内挂起并屏蔽全图检测,在扫视预测模块得到的落点时刻主动唤醒一次全图检测以重捕获瞳孔并更新保持区域。
15、本发明还提供一种交互设备,包括一个或多个处理器与存储器,所述存储器存储有计算机程序,当所述程序被所述处理器执行时实现上述所提供的方法。
16、发明还提供一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述所提供的方法。
17、本发明近眼眼动追踪计算调度方法及系统,以廉价稠密瞳孔精修网络逐帧在保持区域内定位瞳孔并作为常开传感器;由其逐帧瞳孔中心检出扫视起始,依据扫视主序外推落点位置与落点时刻;在扫视飞行期内主动挂起、既不追逐亦不触发检测;仅在预测落点主动唤醒一次全图检测重捕获瞳孔;且同一份逐帧稠密推理一推理三用。
18、调度模块在瞳孔到达落点之前触发瞳孔检测单元运行,使瞳孔检测单元的检测结果在瞳孔到达落点时已就绪,以掩盖瞳孔检测单元的唤醒与前向推理延迟;并且在扫视飞行期内,瞳孔精修单元不追逐瞳孔、瞳孔检测单元不被触发。
19、瞳孔检测单元的单次算力大于瞳孔精修单元的单次算力达一个数量级以上;瞳孔精修单元逐帧运行于保持区域内,瞳孔检测单元由逐帧运行降为按落点时刻触发的按事件运行(本文所称"事件"指触发瞳孔检测单元运行的时机,包括预测的落点时刻到达、瞳孔精修在保持区域内检出失败或判定眨眼、以及扫视预测超时保护);保持区域取瞳孔检测单元所得包围框的原尺度。
20、调度模块还用于:当在落点时刻唤醒检测后判定瞳孔尚未稳定时,延后一短时段再次唤醒检测;当瞳孔精修单元在所述保持区域内检出失败而判定为眨眼时,暂挂精修与检测,并在睁眼后触发检测以重捕获瞳孔;当判定为非扫视的慢速跟踪偏移时,反应式触发一次检测以校正保持区域。
21、本发明的有益效果为:第一,预测式而非反应式,在扫视尚未结束、瞳孔尚未到达落点之前即据主序外推的落点时刻主动唤醒检测,使检测结果在瞳孔到达落点时已就绪,掩盖了全图检测器的唤醒与前向推理延迟;第二,飞行期挂起而非逐帧追逐,避免在大幅扫视过渡帧上将陈旧保持区域内的噪声误当作瞳孔,从而近乎消除注视帧上的灾难性重捕获误差;第三,一推理三用,由同一份廉价稠密推理同时得到瞳孔椭圆、眼动行为状态与检测门控依据,无需独立的跟踪、置信或状态分类模块;第四,收益来自调度结构(飞行不追逐加落点一次唤醒)而非主序时刻预测的精度,故对主序预测误差稳健,且省的是检测计算而非图形渲染。
1.一种基于扫视落点预测的近眼眼动追踪计算调度方法,其特征在于,包括:
2.根据权利要求1所述的近眼眼动追踪计算调度方法,其特征在于,由逐帧瞳孔中心的时序变化检出扫视起始,并依据扫视主序外推扫视的落点位置与落点时刻,包括:
3.根据权利要求2所述的近眼眼动追踪计算调度方法,其特征在于,瞳孔中心在时间窗内的运动速度为:
4.根据权利要求3所述的近眼眼动追踪计算调度方法,其特征在于,扫视起始检出判据为:
5.根据权利要求3所述的近眼眼动追踪计算调度方法,其特征在于,根据计算的瞳孔中心在时间窗内的运动速度预测得到的扫视时长为:
6.根据权利要求5所述的近眼眼动追踪计算调度方法,其特征在于,落点时刻与落点位置分别为:
7.一种基于扫视落点预测的近眼眼动追踪计算调度系统,其特征在于,包括:
8.根据权利要求7所述的近眼眼动追踪计算调度系统,其特征在于,所述瞳孔精修单元逐帧的同一份稠密推理输出被同时用于:输出瞳孔椭圆与注视;由所述瞳孔中心的时序变化进行眼动行为状态分类;以及作为所述扫视预测模块检出扫视起始与所述调度模块进行检测门控的依据。
9.一种交互设备,包括一个或多个处理器与存储器,其特征在于,所述存储器存储有计算机程序,当所述程序被所述处理器执行时实现权利要求1-6任一所述的方法。
10.一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-6任一所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com